一种眼动控制的多模块智能设备

1.本发明属于人机交互技术领域，具体是涉及一种眼动控制的多模块智能设备。


背景技术：

2.随着智能穿戴设备的更新迭代，我们看到越来越多的工业作业场景中出现了智能穿戴设备的身影。但是目前大部分这类智能穿戴设备的操作方向和人的身体绑定，并不能通过一种直观的人机交互方式控制其灵活运动。
3.眼球运动跟踪技术是通过一系列算法获取人眼视线信息。目前比较广为使用的眼球追踪的方法是瞳孔-角膜反射技术(pccr)，该技术的基本原理是通过使用红外线照射眼睛，使用红外摄像机采集从角膜和视网膜上反射的红外光线，由于眼球的生理结构和物理性质，在光源和头部相对位置不变的前提下，角膜反射形成的光斑不会移动，视网膜上反射的光线方向标示了瞳孔的朝向(光源光线从瞳孔射入，视网膜反射光线从瞳孔射出)。因此根据角膜与瞳孔反射光线之间的角度可以计算出眼动的方向。pccr眼动技术现已被广泛应用于眼动识别设备中，且相应的开源识别算法可以直接使用。
4.而将眼动信息作为操控输入则可以实现由眼动控制的人机交互方式，该交互方式相较于其他交互方式拥有门槛低，应用场景灵活性高，且符合人的直觉的独特优势，拥有广阔的应用前景。因此不少穿戴设备中也出现了眼动控制相关技术，但目前使用眼动控制的智能穿戴设备并没有很好地实现从眼球运动凝视位置到所控制的设备朝向的准确映射方式，即持续的眼球追踪；且功能设计单一，应用场景受局限。如专利申请cn107388201a公开了一种医用头戴式眼动控制手术照明灯，其确定用户视线位置的方式是通过“重心法算法提取”，将用户正视前方时的“瞳孔重心”与该时刻用户的“瞳孔中心”比较移动的像素数，该视线方向识别算法并不精准，不能得到用户真正的视线方向；没有考虑到用户与被照射物体之间的距离以及其他因素，从用户视线到控制led灯的映射方式是线性的且考虑不周全的；且其使用场景单一受限，仅能用于照明。专利申请cn114500839a提出了一种基于注意力跟踪机制的视觉云台控制方法及系统，其在实现调整云台时，考虑了目标注视点坐标的因素，实现对云台角度的调节控制，考虑了目标注视点因素，提高了控制精度；但其针对球赛的观看者的看球注意力，调整智能化自动导播云台的控制，从而使云台拍摄的画面兼顾观众注意力与画面中的被跟踪主体；使用用途单一，仅能用于画面追踪拍摄，所提出的设备系统可移动性差，使用方式与使用地点受局限；云台控制方式并不是实时跟踪实现位置的，而是将实现作为一种跟踪的辅助输入，用于画面跟踪。


技术实现要素：

5.为解决上述技术问题，本发明提供了一种眼动控制的多模块智能设备，其可实现从眼球运动凝视位置到所控制的设备朝向的准确映射，并可更换多种模块，使得功能多样化，应用场景广泛。
6.本发明所述的一种眼动控制的多模块智能设备，包括单片机、单片机连接的云台
电机模块、模式切换模块、眼动图像采集模块、视觉追踪算法模块、陀螺仪模块、视线到云台映射算法模块；所述单片机用于接收其他模块传输的数据，并发出控制指令给对应模块进行相应的操作；
7.其中，眼动图像采集模块分别对左眼和右眼进行眼动图像采集；
8.视觉追踪算法模块用于处理眼动图像采集模块获取的画面数据，计算得到眼球的视线方向；
9.模式切换模块与单片机相连接，通过输出信号给单片机，单片机根据收到的信号切换云台的跟踪状态，即视线追踪模式或云台方向锁定模式；
10.陀螺仪模块输出三维矢量信息，实现云台方向锁定；
11.视线到云台映射算法模块根据眼球的视线方向及陀螺仪模块输出的信息，得到云台应该指向的方向；
12.单片机根据得到的云台应指向的方向信息控制云台电机模块转动。
13.进一步的，所述眼动图像采集模块为红外摄像机，其分别对左眼和右眼进行眼动图像采集。
14.进一步的，视觉追踪算法模块采用开源的眼动识别代码实现眼球3d信息的获取；基于红外照明的眼球画面，通过计算比较画面像素深度来获得二维的瞳孔信息，再将该数据输入到三维眼球模型算法中，从而获得视线的三维矢量方向、眼球的中心位置以及瞳孔直径。
15.进一步的，模式切换模块由一个自锁开关组成，该模块输出自锁开关的信号给单片机，单片机根据信号来切换视线追踪模式。
16.进一步，通过视线到云台映射算法模块根据眼动识别算法计算得到的眼球的视线方向及陀螺仪模块输出的信息，以控制云台指向准确的实现方向，具体为：
17.设备初始化，用户佩戴该设备，自然平视前方，此时进行初始化，设备将认为当前的方向为初始化方向，以此作为参考；经过初始化后单片机不断监测模式切换模块输出的信息：若监测到模式切换模块的信号为低，云台进入视线追踪模式，通过眼动识别算法获得视线方向，利用视线到云台映射算法模块控制云台指向视线方向；若单片机监测到模式切换模块的信号为高，单片机接收到自锁开关信息后，切换云台跟踪模式为云台方向锁定模式。
18.进一步的，通过眼动识别算法获得从左右眼发射出的视线的方向矢量，根据两眼距离计算视线交点位置，该位置相对于云台的方向即为云台应指向的方向。
19.进一步的，当云台跟踪方式为云台方向锁定模式时，可以控制云台不随着视线运动；具体为：不断根据陀螺仪获得信号进行补偿，即切换模式切换模块信号，记录此时云台的方位，且同时开始通过不断获取陀螺仪获得当前头部运动方向，将切换模式切换模块信号时的云台方向减去陀螺仪获得的头部运动方向，实现云台方向锁定。
20.进一步的，云台电机模块为三轴云台，有三个互相垂直的电机马达构成，通过单片机进行转动方向的控制；
21.通过将当前云台的方向与云台应指向的方向作差取绝对值，得到电机运动的幅度大小；电机运动速度与正向相关，且云台的旋转速度呈缓动(即先快后慢)的速度变化，实现更快地响应用户视线的运动。
22.进一步的，所述云台表面还设有通讯模块，其他功能模块通过通讯模块的接口与单片机通信；所述其他功能模块为测距模块或测温模块或照明模块或测速模块。
23.本发明所述的有益效果为：本发明通过视线追踪模块实现双眼视线追踪，通过单片机计算提供快速精准的云台视线追踪效果，真正做到“随眼动”；本发明利用模块化设计，基于云台上的通讯模块，允许用户根据所需要的适用场景自由更换组件，通过红外测距模块测距、红外测温模块测温，使用高功率led灯照明模块照明，以及使用激光测速模块测速，拓宽了此设备的使用应用场景；设计了云台方向锁定模式，利用陀螺仪实时补偿头部运动，满足对维持某一方向数据测量的需求，进一步拓展了该设备的使用场景。
附图说明
24.图1是本发明所述设备的结构示意图；
25.图2是本发明所述设备的功能示意图；
26.图3是眼动图像采集模块使用示意图；
27.图4是视觉追踪算法模块使用示意图；
28.图5是视线到云台映射算法模块原理图；
29.图6是视线到云台映射算法模块进行映射的方法流程图
30.图7是本发明所述设备的工作原理图。
31.图8是本发明所述设备的云台工作模式切换原理图。
具体实施方式
32.为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
33.本发明所述的一种多模块智能眼动交互设备结构如图1所示，功能设计如图2所示，包括stm32单片机、云台电机模块、模式切换模块、眼动图像采集模块、视觉追踪算法模块、陀螺仪模块、视线到云台映射算法模块、云台与功能模块的通讯模块以及各类功能模块(如测距模块、测温模块、照明模块、测速模块)；单片机系统中的数据缓存模块可以将一些常用的数据或指令存储在缓存中，这样当系统需要使用这些数据或指令时，就可以直接从缓存中获取，而不需要每次都从主存中读取，大大提高系统的响应速度，减少延迟时间。以stm32单片机作为主控制器控制系统其他芯片，进行图像以及其他数据的采集、传输、处理、计算、缓存以及输出等操作。
34.眼动图像采集模块为红外摄像机，用于采集使用者眼部特写画面数据，为视觉追踪算法模块提供数据。该穿戴设备可设计为类似头盔，在使用者左右眼附近有两台红外摄像机分别对左眼与右眼进行眼动图像采集。如图3所示，红外摄像机的位置与角度可以调整，以便适配更多使用者。一般人的瞳距范围在58-64mm内。
35.视觉追踪算法模块：用于处理眼动图像采集模块获取的画面数据，通算法计算得到眼球的视线方向。
36.本实施例采用开源的眼动识别代码实现眼球3d信息的获取。源代码使用c++语言编写，易于编译，之后装载入stm32单片机中进行运行。
37.该代码的编写是基于红外照明的眼球画面，通过计算比较画面像素深度来获得二
维的瞳孔信息，再将该数据输入到三维眼球模型算法中，从而获得视线的三维矢量方向、眼球的中心位置以及瞳孔直径等，如图4所示。
38.如图8所示，模式切换模块由一个自锁开关组成，该模块输出自锁开关的信号给单片机，单片机根据信号来切换视线追踪模式。当模式切换模块的信号为低时，云台进入视线追踪模式；当模式切换模块的信号为高时，单片机接收到自锁开关信息后，切换云台跟踪模式为云台方向锁定模式。
39.陀螺仪模块：用于获得该设备目前的三维旋转信息，用于实现云台方向锁定功能；该模块输出三维矢量信息。
40.视线到云台映射算法模块：用于实现视觉追踪算法模块获得的三维信息对云台电机的正确操控，良好的映射关系决定了眼动控制云台的精确度与体验性。
41.设备初始化，用户佩戴该设备，自然平视前方，此时进行初始化，设备将认为当前的方向为初始化方向，以此作为参考；经过初始化后单片机不断监测模式切换模块输出的信息，判断云台进入哪种模式。
42.当云台进入视线追踪模式时，视线到云台映射算法模块根据眼动识别算法计算得到的眼球的视线方向，同时根据陀螺仪模块输出的信息，以控制云台指向准确的实现方向，具体为：由设备物理形态决定的各部件之间的几何关系，我们可以构建一个本地坐标系，以两眼之间的中点作为坐标系原点o，在o点垂直上方的g点代表云台上所承载设备的中心，记为云台视角原点。左右眼分别记为点el与er。如图5所示。设备本身的几何结构(如瞳距eler、云台到两眼中点的距离go等)默认为已知的常数。而每个使用者的面部都是不同的，因此在使用前应当先输入给设备使用者的瞳距eler。
43.通过眼动识别算法可以获得从左右眼发射出的视线的方向矢量分别为与，经过计算可以得到视线交点，即为云台应指向的方向。具体如图6所示，通过设备内部的陀螺仪获得了设备的俯仰信息，得到面e
ler
g的法向量，即设备的正视方向r0，在初始化的过程中可以得到水平状态的方向向量，以此作为参考。此时，在三角形p0go中，由三角函数得到云台应当指向的方向，即记作v
goal
。。将此时云台的朝向记作向量v0，单片机控制云台电机模块转动，将运动到v
goal
的方向。
44.当云台跟踪方式为云台方向锁定模式时，可以控制云台不随着视线运动；具体为：不断根据陀螺仪获得信号进行补偿，即切换模式切换模块信号，记录此时云台的方位，且同时开始通过不断获取陀螺仪获得当前头部运动方向，将切换模式切换模块信号时的云台方向减去陀螺仪获得的头部运动方向，实现云台方向锁定，从而满足更多使用需求。
45.云台电机模块：用于实现功能模块在三个维度上的运动；该模块为三轴云台，由三个相互垂直的电机马达构成，通过单片机进行转动方向的控制；通过将当前云台的方向与云台应指向的方向作差取绝对值，得到电机运动的幅度大小；电机运动速度与正向相关，且云台的旋转速度呈缓动(即先快后慢)的速度变化，实现更快地响应用户视线的运动。
46.各类功能模块：用于提供各种不同功能，包括：测距模块、测温模块、照明模块、测速模块等，通过接口与单片机通讯。
47.各个功能模块的几何中心应当设计为一致，从而保证各个模块能精准指向视线交点。
48.测距模块：使用红外测距；测温模块：使用红外线测温；照明模块：使用高功率led
灯；测速模块：使用激光测速模块。
49.本发明所述的一种眼动控制的多模块智能设备的系统流程如图7所示；以一次正常使用为例，首先用户的瞳距先输入到设备中，之后佩戴好设备，启动程序。设备开始进入校准模式。此时会同时启动陀螺仪与位于用户双眼旁的两个红外摄像机开启。
50.陀螺仪会持续获得用户此时的头部运动角度信息；同时，两个红外摄像机不断获取眼球画面，眼动识别算法在单片机中不断处理这些画面，获得两个眼球的视线方向。我们已经知道用户的瞳距以及设备的物理结构关系，就可以计算出使用者当前时刻的视线交点，这也就是云台需要运动的目标。
51.当设备初次使用时，进入校准流程：使用者正视前方，同时保持头的水平。设备陀螺仪与眼球模型初始化完毕，校准结束，开始正常使用。
52.在正常使用过程中，用户可以使用视线控制云台对准自己注视的地方。用户根据自己的使用需求更换云台上的模块。云台上所安装的模块可以输出数据给单片机，包括测距，测速，测温模块从而记录数据，存储在数据缓存模块中。
53.使用者还可以通过开启设备上的自锁开关以开启云台方向锁定的功能，可以控制云台不随着实现运动，从而满足诸如持续照明前方道路，或者是持续测量某一方向上的距离等更多使用需求。
54.以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。

技术特征：
1.一种眼动控制的多模块智能设备，其特征在于，包括单片机、与单片机分别连接的云台电机模块、模式切换模块、眼动图像采集模块、视觉追踪算法模块、陀螺仪模块、视线到云台映射算法模块；所述单片机用于接收其他模块传输的数据，并发出控制指令给对应模块进行相应的操作；其中，眼动图像采集模块分别对左眼和右眼进行眼动图像采集；视觉追踪算法模块用于处理眼动图像采集模块获取的画面数据，计算得到眼球的视线方向；模式切换模块与单片机相连接，通过输出信号给单片机，单片机根据收到的信号切换云台的跟踪状态，即视线追踪模式或云台方向锁定模式；陀螺仪模块输出三维矢量信息给单片机，通过计算实现云台方向锁定；视线到云台映射算法模块根据眼球的视线方向及陀螺仪模块输出的信息，得到云台应该指向的方向；单片机根据得到的云台应指向的方向信息控制云台电机模块转动。2.根据权利要求1所述的一种眼动控制的多模块智能设备，其特征在于，所述眼动图像采集模块为红外摄像机，其分别对左眼和右眼进行眼动图像采集。3.根据权利要求1所述的一种眼动控制的多模块智能设备，其特征在于，模式切换模块由一个自锁开关组成，该模块输出自锁开关的信号给单片机，单片机根据信号来切换视线追踪模式。4.根据权利要求1所述的一种眼动控制的多模块智能设备，其特征在于，通过视线到云台映射算法模块根据眼动识别算法计算得到的眼球的视线方向及陀螺仪模块输出的信息，以控制云台指向准确的实现方向，具体为：设备初始化，用户佩戴该设备，自然平视前方，此时进行初始化，设备将认为当前的方向为初始化方向，以此作为参考；经过初始化后单片机不断监测模式切换模块输出的信息：若监测到模式切换模块的信号为低，云台进入视线追踪模式，通过眼动识别算法获得视线方向，利用视线到云台映射算法模块控制云台指向视线方向；若单片机监测到模式切换模块的信号为高，单片机接收到自锁开关信息后，切换云台跟踪模式为云台方向锁定模式。5.根据权利要求4所述的一种眼动控制的多模块智能设备，其特征在于，通过眼动识别算法获得从左右眼发射出的视线的方向矢量，根据两眼距离计算视线交点位置，该位置相对于云台的方向即为云台应指向的方向。6.根据权利要求4所述的一种眼动控制的多模块智能设备，其特征在于，当云台跟踪方式为云台方向锁定模式时，切换模式切换模块信号，记录此时云台的方位，且同时开始通过不断获取陀螺仪获得当前头部运动方向，将切换模式切换模块信号时的云台方向减去陀螺仪获得的头部运动方向，实现云台方向锁定。7.根据权利要求1所述的一种眼动控制的多模块智能设备，其特征在于，云台电机模块为三轴云台，有三个互相垂直的电机马达构成，通过单片机进行转动方向的控制；通过将当前云台的方向与云台应指向的方向作差取绝对值，得到电机运动的幅度大小；电机运动速度与正向相关，且云台的旋转速度呈缓动的速度变化，实现更快地响应用户视线的运动。8.根据权利要求1-7任一项所述的一种眼动控制的多模块智能设备，其特征在于，所述
云台表面还设有通讯模块，其他功能模块通过通讯模块的接口与单片机通信；所述其他功能模块为测距模块或测温模块或照明模块或测速模块。

技术总结
本发明属于人机交互技术领域，公开了一种眼动控制的多模块智能设备，包括单片机、单片机连接的云台电机模块、眼动图像采集模块、视觉追踪算法模块、陀螺仪模块、视线到云台映射算法模块；所述单片机用于接收其他模块传输的数据，并发出控制指令给对应模块进行相应的操作。本发明通过双眼视线追踪，提供快速精准的云台视线追踪效果，真正做到“随眼动”；利用模块化设计，允许用户根据所需要的适用场景自由更换组件，拓宽了此设备的使用应用场景；设计了云台方向锁定模式，满足对维持某一方向数据测量的需求，进一步拓展了该设备的使用场景。进一步拓展了该设备的使用场景。进一步拓展了该设备的使用场景。


技术研发人员：亓晋 吴恒笑 侯嘉玥 郭宇锋 孙雁飞 董振江 许斌
受保护的技术使用者：南京邮电大学
技术研发日：2023.04.28
技术公布日：2023/8/9