眼动密码输入方法、系统及设备与流程

1.本发明涉及一种密码输入方法及设备，具体是一种眼动信号控制的密码输入方法及设备。


背景技术：

2.密码的安全性与个人隐私信息和财产的安全息息相关，因此用户输入密码的安全性问题备受关注。目前，密码输入方式主要有两种：逐位输入和滑动输入。在公共场所或公共计算机上，逐位输入更为常见，需要逐个按下目标密码的按键完成输入过程。在个人终端设备上，如手机和平板电脑，用户通常使用滑动输入，通过滑动连接不同按键完成输入过程。然而，这两种输入方法均存在安全隐患，可能会被他人窥视或通过涂抹药剂等方式盗取用户密码。
3.眼动追踪技术是一种通过追踪人眼的运动轨迹来分析人眼注视和注意力分配的技术。该技术通常使用专业的眼动仪来记录眼球在屏幕或其他视觉刺激上的运动，目前市面上常见的消费级眼动仪可以将误差精度降至1
°
至2
°
，眼动仪既可以作为单独的设备也可以被集成到手机、电脑等计算机设备中，将眼动追踪技术用于对计算机的控制可以实现可靠且有效的人机交互。
4.当前基于眼动追踪技术的控制方法(简称“眼控”)具有极大的应用前景，眼控可以提供快速的指向与点击的交互动作，甚至可以代替键盘和鼠标。眼动模块主要采用瞳孔-角膜反射技术判断眼睛的移动，并将其映射至计算机上。眼控具有快速性和隐蔽性的特点，这些特点使其可以实现安全地输入密码。专利cn110929246提出了一种基于注视的眼控密码输入方式，用户可以通过注视界面上的不同的图形密码形成序列，实现密码输入。然而，要实现准确的注视，需要先对眼动仪进行校准，并且使用过程中用户的眼部位置需要和校准时的位置保持一致，如果用户的位置发生了偏移，则需要重新校准，这种局限性导致其难以投入实际应用中，因为繁琐的校准步骤不利于密码输入设备的便利性。


技术实现要素：

5.本发明所要解决的技术问题是提供一种安全性及识别准确率高的眼动密码输入方法、系统及设备。
6.为解决上述技术问题，本发明所采用的技术方案是：
7.本发明首先提供一种眼动密码输入方法，包含如下步骤：
8.步骤一：在显示器上生成密码输入界面；其中密码输入界面包含位于同心圆上的若干密码单元滑块，所述密码单元滑块在所述同心圆上的角度随机分布；
9.步骤二：通过眼部追随运动确定要输入的密码单元滑块，并完成密码单元的输入，包括：
10.步骤a：实时获取用户在屏幕上的注视点位置，并根据设定时间内的注视点坐标序列计算出注视点的运动轨迹；
11.步骤b：将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块，以此表示检测到追踪行为，同时在界面上呈现视觉反馈；
12.步骤c：获取检测到追踪行为所保持的时间长度；当保持的时间长度超过设定的时间阈值，则完成对应密码单元的输入。
13.步骤一中，在用户需要输入密码时，通过摄像头捕捉用户的双眼图像，当在双眼图像中检测到设定的触发密码输入的启动单元的命令时，(触发密码输入的启动单元的命令提前设定，可以为双眼同时一次眨眼或左右轮流一次眨眼或单眼睁开且另一只眼闭合等)，键盘上的密码单元滑块开始围绕圆形输入界面随机转动，转动的方向和速度各异且均由生成模块计算得到。
14.步骤二中，还包括：
15.步骤d：在输入一位密码后，初始化密码输入界面上的密码单元滑块位置；
16.步骤e：判断当前输入密码是否是最后一位，如果不是则重复步骤一-步骤二的c,完成剩余位密码的输入，如果是则完成输入行为，终端将密码加密并发送给服务器。
17.本发明还提供一种密码输入系统，包括：
18.图像采集模块，用于检测用户的眼部图像；
19.眼部追随模块，用于获取所述图像采集模块采集的眼部图像中注视点的运动轨迹；
20.显示单元，用于显示密码输入界面；
21.随机生成模块用于在检测到输入行为后，随机生成每个密码单元滑块的运动方向和速度；
22.判断模块用于将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块；
23.计时模块用于获取用户对密码单元滑块保持眼部追随运动的时间，在触发密码单元滑块随机运动后即开始计时；
24.处理器用于执行以下控制，包括：在追随运动超过一定时间阈值后，选取运动轨迹最相似的密码单元滑块所对应的密码单元作为输入密码。
25.处理器执行的控制还包括：判断当前输入密码是否是最后一位，并决定之后所执行的程序步骤；将最终完成输入的密码加密并发给服务器。
26.具体地，为了确定注视点和数字滑块的运动相似性，判断模块将使用欧氏距离法进行计算。该方法将分别对用户和每个数字滑块的运动坐标序列进行计算，得出两两之间的欧氏距离，根据该距离值确定运动的相似性。
27.眼动模块是一个眼动仪，目前市售的消费级眼动仪主要以瞳孔-角膜反射技术为基本原理，可以确定用户是否在注视屏幕。由于对拍摄的眼部图像进行分析也可以获取用户的注视点运动轨迹，因此当实施例不具备眼动模块条件时也可以省去。基于瞳孔-角膜反射技术的眼动模块可以实现更高的精度。
28.本发明使用平滑追踪技术进行眼控密码输入，可以实现隐蔽的人机交互，同时也可以免除用户的双手操作，以此应对密码输入过程中的偷窥等安全性问题，此外，本发明基于平滑追踪的交互技术提出密码输入的方法和设备，该技术具有可以在不校准的情况下使用的特点，使其更符合实际应用场景。本发明中，用户仅通过眼部动作即可实现完整的密码
输入过程，同时还可以保证旁人无法通过偷窥窃取密码内容，有效提升用户的密码输入过程的安全性。
29.本发明的有益效果是：
30.1.本发明眼动密码输入方法，密码输入界面包含位于同心圆上的若干密码单元滑块。在输入密码时，用户通常只会做出细微的眼部动作，而界面上不会提供有关具体输入内容的任何反馈。因此，即使旁人通过偷窥或记录等方式监视用户，也很难判断和解读出用户输入的密码。用户可以在终端上实现隐性的密码输入，输入的全过程仅通过眼部运动，旁人无法通过偷窥等方法判断出用户正在输入的密码。
31.2.本发明眼动密码输入方法，输入过程中仅使用注视点坐标的轨迹相似度进行输入判断，避免眼动仪繁琐且冗余的校准步骤。键盘上仅会呈现用于表示输入位数和追随运动时间的视觉反馈。每一次输入时的数字滑块运动时间都是随机的，保证输入方法的安全性。系统中除了眼动模块以外其他模块在多数公共输入设备和终端上均存在，低成本的消费级眼动仪可以使用于本发明中，因此实现的成本较低。
32.3.本发明眼动密码输入方法，密码输入界面包含位于同心圆上的若干密码单元滑块，圆形轨迹的平滑追踪输入界面有利于提高识别的准确率。使用欧几里得距离作为轨迹相似度的识别方法，相对于直线轨迹，圆形轨迹更加连续平滑，拐角较少，因此在欧几里得距离下的相似度识别更加准确。此外，圆形轨迹的形状变化有规律，更容易被欧几里得距离所捕捉。因此，使用圆形轨迹的平滑追踪输入界面可以提高数字滑块识别的准确率。
附图说明
33.图1是本发明所提出的一种防偷窥的眼动控制的密码输入方法的流程示意图；
34.图2是本发明所提出的密码输入系统的结构示意图；
35.图3是本发明所提出的一种密码输入界面图；
36.图4是本发明所提出的实施例一的系统示意图；
37.图5是附加视觉反馈的实施例一的密码输入界面示意图；
38.图6是本发明所提出的实施例二的系统示意图，其中a为主视图，b为侧视图；
具体实施方式
39.下面结合附图1-6进一步详细说明一种防偷窥的眼动控制的密码输入方法、系统和设备。
40.实施例一：
41.如图4所示，本实施例提供一种设备，具体是一种atm机。
42.本实施例的atm机的密码输入系统包括显示单元1，输入单元2和主机3。
43.显示单元1是atm机的显示屏幕，用户与终端的所有行为信息都会呈现在该屏幕上，呈现在屏幕的密码输入界面如图3所示，密码输入界面包含位于同心圆上的若干密码单元滑块，在本实施例中，密码单元滑块位数字滑块，即密码采用数字。
44.输入单元2包括摄像模块21和眼动模块22。
45.摄像模块21，用于对atm机前的画面进行拍摄，当用户在atm机前时，摄像模块会拍摄到含有用户面部的图像，这些图像将用于检测用户的双眼闭合情况，以此来判断用户是
否要开始密码输入。
46.眼动模块22，将基于瞳孔-角膜反射原理检测用户的注视点是否在屏幕上，计算并记录注视点的坐标[(x0，y0)，(x1，y1)，...，(xn,yn)]，这些注视点坐标数据将用于判断用户追随的数字滑块。
[0047]
本实施例中，眼动模块22可采用眼动仪。
[0048]
主机3包括处理器31，计时模块32，判断模块33，随机生成模块34。
[0049]
主机3及其包含的模块都存在于atm机内置的电脑中，其中计时模块32，判断模块33，随机生成模块34基于软件的代码编写可得。
[0050]
判断模块33主要根据运动方向和轨迹相似度两个指标进行判断。
[0051]
判断模块33将先计算注视点坐标序列和每个数字滑块的运动方向，结果是顺时针运动或逆时针运动。判断模块33还将根据用户的注视点坐标序列和每个数字滑块的运动坐标序列分别计算欧氏距离用于判断轨迹相似度，该系数值是一个的浮点数，距离值的大小和用户跟踪某个数字滑块的可能性呈负相关，距离值越接近0则表明数字滑块的运动轨迹和注视点的轨迹越相似，因此计算出的距离最小的数字滑块所对应的数字将被识别为用户将要输入的密码。
[0052]
计算欧氏距离的算法如下：
[0053][0054]
其中，(a
xi
，a
yi
)表示注视点坐标；(b
xi
，b
yi
)表示密码单元滑块的坐标，n为计算的坐标点总数。
[0055]
判断模块使用的算法如下：
[0056]
1.获取注视点坐标序列和每个数字滑块的运动坐标序列，以其中某数字滑块为例，其运动坐标序列可表示为[(a
x0
，a
y0
)，(a
x1
，a
y1
)，...，(a
xn
，a
yn
)]，注视点坐标序列表示为[(b
x0
，b
y0
)，(b
x1
，b
y1
)，...，(b
xn
，b
yn
)]。
[0057]
2.计算运动方向，根据左手定则，两个向量的矢量叉积的结果为正则表示顺时针运动，反之为逆时针运动。以注视点坐标序列为例，取最后采集的三个坐标点得到向量a和b：
[0058][0059][0060]
如果则注视点坐标序列为顺时针，反之为逆时针。同理，计算每个数字滑块的运动方向。
[0061]
3.然后使用欧氏距离法计算两组速度序列之间的相关性。根据公式(1)，分别计算每个数字滑块和注视点运动坐标序列的欧氏距离，
[0062]
4.在与注视点坐标序列的运动方向相同的数字滑块中，选取欧氏距离最小的滑块所对应的数字作为密码输入。
[0063]
随机生成模块34将在检测到用户输入行为后，为每个数字滑块提供随机的旋转方向和旋转速度。
[0064]
使用的随机算法如下：
[0065]vn
＝random(-v
max
，v
max
)
[0066]
if vn不等于v0，v1，...，v
n-1
：
[0067]
设定滑块n的运动速度为vn[0068]
else重新随机速度vn[0069]
其中，n＝0，1，
…
，9，分别代表9个数字滑块。vmax表示随机速度的最大值。
[0070]
接下来结合图4进一步说明用户在atm机上的密码输入过程：
[0071]
(一)用户在atm机的输入界面前，保持左眼闭合，右眼睁开，摄像模块21采集的眼部图像被处理器31识别后，触发密码输入系统；
[0072]
(二)随机生成模块34初始化每个数字滑块的运动速度和方向，代表数字0至9的滑块分别开始运动。用户根据要输入的数字选择眼动追踪目标数字滑块；
[0073]
(三)眼动模块22采集到用户的注视点运动坐标并传至判断模块33，计时模块32的计算时间超过设定阈值后，判断模块33将输入数字传至处理器31，完成一位密码输入；
[0074]
(四)显示模块1的界面上出现一位“*”表示已完成一位密码的输入；
[0075]
(五)用户睁开左眼并闭合右眼，进行下一位密码的输入；
[0076]
(六)四位密码全部输入后，显示模块1的界面上出现“料料”的四位加密密码，表明完成输入行为，处理器31将密码加密后传至服务器；
[0077]
本实施例中，用户可以在atm机前的进行即时输入行为，不需要眼动模块校准。在使用眼动平滑追踪的交互方式选择数字时，旁人很难通过偷窥的方式分辨用户要输入的数字。如果有人员使用摄像设备进行偷窥，即使其同时拍摄了用户眼部和输入界面，也无法准确分辨用户要输入的数字。因此本发明可以有效保证用户在atm机上的密码输入过程的安全性。
[0078]
本实施例在实际场景中应用时，可以在输入界面上添加适当的视觉反馈，表示系统正在识别用户的眼动平滑追踪输入行为。例如如图5所示，添加环形视觉反馈，用来表示识别到的用户追踪时间占总识别时间阈值的百分比，当视觉反馈由圆弧变为圆环，表示已完成目标密码的输入。此处的视觉反馈仅用于提示输入进度，不会提供其他任何输入信息。
[0079]
实施例二：
[0080]
本实施例提供一种设备，具体是一种个人计算设备，因为所有的个人计算设备，如电脑，智能手机，平板电脑等，都配备显示屏，摄像头和具有充足算力的cpu，具备实现本发明所提出系统的硬件和软件条件。
[0081]
接下来以智能手机为例介绍实施例二，示意图如图6所示。
[0082]
智能手机，包括显示单元1，输入单元2和主机3。
[0083]
显示单元1使用个人计算设备(智能手机)自带的屏幕，屏幕上将显示如图3所示的密码输入界面。屏下含有文字图像输出系统，与处理器31通过串口，usb，蓝牙等通讯协议连接。
[0084]
输入单元2使用个人计算设备(智能手机)自带的摄像头，摄像头拍摄的图像用于分析用户的眼部动作。
[0085]
主机3及其包含的模块都存在于个人计算设备(智能手机)内置的cpu中，包括处理器31，计时模块32，判断模块33，随机生成模块34，其中除了处理器31以外的三个模块均基于软件的代码编写可得。处理器31，计时模块32和随机生成模块34的功能和原理与实施例
一中的对应模块相同。
[0086]
判断模块33将根据摄像头拍摄到的用户双眼图像分析得到用户的眼动坐标序列，之后根据该坐标序列和每个数字滑块的运动坐标序列分别计算运动方向和欧氏距离值，距离值的大小和用户跟踪某个数字滑块的可能性呈负相关，所计算出的系数最大的数字滑块所对应的数字将被识别为用户将要输入的密码。
[0087]
本实施例中通过输入单元2所采集的图像和判断模块33得到用户在个人计算设备上的眼动注视位置，其中没有使用眼动仪，仅通过摄像头即可实现。相关技术已有文献支撑，krafka等人在2016年提出了基于手机摄像头实现眼动追踪的技术gazecapture(“eye tracking for everyone”，ieee conference on computer vision and pattern recognition，krafka,k.,et al.，2016年)通过卷积神经网络与大量数据集训练出的机器学习模型，可以在无校准的情况下分别在智能手机和平板电脑上达到1.71cm和2.53cm的预测误差，该误差完全满足本实施例中所需要的精度条件。相关模型可以开源获取。此外，valliappan和dai等人(“accelerating eye movement research via accurate and affordable smartphone eye tracking”，《nature communications.》，valliappan,n.,et al.，2020年)用机器学习训练出的模型甚至可以将精度降低至1cm以内。总之，已有充足的研究证明通过个人计算设备的摄像头实现眼动追踪的可行性。
[0088]
接下来结合图6进一步说明用户在智能手机上的密码输入过程：
[0089]
(一)用户使用手机时，手机屏幕呈现图3所示的密码输入界面。用户保持单眼闭合，摄像模块2采集到眼部图像被处理器31识别后，触发密码输入系统；
[0090]
(二)随机生成模块34初始化每个数字滑块的运动速度和方向，代表数字0至9的滑块分别开始运动。用户根据要输入的数字选择眼动追踪目标数字滑块；
[0091]
(三)判断模块33根据机器学习模型识别出用户的眼动位置坐标，计时模块32的计算时间超过设定阈值后，判断模块33计算出用户要输入的数字，并将其传至处理器31，完成一位密码输入；
[0092]
(四)手机屏幕上的输入界面上出现一位“*”表示已完成一位密码的输入；
[0093]
(五)用户睁开闭合眼并闭上另一只眼，进行下一位密码的输入；
[0094]
(六)四位密码全部输入后，显示屏上呈现的输入界面出现“****”的四位加密密码，表明完成输入行为，处理器31将密码加密后传至服务器。
[0095]
除了以上所提到的实施例以外，本发明所提供的密码输入方法和系统还可以应用在门禁系统等。此外，实施例中的密码组成元素不仅限于数字，也可以使用字母，符号，图案及相关组合。

技术特征：
1.一种眼动密码输入方法，其特征在于，包含如下步骤：步骤一：在显示器上生成密码输入界面；其中密码输入界面包含位于同心圆上的若干密码单元滑块，所述密码单元滑块在所述同心圆上的角度随机分布；步骤二：通过眼部追随运动确定要输入的密码单元滑块，并完成密码单元的输入，包括：步骤a：实时获取用户在显示器上的注视点位置，并根据设定时间内的注视点坐标序列计算出注视点的运动轨迹；步骤b：将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块，以此表示检测到追踪行为，同时在显示器上呈现已接收到用户的输入行为视觉反馈；步骤c：获取检测到追踪行为所保持的时间长度；当保持的时间长度超过设定的时间阈值，则完成找出的密码单元滑块对应密码单元的输入。2.根据权利要求1所述的眼动密码输入方法，其特征在于，步骤一的在显示器上生成初始的密码输入界面中，在用户需要输入密码时，通过摄像头捕捉用户的双眼图像，当在双眼图像中检测到设定的触发密码输入的启动单元的命令时，密码输入界面上的密码单元滑块开始围绕圆形输入界面随机转动，转动的方向和速度各异。3.根据权利要求2所述的眼动密码输入方法，其特征在于，设定的触发密码输入的启动单元的命令为双眼同时一次眨眼或左右轮流一次眨眼或单眼睁开且另一只眼闭合。4.根据权利要求1所述的眼动密码输入方法，其特征在于，步骤二中，还包括：步骤d：在输入一位密码后，初始化密码输入界面上的密码单元滑块位置；步骤e：判断当前输入密码是否是最后一位，如果不是则重复步骤一-步骤二的c,完成剩余位密码的输入，如果是则完成输入行为，终端将密码加密并发送给服务器。5.根据权利要求4所述的眼动密码输入方法，其特征在于，步骤b中，将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块方法，包括：根据用户的注视点坐标序列和每个密码单元滑块的运动坐标序列计算欧氏距离d：其中，(a
xi
,a
yi
)表示注视点坐标；(b
xi
,b
yi
)表示密码单元滑块的坐标，n为计算的坐标点总数；计算用户的注视点和每个密码单元滑块的运动方向；在与注视点坐标序列的运动方向相同的密码单元滑块中，选取欧氏距离最小的密码单元滑块所对应的密码单元作为密码输入。6.根据权利要求5所述的眼动密码输入方法，其特征在于，用户的注视点和每个密码单元滑块的运动方向的确定方法是：根据前后时刻采集的三个坐标点得到两个向量a和b；计算两个向量的矢量叉积，矢量叉积的结果为正则表示顺时针运动，反之为逆时针运动。
7.一种密码输入系统，其特征在于，包括：显示单元，用于显示密码输入界面；图像采集模块，用于获取用户的眼部图像；眼部追随模块，用于追踪所述图像采集模块获取的眼部图像中注视点的运动轨迹；随机生成模块，用于在检测到输入行为后，随机生成每个密码单元滑块的运动方向和速度；判断模块，用于将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块；计时模块，用于获取用户对密码单元滑块保持眼部追随运动的时间，在触发密码单元滑块随机运动后即开始计时；处理器，用于执行以下控制，包括：在追随运动超过一定时间阈值后，选取运动相似性系数最高的密码单元滑块所对应的密码单元作为输入密码。8.根据权利要求7所述的一种密码输入系统，其特征在于，所述眼部追随模块为眼动仪。9.根据权利要求7所述的一种密码输入系统，其特征在于，处理器执行的控制还包括：判断当前输入密码是否是最后一位，并决定之后所执行的程序步骤；将最终完成输入的密码加密并发给服务器。10.一种设备，其特征在于，具有权利要求7或8所述的一种密码输入系统。

技术总结
本发明公开了一种眼动密码输入方法、系统及设备，眼动密码输入方法包含如下步骤：在显示器上生成密码输入界面；其中密码输入界面包含位于同心圆上的若干密码单元滑块；通过眼部追随运动确定要输入的密码单元滑块，并完成密码单元的输入，包括：根据设定时间内的注视点坐标序列计算出注视点的运动轨迹；将注视点的运动轨迹和每一个密码单元滑块的运动轨迹进行比较，找出轨迹最相似的一个密码单元滑块；获取检测到追踪行为所保持的时间长度，根据设定的时间阈值，则完成对应密码单元的输入。本发明中，用户仅通过眼部动作即可实现完整的密码输入过程，同时还可以保证旁人无法通过偷窥窃取密码内容，有效提升用户的密码输入过程的安全性。安全性。安全性。


技术研发人员：田景泽 牛亚峰 王以俨 何家新 黄炜驰 杨文骏
受保护的技术使用者：中国航空工业集团公司西安飞行自动控制研究所
技术研发日：2023.04.07
技术公布日：2023/9/14