瞳孔运动追踪方法、装置、设备和存储介质与流程

1.本公开涉及眼科oct(optical coherence tomography，光学相干断层扫描)技术领域，尤其涉及一种瞳孔运动追踪方法、装置、设备和存储介质。


背景技术：

2.在基于oct的人眼血流成像系统中，眼球运动会引起oct信号幅值、相位以及成像空间位置和方向的偏差，进而在产生的oct图像中造成伪影。因而需要实时地跟踪眼球运动并根据眼球运动情况补偿成像系统，以便辅助获取高质量的oct血流影像。
3.随着眼动追踪技术的快速发展，由于设备便捷、成本低廉、工程实现相对简单等诸多优点，基于视频的眼动追踪技术已成为当前发展的主流。
4.目前，基于视频的眼动追踪技术往往需要依赖主动红外光源，并且容易受到眼睑、睫毛和普尔钦反射斑等干扰，导致瞳孔中心定位不准确，降低了瞳孔运动追踪的稳定性和鲁棒性。


技术实现要素：

5.本公开提供一种瞳孔运动追踪方法、装置、设备和存储介质，以提高瞳孔中心定位的准确性，从而提高瞳孔运动追踪的稳定性和鲁棒性。
6.第一方面，本公开实施例提供了一种瞳孔运动追踪方法，包括：
7.对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像；
8.对所述二值图像进行类圆形区域检测，以确定所述二值图像中疑似瞳孔区域的位置信息；
9.基于所述疑似瞳孔区域的位置信息对所述二值图像进行掩膜处理，以获得掩膜后的二值图像；
10.对所述掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于所述疑似瞳孔区域的位置信息对所述疑似瞳孔轮廓特征点进行筛选，以获得所述疑似瞳孔轮廓特征点中的瞳孔轮廓特征点；
11.基于所述瞳孔轮廓特征点和所述眼部视频中第n帧图像中的瞳孔中心点，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数；以及
12.基于所述变异系数，确定所述第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
13.第二方面，本公开实施例还提供了一种瞳孔运动追踪装置，包括：
14.图像预处理模块，被配置为对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像；
15.类圆形区域检测模块，被配置为对所述二值图像进行类圆形区域检测，以确定所述二值图像中疑似瞳孔区域的位置信息；
16.图像掩膜处理模块，被配置为基于所述疑似瞳孔区域的位置信息对所述二值图像
进行掩膜处理，以获得掩膜后的二值图像；
17.瞳孔轮廓特征点获得模块，被配置为对所述掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于所述疑似瞳孔区域的位置信息对所述疑似瞳孔轮廓特征点进行筛选，以获得所述疑似瞳孔轮廓特征点中的瞳孔轮廓特征点；
18.变异系数确定模块，被配置为基于所述瞳孔轮廓特征点和所述眼部视频中第n帧图像中的瞳孔中心点，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数；以及
19.瞳孔中心点确定模块，被配置为基于所述变异系数，确定所述第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
20.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
21.一个或多个处理器；
22.存储装置，被配置为存储一个或多个程序，
23.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的瞳孔运动追踪方法。
24.第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开任一实施例所述的瞳孔运动追踪方法。
25.本公开实施例提供的技术方案，采用的是基于瞳孔轮廓特征点的变异系数判断第n+1帧图像中的瞳孔位置相较于第n帧图像中的瞳孔位置是否发生了改变，并在此基础上进一步确定出第n+1帧图像中的瞳孔中心点位置，由于该技术方案消除了眼睑、睫毛和普尔钦反射斑等的干扰，因此可以避免因这些干扰造成的定位偏差，从而可以在较低的检测参数设置要求的基础上，精准定位出第n+1帧图像中瞳孔中心点的位置信息，提高瞳孔运动追踪的稳定性和鲁棒性。
附图说明
26.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
27.图1示例性示出了根据本公开实施例的瞳孔运动追踪方法的流程图；
28.图2a和图2b示例性示出了根据本公开实施例的第n+1帧原始图像及其二值图像的示例图；
29.图2c示例性示出了基于图2b得到的掩膜处理后的二值图像；
30.图3示例性示出了根据本公开实施例提取的瞳孔轮廓特征点的效果图；
31.图4示例性示出了根据本公开另一实施例的瞳孔运动追踪方法的流程图；
32.图5a示例性示出了根据本公开又一实施例的瞳孔运动追踪方法的流程图；
33.图5b、图5c和图5d示例性示出了根据本公开实施例的三种利用角度筛选法筛选瞳孔轮廓特征点的示例图；
34.图5e和图5f依次示例性示出了根据本公开实施例的凸包检测中存在凹陷的多边形及不存在凹陷的多边形的示例图；
35.图6示例性示出了根据本公开实施例的瞳孔运动追踪装置的示意图；
36.图7示例性示出了根据本公开实施例的电子设备的示意图。
具体实施方式
37.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
38.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
39.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
40.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
41.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
42.图1示例性示出了根据本公开实施例的瞳孔运动追踪方法的流程图。本公开实施例适于基于眼部视频通过瞳孔运动追踪实现眼动追踪的情形，不需要额外增加红外光源。该方法可以由瞳孔运动追踪装置执行，该装置可以通过软件和/或硬件的形式实现。可选的，该装置可以通过电子设备实现。该电子设备可以包括但不限于眼科oct设备。
43.如图1所示，该瞳孔运动追踪方法可以包括步骤s110-s160。
44.在步骤s110，对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像。
45.示例性的，在oct成像场景中，步骤s110中提及的眼部视频可以是针对患者左眼或者右眼采集的眼部视频。在oct成像过程中，可以基于针对患者眼部采集的视频对患者瞳孔运动情况进行定位追踪，从而在oct或octa成像中对成像系统进行补偿，以便辅助获得高质量的oct成像或octa成像。一段眼部视频可以包含多帧原始图像，其中的第n+1帧图像可以是当前待处理的眼部图像，其中，n为整数，且n≥0。
46.在本公开实施例中，步骤s110中提及的眼部视频可以是获取实时采集的，也可以预先采集的。
47.示例性的，步骤s110中提及的对第n+1帧图像进行预处理可以包括但不限于：先对第n+1帧原始图像进行高斯滤波处理，去除图像噪声并初步消除睫毛等干扰因素；再利用图像自适应阈值方法对高斯滤波后得到的图像进行图像二值化处理，获得预处理后的初始二值图像；然后通过对初始二值图像进行小面积区域去噪操作，可以得到更为干净的预处理后的二值图像。本公开实施例通过图像预处理操作，可以去除原始图像中的噪声，初步滤除相关干扰。
48.在步骤s120，对二值图像进行类圆形区域检测，以确定二值图像中疑似瞳孔区域的位置信息。
49.在步骤s120，示例性的，可以利用霍夫圆检测算法对由步骤s110获得的二值图像进行类圆形区域检测。应该理解，受眼睑、普尔钦反射斑等干扰，在步骤s120中对二值图像进行类圆形区域检测时，通常可以检测到两三个甚至更多个类圆形区域。比如参考图2a和图2b，图2a是原始图像，图2b是基于图2a进行预处理获得的二值图像，对图2b所示的二值图像进行类圆形区域检测，可以检测到由上眼睑和下眼睑构成的类圆形区域、由瞳孔构成的类圆形区域、以及由普尔钦反射斑构成的类圆形区域等。因此，在得到类圆形区域检测结果后，还可以对检测结果进行重排以定位出其中疑似瞳孔的区域(本文称为疑似瞳孔区域)。疑似瞳孔区域为所检测到的类圆形区域中最可能是瞳孔区域的一个类圆形区域。
50.在一个实施例中，对于眼部视频中的首帧图像(即n＝0)而言，可以利用各类圆形区域在二值图像或者二值图像对应的原始图像中的图像灰度值来确定其中疑似瞳孔的区域。这是因为，首帧图像没有参考图像，并且在外眼部结构的成像中瞳孔大部分区域呈现黑色，即瞳孔的图像特征表现为图像灰度值较小，因此可以根据图像灰度值确定几个类圆形区域中疑似瞳孔的区域。
51.在另一个实施例中，对于眼部视频中的非首帧图像(n＞0)而言，一种方法是可以像处理首帧图像那样，根据图像灰度值确定几个类圆形区域中疑似瞳孔的区域，但是这种方法对检测参数的设置要求较为严格。因而对于眼部视频中的非首帧图像而言，另一种方法是还可以根据本帧图像中各类圆形区域的中心位置与其相邻的上一帧图像中瞳孔中心位置之间的欧式距离确定几个类圆形区域中疑似瞳孔的区域。通过这种方法得到的疑似瞳孔区域依赖于以往的瞳孔运动追踪结果，因此对检测参数的设置要求不是很严格。
52.还应该理解，本公开实施例中，确定疑似瞳孔区域的位置信息包括：确定其区域中心点和其半径等特征信息。需要说明的是，疑似瞳孔区域的中心点和半径可能只是瞳孔区域的初步中心点和半径，而真实瞳孔区域的中心点和半径还需要在此特征信息的基础上进一步确定。
53.在步骤s130，基于疑似瞳孔区域的位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像。
54.通过步骤s120获得疑似瞳孔区域的位置信息后，在步骤s130中，还需要基于该位置信息对通过步骤s110获得的二值图像进行掩膜，以消除眼睑等干扰因素对瞳孔运动追踪的影响，仅保留用户感兴趣的瞳孔及瞳孔周边区域以继续用于瞳孔运动追踪。
55.在一个实施例中，在步骤s130中，进行掩膜处理时可以先生成一与二值图像尺寸相同的掩膜模板，然后再将生成的掩膜模板与二值图像相乘，从而可以滤除二值图像中用户不感兴趣的区域，仅保留其中用户感兴趣的区域。应该理解，本公开实施例中，用户感兴趣的区域应该是瞳孔及其附近区域，即，上述的疑似瞳孔区域。
56.示例性的，生成上述掩膜模板的流程可以包括：根据步骤s120获得疑似瞳孔区域的位置信息，先生成以疑似瞳孔区域的中心点为中心，以疑似瞳孔区域的半径(或者(半径
×
(1+x％))，或者(半径
×
(1-x％)))的两倍为边长的矩形掩膜模板；再利用图像膨胀算法对该矩形掩膜模板进行膨胀处理，得到边角圆润的矩形掩膜模板，该掩膜模板即为与二值图像尺寸相同的掩膜模板。
57.例如，参考图2b和图2c，图2b是掩膜前的二值图像，图2c是掩膜后的二值图像。可见，掩膜后的二值图像消除了眉毛、下眼睑、以及部分上眼睑等的干扰，仅保留了用户感兴
趣的瞳孔及瞳孔周边区域。
58.在步骤s140，对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于疑似瞳孔区域的位置信息对疑似瞳孔轮廓特征点进行筛选，以获得疑似瞳孔轮廓特征点中的瞳孔轮廓特征点。
59.返回继续参考图2c可以看出，虽然经过图像预处理和掩膜处理后，可以消除诸如眉毛、下眼睑、以及部分上眼睑等的干扰，但是保留下来的疑似瞳孔区域及瞳孔周边区域内还存在部分上眼睑、上眼睫毛等的干扰，依然会对瞳孔运动追踪造成影响。因此，在步骤s140还可以进行瞳孔轮廓特征点的提取和筛选，以便获得更为干净、真实的瞳孔轮廓特征点，从而为准确地进行瞳孔运动追踪提供数据基础和数据支持。
60.示例性的，在步骤s140中可以使用边缘特征点提取算法，对掩膜处理后的二值图像进行瞳孔轮廓特征点提取，并将提取出的瞳孔轮廓特征点进行标记，获得掩膜处理的二值图像中关于白色区域的轮廓特征点，即，疑似瞳孔轮廓的特征点。对于提取的疑似瞳孔轮廓特征点，还可以进一步筛选出其中真正的瞳孔轮廓特征点。
61.示例性的，可以通过距离筛选算法和角度筛选算法进行瞳孔轮廓特征点筛选。在一些实施例中，可以仅进行距离筛选；在一些实施例中，可以仅进行角度筛选；在一些实施例中；还可以先进行距离筛选，再进行角度筛选；在一些实施例中，也可以先进行角度筛选，再进行距离筛选；本公开实施例对此不做限定。
62.参考图3，经过距离筛选和角度筛选后，可以消除上眼睑、上眼睫毛以及杂光斑等的干扰，仅保留真实的瞳孔轮廓特征点。
63.在步骤s150，基于瞳孔轮廓特征点和眼部视频中第n帧图像中的瞳孔中心点，确定第n+1帧图像中瞳孔轮廓特征点的变异系数。
64.应该理解，第n帧图像是指同一眼部视频中与第n+1帧图像相邻的上一个图像帧。变异系数又称离散系数，其是概率分布离散程度的一个归一化量度。在本公开实施例中，变异系数可以表示第n+1帧图像中瞳孔中心点与第n帧图像中的瞳孔中心点之间的变化程度。基于变异系数，可以确定相较于第n帧图像中的瞳孔中心点，第n+1帧图像中的瞳孔中心点实际上是否发生了变化。
65.在本公开实施例中，可以计算第n+1帧图像中每个瞳孔轮廓特征点与第n帧图像中的瞳孔中心点之间的欧式距离，并基于这些欧式距离确定出第n+1帧图像中瞳孔轮廓特征点相对于第n帧图像对应的瞳孔中心点的变异系数。
66.示例性的，在步骤s150中的变异系数确定过程可以包括但不限于：基于瞳孔轮廓特征点的位置信息和眼部视频中第n帧图像中的瞳孔中心点的位置信息，确定每个瞳孔轮廓特征点与该瞳孔中心点之间的距离；以及确定各个距离对应的标准差和平均值，并基于确定的标准差和平均值，确定第n+1帧图像中瞳孔轮廓特征点的变异系数。
67.应用理解，第n+1帧图像中的每个瞳孔轮廓特征点与第n帧图像中的瞳孔中心点之间的距离可以是指欧式距离。利用欧式距离计算公式，基于第n+1帧图像中的每个瞳孔轮廓特征点的位置坐标和第n帧图像中的瞳孔中心点的位置坐标，可以计算出第n+1帧图像中的每个瞳孔轮廓特征点与第n帧图像中的瞳孔中心点之间的欧式距离，并对计算出的所有距离进行平均处理，获得所有距离的平均值，以及对所有距离的方差进行开平方处理，获得所有距离的标准差。将所有距离对应的标准差与平均值进行相除，获得第n+1帧图像中瞳孔轮
廓特征点相对于第n帧图像对应的瞳孔中心点的变异系数。
68.需要注意的是，由于眼部视频中的非首帧图像才存在与其相邻的上一帧图像，眼部视频中的首帧图像是不存在与其相邻的上一帧图像的，所以首帧图像不存在变异系数，只有在第n+1帧图像为非首帧图像时，通过步骤s150可以确定出第n+1帧图像对应的变异系数。
69.在步骤s160，基于变异系数，确定第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
70.通过步骤s150获得第n+1帧图像中瞳孔轮廓特征点相对于第n帧图像中的瞳孔中心点的变异系数后，在步骤s160中，可以对该变异系数进行检测，确定该变异系数对应的瞳孔变化程度是否达到了瞳孔变化的最小程度。如果检测结果显示当前变异系数指示的瞳孔变化程度已达到瞳孔变化的最小程度，则表明第n+1帧图像中的瞳孔中心点相对于第n帧图像中的瞳孔中心点确实发生了移动，此时识别出的第n+1帧图像中的所有瞳孔轮廓特征点为准确的瞳孔轮廓特征点，从而可以基于识别出的所有瞳孔轮廓特征点重新确定出一个新的瞳孔中心点，作为第n+1帧图像中的瞳孔中心点。例如，可以基于针对第n+1帧图像识别出的所有瞳孔轮廓特征点进行椭圆拟合，并将拟合出的椭圆中心作为第n+1帧图像中的瞳孔中心点。如果该变异系数对应的瞳孔变化程度未达到瞳孔变化的最小程度，则表明第n+1帧图像中的瞳孔中心点相对于第n帧图像中的瞳孔中心点并没有发生移动或者虽然发生了移动但移动量很小，可以忽略不计，此时可以直接将第n帧图像的瞳孔中心点确定为第n+1帧图像对应的瞳孔中心点。本实施例利用变异系数可以精准定位出第n+1帧图像中瞳孔中心点的位置信息，从而可以提高瞳孔运动追踪的准确性。
71.需要注意的是，由于眼部视频中的首帧图像不存在与其相邻的上一帧图像，因此在确定首帧图像中的瞳孔中心点时，可以在通过步骤s140获得首帧图像中的瞳孔轮廓特征点后，直接对首帧图像中的所有瞳孔轮廓特征点进行椭圆拟合，并将拟合得到的椭圆中心点作为首帧图像中的瞳孔中心点。
72.示例性的，对于眼部视频中的非首帧图像而言，在步骤s160中基于变异系数确定第n+1帧图像中的瞳孔中心点的过程可以包括但不限于：响应于变异系数大于或等于预设系数，基于瞳孔轮廓特征点进行椭圆拟合，以确定第n+1帧图像中的瞳孔中心点；和/或响应于变异系数小于预设系数，确定第n+1帧图像中的瞳孔中心点与第n帧图像中的瞳孔中心点重合。
73.应该理解，预设系数是预先设定的瞳孔发生移动时对应的最小变异系数。通过检测第n+1帧图像中瞳孔轮廓特征点相对于第n帧图像中的瞳孔中心点的变异系数是否大于或等于该预设系数，可以确定出第n+1帧图像中的瞳孔中心点相对于第n帧图像中的瞳孔中心点是否发生了移动。例如，在变异系数大于或等于预设系数时，表明第n+1帧图像中的瞳孔中心点相对于第n帧图像中的瞳孔中心点发生了移动，此时可以基于最小二乘法，对第n+1帧图像中的所有瞳孔轮廓特征点进行椭圆拟合，并将拟合出的椭圆的中心点确定为第n+1帧图像中的瞳孔中心点的位置。在变异系数小于预设系数时，表明第n+1帧图像中的瞳孔中心点相对于第n帧图像中的瞳孔中心点并没有发生移动或者虽然发生了移动但移动量很小，可以忽略不计，此时可以直接确定第n帧图像中的瞳孔中心点即为第n+1帧图像中的瞳孔中心点，换言之，这种情况下则确定第n帧图像中的瞳孔中心点与第n+1帧图像中的瞳孔
中心点重合。本公开实施例通过变异系数可以精确定位出非首帧图像中的瞳孔中心点的位置信息，提高瞳孔运动追踪的准确性。
74.本公开实施例，通过对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像，可以去除原始图像中的噪声，初步消除睫毛等干扰因素；而对二值图像进行类圆形区域检测，以确定二值图像中疑似瞳孔区域的位置信息，并基于疑似瞳孔区域的位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像，可以消除眼睑等干扰因素对瞳孔运动追踪的影响；对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于疑似瞳孔区域的位置信息对疑似瞳孔轮廓特征点进行筛选，以获得疑似瞳孔轮廓特征点中的瞳孔轮廓特征点，可以进一步消除上眼睑、上眼睫毛以及杂光斑等的干扰；由此基于瞳孔轮廓特征点和眼部视频中第n帧图像中的瞳孔中心点，确定第n+1帧图像中瞳孔轮廓特征点的变异系数，以及基于变异系数，确定第n+1帧图像中的瞳孔中心点，可以在较低的检测参数设置要求的基础上，精准定位出第n+1帧图像中瞳孔中心点的位置信息，提高瞳孔运动追踪的稳定性和鲁棒性。
75.作为一个可选的实施例，步骤s110可以包括：对眼部视频中的第n+1帧图像进行高斯滤波，获得滤波后的第n+1帧图像；基于自适应阈值处理方式，对滤波后的第n+1帧图像进行二值化处理，获得初始二值图像；确定初始二值图像中的每个连通区域对应的连通面积，并将连通面积小于或等于预设面积的连通区域进行滤除，获得滤波后的二值图像。
76.应该理解，连通区域可以是指初始二值图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，比如白色像素点组成的连通区域。预设面积可以是指预先设置的干扰区域的最大面积。
77.示例性的，高斯滤波的过程可以包括但不限于：对第n+1帧图像中的每个像素点而言，可以对该像素点的原始像素值和该像素点所处邻域中的邻域像素点的原始像素值进行加权平均处理，并将处理结果确定为该像素点在滤波后的第n+1帧图像中的像素值，从而可以获得滤波后的第n+1帧图像。通过高斯滤波可以去除图像噪声并初步消除睫毛干扰等影响因素。自适应阈值处理的过程可以包括但不限于：将滤波后的第n+1帧图像划分为多个区域，并通过每个区域内的各个像素点的像素值进行加权平均获得每个区域的阈值，将每个区域内的像素点的像素值与该区域的阈值进行比较，对于像素值高于阈值的像素点在二值图像中将其像素值置1，从而变成白色像素点，对于像素值低于阈值的像素点在二值图像中将其像素值置0，从而变成黑色像素点，由此可以获得明暗差异较大的初始二值图像。在获得初始二值图像之后，可以识别出初始二值图像中的各个连通区域，并计算出每个连通区域对应的连通面积。将每个连通区域对应的连通面积与预设面积进行比较，若某个连通区域对应的连通面积小于或等于预设面积，则表明该连通区域为干扰区域，此时可以将该连通区域去除，比如将该连通区域中各个像素点的像素值置0处理，由此可以将初始二值图像中的小面积干扰区域去除，获得更为干净的二值图像，进一步提高预处理效果，进而提高瞳孔运动追踪的准确性。
78.图4示例性示出了根据本公开另一实施例的瞳孔运动追踪方法的流程图。
79.如图4所示，该瞳孔运动追踪方法可以包括以下步骤：
80.在步骤s110，对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像。
81.本步骤与图1所示的步骤s110对应相同或类似，本公开实施例在此不再赘述。
82.在步骤s410，对二值图像进行类圆形区域检测，获得二值图像中各个类圆形区域的位置信息。
83.在步骤s410中，可以基于霍夫圆检测方式，检测二值图像中的所有类圆形区域，获得检测出的每个类圆形区域的位置信息。例如，检测出的类圆形区域的位置信息可以包括类圆形区域的中心点坐标(a，b)和半径r等特征信息。霍夫圆检测过程可以包括但不限于：基于圆形表达式(x-a)2+(y-b)2＝r2，可以获得曲线表达式x＝a+rcos(θ)和y＝b+rsin(θ)，从而对每个类圆形区域的位置信息对应的曲线进行相交检测，基于曲线交点、a＝x-rcos(θ)和b＝y-rsin(θ)进行求解，可以获得二值图像中每个类圆形区域的位置信息。利用霍夫圆检测方式可以更加准确、快速地检测出所有类圆形区域，进一步提高瞳孔定位的准确性和高效性。
84.在步骤s420，基于各个类圆形区域的位置信息，从各个类圆形区域中确定出疑似瞳孔区域，并获得疑似瞳孔区域对应的位置信息。
85.在步骤s420中，由于二值图像中可以检测出多个类圆形区域，从而需要对检测出的所有类圆形区域进行重排，定位出其中最可能是瞳孔的类圆形区域，即疑似瞳孔区域，并将定位出的该类圆形区域的位置信息确定为疑似瞳孔区域对应的位置信息。
86.在第n+1帧图像为眼部视频中的非首帧图像的情况下，作为一种实现方式，步骤s420中的疑似瞳孔区域的确定过程可以为：基于每个类圆形区域对应的图像灰度值，从各个类圆形区域中确定出疑似瞳孔区域。其中，图像灰度值可以是指类圆形区域在二值图像中的像素点灰度值的总和，也可以是指类圆形区域在二值图像对应的原始图像中的像素点灰度值的总和。例如，可以将图像灰度值最小的类圆形区域确定为疑似瞳孔区域。
87.或者，在第n+1帧图像为眼部视频中的非首帧图像的情况下，作为另一种实现方式，步骤s420中的疑似瞳孔区域的确定过程还可以为：基于各个类圆形区域中每个类圆形区域的中心点和第n帧图像中瞳孔区域的中心点，确定每个类圆形区域与瞳孔区域之间的欧式距离；以及基于每个类圆形区域与瞳孔区域之间的欧式距离，从各个类圆形区域中确定出疑似瞳孔区域。
88.在本实施例中，在第n+1帧图像为眼部视频中的非首帧图像时，可以基于每个类圆形区域的中心点位置信息和第n帧图像中瞳孔区域的中心点位置信息，确定每个类圆形区域中心点与第n帧图像中瞳孔区域中心点之间的欧式距离。可以将其中欧式距离最小的类圆形区域确定为疑似瞳孔区域。这是因为，瞳孔移动是连续的，对于相邻帧图像而言，瞳孔移动后，两幅图像中的两个瞳孔中心点之间的距离偏差不会太大，因此可以将其中欧式距离最小的类圆形区域确定为疑似瞳孔区域。非首帧图像而言，通过依赖其上一相邻图像帧中的瞳孔区域，可以更加准确、便捷地定位出非首帧图像中的疑似瞳孔区域，提高瞳孔定位的效率和准确性。
89.在第n+1帧图像为眼部视频中的首帧图像的情况下，步骤s420中的疑似瞳孔区域的确定过程可以为：根据各个类圆形区域的位置信息，确定各个类圆形区域的图像灰度值；以及根据各个类圆形区域的图像灰度值，从各个类圆形区域中确定出疑似瞳孔区域。
90.本实施例中，确定各个类圆形区域的图像灰度值可以包括：确定二值图像中各个类圆形区域的图像灰度值；或者，确定二值图像中各个类圆形区域在对应的第n+1帧原始图像中的图像灰度值。在首帧图像中，可以将图像灰度值最小的类圆形区域确定为疑似瞳孔
区域，从而保证瞳孔运动追踪的整体效果。
91.在步骤s130，基于疑似瞳孔区域的位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像。
92.在步骤s140，对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于疑似瞳孔区域的位置信息对疑似瞳孔轮廓特征点进行筛选，以获得疑似瞳孔轮廓特征点中的瞳孔轮廓特征点。
93.在步骤s150，基于瞳孔轮廓特征点和眼部视频中第n帧图像中的瞳孔中心点，确定第n+1帧图像中瞳孔轮廓特征点的变异系数。
94.在步骤s160，基于变异系数，确定第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
95.本实施例中步骤s130～s160与图1所示的步骤s130～s160对应相同或类似，本公开实施例在此不再赘述。
96.本公开实施例，通过对二值图像进行类圆形区域检测，获得二值图像中各个类圆形区域的位置信息，并基于各个类圆形区域的位置信息，从各个类圆形区域中确定出疑似瞳孔区域，可以消除因眼睑、普尔钦反射斑等干扰形成的类圆形区域的影响，筛选出最可能的疑似瞳孔区域，由此可以进一步提高瞳孔运动追踪的准确性。
97.图5a示例性示出了根据本公开又一实施例的瞳孔运动追踪方法的流程图。
98.如图5a所示，瞳孔运动追踪方法具体包括以下步骤：
99.在步骤s110，对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像。
100.在步骤s120，对二值图像进行类圆形区域检测，以确定二值图像中疑似瞳孔区域的位置信息。
101.在步骤s130，基于疑似瞳孔区域的位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像。
102.本实施例中步骤s110～s130与图1所示的步骤s110～s130对应相同或类似，本公开实施例在此不再赘述。
103.在步骤s510，对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点。
104.在步骤s520，基于疑似瞳孔区域的位置信息和每个疑似瞳孔轮廓特征点的位置信息，对每个疑似瞳孔轮廓特征点进行距离筛选，获得第一候选瞳孔轮廓特征点。
105.应该理解，对掩膜后的二值图像提取瞳孔轮廓特征点，可能会因部分上眼睑、上眼睫毛、杂光斑等的干扰存在杂质特征点，因此为得到更干净的瞳孔轮廓特征点还需要筛除其中的杂质特征点。第一候选瞳孔轮廓特征点是初步筛选出的距离符合瞳孔轮廓特征的特征点。在步骤s520中进行距离筛选时，可以先确定每个疑似瞳孔轮廓特征点与通过步骤s120获得的疑似瞳孔区域的中心点之间的欧式距离，再判断每个距离值与通过步骤s120获得的疑似瞳孔区域的半径之间的差值是否在预设误差范围内。如果该差值在预设误差范围内，则表示对应的疑似瞳孔轮廓特征点可能为真实的瞳孔轮廓特征点，可以将该疑似瞳孔轮廓特征点确定为第一候选瞳孔轮廓特征点，并保留该特征点。否则，如果该差值超出了该预设误差范围，则表示对应的疑似瞳孔轮廓特征点为上眼睑、上眼睫毛或杂光斑等的干扰特征点，此种情况下可以筛除该疑似瞳孔轮廓特征点。通过距离筛选，可以从疑似瞳孔轮廓
特征点中初步筛选出可能是真实的瞳孔轮廓特征点，滤除相关杂质特征点的干扰。
106.作为一种可选的实施例，步骤s520可以包括：基于瞳孔中心点位置信息和每个疑似瞳孔轮廓特征点的位置信息，确定每个疑似瞳孔轮廓特征点与疑似瞳孔区域的瞳孔中心点之间的距离；以及确定每个距离与瞳孔半径之间的差值，并将差值绝对值小于或等于预设差值的疑似瞳孔轮廓特征点确定为第一候选瞳孔轮廓特征点。
107.其中，疑似瞳孔区域的位置信息包括：疑似瞳孔区域的中心点(简称疑似瞳孔中心点)和疑似瞳孔半径r等特征信息。预设差值可以为(r
×
a％)。距离筛选的过程具体如下：基于疑似瞳孔区域的瞳孔中心点位置信息和每个疑似瞳孔轮廓特征点的位置信息，确定每个疑似瞳孔轮廓特征点与疑似瞳孔区域的瞳孔中心点之间的欧式距离；将每个疑似瞳孔轮廓特征点对应的欧式距离与疑似瞳孔区域的瞳孔半径进行相减，获得相应的差值，并将差值绝对值小于或等于预设差值的每个疑似瞳孔轮廓特征点确定为第一候选瞳孔轮廓特征点。差值绝对值大于预设差值的疑似瞳孔轮廓特征点并不是真正的瞳孔轮廓特征点，其可能是眼睑、睫毛等造成的干扰特征点。通过距离筛选可以初步消除眼睑、睫毛等干扰特征点的影响，提高瞳孔运动追踪的准确性。
108.在步骤s530，对第一候选瞳孔轮廓特征点进行角度筛选，获得第二候选瞳孔轮廓特征点。
109.应该理解，不同的人眼睫毛有长有短，尤其对于眼睫毛较长的人群，有些情况下仅通过距离筛选难以完全排除眼睫毛等的干扰，因此还可以通过角度筛选进一步筛除眼睫毛等造成的杂质特征点。第二候选瞳孔轮廓特征点是从距离符合瞳孔轮廓特征的第一候选瞳孔轮廓特征点中再次筛选出的角度也符合瞳孔轮廓特征的特征点。
110.在对疑似瞳孔轮廓特征点进行初步筛选后，由于下眼睑和下眼睫毛等造成的干扰基本被排除了，因此在二次筛选时可仅对因上眼睑和上眼睫毛等干扰造成的杂质特征点进行排除。因此在步骤s530中进行角度筛选时，可以以通过疑似瞳孔区域的中心点的水平线为水平分界线，仅对位于该水平分界线以上的第一候选瞳孔轮廓特征点(以下称为目标候选瞳孔轮廓特征点)进行二次筛选。本公开实施例可以通过以下实施方式实现二次筛选。
111.一种实施方式可以是，以疑似瞳孔中心点为原点，建立直角坐标系，将每个目标候选瞳孔轮廓特征点与疑似瞳孔区域的中心点分别连线，利用每条连线与水平分界线(x坐标轴)构成的一个锐角夹角∠α(∠α在0
°
～90
°
之间)或者利用每条连线与x正半轴(x轴正向)之间的夹角∠β(∠β在0
°
～180
°
之间)进行角度筛选。
112.示例性的，对于锐角夹角∠α而言，可以判断∠α是否小于或等于第一预设角度，如果∠α小于或等于第一预设角度，则保留对应的目标候选瞳孔轮廓特征点；否则，如果∠α大于第一预设角度，则滤除对应的目标候选瞳孔轮廓特征点。
113.示例性的，对于锐角夹角∠α而言，在对应的目标候选瞳孔轮廓特征点为第一象限中的坐标点的情况下，可以判断∠α是否小于或等于第二预设角度，如果∠α小于或等于第二预设角度，则保留对应的目标候选瞳孔轮廓特征点；否则，如果∠α大于第二预设角度，则滤除对应的目标候选瞳孔轮廓特征点；在对应的目标候选瞳孔轮廓特征点为第二象限中的坐标点的情况下，可以判断∠α是否小于或等于第三预设角度，如果∠α小于或等于第三预设角度，则保留对应的目标候选瞳孔轮廓特征点；否则，如果∠α大于第三预设角度，则滤除对应的目标候选瞳孔轮廓特征点。其中，第二预设角度与第三预设角度不同。
114.示例性的，对于夹角∠β而言，可以判断：∠β是否小于或等于第二预设角度，或者∠β是否大于或等于第四预设角度但小于180
°
。如果∠β小于或等于第二预设角度，则保留对应的目标候选瞳孔轮廓特征点；如果∠β大于或等于第四预设角度且小于180
°
，则也保留对应的目标候选瞳孔轮廓特征点；否则，如果∠α大于第二预设角度且小于第四预设角度，则滤除对应的目标候选瞳孔轮廓特征点。其中，第四预设角度与上述的第三预设角互补。
115.参考图5b，以瞳孔中心点为原点，过瞳孔中心点的水平线为x轴，过瞳孔中心点的垂直线为y轴，建立直角坐标系。如果某个第一候选瞳孔轮廓特征点位于x轴上方，且该第一候选瞳孔轮廓特征点位于第一象限内，则以该第一候选瞳孔轮廓特征点与瞳孔中心点之间的连线为一边，以x正半轴为另一边形成的夹角为∠θ，如果∠θ满足：0
°
＜∠θ≤∠θ1，则保留该第一候选瞳孔轮廓特征点。否则，如果∠θ1＜∠θ≤∠90
°
，则舍弃该第一候选瞳孔轮廓特征点。
116.继续参见图5b，如果某个第一候选瞳孔轮廓特征点位于x轴上方，且该第一候选瞳孔轮廓特征点位于第二象限内，则以该第一候选瞳孔轮廓特征点与瞳孔中心点之间的连线为一边，以x负半轴为另一边形成的夹角为∠θ，如果∠θ满足：0
°
＜∠θ≤∠θ2，则保留该第一候选瞳孔轮廓特征点。否则，如果∠θ2＜∠θ≤∠90
°
，则舍弃该第一候选瞳孔轮廓特征点。
117.参考图5c，以过瞳孔中心点的水平线为x轴，如果某第一候选瞳孔轮廓特征点位于x轴上方，且以其与瞳孔中心点之间的连线为一边，以x轴正方向为另一边形成的夹角∠γ(∠γ属于0
°
～180
°
)满足：0
°
＜∠γ≤∠θ1或者180
°
＞∠γ≥∠θ3，∠θ1和∠θ3对应的角度为预设角度，则表示第一候选瞳孔轮廓特征点为真实的瞳孔轮廓特征点，保留该第一候选瞳孔轮廓特征点。否则，如果夹角∠γ满足：∠θ1＜∠γ＜∠θ3，则表示该第一候选瞳孔轮廓特征点可能为上眼睑、上眼睫毛以及杂光斑等的干扰造成的杂质特征点，直接舍弃这种特征点即可。
118.参考图5d，以瞳孔中心点为原点，以过瞳孔中心点的水平线为x轴，过瞳孔中心点的垂直线为y轴，建立直角坐标系。因为瞳孔通常是圆形或者椭圆形，基本可以关于y轴对称，而且有些人眼可能也是关于y轴对称的，在这种情况下，如果上眼睑和上眼睫毛对瞳孔有遮挡，则这种遮挡也基本是关于y轴对称的。因此，示例性的，在进行角度筛选时，还可以仅对位于第一象限的第一候选瞳孔轮廓特征点进行筛选，然后利用第一象限中的第一候选瞳孔轮廓特征点与第二象限中的第一候选瞳孔轮廓特征点之间的对称关系，对第二象限中的第一候选瞳孔轮廓特征点进行筛选。或者，相反地，还可以仅对位于第二象限的第一候选瞳孔轮廓特征点进行筛选，然后利用第一象限中的第一候选瞳孔轮廓特征点与第二象限中的第一候选瞳孔轮廓特征点之间的对称关系，对第一象限中的第一候选瞳孔轮廓特征点进行筛选。例如，先以位于第一象限内的第一候选瞳孔轮廓特征点与瞳孔中心点之间的连线为一边，以x正半轴为另一边形成的夹角为∠δ，如果∠δ满足：0
°
＜∠δ≤∠θ1，则保留该第一候选瞳孔轮廓特征点，并记作第二候选瞳孔轮廓特征点。否则，如果∠θ1＜∠δ≤∠90
°
，则舍弃该第一候选瞳孔轮廓特征点。在筛选出位于第一象限内的第二候选瞳孔轮廓特征点之后，利用第一象限中的第一候选瞳孔轮廓特征点与第二象限中的第一候选瞳孔轮廓特征点之间的对称关系，确定在第二象限内与位于第一象限内的每个第二候选瞳孔轮廓特征点相对应的第一候选瞳孔轮廓特征点，并记作第二候选瞳孔轮廓特征点，从而筛选出位于第
二象限内的第二候选瞳孔轮廓特征点。
119.在步骤s540，基于第二候选瞳孔轮廓特征点，确定瞳孔轮廓特征点。
120.如前述文所述，由眼睛的外部结构可知，位于水平分界线下方的瞳孔区域受到下眼睑、下眼睫毛以及杂光斑等因素影响不大，因此可以直接将位于水平分界线下方的第一候选瞳孔轮廓特征点确定为真实的瞳孔轮廓特征点。同时，在本实施例中，还可以将第二候选瞳孔轮廓特征点也直接确定为真实的瞳孔轮廓特征点。
121.本公开的其他实施例中，还可以将第二候选瞳孔轮廓特征点和位于水平分界线下方的第一候选瞳孔轮廓特征点作为整体，利用凸包检测，将第二候选瞳孔轮廓特征点以及位于水平分界线下方的第一候选瞳孔轮廓特征点中组成凸包的候选瞳孔轮廓特征点确定为真实的瞳孔轮廓特征点。本公开实施例中，通过上述的二次筛选，可以进一步消除因部分上眼睑和上眼睫毛等遮挡瞳孔而导致瞳孔运动追踪出现定位偏差的问题，进一步提高瞳孔运动追踪的准确性和稳定性。
122.参考图5e，本公开实施例中，凸包检测的过程可以包括但不限于：以疑似瞳孔区域的中心点为原点，过该中心点的水平线为x轴，过该中心点的垂直线为y轴，建立直角坐标系。在y轴正半轴上设置一个凸包检测点m，凸包检测点m可以基于真实瞳孔区域中与真实瞳孔区域的中心点之间的距离最远的点确定，比如可以将真实瞳孔区域中的与真实瞳孔区域的中心点之间距离最远的点与该中心点之间的距离l直接作为凸包检测点m与上述坐标原点之间的距离，也可以将l/2作为凸包检测点m与上述坐标原点之间的距离等。凸包检测点m只要位于y轴正半轴即可，本公开实施例对其具体位置不做限定。
123.继续参考图5e，将通过步骤s530筛选出的所有第二候选瞳孔轮廓特征点、位于水平分界线下方的所有第一候选瞳孔轮廓特征点以及凸包检测点m中两两相邻的点彼此连接，构建出一个多边形。基于凸包检测方式对构建出的多边形进行检测，确定多边形中是否存在凹陷。如图5e所示，图中构建出的多边形存在4处凹陷(如虚线圆圈所示)，将每个凹陷位置处的特征点删除，之后再基于剩余的所有点再次进行两两相邻的点彼此连接，构建出一个新的多边形，并再次进行凸包检测和凹陷位置处的特征点删除，循环执行上述操作，直到构建出的多边形不再存在凹陷为止。图5e中构建出的多边形删除每个凹陷位置处的特征点之后重新构建出多边形如图5f所示。图5f中的多边形不再存在凹陷，可以将图5f中除凸包检测点m之外的所有特征点作为真实的瞳孔轮廓特征点。
124.本公开实施例，通过凸包检测，可以再次排除因杂光斑等亮斑干扰导致的杂质特征点，从而进一步提高瞳孔中心定位的准确性。
125.在步骤s150，基于瞳孔轮廓特征点和眼部视频中第n帧图像中的瞳孔中心点，确定第n+1帧图像中瞳孔轮廓特征点的变异系数。
126.在步骤s160，基于变异系数，确定第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
127.本实施例中步骤s150～s160与图1所示的步骤s150～s160对应相同或类似，本公开实施例在此不再赘述。
128.本公开实施例的技术方案，通过基于疑似瞳孔区域的位置信息和每个疑似瞳孔轮廓特征点的位置信息，对每个疑似瞳孔轮廓特征点进行距离筛选，获得第一候选瞳孔轮廓特征点；对第一候选瞳孔轮廓特征点进行角度筛选，获得第二候选瞳孔轮廓特征点，从而通
过距离筛选和角度筛选共同去除了眼睑和睫毛等干扰造成的杂质特征点，进一步提高瞳孔中心定位的准确性。
129.图6示例性示出了根据本公开实施例的瞳孔运动追踪装置的示意图，如图6所示，该瞳孔运动追踪装置600具体包括：图像预处理模块610、类圆形区域检测模块620、图像掩膜处理模块630、瞳孔轮廓特征点获得模块640、变异系数确定模块650和瞳孔中心点确定模块660。
130.图像预处理模块610，被配置为对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像；
131.类圆形区域检测模块620，被配置为对二值图像进行类圆形区域检测，以确定二值图像中疑似瞳孔区域的位置信息；
132.图像掩膜处理模块630，被配置为基于疑似瞳孔区域的位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像；
133.瞳孔轮廓特征点获得模块640，被配置为对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于疑似瞳孔区域的位置信息对疑似瞳孔轮廓特征点进行筛选，以获得疑似瞳孔轮廓特征点中的瞳孔轮廓特征点；
134.变异系数确定模块650，被配置为基于瞳孔轮廓特征点和眼部视频中第n帧图像中的瞳孔中心点，确定第n+1帧图像中瞳孔轮廓特征点的变异系数；以及
135.瞳孔中心点确定模块660，被配置为基于变异系数，确定第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。
136.作为一种可选的实施例，类圆形区域检测模块620可以包括：
137.第一位置信息获得子模块，被配置为对二值图像进行类圆形区域检测，获得二值图像中各个类圆形区域的位置信息；以及
138.第二位置信息获得子模块，被配置为基于各个类圆形区域的位置信息，从各个类圆形区域中确定出疑似瞳孔区域，并获得疑似瞳孔区域对应的位置信息。
139.作为一种可选的实施例，第二位置信息获得子模块被配置为：基于各个类圆形区域中每个类圆形区域的位置信息和第n帧图像中瞳孔区域的位置信息，确定每个类圆形区域与瞳孔区域之间的欧式距离；以及基于每个类圆形区域与瞳孔区域之间的欧式距离，从各个类圆形区域中确定出疑似瞳孔区域。
140.作为一种可选的实施例，瞳孔轮廓特征点获得模块640可以包括：
141.第一候选瞳孔轮廓特征点获得子模块，被配置为基于疑似瞳孔区域的位置信息和每个疑似瞳孔轮廓特征点的位置信息，对每个疑似瞳孔轮廓特征点进行距离筛选，获得第一候选瞳孔轮廓特征点；
142.第二候选瞳孔轮廓特征点获得子模块，被配置为对第一候选瞳孔轮廓特征点进行角度筛选，获得第二候选瞳孔轮廓特征点；以及
143.瞳孔轮廓特征点确定子模块，被配置为基于第二候选瞳孔轮廓特征点，确定瞳孔轮廓特征点。
144.作为一种可选的实施例，瞳孔轮廓特征点确定子模块具体被配置为：基于第二候选瞳孔轮廓特征点进行凸包检测，将第二候选瞳孔轮廓特征点中组成凸包的候选瞳孔轮廓特征点确定为瞳孔轮廓特征点。
145.作为一种可选的实施例，疑似瞳孔区域的位置信息包括：瞳孔中心点位置信息和瞳孔半径；
146.第一候选瞳孔轮廓特征点获得子模块被配置为：基于瞳孔中心点位置信息和每个疑似瞳孔轮廓特征点的位置信息，确定每个疑似瞳孔轮廓特征点与疑似瞳孔区域的瞳孔中心点之间的距离；以及确定每个距离与瞳孔半径之间的差值，并将差值绝对值小于或等于预设差值的疑似瞳孔轮廓特征点确定为第一候选瞳孔轮廓特征点。
147.作为一种可选的实施例，第二候选瞳孔轮廓特征点获得子模块被配置为：基于瞳孔中心点位置信息和每个第一候选瞳孔轮廓特征点的位置信息，确定以每个第一候选瞳孔轮廓特征点与疑似瞳孔区域的瞳孔中心点之间的连线为边的水平角角度；以及将水平角角度小于或等于预设角度的第一候选瞳孔轮廓特征点确定为第二候选瞳孔轮廓特征点。
148.作为一种可选的实施例，变异系数确定模块650被配置为：基于瞳孔轮廓特征点的位置信息和眼部视频中第n帧图像中的瞳孔中心点的位置信息，确定每个瞳孔轮廓特征点与瞳孔中心点之间的距离；以及确定各个距离对应的标准差和平均值，并基于确定的标准差和平均值，确定第n+1帧图像中瞳孔轮廓特征点的变异系数。
149.作为一种可选的实施例，瞳孔中心点确定模块660被配置为：响应于变异系数大于或等于预设系数，基于瞳孔轮廓特征点进行椭圆拟合，以确定第n+1帧图像中的瞳孔中心点；和/或响应于变异系数小于预设系数，确定第n+1帧图像中的瞳孔中心点与第n帧图像中的瞳孔中心点重合。
150.作为一种可选的实施例，在第n+1帧图像为眼部视频中的首帧图像的情况下，第二位置信息获得子模块还被配置为：根据各个类圆形区域的位置信息，确定各个类圆形区域的图像灰度值；以及根据各个类圆形区域的图像灰度值，从各个类圆形区域中确定出疑似瞳孔区域。
151.本公开实施例所提供的瞳孔运动追踪装置可执行本公开任意实施例所提供的瞳孔运动追踪方法，具备执行方法相应的功能模块和有益效果。
152.本公开实施例提供的瞳孔运动追踪装置与前述实施例提供的瞳孔运动追踪方法所解决的技术问题和所达到的技术效果对应相同或类似，本实施例对此不再赘述。
153.值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
154.图7为示例性示出了根据本公开实施例的电子设备的示意图。下面参考图7，其示出了适于用来实现本公开实施例的电子设备(例如图7中的眼科oct设备)500的结构示意图。本公开实施例中的电子设备可以为眼科oct设备等。本实施例中电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
155.如图7所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。编辑/输出(i/o)接口505也连接至总线504。
156.以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、
麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
157.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
158.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
159.本公开实施例提供的电子设备与上述实施例提供的瞳孔运动追踪方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
160.本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的瞳孔运动追踪方法。
161.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
162.在一些实施方式中，客户端、服务器可以利用诸如http(hyper text transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
163.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
164.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
165.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
166.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
167.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
168.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
169.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
170.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种瞳孔运动追踪方法，包括：对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像；对所述二值图像进行类圆形区域检测，以确定所述二值图像中疑似瞳孔区域的位置信息；基于所述疑似瞳孔区域的位置信息对所述二值图像进行掩膜处理，以获得掩膜后的二值图像；对所述掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于所述疑似瞳孔区域的位置信息对所述疑似瞳孔轮廓特征点进行筛选，以获得所述疑似瞳孔轮廓特征点中的瞳孔轮廓特征点；基于所述瞳孔轮廓特征点和所述眼部视频中第n帧图像中的瞳孔中心点，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数；以及基于所述变异系数，确定所述第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。2.根据权利要求1所述的方法，其中，对所述二值图像进行类圆形区域检测，以确定所述二值图像中疑似瞳孔区域的位置信息，包括：对所述二值图像进行类圆形区域检测，获得所述二值图像中各个类圆形区域的位置信息；以及基于所述各个类圆形区域的位置信息，从所述各个类圆形区域中确定出疑似瞳孔区域，并获得所述疑似瞳孔区域对应的位置信息。3.根据权利要求2所述的方法，其中，基于所述各个类圆形区域的位置信息，从所述各个类圆形区域中确定出疑似瞳孔区域，包括：基于所述各个类圆形区域中每个类圆形区域的位置信息和所述第n帧图像中瞳孔区域的位置信息，确定所述每个类圆形区域与所述瞳孔区域之间的欧式距离；以及基于所述每个类圆形区域与所述瞳孔区域之间的欧式距离，从所述各个类圆形区域中确定出疑似瞳孔区域。4.根据权利要求1所述的方法，其中，基于所述疑似瞳孔区域的位置信息对所述疑似瞳孔轮廓特征点进行筛选，以获得所述疑似瞳孔轮廓特征点中的瞳孔轮廓特征点，包括：基于所述疑似瞳孔区域的位置信息和每个疑似瞳孔轮廓特征点的位置信息，对所述每个疑似瞳孔轮廓特征点进行距离筛选，获得第一候选瞳孔轮廓特征点；对所述第一候选瞳孔轮廓特征点进行角度筛选，获得第二候选瞳孔轮廓特征点；以及基于所述第二候选瞳孔轮廓特征点，确定瞳孔轮廓特征点。5.根据权利要求4所述的方法，其中，基于所述第二候选瞳孔轮廓特征点，确定瞳孔轮廓特征点，包括：基于所述第二候选瞳孔轮廓特征点进行凸包检测，将所述第二候选瞳孔轮廓特征点中组成凸包的候选瞳孔轮廓特征点确定为所述瞳孔轮廓特征点。6.根据权利要求4所述的方法，其中，所述疑似瞳孔区域的位置信息包括：瞳孔中心点位置信息和瞳孔半径；基于所述疑似瞳孔区域的位置信息和每个疑似瞳孔轮廓特征点的位置信息，对所述每个疑似瞳孔轮廓特征点进行距离筛选，获得第一候选瞳孔轮廓特征点，包括：基于所述瞳孔中心点位置信息和每个疑似瞳孔轮廓特征点的位置信息，
确定每个疑似瞳孔轮廓特征点与所述疑似瞳孔区域的瞳孔中心点之间的距离；以及确定每个距离与所述瞳孔半径之间的差值，并将差值绝对值小于或等于预设差值的疑似瞳孔轮廓特征点确定为第一候选瞳孔轮廓特征点。7.根据权利要求6所述的方法，其中，对所述第一候选瞳孔轮廓特征点进行角度筛选，获得第二候选瞳孔轮廓特征点，包括：基于所述瞳孔中心点位置信息和每个第一候选瞳孔轮廓特征点的位置信息，确定以每个第一候选瞳孔轮廓特征点与所述疑似瞳孔区域的瞳孔中心点之间的连线为边的水平角角度；以及将水平角角度小于或等于预设角度的第一候选瞳孔轮廓特征点确定为所述第二候选瞳孔轮廓特征点。8.根据权利要求1所述的方法，其中，基于所述瞳孔轮廓特征点和所述眼部视频中第n帧图像中的瞳孔中心点，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数，包括：基于所述瞳孔轮廓特征点的位置信息和所述眼部视频中第n帧图像中的瞳孔中心点的位置信息，确定每个瞳孔轮廓特征点与所述瞳孔中心点之间的距离；以及确定各个距离对应的标准差和平均值，并基于确定的标准差和平均值，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数。9.根据权利要求1-8任一项所述的方法，其中，基于所述变异系数，确定所述第n+1帧图像中的瞳孔中心点，包括：响应于所述变异系数大于或等于预设系数，基于所述瞳孔轮廓特征点进行椭圆拟合，以确定所述第n+1帧图像中的瞳孔中心点；和/或响应于所述变异系数小于所述预设系数，确定所述第n+1帧图像中的瞳孔中心点与所述第n帧图像中的瞳孔中心点重合。10.根据权利要求2所述的方法，其中，在所述第n+1帧图像为所述眼部视频中的首帧图像的情况下，基于所述各个类圆形区域的位置信息，从所述各个类圆形区域中确定出疑似瞳孔区域，包括：根据各个类圆形区域的位置信息，确定所述各个类圆形区域的图像灰度值；以及根据所述各个类圆形区域的图像灰度值，从所述各个类圆形区域中确定出疑似瞳孔区域。11.一种瞳孔运动追踪装置，包括：图像预处理模块，被配置为对眼部视频中的第n+1帧图像进行预处理，获得对应的二值图像；类圆形区域检测模块，被配置为对所述二值图像进行类圆形区域检测，以确定所述二值图像中疑似瞳孔区域的位置信息；图像掩膜处理模块，被配置为基于所述疑似瞳孔区域的位置信息对所述二值图像进行掩膜处理，以获得掩膜后的二值图像；瞳孔轮廓特征点获得模块，被配置为对所述掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于所述疑似瞳孔区域的位置信息对所述疑似瞳孔轮廓特征点进行筛选，以获得所述疑似瞳孔轮廓特征点中的瞳孔轮廓特征点；
变异系数确定模块，被配置为基于所述瞳孔轮廓特征点和所述眼部视频中第n帧图像中的瞳孔中心点，确定所述第n+1帧图像中瞳孔轮廓特征点的变异系数；以及瞳孔中心点确定模块，被配置为基于所述变异系数，确定所述第n+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。12.一种电子设备，包括：一个或多个处理器；存储装置，被配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的瞳孔运动追踪方法。13.一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一项所述的瞳孔运动追踪方法。

技术总结
本公开提供了一种瞳孔运动追踪方法、装置、设备和存储介质。该方法包括：对眼部视频中的第N+1帧图像进行预处理，获得对应的二值图像；对二值图像进行类圆形区域检测，以确定二值图像中疑似瞳孔区域的位置信息；基于位置信息对二值图像进行掩膜处理，以获得掩膜后的二值图像；对掩膜后的二值图像进行瞳孔轮廓提取，以获得对应的疑似瞳孔轮廓特征点，并基于位置信息对疑似瞳孔轮廓特征点进行筛选，以获得瞳孔轮廓特征点；基于瞳孔轮廓特征点和眼部视频中第N帧图像中的瞳孔中心点，确定第N+1帧图像中瞳孔轮廓特征点的变异系数；基于变异系数，确定第N+1帧图像中的瞳孔中心点，以用于瞳孔运动追踪。孔运动追踪。孔运动追踪。


技术研发人员：付明珠 杨志 汪霄
受保护的技术使用者：图湃（北京）医疗科技有限公司
技术研发日：2023.05.31
技术公布日：2023/8/24