视线方向检测方法、装置、电子设备及存储介质与流程

1.本公开实施例涉及虚拟现实
技术领域：
：，尤其涉及一种视线方向检测方法、装置、电子设备及存储介质。
背景技术：
：：2.在虚拟现实技术中，通过检测用户的视线方向，在显示屏上显示交互标识，从而实现基于用户视线的人机交互，有效提高人机交互的效率和使用体验。3.现有技术中，终端设备在进行视线方向检测前，通常需要首先进行参数标定，并基于标定结果配置双目预测模型，从而减少使用双目图像预测视线方向时的检测误差。4.然而，在实际应用过程中，当出现单目遮挡、眨眼等情况时，终端设备只能基于单目图像进行视线方向预测，此种情况下，会导致视线方向检测结果不准确、交互标识跳变等问题。技术实现要素：5.本公开实施例提供一种视线方向检测方法、装置、电子设备及存储介质，以克服视线方向检测结果不准确、交互标识跳变等问题。6.第一方面，本公开实施例提供一种视线方向检测方法，包括：7.获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。8.第二方面，本公开实施例提供一种视线方向检测装置，包括：9.获取模块，用于获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；10.生成模块，用于根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；11.处理模块，用于在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。12.第三方面，本公开实施例提供一种电子设备，包括：13.处理器，以及与所述处理器通信连接的存储器；14.所述存储器存储计算机执行指令；15.所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。16.第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。17.第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。18.本实施例提供的视线方向检测方法、装置、电子设备及存储介质，通过获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。通过使用正常状态加采集到的双目图像，以及对应的双目预测结果生成单目校准数据，并对单目预测模型进行校准，使单目预测模型获得与生成双目预测结果的双目预测模型具有相似的预测能力，进而使基于单目预测模型得到的目标视线方向具体更高的准确性，同时，降低视线方向连续检测过程中，由于单目预测模型和双目预测模型切换而导致的检测结果跳变，提高交互标识的稳定性。附图说明19.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。20.图1为本公开实施例提供的视线方向检测方法的一种应用场景图；21.图2为本公开实施例提供的视线方向检测方法的流程示意图一；22.图3为图2所示实施例中步骤s102的具体实现方式的流程图；23.图4为本公开实施例提供的一种检测单目图像的目标视线方向的过程示意图；24.图5为本公开实施例提供的视线方向检测方法的流程示意图二；25.图6为本公开实施例提供的一种目标视觉区域的示意图；26.图7为本公开实施例提供的另一种目标视觉区域的示意图；27.图8为图5所示实施例中步骤s208的具体实现方式的流程图；28.图9为图5所示实施例中步骤s210的具体实现方式的流程图；29.图10为本公开实施例提供的一种生成目标视线方向的示意图；30.图11为图5所示实施例中步骤s211的具体实现方式的流程图；31.图12为本公开实施例提供的视线方向检测装置的结构框图；32.图13为本公开实施例提供的一种电子设备的结构示意图；33.图14为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式34.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。35.需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。36.下面对本公开实施例的应用场景进行解释：37.图1为本公开实施例提供的视线方向检测方法的一种应用场景图，本公开实施例提供的视线方向检测方法，可以应用于虚拟现实(virtualreality，vr)、混合现实(mixreality，mr)等应用场景下。更具体地，可以应用于虚拟现实场景下，基于用户视线的人机交互过程中，如图1所示，本公开实施例提供的方法，可以应用于终端设备，其中，终端设备例如为图中所示的vr头盔，在所述虚拟现实头盔中设置有用于采集眼部图像的摄像头，以及用于显示图像内容的显示屏，虚拟现实头盔通过摄像头采集佩戴者的眼部图像后，基于眼部图像进行分析，得到视线方向，再根据该视线方向，在显示屏上生成对应的交互标识，例如图中所示的手型图标，之后基于交互标识的停留时长等信息，来完成人机交互过程。38.现有技术中，基于用户视线的人机交互过程中，针对视线方向的检测，通常是通过预设的图像预测模型，将采集到的眼部图像，转换为对应的视线方向来实现。但上述检测过程会受到佩戴者的双目距离、双目尺寸等因素的影响，为了提高视线方向的检测精确度，现有技术中，通常会在基于用户视线的人机交互过程开始前，对图像预测模型进行参数标定，即通过在终端设备的屏幕上显示多个标定标识，引导用户依次观察各标定标识并采集对应的眼部图像，该过程中，会要求用户双目处于未遮挡状态，从而使终端设备获得包含用户双目的图像，即双目图像。之后基于该双目图像和标定标识所对应的视线方向，对双目预测模型进行表征，使双目预测模型与佩戴者的面部特征相匹配，实现视线方向的准确预测。39.然而，在实际应用过程中，当基于用户视线的人机交互过程开始后，当终端设备采集到的眼部图像为单目处于遮挡状态的单目图像时，无法使用之前标定过的双目预测模型进行视线检测，而只能通过预设的单目预测模型进行视线预测，单目预测模型虽然可以利用单目图像进行视线方向检测，但由于单目预测模型未经标定，因此，一方面，使用单目预测模型进行视线检测，存在检测准确性低的问题，另一方面，由于单目预测模型与经过标定的双目预测模型的模型参数不同，导致二者输出的预测结果(视线方向)不一致，进而导致基于视线方向生成的交互标识出现跳变问题，影响交互效率和流畅度。本公开实施例提供一种视线方向检测方法以解决上述问题。40.参考图2，图2为本公开实施例提供的视线方向检测方法的流程示意图一。本实施例的方法可以应用在终端设备中，该视线方向检测方法包括：41.步骤s101：获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向。42.示例性地，参考图1所示的应用场景示意图，终端设备例如为虚拟现实头盔，终端设备内设置有用于朝向佩戴者眼部的图像采集单元，例如摄像头，通过图像采集单元采集佩戴者的眼部图像，并进行检测，当眼部图像中包含有佩戴者的完整的双目，即左眼和右眼时，将该眼部图像确定为双目图像，反之，当眼部图像中仅包括佩戴者的单目，即左眼或右眼，将该眼部图像确定为单目图像。43.进一步地，双目预测模型是用于基于双目图像的图像特征，进行视线方向预测的预配置模型，该双目预测模型是经过校准过的模型，实现了针对佩戴者的眼部特征(例如眼距、眼睛轮廓尺寸等)的适配。因此，在将获得的双目图像输入双目预测模型进行处理后，得到双目图像对应的准确度的第一视线方向，即双目预测结果，其中，双目预测模型的具体方式为现有技术，此处不再赘述。44.步骤s102：根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型。45.示例性地，在得到双目预测结果后，以双目预测结果作为标定数据，可以生成对应的单目校准数据，例如，将双目预测结果缓存在预设的存储位置、队列中，通过单独的服务依次异步对双目预测结果进行处理。其中，具体地，单目校准数据是用于对单目预测模型进行校准的数据，通过双目预测结果生成的单目校准数据中，包含有表征或用于确定上述双目预测模型对图像进行处理的逻辑的信息，因此，例如单目校准数据配置单目预测模型后，使该单目预测模型也具有与双目预测模型相同或类似的视线检测能力。46.具体地，一种可能的实现方式中，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征，其中，弧度信息是表征三维空间内的角度的信息。进一步地，弧度信息可以包括航向角、俯仰角等。弧度信息即双目预测模型基于上述双目图像预测的实现方式；而双目图像特征即表征双目图像的图像内容特征的信息，可以通过特征矩形表示，其中，可以通过预设的特征提取模型来进行双目图像特征，特征提取模型可以由多个卷积层、非线性层、下采样层混合构成，将双目图像输入该预训练的特征提取模型后，即可得到双目图像特征，具体实现过程步骤赘述，对于特征提取模型的具体实现形式，可以按需设置，此处不再赘述。47.进一步地，在一种可能的实现方式中，如图3所示，步骤s102的具体实现方式包括：48.步骤s1021：根据所述弧度信息，得到校准弧度。49.步骤s1022：根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系。50.步骤s1023：根据所述单目模型参数和所述校准弧度，得到单目校准数据。51.其中，弧度信息与校准弧度所表征的含义一致，即用于表征视线方向的三维空间内的角度。在获得弧度信息后，经过适当的数据格式转换即可得到校准弧度，二者可以仅存在数据格式上的差异，也可以完全一致，不再赘述。双目图像特征是双目图像对应的图像特征，基于光斑-角膜反射法求解眼球三维模型的参数，即单目模型参数，其中，示例性地，单目预测模型是基于光斑-角膜反射法预测视线方向的模型，该单目模型参数在配置于单目预测模型后，即可实现对单目预测模型的标定，使单目预测模型建立单目图像特征与准确的视线方向的映射关系。之后，基于将单目模型参数(f)和所述校准弧度(l)的集合([f,l])作为单目校准数据，即可用于后续对单目预测模型的配置过程。[0052]进一步地，其中，其中，双目图像特征可以包括左目图像特征和右目图像特征，左目图像特征和右目图像特征各自为一个独立的特征图，将二者合并后，得到双目图像特征，反之，将双目图像特征拆分后，得到左目图像特征和右目图像特征。基于角膜反射法分别对左目图像特征和右目图像特征进行处理后，可以得到左目图像特征对应的第一单目模型参数和右目图像特征对应的第二单目模型参数。之后基于左目对应的第二单目模型参数和右目对应的第二单目模型参数，组合得到单目校准数据。之后，在使用单目校准数据对单目预测模型进行配置时，分别对左目对应的第一单目预测模型和右目对应的第二单目预测模型进行配置，从而使配置后的第一单目预测模型和配置后的第二单目预测模型，能够分别对左眼对应的单目图像和右眼对应的单目图像进行准确检测。[0053]步骤s103：在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。[0054]示例性地，当由于眨眼、异物遮挡等原因，导致终端设备的佩戴者的单目被遮挡时，终端设备采集的图像会被检测为单目图像，在检测到单目图像后，调用之前基于单目校准数据配置过的单目预测模型，对单目图像进行预测，得到的输出结果为单目图像对应的目标视线方向。其中，单目预测模型可以为基于瞳孔-角膜反射法的视线检测模型，在对其进行配置后，该单目预测模型的具体实现原理为现有技术，此处不再赘述。[0055]图4为本公开实施例提供的一种检测单目图像的目标视线方向的过程示意图，如图4所示，终端设备采集持续采集眼部图像，在终端设备采集的眼部图像为双目图像时，将双目图像输入双目预测模型进行处理，得到双目预测结果，再基于双目预测结果，生成单目校准数据，并利用该单目校准数据对单目预测模型进行配置(更新)，单目校准数据配置完毕后，完成对该双目图像的消费过程；之后，终端设备返回继续采集眼部图像，在终端设备采集的眼部图像为单目图像时，将单目图像输入单目预测模型进行处理，得到目标视线方向，上述过程可以通过不同的线性异步执行。[0056]在本实施例中，通过获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。通过使用正常状态加采集到的双目图像，以及对应的双目预测结果生成单目校准数据，并对单目预测模型进行校准，使单目预测模型获得与生成双目预测结果的双目预测模型具有相似的预测能力，进而使基于单目预测模型得到的目标视线方向具体更高的准确性，同时，降低视线方向连续检测过程中，由于单目预测模型和双目预测模型切换而导致的检测结果跳变，提高交互标识的稳定性。[0057]参考图5，图5为本公开实施例提供的视线方向检测方法的流程示意图二。本实施例在图2所示实施例的基础上，进一步对步骤s102和步骤s103进行细化，该视线方向检测方法包括：[0058]步骤s200：采集眼部图像，若眼部图像为双目图像，则执行步骤s201；若眼部图像为单目图像，则执行步骤s208；[0059]步骤s201：基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标以及对应的双目图像特征，所述弧度坐标用于表征所述第一视线方向的方向向量。[0060]示例性地，采集眼部图像并进行单、双目判断，若确定眼部图像为双目图像后，基于标定后的双目预测模型对其进行处理，预测视线方向，即双目预测结果。上述步骤的具体实现过程，在图2所示实施例中已进行介绍，此处不再赘述。其中，在一种可能的实现方式中，步骤s200-步骤s201中，双目预测结果是基于多帧双目图像进行处理的结果，例如，10帧双目图像分别输入双目预测模型进行处理后，得到对应的预测结果的集合，为双目预测结果。其中，每一帧双目图像对应的预测结果，为一个初始数据，双目预测结果可以为多个初始数据的集合。进一步地，所述初始数据中包括弧度坐标以及对应的双目图像特征，所述弧度坐标用于表征所述第一视线方向的方向向量，例如，初始数据data_i＝[l_1，f_i]，其中，l_1为表征所述第一视线方向的方向向量的弧度坐标，表示为l_1＝(yaw，pitch)，更具体地，yaw表示第一视线方向的航向角、pitch表示第一视线方向的俯仰角。通过l_1＝(yaw，pitch)即可表示第一视线方向在三维空间中的角度。f_i可以为表征双目图像特征的特征矩阵，此处不再举例赘述。[0061]步骤s202：根据所述初始数据的弧度坐标，确定双目预测结果对应的注视状态，其中，所述注视状态包括凝视状态和非凝视状态。[0062]步骤s203：若所述双目预测结果为凝视状态，则执行步骤s204；若所述双目预测结果为非凝视状态，则执行步骤s200。[0063]进一步地，每一初始数据，对应一帧双目图像的视线方向的检测结果，后续需要基于上述由多个初始数据组成的双目预测结果对单目预测模型进行标定，因此，在使用上述初始数据前，需要保证双目预测结果中各初始数据的有效性和数据稳定性。具体地，本实施例中，通过初始数据中的弧度坐标，确定双目预测结果对应的注视状态，从而实现上述目的。示例性地，具体实现方式例如包括以下步骤：[0064]将双目预测结果中的多个初始数据，按照其对应的双目图像的采集时序依次处理，确定每一初始数据对应的单帧注视状态，具体地，包括：在依次处理每一初始数据的过程中，根据当前初始数据的弧度坐标与当前初始数据的前一初始数据的弧度坐标的差值，确定视线方向变化量，若该视线方向变化量大于阈值，则认为当前初始数据的单帧注视状态为单帧非凝视状态，该视线方向变化量小于阈值，则认为当前初始数据的单帧注视状态为单帧凝视状态。之后，若双目预测结果中的处于单帧注视状态的初始数据的数量大于预设值或预设比例，则双目预测结果为凝视状态；反之，则双目预测结果为非凝视状态。本实施例中，通过双目预测结果对应的各初始数据的弧度坐标，确定双目预测结果对应的注视状态，从而实现基于注视状态的数据筛选，即数据稳定性筛选，将处于不稳定状态，例如终端设备的佩戴者的视线移动状态下采集的双目图像对应的预测结果(初始数据)筛除，提高后续生成的单目校准数据的数据质量，提高单目预测模型的视线方向检测的准确性。[0065]进一步地，本实施例方法还包括：在确定双目预测结果为凝视状态后，将双目预测结果对应的各初始数据的双目图像特征，进行平均融合，得到平均图像特征，从而使各初始数据的双目图像特征一致(均为平均图像特征)，从而实现去除噪点的目的，提高后续生成的单目校准数据的数据质量。[0066]步骤s204：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围。[0067]进一步地，示例性地，通过双目预测结果生成的单目校准数据，实际上是一种表征“图像特征-视线方向”映射关系的映射集，将其配置至单目预测模型后，使单目预测模型具有基于上述映射集实现视线角度预测的能力，因此，单目校准数据需要能够尽可能多的覆盖不同视线角度，从而使单目预测模型能够具有对不同实现角度进行预测的能力。也因此，需要用于生成单目预测模型的双目预测结果，具有较为广泛、均匀的样本覆盖特性。为实现上述目的，本实施例步骤中，在得到双目预测结果对应的多个初始数据后，进一步对初始数据进行筛选，从而使初始数据能够均匀覆盖不同的视线方向，进而使基于初始数据生成的单目校准数据能够表现出不同视线方向所对应的图像特征。[0068]具体地，从多个初始数据中，根据初始数据的弧度坐标，选出若干均匀分布与目标视觉区域的基准数据，即第一目标数据。其中，所述目标视觉区域对应视线方向可到达的预设弧度范围，具体地，目标视觉区域可以是一个具体特定对称形状区域，基于预设的角度将该目标视觉区域进行周向划分后，得到多个子区域，每一子区域内，对应一个第一目标数据。图6为本公开实施例提供的一种目标视觉区域的示意图，如图6所示，示例性地，目标视觉区域为圆形区域，对目标视觉区域划分为8个面积相同(即间隔角度相同)的子区域，之后，基于各初始数据的弧度坐标，分别得到8个初始数据，分别为data_1至data_8，上述8个初始数据的弧度坐标分别为p1至p8(图中示为p1、p2、p3、p4、p5、p6、p7、p8)，参考图中所示，p1至p8分别位于目标视觉区域中的一个子区域中，即第一目标数据对应的弧度坐标均匀分布于目标视觉区域的多个等分子区域内，也即，所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内。通过上述方式，可以使第一目标数据完全覆盖目标视觉区域，避免随机选择初始数据作为生成单目校准数据的目标数据时，导致的视觉区域覆盖不全的问题，从而提高单目校准数据的数据质量。[0069]进一步地，示例性地，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。[0070]图7为本公开实施例提供的另一种目标视觉区域的示意图，如图7所示，目标视觉区域为圆环状区域，其中，该目标视觉区域的外环对应第二阈值，目标视觉区域的内环对应第一阈值；弧度坐标落入该目标视觉区域内，则弧度坐标对应的向量长度(即弧度坐标到目标视觉区域的圆心的距离)大于第一阈值和/或小于第二阈值，在基于目标视觉区域对初始数据进行筛选的过程中，通过目标视觉区域对应的最大值和最小值，进一步细化对初始数据的筛选条件，这是由于：在进行视线方向检测的场景下，本实施例所要解决的单目预测模型的预测准确性差、交互标识产生跳变的问题，是由于在较大的视线方向下，双目预测模型进行了校准、标定，能够消除误差，而单目预测模型未进行校准、标定，无法消除误差所导致的，上述通过使用双目预测模型产生的初始数据生成单目校准数据，也是为了解决上述问题。但是，在实际应用过程中，当视线方向较小时，即例如终端设备的佩戴者直视前方的情况下，其视线方向对应的弧度坐标落入上述目标视觉区域的中心位置，此时，单目预测模型和双目预测模型产生的误差非常小，不会对视线预测结果产生影响，与此同时，佩戴者直视前方的情况更加场景，因此会采集到大量弧度坐标落入上述第一时间区域的中心位置附近的初始数据，对其进行处理后生成的单目校准数据，无法起到校准单目预测模型的目的，还会导致计算资源的浪费，同样的，对于过大的视线方向，双目预测模型的预测结果(初始数据)本身可能存在较大误差，将其作为单目校准数据也无法起到很好的校准单目预测模型的目的。因此，本实施例中，通过目标视觉区域的上限和/或下限对弧度坐标进行限制，进一步地对初始数据进行筛选，使筛选后的初始数据更加有效，提高单目校准数据的数据质量。[0071]步骤s205：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据。[0072]步骤s206：根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性。[0073]进一步地，在确定第一目标数据后，对双目预测结果对应的多个初始数据中的剩余数据进行评估，具体地，包括：对于每一剩余数据，使用单目校准模型进行评估，即将剩余数据中的双目图像特征划分为左目图像特征和右目图像特征，分别输入单目校准模型，得到左目图像特征对应的视线方向和右目图像特征对应的视线方向，之后，基于剩余数据中左目图像特征对应的弧度信息对比左目图像特征对应的视线方向，得到左目评估值；基于剩余数据中右目图像特征对应的弧度信息对比右目图像特征对应的视线方向，得到右目评估值，根据坐目评估值和右目评估值，得到该剩余数据的评估值。其中，示例性地，评估值越高，剩余数据自带的标签(弧度信息)与基于单目预测模型输出的结果(预测视线方向)一致性越高；反正，一致性越低。[0074]进一步地，基于剩余数据的评估值，若评估值大于预设值，则将该剩余数据确定为第二目标数据，实现对剩余数据的进一步筛选。提高后续生成的单目校准数据的数据质量。[0075]步骤s207：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据，并基于单目校准数据配置单目预测模型。[0076]示例性地，上述步骤中得到的第二目标数据和所述至少两个第一目标数据，是对双目预测结果进行筛选的结果，因此，将第二目标数据和所述至少两个第一目标数据进行合并，即为筛选后的双目预测结果，该筛选后的双目预测结果可以与图2所示实施例中的双目预测结果的数据实现方式相同，因此，步骤s207的具体实现方式，与图2所示实施例中步骤s102的具体实现方式类似，可参考图2所示实施例中的相关介绍，此处不再赘述。[0077]步骤s208：获取所述单目图像对应的单目图像特征。[0078]示例性地，步骤s201-步骤s207是配置单目预测模型的过程，在执行步骤s201-步骤s207的过程中，以异步执行的方式，执行步骤s208-步骤s211，即在检测到眼部图像为单目图像后，使用单目预测模型处理单目图像的过程，其中，获取所述单目图像对应的单目图像特征，即通过预设的特征提取模型，来提取单目图像对应的特征，如图8所示，步骤s208的具体实现方式包括：[0079]步骤s2081：针对所述单目图像中的眼部区域进行截取，得到对应的第一眼部截图。[0080]步骤s2082：对所述第一眼部截图进行特征提取，得到单目图像特征。[0081]示例性地，在获得单目图像后，针对单目图像中的眼部区域进行识别，获得眼部区域轮廓，之后，基于眼部区域的轮廓，对眼部区域进行截取，得到第一眼部截图。之后，对该第一眼部截图进行特征提取，得到对应的单目图像特征。在一种可能的实现方式中，为了解决单目图像中图像复杂，眼部区域的识别精度低的问题，本实施例使用以下方法来确定单目图像的眼部区域：首先，识别单目图像中眼部区域的基准点，例如眼睛两侧的眼角点，之后，基于眼角点的坐标，计算眼睛中心点的坐标，在之后，基于眼睛中心点的坐标，和检测到的眼部轮廓的尺寸，或者预设的尺寸，确定一个以眼睛中心点为中心的矩形区域，作为眼部区域。相比于直接对眼部区域进行识别的方案，本实施例方案更加简单，鲁棒性更强，避免了对眼部区域的误截取，提高第一眼部截图的信息完整性。[0082]步骤s209：基于所述单目预测模型，得到所述单目图像特征对应的近似图像特征，以及所述近似图像特征对应的校准弧度。[0083]步骤s210：根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度。[0084]示例性地，经过单目校准数据配置的单目预测模型中，包含有表征多组“图像特征-视线方向”映射关系的离散信息，例如，[图像特征f1，视线方向l1]、[图像特征f2，视线方向l2]、[图像特征f3，视线方向l3]等。通过单目预测模型，将离散的图像特征映射至对应的视线方向，从而实现视线方向预测。由于单目预测模型中的图像特征为离散值，因此，在接收到单目图像特征后，需要首先获取单目预测模型中与单目图像特征最为相似的图像特征，即近似图像特征。该过程可以通过图像特征对比实现，不再赘述，之后，基于该近似图像特征与单目图像特征的特征差异，得到实现偏差弧度。[0085]示例性地，如图9所示，步骤s210的具体实现方式包括：[0086]步骤s2101：获取残差网络模型，所述残差网络模型用于输出两个输入量之间的特征残差。[0087]步骤s2102：基于所述残差网络模型处理所述单目图像特征和所述近似图像特征，得到视线偏差弧度。[0088]其中，示例性地，残差网络模型是一种用于计算特征残差的残差网络模型，其可以基于单目预测模型(的模型参数)实现，也可以是单独进行预训练后实现的，例如通过带有不同标签(表征视线方向的视线弧度)的两个图像特征作为样本，对残差网络模型进行训练，使残差网络模型能够将两个不同的图像特征，映射为其对应的标签差(视线偏差弧度)，具体训练过程不再赘述。[0089]进一步地，利用该残差网络模型处理所述单目图像特征和所述近似图像特征，即可得到二者的视线方向的偏差，即视线偏差弧度。[0090]步骤s211：根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向。[0091]进一步地，在得到视线偏差弧度后，利用基于单目预测模型得到的近似图像特征对应的校准弧度，加上视线偏差弧度，即可得到目标视线方向。图10为本公开实施例提供的一种生成目标视线方向的示意图，如图10所示，示例性地，在检测到单目图像后，生成对应的单目图像特征，之后，将单目图像特征输入单目预测模型，得到近似图像特征，以及所述近似图像特征对应的校准弧度，再之后，将近似图像特征和单目图像特征合并，输入残差网络模型，得到残差网络模型输出的视线偏差弧度，最后利用视线偏差弧度和校准弧度的和，得到目标视线方向。[0092]示例性地，在另一种可能的实现方式中，可以通过进一步对得到的视线偏差弧度进行加权，如图11所示，步骤s211的具体实现方式包括：[0093]步骤s2111：根据所述校准弧度和所述视线偏差弧度，得到第一预测方向。[0094]步骤s2112：根据所述视线偏差弧度，得到所述第一预测方向的偏差权重。[0095]步骤s2113：根据所述第一预测方向和所述偏差权重的乘积，得到所述目标视线方向。[0096]示例性地，在得到校准弧度和所述视线偏差弧度后，首先对二者相加，得到第一预测方向，该第一预测方向相当于上述实现方式中的目标实现方式，之后，根据视线偏差弧度确定对应的偏差权重，其中，偏差权重基于视线偏差弧度的归一化值确定，具体地，例如，在通过单目预测模型，得到所述单目图像特征对应的近似图像特征的步骤中，获得多个与单目图像特征相似的近似图像特征，之后，基于近似图像特征分别生成对应的视线偏差弧度，在之后，计算目标视线偏差弧度(例如最小的视线偏差弧度)，与全部视线偏差弧度之后的比值，根据该比值，确定偏差权重。之后，基于偏差权重对第一预测方向进行调整，即计算第一预测方向和所述偏差权重的乘积，得到目标视线方向。本实施例步骤中，通过目标近似图像特征与多个近似图像特征之和比值，确定偏差权重，并基于偏差权重对第一预测方向进行修正，得到目标视线方向，通过平均的方式，提高了对单目预测模型的信息利用率，进一步提高单目预测模型的目标视线方向的预测准确性。[0097]对应于上文实施例的视线方向检测方法，图12为本公开实施例提供的视线方向检测装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图12，视线方向检测装置3包括：[0098]获取模块31，用于获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；[0099]生成模块32，用于根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；[0100]处理模块33，用于在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。[0101]在本公开的一个实施例中，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征；[0102]所述生成模块32，具体用于：根据所述弧度信息，得到校准弧度；根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置于所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系；根据所述单目模型参数和所述校准弧度，得到单目校准数据。[0103]在本公开的一个实施例中，所述双目图像特征包括左目图像特征和右目图像特征，所述生成模块32在根据双目图像特征，得到单目模型参数时，具体用于：基于角膜反射法分别处理所述左目图像特征和所述右目图像特征，分别得到对应的第一单目模型参数和第二单目模型参数；根据所述第一单目模型参数和所述第二单目模型参数的组合，得到单目模型参数。[0104]在本公开的一个实施例中，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标，所述弧度坐标用于表征所述第一视线方向的方向向量；[0105]在本公开的一个实施例中，所述生成模块32在根据所述双目预测结果，生成单目校准数据时，具体用于：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围；根据所述至少两个第一目标数据，生成单目校准数据。[0106]在本公开的一个实施例中，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。[0107]在本公开的一个实施例中，所述生成模块32，还用于：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据；根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性；所述生成模块32在根据所述至少两个第一目标数据，生成单目校准数据时，具体用于：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据。[0108]在本公开的一个实施例中，所述生成模块32，还用于：根据所述双目预测结果中的弧度信息，确定所述双目预测结果对应的注视状态，其中，所述注视状态包括凝视状态和非凝视状态；所述生成模块32在根据所述双目预测结果，生成单目校准数据时，具体用于：若所述双目预测结果为凝视状态，则根据所述双目预测结果，生成单目校准数据。[0109]在本公开的一个实施例中，所述处理模块33在利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向时，具体用于：获取所述单目图像对应的单目图像特征；基于所述单目预测模型，得到所述单目图像特征对应的近似图像特征，以及所述近似图像特征对应的校准弧度；根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度；根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向。[0110]在本公开的一个实施例中，所述处理模块33在获取所述单目图像对应的单目图像特征时，具体用于：针对所述单目图像中的眼部区域进行截取，得到对应的第一眼部截图；对所述第一眼部截图进行特征提取，得到单目图像特征。[0111]在本公开的一个实施例中，所述处理模块33在根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度时，具体用于：获取残差网络模型，所述残差网络模型用于输出两个输入量之间的特征残差；基于所述残差网络模型处理所述单目图像特征和所述近似图像特征，得到视线偏差弧度。[0112]在本公开的一个实施例中，所述处理模块33在根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向时，具体用于：根据所述校准弧度和所述视线偏差弧度，得到第一预测方向；根据所述视线偏差弧度，得到所述第一预测方向的偏差权重；根据所述第一预测方向和所述偏差权重的乘积，得到所述目标视线方向。[0113]其中，获取模块31、生成模块32、处理模块33依次连接。本实施例提供的视线方向检测3可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。[0114]图13为本公开实施例提供的一种电子设备的结构示意图，如图13所示，该电子设备4包括：[0115]处理器41，以及与所述处理器41通信连接的存储器42；[0116]所述存储器42存储计算机执行指令；[0117]所述处理器41执行所述存储器42存储的计算机执行指令，以实现如图2-图11所示实施例中的视线方向检测方法。[0118]其中，可选地，处理器41和存储器42通过总线43连接。[0119]相关说明可以对应参见图2-图11所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。[0120]本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本公开图2-图11所对应的实施例中任一实施例提供的视线方向检测方法。[0121]本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如图2-图11所示实施例中的视线方向检测，[0122]参考图14，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(personaldigitalassistant，简称pda)、平板电脑(portableandroiddevice，简称pad)、便携式多媒体播放器(portablemediaplayer，简称pmp)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图14示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。[0123]如图14所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(readonlymemory，简称rom)902中的程序或者从存储装置908加载到随机访问存储器(randomaccessmemory，简称ram)903中的程序而执行各种适当的动作和处理。在ram903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。[0124]通常，以下装置可以连接至i/o接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(liquidcrystaldisplay，简称lcd)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图14示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。[0125]特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从rom902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。[0126]需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。[0127]上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。[0128]上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。[0129]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，简称lan)或广域网(wideareanetwork，简称wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0130]附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0131]描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。[0132]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。[0133]在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。[0134]第一方面，根据本公开的一个或多个实施例，提供了一种视线方向检测方法，包括：[0135]获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。[0136]根据本公开的一个或多个实施例，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征；根据所述双目预测结果，生成单目校准数据，包括：根据所述弧度信息，得到校准弧度；根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置于所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系；根据所述单目模型参数和所述校准弧度，得到单目校准数据。[0137]根据本公开的一个或多个实施例，所述双目图像特征包括左目图像特征和右目图像特征，所述根据双目图像特征，得到单目模型参数，包括：基于角膜反射法分别处理所述左目图像特征和所述右目图像特征，分别得到对应的第一单目模型参数和第二单目模型参数；根据所述第一单目模型参数和所述第二单目模型参数的组合，得到单目模型参数。[0138]根据本公开的一个或多个实施例，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标，所述弧度坐标用于表征所述第一视线方向的方向向量；所述根据所述双目预测结果，生成单目校准数据，包括：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围；根据所述至少两个第一目标数据，生成单目校准数据。[0139]根据本公开的一个或多个实施例，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。[0140]根据本公开的一个或多个实施例，所述方法还包括：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据；根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性；所述根据所述至少两个第一目标数据，生成单目校准数据，包括：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据。[0141]根据本公开的一个或多个实施例，所述方法还包括：根据所述双目预测结果中的弧度信息，确定所述双目预测结果对应的注视状态，其中，所述注视状态包括凝视状态和非凝视状态；所述根据所述双目预测结果，生成单目校准数据，包括：若所述双目预测结果为凝视状态，则根据所述双目预测结果，生成单目校准数据。[0142]根据本公开的一个或多个实施例，所述利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向，包括：获取所述单目图像对应的单目图像特征；基于所述单目预测模型，得到所述单目图像特征对应的近似图像特征，以及所述近似图像特征对应的校准弧度；根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度；根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向。[0143]根据本公开的一个或多个实施例，所述获取所述单目图像对应的单目图像特征，包括：针对所述单目图像中的眼部区域进行截取，得到对应的第一眼部截图；对所述第一眼部截图进行特征提取，得到单目图像特征。[0144]根据本公开的一个或多个实施例，所述根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度，包括：获取残差网络模型，所述残差网络模型用于输出两个输入量之间的特征残差；基于所述残差网络模型处理所述单目图像特征和所述近似图像特征，得到视线偏差弧度。[0145]根据本公开的一个或多个实施例，所述根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向，包括：根据所述校准弧度和所述视线偏差弧度，得到第一预测方向；根据所述视线偏差弧度，得到所述第一预测方向的偏差权重；根据所述第一预测方向和所述偏差权重的乘积，得到所述目标视线方向。[0146]第二方面，根据本公开的一个或多个实施例，提供了一种视线方向检测装置，包括：[0147]获取模块，用于获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；[0148]生成模块，用于根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；[0149]处理模块，用于在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。[0150]根据本公开的一个或多个实施例，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征；所述生成模块，具体用于：根据所述弧度信息，得到校准弧度；根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置于所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系；根据所述单目模型参数和所述校准弧度，得到单目校准数据。[0151]根据本公开的一个或多个实施例，所述双目图像特征包括左目图像特征和右目图像特征，所述生成模块在根据双目图像特征，得到单目模型参数时，具体用于：基于角膜反射法分别处理所述左目图像特征和所述右目图像特征，分别得到对应的第一单目模型参数和第二单目模型参数；根据所述第一单目模型参数和所述第二单目模型参数的组合，得到单目模型参数。[0152]根据本公开的一个或多个实施例，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标，所述弧度坐标用于表征所述第一视线方向的方向向量；[0153]根据本公开的一个或多个实施例，所述生成模块在根据所述双目预测结果，生成单目校准数据时，具体用于：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围；根据所述至少两个第一目标数据，生成单目校准数据。[0154]根据本公开的一个或多个实施例，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。[0155]根据本公开的一个或多个实施例，所述生成模块，还用于：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据；根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性；所述生成模块在根据所述至少两个第一目标数据，生成单目校准数据时，具体用于：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据。[0156]根据本公开的一个或多个实施例，所述生成模块，还用于：根据所述双目预测结果中的弧度信息，确定所述双目预测结果对应的注视状态，其中，所述注视状态包括凝视状态和非凝视状态；所述生成模块在根据所述双目预测结果，生成单目校准数据时，具体用于：若所述双目预测结果为凝视状态，则根据所述双目预测结果，生成单目校准数据。[0157]根据本公开的一个或多个实施例，所述处理模块在利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向时，具体用于：获取所述单目图像对应的单目图像特征；基于所述单目预测模型，得到所述单目图像特征对应的近似图像特征，以及所述近似图像特征对应的校准弧度；根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度；根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向。[0158]根据本公开的一个或多个实施例，所述处理模块在获取所述单目图像对应的单目图像特征时，具体用于：针对所述单目图像中的眼部区域进行截取，得到对应的第一眼部截图；对所述第一眼部截图进行特征提取，得到单目图像特征。[0159]根据本公开的一个或多个实施例，所述处理模块在根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度时，具体用于：获取残差网络模型，所述残差网络模型用于输出两个输入量之间的特征残差；基于所述残差网络模型处理所述单目图像特征和所述近似图像特征，得到视线偏差弧度。[0160]根据本公开的一个或多个实施例，所述处理模块在根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向时，具体用于：根据所述校准弧度和所述视线偏差弧度，得到第一预测方向；根据所述视线偏差弧度，得到所述第一预测方向的偏差权重；根据所述第一预测方向和所述偏差权重的乘积，得到所述目标视线方向。[0161]第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；[0162]所述存储器存储计算机执行指令；[0163]所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。[0164]第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。[0165]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的视线方向检测方法。[0166]以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。[0167]此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。[0168]尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。当前第1页12当前第1页12
技术特征：
1.一种视线方向检测方法，其特征在于，包括：获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。2.根据权利要求1所述的方法，其特征在于，所述双目预测结果中包括表征所述第一视线方向的弧度信息，以及对应的双目图像特征；根据所述双目预测结果，生成单目校准数据，包括：根据所述弧度信息，得到校准弧度；根据双目图像特征，得到单目模型参数，所述单目模型参数用于配置于所述单目预测模型，以使所述单目预测模型建立单目图像特征与对应的视线方向的映射关系；根据所述单目模型参数和所述校准弧度，得到单目校准数据。3.根据权利要求2所述的方法，其特征在于，所述双目图像特征包括左目图像特征和右目图像特征，所述根据双目图像特征，得到单目模型参数，包括：基于角膜反射法分别处理所述左目图像特征和所述右目图像特征，分别得到对应的第一单目模型参数和第二单目模型参数；根据所述第一单目模型参数和所述第二单目模型参数的组合，得到单目模型参数。4.根据权利要求1所述的方法，其特征在于，所述双目预测结果包括至少两个初始数据，所述初始数据中包括弧度坐标，所述弧度坐标用于表征所述第一视线方向的方向向量；所述根据所述双目预测结果，生成单目校准数据，包括：根据所述初始数据的弧度坐标，从所述至少两个初始数据中，确定至少两个第一目标数据，其中，各所述第一目标数据对应的弧度坐标均匀分布于目标视觉区域内，所述目标视觉区域对应视线方向可到达的预设弧度范围；根据所述至少两个第一目标数据，生成单目校准数据。5.根据权利要求4所述的方法，其特征在于，所述第一目标数据的弧度坐标对应的向量长度，大于第一阈值和/或小于第二阈值，其中，所述第一阈值表征所述视线方向的弧度下限、所述第二阈值表征所述视线方向的弧度上限。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取所述至少两个初始数据中除所述第一目标数据之外的剩余数据；根据所述剩余数据的评估值，生成第二目标数据，其中，所述评估值表征所述剩余数据通过所述单目预测模型得到的视线方向的准确性；所述根据所述至少两个第一目标数据，生成单目校准数据，包括：根据所述第二目标数据和所述至少两个第一目标数据，生成单目校准数据。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述双目预测结果中的弧度信息，确定所述双目预测结果对应的注视状态，其中，所述注视状态包括凝视状态和非凝视状态；所述根据所述双目预测结果，生成单目校准数据，包括：
若所述双目预测结果为凝视状态，则根据所述双目预测结果，生成单目校准数据。8.根据权利要求1所述的方法，其特征在于，所述利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向，包括：获取所述单目图像对应的单目图像特征；基于所述单目预测模型，得到所述单目图像特征对应的近似图像特征，以及所述近似图像特征对应的校准弧度；根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度；根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向。9.根据权利要求8所述的方法，其特征在于，所述获取所述单目图像对应的单目图像特征，包括：针对所述单目图像中的眼部区域进行截取，得到对应的第一眼部截图；对所述第一眼部截图进行特征提取，得到单目图像特征。10.根据权利要求8所述的方法，其特征在于，所述根据所述单目图像特征和所述近似图像特征，得到视线偏差弧度，包括：获取残差网络模型，所述残差网络模型用于输出两个输入量之间的特征残差；基于所述残差网络模型处理所述单目图像特征和所述近似图像特征，得到视线偏差弧度。11.根据权利要求8所述的方法，其特征在于，所述根据所述校准弧度和所述视线偏差弧度，得到所述目标视线方向，包括：根据所述校准弧度和所述视线偏差弧度，得到第一预测方向；根据所述视线偏差弧度，得到所述第一预测方向的偏差权重；根据所述第一预测方向和所述偏差权重的乘积，得到所述目标视线方向。12.一种视线方向检测装置，其特征在于，包括：获取模块，用于获取双目图像，并基于双目预测模型处理所述双目图像，得到双目预测结果，所述双目预测结果表征所述双目图像对应的第一视线方向；生成模块，用于根据所述双目预测结果，生成单目校准数据，并利用所述单目校准数据配置单目预测模型；处理模块，用于在检测到单目图像时，利用所述单目预测模型处理所述单目图像，得到所述单目图像对应的目标视线方向。13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至11中任一项所述的视线方向检测方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至11任一项所述的视线方向检测方法。15.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的视线方向检测方法。

技术总结
本公开实施例提供一种视线方向检测方法、装置、电子设备及存储介质，通过获取双目图像，并基于双目预测模型处理双目图像，得到双目预测结果，双目预测结果表征双目图像对应的第一视线方向；根据双目预测结果，生成单目校准数据，并利用单目校准数据配置单目预测模型；在检测到单目图像时，利用单目预测模型处理单目图像，得到单目图像对应的目标视线方向。通过使用正常状态加采集到的双目图像，以及对应的双目预测结果生成单目校准数据，并对单目预测模型进行校准，使单目预测模型获得与生成双目预测结果的双目预测模型具有相似的预测能力，进而使基于单目预测模型得到的目标视线方向具体更高的准确性。具体更高的准确性。具体更高的准确性。


技术研发人员：池立盈
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：2023.03.30
技术公布日：2023/7/18