混合现实设备的对齐标定方法、装置、电子设备及存储介质与流程

1.本技术属于计算机技术领域，具体涉及一种混合现实设备的对齐标定方法、装置、电子设备及可读存储介质。


背景技术：

2.在用户使用mr头戴显示设备之前，需要将mr头戴显示设备进行校准对齐，在校准对齐之后才能使mr头戴显示设备在使用时渲染出来的虚拟图像和真实世界的真实图像对齐。
3.目前，主要通过单点主动对准法(single point active alignment method，spaam)或使用瞄准装置对准的方式来标定光学透射式头盔显示器。单点主动对准法需要在光学透射式头盔显示器上额外增加一个摄像头，摄像头与光学透射式头盔显示器之间的位置关系需要标定，要求用户佩戴光学透射式头盔显示器，并且将微型显示模组中的一些十字光标与现实世界中的物体进行多次对齐，多次对齐需要通过转动头部来完成，获取数据后通过直接线性变换(direct linear transform，dlt)方法构建方程组求解投影矩阵。使用瞄准装置对准的方法需要将瞄准装置与微型显示模组中的十字叉丝对准，瞄准装置包括一个需要通过移动手臂来确认对准完成的触发器。单点主动对准法需要用户佩戴光学透射式头盔显示器并多次转动头部，不利于操作；使用瞄准装置对准的方法需要用户多次移动手臂，来实现虚拟点和真实点对齐，并且二种方法都需要利用人眼主观判断，来实现虚拟点与真实点对齐，判断精度有限，易产生疲劳。


技术实现要素：

4.鉴于上述问题，本技术提出了一种标定对齐方法、装置、电子设备以及存储介质，以实现改善上述问题。
5.第一方面，本技术实施例提供了一种标定对齐方法，应用于标定对齐设备，所述标定对齐设备包括模拟人眼相机和头戴显示设备，所述头戴显示设备包括跟踪传感器，所述方法包括：获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标；基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐；获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定；基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
6.进一步的，所述获取目标物对应的第一坐标和第二坐标，包括：通过所述跟踪传感器获取所述目标物的自由度信息；基于所述自由度信息，对所述目标物进行渲染，得到渲染
目标物；获取所述目标物对应的第一坐标，以及获取所述渲染目标物在所述模拟人眼相机坐标系下的坐标作为所述目标物对应的第二坐标。
7.进一步的，所述基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐，包括：基于所述目标物对应的第一坐标和第二坐标，确定所述跟踪传感器坐标系和所述模拟人眼相机坐标系之间的变换矩阵；基于所述变换矩阵，调整所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像和所述目标物在所述模拟人眼相机中的成像对齐。通过上述方法，通过将跟踪传感器坐标系与模拟人眼相机坐标系对齐，从而确定了水平坐标基准，确保了标记物对齐时不会出现地面上翘或下陷。
8.进一步的，所述标记物包括第一标记物和第二标记物；所述获取标记物对应的第三坐标和第四坐标，包括：基于所述跟踪传感器坐标系、预设传感器坐标系以及所述调整第一参数后的模拟人眼相机坐标系，确定渲染基坐标系；通过所述跟踪传感器获取所述第一标记物对应的自由度信息以及第二标记物对应的自由度信息；基于所述第一标记物对应的自由度信息对所述第一标记物进行渲染，得到所述第一标记物对应的第一渲染标记物；基于所述第二标记物对应的自由度信息，对所述第二标记物进行渲染，得到所述第二标记物对应的第二渲染标记物；获取所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一渲染标记物在所述渲染基坐标系下的坐标作为所述第一标记物对应的第四坐标，和所述第二渲染标记物在所述渲染基坐标系下的坐标作为所述第二标记物对应的第四坐标。
9.进一步的，基于当次所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一标记物对应的第四坐标和所述第二标记物对应的第四坐标，确定当次所述跟踪传感器坐标系和所述渲染基坐标系之间的变换矩阵；对所述变换矩阵进行当次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二标记物在渲染基坐标系下的坐标对齐，基于所述当次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
10.进一步的，若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二标记物在渲染基坐标系下的坐标未对齐，对所述当次调整后的变换矩阵进行下次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二标记物在渲染基坐标系下的坐标未对齐，对下次调整后的变换矩阵进行再次调整，直至所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二标记物在渲染基坐标系下的坐标对齐，基于最后一次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
11.进一步的，所述模拟人眼相机位于所述头戴显示设备的光学设计的左右眼范围内。
12.第二方面，本技术实施例提供了一种标定对齐装置，运行于标定对齐设备，所述标
定对齐设备包括模拟人眼相机和头戴显示设备，所述头戴显示设备包括跟踪传感器，所述装置包括：目标物坐标获取单元、第一参数调节单元、标记物坐标获取单元以及第二参数确定单元。目标物坐标获取单元，用于获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标；第一参数调节单元，用于基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐；标记物坐标获取单元，用于获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定；第二参数确定单元，用于基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数。
13.第三方面，本技术实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
14.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
15.本技术实施例提供了一种混合现实设备的标定对齐方法、装置、电子设备以及存储介质。本标定对齐方法包括：首先渲染出目标物对应的渲染目标物，通过调整模拟人眼相机坐标系与跟踪传感器坐标系之间的变换矩阵，将渲染目标物在模拟人眼相机坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标对齐，从而确定模拟人眼相机的第一参数，然后再渲染出第一标记物对应的第一渲染标记物以及第二标记物对应的第二渲染标记物，通过调整渲染基坐标系与跟踪传感器坐标系之间的变换矩阵，将第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标对齐，以及第二渲染标记物在渲染基坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标对齐，从而确定模拟人眼相机的第二参数。本技术利用一台相机去代替人眼，方便固定且效果稳定；通过上述方法，通过自动调节第一参数以及第二参数，减少了利用人眼主观判断带来的系统误差，使得本方案的对齐精度更高。
附图说明
16.为了更加清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1示出了本技术一实施例提出的一种标定对齐方法的应用场景图；
18.图2示出了本技术一实施例提出的一种标定对齐方法的应用场景图；
19.图3示出了本技术一实施例提出的一种标定对齐方法的应用场景图；
20.图4示出了本技术又一实施例提出的一种标定对齐方法的流程图；
21.图5示出了本技术再一实施例提出的一种标定对齐方法的流程图；
22.图6示出了本技术再一实施例提出的一种标定对齐方法的目标物坐标对齐示意
图；
23.图7示出了本技术再一实施例提出的一种标定对齐方法的目标物坐标对齐示意图；
24.图8示出了本技术再一实施例提出的一种标定对齐方法的标记物坐标对齐示意图；
25.图9示出了本技术再一实施例提出的一种标定对齐装置的标记物坐标对齐示意图；
26.图10示出了本技术再一实施例提出的一种标定对齐装置的结构框图；
27.图11示出了本技术实时中的用于执行本技术实施例的标定对齐方法的电子设备的结构框图；
28.图12示出了本技术实时中的用于保存或者携带实现根据本技术实施例的标定对齐方法的程序代码的存储单元。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解这样使用的数据在适当的情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚列出的那些步骤或单元，二是可包括没有清楚地列出地或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.在对mr头戴显示设备进行标定时，一般通过标定跟踪传感器坐标系和头戴显示设备对应的像平面坐标系之间的坐标变换关系，从而完成对头戴显示器的标定对齐。
32.发明人在对相关的标定对齐方法的研究中发现，相关的标定对齐方法，一般是人参与实际观察完成校准过程，精度受限于人手工对齐的准确度，同时由于受到手臂的长度的限制，只能保证在近距离的对齐效果，因此对齐精度有待提高。
33.因此，发明人提出了本技术实施例中的混合现实设备的标定对齐方法、装置、电子设备以及存储介质。首先获取目标物对应的第一坐标和第二坐标，第一坐标为目标物在跟踪传感器坐标系下的坐标，第二坐标为目标物在模拟人眼相机坐标系下的坐标，然后基于第一坐标和第二坐标，调节模拟人眼相机的第一参数，以使目标物在跟踪传感器中的成像与目标物在模拟人眼相机中的成像对齐，再获取标记物对应的第三坐标和第四坐标，第三坐标为标记物在跟踪传感器坐标系下的坐标，第四坐标为标记物在渲染基坐标系下的坐标，最后基于第三坐标和第四坐标，确定模拟人眼相机的第二参数。通过上述方法，通过自动调节第一参数以及第二参数，使得相对于人工进行标定对齐，本方案的对齐精度更高。
34.请参阅图1，本技术实施例提供的混合现实设备的标定对齐方法可以应用于标定
对齐系统100，该标定对齐系统100包括：标定对齐设备110、目标物120以及标定物130。其中，标定对齐设备110用于对目标物120进行渲染得到渲染目标物，以及对标定物130进行渲染得到渲染标定物，并根据目标物以及标定物各自对应的坐标，以及渲染目标物以及渲染标定物各自对应的坐标进行标定对齐。标定物130可以有一个或多个，标定物130的大小形状不限(包括但不限于，平面多边形，单个点、多个点、十字形、一条或多条虚线、三维形状等)，且距离标定对齐设备110的距离可以不同。
35.其中，请参阅图2，标定对齐设备110可以包括头戴现实设备111以及模拟人眼相机112，其中，头戴现实设备用于跟踪并确定目标物120和标定物130的自由度信息，并根据目标物120和标定物130的自由度信息进行渲染；模拟人眼相机112位于头戴显示设备110的左眼或右眼的eye box(eye box指眼动范围区域，具体是指近眼显示光学模组与眼球之间的一块锥形区域，也是显示内容最清晰的区域。)范围。
36.其中，请参阅图3，头戴现实设备111可以包括头盔1111以及跟踪传感器1112，其中，跟踪传感器1112位于头盔1111的上方，用于跟踪并确定目标物12和标定物130的自由度信息。
37.下面将结合附图具体描述本技术的各实施例。
38.请参阅图4，本技术实施例提供了一种标定对齐方法，应用于头戴显示设备，所述方法包括：
39.步骤s110：获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标。
40.在本技术实施例中，跟踪传感器预先安装在头戴显示设备上，模拟人眼相机设置于所述头戴显示设备的左眼或右眼的眼动范围区域(eye box)内。预先在预设的验证区域中放置好目标物，由跟踪传感器跟踪该目标物的自由度信息，并将该目标物对应的自由度信息上传到渲染程序中，由此渲染程序可以根据该目标物的自由度信息在模拟人眼相机坐标系下对目标物进行渲染，并获取渲染后的目标物在模拟人眼相机坐标系下的坐标作为第二坐标，同时，在跟踪传感器对该目标物进行跟踪时，确定该目标物在跟踪传感器坐标系下的坐标，将目标物在跟踪传感器坐标系下的坐标作为第一坐标，由头戴显示设备获取该目标物对应的第一坐标和第二坐标。其中，目标物为确定水平坐标基准的物体，可以包括墙壁以及显示板等，在此不做具体限定。自由度信息为六自由度信息，包括移动自由度和转动自由度。渲染程序为设置于头戴显示设备中，用于对物体进行渲染的程序。
41.作为一种方式，在头戴显示设备获取目标物的第一坐标和第二坐标之前，需要将头戴显示设备固定在治具上，且将头戴显示设备中的模拟人眼相机正对预设的验证区域，治具可以根据实际需要设置为任意形状和构造，用于将模拟人眼相机固定在头戴显示设备显示模组的眼动范围区域内。
42.步骤s120：基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐。
43.在本技术实施例中，第一参数指的是模拟人眼相机中渲染人眼的方位；当头戴显示设备获取到目标物的第一坐标和第二坐标后，可以根据目标物的第一坐标和第二坐标调
节跟踪传感器坐标系和模拟人眼相机坐标系之间的坐标变换关系。当模拟人眼相机坐标系与跟踪传感器坐标系之间的坐标变换关系确定后，即可确定模拟人眼相机的第一参数。在确定模拟人眼相机的第一参数时，可以通过调整模拟人眼相机坐标系与跟踪传感器坐标系之间的坐标变换关系，来调节模拟人眼相机的第一参数，即调整模拟人眼相机的渲染人眼的方位，使得目标物在模拟人眼相机中的成像与在跟踪传感器中的成像对齐。其中，渲染人眼位于模拟人眼相机的显示像平面上，可以模拟真实人眼，方位可以包括平移、俯仰角、偏航角以及侧偏角，在此不做具体限定。在确定好模拟人眼相机的第一参数后，即可确定水平坐标基准，从而确保了在标定其它物体时，不会出现地面的上翘或下陷。
44.步骤s130：获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定。
45.在本技术实施例中，标记物为设置用于确定模拟人眼相机的内参和外参的物体，可以有一个或多个；标记物可以由用户预先将标记物放置在验证区域中；渲染基座标系为通过跟踪传感器坐标系、调整第一参数后的模拟人眼相机对应的模拟人眼相机坐标系以及头戴显示设备固有的坐标系确定的坐标系。由跟踪传感器跟踪在验证区域中的标记物的自由度信息，并将跟踪得到的标记物的自由度信息上传到渲染程序中，由此渲染程序可以根据标记物的自由度信息在渲染基坐标系下对标记物进行渲染，并获取渲染后的标记物在渲染基坐标系下的坐标作为该标记物的第四坐标，同时，在跟踪传感器对标记物进行跟踪时，确定标记物在跟踪传感器坐标系下的坐标，将标记物在跟踪传感器下的坐标作为第三坐标，由头戴显示设备获取标记物对应的第三坐标以及第四坐标。
46.步骤s140：基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
47.在本技术实施例中，当头戴显示设备获取到标记物的第三坐标以及第四坐标后，通过调节渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系，从而相应调节模拟人眼相机的第二参数。当渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系确定后，即可确定模拟人眼相机的第二参数。在确定第二参数时，头戴显示设备通过调整渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系，进而调整标记物映射到渲染基坐标系下的坐标，使得标记物在渲染基坐标系下的坐标与在跟踪传感器坐标系下的坐标对齐，即可确定渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系，进而确定模拟人眼相机的第二参数，通过确定模拟人眼相机的第二参数，使得标记物在跟踪传感器中的成像与在渲染基坐标系中的成像对齐。其中，第二参数可以为模拟人眼相机的外参，可以包括模拟人眼相机的位置以及方向。
48.本技术实施例提供的一种标定对齐方法，应用于头戴显示设备，首先获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标，然后基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐，再获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第
四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定，最后基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数。通过上述方法，通过自动调节第一参数以及第二参数，使得相对于人工进行标定对齐，本方案的对齐精度更高。
49.请参阅图5，本技术实施例提供了一种标定对齐方法，应用于头戴显示设备，所述方法包括：
50.步骤s201：通过所述跟踪传感器获取所述目标物的自由度信息。
51.在本技术实施例中，头戴显示设备上安装了跟踪传感器，当头戴显示设备需要渲染物体时，跟踪传感器即可跟踪需要渲染的物体对应的自由度信息，并将跟踪的自由度信息上传到渲染程序。通过跟踪传感器跟踪在验证区域中的目标物，并确定该目标物对应的自由度信息，将该目标物对应的自由度信息上传到渲染程序以及软件端中，以使渲染程序以及软件端可以同时获取到目标物的自由度信息。
52.步骤s202：基于所述自由度信息，对所述目标物进行渲染，得到渲染目标物。
53.在本技术实施例中，在渲染程序获取到该目标物对应的自由度信息后，可以根据目标物对应的自由度信息在模拟人眼坐标系下对该目标物进行渲染。同时，渲染程序在对目标物进行渲染后，渲染目标物在模拟人眼相机坐标系下的自由度信息是随机生成的，通过调整模拟人眼相机的第一参数即可调整渲染目标物的自由度信息，从而使渲染目标物在模拟人眼相机坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标对齐。
54.作为一种方式，可以预先获取目标物的形状信息，并将目标物对应的形状信息存储在渲染程序中，当用户开启头戴显示设备，且开始对头戴显示设备进行标定对齐时，启动该渲染程序，渲染程序通过存储好的目标物对应的形状信息对目标物进行渲染得到渲染目标物。其中，形状信息可以包括长度、宽度以及厚度等信息，当然也可以包括其他的信息，在此不做具体限定。
55.步骤s203：获取所述目标物对应的第一坐标，以及获取所述渲染目标物在所述模拟人眼相机坐标系下的坐标作为所述目标物对应的第二坐标。
56.在本技术实施例中，当跟踪传感器对目标物进行跟踪时，可以实时跟踪该目标物对应的第一坐标，并将目标物对应的第一坐标实时上传到软件端以及渲染程序中，由软件端以及渲染程序获取目标物对应的第一坐标。同时，在渲染程序获取到目标物对应的自由度信息，并根据目标物的自由度信息渲染得到渲染目标物时，将生成的渲染目标物对应的自由度信息上传到软件端，由软件端获取渲染目标物在模拟人眼相机坐标系下的坐标，并将渲染标记物在模拟人眼相机坐标系下的坐标作为目标物对应的第二坐标。
57.步骤s204：基于所述目标物对应的第一坐标和第二坐标，确定所述跟踪传感器坐标系和所述模拟人眼相机坐标系之间的变换矩阵。
58.在本技术实施例中，当软件端获取到目标物在跟踪传感器坐标系下的的坐标，以及渲染目标物在模拟人眼相机坐标系下的坐标后，通过调整跟踪传感器坐标系与模拟人眼相机坐标系之间的变换矩阵，进而调整渲染目标物在模拟人眼相机坐标系下的坐标，即调整目标物对应的第二坐标。当渲染目标物在模拟人眼相机坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标对齐时，即确定了跟踪传感器与模拟人眼相机坐标系之间的变换矩阵。
59.作为一种方式，在获取到渲染目标物在模拟人眼相机坐标系下的坐标以及目标物在跟踪传感器坐标系下的坐标后，通过变换矩阵将渲染目标物在模拟人眼相机坐标系下的坐标映射到跟踪传感器坐标系下，通过调整模拟人眼相机坐标系与跟踪传感器坐标系之间的变换矩阵，可以使渲染目标物映射到跟踪传感器坐标系下的坐标进行相应的调整。若确定渲染目标物映射到跟踪传感器坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标相同，则确定对应的变换矩阵为目标变换矩阵；若不相同，则继续调整跟踪传感器坐标系和模拟人眼相机坐标系之间的变换矩阵。
60.作为一种方式，可以预先在目标物中确定坐标选取位置，由跟踪传感器获取坐标选取位置对应的坐标。当渲染程序对目标物进行渲染后，通过渲染目标物对应的坐标选取位置在模拟人眼相机坐标系下的坐标以及目标物在跟踪传感器坐标系下的坐标，确定跟踪传感器坐标系以及模拟人眼相机坐标系之间的变换矩阵。其中，坐标选取位置为目标物中确定坐标的点，可以为一个或多个。例如，若目标物为墙壁，可以选择墙壁的四个角作为坐标选取位置。
61.步骤s205：基于所述变换矩阵，调整所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像和所述目标物在所述模拟人眼相机中的成像对齐。
62.在本技术实施例中，通过调整跟踪传感器坐标系与模拟人眼相机坐标系之间的变换矩阵，从而调整模拟人眼相机的第一参数，通过调整模拟人眼相机的第一参数，进而调整渲染目标物在模拟人眼相机坐标系下的坐标，使得目标物在模拟人眼相机中得成像发生移动。当软件端确定模拟人眼相机的第一参数后，即可确定目标物在跟踪传感器中得成像与在模拟人眼相机中得成像对齐。例如，目标物在跟踪传感器坐标系下的坐标为a，渲染目标物在模拟人眼相机坐标系下的坐标为b，跟踪传感器坐标系与模拟人眼相机坐标系之间的变换矩阵为x，则通过软件端调整变换矩阵x，当调整后的变换矩阵可以使得a＝xb成立时，即可确定目标物在跟踪传感器坐标系下的坐标与渲染目标物在模拟人眼相机坐标系下的坐标对齐，即确定目标物在跟踪传感器中的成像与目标物在模拟人眼相机中的成像对齐。
63.作为一种方式，如图6和图7所示，当渲染目标物通过变换矩阵映射到跟踪传感器坐标系时，由预设出图软件根据渲染目标物映射到跟踪传感器坐标系下的图像以及目标物在跟踪传感器坐标系下的图像进行拍照，并根据拍照结果中渲染目标物映射到跟踪传感器坐标系下的坐标以及目标物在跟踪传感器坐标系下的坐标，判断渲染目标物在模拟人眼相机坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标是否对齐，若没有对齐，通过调整模拟人眼相机坐标系与跟踪传感器坐标系之间的变换矩阵，从而调整渲染目标物映射到跟踪传感器坐标系下的坐标，直至渲染目标物映射到跟踪传感器坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标相同，确定渲染目标物在模拟人眼相机坐标系下的坐标与目标物在跟踪传感器坐标系下的坐标对齐，确定当前的变换矩阵为目标变换矩阵，从而使目标物在跟踪传感器中的成像和目标物在模拟人眼相机中的成像对齐。
64.步骤s206：基于所述跟踪传感器坐标系、预设传感器坐标系以及所述调整第一参数后的模拟人眼相机坐标系，确定渲染基坐标系。
65.在本技术实施例中，在调整模拟人眼相机的第一参数后，通过跟踪传感器坐标系、调整第一参数的模拟人眼相机对应的模拟人眼相机坐标系以及预设传感器坐标系之间的坐标关系，通过坐标变换的方式将跟踪传感器坐标系、调整第一参数的模拟人眼相机对应
的模拟人眼相机坐标系以及预设传感器坐标系进行综合处理，确定渲染基坐标系。其中，预设传感器为imu传感器，预设传感器坐标系为根据预设传感器建立的坐标系。
66.步骤s207：通过所述跟踪传感器获取所述第一标记物对应的自由度信息以及第二标记物对应的自由度信息。
67.在本技术实施例中，通过跟踪传感器跟踪在验证区域中的第一标记物以及第二标记物，并确定第一标记物对应的自由度信息以及第二标记物对应的自由度信息，将第一标记物对应的自由度信息以及第二标记物对应的自由度信息上传到渲染程序以及软件端中，由渲染程序以及软件端获取第一标记物对应的自由度信息以及第二标记物对应的自由度信息。其中，第一标记物与第二标记物可以分别为大的标记物和小的标记物，若将第一标记物和第二标记物设置为一前一后，则将第一标记物距离头戴显示设备更远，第二标记物距离头戴显示设备更近，使得大的第一标记物不会遮挡小的第二标记物；若将第一标记物设置在第二标记物的左边或右边，则不用考虑设置第一标记物距离头戴现实设备更近或第二标记物距离头戴现实设备更近，只需考虑将第一标记物和第二标记物中任一标记物设置得距离头戴现实设备更近，另一标记物设置得距离头戴显示设备更远即可，从而可以通过跟踪传感器区分出标记物的深度信息。
68.步骤s208：基于所述第一标记物对应的自由度信息对所述第一标记物进行渲染，得到所述第一标记物对应的第一渲染标记物。
69.在本技术实施例中，在渲染程序获取到第一标记物对应的自由度信息后，根据第一标记物对应的自由度信息对第一标记物进行渲染，从而在渲染基坐标系下得到第一标记物对应的第一渲染标记物。同时，渲染程序在对第一标记物进行渲染后，第一渲染标记物在渲染基坐标系下的自由度信息是随机生成的，通过调整渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系，即可调整第一渲染标记物的自由度信息，从而使第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标对齐。
70.步骤s209：基于所述第二标记物对应的自由度信息，对所述第二标记物进行渲染，得到所述第二标记物对应的第二渲染标记物。
71.在本技术实施例中，在渲染程序获取到第二标记物对应的自由度信息后，根据第二标记物对应的自由度信息对第二标记物进行渲染，从而在渲染基坐标系下得到第二标记物对应的第二渲染标记物。同时，渲染程序在对第二渲染标记物进行渲染后，第二渲染标记物在渲染基坐标系下的自由度信息是随机生成的通过调整渲染基坐标系与跟踪传感器坐标系之间的坐标变换关系，即可调整第二渲染标记物的自由度信息，从而使第二渲染标记物在渲染基坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标对齐。
72.作为另一种方式，预先获取第一标记物的形状信息以及第二标记物的形状信息，并将第一标记物对应的形状信息以及第二标记物对应的形状信息存储在渲染程序中，当用户开启头戴显示设备，且开始对头戴显示设备进行标定对齐时，启动该渲染程序，渲染程序通过存储好的第一标记物对应的形状信息渲染得到第一渲染标记物，通过存储好的第二标记物对应的形状信息渲染得到第二渲染标记物。
73.步骤s210：获取所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一渲染标记物在所述渲染基坐标系下的坐标作为所述第一标记物对应的第四坐标，和所述第二渲染标记物在所述渲染基坐标系下的坐标作为所述第二标记物对应的
第四坐标。
74.在本技术实施例中，当跟踪传感器对第一标记物以及第二标记物进行跟踪时，可以实时跟踪第一标记物对应的第三坐标以及第二标记物对应的第三坐标，并将第一标记物对应的第三坐标以及第二标记物对应的第三坐标实时上传到软件端以及渲染程序中，由软件端以及渲染程序获取第一标记物对应的第三坐标以及第二标记物对应的第三坐标。同时，在渲染程序获取到第一标记物对应的自由度信息后，根据第一标记物对应的自由度信息对第一标记物进行渲染，得到第一渲染标记物；在获取到第二标记物对应的自由度信息后，根据第二标记物对应的自由度信息端对第二标记物进行渲染，得到第二渲染标记物。在生成第一渲染标记物以及第二渲染标记物后，将第一渲染标记物对应的自由度信息以及第二渲染标记物对应的自由度信息上传到软件端，由软件端获取第一渲染标记物在渲染基坐标系下的坐标，以及第二渲染标记物在渲染基坐标系下的坐标，并将第一渲染标记物在渲染基坐标系下的坐标作为第一标记物对应的第四坐标，将第二渲染标记物在渲染基坐标系下的坐标作为第二标记物对应的第四坐标。
75.作为一种方式，可以预先在第一标记物和第二标记物中分别确定坐标选取位置，由跟踪传感器获取第一标记物的坐标选取位置对应的坐标以及第二标记物的坐标选取位置对应的坐标。当渲染程序对第一标记物进行渲染后，确定第一渲染标记物的坐标选取位置在渲染基坐标系下的坐标作为第一标记物的第四坐标，第二渲染标记物的坐标选取位置在渲染基坐标系下的坐标作为第二标记物的第四坐标。
76.步骤s211：基于当次所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一标记物对应的第四坐标和所述第二标记物对应的第四坐标，确定当次所述跟踪传感器坐标系和所述渲染基坐标系之间的变换矩阵。
77.在本技术实施例中，当软件端获取到第一标记物在跟踪传感器坐标系下的坐标和第二标记物在跟踪传感器坐标系下的坐标，以及第一渲染标记物在渲染基坐标系下的坐标和第二渲染标记物在渲染基坐标系下的坐标后，通过调整跟踪传感器坐标系以及渲染基坐标系之间的变换矩阵，进而调整第一渲染标记物以及第二渲染标记物在渲染基坐标系下的坐标，即调整第一标记物对应的第三坐标以及第二标记物对应的第三坐标。同时，每间隔预设时间段，软件端都会确定一次跟踪传感器坐标系和渲染基坐标系之间的变换矩阵，同时软件端会判断调整变换矩阵后的第一标记物对应第四坐标是否与第三坐标对齐，以及第二标记物对应的第四坐标是否与第三坐标对齐，并根据第一标记物的第四坐标与第三坐标的对齐情况，以及第二标记物的第四坐标与第三坐标的对齐情况，相应的调整变换矩阵。
78.步骤s212：对所述变换矩阵进行当次调整。
79.在本技术实施例中，当确定当次的跟踪传感器坐标系和渲染基坐标系之间的变换矩阵后，对该变换矩阵进行当次调整。
80.步骤s213：判断所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐的情况下，所述第二标记物在所述跟踪传感器坐标系下的坐标与所述第二标记物在渲染基坐标系下的坐标是否对齐，若对齐，则执行步骤s214；若未对齐，则执行步骤s215。
81.步骤s214：若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和
所述第二标记物在渲染基坐标系下的坐标对齐，基于所述当次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
82.在本技术实施例中，在对变换矩阵进行当次调整之后，根据进行当次调整后的变换矩阵将第一渲染标记物在渲染基坐标系下的坐标映射到跟踪传感器坐标系下，同时将第二渲染标记物在渲染基坐标系下的坐标映射到跟踪传感器坐标系下。如果检测到第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标相同，同时第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标也相同，则确定第一标记物在跟踪传感器坐标系下的坐标和第一渲染标记物在渲染基坐标系下的坐标对齐，且第二标记物在跟踪传感器坐标系下的坐标和第二渲染标记物物在渲染基坐标系下的坐标对齐，进而可以通过当多次调整后的便变换矩阵确定模拟人眼相机的第二参数，从而使标记物在跟踪传感器中的成像与标记物在渲染基坐标系中的成像对齐。
83.作为一种方式，在调整跟踪传感器坐标系和渲染基坐标系之间的变换矩阵时，同时将第一渲染标记物在渲染基坐标系下的坐标根据变换矩阵映射到跟踪传感器坐标系下，以及将第一渲染标记物在渲染基坐标系下的坐标根据变换矩阵映射到跟踪传感器坐标系下，当变换矩阵进行调整时，第一渲染标记物映射到跟踪传感器坐标系下的坐标以及第二渲染标记物映射到跟踪传感器坐标系下的坐标也相应调整。由于第一标记物在跟踪传感器坐标系下存在坐标，第二标记物在跟踪传感器坐标系下存在坐标，将第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标进行对比，如果相同则确定第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标对齐，如果不相同则确定第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标未对齐；将第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标进行对齐，如果相同则确定第二渲染标记物在渲染基坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标对齐，如果不相同则确定第二渲染标记物在渲染基坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标未对齐。
84.步骤s215：若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一渲染标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标未对齐，对所述当次调整后的变换矩阵进行下次调整。
85.在本技术实施例中，在当次调整后的变换矩阵后，若检测到第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标相同，而第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标不相同，则可以确定第一标记物在跟踪传感器坐标系下的坐标和第一渲染标记物在渲染基坐标系下的坐标对齐，且第二标记物在跟踪传感器坐标系下的坐标和第二渲染标记物物在渲染基坐标系下的坐标未对齐，则对当次调整后的变换矩阵进行下次调整。
86.步骤s216：若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和
所述第二渲染标记物在渲染基坐标系下的坐标未对齐，对下次调整后的变换矩阵进行再次调整，直至所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一渲染标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标对齐。
87.步骤s217：基于最后一次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。
88.在本技术实施例中，如果在对当次调整的变换矩阵进行下次调整后，第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标仍未对齐，对下次调整后的变换矩阵再次进行调整，直到第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标相同，且第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标相同，确定变换矩阵调整结束，根据最后一次调整的变换矩阵确定模拟人眼相机的第二参数，从而使标记物在跟踪传感器中的成像与标记物在渲染基坐标系中的成像对齐。
89.作为一种方式，如图8和图9所示，当第一渲染标记物以及第二渲染标记物通过变换矩阵映射到跟踪传感器坐标系上时，由预设出图软件根据第一渲染标记物映射到跟踪出传感器坐标系下的图像以及目标物在跟踪过传感器坐标系下的图像进行拍照，并根据拍照结果中第一渲染标记物映射到跟踪传感器坐标系下的坐标和第一标记物在跟踪传感器坐标系下的坐标，判断第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标是否对齐；根据拍照结果中第二渲染标记物映射到跟踪传感器坐标系下的坐标和第二标记物在跟踪传感器坐标系下的坐标，判断第二渲染标记物在渲染基坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标是否对齐。若确定第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标相同，而第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标不同，则确定第一渲染标记物在渲染基坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标未对齐，则对当次调整后的变换矩阵进行下次调整，使得第一渲染标记物映射到跟踪传感器坐标系下的坐标偏移第一标记物在跟踪传感器坐标系下的坐标，同时第二渲染标记物映射到跟踪过传感器坐标系下的坐标偏移第二标记物在跟踪传感器坐标系下的坐标，且第一渲染标记物映射在跟踪传感器坐标系上的坐标偏移的方位和第二渲染标记物映射在跟踪传感器坐标系上的坐标的偏移的方位相同，然后在该情况下调整第一渲染标记物映射到跟踪传感器坐标系下的坐标，以及第二渲染标记物映射到跟踪传感器坐标系下的坐标，以使第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物在跟踪传感器坐标系下的坐标相同，再判断第二渲染标记物映射到跟踪传感器坐标系下的坐标是否与第二标记物再跟踪传感器坐标系下的坐标相同，若不相同，继续对下次调整后的变换矩阵进行调整，直到第一渲染标记物映射到跟踪传感器坐标系下的坐标与第一标记物再跟踪传感器坐标系下的坐标相同，且第二渲染标记物映射到跟踪传感器坐标系下的坐标与第二标记物在跟踪传感器坐标系下的坐标相同，根据最后一次调整后的变换矩阵，
确定模拟人眼相机的第二参数。
90.本技术实施例提供的一种标定对齐方法，应用于头戴显示设备，首根据目标物的自由度信息进行渲染得到渲染目标物，然后根据目标物的第一坐标和第二坐标确定跟踪传感器坐标系和模拟人眼相机坐标系之间的变换矩阵，并根据确定的变换矩阵确定模拟人眼相机的第一参数，再根据第一标记物的自由度信息和第二标记物的自由度信息，分别进行渲染得到第一渲染标记物和第二渲染标记物，然后根据第一渲染标记物的第三坐标和第四坐标，以及第二渲染标记物的第三坐标和第四坐标确定跟踪传感器和渲染基坐标系之间的变换矩阵，并根据变换矩阵确定模拟人眼相机的第二参数。通过上述方法，通过自动调节第一参数以及第二参数，使得相对于人工进行标定对齐，本方案的对齐精度更高。
91.请参阅图10，本技术实施例提供了一种业务防护装置300，运行于头戴显示设备，所述装置300包括：
92.目标物坐标获取单元310，用于获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标；
93.作为一种方式，目标物坐标获取单元310还用于通过所述跟踪传感器获取所述目标物的自由度信息；基于所述自由度信息，对所述目标物进行渲染，得到渲染目标物；获取所述目标物对应的第一坐标，以及获取所述渲染目标物在所述模拟人眼相机坐标系下的坐标作为所述目标物对应的第二坐标。
94.第一参数调节单元320，用于基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐；
95.作为一种方式，第一参数调节单元420还用于基于所述目标物对应的第一坐标和第二坐标，确定所述跟踪传感器坐标系和所述模拟人眼相机坐标系之间的变换矩阵；基于所述变换矩阵，调整所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像和所述目标物在所述模拟人眼相机中的成像对齐。
96.标记物坐标获取单元430，用于获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定；
97.作为一种方式，标记物坐标获取单元430还用于基于所述跟踪传感器坐标系、预设传感器坐标系以及所述调整第一参数后的模拟人眼相机坐标系，确定渲染基坐标系；通过所述跟踪传感器获取所述第一标记物对应的自由度信息以及第二标记物对应的自由度信息；基于所述第一标记物对应的自由度信息对所述第一标记物进行渲染，得到所述第一标记物对应的第一渲染标记物；基于所述第二标记物对应的自由度信息，对所述第二标记物进行渲染，得到所述第二标记物对应的第二渲染标记物；获取所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一渲染标记物在所述渲染基坐标系下的坐标作为所述第一标记物对应的第四坐标，和所述第二渲染标记物在所述渲染基坐标系下的坐标作为所述第二标记物对应的第四坐标。
98.第二参数确定单元440，用于基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数。
99.作为一种方式，第二参数确定单元440还用于基于当次所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一标记物对应的第四坐标和所述第二标记物对应的第四坐标，确定当次所述跟踪传感器坐标系和所述渲染基坐标系之间的变换矩阵；对所述变换矩阵进行当次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二标记物在渲染基坐标系下的坐标对齐，基于所述当次调整后的变换矩阵，确定所述模拟人眼相机的第二参数。
100.可选的，第二参数确定单元440还用于若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二标记物在渲染基坐标系下的坐标未对齐，对所述当次调整后的变换矩阵进行下次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二标记物在渲染基坐标系下的坐标未对齐，对下次调整后的变换矩阵进行再次调整，直至所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二标记物在渲染基坐标系下的坐标对齐，基于最后一次调整后的变换矩阵，确定所述模拟人眼相机的第二参数。
101.需要说明的是，本技术中装置实施例与前述方法实施例是互相对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
102.下面将结合图11对本技术提供的一种电子设备进行说明。
103.请参阅图11，基于上述的动作检测方法、装置，本技术实施例还提供了另一种可以执行前述动作检测方式的电子设备500。电子设备500包括相互耦合的一个或多个(图中仅示出一个)处理器502、存储器504以及网络模块506。其中，该存储器504中存储有可以执行前述实施例中内容的程序，而处理器502可以执行该存储器504中存储的程序。
104.其中，处理器502可以包括一个或者多个处理核。处理器502利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器504内的指令、程序、代码集或指令集，以及调用存储在存储器504内的数据，执行服务器500的各种功能和处理数据。可选地，处理器502可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器502可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器502中，单独通过一块通信芯片进行实现。
105.存储器504可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器504可用于存储指令、程序、代码、代码集或指令集。存储器504可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建
的数据(比如电话本、音视频数据、聊天记录数据)等。
106.所述网络模块506用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块506可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。所述网络模块506可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块506可以与基站进行信息交互。
107.请参考图12，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质600中存储有程序代码，所述程序代码可以被处理器调用执行上述方法实施例中所描述的方法。
108.计算机可读存储介质600可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
109.本技术实施例提供了一种混合现实设备的对齐标定方法、装置、电子设备以及存储介质。本混合现实设备的对齐标定方法包括：获取目标物对应的第一坐标和第二坐标，第一坐标为目标物在跟踪传感器坐标系下的坐标，第二坐标为目标物在模拟人眼相机坐标系下的坐标；基于第一坐标和第二坐标，调节模拟人眼相机的第一参数，以使目标物在跟踪传感器中的成像与目标物在模拟人眼相机中的成像对齐；获取标记物对应的第三坐标和第四坐标，第三坐标为标记物在跟踪传感器坐标系下的坐标，第四坐标为标记物在渲染基坐标系下的坐标；基于第三坐标和第四坐标，确定模拟人眼相机的第二参数。通过上述方法，通过自动调节第一参数以及第二参数，使得相对于人工进行标定对齐，本方案的对齐精度更高。
110.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护。

技术特征：
1.一种混合现实设备的对齐标定方法，其特征在于，应用于标定对齐设备，所述标定对齐设备包括模拟人眼相机和头戴显示设备，所述头戴显示设备包括跟踪传感器，所述方法包括：获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标；基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐；获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定；基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。2.根据权利要求1所述的方法，其特征在于，所述获取目标物对应的第一坐标和第二坐标，包括：通过所述跟踪传感器获取所述目标物的自由度信息；基于所述自由度信息，对所述目标物进行渲染，得到渲染目标物；获取所述目标物对应的第一坐标，以及获取所述渲染目标物在所述模拟人眼相机坐标系下的坐标作为所述目标物对应的第二坐标。3.根据权利要求所述1的方法，其特征在于，所述基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐，包括：基于所述目标物对应的第一坐标和第二坐标，确定所述跟踪传感器坐标系和所述模拟人眼相机坐标系之间的变换矩阵；基于所述变换矩阵，调整所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像和所述目标物在所述模拟人眼相机中的成像对齐。4.根据权利要求1所述的方法，其特征在于，所述标记物包括第一标记物和第二标记物；所述获取标记物对应的第三坐标和第四坐标，包括：基于所述跟踪传感器坐标系、预设传感器坐标系以及所述调整第一参数后的模拟人眼相机坐标系，确定渲染基坐标系；通过所述跟踪传感器获取所述第一标记物对应的自由度信息以及第二标记物对应的自由度信息；基于所述第一标记物对应的自由度信息对所述第一标记物进行渲染，得到所述第一标记物对应的第一渲染标记物；基于所述第二标记物对应的自由度信息，对所述第二标记物进行渲染，得到所述第二标记物对应的第二渲染标记物；获取所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一渲染标记物在所述渲染基坐标系下的坐标作为所述第一标记物对应的第四坐标，和所述第二渲染标记物在所述渲染基坐标系下的坐标作为所述第二标记物对应的第四坐标。5.根据权利要求1所述的方法，其特征在于，所述基于所述第三坐标和所述第四坐标，
确定所述模拟人眼相机的第二参数，以使所述标记物在所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐，包括：基于当次所述第一标记物对应的第三坐标和所述第二标记物对应的第三坐标，以及所述第一标记物对应的第四坐标和所述第二标记物对应的第四坐标，确定当次所述跟踪传感器坐标系和所述渲染基坐标系之间的变换矩阵；对所述变换矩阵进行当次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一渲染标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标对齐，基于所述当次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一渲染标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标未对齐，对所述当次调整后的变换矩阵进行下次调整；若所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器坐标系下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标未对齐，对下次调整后的变换矩阵进行再次调整，直至所述第一标记物在所述跟踪传感器坐标系下的坐标和所述第一渲染标记物在渲染基坐标系下的坐标对齐，且所述第二标记物在所述跟踪传感器下的坐标和所述第二渲染标记物在渲染基坐标系下的坐标对齐；基于最后一次调整后的变换矩阵，确定所述模拟人眼相机的第二参数，以使所述跟踪传感器中的成像与所述标记物在所述渲染基坐标系中的成像对齐。7.根据权利要求1所述的方法，其特征在于，所述模拟人眼相机设置于所述头戴显示设备的左眼或右眼的眼动范围区域内。8.一种混合现实设备的对齐标定装置，其特征在于，运行于对齐标定设备，所述对齐标定设备包括模拟人眼相机和头戴显示设备，所述头戴显示设备包括跟踪传感器，所述装置包括：目标物坐标获取单元，用于获取目标物对应的第一坐标和第二坐标，所述第一坐标为所述目标物在所述跟踪传感器坐标系下的坐标，所述第二坐标为所述目标物在所述模拟人眼相机坐标系下的坐标；第一参数调节单元，用于基于所述第一坐标和所述第二坐标，调节所述模拟人眼相机的第一参数，以使所述目标物在所述跟踪传感器中的成像与所述目标物在所述模拟人眼相机中的成像对齐；标记物坐标获取单元，用于获取标记物对应的第三坐标和第四坐标，所述第三坐标为所述标记物在所述跟踪传感器坐标系下的坐标，所述第四坐标为所述标记物在渲染基坐标系下的坐标，所述渲染基坐标系为通过调整第一参数后的模拟人眼相机确定；第二参数确定单元，用于基于所述第三坐标和所述第四坐标，确定所述模拟人眼相机
的第二参数。9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器，一个或多个程序被存储在所述存储器中并被配置为由一个或多个处理器执行权利要求1-7任一所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码包括用于执行如权利要求1-7任一权利要求所述的方法的指令。

技术总结
本申请实施例提供了一种混合现实设备的对齐标定方法、装置、电子设备以及存储介质。本对齐标定方法包括：获取目标物对应的第一坐标和第二坐标，第一坐标为目标物在跟踪传感器坐标系下的坐标，第二坐标为目标物在模拟人眼相机坐标系下的坐标；基于第一坐标和第二坐标，调节模拟人眼相机的第一参数，以使目标物在跟踪传感器中的成像与目标物在模拟人眼相机中的成像对齐；获取标记物对应的第三坐标和第四坐标，第三坐标为标记物在跟踪传感器坐标系下的坐标，第四坐标为标记物在渲染基坐标系下的坐标；基于第三坐标和第四坐标，确定模拟人眼相机的第二参数。通过自动调节第一参数以及第二参数，使得相对于人工进行标定对齐，本方案的对齐精度更高。的对齐精度更高。的对齐精度更高。


技术研发人员：胡永涛 戴景文 贺杰
受保护的技术使用者：广东虚拟现实科技有限公司
技术研发日：2023.07.07
技术公布日：2023/10/15