关键点提取方法和装置与流程

1.本发明涉及增强现实技术领域，尤其涉及一种关键点提取方法和装置。


背景技术：

2.在增强现实场景中，需要针对场景中的真实目标呈现相关的虚拟目标，例如检测到桌面上有一束真花时在旁边呈现一束虚拟的花，以下将真实目标(如上例中的真花)称为增强现实关联目标。实际应用中，在实现增强现实效果之前，需要首先通过已知的关键点检测算法定位视频信息中的增强现实关联目标，但是现有的关键点检测算法效率低、精度差，导致增强现实的呈现效果不佳。


技术实现要素：

3.有鉴于此，本发明实施例提供一种关键点提取方法和装置，能够提高用于定位增强现实关联目标的关键点的计算效率和精度。
4.为实现上述目的，根据本发明的一个方面，提供了一种关键点提取方法。
5.本发明实施例的关键点提取方法包括：接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；生成预设形状的虚拟容器在所述用户端的视频采集界面显示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为用于定位所述增强现实关联目标的关键点。
6.可选地，所述依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据，包括：从第一视频信息中提取预置的、用于指示所述基准面的标定对象的位置姿态数据；基于所述摄像设备的位置姿态数据、所述标定对象的位置姿态数据以及预置的标定函数获得所述基准面的位置姿态数据。
7.可选地，所述方法进一步包括：在所述匹配完成之后，根据所述基准面的位置姿态数据计算所述虚拟容器的位置姿态数据，基于计算出的所述虚拟容器的位置姿态数据对所述虚拟容器进行位置锁定。
8.可选地，所述虚拟容器包括多个预设组成部分；以及，所述利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息，包括：根据所述角度数据调整对应于所述角度数据的所述虚拟容器的组成部分的外观数据以实现所述引导。
9.可选地，所述从第二视频信息中提取关键帧，包括：将第二视频信息中图像中心点与所述虚拟容器中心点重合的图像帧确定为目标帧，将邻近所述目标帧的预设数量的图像帧确定为所述关键帧。
10.可选地，所述虚拟容器的预设节点包括所述虚拟容器的中心点和边缘点，所述虚拟容器匹配所述当前空间的增强现实关联目标包括：所述虚拟容器以最小的缩放比例容纳所述增强现实关联目标，所述外观数据包括颜色数据和/或透明度数据；所述方法进一步包括：在所述位置锁定完成之后，基于所述虚拟容器的位置姿态数据以执行针对所述虚拟容器的聚焦。
11.为实现上述目的，根据本发明的另一方面，提供了一种关键点提取装置。
12.本发明实施例的关键点提取装置可以包括：基准面定位单元，用于接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；关联目标匹配单元，用于生成预设形状的虚拟容器在所述用户端的视频采集界面显示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；全景采集单元，用于：响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；关键点确定单元，用于从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为所述增强现实关联目标的关键点。
13.可选地，所述虚拟容器包括多个预设组成部分；以及，所述全景采集单元进一步用于：根据所述角度数据调整对应于所述角度数据的所述虚拟容器的组成部分的外观数据以实现所述引导；所述关键点确定单元进一步用于：将第二视频信息中图像中心点与所述虚拟容器中心点重合的图像帧确定为目标帧，将邻近所述目标帧的预设数量的图像帧确定为所述关键帧。
14.为实现上述目的，根据本发明的又一方面，提供了一种电子设备。
15.本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的关键点提取方法。
16.为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。
17.本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的关键点提取方法。
18.根据本发明的技术方案，上述发明中的实施例具有如下优点或有益效果：
19.服务器在接收到摄像设备采集的第一视频信息之后，从中计算摄像设备的位置姿态数据进而确定基准面的位置姿态数据，接着生成预设形状的虚拟容器在用户端的视频采集界面显示，以使用户操作虚拟容器将虚拟容器匹配增强现实关联目标。匹配完成之后，服务器利用基准面的位置姿态数据计算摄像设备朝向虚拟容器的角度数据，根据这一角度数据实时调整虚拟容器组成部分的颜色或透明度，从而引导用户对虚拟容器执行全景视频采集以获得第二视频信息。最后，服务器从第二视频信息中提取关键帧，将关键帧中虚拟容器的预设节点确定为关键点。基于虚拟容器匹配增强现实关联目标的以上关键点提取方案效率高、精度高，适于网上直播等应用场景。关键点提取完成之后，后续环节可以根据提取到的关键点定位增强现实关联目标进而与虚拟目标合成，最后以推流方式将视频信息传输到用户终端(例如直播场景中的观看端)。
20.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
21.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
22.图1是本发明实施例中关键点提取方法的主要步骤示意图；
23.图2是本发明实施例中关键点提取方法的具体执行步骤示意图；
24.图3是本发明实施例中关键点提取装置的组成部分示意图；
25.图4是根据本发明实施例可以应用于其中的示例性系统架构图；
26.图5是用来实现本发明实施例中关键点提取方法的电子设备结构示意图。
具体实施方式
27.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.本发明实施例的关键点提取方法可以用在基于视频信息的增强现实场景中，可以理解，在目前的增强现实架构中，一般是针对场景中特定目标增加虚拟目标，以上特定目标在下文中称为增强现实关联目标。本发明可以应用的场景包括用户终端通过其中的摄像设备(如摄像头或相机)拍摄视频信息以及进而将视频信息通过网络传输的任何场景，以下将以直播场景为例进行说明。可以理解，在指标场景中，主播端采集的视频信息经过服务器处理后推流到观看端，服务器可以在视频信息处理过程中实现增强现实效果。以下步骤和装置的执行主体可以是相应环境的服务端的服务器，需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
29.图1是根据本发明实施例中关键点提取方法的主要步骤示意图。
30.如图1所示，本发明实施例的关键点提取方法可具体按照如下步骤执行：
31.步骤s101：接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取摄像设备的位置姿态数据，依据摄像设备的位置姿态数据确定当前空间中基准面的位置姿态数据。
32.在本步骤中，用户端(直播场景中为主播端)首先采集当前空间的一段视频信息即第一视频信息作为基准面的定位依据。具体应用中，为了更好地实现增强现实的相关数据采集，主播端可以从服务器下载安装预先编写的增强现实部件以执行以下步骤。服务器在接收到第一视频信息之后，从中提取出摄像设备的位置姿态数据，以上位置姿态数据可以包括x、y、z方向的距离数据和角度数据。接着，服务器可以利用摄像设备的位置姿态数据来计算当前空间中基准面的位置姿态数据。以上基准面可以是增强现实关联目标所在或关联的平面，也可以是增强现实关联目标关联的任何形状的曲面。
33.实际应用中，服务器可以使用摄像设备的位置姿态数据以及预置的标定函数(例如从视频信息的二维数据转换到服务器三维场景的函数，该函数可以由增强现实部件提供)来计算基准面的位置姿态数据。作为一个精度更高的优选方案，还可以通过特定的标定
对象(如已知的aruco标记)来实现更为准确的基准面定位。具体地，主播将预置的、用于指示基准面的标定对象放在基准面之后，服务器首先从第一视频信息中提取标定对象的位置姿态数据，此后基于摄像设备的位置姿态数据、标定对象的位置姿态数据以及以上标定函数来计算基准面的位置姿态数据。实际场景中，为了减小运算量，可以固定时长抽取一定比例(如20％)的数据帧执行以上计算，计算时可以将最近的固定数量的数据帧的计算结果的平均值作为当前的计算结果，由此提高计算平滑性，避免受到视频抖动等因素的影响。
34.步骤s102：生成预设形状的虚拟容器在用户端的视频采集界面显示，以使用户在视频采集界面通过移动和/或缩放虚拟容器使虚拟容器匹配当前空间的增强现实关联目标。
35.识别到当前空间的基准面之后，可以基于基准面位置对增强现实关联目标进行定位，具体地，服务器首先生成预设形状的虚拟容器显示在主播端的视频采集界面(可以具有一定的透明度以防遮挡)，用于容纳或包裹当前空间的增强现实关联目标从而进行定位。该虚拟容器可以通过拖拽改变位置，也可以通过其它动作或按钮进行尺度的放大和缩小。作为一个可选方案，虚拟容器的形状可以是固定形状(如球状、立方体状)，也可以是适应于增强现实关联目标的形状，例如，服务器通过主播的动作确定增强现实关联目标的形状之后，将预设的多种虚拟容器中具有相同形状的虚拟容器向主播端返回。另外，以上虚拟容器可以包括多个预设组成部分，例如，球状的虚拟容器以不同经度范围划分为6个不同球面，每一球面即为一个组成部分；又如，球状的虚拟容器由均匀分布在球面的324个点组成，每一个点即为一个组成部分。虚拟容器还具有多个用于表征虚拟容器位置的预设节点，例如中心点和x、y、z方向的边缘点(即x轴、y轴、z轴与虚拟容器的交点)。
36.步骤s103：响应于匹配完成，根据基准面的位置姿态数据确定摄像设备朝向虚拟容器的角度数据，利用角度数据引导摄像设备对虚拟容器执行全景采集以获得第二视频信息。
37.具体应用中，匹配完成指的是主播通过拖拽和缩放虚拟目标，使虚拟目标以最小的缩放比例容纳增强现实关联目标，此时虚拟目标与增强现实关联目标达到最大程度的位置重合，后续将当前位置的虚拟容器锁定后可以基于虚拟容器执行针对增强现实关联目标的关键点检测。
38.在本发明实施例中，当匹配完成之后，服务器首先根据基准面的位置姿态数据计算虚拟容器的位置姿态数据，基于计算出的虚拟容器的位置姿态数据对虚拟容器进行位置锁定，以便后续针对虚拟容器的固定位置进行全景数据采集。较佳地，以上锁定之后，可以针对虚拟容器中心点的位置数据进行聚焦操作，以保证图像的清晰度。
39.此后，服务器可以根据基准面的位置姿态数据确定摄像设备朝向虚拟容器的角度数据，进而该角度数据引导摄像设备对虚拟容器执行全景采集以获得第二视频信息。较佳地，服务器可以根据摄像设备朝向虚拟容器的当前角度调整对应于当前角度的虚拟容器的组成部分的外观数据以实现以上全景采集的引导，可以理解，以上全景采集指的是采集虚拟容器的全方位数据，例如沿跨越球面经线方向的360采集，其定义与虚拟容器组成部分的划分情况相关。
40.示例性地，以上外观数据可以包括颜色数据、透明度数据、尺寸数据等。以基于经度范围划分的6个不同球面的组成部分为例，主播手持终端环绕拍摄增强现实关联目标，当
服务器检测到摄像设备朝向虚拟容器的角度范围已经覆盖某一球面，则将该球面的透明度调整为零，即完成透明，未覆盖的其它5个球面还是高透明度状态，主播可以沿原方向继续环绕拍摄以实现全景采集。以基于多点划分的前述324个不同点的组成部分为例，主播手持终端环绕拍摄增强现实关联目标，当服务器检测到摄像设备朝向虚拟容器的角度范围已经覆盖某一点，则将该点的透明度调整为零，即完成透明，未覆盖的其它点还是高透明度状态，主播可以沿原方向继续环绕拍摄以实现全景采集。显然，后一例的运算量高于前一例。
41.全景采集完成之后，服务器可以获得此过程中主播拍摄的第二视频信息。
42.步骤s104：从第二视频信息中提取关键帧，将关键帧中虚拟容器的预设节点确定为用于定位增强现实关联目标的关键点。
43.在本步骤中，服务器从第二视频信息的各图像帧中选取质量较好的图像帧作为关键帧，例如，服务器将第二视频信息中图像中心点与虚拟容器中心点重合的图像帧确定为目标帧，将邻近目标帧的预设数量的图像帧确定为关键帧。可以理解，邻近目标帧指的是数据帧序号与目标帧接近，其可以对应目标帧之前的图像帧，也可以对应目标帧之后的图像帧，还可以同时包含目标帧之前和之后的图像帧，例如，邻近目标帧的6个图像帧为目标帧之前最近的三个图像帧和目标帧之后最近的三个图像帧。
44.此后，服务器可以将关键帧中虚拟容器的预设节点如中心点、边缘点确定为用于定位增强现实关联目标的关键点，将关键点的三维位置姿态数据携带在直播流消息体中传输到下一节点。下一节点通过关键点的位置姿态数据在视频信息中执行增强现实关联目标的实体分割以及针对虚拟目标的合成之后，将最终生成的视频信息通过推流模型发送到观看端，由此完成直播场景中的增强现实效果。以上说明虽然基于直播场景，但是本发明并不局限在直播场景，而能够应用在涉及视频信息的任何增强现实场景。
45.图2是本发明实施例中关键点提取方法的具体执行步骤示意图，参见图2。在步骤s201中，服务器接收主播端传输的第一视频信息；在步骤s202中，服务器从第一视频信息中计算摄像设备的位置姿态数据；在步骤s203中，服务器依据计算出的摄像设备的位置姿态数据确定当前空间的基准面的位置姿态数据，作为后续步骤的标定依据；在步骤s204中，服务器生成相应形状的虚拟容器；在步骤s205中，服务器将虚拟容器显示在主播端的视频采集界面；在步骤s206中，主播操作虚拟容器以实现虚拟容器与增强现实关联目标的匹配；在步骤s207中，服务器根据基准面的位置姿态数据计算摄像设备朝向虚拟容器的角度；在步骤s208中，服务器基于摄像设备朝向虚拟容器的角度调整相应的虚拟容器组成部分的颜色或者透明度；在步骤s209中，服务器引导主播执行采集从而获得第二视频信息；在步骤s210中，服务器从第二视频信息的各图像帧中选取关键帧；在步骤s211中，服务器将关键帧中虚拟容器的预设节点确定为关键点；在步骤s212中，服务器通过流媒体服务器将关键点的三维位置姿态数据传输到下一节点；在步骤s213中，下一节点依据关键点的三维位置姿态数据执行视频信息中的实体分割以及虚拟目标合成；在步骤s214中，下一节点通过推流模型将最终生成的视频信息传输到观看端，完成直播场景中的增强现实效果。
46.在本发明实施例的技术方案中，服务器在接收到摄像设备采集的第一视频信息之后，从中计算摄像设备的位置姿态数据进而确定基准面的位置姿态数据，接着生成预设形状的虚拟容器在用户端的视频采集界面显示，以使用户操作虚拟容器将虚拟容器匹配增强现实关联目标。匹配完成之后，服务器利用基准面的位置姿态数据计算摄像设备朝向虚拟
容器的角度数据，根据这一角度数据实时调整虚拟容器组成部分的颜色或透明度，从而引导用户对虚拟容器执行全景视频采集以获得第二视频信息。最后，服务器从第二视频信息中提取关键帧，将关键帧中虚拟容器的预设节点确定为关键点。基于虚拟容器匹配增强现实关联目标的以上关键点提取方案效率高、精度高，适于网上直播等应用场景。关键点提取完成之后，后续环节可以根据提取到的关键点定位增强现实关联目标进而与虚拟目标合成，最后以推流方式将视频信息传输到用户终端。
47.需要说明的是，本发明的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
48.对于前述的各方法实施例，为了便于描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤事实上可以采用其它顺序进行或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须的。
49.为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
50.请参阅图3所示，本发明实施例提供的关键点提取装置可以包括：基准面定位单元301、关联目标匹配单元302、全景采集单元303和关键点确定单元304。
51.其中，基准面定位单元301可用于接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；关联目标匹配单元302可用于生成预设形状的虚拟容器在所述用户端的视频采集界面显示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；全景采集单元303可用于：响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；关键点确定单元304可用于从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为所述增强现实关联目标的关键点。
52.在本发明实施例中，所述虚拟容器包括多个预设组成部分；以及，所述全景采集单元303可进一步用于：根据所述角度数据调整对应于所述角度数据的所述虚拟容器的组成部分的外观数据以实现所述引导；所述关键点确定单元304可进一步用于：将第二视频信息中图像中心点与所述虚拟容器中心点重合的图像帧确定为目标帧，将邻近所述目标帧的预设数量的图像帧确定为所述关键帧。
53.作为一个优选方案，所述基准面定位单元301可进一步用于：从第一视频信息中提取预置的、用于指示所述基准面的标定对象的位置姿态数据；基于所述摄像设备的位置姿态数据、所述标定对象的位置姿态数据以及预置的标定函数获得所述基准面的位置姿态数据。
54.较佳地，所述全景采集单元303可进一步用于：在所述匹配完成之后，根据所述基准面的位置姿态数据计算所述虚拟容器的位置姿态数据，基于计算出的所述虚拟容器的位
置姿态数据对所述虚拟容器进行位置锁定。
55.此外，在本发明实施例中，所述虚拟容器的预设节点包括所述虚拟容器的中心点和边缘点，所述虚拟容器匹配所述当前空间的增强现实关联目标包括：所述虚拟容器以最小的缩放比例容纳所述增强现实关联目标，所述外观数据包括颜色数据和/或透明度数据；所述全景采集单元303可进一步用于：在所述位置锁定完成之后，基于所述虚拟容器的位置姿态数据以执行针对所述虚拟容器的聚焦。
56.根据本发明实施例的技术方案，服务器在接收到摄像设备采集的第一视频信息之后，从中计算摄像设备的位置姿态数据进而确定基准面的位置姿态数据，接着生成预设形状的虚拟容器在用户端的视频采集界面显示，以使用户操作虚拟容器将虚拟容器匹配增强现实关联目标。匹配完成之后，服务器利用基准面的位置姿态数据计算摄像设备朝向虚拟容器的角度数据，根据这一角度数据实时调整虚拟容器组成部分的颜色或透明度，从而引导用户对虚拟容器执行全景视频采集以获得第二视频信息。最后，服务器从第二视频信息中提取关键帧，将关键帧中虚拟容器的预设节点确定为关键点。基于虚拟容器匹配增强现实关联目标的以上关键点提取方案效率高、精度高，适于网上直播等应用场景。关键点提取完成之后，后续环节可以根据提取到的关键点定位增强现实关联目标进而与虚拟目标合成，最后以推流方式将视频信息传输到用户终端。
57.图4示出了可以应用本发明实施例的关键点提取方法或关键点提取装置的示例性系统架构400。
58.如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。
59.用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如直播应用(仅为示例)。
60.终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。在直播场景，终端设备401、402、403可以是主播终端，也可以是观看终端。
61.服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所操作的直播应用提供支持的直播服务器(仅为示例)。直播服务器可以对接收到的增强现实处理请求等进行处理，并将处理结果(例如由增强现实关联目标和虚拟目标合成的视频信息
‑‑
仅为示例)反馈给终端设备401、402、403。
62.需要说明的是，本发明实施例所提供的关键点提取方法一般由服务器405执行，相应地，关键点提取装置一般设置于服务器405中。
63.应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
64.本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的关键点提取方法。
65.下面参考图5，其示出了适于用来实现本发明实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
66.如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有计算机系统500操作所需的各种程序和数据。cpu501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
67.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便从其上读出的计算机程序根据需要被安装入存储部分508。
68.特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元501执行时，执行本发明的系统中限定的上述功能。
69.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
70.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所
标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
71.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括基准面定位单元、关联目标匹配单元、全景采集单元和关键点确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，基准面定位单元还可以被描述为“向全景采集单元提供基准面的位置姿态数据的单元”。
72.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；生成预设形状的虚拟容器在所述用户端的视频采集界面显示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为用于定位所述增强现实关联目标的关键点。
73.在本发明实施例的技术方案中，服务器在接收到摄像设备采集的第一视频信息之后，从中计算摄像设备的位置姿态数据进而确定基准面的位置姿态数据，接着生成预设形状的虚拟容器在用户端的视频采集界面显示，以使用户操作虚拟容器将虚拟容器匹配增强现实关联目标。匹配完成之后，服务器利用基准面的位置姿态数据计算摄像设备朝向虚拟容器的角度数据，根据这一角度数据实时调整虚拟容器组成部分的颜色或透明度，从而引导用户对虚拟容器执行全景视频采集以获得第二视频信息。最后，服务器从第二视频信息中提取关键帧，将关键帧中虚拟容器的预设节点确定为关键点。基于虚拟容器匹配增强现实关联目标的以上关键点提取方案效率高、精度高，适于网上直播等应用场景。关键点提取完成之后，后续环节可以根据提取到的关键点定位增强现实关联目标进而与虚拟目标合成，最后以推流方式将视频信息传输到用户终端。
74.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种关键点提取方法，其特征在于，包括：接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；生成预设形状的虚拟容器在所述用户端的视频采集界面显示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为用于定位所述增强现实关联目标的关键点。2.根据权利要求1所述的方法，其特征在于，所述依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据，包括：从第一视频信息中提取预置的、用于指示所述基准面的标定对象的位置姿态数据；基于所述摄像设备的位置姿态数据、所述标定对象的位置姿态数据以及预置的标定函数获得所述基准面的位置姿态数据。3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：在所述匹配完成之后，根据所述基准面的位置姿态数据计算所述虚拟容器的位置姿态数据，基于计算出的所述虚拟容器的位置姿态数据对所述虚拟容器进行位置锁定。4.根据权利要求1所述的方法，其特征在于，所述虚拟容器包括多个预设组成部分；以及，所述利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息，包括：根据所述角度数据调整对应于所述角度数据的所述虚拟容器的组成部分的外观数据以实现所述引导。5.根据权利要求1所述的方法，其特征在于，所述从第二视频信息中提取关键帧，包括：将第二视频信息中图像中心点与所述虚拟容器中心点重合的图像帧确定为目标帧，将邻近所述目标帧的预设数量的图像帧确定为所述关键帧。6.根据权利要求3所述的方法，其特征在于，所述虚拟容器的预设节点包括所述虚拟容器的中心点和边缘点，所述虚拟容器匹配所述当前空间的增强现实关联目标包括：所述虚拟容器以最小的缩放比例容纳所述增强现实关联目标，所述外观数据包括颜色数据和/或透明度数据；所述方法进一步包括：在所述位置锁定完成之后，基于所述虚拟容器的位置姿态数据以执行针对所述虚拟容器的聚焦。7.一种关键点提取装置，其特征在于，包括：基准面定位单元，用于接收用户端的摄像设备采集的针对当前空间的第一视频信息，从第一视频信息中获取所述摄像设备的位置姿态数据，依据所述摄像设备的位置姿态数据确定所述当前空间中基准面的位置姿态数据；关联目标匹配单元，用于生成预设形状的虚拟容器在所述用户端的视频采集界面显
示，以使用户在所述视频采集界面通过移动和/或缩放所述虚拟容器使所述虚拟容器匹配所述当前空间的增强现实关联目标；全景采集单元，用于：响应于所述匹配完成，根据所述基准面的位置姿态数据确定所述摄像设备朝向所述虚拟容器的角度数据，利用所述角度数据引导所述摄像设备对所述虚拟容器执行全景采集以获得第二视频信息；关键点确定单元，用于从第二视频信息中提取关键帧，将所述关键帧中所述虚拟容器的预设节点确定为所述增强现实关联目标的关键点。8.根据权利要求7所述的装置，其特征在于，所述虚拟容器包括多个预设组成部分；以及，所述全景采集单元进一步用于：根据所述角度数据调整对应于所述角度数据的所述虚拟容器的组成部分的外观数据以实现所述引导；所述关键点确定单元进一步用于：将第二视频信息中图像中心点与所述虚拟容器中心点重合的图像帧确定为目标帧，将邻近所述目标帧的预设数量的图像帧确定为所述关键帧。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

技术总结
本发明公开了一种关键点提取方法和装置，涉及增强现实技术领域。该方法的一具体实施方式包括：接收用户端的摄像设备采集的第一视频信息，从第一视频信息中获取摄像设备的位置姿态数据进而确定基准面的位置姿态数据；生成虚拟容器在用户端的视频采集界面显示，以使用户在视频采集界面通过移动和/或缩放虚拟容器使虚拟容器匹配增强现实关联目标；响应于匹配完成，根据基准面的位置姿态数据确定摄像设备朝向虚拟容器的角度数据，利用角度数据引导摄像设备对虚拟容器执行全景采集以获得第二视频信息；从第二视频信息中提取关键帧，将关键帧中虚拟容器的节点确定为关键点。该实施方式能够提高用于定位增强现实关联目标的关键点的计算效率和精度。计算效率和精度。计算效率和精度。


技术研发人员：刘维天
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2023.04.19
技术公布日：2023/7/21