一种全景视频中的多目标追踪及其显示方法与流程

1.本发明涉及图像处理技术领域，具体为涉及一种全景视频中的多目标追踪及其显示方法。


背景技术：

2.全景视频是通过全景相机设备进行拍摄、且包含360度全方位画面内容的动态视频，全景相机设备通常包含一颗至多颗鱼眼摄像头，通过将各鱼眼摄像头拍摄的多角度静态图片进行全景拼接，形成360度的全景画面，再进而将静态的全景图片转化为动态的视频图像，使得用户能够以任意角度观看在全景相机设备上拍摄的动态视频。
3.目前全景相机在浏览全景视频时，无法自动跟踪多个目标，并进行有效的画面呈现供用户观看浏览，使得用户在观看全景视频时，需要手动的切换不同视角去观看多个目标的景象，导致用户在观看全景视频时的体验较差。
4.或在基于全景相机设备而进行的网络全景直播时，比如举行全景直播会议、全景直播赛事等，全景相机设备无法自动识别并跟踪多个目标，比如人物，用户作为直播观看者，无法同时观看到多个人物的实时画面内容，导致用户在观看全景直播时的体验较差。


技术实现要素：

5.本发明实施例提供了一种全景视频中的多目标追踪及其显示方法，要解决的技术问题为，针对现有技术的缺陷，目前全景相机在浏览全景视频时，或在发起直播时，无法自动跟踪多个人物目标，并进行有效的画面呈现供用户观看浏览，使得用户在观看全景视频时，需要手动的切换不同视角去观看多个人物目标的景象，导致用户在观看观景视频或观看全景直播时的体验较差。
6.为解决上述技术问题，本发明采用的一个技术方案是：提供一种全景视频中的多目标追踪及其显示方法，所述多目标追踪及其显示方法包括下述步骤：
7.s101、获取全景设备的全景视频数据，得到全景画面；
8.s102、对所述全景画面中的目标进行检测识别，根据检测识别结果确定出n个目标，以及获得n个目标包围区域；
9.s103、以所述目标包围区域为中心，绘制目标渲染画面，获得n个目标渲染画面；
10.s104、将所述n个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。
11.在一具体实施方式中，所述检测识别结果包括：所述全景画面中的所有目标，对应地，所述根据检测识别结果确定出n个目标包括：
12.计算各个所述目标在所述全景画面中所占的面积；
13.根据所述面积对所有所述目标进行排序；
14.根据排序结果确定出n个目标。
15.在一具体实施方式中，还包括，所述根据排序结果确定出n个目标包括：根据所述
排序结果，按面积从大到小的顺序选择n个目标，所述n为整数，且n大于1。
16.在一具体实施方式中，所述检测识别结果包括：所述全景画面中的所有目标，对应地，所述根据检测识别结果确定出n个目标包括：
17.生成所有所述目标的缩略视图；
18.接收用户根据所述目标的缩略视图选择的n个目标指令；
19.根据所述n个目标指令确定出n个目标。
20.在一具体实施方式中，所述步骤s104具体为，当所述n为2时，所述设定排列方式为呈上下对称或左右对称，平均分布于所述全景设备的显示屏幕中。
21.在一具体实施方式中，所述步骤s104具体为，当所述n为3时，所述设定排列方式为，在所述全景画面中所占面积最大的所述目标与另外两个所述目标呈左右对称或上下对称分布，所述另外两个所述目标之间呈左右对称或上下对称分布。
22.在一具体实施方式中，所述步骤s104具体为，当所述n为4时，所述设定排列方式为，4个所述目标呈上下左右对称分布于所述全景设备的显示屏幕中。
23.在一具体实施方式中，所述步骤s104还包括，将按设定排列方式组合拼接的渲染画面编码成视频数据，并将所述视频数据实时传输至流媒体服务器。
24.在一具体实施方式中，还包括一种计算机设备，包括：
25.一个或多个处理器；
26.存储器；
27.以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现上述全景视频中的多目标追踪及其显示方法所述的步骤。
28.在一具体实施方式中，还包括一种全景相机，包括：
29.一个或多个处理器；
30.存储器；
31.以及，一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现上述全景视频中的多目标追踪及其显示方法所述的步骤。
32.本发明的有益效果是：区别于现有技术的情况，本发明实施方式提供的一种全景视频中的多目标追踪及其显示方法，所述全景视频中的多目标追踪及其显示方法包括下述步骤：
33.s101、获取全景设备的全景视频数据，得到全景画面；
34.s102、对所述全景画面中的目标进行检测识别，根据检测识别结果确定出n个目标，以及获得n个目标包围区域；
35.s103、以所述目标包围区域为中心，绘制目标渲染画面，获得n个目标渲染画面；
36.s104、将所述n个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。
37.从以上技术方案可以看出，本发明实施例具有以下优点：
38.通过上述全景视频中的多目标追踪及其显示方法，将全景视频展开为全景画面，并对全景画面中的n个目标进行识别追踪，并得到n个目标包围区域，以每个目标包围区域为中心绘制得到n个目标渲染画面，对上述n个目标渲染画面进行组合拼接，按设定的排列方式排布显示于显示屏幕中，使得用户可自动同时观看多个目标的画面，无需手动调整全景画面视角，及切换不同目标的画面视角。
附图说明
39.为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例一提供的全景视频中的多目标追踪及其显示方法的实现流程示意图；
41.图2是本发明实施例一提供的当n为2时的设定排列方式示意图；
42.图3是本发明实施例一提供的当n为3时的设定排列方式示意图；
43.图4是本发明实施例一提供的当n为4时的设定排列方式示意图；
44.图5是本发明实施例二提供的计算机设备的结构示意图；
45.图6是本发明实施例三提供的全景相机的具体结构框图图。
46.附图标记：
47.10、显示屏幕；20、计算机设备；30、全景相机。
具体实施方式
48.下面结合附图和实施方式，对本技术作进一步的详细描述。特别指出的是，以下实施方式仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施方式仅为本技术的部分实施方式而非全部实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本技术保护的范围。
49.本技术中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。方式如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.上述术语仅是为了便于描述，不能理解为对本技术方案的限制。
51.在本文中提及“实施方式”意味着，结合实施方式描述的特定特征、结构或特性可以包含在本技术的至少一个实施方式中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方式，也不是与其它实施方式互斥的独立的或备选的实施方式。本领域技术人员显式地和隐式地理解的是，本文所描述的实施方式可以与其它实施方式相结合。
52.以下结合具体实施例对本发明的具体实现进行详细描述：
53.实施例一：
54.图1示出了本发明实施例一提供的全景视频中的多目标追踪及其显示方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
55.在步骤s101中，获取全景设备的全景视频数据，得到全景画面；
56.在本发明实施例中，适用于全景视频处理系统或平台，通过获取全景视频，并对所述全景视频进行处理。
57.具体地，在获取全景视频数据时，通常采用全景相机或多组摄像机对周围景象进行360度的全景拍摄，并在内部进行全景拼接，得到全景视频数据，进而得到全景画面。
58.在步骤s102中，对所述全景画面中的目标进行检测识别，根据检测识别结果确定出n个目标，以及获得n个目标包围区域；
59.在本发明实施例中，通过al算法对在步骤s101中得到的全景画面进行检测识别追踪目标，所采用的算法包括但不限于以下至少一种：深度学习中的ssd算法(single shot multibox detector)、r-cnn系列算法(region-convolutional neural networks)和yolo系列算法(you only look once)等，所识别的目标可以是动态物体，如人物、动物、车辆等，也可以是静态物体，如树木、花草、建筑等。在本发明实施例中，优选为对人物进行选定作为检测识别追踪的目标，用户也可自行在全景相机屏幕中进行选定一物体作为后续检测识别的目标。通过对全景画面进行检测识别追踪目标，获得检测识别出的目标人物画面，并进行计算获得所述目标的包围区域，当选定目标为人物时，获得人物包围矩形，所述人物包围矩形为以目标人物为中心，包含目标人物所有细节特征，通过检测计算得出一矩形区域画面。
60.进一步地，所述检测识别的目标包括n个，n个的具体数量取决于全景设备自身的系统、cpu、内存等限制，通常为2-8个，数量越多，则对全景设备的系统、cpu、内存要求越高。
61.进一步地，n的取值可以为系统内定，也可以人为选取系统设定范围内的一个值，比如系统设定n的上限为8，则如果用户不指定n的取值，则系统默认选取n为8，如果用户指定n值，则可指定小于或者等于8的任意值。
62.进一步地，所述检测识别结果包括：所述全景画面中的所有目标，对应地，所述根据检测识别结果确定出n个目标包括：计算各个所述目标在所述全景画面中所占的面积；根据所述面积对所有所述目标进行排序；根据排序结果确定出n个目标。
63.进一步地，其中一种实施方式为，当n值为系统默认取值时，根据上述对所述目标进行的排序，按面积从大到小的顺序选择n个目标，所述n个目标即为系统需要跟踪检测的目标对象，并根据所述n个目标对象，生成n个目标包围区域，当所述目标为人物时，生成n个人物包围矩形。
64.其中另一种实施方式为，当n值为用户指定时，所述检测所述全景画面中的所有目标包括：生成所有所述目标的缩略视图，接收用户根据所述目标的缩略视图选择的n个目标指令，所述n个目标即为系统需要跟踪检测的目标对象，并根据所述n个目标对象，生成n个目标包围区域，当所述目标为人物时，生成n个人物包围矩形。
65.在步骤s103中，以所述目标包围区域为中心，绘制目标渲染画面，获得n个目标渲染画面。
66.在本发明实施例中，所述目标渲染画面为包含目标包围区域的，实际供用户观看的画面内容。所述步骤s103具体包括，根据所述目标包围区域，计算得出所述目标包围区域中心在全景球中的位置信息，作为示例而非限定的是，当检测目标为人物时，所述目标包围区域为人物包围矩形，通过al计算，得出所述人物包围矩形中心在全景球中的位置信息，设定所述人物包围矩形中心为点0，所述人物包围矩形中心点0在全景球中的位置信息为位置
点a。
67.根据所述人物包围矩形中心的位置信息，绘制一目标渲染画面，使得所述人物包围矩形位于所述渲染画面的中心位置，具体地，根据所述人物包围矩形中心点0在全景球中的位置信息为位置点a，以所述位置点a为中心，计算绘制出一矩形目标渲染画面，并通过al追踪检测，使得所述人物包围矩形中心点0在全景球中的位置信息的位置点a始终位于所述目标渲染画面的中心处，方便用户始终可看到所述人物目标始终处于画面的最中间位置，而无需手动调整所述人物目标的直播画面视角。
68.进一步地，还包括调整所述目标渲染画面的视场角，使得所述目标包围区域占据所述渲染画面的设定比例。具体地，所述目标渲染画面的视场角为所述目标包围区域在所述目标渲染画面中的视场角，当检测目标为人物时，所述目标包围区域为人物包围矩形，在使用全景相机设备进行全景拍摄或者直播时，目标人物可能随时发生运动，或所述全景相机在随着目标人物运动而进行一定的运动，所述目标人物与所述全景相机时刻发生相对位移，这就导致所述人物包围矩形在所述渲染画面的视场角时刻在发生变化，虽然所述人物包围矩形始终位于所述渲染画面的中心，但所述人物包围矩形在所述目标渲染画面中的大小确可能始终在变化，因此需要实时调整所述目标渲染画面的视场角，并使得所述人物包围矩形能占据所述目标渲染画面的设定比例。
69.进一步地，所述调整所述目标渲染画面的视场角具体包括：
70.检测所述目标包围区域面积在所述全景球中的比例，通过所述比例关系，可得出相应大小的目标包围区域实际在目标渲染画面中映射的面积大小。
71.计算所述目标包围区域面积映射在所述目标渲染画面的实际比例；
72.若所述实际比例低于所述设定比例，则放大所述目标包围区域映射在所述目标渲染画面的面积；
73.若所述实际比例高于所述设定比例，则缩小所述目标包围区域映射在所述目标渲染画面的面积。
74.进一步地，所述设定比例为30-70％。
75.进一步地，所述设定比例为50％。
76.所述设定比例用户可根据个人视角喜好进行调整，以符合用户观看直播时的视角体验。当所述设定比例为50％时，所述人物包围矩形将始终占据所述人物渲染画面的一半面积，此时用户观看全景直播的视角最佳，用户体验最好。
77.在步骤s104中，将所述n个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。
78.在本发明实施例中，所述设定排列方式包括，当n为2时，所述设定排列方式为呈上下对称或左右对称，平均分布于所述全景设备的显示屏幕中，如附图2所示，此时全景设备或终端设备的显示屏幕中，两个目标渲染画面(包括目标1渲染画面和目标2渲染画面)呈上下对称排列，最大限度的方便用户同时观看两个目标的视频情况，作为一替代实施方式，所述两个目标渲染画面也可呈左右对称的方式排列在全景设备或终端设备的显示屏幕中(附图略)。
79.进一步地，当所述n为3时，所述设定排列方式为，在所述全景画面中所占面积最大的所述目标与另外两个所述目标呈左右对称或上下对称分布，所述另外两个所述目标之间
呈左右对称或上下对称分布，如附图3所示。作为一替代实施方式，所述3个目标渲染画面(包括目标1渲染画面、目标2渲染画面以及目标3渲染画面)也可按均分的排列形式显示(附图略)，或呈上下均分，或呈左右均分，或以其它本领域技术人员无需付出创造性劳动即可想象到的三等均分形式进行的排列组合，都在本发明的权利要求保护范围内。
80.进一步地，当所述n为4时，所述设定排列方式为，所述设定排列方式为，4个所述目标呈上下左右对称分布于所述全景设备的显示屏幕中，如附图4所示。作为一替代实施方式，所示4个目标渲染画面(包括目标1渲染画面、目标2渲染画面、目标3渲染画面以及目标4渲染画面)也可呈上下方向四等均分的排列形式排布，或者，呈左右方向四等均分的排列形式排布，或以其它本领域技术人员无需付出创造性劳动即可想象到的四等均分形式进行的排列组合，都在本发明的权利要求保护范围内。
81.进一步地，所述步骤s104还包括，将按设定排列方式组合拼接的渲染画面编码成视频数据，并将所述视频数据实时传输至流媒体服务器。
82.具体地，将按设定排列方式组合拼接的渲染画面，进行编码成视频数据，并将所述视频数据实时地传输至流媒体服务器，方便用户在终端设备上观看现场的全景直播。
83.实施例二：
84.图5示出了本发明实施例三提供的计算机设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
85.本发明实施例的计算机设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序23。所述处理器21执行所述计算机程序23时实现上述实施例一中的步骤，如图1所示的步骤s101至s104。
86.实施例三：
87.在本发明实施例中，提供了一种全景相机30，如图6所示，所述全景相机30包括一个或多个处理器31，及存储器32，所述存储器32存储有计算机程序33，所述计算机程序33被处理器31执行时实现上述实施例一中的步骤，例如，图1所示的步骤s101至s104。
88.区别于现有技术的情况，本发明实施方式提供的一种全景视频中的多目标追踪及其显示方法，所述全景视频中的多目标追踪及其显示方法包括下述步骤：
89.s101、获取全景设备的全景视频数据，得到全景画面；
90.s102、对所述全景画面中的目标进行检测识别，根据检测识别结果确定出n个目标，以及获得n个目标包围区域；
91.s103、以所述目标包围区域为中心，绘制目标渲染画面，获得n个目标渲染画面；
92.s104、将所述n个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。
93.从以上技术方案可以看出，本发明实施例具有以下优点：
94.通过上述全景视频中的多目标追踪及其显示方法，将全景视频展开为全景画面，并对全景画面中的n个目标进行识别追踪，并得到n个目标包围区域，以每个目标包围区域为中心绘制得到n个目标渲染画面，对上述n个目标渲染画面进行组合拼接，按设定的排列方式排布显示于显示屏幕中，使得用户可自动同时观看多个目标的画面，无需手动调整全景画面视角，及切换不同目标的画面视角。
95.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，
装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
96.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
97.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
98.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
99.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
100.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种全景视频中的多目标追踪及其显示方法，其特征在于，所述多目标追踪及其显示方法包括下述步骤：s101、获取全景设备的全景视频数据，得到全景画面；s102、对所述全景画面中的目标进行检测识别，根据检测识别结果确定出n个目标，以及获得n个目标包围区域；s103、以所述目标包围区域为中心，绘制目标渲染画面，获得n个目标渲染画面；s104、将所述n个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。2.根据权利要求1所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，所述检测识别结果包括：所述全景画面中的所有目标，对应地，所述根据检测识别结果确定出n个目标包括：计算各个所述目标在所述全景画面中所占的面积；根据所述面积对所有所述目标进行排序；根据排序结果确定出n个目标。3.根据权利要求2所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，所述根据排序结果确定出n个目标包括：根据所述排序结果，按面积从大到小的顺序选择n个目标，所述n为整数，且n大于1。4.根据权利要求2所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，所述检测识别结果包括：所述全景画面中的所有目标，对应地，所述根据检测识别结果确定出n个目标包括：生成所有所述目标的缩略视图；接收用户根据所述目标的缩略视图选择的n个目标指令；根据所述n个目标指令确定出n个目标。5.根据权利要求1至4任一项所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，当所述n为2时，所述设定排列方式为呈上下对称或左右对称，平均分布于所述全景设备的显示屏幕中。6.根据权利要求1至4任一项所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，当所述n为3时，所述设定排列方式为，在所述全景画面中所占面积最大的所述目标与另外两个所述目标呈左右对称或上下对称分布，所述另外两个所述目标之间呈左右对称或上下对称分布。7.根据权利要求1至4任一项所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，当所述n为4时，所述设定排列方式为，4个所述目标呈上下左右对称分布于所述全景设备的显示屏幕中。8.根据权利要求1至4任一项所述的一种全景视频中的多目标追踪及其显示方法，其特征在于，所述步骤s104还包括，将按设定排列方式组合拼接的渲染画面编码成视频数据，并将所述视频数据实时传输至流媒体服务器。9.一种计算机设备，其特征在于，包括：一个或多个处理器；存储器；
以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的全景视频中的多目标追踪及其显示方法的步骤。10.一种全景相机，其特征在于，包括：一个或多个处理器；存储器；以及，一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的全景视频中的多目标追踪及其显示方法的步骤。

技术总结
本发明提供了一种全景视频中的多目标追踪及其显示方法，所述多目标追踪及其显示方法包括：获取全景设备的全景视频数据，得到全景画面；对所述全景画面中的目标进行检测识别，根据检测识别结果确定出N个目标，以及获得N个目标包围区域；以所述目标包围区域为中心，绘制目标渲染画面，获得N个目标渲染画面；将所述N个目标渲染画面进行组合拼接，按设定排列方式显示于所述全景设备的显示屏幕中。本申请能够使得全景设备自动跟踪多个目标并在显示屏幕中同时显示多个目标画面。幕中同时显示多个目标画面。幕中同时显示多个目标画面。


技术研发人员：林树森
受保护的技术使用者：圆周率科技（常州）有限公司
技术研发日：2023.03.23
技术公布日：2023/8/1