一种视频视角切换方法、装置、设备及介质与流程

未命名 10-09 阅读:131 评论:0


1.本技术涉及电子信息技术领域,尤其涉及一种视频视角切换方法、装置、设备及介质。


背景技术:

2.为了增强自身的身体素质,越来越多的用户选择跟随健身视频进行健身。由于一些健身动作比较复杂,如果在健身视频中将教练的最佳教学视角呈现给用户,将会提高用户的学习效率。
3.目前,为了将教练的最佳教学视角呈现给用户,一般是相关工作人员根据所拍摄的健身视频中的健身动作,预先设计拍摄角度,在拍摄健身视频时按照已设计的拍摄角度进行拍摄。但是,由于健身动作变化较多,每变换一种健身动作都要重新设计拍摄角度,使健身视频的拍摄效率较低。
4.因此,如何将最佳教学视角呈献给用户成为亟待解决的技术问题。


技术实现要素:

5.本技术实施例提供一种视频视角切换方法、装置、设备及介质,用以解决现有技术中为了将最佳教学视角呈献给用户,按照人工设计的拍摄角度对健身视频进行拍摄效率较低的问题。
6.第一方面,本技术提供了一种视频视角调整方法,所述方法包括:
7.获取目标健身视频,所述目标健身视频为自由视角视频;
8.按照预设时间间隔获取所述目标健身视频中的目标图像帧;基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
9.第二方面,本技术提供了一种视频视角调整装置,所述装置包括:
10.获取模块,用于获取目标健身视频,所述目标健身视频为自由视角视频;按照预设时间间隔获取所述目标健身视频中的目标图像帧;
11.确定模块,用于基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;
12.调整模块,用于将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
13.第三方面,本技术还提供了一种电子设备,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述的视频视角调整方法的步骤。
14.第四方面,本技术还提供了一种计算机可读存储介质,其存储有计算机程序,所述
计算机程序被处理器执行时实现上述任一所述的视频视角调整方法的步骤。
15.由于在本技术实施例中,获取的目标健身视频为自由视角视频,基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息,并根据确定的位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组,将目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对该目标关键点组保存的目标角度进行调整,通过对人体关键点的分析,对目标健身视频的角度进行调整,实现了即使不针对每一种健身动作重新设计拍摄角度,也能将最佳教学视角自动呈献给用户。
附图说明
16.为了更清楚地说明本技术的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1为本技术实施例提供的一种视频视角调整过程示意图;
18.图2为本技术实施例提供的人体骨骼关键点示意图;
19.图3为本技术实施例提供的视角角度示意图;
20.图4为本技术实施例提供的预设初始距离确定过程示意图;
21.图5为本技术实施例提供的目标图像帧确定过程示意图;
22.图6为本技术实施例提供的视频视角调整过程示意图;
23.图7为本技术实施例提供的视频视角调整装置的结构示意图;
24.图8为本技术实施例提供的一种电子设备结构示意图。
具体实施方式
25.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图,对本技术的实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本技术保护的范围。
26.本技术实施例提供了一种视频视角切换方法、装置、设备及介质,该方法中获取目标健身视频,该目标健身视频为自由视角视频,按照预设时间间隔获取目标健身视频中的目标图像帧,基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息,根据确定的位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组,将该目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对目标关键点组保存的目标角度进行调整。
27.图1为本技术实施例提供的一种视频视角调整过程示意图,该过程包括以下步骤:
28.s101:获取目标健身视频,所述目标健身视频为自由视角视频。
29.本技术实施例提供的视频视角调整方法应用于电子设备,该电子设备可以是服务器、pc、移动终端以及智能健身终端,如智能健身镜等设备。
30.在进行视频视角调整时,在本技术实施例,可以获取即将进行视角调整的健身视频,为了方便描述,可以将该即将进行视角调整的健身视频称为目标健身视频。该目标健身视频可以是用户在所持有的电子设备上所选择的,该目标健身视频可以是任意类型的健身
视频,比如,太极类型的健身视频、瑜伽类型的健身视频等。
31.为了能够对目标健身视频中的图像帧的视角进行调整,在本技术实施例中,获取的目标健身视频为自由视角视频。自由视角视频是基于自由视角视频技术制作而成的,自由视角视频技术是一种在场地外围部署相机,由部署在外围的相机拍摄场地内景的视频制作技术,自由视角视频与普通的全景视频概念不同的是,当前提出的全景视频多是以虚拟现实技术(virtual reality,vr)相机进行拍摄的视频,该全景视频的特点是以vr相机为中心对周围360
°
的场景进行拍摄,从而得到关于周围360
°
的图像,制作得到的视频即为全景视频。而自由视角视频所拍摄的视频是一个可以对所拍摄的目标物进行360
°
全景展示的视频,支持观看目标物的任意角度的视频信息。也就是说,在本技术实施例中,该目标健身视频可以支持交互式选择视角观看,即用户可以自由选择观看角度学习健身动作,在本技术实施例中,电子设备也可以通过对目标健身视频中的人体关键点的分析,自动调整目标健身视频中图像帧的视角,以便于用户掌握健身动作。
32.s102:按照预设时间间隔获取所述目标健身视频中的目标图像帧;基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息。
33.获取到目标健身视频之后,按照预设时间间隔获取目标健身视频中的目标图像帧,其中预设时间间隔小于目标健身视频的时长,例如10秒,预设时间间间隔可以是一个也可以是多个不相等的时间间隔,也就是说,可以按照相等的时间间隔获取目标图像帧,例如,每相隔10秒获取一个目标图像帧;也可以按照不相等的时间间隔获取目标图像帧,例如,对于获取的前5个目标图像帧每相隔10秒获取一次,对于前5个目标图像帧之后的每个目标图像帧,每相隔20秒获取一次。需要说明的是,本领域的技术人员可以根据希望的视角调整周期,对该预设时间间隔进行设置,在本技术实施例中不作限制。
34.获取到目标图像帧之后,基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息,其中预设人体关键点的位置信息可以是每个预设人体关键点在二维坐标系或者三维坐标系中的坐标。具体的,以二维坐标系下的坐标为例,在基于人体关键点检测算法,对目标图像帧中的预设人体关键点进行检测之后,会得到预设人体关键点的位置信息,该位置信息可以是一个位置矩阵[[x1,y1],[x2,y2],[

],[xn,yn]],其中,n为预设关键点的数量,每个预设关键点对应其中的一个[x,y]。
[0035]
在本技术实施例中,预设人体关键点可以是人体骨骼关键点,图2为本技术实施例提供的人体骨骼关键点示意图,如图2所示,人体骨骼关键点可以包括头顶、颈部、双肩、双肘、双腕、双胯、双膝、双踝等。具体的,人体关键点检测算法可以是人体骨骼关键点检测算法,在本技术实施例中,可以基于该人体骨骼关键点检测算法,确定预设的人体骨骼关键点的位置信息。
[0036]
如何基于人体关键点检测算法确定预设人体关键点的位置信息,相关技术中已经进行了详细的描述,在本技术实施例中不再赘述。
[0037]
s103:根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组。
[0038]
确定了目标图像帧中预设人体关键点的位置信息之后,可以根据所确定的位置信息,以及关键点组的预设初始距离,确定位置变化最大的目标关键点组。其中,关键点组是工作人员预先配置的,在本技术实施例中,关键点组可以包括:右手腕与右手肘、右手肘与
右肩、左手腕与左手肘、左手肘与左肩、左胯与左膝、左膝与左踝、右胯与右膝、右膝与右踝等。每个关键点组的预设初始距离可以是工作人员通过对人体关键点的分析,预先在电子设备中进行保存的。需要说明的是,关键点组不仅局限于上述所示的各关键点组,本领域的技术人员可以根据需要进行设定,在本技术实施例中不作限制。
[0039]
在确定位置变化最大的目标关键点组时,可以根据确定的该目标图像帧中预设人体关键点的位置信息,确定每个关键点组对应的距离。将确定的距离与预设初始距离进行对比,将距离变化最大的关键点组确定为目标关键点组。
[0040]
为了准确的确定目标关键点组,在本技术实施例中,所述根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组包括:
[0041]
根据关键点组包含的目标关键点及所述位置信息,确定关键点组的距离;
[0042]
根据所述关键点组的距离和所述预设初始距离,确定差值最大的关键点组为目标关键点组。
[0043]
确定了该目标图像帧中预设人体关键点的位置信息之后,获取关键点组中包含的目标关键点,例如,针对右手肘与右肩这一关键点组,该关键点组包含的目标关键点分别为右手肘、右肩。根据关键点组包含的目标关键点以及目标关键点所对应的位置信息,确定关键点组的距离。
[0044]
具体的,在本技术实施例中,可以基于欧式距离计算公式确定关键点组的距离。以所确定的人体关键点的位置信息为二维坐标系下的坐标信息为例,那么欧式距离计算公式则为:
[0045][0046]
其中,d为关键点组的距离,x1和y1分别表示关键点组包含的其中一个目标关键点的位置信息中的横坐标和纵坐标,x2和y2分别表示关键点组包含的另一个目标关键点的位置信息中的横坐标和纵坐标。
[0047]
需要说明的是,在本技术实施例中,确定关键点组的距离时也可以使用曼哈顿距离等其他距离计算方法,本领域的技术人员可以根据需要选择,在本技术实施例中不进行限制。
[0048]
确定了关键点组的距离之后,根据确定的关键点组的距离,以及关键点组的预设初始距离,确定差值最大的关键点组为目标关键点组。具体的,假设某一个关键点组的预设初始距离为d1,确定的该关键点组的距离为d2,那么,该关键点组变化前后的距离为:|d
2-1
|=d
2-d1。
[0049]
s104:将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
[0050]
为了确定如何对目标健身视频的图像帧的视角进行调整,在本技术实施例中,预先保存有每个关键点组与视角角度之间的对应的关系。确定了目标关键点组之后,可以根据预先保存的每个关键点组与视角角度之间的对应的关系,确定目标关键点组所对应的目标角度。将该目标图像帧以及下一目标图像帧之前的图像帧的视角,按照目标角度进行调整。在本技术实施例中,预先保存的每个关键点组与视角角度之间的对应的关系可以是,右膝与右踝这一关键点组对应的视角角度为60
°
,右手肘与右肩这一关键点组对应的视角角
度为120
°

[0051]
在本技术实施例中,每个关键点组所对应的视角角度可以是正角度,也可以是负角度。由于自由视角视频可以为展示健身动作的教练拍摄360
°
教学视角的视频,因此,在本技术实施例中,可以预先规定某一个角度为0
°
视角,例如,教练做出初始动作时所面向的角度为0
°
视角。需要说明的是,如何划分视角角度是工作人员预先确定的,一旦确定不可轻易更改。
[0052]
为了清楚的视角角度进行说明,下面结合图3对视角角度进行说明,图3为本技术实施例提供的视角角度示意图,图3以240
°
视角为例进行说明,在图3中将240
°
视角划分为5个视角角度,当教练面向正前方时为第一视角,第一视角为0
°
。以第一视角为中心,将第一视角左侧(图示中的左右)的视角角度确定为负角度,其中,第一视角左侧(图示中的左右)的视角角度包括第二视角和第四视角,其中,第二视角为-60
°
,第四视角为-120
°
,第一视角右侧(图示中的左右)的视角角度为正角度,其中,第一视角右侧(图示中的左右)的视角角度包括第三视角和第五视角,其中,第三视角为60
°
第五视角为120
°
。预先保存的每个关键点组与视角角度之间的对应关系可以是,右膝与右踝这一关键点组对应的视角角度为第二视角-60
°
,右肩与右肘这一关键点组对应的视角角度为第四视角-120
°

[0053]
需要说明的是,本技术实施例中所确定的目标图像帧中预设人体关键点的位置信息为同一坐标系下的位置信息。在本技术实施例中,可以在目标健身视频中的每个图像帧对应的视角角度均为0
°
时,按照预设时间间隔获取目标图像帧。
[0054]
由于在本技术实施例中,获取的目标健身视频为自由视角视频,基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息,并根据确定的位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组,将目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对该目标关键点组保存的目标角度进行调整,通过对人体关键点的分析,对目标健身视频的角度进行自动调整,实现了即使不针对每一种健身动作重新设计拍摄角度,也能将最佳教学视角自动呈献给用户的目的。
[0055]
为了保证视频视角调整的效果,在上述实施例的基础上,在本技术实施例中,所述获取目标健身视频之后,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之前,所述方法还包括:
[0056]
基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;
[0057]
基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;
[0058]
根据关键点组包含的目标关键点,确定关键点组的预设初始距离。
[0059]
由于每个人的身高和体型是不同的,那么每个人的关键点之间的距离也是不同的,因此,为了保证视频视角调整的效果,在本技术实施例中,还可以根据目标健身视频中包含的人像,确定关键点组的预设初始距离。
[0060]
在获取到目标视频之后,在按照预设时间间隔获取目标健身视频中的目标图像之前,还可以在目标健身视频中确定包含初始动作的一个图像帧,具体的,在本技术实施例中,可以基于图像识别技术,确定目标健身视频中包含初始动作的初始图像帧,其中初始动作可以是目标健身视频中的健身教练目视前方静止站立。健身视频中的教练一般会在视频开始时做出初始动作,以便于用户进行准备,因此,在本技术实施例中,在获取到目标视频
之后,可以从第一帧开始,逐帧获取目标视频中的每个图像帧,并针对获取到的每个图像帧,基于图像识别技术确定该图像帧中是否包含初始动作,若包含,则将该图像帧确定为初始图像帧。
[0061]
确定了初始图像帧之后,同样基于人体关键点检测算法,确定该初始图像帧中预设人体关键点的初始位置信息。并针对保存的每个关键点组包含的目标关键点,确定目标关键点组的预设初始距离。
[0062]
下面结合一个具体的实施例对确定关键点组的预设初始距离的过程进行说明,图4为本技术实施例提供的预设初始距离确定过程示意图,如图4所示,该过程包括以下步骤:
[0063]
s401:在目标健身视频中获取预设时间所对应的图像帧。
[0064]
由于健身视频中一般会包含片头,该片头中一般不包含实质性的教学内容,因此,为了提高视频视角调整的效率,工作人员可以预先在电子设备中保存预设时间,在获取到目标健身视频之后,在按照预设时间间隔获取目标健身视频中的目标图像之前,在目标健身视频中找到预设时间所对应的图像帧。
[0065]
s402:基于图像识别技术,确定该图像帧中是否包含初始动作,若是,则执行s403,若否,则执行s404。
[0066]
s403:将该图像帧确定为初始图像帧,基于人体关键点检测算法,确定该初始图像帧中预设人体关键点的初始位置信息,根据关键点组包含的目标关键点,确定关键点组的预设初始距离。
[0067]
s404:获取与该图像帧相邻的下一图像帧,并继续执行s402。
[0068]
为了进一步保证视频视角调整的效果,在上述各实施例的基础上,在本技术实施例中,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之后,所述基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息之前,所述方法还包括:
[0069]
若所述目标图像帧中包含人像,则继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0070]
由于目标健身视频中可能会存在某些图像帧中不包含人像的情况,如果图像帧中不包含人像,则人体关键点检测算法无法准确的确定预设人体关键点的初始位置信息,因此,在本技术实施例中,在按照预设时间间隔获取到目标健身视频中的目标图像帧之后,在基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息之前,为了保证人体关键点检测算法可以准确的确定预设人体关键点的位置信息,可以确定目标图像帧中是否包含人像,若确定该目标图像帧中包含人像,则可以继续执行后续基于人体关键点检测算法,确定该目标图像帧中预设人体关键点的位置信息的步骤。
[0071]
为了进一步保证视频视角调整的效果,在上述各实施例的基础上,在本技术实施例中,所述方法还包括:
[0072]
若所述目标图像帧中不包含人像,则依次获取所述目标图像帧之后的图像帧,直到所述图像帧中包含人像,则使用包含人像的图像帧对所述目标图像帧进行更新,并继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0073]
若确定该目标图像帧中不包含人像,则可以依次获取该目标图像帧之后的图像
帧,直到获取到的图像帧中包含人像,则使用该包含人像的图像帧对目标图像帧进行更新,也就是说,将该包含人像的图像帧确定为目标图像帧,后续基于该重新确定的目标图像帧,确定预设人体关键点的位置信息。
[0074]
具体的,按照预设时间间隔获取到的目标图像帧分别为目标图像帧1、目标图像帧2以及目标图像帧3,基于图像识别技术可以确定目标图像帧1和目标图像帧3中均包含人像,则可以基于人体关键点检测算法,分别确定目标图像帧1和目标图像帧3中预设人体关键点的位置信息。基于图像识别技术确定目标图像帧2中不包含人像,则获取目标图像帧2之后的一个图像帧,若该图像帧中包含人像,则使用该图像帧对目标图像帧2进行更新,并基于人体关键点检测算法,确定更新后的目标图像帧2中的预设人体关键点的位置信息。
[0075]
下面结合一个具体的实施例,对确定目标图像帧的过程进行说明,图5为本技术实施例提供的目标图像帧确定过程示意图,如图5所示,该过程包括以下步骤:
[0076]
s501:按照预设时间间隔获取所述目标健身视频中的目标图像帧。
[0077]
s502:基于图像识别技术,确定目标图像帧中是否存在人像,若是,则执行s503,若否,则执行s504。
[0078]
s503:基于人体关键点检测算法,确定该目标图像帧中预设人体关键点的位置信息。
[0079]
s504:获取与该目标图像帧相邻的下一图像帧,将该图像帧确定为候选图像帧,基于图像识别技术确定该候选图像帧中是否包含人像,若是,则执行s505;若否,则执行s506。
[0080]
s505:将该候选图像帧确定为目标图像帧,并执行s503。
[0081]
s506:获取与该候选图像帧相邻的下一图像帧,并使用该图像帧对目标图像帧进行更新,并执行s502。
[0082]
为了提高用户的体验感,在上述各实施例的基础上,在本技术实施例中,所述方法还包括:
[0083]
若接收到视角调整指令,获取所述视角调整指令中包含的目标调整角度,以及所述目标调整角度所对应的图像帧位置;
[0084]
将所述目标健身视频中,自所述图像帧位置起所对应的每个图像帧的视角调整至所述目标调整角度。
[0085]
为了提高用户的体验感,在本技术实施例中,用户可以自由选择观看目标健身视频的视角,当用户确定需要对目标健身视频的视角进行调整时,用户可以在电子设备上选择需要调整的角度。
[0086]
具体的,电子设备可以在视角调整页面设置显示多个调整角度,以便于用户进行选择,电子设备也可以在视角调整页面显示角度选择滑轮,用户可以通过该滑轮对目标健身视频的视角进行调整。在用户确定对视角进行调整之后将会向电子设备发送视角调整指令,该视角调整指令中包括用户所设置的目标调整角度,以及用户所期望的进行视角调整的图像帧的图像帧位置。
[0087]
电子设备在接收到视角调整指令之后,获取该视角调整指令中包含的目标调整角度,以及目标调整角度所对应的图像帧位置,将目标健身视频中,子该图像帧位置起所对应的每个图像帧的视角调整至目标调整角度。
[0088]
具体的,假设用户在视角调整页面选择立即将当前图像帧的视角调整至60
°
,用户
可以通过点击“确认”按钮,向电子设备发送视角调整指令,该视角调整指令中包含的目标调整角度为60
°
,目标调整角度所对应的图像帧位置为当前目标健身视频所播放的图像帧的图像帧位置,例如60,那么,电子设备在接收到视角调整指令之后,则可以将目标健身视频中,图像帧位置为60所对应的图像帧的视角调整至60
°
,并将该图像帧之后的每个图像帧的视角均调整至60
°

[0089]
下面结合一个具体的实施例,对视频视角调整过程进行说明,图6为本技术实施例提供的视频视角调整过程示意图,如图6所示,该过程包括以下步骤:
[0090]
s601:获取目标健身视频,该目标健身视频为自由视角视频。
[0091]
s602:按照预设时间间隔获取该目标健身视频中包含人像的目标图像帧,基于人体关键点检测算法,确定该目标图像帧中预设人体骨骼关键点的位置信息。
[0092]
s603:对人体骨骼关键点的复杂度进行分析,确定目标关键点组。
[0093]
根据确定的预设人体骨骼关键点的位置信息,确定每个关键点组的距离,根据确定的每个关键点组的距离,以及关键点组的预设初始距离,确定差值最大的关键点组为目标关键点组。
[0094]
s604:将针对目标关键点组保存的目标角度确定为最佳视频视角,通过自由视角视频切换程序,将目标健身视频中该目标图像帧以及下一目标图像帧之前的图像帧的视角调整至最佳视频视角。
[0095]
本技术实施例将自由视角视频与运动健身视频相结合,基于目标健身视频人体骨骼关键点运动复杂度,实现对健身视频自动调整视频角度,提升用户了健身动作学习效率。
[0096]
本技术所保护的技术方案具有实时性、可靠性特点,符合可信赖特性。
[0097]
图7为本技术实施例提供的视频视角调整装置的结构示意图,如图7所示,该装置包括:
[0098]
获取模块701,用于获取目标健身视频,所述目标健身视频为自由视角视频;按照预设时间间隔获取所述目标健身视频中的目标图像帧;
[0099]
确定模块702,用于基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;
[0100]
调整模块703,用于将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
[0101]
在一种可能的实施方式中,所述确定模块702,还用于基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;根据关键点组包含的目标关键点,确定关键点组的预设初始距离。
[0102]
在一种可能的实施方式中,所述确定模块702,具体用于根据关键点组包含的目标关键点及所述位置信息,确定关键点组的距离;根据所述关键点组的距离和所述预设初始距离,确定差值最大的关键点组为目标关键点组。
[0103]
在一种可能的实施方式中,所述确定模块702,还用于若所述目标图像帧中包含人像,则继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0104]
在一种可能的实施方式中,所述获取模块701,还用于若所述目标图像帧中不包含人像,则依次获取所述目标图像帧之后的图像帧,直到所述图像帧中包含人像;
[0105]
更新模块704,用于使用包含人像的图像帧对所述目标图像帧进行更新,并继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0106]
在一种可能的实施方式中,所述装置还包括:
[0107]
接收模块705,用于接收视角调整指令;
[0108]
所述获取模块701,还用于若接收到视角调整指令,获取所述视角调整指令中包含的目标调整角度,以及所述目标调整角度所对应的图像帧位置;
[0109]
所述调整模块703,还用于将所述目标健身视频中,自所述图像帧位置起所对应的每个图像帧的视角调整至所述目标调整角度。
[0110]
图8为本技术实施例提供的一种电子设备结构示意图,在上述各实施例的基础上,本技术还提供了一种电子设备,如图8所示,包括:处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信;
[0111]
所述存储器803中存储有计算机程序,当所述程序被所述处理器801执行时,使得所述处理器801执行如下步骤:
[0112]
获取目标健身视频,所述目标健身视频为自由视角视频;
[0113]
按照预设时间间隔获取所述目标健身视频中的目标图像帧;基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
[0114]
在一种可能的实施方式中,所述处理器801,还用于基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;
[0115]
基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;
[0116]
根据关键点组包含的目标关键点,确定关键点组的预设初始距离。
[0117]
在一种可能的实施方式中,所述处理器801,还用于根据关键点组包含的目标关键点及所述位置信息,确定关键点组的距离;
[0118]
根据所述关键点组的距离和所述预设初始距离,确定差值最大的关键点组为目标关键点组。
[0119]
在一种可能的实施方式中,所述处理器801,还用于若所述目标图像帧中包含人像,则继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0120]
在一种可能的实施方式中,所述处理器801,还用于若所述目标图像帧中不包含人像,则依次获取所述目标图像帧之后的图像帧,直到所述图像帧中包含人像,则使用包含人像的图像帧对所述目标图像帧进行更新,并继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0121]
在一种可能的实施方式中,所述处理器801,还用于若接收到视角调整指令,获取
所述视角调整指令中包含的目标调整角度,以及所述目标调整角度所对应的图像帧位置;
[0122]
将所述目标健身视频中,自所述图像帧位置起所对应的每个图像帧的视角调整至所述目标调整角度。
[0123]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口802用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器,包括中央处理器、网络处理器(network processor,np)等;还可以是数字指令处理器(digital signal processing,dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0124]
在上述各实施例的基础上,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由处理器执行的计算机程序,当所述程序在所述处理器上运行时,使得所述处理器执行时实现如下步骤:
[0125]
获取目标健身视频,所述目标健身视频为自由视角视频;
[0126]
按照预设时间间隔获取所述目标健身视频中的目标图像帧;基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
[0127]
在一种可能的实施方式中,所述获取目标健身视频之后,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之前,所述方法还包括:
[0128]
基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;
[0129]
基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;
[0130]
根据关键点组包含的目标关键点,确定关键点组的预设初始距离。
[0131]
在一种可能的实施方式中,所述根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组包括:
[0132]
根据关键点组包含的目标关键点及所述位置信息,确定关键点组的距离;
[0133]
根据所述关键点组的距离和所述预设初始距离,确定差值最大的关键点组为目标关键点组。
[0134]
在一种可能的实施方式中,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之后,所述基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息之前,所述方法还包括:
[0135]
若所述目标图像帧中包含人像,则继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0136]
在一种可能的实施方式中,所述方法还包括:
[0137]
若所述目标图像帧中不包含人像,则依次获取所述目标图像帧之后的图像帧,直
到所述图像帧中包含人像,则使用包含人像的图像帧对所述目标图像帧进行更新,并继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。
[0138]
在一种可能的实施方式中,所述方法还包括:
[0139]
若接收到视角调整指令,获取所述视角调整指令中包含的目标调整角度,以及所述目标调整角度所对应的图像帧位置;
[0140]
将所述目标健身视频中,自所述图像帧位置起所对应的每个图像帧的视角调整至所述目标调整角度。
[0141]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0142]
对于系统/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0143]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0144]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0145]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0146]
尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0147]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。

技术特征:
1.一种视频视角调整方法,其特征在于,所述方法包括:获取目标健身视频,所述目标健身视频为自由视角视频;按照预设时间间隔获取所述目标健身视频中的目标图像帧;基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。2.根据权利要求1所述的方法,其特征在于,所述获取目标健身视频之后,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之前,所述方法还包括:基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;根据关键点组包含的目标关键点,确定关键点组的预设初始距离。3.根据权利要求1所述的方法,其特征在于,所述根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组包括:根据关键点组包含的目标关键点及所述位置信息,确定关键点组的距离;根据所述关键点组的距离和所述预设初始距离,确定差值最大的关键点组为目标关键点组。4.根据权利要求1所述的方法,其特征在于,所述按照预设时间间隔获取所述目标健身视频中的目标图像帧之后,所述基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息之前,所述方法还包括:若所述目标图像帧中包含人像,则继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:若所述目标图像帧中不包含人像,则依次获取所述目标图像帧之后的图像帧,直到所述图像帧中包含人像,则使用包含人像的图像帧对所述目标图像帧进行更新,并继续执行后续基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息的步骤。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:若接收到视角调整指令,获取所述视角调整指令中包含的目标调整角度,以及所述目标调整角度所对应的图像帧位置;将所述目标健身视频中,自所述图像帧位置起所对应的每个图像帧的视角调整至所述目标调整角度。7.一种视频视角调整装置,其特征在于,所述装置包括:获取模块,用于获取目标健身视频,所述目标健身视频为自由视角视频;按照预设时间间隔获取所述目标健身视频中的目标图像帧;确定模块,用于基于人体关键点检测算法,确定所述目标图像帧中预设人体关键点的位置信息;根据所述位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组;调整模块,用于将所述目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对所述目标关键点组保存的目标角度进行调整。
8.根据权利要求7所述的装置,其特征在于,所述确定模块,还用于基于图像识别技术,确定所述目标健身视频中包含初始动作的初始图像帧;基于人体关键点检测算法,确定所述初始图像帧中预设人体关键点的初始位置信息;根据关键点组包含的目标关键点,确定关键点组的预设初始距离。9.一种电子设备,其特征在于,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现权利要求1-6中任一所述的视频视角调整方法的步骤。10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6中任一所述的视频视角调整方法的步骤。

技术总结
本申请实施例提供一种视频视角切换方法、装置、设备及介质,由于在本申请实施例中,获取的目标健身视频为自由视角视频,基于人体关键点检测算法,确定目标图像帧中预设人体关键点的位置信息,并根据确定的位置信息以及关键点组的预设初始距离,确定位置变化最大的目标关键点组,将目标图像帧以及下一目标图像帧之前的图像帧的视角,按照针对该目标关键点组保存的目标角度进行自动调整,通过对人体关键点的分析,对目标健身视频的角度进行调整,实现了即使不针对每一种健身动作重新设计拍摄角度,也能将最佳教学视角自动呈献给用户的目的。本申请所保护的技术方案具有实时性、可靠性特点,符合可信赖特性。符合可信赖特性。符合可信赖特性。


技术研发人员:翟世平 高雪松 孙萁浩
受保护的技术使用者:海信集团控股股份有限公司
技术研发日:2023.04.20
技术公布日:2023/10/8
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐