一种视觉驱动的虚拟角色处理系统的制作方法

1.本发明涉及计算机视觉领域，特别是涉及一种视觉驱动的虚拟角色处理系统。


背景技术：

2.近年来随着人工智能技术的不断突破和元宇宙概念的蓬勃发展，数字虚拟角色已经进入了人们生活的各个领域。数字虚拟角色是指具有数字化外形的虚拟人物，其具备形象能力、表达能力、感知能力、互动能力。数字虚拟角色可分为真人驱动虚拟角色和ai驱动虚拟角色两大类别，目前真人驱动虚拟角色广泛应用于直播领域，虚拟主播在直播带货等节目中的互动环节能增加直播的个性化和趣味性。目前大部分真人驱动虚拟角色的方法都需要用到较为昂贵的动捕设备，若不使用动捕设备的驱动方法，则无法将真人人体的关键点与虚拟角色的关键点一一对应，导致虚拟角色与非虚拟角色的吻合度较差。


技术实现要素：

3.针对上述技术问题，本发明采用的技术方案为：一种视觉驱动的虚拟角色处理系统，系统包括：非虚拟角色图像组列表a={a1，a2，
……
，ai，
……
，am}、虚拟角色图像组b、处理器和存储有计算机程序的存储器，i=1，2，
……
，m，m为非虚拟角色图像组数量，ai为第i帧非虚拟角色图像组，还包括根据a获得的非虚拟姿态图像组c={c1，c2，
……
，ci，
……cm
}和非虚拟面部图像组d={d1，d2，
……
，di，
……
，dm}，ci为ai中的姿态图像，di为ai中的面部图像，以及根据虚拟角色图像组b获得的虚拟角色的姿态图像bb和虚拟角色的表情图像bm，当所述计算机程序被处理器执行时，实现以下步骤：s1：将ci与bb对齐，具体步骤如下：s11：获取姿态相似度阈值st，令i=1；s12：根据ci获得非虚拟角色的姿态位姿向量v1i，根据bb获得虚拟角色的姿态位姿向量vb；s13：根据v1i和vb获得位姿向量相似度sc=（v1i•
vb）/（||v1i||
×
||vb||），其中||v1i||为对v1i取模，v1i•
vb为v1i和vb进行点乘；s14：若sc》st，则记录g=i，g为与bb对齐的非虚拟角色的姿态图像在c中的次序；否则令i=i+1并执行步骤s12；s2：将di与bm对齐，具体步骤如下：s21：获取面部相似度阈值dt，令i=1；s22：根据di获得非虚拟角色面部的关键点坐标集li={（x
li1
，y
li1
），（x
li2
，y
li2
），
……
，（x
lij
，y
lij
），
……
，（x
lin
，y
lin
）}，其中x
lij
为di的第j个关键点的横坐标，y
lij
为di的第j个关键点的纵坐标，根据bm获得虚拟角色的面部关键点坐标集q={（x
q1
，y
q1
）,（x
q2
，y
q2
）,
……
，（x
qj
，y
qj
），
……
，（x
qn
，y
qn
）}，面部的关键点为面部的关键区域的位置，其中x
qj
为bm的第j个关键点的横坐标，y
qj
为bm的第j个关键点的纵坐标，j=1，2，
……
，n，n为面部关键
点的总个数；s23：根据li和q获得两者之间的面部相似度l=∑
nj=1
（（x
lij-x
qj
）2+（y
lij-y
qj
）2）
1/2
；s24：若l《dt，则记录z=i，z为与bm对齐的非虚拟角色的面部图像在d中的次序；s3：若g=z则执行s31到s32，否则执行s33：s31：从a中删除a1，a2，
……
，a
g-1
，获取到a0={ag，a
g+1
，
……
，am}；从c中删除c1，c2，
……
，c
g-1
，获取到c0={cg，c
g+1
，
……
，cm}；从d中删除d1，d2，
……
，d
g-1
，获取到d0={dg，d
g+1
，
……
，dm}；s32：将a0初始化为a0={a1，a2，
……
，ar，
……
，as}，其中a1=ag，a2=a
g+1
，
……
，as=am；c0初始化为c0={c1，c2，
……
，cr，
……
，cs}，其中c1=cg，c2=c
g+1
，
……
，cs=cm；d0初始化为d0={d1，d2，
……
，dr，
……
，ds}，其中d1=dg，d2=d
g+1
，
……
，ds=dm，r=1，2
……
s；s33：若g《z，则计算cz对应的sc，若cz对应的sc》st，则令g=z并执行s31，否则令i=z+1并重新执行s12到s14以及s22到s24；若g》z，则计算dg对应的l，若dg对应的l《dt，则令z=g并执行s31，否则令i=g+1并重新执行s12到s14以及s22到s24。
4.本发明至少具有以下有益效果：当系统执行程序时，第一步先将ci与bb进行对齐，首先获取c1的位姿向量v11和bb的位姿向量vb，计算二者的位姿向量相似度sc并与预先设定的阈值st进行比较，若sc》st，则c1与bb的姿态已经对齐，否则该帧的姿态未与bb对齐，此时对c2进行相同操作，直到取到ci与bb相对齐。第二步将di与bm进行对齐，首先获取d1的关键点的坐标集li以及bm的关键点的坐标集q，之后计算li和q之间的面部相似度l，并将l与预先设定的阈值dt进行比较，若l《dt，则d1与bm的面部已经对齐。否则该帧的面部未与bm对齐，此时对d2进行相同操作，直到di与bm对齐。因为在确定虚拟角色时需要面部与姿态同时对齐才能够获得更好的效果，因此之后判断与bb对齐的ci和与bm对齐的di是否属于同一个ai，如果并不属于同一个ai，则需要重新进行对齐，直到同一个ai所对应的ci和di均分别与bb和bm对齐。此时非虚拟角色的面部和姿态均已与虚拟角色的面部和姿态相对齐，非虚拟角色和虚拟角色获得了较高的拟合程度，此时将a、c、d进行初始化，将对齐的ai、ci、di作为确定虚拟角色前的首帧图像，之后对虚拟角色进行确定，从而提高了虚拟角色与非虚拟角色之间的吻合度。
附图说明
5.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
6.图1为本发明实施例提供的一种视觉驱动的虚拟角色处理系统流程图。
具体实施方式
7.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
8.一种视觉驱动的虚拟角色处理系统，包括：非虚拟角色图像组列表a={a1，a2，
……
，ai，
……
，am}、虚拟角色图像组b、处理器和存储有计算机程序的存储器，i=1，2，
……
，m，m为非虚拟角色图像组数量，ai为第i帧非虚拟角色图像组，还包括根据a获得的非虚拟姿态图像组c={c1，c2，
……
，ci，
……
，cm}和非虚拟面部图像组d={d1，d2，
……
，di，
……
，dm}，ci为ai中的姿态图像，di为ai中的面部图像，以及根据虚拟角色图像组b获得的虚拟角色的姿态图像bb和虚拟角色的表情图像bm。
9.其中，ai为通过摄像头等视觉采集设备获取的图像，使用摄像头采集到的真人直播视频流对虚拟人的动作进行驱动，无需使用动捕设备、捕捉点等穿戴设备，降低了制作成本。
10.其中，根据a获得c的步骤包括：获取ai中非虚拟角色的边界框的坐标集aci=（x
i1
，y
i1
，x
i2
，y
i2
），（x
i1
，y
i1
），（x
i2
，y
i2
），（x
i1
，y
i2
），（x
i2
，y
i1
）为边界框的四个顶点的坐标。
11.此实施例中采用yolov5行人检测模型获取真人全身在图像上的像素范围，获取行人边界框坐标的公式为：aci=human-detect（ai），其中human-detect为yolov5行人检测模型，本领域技术人员知晓的任意一种行人检测的方法均在此发明的保护范围内。
12.以（（x
i1
+x
i2
）/2，（y
i1
+y
i2
）/2）为中点，将边界框等比例扩大为原边界框面积的1.1到1.2倍；即1.1
0.5
×
|x
i1-x
i2
|≤|x
i3-x
i4
|≤1.2
0.5
×
|x
i1-x
i2
|，1.1
0.5
×
|y
i1-y
i2
|≤|y
i3-y
i4
|≤1.2
0.5
×
|y
i1-y
i2
|；令ac=（x
i3
，y
i3
，x
i4
，y
i4
），（x
i3
，y
i3
），（x
i4
，y
i4
），（x
i3
，y
i4
），（x
i4
，y
i3
）为扩大之后的边界框的四个顶点的坐标。
13.选取人体区域并适当扩大区域范围用于真人动作驱动，当行人边界框只选用人体区域的部分时，人体在姿态发生改变的过程中肢体容易超出到行人边界框的范围之外，而当行人边界框扩大过多时，框内的人体占比较低时，会对最终生成效果产生影响。
14.将ai中位于边界框内的部分作为ci；对a中的每一帧ai进行上述步骤。
15.优选的，令1.1
0.5
×
|x
i1-x
i2
|=|x
i3-x
i4
|，1.1
0.5
×
|y
i1-y
i2
|=|y
i3-y
i4
|。
16.其中，根据a获得d的步骤包括：获取虚拟姿态图像bb的步骤与获取真人姿态序列c的步骤一致，通过yolov5模型对虚拟素材图像b中的人物部分进行截取，并适当扩大行人边界框，将行人边界框内的图像作为虚拟姿态图像bb。
17.获取d时，采用yolov5人脸检测模型获取ai中人脸边界框区域的坐标，并以人脸边界框的几何中心为基点将面积扩大1.1至1.2倍，将更新后的人脸边界框内的图片作为di，并对a中的每一帧图像进行上述操作，从而生成d。获取bm的步骤与获取d的方法一致，此处不再赘述。
18.当程序被执行时，进行以下步骤：s1：将ci与bb对齐，具体步骤如下：s11：获取姿态相似度阈值st，令i=1；
s12：根据ci获得非虚拟角色的姿态位姿向量v1i，根据bb获得虚拟角色的姿态位姿向量vb；s13：根据v1i和vb获得位姿向量相似度sc=（v1i•
vb）/（||v1i||
×
||vb||），其中||v1i||为对v1i取模，v1i•
vb为v1i和vb做点乘；s14：若sc》st，则记录g=i，g为与bb对齐的非虚拟角色的姿态图像在c中的次序；否则令i=i+1并执行步骤s12。
19.本实施例通过posenet算法获取v1i，将ci以及bb分别输入到posenet算法中，输出v1i和vb并进行标准化。
20.s2：将di与bm对齐，具体步骤如下：s21：获取面部相似度阈值dt，令i=1；s22：根据di获得非虚拟角色面部的关键点坐标集li={（x
li1
，y
li1
），（x
li2
，y
li2
）
……
（x
lij
，y
lij
）
……
（x
lin
，y
lin
）}，其中x
lij
为di的第j个关键点的横坐标，y
lij
为di的第j个关键点的纵坐标，根据bm获得虚拟角色的面部关键点坐标集q={（x
q1
，y
q1
）,（x
q2
，y
q2
）,
……
（x
qj
，y
qj
）
……
（x
qn
，y
qn
）}，面部的关键点为面部的关键区域的位置，如五官、脸部轮廓等，其中x
qj
为bm的第j个关键点的横坐标，y
qj
为bm的第j个关键点的纵坐标，n为面部关键点的总个数；s23：根据li和q获得两者之间的面部相似度l=∑
nj=1
（（x
lij-x
qj
）2+（y
lij-y
qj
）2）
1/2
；s24：若l《dt，则记录z=i，z为与bm对齐的非虚拟角色的面部图像在d中的次序。
21.本实施例通过人脸对齐算法进行人脸landmarks检测，获取人脸的关键点坐标并归一化，公式表示为ls=facealignment（di），其中facealignment为人脸对齐算法。
22.s3：若g=z则执行步骤s31到s32，否则执行步骤s33：s31：从a中删除a1，a2，
……
，a
g-1
，获取到a0={ag，a
g+1
，
……
，am}；从c中删除c1，c2，
……
，c
g-1
，获取到c0={cg，c
g+1
，
……
，cm}；从d中删除d1，d2，
……
，d
g-1
，获取到d0={dg，d
g+1
，
……
，dm}；s32：将a0初始化为a0={a1，a2，
……
，ar，
……
，as}，其中a1=ag，a2=a
g+1
，
……
，as=am；c0初始化为c0={c1，c2，
……
，cr，
……
，cs}，其中c1=cg，c2=c
g+1
，
……
，cs=cm；d0初始化为d0={d1，d2，
……
，dr，
……
，ds}，其中d1=dg，d2=d
g+1
，
……
，ds=dm，r=1，2
……
s；s33：若g《z，则计算cz对应的sc，若cz对应的sc》st，则令g=z并执行s31，否则令i=z+1并重新执行s12到s14以及s22到s24；若g》z，则计算dg对应的l，若dg对应的ll《dt，则令z=g并执行s31，否则令i=g+1并重新执行s12到s14以及s22到s24。
23.当系统执行程序时，第一步先将ci与bb进行对齐，首先获取c1的位姿向量v11和bb的位姿向量vb，计算二者的位姿向量相似度sc并与预先设定的阈值st进行比较，若sc》st，则c1与bb的姿态已经对齐，否则该帧的姿态未与bb对齐，此时对c2进行相同操作，直到取到ci与bb相对齐。第二步将di与bm进行对齐，首先获取d1的关键点的坐标集li以及bm的关键点的坐标集q，之后计算li和q之间的面部相似度l，并将l与预先设定的阈值dt进行比较，若l《dt，则d1与bm的面部已经对齐。否则该帧的面部未与bm对齐，此时对d2进行相同操作，直到di与bm对齐。因为在确定虚拟角色时需要面部与姿态同时对齐才能够获得更好的效果，因此之后判断与bb对齐的ci和与bm对齐的di是否属于同一个ai，如果并不属于同一个ai，则需要
重新进行对齐，直到同一个ai所对应的ci和di均分别与bb和bm对齐。此时非虚拟角色的面部和姿态均已与虚拟角色的面部和姿态相对齐，非虚拟角色和虚拟角色获得了较高的拟合程度，此时将a、c、d进行初始化，将对齐的ai、ci、di作为确定虚拟角色前的首帧图像，之后对虚拟角色进行确定，从而减少了虚拟角色的确定过程中姿态和面部错位的情况出现。
24.s4：根据c0和bb生成虚拟角色的姿态图像组vb={vb1，vb2，
……
，vbr，
……
，vbs}，vbr为根据cr生成的虚拟角色的姿态图像；本技术通过tpsm算法模型实现，当ai和b对齐后，算法初始化并建立两者初始特征参数之间的对应关系。在真人直播姿态序列的后续帧，算法通过背景运动估计模型（bg motion predictor）预测图像的仿射变化，使用关键点检测器（keypointdetector）估计人体的多组关键点，然后通过密集运动网络（dense motion network）进行估计光流和多分辨率遮挡掩模。最后将源图像输入修复网络（inpaintingnetwork），使用光流对编码器提取的特征图进行扭曲，并用相应的分辨率对其进行掩码遮罩，生成虚拟人的驱动图像，虚拟人驱动图像的动作姿态随着真人主播实时更新，公式表示为vbr=tpsm（cr，bb）。
25.s5：根据d0和bm生成虚拟角色的面部图像组vm={vm1，vm2，
……
，vmr，
……
，vms}，vmr为根据dr生成的虚拟角色的面部图像。
26.其中s5还包括：s51：对bm进行深度估计，获得bm的深度图像db；s52：对d0的每一帧dr进行深度估计，获得d0的深度图像组dp={dp1，dp2，
……
，dpr，
……
，dps}，dpr为dr的深度图像；s53：根据bm，db以及dp获得vm。
27.通过c生成的虚拟姿态序列vb，侧重于对虚拟人整体动作的驱动，对面部表情等细节的还原度较差，因此本阶段采用人脸驱动算法对虚拟人的面部表情进行高清化驱动。通过dagan人脸驱动算法实现，利用真人表情序列驱动虚拟表情序列，生成高拟真虚拟表情图像的人脸表情、姿态、口型等真人图像一致，清晰度高。
28.采用深度预测编码器和解码器（depth estimate）对bm进行深度估计，从而生成深度图像db：db=depth estimate（bm）。之后结合bm和db通过人脸关键点检测模型（kp detector）预测人脸的15个关键点得到虚拟表情关键点集kb：kb=kp detector（bm，db）。之后对d0的每一帧真人表情图像均重复上述操作，即：dpr=depth estimate（dr），得到dp。
29.基于深度表情序列dp和真人表情序列d通过人脸关键点检测模型（kp detector）得到真人表情关键点序列kd={kd1，kd2，
……
，kdr，
……
，kds}，其中kdr为第r帧真人表情图像dr对应的真人表情关键点集。
30.之后，根据kb、d1的kd1以及kd通过标准化参数模块（normalize）得到关键点标准化参数集kn={kn1，kn2，
……
，knr，
……
，kns}，其中knr为第r帧真人表情图像dr对应的关键点标准化参数，knr=normalize（kb，kd1，kdr）。
31.最后通过人脸合成网络的特征性便模块和跨注意力模块（generator）扭曲人脸特征并修正，得到vm，其中vmr=generator（bm，kb，knr，db，dpr）。
32.s6：根据vb和vm生成虚拟角色图像组v={v1，v2，
……
，vr，
……
，vs}，其中vr为第r帧虚拟角色图像。
33.此处需要通过换脸算法将vm中的vmr换到vb中的vbr的图像上，以细化vb的脸部区
域，从而生成v。常规拼接算法无法精确到面部图像和身体图像的像素级衔接，存在色差、错位或过渡不平滑等明显拼接痕迹。本部分采用了像素级的人脸分割算法，避免全身图像合成时头部区域和其他区域的拼接感；优化了的换脸算法逻辑，细化并扩大了换脸区域的范围，同时也提升了下巴的随动性。
34.其中，步骤s6还包括：s61：根据vb生成虚拟人脸序列cf={cf1，cf2，
……
，cfr，
……
，cfs}，其中cfr是第r帧vbr中的虚拟人脸图像；获取虚拟人脸序列cf的步骤与上述获取真人表情序列d的方法一致，通过yolov5人脸检测模型进行获取，此处不再赘述。
35.s62：根据虚拟人脸序列cf生成人脸分割序列cm={cm1，cm2，
……
，cmr，
……
，cms}，cmr是第r帧cfr对应的人脸分割图像；通过人脸细粒度分割算法face parsing对虚拟人脸图像cfr虚拟人的面部器官及脖子、头发等进行语义分割，共计19个类别标签，然合并面部区域和脖子区域的像素范围得到人脸分割图像cmr，即cmr=face parsing（cfr）。
36.s63：根据虚拟表情序列vm生成表情分割序列dm={dm1，dm2，
……
，dmr，
……
，dms}，dmr是第r帧虚拟vmr对应的表情分割图像；根据vm生成dm的方法与上述相同，此处不再赘述。
37.s64：根据d0生成转换矩阵序列m={m1，m2，
……
，mr……
，ms}，其中mr是第r帧真人表情图像dr所对应的人脸转换矩阵；将dr通过人脸对齐算法转换为标准脸，将其转换矩阵记为mr。
38.s65：根据vb、cf、cm、vm、dm和转换矩阵序列m生成v。
39.通过faceswap换脸技术将vmr对应的dmr融合到vbr上，替换其面部表情，最终得到真人实时驱动虚拟人动作和表情的虚拟图像vr，及逆行直播推流，即：vr=faceswap（vbr，mr，cfr，cmr，vmr，dmr）。
40.由此完成了基于纯视觉的真人驱动虚拟人的操作，且输出的v表情更为细致，且拼接过渡区域的衔接自然平滑，进而使得虚拟人的动作姿态和表情与真人实时同步。
41.虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

技术特征：
1.一种视觉驱动的虚拟角色处理系统，其特征在于，所述系统包括：非虚拟角色图像组列表a={a1，a2，
……
，a
i
，
……
，a
m
}、虚拟角色图像组b、处理器和存储有计算机程序的存储器，i=1，2，
……
，m，m为非虚拟角色图像组数量，a
i
为第i帧非虚拟角色图像组，还包括根据a获得的非虚拟姿态图像组c={c1，c2，
……
，c
i
，
……
c
m
}和非虚拟面部图像组d={d1，d2，
……
，d
i
，
……
，d
m
}，c
i
为a
i
中的姿态图像，d
i
为a
i
中的面部图像，以及根据虚拟角色图像组b获得的虚拟角色的姿态图像bb和虚拟角色的表情图像bm，当所述计算机程序被处理器执行时，实现以下步骤：s1：将c
i
与bb对齐，具体步骤如下：s11：获取姿态相似度阈值st，令i=1；s12：根据c
i
获得非虚拟角色的姿态位姿向量v1
i
，根据bb获得虚拟角色的姿态位姿向量vb；s13：根据v1
i
和vb获得位姿向量相似度sc=（v1
i
•
vb）/（||v1
i
||
×
||vb||），其中||v1
i
||为对v1
i
取模，v1
i
•
vb为v1
i
和vb进行点乘；s14：若sc>st，则记录g=i，g为与bb对齐的非虚拟角色的姿态图像在c中的次序；否则令i=i+1并执行步骤s12；s2：将d
i
与bm对齐，具体步骤如下：s21：获取面部相似度阈值dt，令i=1；s22：根据d
i
获得非虚拟角色面部的关键点坐标集l
i
={（x
li1
，y
li1
），（x
li2
，y
li2
），
……
，（x
lij
，y
lij
），
……
，（x
lin
，y
lin
）}，其中x
lij
为d
i
的第j个关键点的横坐标，y
lij
为d
i
的第j个关键点的纵坐标，根据bm获得虚拟角色的面部关键点坐标集q={（x
q1
，y
q1
）,（x
q2
，y
q2
）,
……
，（x
qj
，y
qj
），
……
，（x
qn
，y
qn
）}，面部的关键点为面部的关键区域的位置，其中x
qj
为bm的第j个关键点的横坐标，y
qj
为bm的第j个关键点的纵坐标，j=1，2，
……
，n，n为面部关键点的总个数；s23：根据l
i
和q获得两者之间的面部相似度l=∑
nj=1
（（x
lij-x
qj
）2+（y
lij-y
qj
）2）
1/2
；s24：若l<dt，则记录z=i，z为与bm对齐的非虚拟角色的面部图像在d中的次序；s3：若g=z则执行s31到s32，否则执行s33：s31：从a中删除a1，a2，
……
，a
g-1
，获取到a0={a
g
，a
g+1
，
……
，a
m
}；从c中删除c1，c2，
……
，c
g-1
，获取到c0={c
g
，c
g+1
，
……
，c
m
}；从d中删除d1，d2，
……
，d
g-1
，获取到d0={d
g
，d
g+1
，
……
，d
m
}；s32：将a0初始化为a0={a1，a2，
……
，a
r
，
……
，a
s
}，其中a1=a
g
，a2=a
g+1
，
……
，a
s
=a
m
；c0初始化为c0={c1，c2，
……
，c
r
，
……
，c
s
}，其中c1=c
g
，c2=c
g+1
，
……
，c
s
=c
m
；d0初始化为d0={d1，d2，
……
，d
r
，
……
，d
s
}，其中d1=d
g
，d2=d
g+1
，
……
，d
s
=d
m
，r=1，2
……
s；s33：若g<z，则计算c
z
对应的sc，若c
z
对应的sc>st，则令g=z并执行s31，否则令i=z+1并重新执行s12到s14以及s22到s24；若g>z，则计算d
g
对应的l，若d
g
对应的l<dt，则令z=g并执行s31，否则令i=g+1并重新执行s12到s14以及s22到s24。2.根据权利要求1所述的系统，其特征在于，所述根据a获得的非虚拟姿态图像组c，具体包括：获取a
i
中非虚拟角色的边界框的坐标集ac
i
=（x
i1
，y
i1
，x
i2
，y
i2
），（x
i1
，y
i1
），（x
i2
，y
i2
），（x
i1
，y
i2
），（x
i2
，y
i1
）为边界框的四个顶点的坐标；
以（（x
i1
+x
i2
）/2，（y
i1
+y
i2
）/2）为中点，将边界框等比例扩大为原边界框面积的1.1到1.2倍，即1.1
0.5
×
|x
i1-x
i2
|≤|x
i3-x
i4
|≤1.2
0.5
×
|x
i1-x
i2
|，1.1
0.5
×
|y
i1-y
i2
|≤|y
i3-y
i4
|≤1.2
0.5
×
|y
i1-y
i2
|；令ac=（x
i3
，y
i3
，x
i4
，y
i4
），（x
i3
，y
i3
），（x
i4
，y
i4
），（x
i3
，y
i4
），（x
i4
，y
i3
）为扩大之后的边界框的四个顶点的坐标；将a
i
中位于边界框内的图像作为c
i
；对a中的每一帧a
i
进行上述步骤。3.根据权利要求1所述的系统，其特征在于，所述计算机程序被处理器执行时，在s3后还实现以下步骤：s4：根据c0和bb生成虚拟角色的姿态图像组vb={vb1，vb2，
……
，vb
r
，
……
，vb
s
}，vb
r
为根据c
r
生成的虚拟角色的姿态图像；s5：根据d0和bm生成虚拟角色的面部图像组vm={vm1，vm2，
……
，vm
r
，
……
，vm
s
}，vm
r
为根据dr生成的虚拟角色的面部图像。4.根据权利要求3所述的系统，所述步骤s5具体包括：s51：对bm进行深度估计，获得bm的深度图像db；s52：对d0的每一帧d
r
进行深度估计，获得d0的深度图像组dp={dp1，dp2，
……
，dp
r
，
……
，dp
s
}，dp
r
为d
r
的深度图像；s53：根据bm，db以及dp获得vm。5.根据权利要求4所述的系统，其特征在于，所述计算机程序被处理器执行时，还包括以下步骤：s6：根据vb和vm生成虚拟角色图像组v={v1，v2，
……
，v
r
，v
s
}，其中v
r
为第r帧虚拟角色图像。6.根据权利要求2所述的系统，其特征在于：令1.1
0.5
×
|x
i1-x
i2
|=|x
i3-x
i4
|，1.1
0.5
×
|y
i1-y
i2
|=|y
i3-y
i4
|。7.根据权利要求3所述的系统，其特征在于，所述根据c0和bb生成vb所使用的算法模型为tpsm模型。

技术总结
本发明提供了一种视觉驱动的虚拟角色处理系统，该系统包括非虚拟角色图像组列表A={A1，A2，


技术研发人员：罗引 郑洋 陈博 徐楠 方省 曹家 王磊
受保护的技术使用者：北京中科闻歌科技股份有限公司
技术研发日：2023.06.13
技术公布日：2023/7/21