人像分割方法、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，特别涉及一种人像分割方法、电子设备及存储介质。


背景技术：

2.人像分割技术是对图像或视频中的人体进行识别，将其与背景进行分离的技术，被广泛应用于人体特效、视频会议和影视后期处理等领域。相关技术中，采用图像分割范式，将图像中的人像和背景分成两类，对其中的人像进行分割，虽然可以在一定程度上完成人像分割，但也存在分割精度较低、缺乏鲁棒性等问题。


技术实现要素：

3.本技术实施例提供一种人像分割方法、电子设备及存储介质，以解决相关技术在进行人像分割时存在的分割精度较低、缺乏鲁棒性的技术问题。
4.根据本技术的第一方面，公开了一种人像分割方法，所述方法包括：
5.获取待分割的第一图像；
6.将所述第一图像输入目标模型，通过所述目标模型的特征提取网络和人像分割网络对所述第一图像进行处理，获得人像分割掩膜；其中，所述目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，所述人像分割网络和所述至少一个辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面，所述人像分割网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的轮廓特征，所述辅助网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的精细特征；
7.根据所述人像分割掩膜，对所述第一图像进行人像提取，得到第二图像。
8.根据本技术的第二方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的人像分割方法。
9.根据本技术的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的人像分割方法。
10.根据本技术的第四方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的人像分割方法。
11.本技术实施例中，获取待分割的第一图像；将第一图像输入目标模型，通过目标模型的特征提取网络和人像分割网络对第一图像进行处理，获得人像分割掩膜；其中，目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，人像分割网络和上述至少一个辅助网络均与特征提取网络连接、且位于特征提取网络的后面，人像分割网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的轮廓特征，辅助网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的精细特征；根据人像分割掩膜，对第一图像进行人像提取，得到第二图像。
12.可见，本技术实施例中，对于需要进行人像分割的图像，可以将该图像输入目标模型进行处理，输出用于人像分割的掩膜，基于该掩膜进行人像分割，得到分割结果。由于目标模型在训练过程中除参考人像的轮廓特征之外，还会参考人像的精细特征，因此目标模型的特征提取网络可以学习到更多、更全面、更精细的人像信息，在实际使用时，只需运行目标模型的特征提取网络和人像分割网络，而无需运行其他辅助网络，在不增加运行开销的情况下，提高了人像分割的精度和稳定性。
附图说明
13.图1是相关技术中人像分割模型的网络结构的示例图；
14.图2是本技术实施例提供的一种人像分割方法的流程图；
15.图3是本技术实施例提供的目标模型的网络结构的示例图之一；
16.图4是本技术实施例提供的目标模型的网络结构的示例图之二；
17.图5是本技术实施例提供的目标模型的网络结构的示例图之三；
18.图6是本技术实施例提供的目标模型的网络结构的示例图之四；
19.图7是本技术实施例提供的目标模型的网络结构的示例图之五；
20.图8是本技术实施例提供的一种模型训练方法的流程图；
21.图9是本技术实施例提供的一种人像分割装置的结构示意图；
22.图10是本技术实施例提供的一种电子设备的结构框图。
具体实施方式
23.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
24.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
25.需要说明的是，本技术实施例获取的数据，均在明确告知用户或相关数据所属方对数据的采集内容、数据用途、处理方式等信息后，在用户或相关数据所属方同意、授权的情况下访问、采集、存储并应用于后续分析处理，且可以向用户或相关数据所属方提供访问、更正、删除该数据的途径，以及撤销同意、授权的方法。
26.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计
算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防范、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
27.以图像处理领域中的人像分割技术为例，人像分割技术是对图像或视频中的人体进行识别，将其与背景进行分离的技术，被广泛应用于人体特效、视频会议和影视后期处理中。
28.相关技术中，人像分割算法通常采用图像分割范式，进行人像分割，主要包括以下两个阶段。
29.模型的训练阶段：
30.1、构建用于训练的骨干网络，如图1所示，骨干网络的网络结构为：特征提取网络和人像分割网络，人像分割网络连接在特征提取网络后面，特征提取网络用于接收输入至模型中的图像，提取图像的多尺度特征(也称为特征图)，人像分割网络用于对特征提取网络提取到的多尺度特征进行降维处理，输出人像分割掩膜。
31.特征提取网络包括：编码器和解码器，其中，编码器用于对输入图像进行下采样的多尺度编码处理，解码器用于对编码器的输出特征进行上采样的解码处理；人像分割网络用于对解码器输出的特征图(与输入图像的尺寸相同、但通道数不同，例如输入图像为256
×
256
×
3，3为rgb三通道；特征图为256
×
256
×
32，32为通道数)进行图像通道降维处理，输出用于人像分割的掩膜(掩膜尺寸为256
×
256
×
1，1为通道数)。
32.特征提取网络中的编码器和解码器，可以采用各种典型图像分割结构，例如，采用mobilenetv3作为编码器结构，采用多级上采样和卷积堆叠作为解码器结构；人像分割网络可以采用全卷积网络，训练时采用交叉熵损失函数。
33.2、构建用于训练的训练集，训练集中包括多个样本图像和样本图像的人像标注信息，其中，人像标注信息：图像中人像标注为1，背景标注为0。
34.3、在每次迭代训练过程中，将样本图像作为骨干网络的输入，根据网络的预测输出与样本图像的人像标注信息计算损失，通过反向传播的方式，更新网络的参数，进行多次迭代训练，得到用于人像分割的模型。
35.模型的使用阶段：
36.将待处理的图像，输入模型中进行处理，输出用于人像分割的掩膜，通过该掩膜对待处理的图像进行人像分割，得到分割结果。
37.相关技术中的人像分割算法，虽然可以在一定程度上完成人像分割，但是由于其将人像作为一个整体语义，没有区分手指、头发等细节与其它人像部分的语义差别，导致对手指、头发等细节的分割精度较低，且缺乏鲁棒性。同时，仅将人像作为语义进行像素级分类，模型无法学习到人体姿态等语义，导致模型对不同人体姿态的分割缺乏鲁棒性。
38.为了解决上述技术问题，本技术实施例提供了一种人像分割方法、电子设备及存储介质，以达到高精度、高稳定性两个目标。
39.下面结合附图，首先对本技术实施例提供的一种人像分割方法进行介绍。
40.图2是本技术实施例提供的一种人像分割方法的流程图，如图2所示，该方法可以
包括以下步骤：步骤201、步骤202和步骤203；
41.在步骤201中，获取待分割的第一图像。
42.本技术实施例中，第一图像中包含人像和背景。
43.本技术实施例中，第一图像可以来源于图像采集设备，也可以来源于网络。
44.在步骤202中，将第一图像输入目标模型，通过目标模型的特征提取网络和人像分割网络对第一图像进行处理，获得人像分割掩膜；其中，目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，人像分割网络和至少一个辅助网络均与特征提取网络连接、且位于特征提取网络的后面，人像分割网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的轮廓特征，辅助网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的精细特征。
45.为了便于理解，下面首先对本技术实施例中的目标模型及其涉及的相关特征进行介绍。
46.本技术实施例中，精细特征可以包括以下至少一项：人像的手指特征、头发特征、头发长短特征和姿态特征等。
47.相应于以上精细特征，辅助网络可以包括以下至少一项：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；其中，人手关键点检测网络，用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的手指特征；头发分割网络，用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的头发轮廓特征；长短发属性分类网络，用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的头发长短属性特征；人体关键点检测网络，用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的姿态特征。
48.本技术实施例中，目标模型中的特征提取网络的网络结构可以与相关技术中的特征提取网络的网络结构相同，人像分割网络的网络结构可以与相关技术中的人像分割网络的网络结构相同。
49.在一些实施例中，为了降低目标模型的复杂度，降低模型训练过程中的计算量，在满足人像分割需求的情况下，人像分割网络的网络结构可以为全卷积网络，人手关键点检测网络的网络结构可以为全卷积网络，头发分割网络的网络结构可以为全卷积网络，长短发属性分类网络的网络结构为全连接网络，人体关键点检测网络的网络结构为全卷积网络。
50.在一些实施例中，为了进一步地降低模型训练过程中的计算量，以及避免样本不平衡的问题，人像分割网络在模型训练时的损失函数为第一损失函数，第一损失函数可以为交叉熵损失函数；人手关键点检测网络在模型训练时的损失函数为第二损失函数，第二损失函数可以为focal损失函数，以避免样本不平衡的问题；头发分割网络在模型训练时的损失函数为第三损失函数，第三损失函数可以为交叉熵损失函数；长短发属性分类网络在模型训练时的损失函数为第四损失函数，第四损失函数可以为交叉熵损失函数；人体关键点检测网络在模型训练时的损失函数为第五损失函数，第五损失函数可以为focal损失函数，以避免样本不平衡的问题。
51.区别于相关技术的模型中仅包括特征提取网络和人像分割网络，本技术实施例中，目标模型中不仅包括特征提取网络和人像分割网络，还可以包括1个或多个辅助网络，
辅助网络帮助目标模型中的特征提取网络在训练时学习到人像的更为精细的特征，以提高人像分割的精度和稳定性。
52.本技术实施例中，可以根据人像分割精度的需求，设置目标模型中辅助网络的个数。
53.在一些实施例中，当要求人像在某一方面精度高时，目标模型中辅助网络的个数为1个。
54.例如，当要求人像分割的手指精度高时，目标模型中辅助网络为人手关键点检测网络，此时，如图3所示，目标模型中包括：特征提取网络、人像分割网络和人手关键点检测网络，人像分割网络和人手关键点检测网络连接在特征提取网络的后面。
55.例如，当要求人像分割的头发精度高时，目标模型中辅助网络为头发分割网络，此时，如图4所示，目标模型中包括：特征提取网络、人像分割网络和头发分割网络，人像分割网络和头发分割网络连接在特征提取网络的后面。
56.例如，当要求人像分割的头发长短精度高时，目标模型中辅助网络为长短发属性分类网络，此时，如图5所示，目标模型中包括：特征提取网络、人像分割网络和长短发属性分类网络，人像分割网络和长短发属性分类网络连接在特征提取网络的后面。
57.例如，当要求人像分割的姿态精度高时，目标模型中辅助网络为人体关键点检测网络，此时，如图6所示，目标模型中包括：特征提取网络、人像分割网络和人体关键点检测网络，人像分割网络和人体关键点检测网络连接在特征提取网络的后面。
58.在一些实施例中，当要求人像分割在某多个方面精度高时，目标模型中辅助网络的个数大于1个。当辅助网络的个数大于1时，每个辅助网络均与特征提取网络连接、且位于特征提取网络的后面。
59.例如，当同时要求人像分割的手指精度高、头发精度高、头发长短精度高和姿态精度高时，目标模型中辅助网络包括：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络，此时，如图7所示，目标模型中包括：特征提取网络、人像分割网络、人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络，人像分割网络、人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络均连接在特征提取网络的后面。
60.本技术实施例中，在训练目标模型时，在基础人像分割任务的基础上，增加人手关键点检测、头发分割、长短发属性分类、人体关键点检测等多个任务，由于训练阶段中增加了以上任务的标注信息，因此特征提取网络可以学习到更多、更全面、更精细的信息。在实际使用阶段，可以提高人像分割算法的精度和鲁棒性，例如，由于训练阶段引入人手关键点检测，因此使用阶段可以提高手指分割效果的精度和稳定性，由于训练阶段引入头发分割和长短发属性分类，因此使用阶段可以提高头发分割效果的精度和稳定性，使其对手指、头发等细节的分割效果更精准，更稳定；由于引入人体关键点检测，因此使用阶段可以提高不同人体姿态分割效果的精度和稳定性，使其在不同人体姿态下的分割效果更鲁棒。其中，对于目标模型训练阶段的详细内容，参见图8所示的实施例。
61.本技术实施例中，在目标模型对第一图像进行处理的过程中，运行特征提取网络以提取第一图像的目标特征，运行人像分割网络以对目标特征进行降维处理输出人像分割掩膜，不运行至少一个辅助网络。
62.也就是说，在使用阶段，仅需要运行特征提取网络和人像分割网络，输出用于人像分割的掩膜；辅助网络例如人手关键点检测网络、头发分割网络、长短发属性分类网络以及人体关键点检测网络不需要运行，以减少推理时间。因此，增加的多任务分支，并不会影响基础人像分割任务的运行耗时。
63.此外，训练过程中，由于增加了更多的标注信息，因此特征提取网络可以学习到更多、更全面、更精细的信息。在实际使用时，只需运行特征提取网络和人像分割网络，使得在不增加运行开销的情况下，提高人像分割精度。
64.步骤203中，根据人像分割掩膜，对第一图像进行人像提取，得到第二图像。
65.本技术实施例中，第二图像为第一图像中人像所在区域的图像。
66.由上述实施例可见，该实施例中，获取待分割的第一图像；将第一图像输入目标模型，通过目标模型的特征提取网络和人像分割网络对第一图像进行处理，获得人像分割掩膜；其中，目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，人像分割网络和上述至少一个辅助网络均与特征提取网络连接、且位于特征提取网络的后面，人像分割网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的轮廓特征，辅助网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的精细特征；根据人像分割掩膜，对第一图像进行人像提取，得到第二图像。
67.可见，本技术实施例中，对于需要进行人像分割的图像，可以将该图像输入目标模型进行处理，输出用于人像分割的掩膜，基于该掩膜进行人像分割，得到分割结果。由于目标模型在训练过程中除参考人像的轮廓特征之外，还会参考人像的精细特征，因此目标模型的特征提取网络可以学习到更多、更全面、更精细的人像信息，在实际使用时，只需运行目标模型的特征提取网络和人像分割网络，而无需运行其他辅助网络，在不增加运行开销的情况下，提高了人像分割的精度和稳定性。
68.图8是本技术实施例提供的一种模型训练方法的流程图，本技术实施例中，目标模型包括：特征提取网络、人像分割网络、人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；如图8所示，该方法可以包括以下步骤：步骤801、步骤802和步骤803；
69.在步骤801中，获取训练集，其中，训练集中包括：多个样本图像和各样本图像的目标标注信息，目标标注信息包括：人像分割网络对应的人像标注信息、人手关键点检测网络对应的手掌关键点标注信息、头发分割网络对应的头发标注信息、长短发属性分类网络对应的长短发属性标注信息和人体关键点检测网络对应的人体关键点标注信息。
70.本技术实施例中，考虑到参与模型训练的样本数据越多，训练得到的目标模型的效果越好，因此训练集中可以包括海量的样本图像。
71.在一些实施例中，训练集中的各样本图像和对应的目标标注信息，可以为人工标注的数据集。
72.在一些实施例中，考虑到当需要的样本数据较多时，人工标注成本比较高，为了降低成本，可以自动生成样本数据。
73.本技术实施例中，人像分割网络对应的人像标注信息包括：图像中的人像标注为1，背景标注为0；人手关键点检测网络对应的手掌关键点标注信息包括：图像中的手掌关键点标注为1，其他标注为0；头发分割网络对应的头发标注信息包括：图像中的头发标注为1，
其他标注为0；长短发属性分类网络对应的长短发属性标注信息包括：图像中的长发标注为1，短发标注为0；人体关键点检测网络对应的人体关键点标注信息包括：图像中的人体关键点标注为1，其他标注为0。其中，手掌关键点可以包括：手掌的21个主要骨节点，例如指尖、各节指骨连接处等。人体关键点可以包括：人体上有一定自由度的关节，例如颈、肩、肘、腕、腰、膝、踝等。
74.在步骤802中，构建待训练网络和对应的目标损失函数。
75.本技术实施例中，待训练网络的网络结构与目标模型的网络结构相同，也包括：特征提取网络、人像分割网络、人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络。
76.本技术实施例中，为了提高训练得到的目标模型的准确性，针对以上多个分割任务，可以设计多层级的损失函数，通过多层级的损失函数，来训练目标模型，相应地，目标损失函数是对上述第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数进行加权求和得到的损失函数。其中，当各损失函数的权重为1时，目标损失函数为第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数之和
77.在步骤803中，基于样本图像对待训练网络进行多次迭代训练，在每次迭代训练过程中，根据待训练网络输出的预测信息、目标标注信息和目标损失函数，对待训练网络中的参数进行反向传播更新，重复上述迭代过程，直至模型收敛，得到目标模型。
78.在一些实施例中，为了提高人手和姿态分割的精度，可以对人手关键点和人体关键点进行高斯模糊处理，相应地，上述步骤803包括以下步骤：步骤8031；
79.在步骤8031中，基于样本图像对待训练网络进行多次迭代训练，在每次迭代训练过程中，对目标标注信息中的手掌关键点标注信息和人体关键点标注信息进行高斯模糊处理，根据待训练网络输出的预测信息、高斯模糊处理后的手掌关键点标注信息、高斯模糊处理后的人体关键点标注信息、目标标注信息中的人像标注信息、头发标注信息、人体关键点标注信息和目标损失函数，对待训练网络中的参数进行反向传播更新，重复上述迭代过程，直至模型收敛，得到目标模型。
80.由上述实施例可见，该实施例中，由于目标模型在训练阶段中除参考人像的轮廓特征之外，还会参考人像的精细特征，因此目标模型的特征提取网络可以学习到更多、更全面、更精细的人像信息，在实际使用阶段，只需运行目标模型的特征提取网络和人像分割网络，而无需运行其他辅助网络，在不增加运行开销的情况下，提高了人像分割的精度和稳定性。
81.需要说明的是，图8是以辅助网络包括4个网络为例进行说明，在实际应用中，辅助网络包括1个或者2个或者3个网络的训练过程，与图8所示的训练过程类似，在此不再赘述。
82.图9是本技术实施例提供的一种人像分割装置的结构示意图，如图9所示，所述人像分割装置900，可以包括：获取模块901、处理模块902和分割模块903；
83.获取模块901，用于获取待分割的第一图像；
84.处理模块902，用于将所述第一图像输入目标模型，通过所述目标模型的特征提取网络和人像分割网络对所述第一图像进行处理，获得人像分割掩膜；其中，所述目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，所述人像分割网络和所述至少一个辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面，所述人像分割网
络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的轮廓特征，所述辅助网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的精细特征；
85.分割模块903，用于根据所述人像分割掩膜，对所述第一图像进行人像提取，得到第二图像。
86.由上述实施例可见，该实施例中，获取待分割的第一图像；将第一图像输入目标模型，通过目标模型的特征提取网络和人像分割网络对第一图像进行处理，获得人像分割掩膜；其中，目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，人像分割网络和上述至少一个辅助网络均与特征提取网络连接、且位于特征提取网络的后面，人像分割网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的轮廓特征，辅助网络用于在目标模型的训练过程中辅助特征提取网络学习图像中的人像的精细特征；根据人像分割掩膜，对第一图像进行人像提取，得到第二图像。
87.可见，本技术实施例中，对于需要进行人像分割的图像，可以将该图像输入目标模型进行处理，输出用于人像分割的掩膜，基于该掩膜进行人像分割，得到分割结果。由于目标模型在训练过程中除参考人像的轮廓特征之外，还会参考人像的精细特征，因此目标模型的特征提取网络可以学习到更多、更全面、更精细的人像信息，在实际使用时，只需运行目标模型的特征提取网络和人像分割网络，而无需运行其他辅助网络，在不增加运行开销的情况下，提高了人像分割的精度和稳定性。
88.可选地，作为一个实施例，所述辅助网络可以包括以下至少一项：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；其中，
89.所述人手关键点检测网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的手指特征；
90.所述头发分割网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的头发轮廓特征；
91.所述长短发属性分类网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的头发长短属性特征；
92.所述人体关键点检测网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的姿态特征。
93.可选地，作为一个实施例，所述人像分割网络的网络结构为全卷积网络；
94.所述人手关键点检测网络的网络结构为全卷积网络；
95.所述头发分割网络的网络结构为全卷积网络；
96.所述长短发属性分类网络的网络结构为全连接网络；
97.所述人体关键点检测网络的网络结构为全卷积网络。
98.可选地，作为一个实施例，当所述辅助网络的个数大于1时，每个所述辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面。
99.可选地，作为一个实施例，所述辅助网络可以包括：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；
100.所述人像分割装置900，还可以包括：训练模块，所述训练模块包括：
101.获取子模块，用于获取训练集，其中，所述训练集中包括：多个样本图像和各样本
图像的目标标注信息，所述目标标注信息包括：所述人像分割网络对应的人像标注信息、所述人手关键点检测网络对应的手掌关键点标注信息、所述头发分割网络对应的头发标注信息、所述长短发属性分类网络对应的长短发属性标注信息和所述人体关键点检测网络对应的人体关键点标注信息；
102.构建子模块，用于构建待训练网络和对应的目标损失函数；
103.训练子模块，用于基于所述样本图像对所述待训练网络进行多次迭代训练，在每次迭代训练过程中，根据所述待训练网络输出的预测信息、所述目标标注信息和所述目标损失函数，对所述待训练网络中的参数进行反向传播更新，重复上述迭代过程，直至模型收敛，得到所述目标模型。
104.可选地，作为一个实施例，所述训练子模块，可以包括：
105.训练单元，用于在每次迭代训练过程中，对所述目标标注信息中的手掌关键点标注信息和人体关键点标注信息进行高斯模糊处理，根据所述待训练网络输出的预测信息、所述高斯模糊处理后的手掌关键点标注信息、所述高斯模糊处理后的人体关键点标注信息、所述目标标注信息中的人像标注信息、头发标注信息、人体关键点标注信息和所述目标损失函数，对所述待训练网络中的参数进行反向传播更新。
106.可选地，作为一个实施例，所述目标损失函数是对第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数进行加权求和得到的损失函数；
107.其中，所述人像分割网络在模型训练时的损失函数为第一损失函数，所述第一损失函数为交叉熵损失函数；
108.所述人手关键点检测网络在模型训练时的损失函数为第二损失函数，所述第二损失函数为focal损失函数；
109.所述头发分割网络在模型训练时的损失函数为第三损失函数，所述第三损失函数为交叉熵损失函数；
110.所述长短发属性分类网络在模型训练时的损失函数为第四损失函数，所述第四损失函数为交叉熵损失函数；
111.所述人体关键点检测网络在模型训练时的损失函数为第五损失函数，所述第五损失函数为focal损失函数。
112.本技术提供的人像分割方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由人像分割装置中的相应的模块完成人像分割装置中的各个模块完成的相应的操作的过程参考在人像分割方法的实施例中描述的相应的操作的过程。
113.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
114.图10是本技术实施例提供的一种电子设备的结构框图。电子设备包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理组件1022执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述方法。
115.电子设备还可以包括一个电源组件1026被配置为执行电子设备的电源管理，一个有线或无线网络接口1050被配置为将电子设备连接到网络，和一个输入输出(i/o)接口
1058。电子设备可以操作基于存储在存储器1032的操作系统，例如windows servertm，macos xtm，unixtm，linuxtm，freebsdtm或类似。
116.根据本技术的再一个实施例，本技术还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的人像分割方法中的步骤。
117.根据本技术的再一个实施例，本技术还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的人像分割方法中的步骤。
118.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
119.本领域内的技术人员应明白，本技术实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
120.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
121.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
122.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
123.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
124.以上对本技术所提供的一种人像分割方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申
请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种人像分割方法，其特征在于，所述方法包括：获取待分割的第一图像；将所述第一图像输入目标模型，通过所述目标模型的特征提取网络和人像分割网络对所述第一图像进行处理，获得人像分割掩膜；其中，所述目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，所述人像分割网络和所述至少一个辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面，所述人像分割网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的轮廓特征，所述辅助网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的精细特征；根据所述人像分割掩膜，对所述第一图像进行人像提取，得到第二图像。2.根据权利要求1所述的方法，其特征在于，所述辅助网络包括以下至少一项：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；其中，所述人手关键点检测网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的手指特征；所述头发分割网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的头发轮廓特征；所述长短发属性分类网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的头发长短属性特征；所述人体关键点检测网络，用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的姿态特征。3.根据权利要求2所述的方法，其特征在于，所述人像分割网络的网络结构为全卷积网络；所述人手关键点检测网络的网络结构为全卷积网络；所述头发分割网络的网络结构为全卷积网络；所述长短发属性分类网络的网络结构为全连接网络；所述人体关键点检测网络的网络结构为全卷积网络。4.根据权利要求2或3所述的方法，其特征在于，当所述辅助网络的个数大于1时，每个所述辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面。5.根据权利要求1-3任一项所述的方法，其特征在于，所述辅助网络包括：人手关键点检测网络、头发分割网络、长短发属性分类网络和人体关键点检测网络；所述目标模型通过如下过程训练得到：获取训练集，其中，所述训练集中包括：多个样本图像和各样本图像的目标标注信息，所述目标标注信息包括：所述人像分割网络对应的人像标注信息、所述人手关键点检测网络对应的手掌关键点标注信息、所述头发分割网络对应的头发标注信息、所述长短发属性分类网络对应的长短发属性标注信息和所述人体关键点检测网络对应的人体关键点标注信息；构建待训练网络和对应的目标损失函数；
基于所述样本图像对所述待训练网络进行多次迭代训练，在每次迭代训练过程中，根据所述待训练网络输出的预测信息、所述目标标注信息和所述目标损失函数，对所述待训练网络中的参数进行反向传播更新，重复上述迭代过程，直至模型收敛，得到所述目标模型。6.根据权利要求5所述的方法，其特征在于，所述在每次迭代训练过程中，根据所述待训练网络输出的预测信息、所述目标标注信息和所述目标损失函数，对所述待训练网络中的参数进行反向传播更新，包括：在每次迭代训练过程中，对所述目标标注信息中的手掌关键点标注信息和人体关键点标注信息进行高斯模糊处理，根据所述待训练网络输出的预测信息、所述高斯模糊处理后的手掌关键点标注信息、所述高斯模糊处理后的人体关键点标注信息、所述目标标注信息中的人像标注信息、头发标注信息、人体关键点标注信息和所述目标损失函数，对所述待训练网络中的参数进行反向传播更新。7.根据权利要求5所述的方法，其特征在于，所述目标损失函数是对第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数进行加权求和得到的损失函数；其中，所述人像分割网络在模型训练时的损失函数为第一损失函数，所述第一损失函数为交叉熵损失函数；所述人手关键点检测网络在模型训练时的损失函数为第二损失函数，所述第二损失函数为focal损失函数；所述头发分割网络在模型训练时的损失函数为第三损失函数，所述第三损失函数为交叉熵损失函数；所述长短发属性分类网络在模型训练时的损失函数为第四损失函数，所述第四损失函数为交叉熵损失函数；所述人体关键点检测网络在模型训练时的损失函数为第五损失函数，所述第五损失函数为focal损失函数。8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法。9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。

技术总结
本申请实施例公开一种人像分割方法、电子设备及存储介质，该方法包括：获取待分割的第一图像；将第一图像输入目标模型，通过目标模型的特征提取网络和人像分割网络对第一图像进行处理，获得人像分割掩膜；所述目标模型包括：特征提取网络、人像分割网络和至少一个辅助网络，所述人像分割网络和所述至少一个辅助网络均与所述特征提取网络连接、且位于所述特征提取网络的后面，所述人像分割网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的轮廓特征，所述辅助网络用于在所述目标模型的训练过程中辅助所述特征提取网络学习图像中的人像的精细特征；根据所述人像分割掩膜，对所述第一图像进行人像提取，得到第二图像。得到第二图像。得到第二图像。


技术研发人员：赵荔 金宇林
受保护的技术使用者：北京旷视科技有限公司
技术研发日：2023.03.20
技术公布日：2023/7/19