虚拟试衣方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种虚拟试衣方法、装置、电子设备及存储介质。


背景技术：

2.随着计算机技术和互联网科技的发展，网上购物成为了越来越多的人的购物选择。但是网上购物也存在着一些问题，例如，如果在网上购买服装，无法像在线下实体店一样先试衣再购买，就会导致服装样式并不完全适合消费者或者并不能完全达到消费者的需求等问题。
3.基于此，产生了利用计算机进行虚拟试衣的研究。主流的虚拟试衣技术又分为两种：基于三维重建的虚拟试衣技术和基于深度学习的虚拟试衣技术。但是现有技术中普遍着存在服装会产生不自然、不均匀的翘曲问题，无法很好的贴合人体，也就不能得到较好的试衣结果。


技术实现要素：

4.为了解决上述技术问题，本技术实施例提供了一种虚拟试衣方法、装置、电子设备及存储介质。
5.第一方面，本技术实施例提供了一种虚拟试衣方法，所述方法包括：
6.基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；
7.将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；
8.将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；
9.根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；
10.将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。
11.在一实施方式中，所述基于实时图像获取待换衣人物图像，包括：
12.获取所述实时图像，并将所述实时图像裁剪为预设尺寸，得到裁剪图像；
13.去除所述裁剪图像的背景，得到所述待换衣人物图像。
14.在一实施方式中，所述语义生成模型包括特征提取模块、特征增强模块和语义生成模块，所述将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像，包括：
15.将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像通过所述特征提取模块，得到多个初始特征图；
16.将多个所述初始特征图通过所述特征增强模块进行融合，得到增强特征图；
17.将所述增强特征图通过所述语义生成模块，得到所述人体语义优化图像。
18.在一实施方式中，所述特征增强模块包括通道注意力块、空间注意力块和跳跃连接结构；
19.所述通道注意力块根据公式
[0020][0021]
提取通道注意力特征，其中，表示通道注意力特征，σ表示sigmoid函数，avgpool表示平均池化，maxpool表示最大池化，mlp表示多层感知器，f表示所述特征增强模块的输入；
[0022]
所述空间注意力块根据公式
[0023][0024]
提取空间注意力特征，其中，f3×3表示卷积核大小为3
×
3的卷积运算，和分别表示经过通道注意力处理的f在通道方向上进行平均池化和最大池化得到的特征图。
[0025]
在一实施方式中，所述服装外观流生成网络包括第一编码模块、第二编码模块、自注意力模块、上采样模块和变形模块，所述将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像，包括：
[0026]
将所述待换衣人物图像通过所述第一编码模块得到人物特征，将所述服装图像通过所述第二编码模块得到服装特征；
[0027]
将所述人物特征和所述服装特征融合为全局风格向量；
[0028]
将所述全局风格向量通过所述自注意力模块，得到增强向量；
[0029]
将所述增强向量通过所述上采样模块，得到服装外观流；
[0030]
将所述服装外观流通过所述变形模块，得到所述粗糙变形服装图像。
[0031]
在一实施方式中，所述人体语义优化图像包括面容语义部分、发型语义部分、脖颈语义部分、手臂语义部分和服装语义部分，所述根据所述人体语义优化图像得到服装语义部分，包括：
[0032]
从所述人体语义优化图像中分离得到所述服装语义部分。
[0033]
在一实施方式中，所述根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像，包括：
[0034]
将所述服装语义部分与所述粗糙变形服装图像同一位置上的元素进行逐个相乘运算，得到所述精细变形服装图像。
[0035]
第二方面，本技术实施例提供了一种虚拟试衣装置，所述装置包括：
[0036]
获取模块，用于基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；
[0037]
第一生成模块，用于将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；
[0038]
第二生成模块，用于将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；
[0039]
校正模块，用于根据所述人体语义优化图像得到服装语义部分，根据所述服装语
义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；
[0040]
第三生成模块，用于将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。
[0041]
第三方面，本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的虚拟试衣方法。
[0042]
第四方面，本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的虚拟试衣方法。
[0043]
上述本技术提供的虚拟试衣方法，可以使虚拟试衣更加贴合人体，能使人和衣完美融合，同时保持衣服的外观特征不变性。人体穿衣后，也可以保证人体语义信息的不变性，即如手，头等无衣服遮挡的区域要保持不变区域，和穿衣前一致。较大的提高了虚拟试衣的实用性和可靠性。
附图说明
[0044]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对本技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0045]
图1示出了本技术实施例提供的虚拟试衣方法的一流程示意图；
[0046]
图2示出了本技术实施例提供的得到人体语义优化图像的一流程示意图；
[0047]
图3示出了本技术实施例提供的特征增强模块的一结构示意图；
[0048]
图4示出了本技术实施例提供的得到粗糙变形服装图像的一流程示意图；
[0049]
图5示出了本技术实施例提供的得到精细变形服装图像的一流程示意图；
[0050]
图6示出了本技术实施例提供的得到虚拟试衣结果的一流程示意图；
[0051]
图7示出了本技术实施例提供的虚拟试衣装置的一结构示意图。
具体实施方式
[0052]
下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
[0053]
通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0054]
在下文中，可在本技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
[0055]
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0056]
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本技术的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本技术的各种实施例中被清楚地限定。
[0057]
实施例1
[0058]
本公开实施例提供了一种虚拟试衣方法。
[0059]
具体的，参见图1，虚拟试衣方法包括：
[0060]
步骤s110，基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；
[0061]
在一实施方式中，所述基于实时图像获取待换衣人物图像，包括：获取所述实时图像，并将所述实时图像裁剪为预设尺寸，得到裁剪图像；去除所述裁剪图像的背景，得到所述待换衣人物图像。
[0062]
具体地，可以根据摄像设备实时获取的实时图像中，采集人体图像。可以使用intel realsense实时采集待换衣人物的图像，然后我们需要将采集的图像裁剪为标准的256
×
192大小的尺寸，这个尺寸是为了和vton虚拟试衣数据集的图像大小保持一致。为了防止背景对换衣效果的干扰，我们需要从人物从背景中抠出来，因此，我们使用了百度飞桨的人物抠图算法paddleseg。由于从实际场景中获取的人物图像质量偏暗，我们对从背景中的人物图像进行了色彩对比度增强和图像锐化。
[0063]
人体语义粗分割图像是基于现有的人体分割数据集设计并训练了一个基于残差连接增强块的u-net模型，应用于虚拟试衣任务中得到。具体地，是将人体图像分割为多个具有细粒度语义的部分，比如身体部位和衣服等，目的是为模型提供更多的人物信息，实现更舒适和理想的换衣效果。
[0064]
步骤s120，将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；
[0065]
在一实施方式中，所述语义生成模型包括特征提取模块、特征增强模块和语义生成模块，所述将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像，包括：
[0066]
将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像通过所述特征提取模块，得到多个初始特征图；将多个所述初始特征图通过所述特征增强模块进行融合，得到增强特征图；将所述增强特征图通过所述语义生成模块，得到所述人体语义优化图像。
[0067]
语义生成模型输入包括待换衣人物图像p,服装图像g和人体语义粗分割图像pm。此处由于服装形式多样，有的服装带有领子，有的服装是长袖或者短袖，因此，脖子和手臂的语义信息会在化妆之后发生变化，因此，我们将待换衣人物的语义分割图中的脖子和手臂的语义信息设置为和服装相同的语义。通过改进的unet模型生成换衣之后的人物的人体语义优化图像p
t
。
[0068]
具体地，请参见图2，pr是p没换衣之后的人体语义分割图，p
t
是红色标记1换衣之后的人体语义分割图，它们的差别在于p和g的服装不同。也就是说会因为g这件衣服是否是长袖或者是否有领子而更改这个人的人体语义分割图。所以我们在生成p
t
时，会把pr的脖子和手臂区域设置为与上半身语义一样的颜色，从而让模型在生成p
t
时，在手臂和脖子区域的
划分更符合要换的衣服的袖子和领子的形状。
[0069]
基于此，本实施例提供的语义生成模型借助浅层的视觉信息解决像素定位问题，借助深层的特征信息解决像素分类问题，同时利用注意力机制对特征进行整合和再加工。
[0070]
在一实施方式中，所述特征增强模块包括通道注意力块、空间注意力块和跳跃连接结构；
[0071]
请参见图3，图3示出了特征增强模块的结构示意图。所述通道注意力块根据公式1：
[0072][0073]
提取通道注意力特征，其中，表示通道注意力特征，σ表示sigmoid函数，avgpool表示平均池化，maxpool表示最大池化，mlp表示多层感知器，f表示所述特征增强模块的输入；
[0074]
所述空间注意力块根据公式2：
[0075][0076]
提取空间注意力特征，其中，f3×3表示卷积核大小为3
×
3的卷积运算，和分别表示经过通道注意力处理的f在通道方向上进行平均池化和最大池化得到的特征图。
[0077]
特征增强模块是语义生成模型的重要组成部分，还可以将公式1继续运算得到公式3：
[0078][0079]
步骤s130，将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；
[0080]
在现有技术中，使用基于薄板样条插值算法进行服装翘曲会使服装产生不自然和不均匀的翘曲。为了实现更自然的服装翘曲，我们设计了一个服装外观流生成网络通过反向传播算法，以估计稠密的外观流以应对复杂的服装外观变化。
[0081]
在一实施方式中，所述服装外观流生成网络包括第一编码模块、第二编码模块、自注意力模块、上采样模块和变形模块，所述将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像，包括：
[0082]
将所述待换衣人物图像通过所述第一编码模块得到人物特征，将所述服装图像通过所述第二编码模块得到服装特征；将所述人物特征和所述服装特征融合为全局风格向量；将所述全局风格向量通过所述自注意力模块，得到增强向量；将所述增强向量通过所述上采样模块，得到服装外观流；将所述服装外观流通过所述变形模块，得到所述粗糙变形服装图像。
[0083]
请参见图4，具体地，服装外观流生成网络由两个卷积编码器e
p
和eg组成,分别提取人物和服装的特征，e
p
和eg是由4层的下采样卷积层组成，并将人物特征和服装特征进行融合得到全局风格向量z，在这里我们采用的直接拼接的方式，即：
[0084]
s＝[e
p
(p),eg(g)]
[0085]
为了使人物特征和服装特征更好的融合，我们采用了我们使用自注意力机制增强全局风格向量的表达：
[0086]z′
＝softmax(mlp(z))
·z[0087]
然后我们使用了一个四层的上采样卷积层d估计服装外观流f，最后通过上采样算子对服装进行粗糙的变形，即：
[0088]
f＝d(z
′
)
[0089]g′
＝s(g，f)
[0090]
步骤s140，根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；
[0091]
请参见图5，由于服装外观流向量f的生成是从全局风格向量中获得，缺乏对局部细节的描述，由此会产生变形服装不自然的翘曲。因此，我们从人体语义图p
t
中获取变形服装的语义图gm，并对粗糙的变形服装g
′
进行局部矫正，从而获得精细化的变形服装g
″
，具体公式如下所示：
[0092]g″
＝g
′⊙gm
[0093]
这一公式代表，将服装语义部分对应的矩阵与粗糙变形服装图像对应的矩阵上同一位置的元素进行相乘，例如，将服装语义部分对应的矩阵第i行第j列上的元素与粗糙变形服装图像对应的矩阵上第i行第j列上的元素进行相乘。那么新得到的结果矩阵第i行第j列上的元素就是确定的。以此类推，最终得到的数据矩阵就是精细变形服装图像对应的矩阵。
[0094]
在一实施方式中，所述人体语义优化图像包括面容语义部分、发型语义部分、脖颈语义部分、手臂语义部分和服装语义部分，所述根据所述人体语义优化图像得到服装语义部分，包括：从所述人体语义优化图像中分离得到所述服装语义部分。
[0095]
在一实施方式中，所述根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像，包括：
[0096]
将所述服装语义部分与所述粗糙变形服装图像同一位置上的元素进行逐个相乘运算，得到所述精细变形服装图像。
[0097]
步骤s150，将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。
[0098]
请参见图6，为了将服装高效、自然地迁移到待换衣人物的身上，我们使用了生成服装语义图的具有残差连接增强块的u-net模型，即在u-net模型的跳跃连接结构中添加特征增强模块。由于特征增强模块可以优化提取的特征并关注上下文信息，因此产生的结果更加符合真实的结果。
[0099]
在这里，我们除了将待换衣人物p和变形的衣服g
″
作为该模型的输入，同时我们也将人体语义分割图p
t
作为模型的输入，而不需要额外的精细化操作。最后，该模型可以根据人体语义图p
t
更好的完成p和g
″
的融合，生成所需的试穿效果。
[0100]
需要注意的是，与步骤s120使用同样的具有残差连接增强块的u-net模型可以得到不同的输出结果是因为：首先对于虚拟试衣任务来说，存在公共数据集，而且数据集提供了换衣之后的人物语义图和换衣效果图。所以在第一个模型中，通过u-net模型输入p、pm、g三种数据后，生成预测的人体语义图，标签是数据集提供的换衣后的人体语义图，两者通过损失函数进行训练优化就可以；第二个u-net也是同样道理，输入数据后，生成换装之后的人物图像，标签是数据集提供的真实的换装后图像，两者通过一些损失函数进行训练和优
化。这两个模型的结构是一样的，不同的是他们的输入和输出不一样，也就是任务不一样。因此，相同的模型可以完成不同的任务。
[0101]
本实施例提供的虚拟试衣方法，可以使虚拟试衣更加贴合人体，能使人和衣完美融合，同时保持衣服的外观特征不变性。人体穿衣后，也可以保证人体语义信息的不变性，即如手，头等无衣服遮挡的区域要保持不变区域，和穿衣前一致。较大的提高了虚拟试衣的实用性和可靠性。
[0102]
实施例2
[0103]
此外，本公开实施例提供了一种虚拟试衣装置。
[0104]
具体的，如图7所示，虚拟试衣装置700包括：
[0105]
获取模块710，用于基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；
[0106]
第一生成模块720，用于将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；
[0107]
第二生成模块730，用于将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；
[0108]
校正模块740，用于根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；
[0109]
第三生成模块750，用于将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。
[0110]
本实施例提供的虚拟试衣装置700可以实现实施例1所提供的虚拟试衣方法，为避免重复，在此不再赘述。
[0111]
本实施例提供的虚拟试衣装置，可以使虚拟试衣更加贴合人体，能使人和衣完美融合，同时保持衣服的外观特征不变性。人体穿衣后，也可以保证人体语义信息的不变性，即如手，头等无衣服遮挡的区域要保持不变区域，和穿衣前一致。较大的提高了虚拟试衣的实用性和可靠性。
[0112]
实施例3
[0113]
此外，本公开实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的虚拟试衣方法。
[0114]
本发明实施例提供的电子设备可以实现实施例1所提供的虚拟试衣方法，为避免重复，在此不再赘述。
[0115]
本实施例提供的电子设备，可以使虚拟试衣更加贴合人体，能使人和衣完美融合，同时保持衣服的外观特征不变性。人体穿衣后，也可以保证人体语义信息的不变性，即如手，头等无衣服遮挡的区域要保持不变区域，和穿衣前一致。较大的提高了虚拟试衣的实用性和可靠性。
[0116]
实施例4
[0117]
本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的虚拟试衣方法。
[0118]
在本实施例中，计算机可读存储介质可以为只读存储器(read-only memory，简称
rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0119]
本实施例提供的计算机可读存储介质可以实现实施例1所提供的虚拟试衣方法，为避免重复，在此不再赘述。
[0120]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
[0121]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0122]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和保护范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种虚拟试衣方法，其特征在于，所述方法包括：基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述基于实时图像获取待换衣人物图像，包括：获取所述实时图像，并将所述实时图像裁剪为预设尺寸，得到裁剪图像；去除所述裁剪图像的背景，得到所述待换衣人物图像。3.根据权利要求1所述的虚拟试衣方法，其特征在于，所述语义生成模型包括特征提取模块、特征增强模块和语义生成模块，所述将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像，包括：将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像通过所述特征提取模块，得到多个初始特征图；将多个所述初始特征图通过所述特征增强模块进行融合，得到增强特征图；将所述增强特征图通过所述语义生成模块，得到所述人体语义优化图像。4.根据权利要求3所述的虚拟试衣方法，其特征在于，所述特征增强模块包括通道注意力块、空间注意力块和跳跃连接结构；所述通道注意力块根据公式：提取通道注意力特征，其中，表示通道注意力特征，σ表示sigmoid函数，avgpool表示平均池化，maxpool表示最大池化，mlp表示多层感知器，f表示所述特征增强模块的输入；所述空间注意力块根据公式：提取空间注意力特征，其中，f3×3表示卷积核大小为3
×
3的卷积运算，和分别表示经过通道注意力处理的f在通道方向上进行平均池化和最大池化得到的特征图。5.根据权利要求1所述的虚拟试衣方法，其特征在于，所述服装外观流生成网络包括第一编码模块、第二编码模块、自注意力模块、上采样模块和变形模块，所述将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像，包括：将所述待换衣人物图像通过所述第一编码模块得到人物特征，将所述服装图像通过所述第二编码模块得到服装特征；将所述人物特征和所述服装特征融合为全局风格向量；
将所述全局风格向量通过所述自注意力模块，得到增强向量；将所述增强向量通过所述上采样模块，得到服装外观流；将所述服装外观流通过所述变形模块，得到所述粗糙变形服装图像。6.根据权利要求1所述的虚拟试衣方法，其特征在于，所述人体语义优化图像包括面容语义部分、发型语义部分、脖颈语义部分、手臂语义部分和服装语义部分，所述根据所述人体语义优化图像得到服装语义部分，包括：从所述人体语义优化图像中分离得到所述服装语义部分。7.根据权利要求1所述的虚拟试衣方法，其特征在于，所述根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像，包括：将所述服装语义部分与所述粗糙变形服装图像同一位置上的元素进行逐个相乘运算，得到所述精细变形服装图像。8.一种虚拟试衣装置，其特征在于，所述装置包括：获取模块，用于基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；第一生成模块，用于将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；第二生成模块，用于将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；校正模块，用于根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；第三生成模块，用于将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的虚拟试衣方法。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的虚拟试衣方法。

技术总结
本发明的实施例提供了一种虚拟试衣方法、装置、电子设备及存储介质，涉及图像处理技术领域。包括：基于实时图像获取待换衣人物图像、服装图像和人体语义粗分割图像；将所述待换衣人物图像、所述服装图像和所述人体语义粗分割图像输入语义生成模型，得到人体语义优化图像；将所述待换衣人物图像和所述服装图像输入服装外观流生成网络，得到粗糙变形服装图像；根据所述人体语义优化图像得到服装语义部分，根据所述服装语义部分对所述粗糙变形服装图像进行校正，得到精细变形服装图像；将所述精细变形服装图像、所述待换衣人物图像和所述人体语义优化图像输入所述语义生成模型，得到虚拟试衣结果。较大的提高了虚拟试衣的实用性和可靠性。可靠性。可靠性。


技术研发人员：张少林 张超速 石园
受保护的技术使用者：威富视界（北京）科技有限公司
技术研发日：2023.04.06
技术公布日：2023/7/21