一种非对称素描图像的生成方法及装置

1.本说明书属于图像数据转换技术领域，尤其涉及一种非对称素描图像的生成方法及装置。


背景技术：

2.在现有技术中，通常基于生成对抗网络模型将光学图像转换为对应的素描图像。但是，生成对抗网络模型难以在非对称输入的前提下对具有不同语义的光学图像的局部进行精细化处理，这导致生成的素描图像较为粗糙、局部细节欠缺。
3.针对上述技术问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本说明书提供了一种非对称素描图像的生成方法及装置，能够解决现有技术中无法生成局部细节完整精致的非对称素描图像的问题。
5.本说明书实施例的目的是提供一种非对称素描图像的生成方法，包括：
6.获取目标光学图像；其中，所述目标光学图像包含有目标对象；
7.利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
8.进一步地，所述方法的另一个实施例中，按照以下方式，进行关于目标全局模型的当前轮的训练：
9.获取当前轮的样本数据；其中，所述样本数据包括样本光学图像、样本素描图像；
10.利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果；其中，所述全局特征优化损失包括：全局生成对抗损失、全局多层块对比损失；
11.对所述样本数据、所述第一训练结果进行图像分割，分别得到样本数据的局部图像、第一训练结果的局部图像；其中，所述样本数据的局部图像包括：样本光学局部图像、样本素描局部图像；
12.利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失；其中，所述局部特征优化损失包括：局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失；
13.获取当前轮的训练次数；并检测当前轮的训练次数是否小于预设的训练次数阈值；
14.在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
15.进一步地，所述方法的另一个实施例中，所述全局模型，包括全局生成器、全局判别器、全局提取器；所述局部模型，包括局部生成器、局部判别器、局部提取器。
16.进一步地，所述方法的另一个实施例中，所述利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果，包括：
17.利用所述全局生成器处理所述样本光学图像，得到第一训练结果以及第一中间图像；
18.利用所述全局判别器处理所述第一训练结果和所述样本素描图像，得到全局生成对抗损失；
19.利用所述全局提取器处理所述第一中间图像和所述第一训练结果，得到全局多层块对比损失。
20.进一步地，所述方法的另一个实施例中，所述利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失，包括：
21.利用所述局部生成器处理所述样本光学局部图像，得到第二训练结果以及第二中间图像；
22.利用所述局部判别器处理所述样本素描局部图像、所述第一训练结果的局部图像，得到全局部分生成对抗损失；
23.利用所述局部判别器处理所述样本素描局部图像、所述第二训练结果，得到局部生成对抗损失；
24.利用所述局部提取器处理所述第二中间图像、所述第一训练结果的局部图像，得到全局部分多层块对比损失；
25.利用所述局部提取器处理所述第二中间图像、所述第二训练结果，得到局部多层块对比损失。
26.进一步地，所述方法的另一个实施例中，所述在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，包括：
27.确定局部一致损失；
28.根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；
29.根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；
30.根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；
31.组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；
32.根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；
33.根据所述局部生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；
34.根据所述局部多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；
35.组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。
36.进一步地，所述方法的另一个实施例中，所述方法还包括：
37.在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
38.进一步地，所述方法的另一个实施例中，所述在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，包括：
39.确定局部一致损失；
40.根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失、所述全局部分生成对抗损失、所述全局部分多层块对比损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；
41.根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；
42.根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；
43.组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；
44.根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；
45.根据所述局部生成对抗损失、所述全局部分生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；
46.根据所述局部多层块对比损失、所述全局部分多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；
47.组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。
48.另一方面，本说明书实施例还提供了一种非对称素描图像的生成装置，包括：
49.获取模块，用于获取目标光学图像；其中，所述目标光学图像包含有目标对象；
50.处理模块，用于利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
51.再一方面，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机可读存储介质执行所述指令时实现上述非对称素描图像的生成方法。
52.本说明书实施例提供的一种非对称素描图像的生成方法，通过获取目标光学图像；其中，所述目标光学图像包含有目标对象；利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基
于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
53.进一步，可以按照以下方式，进行关于目标全局模型的当前轮的训练：获取当前轮的样本数据；其中，所述样本数据包括样本光学图像、样本素描图像；利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果；其中，所述全局特征优化损失包括：全局生成对抗损失、全局多层块对比损失；对所述样本数据、所述第一训练结果进行图像分割，分别得到样本数据的局部图像、第一训练结果的局部图像；其中，所述样本数据的局部图像包括：样本光学局部图像、样本素描局部图像；利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失；其中，所述局部特征优化损失包括：局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失；获取当前轮的训练次数；并检测当前轮的训练次数是否小于预设的训练次数阈值；在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
附图说明
54.为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1是本说明书提供的一种非对称素描图像的生成方法一个实施例的流程示意图；
56.图2是本说明书提供的一种关于目标全局模型的当前轮的训练过程一个实施例的流程示意图；
57.图3是本说明书提供的一种全局模型与局部模型一个实施例的流程示意图；
58.图4是本说明书提供的一种计算多层块对比损失一个实施例的流程示意图；
59.图5是本说明书提供的一种非对称素描图像的生成装置一个实施例的模块结构示意图；
60.图6是本说明书提供的一种服务器的结构组成示意图。
具体实施方式
61.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
62.考虑到在一种现有技术中，通常基于单个的生成对抗网络模型将光学图像转换为对应的素描图像。但是，该生成对抗网络模型采用整体生成的形式，难以对具有不同语义、不同特征的光学图像的局部进行精细化处理，这导致生成的素描图像较为粗糙、局部细节欠缺、局部特征丢失。
63.进一步，还考虑到在另一种现有技术中，还可以基于多个生成对抗网络模型将光学图像转换为素描图像，其中，一部分生成对抗网络模型用于生成全局的蒙版图像，另一部分生成对抗网络模型用于生成局部的细化图像，然后将全局的蒙版图像、局部的细化图像进行裁剪、拼接，最后得到了素描图像。这种方法以对称图像作为输入，然而在实际应用中还会输入非对称图像，因而难以取得较好的实际生成效果。
64.针对现有方法存在的上述问题以及产生上述问题的具体原因，本技术引入基于全局特征优化损失和局部特征优化损失的非对称素描图像的生成方法，以生成精致准确的非对称素描图像。
65.基于上述思路，参阅图1所示，本说明书提出一种非对称素描图像的生成方法，该方法包括以下内容。
66.s101：获取目标光学图像；其中，所述目标光学图像包含有目标对象。
67.s202：利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
68.在一些实施例中，所述目标对象可以包括人脸、动物的面部等等，本说明书对目标对象的种类不做限定；所述目标对象是一种非对称的图像。
69.在一些实施例中，目标全局模型是对预先构建的初始全局模型进行多次训练而得到的。
70.在一些实施例中，目标全局模型可以为生成对抗神经网络模型；预设的局部模型可以为生成对抗神经网络模型。
71.在一些实施例中，参阅图2所示，可以按照以下方式，进行关于目标全局模型的当前轮的训练。
72.s201：获取当前轮的样本数据；其中，所述样本数据包括样本光学图像、样本素描图像。
73.在一些实施例中，样本数据可以是一种非对称的图像数据。本说明书实施例以样本光学图像为人脸光学图像、样本素描图像为人脸素描图像为例进行示例性说明。样本光学图像和样本素描图像不限于上述举例，所属领域技术人员在本说明书实施例技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本说明书实施例相同或相似，均应涵盖于本说明书实施例保护范围内。
74.s202：利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果；其中，所述全局特征优化损失包括：全局生成对抗损失、全局多层块对比损失。
75.在一些实施例中，所述全局模型，包括全局生成器、全局判别器、全局提取器。
76.在一些实施例中，将全局生成器记为g，将全局判别器记为d，将全局提取器记为h。
77.在一些实施例中，全局生成器用于将输入的样本光学图像转换为对应的素描图像(即第一训练结果)。样本素描图像中包括大量的、真实的素描图像，这些大量的、真实的素描图像会存在一个特定的概率分布。因此全局判别器用于判别通过全局生成器转换而得到的第一训练结果，是真实的素描图像还是转换的素描图像，并给出第一训练结果来源于样本素描图像的概率分布，这个概率分布的取值范围为[0,1]。全局生成器的转换效果越好，得到的第一训练结果就越逼真(越接近真实的素描图像)，因此全局判别器给出的概率分布
就越接近1。在训练的过程中，全局生成器多次将输入的样本光学图像转换为对应的素描图像，全局判别器多次判别通过全局生成器转换而得到的素描图像，是真实的素描图像还是转换的素描图像，二者往复循环，利用全局判别器给出的素描图像来源于样本素描图像的概率分布不断优化全局判别器、全局生成器，全局生成器能够生成较为逼真准确的素描图像，而全局判别器具有更加准确的判别能力，能够识别出不够逼真的素描图像，促使全局生成器生成更加逼真准确的素描图像。
[0078]
在一些实施例中，全局提取器用于计算第一训练结果和样本光学图像之间的损失，并利用该损失优化调整全局提取器与全局生成器。
[0079]
在一些实施例中，所述利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果，具体实施时，可以包括：
[0080]
s1：利用所述全局生成器处理所述样本光学图像，得到第一训练结果以及第一中间图像；
[0081]
s2：利用所述全局判别器处理所述第一训练结果和所述样本素描图像，得到全局生成对抗损失；
[0082]
s3：利用所述全局提取器处理所述第一中间图像和所述第一训练结果，得到全局多层块对比损失。
[0083]
在一些实施例中，全局生成器包括：全局编码器、全局解码器；全局编码器包括：输入层、多个中间层。
[0084]
在一些实施例中，全局生成器可以按照如下步骤，将输入的样本光学图像转换为对应的素描图像(即第一训练结果)：样本光学图像首先输入至全局编码器中的输入层进行处理，得到输入层处理结果，将输入层处理结果依次输入到多个中间层，多个中间层依次进行处理，依次得到多个中间层处理结果；然后，将最后一个中间层的处理结果输入到全局解码器进行处理，得到了第一训练结果。
[0085]
在一些实施例中，将多个中间层依次处理的处理结果作为第一中间图像，第一中间图像是全局提取器的输入图像，第一中间图像包括多张图像。
[0086]
在一些实施例中，将第一个中间层的处理结果作为第一中间图像的第一张图，将第一个中间层与第二个中间层依次处理的结果作为第一中间图像的第二张图，将第一个中间层、第二个中间层、第三个中间层依次处理的结果作为第一中间图像的第三张图，以此类推，一共可以得到m张第一中间图像，m表示中间层的层数。
[0087]
在一些实施例中，所述利用所述全局判别器处理所述第一训练结果和所述样本素描图像，得到全局生成对抗损失，具体实施时，可以包括：
[0088]
按照如下算式，计算全局生成对抗损失：
[0089][0090]
其中，l
gan
表示全局生成对抗损失，p表示所有样本光学图像的集合，s表示所有样本素描图像的集合，表示输入的pi在p数据集合中的期望操作，pi表示当前轮的样本光学图像，sj表示当前轮的样本素描图像，函数d(*)表示全局判别器对输入图像做降采样操作，函数g(*)表示全局生成器对输入图像做迁移操作。
[0091]
在一些实施例中，全局生成对抗损失可以表征第一训练结果和样本素描图像之间
的关联程度。
[0092]
在一些实施例中，利用所述全局提取器处理所述第一中间图像和所述第一训练结果，得到全局多层块对比损失，具体实施时，可以包括：
[0093]
s1：利用所述全局提取器计算所述第一中间图像和所述第一训练结果之间的交叉熵损失；
[0094]
s2：根据所述第一中间图像和所述第一训练结果之间的交叉熵损失，确定全局多层块对比损失。
[0095]
在一些实施例中，第一中间图像有多张，将第一个中间层输出的第一中间图像作为第一目标图像。在获取到目标图像之后，利用全局提取器从目标图像中随机选取n+1个图像块，该图块可以是1像素
×
1像素的图像块。然后，将第一训练结果输入到全局生成器中的全局编码器里，利用全局编码器的多个中间层，得到了多张第一训练结果的中间图像，将第一个中间层输出的第一训练结果的中间图像作为第二目标图像，从第二目标图像中的相同位置，同样确定出n+1个图像块。从第一目标图像中的n+1个图像块中，选择一个图像块作为正类块，其余的n个图像块作为负类块。将第二目标图像中和正类块位置相同的图像块作为查询块。按照如下算式，计算查询块与正类块之间的交叉熵损失：
[0096][0097]
其中，函数l表示交叉熵损失函数，v为查询块的图像张量，v
+
为正类块的图像张量，v-为负类块的图像张量，τ为缩放系数，可以取值为0.07，为第n个负类块的图像张量。
[0098]
在一些实施例中，在公式2的计算过程中，只是选定了一个图像块作为正类块进行计算。进一步地，在第一目标图像中的n+1个图像块中，每个图像块轮流作为正类块依据公式2进行计算，一共需要计算n+1次，将所有的计算结果累加求和，就得到了第一目标图像和第二目标图像之间的交叉熵损失。然后，由于第一中间图像有多张，第一训练结果的中间图像也有多张，并且它们的张数都等于中间层的层数，所以将每个第一中间图像和每个第一训练结果的中间图像之间的交叉熵损失进行累加求和，可以确定全局多层块对比损失。
[0099]
在一些实施例中，可以按照如下算式，确定全局多层块对比损失：
[0100][0101]
其中，l
patchnce
为全局多层块对比损失，m为中间层的总层数，表示前m层中间层输出的第一中间图像经过全局提取器分块后得到的第n个正类块的图像张量，表示对应的查询块的图像张量，表示对应的负类块的图像张量。
[0102]
在一些实施例中，可以根据如下算式确定
[0103][0104]
其中，s'i表示第一训练结果，em(*)表示全局生成器中的全局编码器中前m层中间层的编码操作，h(*)表示全局提取器的分块操作。
[0105]
在一些实施例中，可以根据如下算式确定
[0106][0107]
在一些实施例中，可以根据如下算式确定
[0108][0109]
其中，脚标！n表示除了正类块之外的图像块(即负类块)的序号。
[0110]
在一些实施例中，全局多层块对比损失可以表征第一训练结果和样本光学图像之间的关联程度。
[0111]
在一些实施例中，全局特征优化损失用于对全局特征进行优化，以得到更好的全局素描图像的生成效果。
[0112]
s203：对所述样本数据、所述第一训练结果进行图像分割，分别得到样本数据的局部图像、第一训练结果的局部图像；其中，所述样本数据的局部图像包括：样本光学局部图像、样本素描局部图像。
[0113]
在一些实施例中，对样本光学图像进行图像分割，分割出具有明显特征的局部图像，作为样本光学局部图像；所述样本光学局部图像具体可以为：第一左眼图像、第一右眼图像、第一鼻子图像、第一嘴巴图像。
[0114]
在一些实施例中，将第一左眼图像记为p
iel
，将第一右眼图像记为p
ier
，将第一鼻子图像记为p
in
，将第一嘴巴图像记为p
im
。
[0115]
在一些实施例中，对样本素描图像进行图像分割，分割出具有明显特征的局部图像，作为样本素描局部图像；所述样本素描局部图像具体可以为：第二左眼图像、第二右眼图像、第二鼻子图像、第二嘴巴图像。
[0116]
在一些实施例中，将第二左眼图像记为s
jel
，将第二右眼图像记为s
jer
，将第二鼻子图像记为s
jn
，将第二嘴巴图像记为s
jm
。
[0117]
在一些实施例中，对第一训练结果进行图像分割，分割出具有明显特征的局部图像，作为第一训练结果的局部图像；所述第一训练结果的局部图像具体可以为：第三左眼图像、第三右眼图像、第三鼻子图像、第三嘴巴图像。
[0118]
在一些实施例中，将第三左眼图像记为s'
iiel
，将第三右眼图像记为s'
iier
，将第三鼻子图像记为s'
iin
，将第三嘴巴图像记为s'
iim
。
[0119]
在一些实施例中，可以基于多任务级联卷积神经网络算法(multi-task cascaded convolutional neural networks，mtcnn)对样本数据、第一训练结果进行图像分割。
[0120]
s204：利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失；其中，所述局部特征优化损失包括：局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失。
[0121]
在一些实施例中，所述上一轮的局部模型，通过以下方式训练得到：基于上一轮的前一轮的局部特征优化损失对上一轮的前一轮的局部模型进行调整，得到上一轮的局部模型。
[0122]
在一些实施例中，上述基于上一轮的前一轮的局部特征优化损失对上一轮的前一轮的局部模型进行调整，得到上一轮的局部模型，可以参阅下述实施例中获取当前轮的局部模型的方式，在此不做赘述。
[0123]
在一些实施例中，所述局部模型，包括局部生成器、局部判别器、局部提取器。局部
模型的工作原理可参阅上述全局模型，对此不做赘述。将局部生成器记为gi，将局部判别器记为di，将局部提取器记为hi。
[0124]
在一些实施例中，局部生成器，具体包括：第一局部生成器、第二局部生成器、第三局部生成器、第四局部生成器。第一局部生成器用于处理第一左眼图像。第二局部生成器用于处理第一右眼图像。第三局部生成器用于处理第一鼻子图像。第四局部生成器用于处理第一嘴巴图像。
[0125]
在一些实施例中，将第一局部生成器记为g
iel
，将第二局部生成器记为g
ier
，将第三局部生成器记为g
in
，将第四局部生成器记为g
im
。
[0126]
在一些实施例中，局部判别器，具体包括：第一局部判别器、第二局部判别器、第三局部判别器、第四局部判别器。第一局部判别器用于处理第三左眼图像、第四左眼图像、第二左眼图像。第二局部判别器用于处理第三右眼图像、第四右眼图像、第二右眼图像。第三局部判别器用于处理第三鼻子图像、第四鼻子图像、第二鼻子图像。第四局部判别器用于处理第三嘴巴图像、第四嘴巴图像、第二嘴巴图像。
[0127]
在一些实施例中，将第一局部判别器记为d
iel
，将第二局部判别器记为d
ier
，将第三局部判别器记为d
in
，将第四局部判别器记为d
im
。
[0128]
在一些实施例中，局部提取器，具体包括：第一局部提取器、第二局部提取器、第三局部提取器、第四局部提取器。第一局部提取器用于处理第二中间图像、第三左眼图像、第四左眼图像。第二局部提取器用于处理第二中间图像、第三右眼图像、第四右眼图像。第三局部提取器用于处理第二中间图像、第三鼻子图像、第四鼻子图像。第四局部提取器用于处理第二中间图像、第三嘴巴图像、第四嘴巴图像。
[0129]
在一些实施例中，将第一局部提取器记为h
iel
，将第二局部提取器记为h
ier
，将第三局部提取器记为h
in
，将第四局部提取器记为h
im
。
[0130]
在一些实施例中，利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失，具体实施时，可以包括：
[0131]
s1：利用所述局部生成器处理所述样本光学局部图像，得到第二训练结果以及第二中间图像；
[0132]
s2：利用所述局部判别器处理所述样本素描局部图像、所述第一训练结果的局部图像，得到全局部分生成对抗损失；
[0133]
s3：利用所述局部判别器处理所述样本素描局部图像、所述第二训练结果，得到局部生成对抗损失；
[0134]
s4：利用所述局部提取器处理所述第二中间图像、所述第一训练结果的局部图像，得到全局部分多层块对比损失；
[0135]
s5：利用所述局部提取器处理所述第二中间图像、所述第二训练结果，得到局部多层块对比损失。
[0136]
在一些实施例中，利用局部生成器将样本光学局部图像转化为对应的素描图像(即第二训练结果)。第二训练结果具体可以为：第四左眼图像、第四右眼图像、第四鼻子图像、第四嘴巴图像。利用局部生成器处理样本光学局部图像得到第二训练结果的过程可参阅上述生成第一训练结果的过程，对此不做赘述。
[0137]
在一些实施例中，将第四左眼图像记为s'
iel
，将第四右眼图像记为s'
ier
，将第四鼻
子图像记为s'
in
，将第四嘴巴图像记为s'
im
。
[0138]
在一些实施例中，在一些实施例中，局部生成器包括：局部编码器、局部解码器；局部编码器包括：输入层、多个中间层。将局部编码器中处理样本光学局部图像时多个中间层的输出图像作为第二中间图像，第二中间图像的生成过程可参阅上述第一中间图像的生成过程，在此不做赘述。
[0139]
在一些实施例中，所述利用所述局部判别器处理所述样本素描局部图像、所述第一训练结果的局部图像，得到全局部分生成对抗损失，具体实施时，包括：
[0140]
按照如下算式计算全局部分生成对抗损失：
[0141][0142]
其中，l
lgant
表示全局部分生成对抗损失，sj表示当前轮的样本素描图像，函数di(*)(i＝iel,ier,im,in)表示i对应的局部判别器对输入图像做降采样操作，e
x～x
表示x在x中的期望操作，x取值为p
iel
、p
ier
、p
in
、p
im
、s
jel
、s
jer
、s
jn
、s
jm
，x取值为p、s。
[0143]
在一些实施例中，所述利用所述局部判别器处理所述样本素描局部图像、所述第二训练结果，得到局部生成对抗损失，具体实施时，包括：
[0144]
按照如下算式计算局部生成对抗损失：
[0145][0146]
其中，l
lganl
表示局部生成对抗损失，e
x～x
表示x在x中的期望操作，x取值为p
iel
、p
ier
、p
in
、p
im
、sj，x取值为p、s，函数gi(*)(i＝iel,ier,im,in)表示i对应的局部生成器对输入图像做迁移操作。
[0147]
在一些实施例中，利用所述局部提取器处理所述第二中间图像、所述第一训练结果的局部图像，得到全局部分多层块对比损失的过程可以参阅上述确定全局多层块对比损失的实施例，对此不做赘述。
[0148]
在一些实施例中，可以按照如下算式，确定全局部分多层块对比损失：
[0149][0150]
其中，l
lpatchncet
表示全局部分多层块对比损失，e
x～x
表示x在x中的期望操作，x取值为p
in
～p,p
im
～p,p
ier
～p,p
iel
～p，x取值为s'
iin
～s'i,s'
iim
～s'i,s'
iier
～s'i,s'
iiel
～s'i，表示第三鼻子图像对应的前m层中间层输出的图像被第三局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块的图像张量，表示对应的负类块的图像张量，表示第三嘴巴图像对应的前m层中间层输出的图像被第四局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块，表示第三右眼图像对应的前m层中间层输出的图像被第二局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块，表示第三左眼图像对应的前m层中间层输出的图像被第一局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块。
[0151]
在一些实施例中，可以通过如下算式确定
[0152][0153]
其中，函数e
inm
(*)表示第三局部生成器中的局部编码器中的前m层中间层的编码操作，函数h
in
(*)表示第三局部提取器的分块操作。
[0154]
在一些实施中，可以通过如下算式确定
[0155][0156]
在一些实施例中，可以通过如下算式确定
[0157][0158]
在一些实施例中，利用所述局部提取器处理所述第二中间图像、所述第二训练结果，得到局部多层块对比损失的过程可以参阅上述确定全局多层块对比损失的实施例，对此不做赘述。
[0159]
在一些实施例中，可以按照如下算式，确定局部多层块对比损失：
[0160][0161]
其中，l
lpatchncel
表示局部多层块对比损失，e
x～x
表示x在x中的期望操作，x取值为p
in
～p,p
im
～p,p
ier
～p,p
iel
～p，x取值为s'
in
、s'
im
、s'
ier
、s'
iel
，表示第四鼻子图像对应的前m层中间层输出的图像被第三局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块，表示第四嘴巴图像对应的前m层中间层输出的图像被第四局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块，表示第四右眼图像对应的前m层中间层输出的图像被第二局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块，表示第四左眼图像对应的前m层中间层输出的图像被第一局部提取器进行分块后的第n个查询块的图像张量，表示对应的正类块，表示对应的负类块。
[0162]
在一些实施例中，可以按照如下公式确定
[0163][0164]
在一些实施例中，可以按照如下公式确定
[0165][0166]
在一些实施例中，可以按照如下公式确定
[0167][0168]
在一些实施例中，全局部分生成对抗损失可以表征样本素描局部图像和第一训练结果的局部图像之间的关联程度。
[0169]
在一些实施例中，局部生成对抗损失可以表征样本素描局部图像和第二训练结果之间的关联程度。
[0170]
在一些实施例中，全局部分多层块对比损失可以表征样本光学局部图像和第一训练结果的局部图像之间的关联程度。
[0171]
在一些实施例中，局部多层块对比损失可以表征样本光学局部图像和第二训练结果之间的关联程度。
[0172]
通过上述实施例，针对非对称的人脸图像，将左眼、右眼分割出来分别考虑它们的
局部特征，可以在后续对全局模型进行优化调整时取得更好的优化效果。
[0173]
s205：获取当前轮的训练次数；并检测当前轮的训练次数是否小于预设的训练次数阈值。
[0174]
在一些实施例中，可以将总训练次数设定为800次，将预设的训练次数阈值设定为400次，预设的训练次数阈值小于总训练次数。当然，需要说明的是，针对不同的应用场景还可以对预设的训练次数阈值进行其他形式的设定，本说明书对此不做限定。
[0175]
s206：在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
[0176]
在一些实施例中，在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，具体实施时，可以包括：
[0177]
s1：确定局部一致损失；
[0178]
s2：根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；
[0179]
s3：根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；
[0180]
s4：根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；
[0181]
s5：组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；
[0182]
s6：根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；
[0183]
s7：根据所述局部生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；
[0184]
s8：根据所述局部多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；
[0185]
s9：组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。
[0186]
在一些实施例中，上述在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型的过程，可以称为“半关联优化”。在训练的前期(例如：在当前轮的训练次数小于400次时)，针对全局模型和局部模型分别进行优化；对全局模型进行优化，其目的是生成精度更高的全局素描图像；对局部模型进行优化，其目的是获得精度更高的局部素描图像，优化后的局部生成器可以为更准确的全局部分多层块对比损失创造基础，优化后的局部判别器可以为更准确的全局部分多层块对比损失创造基础。
[0187]
在一些实施例中，为了避免素描图像的全局和局部差异过大，引入了局部一致损失，局部一致损失用于关联全局模型和局部模型。
[0188]
在一些实施例中，可以按照如下算式确定局部一致损失：
[0189][0190]
其中，l1表示局部一致损失。
[0191]
在一些实施例中，局部一致损失可以表征第一训练结果的局部图像和第二训练结果之间的关联程度。
[0192]
在一些实施例中，在获得局部一致损失之后，还可以按照如下确定整体损失：
[0193][0194]
其中，l
total
表示整体损失，a表示第一权重系数，b表示第二权重系数，c表示第三权重系数，d表示第四权重系数，e表示第五权重系数，f表示第六权重系数。
[0195]
在一些实施例中，整体损失可以表征全局模型整体的训练精度情况，整体损失可以用于对当前轮的全局模型进行优化调整。
[0196]
在一些实施例中，在获取到当前轮的全局模型之后，还可以检测当前的训练次数是否大于总训练次数；在确定当前的训练次数大于总训练次数的情况下，将当前轮的全局模型作为目标全局模型。
[0197]
在一些实施例中，在确定当前的训练次数小于或等于总训练次数的情况下，参阅上述目标全局模型的当前轮的训练过程，进行目标全局模型的下一轮的训练，直到训练次数大于总训练次数，则停止训练，得到目标全局模型。
[0198]
在一些实施例中，所述方法还包括：在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
[0199]
在一些实施例中，上述在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，具体实施时，包括：
[0200]
s1：确定局部一致损失；
[0201]
s2：根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失、所述全局部分生成对抗损失、所述全局部分多层块对比损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；
[0202]
s3：根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；
[0203]
s4：根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；
[0204]
s5：组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；
[0205]
s6：根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；
[0206]
s7：根据所述局部生成对抗损失、所述全局部分生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；
[0207]
s8：根据所述局部多层块对比损失、所述全局部分多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；
[0208]
s9：组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。
[0209]
在一些实施例中，上述在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型的过程，可以称为“全关联优化”。在训练的后期(例如：在当前轮的训练次数大于等于400次时)，局部模型对全局模型的影响逐渐加深，因此在保留半关联优化的基础上，再加入全局部分生成对抗损失、全局部分多层块对比损失，针对全局模型和局部模型进行优化。
[0210]
通过上述实施例，可以从全局特征优化损失、局部特征优化损失两个维度对全局模型进行多次调整，提升全局模型的生成精度；基于全局特征优化损失的维度对全局模型进行调整、优化，可以使得全局模型输出具有高质量的全局素描，获得较好的全局效果；基于局部特征优化损失的维度对全局模型进行调整、优化，可以使得全局模型在输出具有高质量的全局素描时，同时可以保留完整、精致、准确的细节特征，获得更好的局部效果。并且，在具体的优化调整过程中，采用半关联优化与全关联优化相结合的方式，在半关联优化时，对全局模型和局部模型分别进行优化调整；在全关联优化时，考虑到局部模型对全局模型的影响，加入全局部分生成对抗损失、全局部分多层块对比损失，利用全局部分生成对抗损失、全局部分多层块对比损失、局部一致损失来共同优化全局模型和局部模型，可以取得更好的优化效果。最后获得的目标全局模型针对输入的非对称的目标光学图像，可以有较好的生成效果。
[0211]
在一些实施例中，在获取到目标全局模型之后，需要利用目标全局模型处理目标光学图像，此时只需要采用目标全局模型中的全局生成器来处理目标光学图像，得到目标素描图像。
[0212]
在一个具体的场景示例中，参阅图3所示，利用全局生成器处理样本光学图像，获得第一训练结果；利用全局判别器判断第一训练结果是来源于样本素描图像(real)还是来源于全局生成器的生成结果(fake)，并将判断结果以概率分布的形式进行表示，再进一步输出l
gan
；利用全局提取器计算样本光学图像和第一训练结果之间的l
patchnce
。将样本光学图像进行图像分割后得到样本光学局部图像。将第一训练结果进行图像分割后得到第一训练结果的分割图像。将样本素描图像进行图像分割后得到样本素描局部图像。利用局部生成器处理样本光学局部图像，获得第二训练结果。利用局部提取器计算样本光学局部图像和第一训练结果的局部图像之间的l
lpatchncet
。利用局部判别器判断第一训练结果的局部图像是来源于样本素描局部图像(real)还是来源于局部生成器的生成结果(fake)，并将判断结果以概率分布的形式进行表示，再进一步输出l
lgant
。利用局部判别器判断第二训练结果是
来源于样本素描局部图像(real)还是来源于局部生成器的生成结果(fake)，并将判断结果以概率分布的形式进行表示，再进一步输出l
lganl
。将第一训练结果的局部图像、第二训练结果之间的关联程度用l1表示。
[0213]
在一些具体的场景示例中，参阅图4所示，图4表示了计算多层块对比损失的原理。图像1表示样本光学图像经过全局编码器的中间层处理之后的输出结果，图像2表示第一训练结果经过全局编码器的中间层处理之后的输出结果，图块2表示正类块，图块5表示查询块，图块1、图块3、图块4均为负类块，查询块和正类块的位置是对应的。利用全局编码器和全局提取器进行某一个图层上的多层块特征提取，再根据提取到的特征计算交叉熵损失，进一步根据综合所有图层上的交叉熵损失确定出全局多层块对比损失。在全局多层块对比损失中，黑色方块表示正类块和查询块之间的损失值，白色方块表示负类块和查询块之间的损失值。
[0214]
基于上述非对称素描图像的生成方法，本说明书还提出一种非对称素描图像的生成装置的实施例，参阅图5所示，所述非对称素描图像的生成装置具体包括以下模块：
[0215]
获取模块501：用于获取目标光学图像；其中，所述目标光学图像包含有目标对象；
[0216]
处理模块502，用于利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
[0217]
在一些实施例中，上述一种非对称素描图像的生成装置，具体实施时还可以用于按照下述方式，进行关于目标全局模型的当前轮的训练：获取当前轮的样本数据；其中，所述样本数据包括样本光学图像、样本素描图像；利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果；其中，所述全局特征优化损失包括：全局生成对抗损失、全局多层块对比损失；对所述样本数据、所述第一训练结果进行图像分割，分别得到样本数据的局部图像、第一训练结果的局部图像；其中，所述样本数据的局部图像包括：样本光学局部图像、样本素描局部图像；利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失；其中，所述局部特征优化损失包括：局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失；获取当前轮的训练次数；并检测当前轮的训练次数是否小于预设的训练次数阈值；在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。
[0218]
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0219]
本说明书实施例还提供一种非对称素描图像的生成方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取目标光学图像；其中，所述目标光学图像包含有目标对象；利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
[0220]
在本实施例中，上述存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)或者存储卡(memory card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
[0221]
在本实施例中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
[0222]
本说明书还提供一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取目标光学图像；其中，所述目标光学图像包含有目标对象；利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
[0223]
为了能够更加准确地完成上述指令，参阅图6所示，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口601、处理器602以及存储器603，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
[0224]
其中，所述网络通信端口601，具体可以用于获取目标光学图像；其中，所述目标光学图像包含有目标对象。
[0225]
所述处理器602，具体可以用于利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。
[0226]
所述存储器603，具体可以用于存储相应的指令程序。
[0227]
在本实施例中，所述网络通信端口601可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行ftp数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如gsm、cdma等；其还可以为wifi芯片；其还可以为蓝牙芯片。
[0228]
在本实施例中，所述处理器602可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
[0229]
在本实施例中，所述存储器603可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如ram、fifo等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、tf卡等。
[0230]
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
[0231]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0232]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0233]
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
[0234]
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0235]
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

技术特征：
1.一种非对称素描图像的生成方法，其特征在于，包括：获取目标光学图像；其中，所述目标光学图像包含有目标对象；利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。2.根据权利要求1所述的方法，其特征在于，按照以下方式，进行关于目标全局模型的当前轮的训练：获取当前轮的样本数据；其中，所述样本数据包括样本光学图像、样本素描图像；利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果；其中，所述全局特征优化损失包括：全局生成对抗损失、全局多层块对比损失；对所述样本数据、所述第一训练结果进行图像分割，分别得到样本数据的局部图像、第一训练结果的局部图像；其中，所述样本数据的局部图像包括：样本光学局部图像、样本素描局部图像；利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失；其中，所述局部特征优化损失包括：局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失；获取当前轮的训练次数；并检测当前轮的训练次数是否小于预设的训练次数阈值；在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。3.根据权利要求2所述的方法，其特征在于，所述全局模型，包括全局生成器、全局判别器、全局提取器；所述局部模型，包括局部生成器、局部判别器、局部提取器。4.根据权利要求2或3所述的方法，其特征在于，所述利用上一轮的全局模型处理所述样本数据，得到全局特征优化损失以及第一训练结果，包括：利用所述全局生成器处理所述样本光学图像，得到第一训练结果以及第一中间图像；利用所述全局判别器处理所述第一训练结果和所述样本素描图像，得到全局生成对抗损失；利用所述全局提取器处理所述第一中间图像和所述第一训练结果，得到全局多层块对比损失。5.根据权利要求2或3所述的方法，其特征在于，利用上一轮的局部模型处理所述样本数据的局部图像、所述第一训练结果的局部图像，得到局部特征优化损失，包括：利用所述局部生成器处理所述样本光学局部图像，得到第二训练结果以及第二中间图像；利用所述局部判别器处理所述样本素描局部图像、所述第一训练结果的局部图像，得到全局部分生成对抗损失；利用所述局部判别器处理所述样本素描局部图像、所述第二训练结果，得到局部生成对抗损失；利用所述局部提取器处理所述第二中间图像、所述第一训练结果的局部图像，得到全
局部分多层块对比损失；利用所述局部提取器处理所述第二中间图像、所述第二训练结果，得到局部多层块对比损失。6.根据权利要求2或3所述的方法，其特征在于，在确定当前轮的训练次数小于预设的训练次数阈值的情况下，基于所述全局特征优化损失和所述局部特征优化损失中的局部生成对抗损失、局部多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，包括：确定局部一致损失；根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；根据所述局部生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；根据所述局部多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型。8.根据权利要求2或3所述的方法，其特征在于，在确定当前轮的训练次数大于或等于预设的训练次数阈值的情况下，基于所述全局特征优化损失和局部生成对抗损失、局部多层块对比损失、全局部分生成对抗损失、全局部分多层块对比损失对上一轮的全局模型、上一轮的局部模型进行调整，得到当前轮的全局模型和当前轮的局部模型，包括：确定局部一致损失；根据所述全局生成对抗损失、所述全局多层块对比损失、所述局部一致损失、所述全局部分生成对抗损失、所述全局部分多层块对比损失调整上一轮的全局模型中的全局生成器，得到当前轮的全局生成器；根据所述全局生成对抗损失调整上一轮的全局模型中的全局判别器，得到当前轮的全局判别器；
根据所述全局多层块对比损失调整上一轮的全局模型中的全局提取器，得到当前轮的全局提取器；组合当前轮的全局生成器、当前轮的全局判别器、当前轮的全局提取器，得到当前轮的全局模型；根据所述局部生成对抗损失、所述局部多层块对比损失、所述局部一致损失调整上一轮的局部模型中的局部生成器，得到当前轮的局部生成器；根据所述局部生成对抗损失、所述全局部分生成对抗损失调整上一轮的局部模型中的局部判别器，得到当前轮的局部判别器；根据所述局部多层块对比损失、所述全局部分多层块对比损失调整上一轮的局部模型中的局部提取器，得到当前轮的局部提取器；组合当前轮的局部生成器、当前轮的局部判别器、当前轮的局部提取器，得到当前轮的局部模型。9.一种非对称素描图像的生成装置，其特征在于，包括：获取模块，用于获取目标光学图像；其中，所述目标光学图像包含有目标对象；处理模块，用于利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。10.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被处理器执行时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本说明书提出一种非对称素描图像的生成方法及装置。该方法包括：获取目标光学图像；其中，所述目标光学图像包含有目标对象；利用目标全局模型处理目标光学图像，以得到包含有目标对象的目标素描图像；其中，所述目标全局模型为预先利用样本数据，以及基于预设的局部模型得到的样本数据的局部特征优化损失训练得到的。基于上述方法，能够解决现有技术中在非对称训练的前提下无法生成局部细节完整精致的非对称素描图像的问题。的非对称素描图像的问题。的非对称素描图像的问题。


技术研发人员：曹林 杜康宁 郭亚男 王震 田澍 张帆 赵宗民
受保护的技术使用者：北京信息科技大学
技术研发日：2023.05.16
技术公布日：2023/8/13