图像修复模型训练方法、图像修复方法、装置及电子设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像修复模型训练方法、图像修复方法、装置及电子设备。


背景技术：

2.随着计算机技术的进步和机器学习技术的发展，现已存在各式各样的针对图像缺损的修复方式。目前，基于深度学习的图像修复技术成为主流趋势，然而，相关技术中的图像修复方案由于对图片损失区域的定位不够准确，导致图像修复效果较差。


技术实现要素：

3.本发明实施例提供一种图像修复模型训练方法、图像修复方法、装置及电子设备，以解决相关技术中的图像修复方案的图像修复效果较差的问题。
4.第一方面，本发明实施例提供了一种图像修复模型训练方法，包括：
5.获取无损失图像样本集；
6.基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
7.将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
8.基于所述修复图像与所述无损失样本图像，确定损失函数值；
9.基于所述损失函数值，对所述图像修复网络的参数进行训练。
10.可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
11.可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
12.所述将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像，包括：
13.将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
14.将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
15.所述基于所述修复图像与所述无损失样本图像，确定损失函数值，包括：
16.基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
17.基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
18.所述基于所述损失函数值，对所述图像修复网络的参数进行训练，包括：
19.基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
20.基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
21.可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
22.基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。
23.可选的，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；
24.其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
25.所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
26.可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
27.基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；
28.计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
29.可选的，所述图像修复网络为基于部分卷积的u型网络。
30.可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于部分卷积的u型网络。
31.可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
32.第二方面，本发明实施例还提供一种图像修复方法，包括：
33.获取待修复的目标图像；
34.将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
35.其中，所述图像修复网络为经上述第一方面所述的图像修复模型训练方法训练得到的网络。
36.第三方面，本发明实施例还提供一种图像修复模型训练装置，包括：
37.第一获取模块，用于获取无损失图像样本集；
38.第一确定模块，用于基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
39.处理模块，用于将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
40.第二确定模块，用于基于所述修复图像与所述无损失样本图像，确定损失函数值；
41.训练模块，用于基于所述损失函数值，对所述图像修复网络的参数进行训练。
42.可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
43.可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
44.所述处理模块包括：
45.第一处理单元，用于将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
46.第二处理单元，用于将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
47.所述第二确定模块包括：
48.第一确定单元，用于基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
49.第二确定单元，用于基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
50.所述训练模块包括：
51.第一训练单元，用于基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
52.第二训练单元，用于基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
53.可选的，所述第二确定单元用于基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。
54.可选的，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；
55.其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
56.所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
57.可选的，所述第二确定单元包括：
58.第一计算子单元，用于基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；
59.第二计算子单元，用于计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
60.可选的，所述图像修复网络为基于部分卷积的u型网络。
61.可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于部分卷积的u型网络。
62.可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
63.第四方面，本发明实施例还提供一种图像修复装置，包括：
64.第二获取模块，用于获取待修复的目标图像；
65.修复模块，用于将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
66.其中，所述图像修复网络为经上述第一方面所述的图像修复模型训练方法训练得到的网络。
67.第五方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像修复模型训练方法中的步骤；或者实现如上所述的图像修复方法中的步骤。
68.第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的图像修复模型训练方法中的步骤；或者实现如上所述的图像修复方法中的步骤。
69.在本发明实施例中，获取无损失图像样本集；基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；基于所述修复图像与所述无损失样本图像，确定损失函数值；基于所述损失函数值，对所述图像修复网络的参数进行训练。这样，通过使用无损失原图的灰度图、损失轮廓图和掩膜对图像修复网络进行训练，可以保证训练得到的图像修复网络能够准确定位图像中的损失区域，并且对于图像边缘的识别的准确性较高，进而获得较好的图像修复效果。
附图说明
70.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
71.图1是本发明实施例提供的图像修复模型训练方法的流程图；
72.图2是本发明实施例提供的u型网络的结构示意图；
73.图3是本发明实施例提供的模型训练过程示意图；
74.图4是本发明实施例提供的图像修复方法的流程图；
75.图5是本发明实施例提供的图像修复模型训练装置的结构图；
76.图6是本发明实施例提供的图像修复装置的结构图；
77.图7是本发明实施例提供的电子设备的结构图；
78.图8是本发明实施例提供的电子设备的结构图。
具体实施方式
79.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
80.参见图1，图1是本发明实施例提供的图像修复模型训练方法的流程图，如图1所示，包括以下步骤：
81.步骤101、获取无损失图像样本集。
82.本发明实施例中，为训练一个能够对图像损失区域进行准确识别，并对损失区域进行良好修复的图像修复模型，需要基于无损失图像样本集和对应的损失图像样本集和对模型进行训练。故可在预进行模型训练时，先获取无损失图像样本集，所述损失图像样本集可以通过对所述无损失图像样本集中的无损失样本图像加载掩膜以模拟损失区域的方式获得。一种实施方式中，可以利用不同大小和形状的掩膜对各无损失样本图像产生大小形状随机的损失区域的损失样本图像作为损失图像样本集，以保证训练的图像修复模型的鲁棒性。
83.步骤102、基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图。
84.在开始训练前，可以先对所述无损失图像样本集中的无损失样本图像进行预处理，具体可以是基于所述无损失样本图像和所述第一掩膜，确定对应的损失样本图像，并将所述损失样本图像转换成灰度图，得到第一灰度图，以及确定所述损失样本图像中的损失区域的轮廓图，得到第一轮廓图。
85.上述第一掩膜可以是指用于模拟损失区域的掩膜，该掩膜可以是固定的也可以是随机生成的，具体可通过对所述无损失样本图像加载所述第一掩膜后，得到对应的损失样本图像，并可将所述损失样本图像转换成灰度图，得到所述第一灰度图，或者，也可以是先将所述无损失样本图像转换成灰度图，再对所述无损失样本图像的灰度图加载所述第一掩膜，得到所述第一灰度图。
86.步骤103、将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像。
87.在确定所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图后，可以将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像作为输入数据输入图像修复网络中，通过所述图像修复网络对输入数据进行处理，即对所述损失样本图像中的损失区域进行识别和修复，处理完后获取所述图像修复网络输出的预测图像，也即输出对所述损失样本图像进行修复后的修复图像，其中，所述第一轮廓图和所述第一掩膜可以作为限定条件，用于训练网络在识别损失区域时，产生与所述第一轮廓图(真实的损失区域轮廓)尽可能接近的损失区域轮廓图。
88.所述图像修复网络的初始训练模型可以根据实际需求进行选择，例如可以是卷积网络、部分卷积网络、u型网络、生成对抗网络等神经网络模型，也可以是多个神经网络的结
合。
89.可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
90.一种实施方式中，可以将所述无损失样本图像转换成灰度图，再通过对所述无损失样本图像的灰度图和所述第一掩膜以矩阵形式进行哈达马积运算(即两个矩阵中对应元素相乘)，得到所述无损失样本图像对应的所述损失样本图像的灰度图矩阵，以及可通过计算所述无损失样本图像的轮廓图，并对所述无损失样本图像的轮廓图和所述第一掩膜以矩阵形式进行哈达马积运算，得到所述无损失样本图像对应的所述损失样本图像的轮廓图矩阵，其中，所述无损失样本图像的轮廓图计算可以是使用运用canny算子进行计算。
91.具体地，可以使用矩阵i
gt
代表所述无损失样本图像，所述无损失样本图像的灰度图和轮廓图则分别使用矩阵c
gt
和矩阵i
gray
表示，矩阵m为所述第一掩膜，则所述无损失样本图像对应的损失样本图像的第一灰度图图像对应的损失样本图像的第一灰度图所述损失样本图像的第一轮廓图其中，矩阵m中元素值1表示损失区域，元素值0表示非损失区域。
92.所述图像修复网络可以基于所述第一灰度图所述第一轮廓图和所述第一掩膜m，生成所述损失样本图像中的损失区域的轮廓图c
pred
，具体关系式可以为，所述图像修复网络还可以基于生成的损失区域的轮廓图c
pred
，和所述损失样本图像中的图像特征对该损失区域进行修复，并可使用对应的无损失样本图像作为限定条件，来促使所述图像修复网络生成与所述无损失样本图像(无损失原图)尽可能相似的修复图像。
93.这样，由于使用矩阵哈达马积来计算损失样本图像的灰度图和轮廓图的方式并不是简单的映射关系，从而能够保证对图像边缘识别的准确性，也能够保证图像损失区域的定位准确。
94.步骤104、基于所述修复图像与所述无损失样本图像，确定损失函数值。
95.在获得所述图像修复网络输出的修复图像后，可以将所述修复图像与所述无损失样本图像进行对比，利用损失函数计算损失函数值，其中，损失函数可以根据实际需要进行选择，例如，可以选择l1范数损失函数、风格损失函数、感知损失函数等来计算损失函数值，也可以采用多种损失函数结合的方式进行计算。
96.步骤105、基于所述损失函数值，对所述图像修复网络的参数进行训练。
97.在计算得到损失函数值后，可以基于该损失函数值，对所述图像修复网络的参数进行训练，即可在所述损失函数值未满足要求，如损失函数值较大的情况下，对所述图像修复网络的参数进行调整后，再次对所述图像修复网络进行如步骤102至步骤105的迭代训练过程，直至损失函数值满足要求，使损失函数值达到最小化，最终得到训练好的图像修复网络。
98.可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
99.所述步骤103包括：
100.将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
101.将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
102.所述步骤104包括：
103.基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
104.基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
105.所述步骤105包括：
106.基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
107.基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
108.即一种实施方式中，所述图像修复网络可以由两部分网络联合而成，包括轮廓补全网络和色彩填充网络，其中，所述轮廓补全网络用于识别输入的损失图像中的损失区域轮廓，所述色彩填充网络用于对所述轮廓补全网络输出的损失区域进行修复，最终输出修复好的图像。
109.这样，在获得所述损失样本图像的第一灰度图和所述第一轮廓图后，可以将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，以通过所述轮廓补全网络生成对所述损失样本图像中的损失区域的第二轮廓图，例如，所述轮廓补全网络可以基于输入的所述第一灰度图、所述第一轮廓图和所述第一掩膜，和关系式输出对所述损失样本图像中的损失区域预测的轮廓图c
pred
。
110.然后，可以通过对比所述轮廓补全网络输出的第二轮廓图和真实的原图轮廓即所述第一轮廓图，利用损失函数计算轮廓损失函数值，并可基于该轮廓损失函数值，对所述轮廓补全网络的参数进行训练，即可在所述轮廓损失函数值未满足要求，如轮廓损失函数值较大的情况下，对所述轮廓补全网络的参数进行调整后，再次对所述轮廓补全网络进行训练，直至轮廓损失函数值满足要求，即使所述轮廓补全网络生成的轮廓尽可能接近真实的原图轮廓，最终得到训练好的轮廓补全网络。
111.对于所述色彩填充网络，可以与所述轮廓补全网络一起训练，也可以分开训练，一起训练时，可以将所述轮廓补全网络输出的所述第二轮廓图和带有损失区域的所述损失样本图像输入所述色彩填充网络，分开训练时，可以将标注有损失区域轮廓的损失样本图像输入所述色彩填充网络，即上述第三轮廓图可以是所述轮廓补全网络输出的所述第二轮廓图，也可以是所述损失样本图像中标注的轮廓图。所述色彩填充网络可以基于所述损失样本图像和所述第三轮廓图，生成对所述损失样本图像中的损失区域的修复图像。
112.接着，可以通过对比所述色彩填充网络输出的修复图像和无损失原图即所述无损失样本图像，利用损失函数计算图像损失函数值，并可基于该图像损失函数值，对所述色彩填充网络的参数进行训练，即可在所述图像损失函数值未满足要求，如图像损失函数值较大的情况下，对所述色彩填充网络的参数进行调整后，再次对所述色彩填充网络进行训练，直至图像损失函数值满足要求，即使所述色彩填充网络生成的修复图像的色彩分布尽可能
接近无损失原图，最终得到训练好的色彩填充网络。
113.需说明的是，在对所述轮廓补全网络和所述色彩填充网络一起训练时，可以基于所述轮廓损失函数值和所述图像损失函数值，分别对所述轮廓补全网络和所述色彩填充网络的参数进行调整，调整后再一起进入下次的迭代训练过程。
114.这样，通过两个不同功能的联合网络，可以更为精准地识别图像损失区域，获得更好的图像修复效果。并且通过使用轮廓损失函数不仅旨在提升单个像素的重建准确率，还多方面考虑了总体结构上的因素，即修复的图像像素是否能够很好地融入其他周围的环境像素中。
115.可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
116.基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。
117.一种实施方式中，对于所述色彩填充网络，可以采用l1范数损失函数来计算该网络的输出损失值，其中，l1范数损失也称为最小绝对值偏差(least absolute deviation，lad)或最小绝对值误差(least absolute error，lae)，平均绝对误差(mean absolute error，mae)是使用l1范数损失除以一定区域内的像素值个数得到的，该实施方式中，可以使用mae来计算所述色彩填充网络的l1范数损失函数值。
118.具体地，可以计算所述修复图像与所述无损失样本图像中各像素的差值，然后结合所述损失样本图像中的损失区域和所述无损失样本图像中的像素数量，计算l1范数损失函数值也即平均绝对误差。
119.这样，通过从图像像素级计算色彩填充网络输出的修复图像的损失值，可以保证基于该损失值训练的色彩填充网络具备更高精度，从而获得较好的图像修复效果，避免修复出现大量模糊、畸形、噪声等问题。
120.可选的，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；
121.其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
122.所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
123.即一种实施方式中，可以从损失区域损失和非损失区域损失两方面分别计算所述色彩填充网络的图像损失值。
124.具体地，可以分别定义损失区域和非损失区域中的单个像素重建损失函数，其中，所述损失样本图像的非损失区域的l1损失函数可以为所述损失样本图像的非损失区域的l1损失函数可以为所述损失样本图像的损失区域的l1损失函数可以为
其中，l
valid
为所述非损失区域的l1损失值，l
hole
为所述损失区域的l1损失值，i
gt
表示无损失原图即所述无损失样本图像即，i
out
表示网络预测输出即所述色彩填充网络输出的修复图像，m是表示所述损失样本图像的损失区域的第二掩膜，其中损失区域中像素点的值为0，非损失区域中像素点的值为1，表示所述无损失样本图像i
gt
中的像素数量，即c
×h×
w，其中c、h和w分别为通道数、图像高度和图像宽度。
125.这样，通过该实施方式，不仅可快速准确计算出网络输出的l1损失值，且通过分别计算损失区域和非损失区域的l1损失值，并基于计算的损失值对色彩填充网络进行训练，可以保证模型的全局修复效果，避免修复图像出现结构错乱。
126.可选的，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：
127.基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；
128.计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
129.还一种实施方式中，可以采用多种损失函数结合来计算图像损失函数值，具体地，可以基于所述修复图像和所述无损失样本图像，分别计算l1范数损失函数值、感知损失函数值和风格损失函数值，并通过对所述l1范数损失函数值、所述感知损失函数值和所述风格损失函数值进行加权求和，来确定所述图像损失函数值。
130.其中，感知损失函数可以是基于所述色彩填充网络中的第一池化层、第二池化层和第三池化层(即pool1层、pool2层和pool3层)来计算感知损失值。
131.风格损失函数是指在风格迁移中的一种损失函数，其中风格损失和感知损失比较相似，但是所述色彩填充网络生成的每个特征图在计算l1损失值之前会计算自相关函数值(即gram矩阵)，gram矩阵包含了特征图中不同特征之间的关系与联系，即该特征图的风格。基于此可以计算出特征图与所述色彩填充网络输出的修复图片之间的风格损失。
132.另外，在对所述l1范数损失函数值、所述感知损失函数值和所述风格损失函数值进行加权时，各损失函数值的权重系数可以是通过多次图像修复测试确定。
133.这样，通过结合表征不同图像参数的损失函数来对所述色彩填充网络进行训练，可以进一步提高网络的修复效果，保证修复图像具备较好结构，更符合用户的视觉认知。
134.可选的，所述图像修复网络为基于部分卷积的u型网络。
135.即一种实施方式中，可以采用基于部分卷积的u型网络作为图像修复网络，以保证模型对图像结构特征的更好学习，并可减少计算量，提升模型处理效率。
136.所述基于部分卷积的u型网络通过使用堆叠的部分卷积运算和掩膜更新步骤来执行图像修复过程，该基于部分卷积层的u型网络，是将u型网络中的卷积层替换为部分卷积层(partial convolution)。u型网络结构是全卷积神经网络的一种变形，其网络结构中只有卷积层和池化层。该实施方式中，是将u型网络结构中的所有传统卷积层替换成部分卷积层，构建一个变种的u型网络。
137.部分卷积运算和掩膜(mask)更新函数联合称为部分卷积层。部分卷积是指卷积只在图像的有效区域(即mask为0的部分)进行，并且图像的mask会随着网络的层数加深不断迭代和收缩，也就是说带有mask的图像和mask均参与训练。部分卷积运算的公式为：
[0138][0139]
其中，w为卷积核的权重，x为当前卷积窗口对应的特征(或像素)值，m为x相对应的二进制mask，b为相对应的偏移值，x
′
表示输入图像经过卷积后的输出，
⊙
表示逐像素乘积。比例因子sum(1)/sum(m)的作用是适当的缩放比例来调整有效输入的变化量。矩阵1和m具有相同的形状，如都是3
×
3矩阵，但矩阵1中的值全为1。在每次完成部分卷积操作后，掩膜mask要进行一轮更新，其中掩膜更新函数公式为：
[0140][0141]
其中，m
′
表示输入mask经过卷积后的输出。在进行部分卷积之后，进行mask的更新，更新规则可以为：如果卷积窗口中各像素点对应的mask值至少有一个为1，那就更新卷积后对应位置的mask为1，只要网络深度足够，mask区域大小可以收缩到0。
[0142]
所述基于部分卷积的u型网络中，输入的图像大小和mask大小是一样的，卷积核大小也是一样的，不同的是输入图像的卷积核会不断更新，mask的卷积核则永远为1，并且没有偏移量，以减少卷积时需要输入的训练参数，减少资源消耗，加快训练过程。在mask更新的过程中，mask各个像素的取值也是1或者0，而不会出现小数。
[0143]
所述基于部分卷积的u型网络中的部分卷积层与传统的卷积层相比，部分卷积层是有mask的，而传统的卷积层中的每个像素点都要参与卷积运算，而部分卷积层只有非损失区域像素点参与卷积运算，从而可提升处理效率。
[0144]
所述u型网络的结构可如图2所示，整个网络结构呈一个u型，该u型网络最左侧至底部中间的结构可以看作一个编码器，从底部中间到最右侧的结构可以看作一个解码器。如图2所示，从左侧的编码器端到右侧的解码器端每层都有跳线连接(concatenate)。其中跳线连接，是指将编码器的输出结果裁剪，作为输入参数与解码器的反卷积结果进行拼接。该网络结构中可以引入批标准化(batch normalization)，作用是将分散的数据统一，使网络能够在最佳状态下学习尤其是对于本模型中的层数较多的神经网络显得十分必要。其中，图2中的网络层数只是示意，实际的u型网络层数可以根据需求设计。
[0145]
所述基于部分卷积的u型网络中，可以在解码器阶段采用leaky relu激活函数，使得当数据输入为负值时，网络依旧能够学习，神经元不会死亡。
[0146]
所述基于部分卷积的u型网络的最后一层部分卷积层中，当层输入值包含了最开始输入的带有损失区域的原始图像(image)和掩膜(mask)，以便所述基于部分卷积的u型网络将未损失部分的像素输出。图2中的每条跳线将分别连接左右两个特征图和掩膜，将他们合成之后拼接成一个特征图与掩膜，然后通过反卷积操作得到一个新的特征图，与更新后的掩膜作为新的两个输入参数，提供给下一部分卷积层，以保证最开始输入的图像中的有效像素能够在解码阶段对于图像的修复提供参考信息。
[0147]
这样，通过使用基于部分卷积的u型网络作为图像修复网络，不仅可提升模型处理效率，还可保证较好的模型修复性能。
[0148]
可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于
部分卷积的u型网络。
[0149]
一种实施方式中，可以采用生成对抗网络作为图像修复网络，并且可以采用基于部分卷积的u型网络作为所述生成对抗网络的生成器，用于识别图像损失区域并生成修复图像，所述基于部分卷积的u型网络的输出作为所述生成对抗网络的鉴别器的输入，用于判断生成的损失区域轮廓图是否是真实的，以及生成的修复图像是否与无损失原图足够相似。
[0150]
其中，所述鉴别器网络可以使用客观评价指标，如对抗损失和特征匹配损失来训练，特征匹配损失比较了在鉴别器中间层的特征图，通过限定中间层生成的数据来迫使生成器产生特征和真实图像相似的结果，从而使得训练过程稳定下来，以便让模型收敛。
[0151]
其中，需说明的是，在所述图像修复网络包括轮廓补全网络和色彩填充网络两部分时，所述轮廓补全网络和所述色彩填充网络均可以采用生成对抗网络，并且都可以采用基于部分卷积的u型网络作为生成器。这样，对所述轮廓补全网络和所述色彩填充网络进行训练的过程可以如图3所示。
[0152]
这样，该实施方式通过将部分卷积层的u型网络加入了生成对抗网络的网络结构，可以让模型对于图像的结构特征学习得更好，也避免了对于无效甚至有害区域的抽象化，能够进一步提升模型的修复效果。
[0153]
可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
[0154]
即一种实施方式中，可以在所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练，使对抗损失、特征匹配损失等各自单独的最大值按比例缩小了权重矩阵，从而使训练的过程更加稳定，有效地将网络的利普希茨常数限定为1。
[0155]
这样，通过在生成器和鉴别器中使用谱归一化，可以有效限制短时间内的参数和梯度变化量，使得对抗损失在判别器求方差计算上能够发挥最大作用，而且特征匹配损失能有效约束生成器训练出的特征图。
[0156]
本发明实施例的图像修复模型训练方法，获取无损失图像样本集；基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；基于所述修复图像与所述无损失样本图像，确定损失函数值；基于所述损失函数值，对所述图像修复网络的参数进行训练。这样，通过使用无损失原图的灰度图、损失轮廓图和掩膜对图像修复网络进行训练，可以保证训练得到的图像修复网络能够准确定位图像中的损失区域，并且对于图像边缘的识别的准确性较高，进而获得较好的图像修复效果。
[0157]
参见图4，图4是本发明实施例提供的图像修复方法的流程图，如图4所示，包括以下步骤：
[0158]
步骤401、获取待修复的目标图像。
[0159]
在需要对损失图像进行修复时，可以获取待修复的目标图像，即所述目标图像中存在损失区域。
[0160]
步骤402、将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
[0161]
其中，所述图像修复网络为经图1所示实施例中的图像修复模型训练方法训练得到的网络。
[0162]
该步骤中，可将获取的待修复的所述目标图像输入图像修复网络，以通过所述图像修复网络对所述目标图像进行损失区域识别和修复，进而获取所述图像修复网络输出的对所述目标图像进行修复后的图像。
[0163]
其中，所述图像修复网络是经图1所示实施例中的图像修复模型训练方法训练得到的网络，具体可参见前述实施例中的相关介绍，且能取得相同的技术效果，为避免重复，此处不再赘述。
[0164]
本发明实施例的图像修复方法，获取待修复的目标图像；将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；其中，所述图像修复网络为经图1所示实施例中的图像修复模型训练方法训练得到的网络。这样，由于使用的网络修复模型是使用无损失原图的灰度图、损失轮廓图和掩膜对图像修复网络进行训练得到的，从而可以保证较好的图像修复效果。
[0165]
本发明实施例还提供了一种图像修复模型训练装置。参见图5，图5是本发明实施例提供的图像修复模型训练装置的结构图。由于图像修复模型训练装置解决问题的原理与本发明实施例中图像修复模型训练方法相似，因此该图像修复模型训练装置的实施可以参见方法的实施，重复之处不再赘述。
[0166]
如图5所示，图像修复模型训练装置500包括：
[0167]
第一获取模块501，用于获取无损失图像样本集；
[0168]
第一确定模块502，用于基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
[0169]
处理模块503，用于将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
[0170]
第二确定模块504，用于基于所述修复图像与所述无损失样本图像，确定损失函数值；
[0171]
训练模块505，用于基于所述损失函数值，对所述图像修复网络的参数进行训练。
[0172]
可选的，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
[0173]
可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
[0174]
处理模块503包括：
[0175]
第一处理单元，用于将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
[0176]
第二处理单元，用于将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图
像的修复图像；
[0177]
第二确定模块504包括：
[0178]
第一确定单元，用于基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
[0179]
第二确定单元，用于基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
[0180]
训练模块505包括：
[0181]
第一训练单元，用于基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
[0182]
第二训练单元，用于基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
[0183]
可选的，所述第二确定单元用于基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。
[0184]
可选的，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；
[0185]
其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
[0186]
所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
[0187]
可选的，所述第二确定单元包括：
[0188]
第一计算子单元，用于基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；
[0189]
第二计算子单元，用于计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
[0190]
可选的，所述图像修复网络为基于部分卷积的u型网络。
[0191]
可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于部分卷积的u型网络。
[0192]
可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
[0193]
本发明实施例提供的图像修复模型训练装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0194]
本发明实施例的图像修复模型训练装置500，获取无损失图像样本集；基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；基于所述修复图像与所述无损失样本图像，确定损失函数值；基于所述损
失函数值，对所述图像修复网络的参数进行训练。这样，通过使用无损失原图的灰度图、损失轮廓图和掩膜对图像修复网络进行训练，可以保证训练得到的图像修复网络能够准确定位图像中的损失区域，并且对于图像边缘的识别的准确性较高，进而获得较好的图像修复效果。
[0195]
本发明实施例还提供了一种图像修复装置。参见图6，图6是本发明实施例提供的图像修复装置的结构图。由于图像修复装置解决问题的原理与本发明实施例中图像修复方法相似，因此该图像修复装置的实施可以参见方法的实施，重复之处不再赘述。
[0196]
如图6所示，图像修复装置600包括：
[0197]
第二获取模块601，用于获取待修复的目标图像；
[0198]
修复模块602，用于将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
[0199]
其中，所述图像修复网络为经图1所实施例中的图像修复模型训练方法训练得到的网络。
[0200]
本发明实施例提供的图像修复装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0201]
本发明实施例的图像修复装置600，获取待修复的目标图像；将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；其中，所述图像修复网络为经图1所示实施例中的图像修复模型训练方法训练得到的网络。这样，由于使用的网络修复模型是使用无损失原图的灰度图、损失轮廓图和掩膜对图像修复网络进行训练得到的，从而可以保证较好的图像修复效果。
[0202]
本发明实施例还提供了一种电子设备。由于该电子设备解决问题的原理与本发明实施例中图像修复模型训练方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。如图7所示，本发明实施例的电子设备，包括：
[0203]
处理器700，用于读取存储器720中的程序，执行下列过程：
[0204]
获取无损失图像样本集；
[0205]
基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；
[0206]
将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；
[0207]
基于所述修复图像与所述无损失样本图像，确定损失函数值；
[0208]
基于所述损失函数值，对所述图像修复网络的参数进行训练。
[0209]
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器700代表的一个或多个处理器和存储器720代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器700负责管理总线架构和通常的处理，存储器720可以存储处理器700在执行操作时所使用的数据。
[0210]
可选的，处理器700还用于读取存储器720中的程序，执行如下步骤：
[0211]
所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈
达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。
[0212]
可选的，所述图像修复网络包括轮廓补全网络和色彩填充网络；
[0213]
所述处理器700还用于读取存储器720中的程序，执行如下步骤：
[0214]
将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；
[0215]
将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；
[0216]
基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；
[0217]
基于所述修复图像和所述无损失样本图像，确定图像损失函数值；
[0218]
基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；
[0219]
基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。
[0220]
可选的，处理器700还用于读取存储器720中的程序，执行如下步骤：
[0221]
基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。
[0222]
可选的，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；
[0223]
其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；
[0224]
所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之差。
[0225]
可选的，所述处理器700还用于读取存储器720中的程序，执行如下步骤：
[0226]
基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；
[0227]
计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。
[0228]
可选的，所述图像修复网络为基于部分卷积的u型网络。
[0229]
可选的，所述图像修复网络为生成对抗网络，所述生成对抗网络的生成器为基于部分卷积的u型网络。
[0230]
可选的，所述生成对抗网络中的生成器和鉴别器均使用谱归一化进行训练。
[0231]
本发明实施例提供的电子设备，可以执行上述图像修复模型训练方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0232]
本发明实施例还提供了另一种电子设备。由于该电子设备解决问题的原理与本发明实施例中图像修复方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。如图8所示，本发明实施例的电子设备，包括：
[0233]
处理器800，用于读取存储器820中的程序，执行下列过程：
[0234]
获取待修复的目标图像；
[0235]
将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；
[0236]
其中，所述图像修复网络为经上述图1所示实施例中的图像修复模型训练方法训练得到的网络。
[0237]
其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器800代表的一个或多个处理器和存储器820代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器800负责管理总线架构和通常的处理，存储器820可以存储处理器800在执行操作时所使用的数据。
[0238]
本发明实施例提供的电子设备，可以执行上述图像修复方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0239]
此外，本发明实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现如图1所示方法实施例中的各个步骤，或者实现如图4所示方法实施例中的各个步骤。
[0240]
在本技术所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0241]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0242]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0243]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种图像修复模型训练方法，其特征在于，包括：获取无损失图像样本集；基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；基于所述修复图像与所述无损失样本图像，确定损失函数值；基于所述损失函数值，对所述图像修复网络的参数进行训练。2.根据权利要求1所述的方法，其特征在于，所述第一灰度图等于所述无损失样本图像的灰度图对应的矩阵与第一矩阵的哈达马积，所述第一轮廓图等于所述无损失样本图像的轮廓图对应的矩阵与所述第一矩阵的哈达马积，其中，所述第一矩阵等于元素值全为1的矩阵与所述第一掩膜对应的矩阵之差，所述第一掩膜对应的矩阵中使用元素值1表示损失区域，使用元素值0表示非损失区域。3.根据权利要求1所述的方法，其特征在于，所述图像修复网络包括轮廓补全网络和色彩填充网络；所述将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像，包括：将所述第一灰度图、所述第一轮廓图和所述第一掩膜输入所述轮廓补全网络，获取所述轮廓补全网络输出的对所述损失样本图像中的损失区域的第二轮廓图；将所述损失样本图像和所述损失样本图像中的损失区域对应的第三轮廓图，输入所述色彩填充网络，获取所述色彩填充网络输出的对所述损失样本图像的修复图像；所述基于所述修复图像与所述无损失样本图像，确定损失函数值，包括：基于所述第二轮廓图和所述第一轮廓图，确定轮廓损失函数值；基于所述修复图像和所述无损失样本图像，确定图像损失函数值；所述基于所述损失函数值，对所述图像修复网络的参数进行训练，包括：基于所述轮廓损失函数值，对所述轮廓补全网络的参数进行训练；基于所述图像损失函数值，对所述色彩填充网络的参数进行训练。4.根据权利要求3所述的方法，其特征在于，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：基于所述修复图像与所述无损失样本图像中各像素的差值、所述无损失样本图像中的损失区域和所述无损失样本图像中的像素数量，确定l1范数损失函数值。5.根据权利要求4所述的方法，其特征在于，所述l1范数损失函数值包括所述损失样本图像的损失区域的l1损失值和所述损失样本图像的非损失区域的l1损失值；其中，所述非损失区域的l1损失值等于第二掩膜对应的矩阵与第二矩阵的哈达马积的l1范数除以所述像素数量，所述第二矩阵等于所述修复图像对应的矩阵与所述无损失样本图像对应的矩阵之差，所述第二掩膜基于所述损失样本图像中的损失区域确定，所述第二掩膜对应的矩阵中使用元素值0表示损失区域，使用元素值1表示非损失区域；所述损失区域的l1损失值等于第三矩阵与所述第二矩阵的哈达马积的l1范数除以所述像素数量，其中，所述第三矩阵等于元素值全为1的矩阵与所述第二掩膜对应的矩阵之
差。6.根据权利要求4所述的方法，其特征在于，所述基于所述修复图像和所述无损失样本图像，确定图像损失函数值，包括：基于所述修复图像和所述无损失样本图像，分别计算所述l1范数损失函数值、感知损失函数值和风格损失函数值；计算所述l1范数损失函数值、感知损失函数值和风格损失函数值的加权和，得到所述图像损失函数值。7.一种图像修复方法，其特征在于，包括：获取待修复的目标图像；将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；其中，所述图像修复网络为经权利要求1至6中任一项所述的图像修复模型训练方法训练得到的网络。8.一种图像修复模型训练装置，其特征在于，包括：第一获取模块，用于获取无损失图像样本集；第一确定模块，用于基于所述无损失图像样本集中的无损失样本图像和第一掩膜，确定与所述无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；处理模块，用于将所述第一灰度图、所述第一轮廓图、所述第一掩膜和所述损失样本图像，输入图像修复网络，获取所述图像修复网络输出的对所述损失样本图像的修复图像；第二确定模块，用于基于所述修复图像与所述无损失样本图像，确定损失函数值；训练模块，用于基于所述损失函数值，对所述图像修复网络的参数进行训练。9.一种图像修复装置，其特征在于，包括：第二获取模块，用于获取待修复的目标图像；修复模块，用于将所述目标图像输入图像修复网络，获取所述图像修复网络输出的对所述目标图像进行修复后的图像；其中，所述图像修复网络为经权利要求1至6中任一项所述的图像修复模型训练方法训练得到的网络。10.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至6中任一项所述的图像修复模型训练方法中的步骤；或者实现如权利要求7所述的图像修复方法中的步骤。11.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像修复模型训练方法中的步骤；或者实现如权利要求7所述的图像修复方法中的步骤。

技术总结
本发明公开了一种图像修复模型训练方法、图像修复方法、装置及电子设备，涉及图像处理技术领域，以解决相关图像修复方案的图像修复效果较差的问题。该方法包括：获取无损失图像样本集；基于无损失图像样本集中的无损失样本图像和第一掩膜，确定与无损失样本图像对应的损失样本图像的第一灰度图和第一轮廓图；将第一灰度图、第一轮廓图、第一掩膜和损失样本图像，输入图像修复网络，获取图像修复网络输出的对损失样本图像的修复图像；基于修复图像与无损失样本图像，确定损失函数值；基于损失函数值，对图像修复网络的参数进行训练。本发明可保证训练得到的图像修复网络能够准确定位图像中的损失区域，获得较好的图像修复效果。获得较好的图像修复效果。获得较好的图像修复效果。


技术研发人员：韩如琪 邓煜港
受保护的技术使用者：中移智行网络科技有限公司 中国移动通信集团有限公司
技术研发日：2021.12.31
技术公布日：2023/7/22