高光处理模型的训练方法、图像处理方法和装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种高光处理模型的训练方法、图像处理方法和装置。


背景技术：

2.随着电子设备的普及，用户经常使用电子设备(例如手机)拍摄，当手机拍摄受到过强环境光照射时，局部会出现高光反光的现象。高光反光会影响文档文字和图案等有用信息的辨识，给用户带来不佳的视觉感受。为此，研究在高光反光造成信息辨识削弱但依然视觉可辨的情况下，对图像进行高光处理有重要意义。
3.相关技术中，进行高光处理时会破坏图像的纹理，纹理修复较差的问题。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本技术提出一种高光处理模型的训练方法、图像处理方法和装置，提高了高光处理模型训练的效果。
6.本技术一方面实施例提出了一种高光处理模型的训练方法，包括：
7.获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；
8.将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像；
9.将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；
10.将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；
11.将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像；
12.根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。
13.本技术另一方面实施例提出了一种图像处理方法，包括：
14.获取待处理的高光图像；
15.将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用前述一方面所述的模型训练装置训练，以得到所述经过训练的高光处理模型。
16.本技术另一方面实施例提出了一种高光处理模型的训练装置，包括：
17.获取模块，用于获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；
18.识别模块，用于将所述样本高光图像输入高光处理模型的高光检测网络，得到高
光掩膜图像；
19.处理模型，用于将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；
20.学习模块，用于将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；
21.修复模块，用于将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像；
22.训练模块，用于根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。
23.本技术另一方面实施例提出了一种图像处理装置，包括：
24.获取模块，用于获取待处理的高光图像；
25.处理模块，用于将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用前述的模型训练装置训练，以得到所述经过训练的高光处理模型。
26.本技术另一方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的方法。
27.本技术另一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的方法。
28.本技术另一方面实施例提出了一种计算机程序产品，其上存储有计算机程序，所述程序被处理器执行时实现如前述方法实施例所述的方法。
29.本技术提出的高光处理模型的训练方法、图像处理方法和装置，获取样本高光图像，以及样本高光图像对应的真实无高光图像，将样本高光图像输入高光处理模型，通过在模型中的高光检测网络和纹理修复网络中间增加了学习网络，使得学习网络基于高光检测网络的输出学习到有高光区域和无高光区域的全局的目标背景纹理特征，并利用目标背景纹理特征指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，生成高质量、纹理丰富的预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像，提高了模型训练的效果。
30.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
31.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
32.图1为本技术实施例所提供的一种高光处理模型的训练方法的流程示意图；
33.图2为本技术实施例所提供的一种样本高光图像的示意图；
34.图3为本技术实施例提供的另一种高光处理模型的训练方法的流程示意图；
35.图4为本技术实施例提供的一种高光处理模型的结构示意图；
36.图5为本技术实施例提供的一种u型网络的结构示意图；
37.图6为本技术实施例提供的另一种高光处理模型的训练方法的流程示意图；
38.图7a为本技术实施例提供的一种学习网络的结构示意图；
39.图7b为本技术实施例提供的一种测试场景的示意图；
40.图8为本技术实施例提供的一种图像处理方法的流程示意图；
41.图9为本技术实施例提供的一种高光处理的场景示意图；
42.图10为本技术实施例提供的一种高光处理模型的训练装置的结构示意图；
43.图11为本技术实施例提供的一种图像处理装置的结构示意图；
44.图12为本技术实施例提供的一种电子设备的框图。
具体实施方式
45.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
46.下面参考附图描述本技术实施例的高光处理模型的训练方法、图像处理方法和装置。
47.图1为本技术实施例所提供的一种高光处理模型的训练方法的流程示意图。
48.本技术实施例的高光处理模型的训练方法的执行主体为高光处理模型的训练装置，该装置可设置于电子设备中，电子设备可以为服务器或终端设备，本实施例中不进行限定。
49.如图1所示，该方法可以包括以下步骤：
50.步骤101，获取样本高光图像，以及样本高光图像对应的真实无高光图像。
51.其中，样本高光图像，是指图像中包含高光区域。图像中的高光，通常是由于漫反射和镜面反射造成的，也就是说样本高光图像中包括漫反射和镜面反射造成的高光，其中，漫反射反映了照射物体的性质，镜面反射反映了光照的性质。
52.其中，对于样本高光图像的生成方法，可通过以下实现方式生成：
53.作为一种实现方式，通过网络搜索的方式，收集真实的图像，例如为真实卡证，如，身份证、社保卡等。进而，作为一种实现方式，通过图像处理软件将真实的图像和高光图片进行融合，得到融合后的包含高光的图像，即样本高光图像。作为另一种融合方式，可采用泊松融合实现高光融合，作为一种示例，如图2所示，即为将清晰的身份证图像融合了高光遮盖物mask后的得到的样本高光图像。
54.需要说明的是，融合得到的样本高光图像中可以包括位置和/或高光强度不同的多个高光区域，高光mask的目标融合区域尽量包含文字、纹理、人像等内容中的至少一个，以使训练得到的模型可适用多种场景的适用需求，本技术实施例中不进行限定。
55.作为另一种实现方式，在光线较强的场景或者是专门搭建的高光场景进行拍照，得到包含高光的样本高光图像。
56.步骤102，将样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图
像。
57.本技术实施例中，高光处理模型包括高光检测网络、学习网络和纹理修复网络。其中，高光检测网络，用于对输入的样本高光图像中的高光区域进行识别，以得到样本高光图像中的高光分布，高光分布包含背景区域中高光的位置和强度，高光的强度指示了高光对信息的遮盖程度，高光的强度越大，对信息的遮盖程度越强。根据样本高光图像中的高光分布，生成高光掩膜图像，高光掩膜图像为灰度图，其中，非高光区域的灰度值为0，即为黑色，高光区域部分的灰度值基于高光的强度确定对应的灰度值，即0-255之间的值，显示为和灰度值对应的灰色或白色。
58.步骤103，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像。
59.本技术实施例中，样本高光图像中包含高光区域，高光掩膜图像中包括了高光的位置和强度，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像，作为一种实现方式，将样本高光图像中各像素单元和高光掩膜图像中对应像素单元进行相减，得到第一无高光图像，其中，第一无高光图像是未进行纹理修复的无高光图像。
60.步骤104，将第一无高光图像、高光掩膜图像和样本高光图像输入高光处理模型的学习网络，得到目标背景纹理特征图。
61.本技术实施例中，学习网络连接高光检测网络和纹理修复网络，也就是说，在高光检测网络和纹理修复网络之间添加了一个学习网络，学习网络的输入包括高光检测网络的输出，基于输入的第一无高光图像，学习无高光区域的纹理特征得到第一背景纹理特征图，并基于输入的高光掩膜图像和样本高光图像，学习有高光区域的纹理特征得到第二背景纹理特征图，并将学习得到的第一背景纹理特征图和第二背景纹理特征图融合得到目标背景纹理特征图，从而指导后续的纹理修复网络进行纹理修复。
62.步骤105，将目标背景纹理特征图输入高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像。
63.本技术实施例中，纹理修复网络基于输入的目标背景纹理特征图，由于目标背景纹理特征图即包含高光区域的背景纹理特征也包含非高光区域的背景纹理特征，可以用来重建高光区域的非线性变化，从而生成高质量、纹理丰富的无高光图像。
64.步骤106，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型。
65.本技术实施例中，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，确定目标损失函数，也就是说目标损失函数中包括了高光检测网络的损失值，以及纹理修复网络的损失值，从而，根据目标损失函数，对高光处理模型进行模型参数调整，以得到训练后的高光处理模型。
66.需要说明的是，前述步骤101至步骤106需要重复执行多次，各次可以采用不同的样本高光图像，从而在损失函数小于阈值的情况下，停止训练，或者，在重复执行次数大于阈值的情况下，停止训练。将最后一次模型参数调整后得到的高光处理模型作为训练后的高光处理模型。
67.本技术实施例的高光处理模型的训练方法中，获取样本高光图像，以及样本高光
图像对应的真实无高光图像，将样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像，将第一无高光图像、高光掩膜图像和样本高光图像输入高光处理模型的学习网络，得到目标背景纹理特征图，将目标背景纹理特征图输入高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，通过在高光检测网络和纹理修复网络中间增加了学习网络，使得学习网络基于高光检测网络的输出学习到包含有高光区域和无高光区域的全局的背景特征，作为纹理修复网络的输入，指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，从而生成高质量、纹理丰富的预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像。
68.基于上述实施例，图3为本技术实施例提供的另一种高光处理模型的训练方法的流程示意图，如图3所示，该方法包含以下步骤：
69.步骤301，获取样本高光图像，以及样本高光图像对应的真实无高光图像。
70.其中，步骤301可参照前述实施例中的解释说明，原理相同，此处不再赘述。
71.步骤302，将样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像。
72.作为一种示例，图4为本技术实施例提供的一种高光处理模型的结构示意图，如图4所示，高光处理模型包括高光检测网络、学习网络和纹理修复网络，其中，高光检测网络的输出作为学习网络的输入，学习网络的输出作为纹理修复网络的输入。其中，各个网络的输出可参照前述实施例的解释说明，原理相同，此处不再赘述。
73.其中，高光检测网络为u型网络，包括编码器和解码器，作为一种示例，如图5所示，其中，编码器包括多个处理层，每一个处理层包括两个卷积层和一个池化层，其中，池化层采用最大池化。解码器包括多个处理层，每一个处理层包括一个范军基层和两个卷积层。如图5所示，编码器的各个处理层和解码器对应的处理层间采用跳层连接的方式，使得低维特征和高维特征可以融合，提高处理效果。同理，纹理修复网络也为u型网络，包括编码器和解码器，网络结构同高光检测网络，此处不再赘述。
74.步骤303，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像。
75.步骤304，将第一无高光图像、高光掩膜图像和样本高光图像输入高光处理模型的学习网络，得到目标背景纹理特征图。
76.步骤305，将目标背景纹理特征图输入高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像。
77.其中，步骤303至步骤305可参照前述实施例的解释说明，原理相同，此处不再赘述。
78.步骤306，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，确定目标损失函数。
79.本技术实施例的一种实现方式中，根据第一无高光图像和真实无高光图像间的差异，确定高光检测网络的第一损失函数，根据预测无高光图像和真实无高光图像间的差异，确定纹理修复网络的第二损失函数，根据设定的第一权重系数，对第一损失函数和第二损失函数进行加权合成，得到目标损失函数。本技术实施例中，优化了损失函数，使得损失函数即包括高光检测网络的输出损失，也包含纹理修复网络的输出损失，实现了同时优化高光检测网络和纹理修复网络，提高了高光处理模型优化的效果。
80.其中，关于第一损失函数的确定，作为一种实现方式，确定第一无高光图像和真实无高光图像间的第一内容差异，以及第一无高光图像和真实无高光图像间的第一纹理差异，获取设定的第二权重系数，根据第二权重系数，对第一内容差异和第一纹理差异进行加权合成，得到高光检测网络的第一损失函数。本技术实施例中，基于高光检测网络输出的高光掩膜图像确定第一无高光图像，而第一损失函数包含了第一无高光图像和真实无高光图像之间的图像的内容损失和纹理结构损失，基于第一损失函数引导高光检测网络同时在图像的内容和纹理结构上保持相似性，从而提高了高光检测网络参数调整的准确性。
81.对于第二损失函数的确定，作为一种实现方式，确定预测无高光图像和真实无高光图像间的第二内容差异，以及预测无高光图像和真实无高光图像间的第二纹理差异，获取设定的第三权重系数，根据第三权重系数，对第二内容差异和第二纹理差异进行加权合成，得到纹理修复网络的第二损失函数。本技术实施例中，纹理修复网络输出的是预测无高光图像，而第二损失函数包含了预测无高光图像和真实无高光图像之间的图像的内容损失和纹理结构损失，基于第二损失函数引导纹理修复网络同时在图像的内容和纹理结构上保持相似性，从而提高了纹理修复网络参数调整的准确性
82.本技术实施例的一种实现方式中，内容损失可采用charbonnier惩罚函数来度量，后者使用结构相似性度量函数(structure similarity index measure,ssim)来评估。
83.其中，目标损失函数loss可表示为：
[0084][0085][0086]
loss＝loss1+α*loss2。
[0087]
其中，loss1为第一损失函数，loss2为第二损失函数，i
pre1
为第一无高光图像，i
gt
为真实无高光图像，λ1为第二权重系数，λ2为第三权重系数，i
pre2
为预测无高光图像，α为第一权重系数，ε为设定值，通常为0.001。
[0088]
需要说明的是，loss1中通过charbonnier惩罚函数计算的内容损失和通过ssim函数计算的纹理损失都在红绿蓝rgb空间中计算，而loss2通过charbonnier惩罚函数计算的内容损失在色彩空间cie-lab空间中计算，通过ssim函数计算的纹理损失在rgb空间中计算。由于cie-lab空间更符合人眼视觉系统，因此，在背景纹理修复过程中使用cie-lab空间中计算的内容损失可以降低纹理修复时产生的色差问题。
[0089]
步骤307，根据目标损失函数，对高光处理模型进行模型参数调整，以得到训练后的高光处理模型。
[0090]
本技术实施例中，根据目标损失函数，对高光处理模型进行模型参数调整，以得到训练后的高光处理模型，通过多次迭代训练，实现高光处理模型的参数调整，最终完成模型
的训练，而目标损失函数是将两个损失函数加权叠加，进行联合优化，从而引导网络同时在图像内容和图像纹理结构上保持相似性，优化高光消除和纹理修复效果。
[0091]
本技术实施例的高光处理模型的训练方法中，高光处理模型的目标损失函数包含高光检测网络对应的第一损失函数和纹理修复网络对应的第二损失函数，目标损失函数是将两个损失函数加权叠加，对高光处理模型进行联合优化，从而引导高光处理模型同时在图像内容和图像纹理结构上保持相似性，使得训练得到的高光处理模型可以优化高光消除和纹理修复效果。
[0092]
基于上述实施例，本技术实施例提供了另一种高光处理模型的训练方法，图6为本技术实施例提供的另一种高光处理模型的训练方法的流程示意图，如图6所示，该方法包含以下步骤：
[0093]
步骤601，获取样本高光图像，以及样本高光图像对应的真实无高光图像。
[0094]
步骤602，将样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像。
[0095]
步骤603，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像。
[0096]
其中，步骤601至步骤603可参照前述实施例中的解释说明，原理相同，此处不再赘述。
[0097]
步骤604，将第一无高光图像输入学习网络的第一特征提取层进行特征提取，得到第一背景纹理特征图。
[0098]
作为一种示例，图7为本技术实施例提供的一种学习网络的结构示意图，如图7所示，学习网络包括第一特征提取层、第二特征提取层和第三特征提取层，其中，第一特征提取层的输入为第一无高光图像，输出为第一背景纹理特征图。其中，第一背景纹理特征图中携带了无高光区域的背景纹理特征。
[0099]
步骤605，将高光掩膜图像和样本高光图像输入学习网络的第二特征提取层进行处理，得到第二背景纹理特征图。
[0100]
其中，第二特征提取层的输入为高光掩膜图像和样本高光图像，高光掩膜图像中包含高光区域的位置和强度，通过第二特征提取层进行特征提取，得到第二背景纹理特征图，第二背景纹理特征图中携带了高光区域的背景纹理特征。
[0101]
作为一种实现方式，第二特征提取层包含第一特征提取子层和第二特征提取子层，将高光掩膜图像输入第一特征提取子层进行特征提取，得到高光特征图，其中，高光特征图中包含高光的位置特征和高光的强度特征，将样本高光图像输入第二特征提取子层进行特征提取，得到样本特征图，进而，将样本特征图中各像素单元与高光特征图中对应像素单元进行逐像素单元乘，得到第二背景纹理特征图。作为一种实现方式，可将样本特征图中各像素单元的灰度值与高光特征图中对应像素单元的灰度值进行逐像素单元点乘，从而实现去除了非高光区域的背景纹理特征，保留了高光区域的背景纹理特征。
[0102]
需要说明的是，像素单元中包含至少一个像素点。
[0103]
步骤606，将第一背景纹理特征图和第二背景纹理特征图进行融合，得到目标背景纹理特征图。
[0104]
本技术实施例中，将第一背景纹理特征图和第二背景纹理特征图通过选择性融合
模块(selective fusion block,sfb)中的融合函数进行融合，得到目标背景纹理特征图。
[0105]
作为一种示例，以图7a为例，第一特征提取层包含一个卷积层，卷积层的卷积核为3、输出通道为48、卷积步长为1，s表示sigmoid算子，表示像素点乘操作。高光检测网络从样本高光图像i
highlight
中学习相应的高光分布得到高光掩膜图像i
hd
，并通过减去i
hd
生成对应的图像去高光结果，即第一无高光图像i
hr
，即包含高光区纹理特征。将i
hd
、i
hr
和i
highlight
作为输入，从i
hd
中学习高光分布，引导网络从i
highlight
中提取精确的背景纹理信息得到第二背景纹理特征图f
ti
，即包含高光区纹理特征，辅助背景纹理的修复。结合图7a，目标背景特征图的表达过程可以表示为：
[0106][0107]fhr
＝fb(i
hr
)；
[0108]falm
＝f
sfb
(f
ti
,f
hr
)。
[0109]
其中，fr为第二特征提取子层的特征嵌入函数，包括两个卷积层，用于学习i
highlight
的嵌入表达。fr(
·
)为第一特征提取层，包括一个卷积层，用于提取i
hr
的特征信息f
hr
。fm(
·
)为第一特征提取层的掩膜生成函数，包括三个卷积层和一个sigmoid算子，可以得到i
highlight
中的高光位置和强度信息。通过像素点乘的方法从i
highlight
的嵌入表示中学习背景纹理信息f
ti
，辅助背景纹理重建过程。f
sfb
(
·
)表示选择性融合模块(selective fusion block,sfb)中的融合函数，等同于动态关联模块原论文中的sfb模块。最终alm输出增强后的背景特征表达f
alm
，然后纹理重建子网络采用f
alm
作为输入，通过编码器和解码器的u型网络实现高质量的纹理重建。
[0110]
步骤607，将目标背景纹理特征图输入高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像。
[0111]
其中，步骤607可参照前述实施例的解释说明，原理相同，此处不再赘述。
[0112]
步骤608，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型。
[0113]
其中，步骤608可参照前述实施例的解释说明，原理相同，此处不再赘述。
[0114]
作为一种示例，如图7b所示，采用测试集中的高光图像输入训练得到的高光处理模型，得到图7b中的各个图像，从图中可以看出，通过高光处理模型处理后，合理修复高光区域的纹理并保持非高光区域的色彩信息。
[0115]
本技术实施例的高光处理模型的训练方法中，使用两阶段神经网络模型，即采用两个u型网络，即高光检测网络和纹理修复网络，分别完成图像高光检测以及图像纹理修复任务，并在高光检测网络之后采用一个学习网络分别学习有高光和无高光区域的背景纹理特征，从而指导后续的纹理修复网络进行纹理修复，其中，模型的损失函数，将两个网络的损失函数加权叠加，进行联合优化，从而引导该网络同时在图像内容和图像纹理结构上保持相似性，优化高光消除和纹理修复效果，使得训练得到的高光处理模型具有较好的高光消除和纹理修复的能力。
[0116]
基于上述实施例，图8为本技术实施例提供的一种图像处理方法的流程示意图，如图8所示，该方法包含以下步骤：
[0117]
步骤801，获取待处理的高光图像。
[0118]
其中，高光图像即图像中包含高光，其中对于高光形成的原因可参照前述实施例中的解释说明，原理相同，此处不再赘述。
[0119]
步骤802，将高光图像输入经过训练的高光处理模型，以使高光处理模型对高光图像进行高光消除和纹理重建，得到无高光图像。
[0120]
其中，高光处理模型采用前述方法实施例所述的模型训练方法训练，以得到经过训练的高光处理模型，其中，高光处理模型的训练方法可参照前述实施例中的解释说明，原理相同，此处不再赘述。
[0121]
将一张带有高光且高光下文字纹理依旧可见的身份证人像面图片输入高光处理模型，可以输出消除高光、恢复文字纹理信息和色彩信息后的人像面图片，实现合理修复高光区域的纹理并保持非高光区域的色彩信息。
[0122]
作为一种示例，如图9所示，图9中的左边的图像为高光图像，采用训练得到的高光处理模型进行高光消除和纹理修复后得到的无高光图像为图9中右边的图像，实现了高光的消除，并实现了高精度的纹理修复，并实现色彩的还原。
[0123]
本技术实施例的图像处理方法中，采用上述实施例的训练方法训练得到的高光处理模型在对高光图像进行处理时，可以同时在图像内容和图像纹理结构上保持相似性，优化了高光消除和纹理修复效果，同时改善了色差问题。
[0124]
为了实现上述实施例，本技术实施例还提出一种高光处理模型的训练装置。
[0125]
图10为本技术实施例提供的一种高光处理模型的训练装置的结构示意图。
[0126]
如图10所示，该装置可以包括：
[0127]
获取模块1001，用于获取样本高光图像，以及所述样本高光图像对应的真实无高光图像。
[0128]
识别模块1002，用于将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像。
[0129]
处理模型1003，用于将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像。
[0130]
学习模块1004，用于将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图。
[0131]
修复模块1005，用于将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像。
[0132]
训练模块1006，用于根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。
[0133]
进一步，在本技术实施例的一种实现方式中，训练模块1006，具体用于：
[0134]
根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，确定目标损失函数；
[0135]
根据所述目标损失函数，对所述高光处理模型进行模型参数调整，以得到训练后的高光处理模型。
[0136]
在本技术实施例的一种实现方式中，训练模块1006，具体用于：
[0137]
根据所述第一无高光图像和所述真实无高光图像间的差异，确定所述高光检测网
络的第一损失函数；根据所述预测无高光图像和所述真实无高光图像间的差异，确定所述纹理修复网络的第二损失函数；根据设定的第一权重系数，对所述第一损失函数和所述第二损失函数进行加权合成，得到所述目标损失函数。
[0138]
在本技术实施例的一种实现方式中，训练模块1006，具体用于：
[0139]
确定所述第一无高光图像和所述真实无高光图像间的第一内容差异，以及所述第一无高光图像和所述真实无高光图像间的第一纹理差异；获取设定的第二权重系数；根据所述第二权重系数，对所述第一内容差异和所述第一纹理差异进行加权合成，得到所述高光检测网络的第一损失函数。
[0140]
在本技术实施例的一种实现方式中，训练模块1006，具体用于：
[0141]
确定所述预测无高光图像和所述真实无高光图像间的第二内容差异，以及所述预测无高光图像和所述真实无高光图像间的第二纹理差异；获取设定的第三权重系数；根据所述第三权重系数，对所述第二内容差异和所述第二纹理差异进行加权合成，得到所述纹理修复网络的第二损失函数。
[0142]
在本技术实施例的一种实现方式中，学习模块1004，具体用于：
[0143]
将所述第一无高光图像输入所述学习网络的第一特征提取层进行特征提取，得到第一背景纹理特征图；其中，所述第一背景纹理特征图中携带了无高光区域的背景纹理特征；将所述高光掩膜图像和所述样本高光图像输入所述学习网络的第二特征提取层进行处理，得到第二背景纹理特征图；其中，所述第二背景纹理特征图中携带了高光区域的背景纹理特征；将所述第一背景纹理特征图和所述第二背景纹理特征图进行融合，得到所述目标背景纹理特征图。
[0144]
在本技术实施例的一种实现方式中，第二特征提取层包含第一特征提取子层和第二特征提取子层，学习模块1004，具体用于：
[0145]
将所述高光掩膜图像输入所述第一特征提取子层进行特征提取，得到高光特征图；其中，所述高光特征图中包含高光的位置特征和高光的强度特征；将所述样本高光图像输入所述第二特征提取子层进行特征提取，得到样本特征图；将所述样本特征图中各像素单元与高光特征图中对应像素单元进行逐像素单元点乘，得到第二背景纹理特征图。
[0146]
在本技术实施例的一种实现方式中，处理模型1003，具体用于：
[0147]
将所述样本高光图像中各像素单元和所述高光掩膜图像中对应像素单元进行相减，得到所述第一无高光图像。
[0148]
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0149]
本技术实施例的高光处理模型的训练装置中，获取样本高光图像，以及样本高光图像对应的真实无高光图像，将样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像，将样本高光图像和高光掩膜图像相减，得到未进行纹理修复的第一无高光图像，将第一无高光图像、高光掩膜图像和样本高光图像输入高光处理模型的学习网络，得到目标背景纹理特征图，将目标背景纹理特征图输入高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像，根据第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，通过在高光检测网络和纹理修复网络中间增加了学习网络，使得学习
网络基于高光检测网络的输出学习到包含有高光区域和无高光区域的全局的背景特征，作为纹理修复网络的输入，指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，从而生成高质量、纹理丰富的预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及根据预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像。
[0150]
为了实现上述实施例，本技术实施例还提出一种图像处理装置。
[0151]
图11为本技术实施例提供的一种图像处理装置的结构示意图。
[0152]
如图11所示，该装置可以包括：
[0153]
获取模块1101，用于获取待处理的高光图像。
[0154]
处理模块1102，用于将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用前述实施例所述的模型训练装置训练，以得到所述经过训练的高光处理模型。
[0155]
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0156]
本技术实施例的图像处理方法中，采用上述实施例的训练方法训练得到的高光处理模型在对高光图像进行处理时，可以同时在图像内容和图像纹理结构上保持相似性，优化了高光消除和纹理修复效果，同时改善了修复的色差问题。
[0157]
为了实现上述实施例，本技术还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的方法。
[0158]
为了实现上述实施例，本技术还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述方法实施例所述的方法。
[0159]
为了实现上述实施例，本技术还提出一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的方法。
[0160]
图12为本技术实施例提供的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0161]
参照图12，电子设备800可以包括以下一个或多个组件：处理组件803，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)接口812，传感器组件814，以及通信组件816。
[0162]
处理组件803通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件803可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件803可以包括一个或多个模块，便于处理组件803和其他组件之间的交互。例如，处理组件803可以包括多媒体模块，以方便多媒体组件808和处理组件803之间的交互。
[0163]
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它
们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0164]
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0165]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0166]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0167]
i/o接口812为处理组件803和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0168]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0169]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，4g或5g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0170]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0171]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例
如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0172]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0173]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0174]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0175]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0176]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0177]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0178]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0179]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种高光处理模型的训练方法，其特征在于，包括：获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像；将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像；根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。2.如权利要求1所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的高光处理模型，包括：根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，确定目标损失函数；根据所述目标损失函数，对所述高光处理模型进行模型参数调整，以得到训练后的高光处理模型。3.如权利要求2所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，确定目标损失函数，包括：根据所述第一无高光图像和所述真实无高光图像间的差异，确定所述高光检测网络的第一损失函数；根据所述预测无高光图像和所述真实无高光图像间的差异，确定所述纹理修复网络的第二损失函数；根据设定的第一权重系数，对所述第一损失函数和所述第二损失函数进行加权合成，得到所述目标损失函数。4.如权利要求3所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，确定所述高光检测网络的第一损失函数，包括：确定所述第一无高光图像和所述真实无高光图像间的第一内容差异，以及所述第一无高光图像和所述真实无高光图像间的第一纹理差异；获取设定的第二权重系数；根据所述第二权重系数，对所述第一内容差异和所述第一纹理差异进行加权合成，得到所述高光检测网络的第一损失函数。5.如权利要求3所述的方法，其特征在于，所述根据所述预测无高光图像和所述真实无高光图像确定的差异，确定所述纹理修复网络的第二损失函数，包括：确定所述预测无高光图像和所述真实无高光图像间的第二内容差异，以及所述预测无高光图像和所述真实无高光图像间的第二纹理差异；
获取设定的第三权重系数；根据所述第三权重系数，对所述第二内容差异和所述第二纹理差异进行加权合成，得到所述纹理修复网络的第二损失函数。6.如权利要求1所述的方法，其特征在于，所述将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图，包括：将所述第一无高光图像输入所述学习网络的第一特征提取层进行特征提取，得到第一背景纹理特征图；其中，所述第一背景纹理特征图中携带了无高光区域的背景纹理特征；将所述高光掩膜图像和所述样本高光图像输入所述学习网络的第二特征提取层进行处理，得到第二背景纹理特征图；其中，所述第二背景纹理特征图中携带了高光区域的背景纹理特征；将所述第一背景纹理特征图和所述第二背景纹理特征图进行融合，得到所述目标背景纹理特征图。7.如权利要求6所述的方法，其特征在于，所述第二特征提取层包含第一特征提取子层和第二特征提取子层，所述将所述高光掩膜图像和所述样本高光图像输入所述学习网络的第二特征提取层进行处理，得到第二背景纹理特征图，包括：将所述高光掩膜图像输入所述第一特征提取子层进行特征提取，得到高光特征图；其中，所述高光特征图中包含高光的位置特征和高光的强度特征；将所述样本高光图像输入所述第二特征提取子层进行特征提取，得到样本特征图；将所述样本特征图中各像素单元与高光特征图中对应像素单元进行逐像素单元点乘，得到所述第二背景纹理特征图。8.如权利要求1-7任一项所述的方法，其特征在于，所述将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的所述第一无高光图像，包括：将所述样本高光图像中各像素单元和所述高光掩膜图像中对应像素单元进行相减，得到所述第一无高光图像。9.一种图像处理方法，其特征在于，包括：获取待处理的高光图像；将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用如权利要求1-8任一所述的模型训练方法训练，以得到所述经过训练的高光处理模型。10.一种高光处理模型的训练装置，其特征在于，包括：获取模块，用于获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；识别模块，用于将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像；处理模型，用于将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；学习模块，用于将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；修复模块，用于将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，
得到纹理修复后的预测无高光图像；训练模块，用于根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。11.一种图像处理装置，其特征在于，包括：获取模块，用于获取待处理的高光图像；处理模块，用于将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用如权利要求10所述的模型训练装置训练，以得到所述经过训练的高光处理模型。12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的方法，或实现如权利要求9中任一所述的方法。13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法，或实现如权利要求9中任一所述的方法。

技术总结
本申请提出一种高光处理模型的训练方法、图像处理方法和装置，其中，方法包括：获取样本高光图像，以及样本高光图像对应的真实无高光图像，将样本高光图像输入高光处理模型，通过在模型中的高光检测网络和纹理修复网络中间增加了学习网络，使得学习网络基于高光检测网络的输出学习到有高光区域和无高光区域的全局的目标背景纹理特征，并利用目标背景纹理特征指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，生成预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及预测无高光图像和真实无高光图像间的差异，训练高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像。像。像。


技术研发人员：周代国 谢嘉仪 彭鑫 向晨 丁倩 罗飞 周富 谌金垚 肖春霞
受保护的技术使用者：北京小米移动软件有限公司 北京小米松果电子有限公司
技术研发日：2023.04.27
技术公布日：2023/8/9