干扰对象处理模型的训练与干扰对象的处理方法、装置与流程

1.本公开涉及数据处理技术领域，尤其深度学习、大数据、云服务、自然语言处理等人工智能技术领域。提供了一种干扰对象处理模型的训练与干扰对象的处理方法、装置、电子设备与可读存储介质。


背景技术：

2.在日常生活中，文档图像或者票据图像中包含的水印、印章等干扰对象会对图像内容进行覆盖，导致在一些应用场景中，例如对图像进行光学字符识别来获取图像中的文字，会存在所获取的文字内容不全面或者不准确的问题。因此，如何对图像中包含的水印、印章等干扰对象进行擦除是目前亟待解决的技术问题。


技术实现要素：

3.根据本公开的第一方面，提供了一种干扰对象处理模型的训练方法，包括：获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型。
4.根据本公开的第二方面，提供了一种干扰对象的处理方法，包括：获取待处理图像；将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像。
5.根据本公开的第三方面，提供了一种干扰对象处理模型的训练装置，包括：第一获取单元，用于获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；构建单元，用于构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；第一处理单元，用于将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；训练单元，用于根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型。
6.根据本公开的第四方面，提供了一种干扰对象的处理装置，包括：第二获取单元，
用于获取待处理图像；第二处理单元，用于将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；第三处理单元，用于根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像。
7.根据本公开的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
8.根据本公开的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
9.根据本公开的第六方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
10.由以上技术方案可以看出，本公开通过包含一个编码器与两个解码器的神经网络模型，同时完成干扰对象的检测与干扰对象的擦除这两项任务，从而增强干扰对象处理模型的模型性能，且对于所要处理的干扰对象的类型、颜色等不进行限制，能够提升干扰对象处理模型的适用性。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是根据本公开第一实施例的示意图；
14.图2是根据本公开第二实施例的示意图；
15.图3是根据本公开第三实施例的示意图；
16.图4是根据本公开第四实施例的示意图；
17.图5是根据本公开第五实施例的示意图；
18.图6是根据本公开第六实施例的示意图；
19.图7是根据本公开第七实施例的示意图；
20.图8是用来实现本公开实施例的干扰对象处理模型的训练或者干扰对象的处理方法的电子设备的框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。
22.图1是根据本公开第一实施例的示意图。如图1所示，本实施例的干扰对象处理模型的训练方法，具体包括如下步骤：
23.s101、获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，
所述真值图像组包含干扰对象掩码真值图像与样本真值图像；
24.s102、构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；
25.s103、将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；
26.s104、根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型。
27.本实施例的干扰对象处理模型的训练方法，构建包含一个编码器与两个解码器的神经网络模型，通过该神经网络模型同时完成干扰对象的检测与干扰对象的擦除这两项任务，从而增强干扰对象处理模型的模型性能，且对于所要处理的干扰对象的类型(图像中的水印、印章等)、颜色(红色印章、蓝色印章、黑色印章等)等不进行限制，能够提升干扰对象处理模型的适用性。
28.本实施例中的干扰对象，可以为图像中包含的覆盖图像内容的对象，例如水印和/或印章；也就是说，本实施例通过训练得到的干扰对象处理模型，能够对图像中包含的水印和/或印章等对象进行检测与擦除。
29.本实施例执行s101获取的训练数据中，可以包含多张样本图像，每张样本图像为包含干扰对象(水印和/或印章)的图像；真值图像组中包含的样本真值图像，为擦除样本图像中包含的干扰对象之后得到的图像。
30.本实施例在执行s101获取包含样本图像及其对应的真值图像组的训练数据之后，执行s102构建包含编码器、第一解码器与第二解码器的神经网络模型。
31.本实施例中的编码器与解码器可以为基于unet网络的编码器与解码器，也可以为基于resunet网络的编码器与解码器，unet网络与resunet网络属于全卷积神经网络，用于图像的语义分割；本实施例中的编码器用于从图像中提取图像特征，解码器用于根据图像特征生成图像。
32.本实施例执行s102构建的神经网络模型中，编码器用于根据所输入的样本图像得到图像特征，进而将所得到的图像特征分别输入到第一解码器与第二解码器，以用于不同的解码器生成相应的预测图像。
33.本实施例执行s102构建的神经网络模型中，第一解码器用于根据编码器得到的图像特征，生成干扰对象背景预测图像；该干扰对象背景预测图像中包含干扰对象掩码以及干扰对象覆盖的图像内容。
34.本实施例执行s102构建的神经网络模型中，第二解码器用于根据编码器得到的图像特征，生成干扰对象掩码预测图像；该干扰对象掩码预测图像中包含干扰对象掩码，干扰对象掩码为一个二进制的像素级区域，用像素值0或者1表示当前像素是否属于干扰对象，例如像素值为1表示当前像素属于干扰对象，像素值为0表示当前像素不属于干扰对象。
35.在本实施例中，第一解码器与第二解码器共用一套网络参数，但是第一解码器与第二解码器各自具备相互独立的注意力计算模块，例如第一解码器具备第一注意力计算模块，第二解码器具备第二注意力计算模块。
36.不同的注意力计算模块用于确定图像特征所包含的各特征的权重，根据各特征的
权重来重组图像特征，进而根据重组之后的图像特征生成不同的预测图像；可以理解的是，解码器中包含的注意力计算模块在神经网络模型的训练过程中逐渐提升所设置的不同特征的权重的准确性。
37.举例来说，第一解码器中的第一注意力计算模块将图像特征中用于生成干扰对象背景图像的特征的权重设置的较大，生成其他图像的特征的权重设置的较小，进而生成干扰对象背景预测图像；第二解码器中的第二注意力计算模块将图像特征中用于生成干扰对象掩码图像的特征设置的较大，生成其他图像的特征的权重设置的较小，进而生成干扰对象掩码预测图像。
38.本实施例在执行s102构建包含编码器、第一解码器与第二解码器的神经网络模型之后，执行s103将样本图像输入到神经网络模型，得到神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像。
39.若本实施例执行s101获取的训练数据中包含多张样本图像，则本实施例在执行s103时，可以分别将多张样本图像输入到神经网络模型，进而得到神经网络模型针对每张样本图像输出的干扰对象背景预测图像与干扰对象掩码预测图像。
40.本实施例在执行s103将样本图像输入到神经网络模型时，还可以首先将样本图像处理至预设大小(例如256
×
256、512
×
512)，然后再将处理之后的样本图像输入到神经网络模型，从而防止由于图像尺寸的不同所导致的模型训练不准确的问题。
41.若样本图像为黑白图像，本实施例在执行s103时，还可以首先将黑白图像扩展成rgb三个通道的灰度值均相同的rgb图像，然后再将rgb图像中各像素的灰度值归一化到[0，1]之间，最后将处理之后的样本图像输入到神经网络模型，从而使得神经网络模型能够对黑白图像进行处理。
[0042]
本实施例在执行s103得到神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像之后，执行s104根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0043]
本实施例在执行s104根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以采用的可选实现方式为：根据样本图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到样本预测图像，本实施例所得到的该样本预测图像可以看作是经过神经网络模型处理而去除干扰对象之后的图像；根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到第一目标损失函数值；根据第一目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0044]
也就是说，本实施例除了使用真值图像组之外，还会根据样本图像以及由神经网络模型输出的预测图像所得到的样本预测图像，来共同得到用于调整神经网络模型的参数的第一目标损失函数值，能够提升所得到的第一目标损失函数值的准确性，进而提升参数调整的准确性。
[0045]
本实施例在执行s104根据样本图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到样本预测图像时，可以使用以下公式(1)：
[0046]ipred
＝f
bg(i)×
m'+i
×
(1-m')
[0047]
在公式(1)中：i
pred
表示样本预测图像；f
bg
(i)表示干扰对象背景预测图像；m'表示
干扰对象掩码预测图像；i表示样本图像。
[0048]
本实施例在执行s104根据目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以在经过至少一次训练之后，确定计算得到的目标损失函数值收敛的情况下，确定神经网络模型收敛，从而完成神经网络模型的训练，将最后一次参数调整之后的神经网络模型，作为干扰对象处理模型。
[0049]
本实施例在执行s104根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到第一目标损失函数值时，可以采用的可选实现方式为：根据干扰对象掩码真值图像、干扰对象掩码预测图像、干扰对象背景预测图像、样本真值图像与样本预测图像，得到第一损失函数值；根据干扰对象掩码预测图像与干扰对象掩码真值图像，得到第二损失函数值；根据第一损失函数值与第二损失函数值，得到第一目标损失函数值，例如将第一损失函数值与第二损失函数值之间的相加结果，作为第一目标损失函数值。
[0050]
也就是说，本实施例根据不同的真值图像与预测图像分别得到第一损失函数值与第二损失函数值，使得第一目标损失函数能够同时兼顾干扰对象背景与干扰对象掩码的生成，从而对解码器、不同的编码器的参数进行更为准确的调整，进而提升训练得到的干扰对象处理模型所生成图像的准确性。
[0051]
其中，本实施例在执行s104根据干扰对象掩码真值图像、干扰对象掩码预测图像、干扰对象背景预测图像、样本真值图像与样本预测图像，得到第一损失函数值时，可以采用以下公式(2)：
[0052][0053]
在公式(2)中：lr表示第一损失函数值；α、β表示损失函数系数；与φ
ssim
表示感知损失函数；k表示卷积层编号，取值范围为1，2，3；i
pred
表示样本预测图像；i
gt
表示样本真值图像。
[0054]
上述公式(2)中，与分别采用以下计算公式得到：
[0055][0056][0057]
在公式中：m表示干扰对象掩码真值图像；m'表示干扰对象掩码预测图像；f
bg
(i)表示干扰对象背景预测图像；i
gt
表示样本真值图像。
[0058]
其中，本实施例在执行s104根据干扰对象掩码预测图像与干扰对象掩码真值图像，得到第二损失函数值时，可以采用以下公式(3)：
[0059]
lm＝mlog(m')+(1-m)log(1-m')
[0060]
在公式(3)中：lm表示第二损失函数值；m表示干扰对象掩码真值图像；m'表示干扰对象掩码预测图像。
[0061]
也就是说，本实施例根据所构建的包含一个编码器与两个解码器的神经网络模型，分别设计第一损失函数与第二损失函数的计算方式，使得所得到的损失函数值更加符
合当前构建的神经网络模型，从而进一步提升了神经网络模型的训练效果。
[0062]
本实施例在执行s104得到干扰对象处理模型之后，便可以使用所得到的该干扰对象处理模型对包含干扰对象的图像进行处理，从而得到擦除干扰对象的干净图像。
[0063]
图2是根据本技术第二实施例的示意图。如图2所示，本实施例的干扰对象处理模型的训练方法，具体可以包括如下步骤：
[0064]
s201、获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；
[0065]
s202、构建包含编码器、第一解码器、第二解码器与第三解码器的神经网络模型，所述第三解码器用于根据图像特征生成干扰对象预测图像；
[0066]
s203、将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像；
[0067]
s204、根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像、所述干扰对象预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。
[0068]
也就是说，本实施例在构建神经网络模型时，除了设置编码器、第一解码器与第二解码器之外，还会设置用于生成干扰对象预测图像的第三解码器，从而使得所构建的神经网络模型在能够完成干扰对象的检测任务与擦除任务之外，还能够完成干扰对象的生成任务(即生成干扰对象本身对应的图像)，从而进一步增强干扰对象处理模型的模型性能、提升干扰对象处理模型的适用性。
[0069]
本实施例执行s202构建的神经网络模型中，第三解码器用于根据编码器得到的图像特征，生成干扰对象预测图像；该干扰对象预测图像为干扰对象本身对应的图像。
[0070]
第三解码器的网络参数与第一解码器以及第二解码器的相同，但是第三解码器与其他两个解码器各自具备相互独立的注意力计算模块，例如第三解码器具备第三注意力计算模块；例如，第三解码器中的第三注意力计算模块将图像特征中用于生成干扰对象图像的特征的权重设置的较大，生成其他图像的特征的权重设置的较小，进而生成干扰对象预测图像。
[0071]
本实施例在执行s204根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像、干扰对象预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以采用的可选实现方式为：根据样本图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到样本预测图像；根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像，得到第二目标损失函数值；根据第二目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0072]
本实施例在执行s204根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像与，得到第二目标损失函数值时，可以采用的可选实现方式为：根据干扰对象掩码真值图像、干扰对象掩码预测图像、干扰对象背景预测图像、样本真值图像与样本预测图像，得到第一损失函数值；根据干扰对象掩码预测图像与干扰对象掩码真值图像，得到第二损失函数值；根据干扰对象预测图像、干扰对象掩码预测图像、干扰对象掩码真值图像与样本真值图像，得到第三损失函
数值；根据第一损失函数值、第二损失函数值与第三损失函数值，得到第二目标损失函数值，例如将第一损失函数值、第二损失函数值与第三损失函数值之间的相加结果，作为第二目标损失函数值。
[0073]
也就是说，本实施例根据干扰对象的预测图像与真值图像得到的第三损失函数值来得到第二目标损失函数值，使得第二目标损失函数在能够兼顾干扰对象背景与干扰对象掩码的生成的同时，还能够兼顾干扰对象的生成，从而对解码器、不同的编码器的参数进行更为准确的调整，进而增强干扰对象处理模型的模型性能。
[0074]
本实施例执行s204得到第一损失函数值与第二损失函数值的计算方式与上述实施例中的s104所涉及到的计算方式相同，在此不进行赘述。
[0075]
本实施例在执行s204根据干扰对象预测图像、干扰对象掩码预测图像、干扰对象掩码真值图像与样本真值图像，得到第三损失函数值时，可以采用以下公式(4)：
[0076][0077]
在公式(4)中：ln表示第三损失函数值；m表示干扰对象掩码真值图像；m'表示干扰对象掩码预测图像；i
gt
表示样本真值图像；fs(i)表示干扰对象预测图像。
[0078]
图3是根据本公开第三实施例的示意图。图3中示出了本实施例所构建的神经网络模型的结构图：本实施例所构建的神经网络模型包含编码器、第一解码器、第二解码器与第三解码器，编码器从输入图像(包含印章)中提取图像特征之后，将所提取的图像特征分别输入第一解码器、第二解码器与第三解码器；第一解码器根据图像特征生成印章背景预测图像，第二解码器根据图像特征生成印章掩码预测图像，第三解码器根据图像特征生成印章预测图像；根据输入图像、印章背景预测图像与印章掩码预测图像，得到擦除印章之后的目标图像；进一步地，还可以获取由第三解码器输出的印章预测图像，从而可以执行使用该印章预测图像再对其他文件进行加盖印章、或者将该印章预测图像作为印章提取结果进行存储的操作。
[0079]
图4是根据本公开第四实施例的示意图。图4中示出了本实施例所构建的神经网络模型中三个解码之间的关系图：三个解码器之间共用一套网络参数，但是每个解码器分别具备一个注意力计算模块，注意力计算模块由池化层、第一线性层、第二线性层与激活函数层构成，神经网络模型的训练过程会对每个注意力计算模块包含的各个神经层的参数进行调整。
[0080]
图5是根据本公开第五实施例的示意图。如图5中所示，本实施例的干扰对象的处理方法，具体包括如下步骤：
[0081]
s501、获取待处理图像；
[0082]
s502、将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；
[0083]
s503、根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像。
[0084]
本实施例的干扰对象的处理方法，使用上述实施例训练得到的干扰对象处理模型得到待处理图像中干扰对象的背景预测图像与掩码预测图像，从而根据所得到的预测图像与待处理图像得到目标图像，实现对待处理图像中包含的干扰对象进行擦除的目的，得到
不包含水印、印章等干扰对象的目标图像，进而可以对目标图像进行光学字符识别(optical character recognition，ocr)来获取图像中的文字，能够提升所获取文字的准确性。
[0085]
本实施例执行s501获取的待处理图像，可以为已存在的图像，也可以为实时拍摄的图像，该待处理图像可以为用于进行ocr识别的图像。
[0086]
可以理解的是，本实施例在执行s501时，可以在确定所获取的图像中包含干扰对象的情况下，将所获取的图像作为待处理图像。
[0087]
本实施例在执行s501获取待处理图像之后，执行s502将待处理图像输入到干扰对象处理模型，从而得到干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像。
[0088]
若预先训练得到的干扰对象处理模型还包含第三解码器，本实施例在执行s502时，除了得到背景与掩码的预测图像之外，还可以得到干扰对象处理模型输出的干扰对象预测图像。
[0089]
本实施例在执行s502得到由干扰对象处理模型输出的干扰对象预测图像之后，还可以对该干扰对象预测图像进行存储，例如获取该干扰对象的标识信息，进而将所获取的标识信息与干扰对象预测图像进行一同存储，在后续使用过程中，根据标识信息即可获取相应的干扰对象预测图像。
[0090]
本实施例在执行s502得到干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像之后，执行s503根据待处理图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到目标图像；其中，本实施例执行s503所得到的目标图像，为擦除水印和/或印章之后的图像。
[0091]
本实施例在执行s503根据待处理图像、干扰对象背景预测图像与干扰对象掩码预测图像得到目标图像时，可以使用上述实施例中的公式(1)得到，本实施例在此不进行赘述。
[0092]
本实施例在执行s503得到目标图像之后，可以对目标图像进行ocr识别，从而获取目标图像中所包含的文字内容；由于目标图像中已不包含干扰对象，因此能够提升所获取的文字内容的准确性。
[0093]
图6是根据本公开第六实施例的示意图。如图6所示，本实施例的干扰对象处理模型的训练装置600，包括：
[0094]
第一获取单元601、用于获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；
[0095]
构建单元602、用于构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；
[0096]
第一处理单元603、用于将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；
[0097]
训练单元604、用于根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象
处理模型。
[0098]
第一获取单元601获取的训练数据中，可以包含多张样本图像，每张样本图像为包含干扰对象(水印和/或印章)的图像；真值图像组中包含的样本真值图像，为擦除样本图像中包含的干扰对象之后得到的图像。
[0099]
本实施例在由第一获取单元601获取包含样本图像及其对应的真值图像组的训练数据之后，由构建单元602构建包含编码器、第一解码器与第二解码器的神经网络模型。
[0100]
构建单元602构建的神经网络模型中，编码器用于根据所输入的样本图像得到图像特征，进而将所得到的图像特征分别输入到第一解码器与第二解码器，以用于不同的解码器生成相应的预测图像。
[0101]
构建单元602构建的神经网络模型中，第一解码器用于根据编码器得到的图像特征，生成干扰对象背景预测图像；该干扰对象背景预测图像中包含干扰对象掩码以及干扰对象覆盖的图像内容。
[0102]
构建单元602构建的神经网络模型中，第二解码器用于根据编码器得到的图像特征，生成干扰对象掩码预测图像；该干扰对象掩码预测图像中包含干扰对象掩码，干扰对象掩码为一个二进制的像素级区域，用像素值0或者1表示当前像素是否属于干扰对象，例如像素值为1表示当前像素属于干扰对象，像素值为0表示当前像素不属于干扰对象。
[0103]
另外，构建单元602在构建包含编码器、第一解码器与第二解码器的神经网络模型时，还可以包含以下内容：构建包含编码器、第一解码器、第二解码器与第三解码器的神经网络模型。
[0104]
构建单元602构建的神经网络模型中，第三解码器用于根据图像特征，生成干扰对象预测图像；该干扰对象预测图像为干扰对象本身对应的图像。
[0105]
在本实施例中，第一解码器、第二解码器与第三解码器共用一套网络参数，但是第一解码器、第二解码器与第三解码器各自具备相互独立的注意力计算模块，例如第一解码器具备第一注意力计算模块，第二解码器具备第二注意力计算模块，第三解码器具备第三注意力计算模块。
[0106]
不同的注意力计算模块用于确定图像特征所包含的各特征的权重，根据各特征的权重来重组图像特征，进而根据重组之后的图像特征生成不同的预测图像；可以理解的是，解码器中包含的注意力计算模块在神经网络模型的训练过程中逐渐提升所设置的不同特征的权重的准确性。
[0107]
本实施例在由构建单元602构建包含编码器、第一解码器与第二解码器的神经网络模型之后，由第一处理单元603将样本图像输入到神经网络模型，得到神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像。
[0108]
若训练数据中包含多张样本图像，则第一处理单元603可以分别将多张样本图像输入到神经网络模型，进而得到神经网络模型针对每张样本图像输出的干扰对象背景预测图像与干扰对象掩码预测图像。
[0109]
第一处理单元603在将样本图像输入到神经网络模型时，还可以首先将样本图像处理至预设大小(例如256
×
256、512
×
512)，然后再将处理之后的样本图像输入到神经网络模型，从而防止由于图像尺寸的不同所导致的模型训练不准确的问题。
[0110]
若样本图像为黑白图像，第一处理单元603还可以首先将黑白图像扩展成rgb三个
通道的灰度值均相同的rgb图像，然后再将rgb图像中各像素的灰度值归一化到[0，1]之间，最后将处理之后的样本图像输入到神经网络模型，从而使得神经网络模型能够对黑白图像进行处理。
[0111]
若构建单元602构建的神经网络模型中还包含第三解码器，则第一处理单元603将样本图像输入到所述神经网络模型，得到神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像时，还可以包含以下内容：将样本图像输入到神经网络模型，得到神经网络模型输出的干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像。
[0112]
本实施例在由第一处理单元603得到神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像之后，由训练单元604根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0113]
训练单元604在根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以采用的可选实现方式为：根据样本图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到样本预测图像；根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到第一目标损失函数值；根据第一目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0114]
也就是说，训练单元604除了使用真值图像组之外，还会根据样本图像以及由神经网络模型输出的预测图像所得到的样本预测图像，来共同得到用于调整神经网络模型的参数的第一目标损失函数值，能够提升所得到的第一目标损失函数值的准确性，进而提升参数调整的准确性。
[0115]
训练单元604在根据目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以在经过至少一次训练之后，确定计算得到的目标损失函数值收敛的情况下，确定神经网络模型收敛，从而完成神经网络模型的训练，将最后一次参数调整之后的神经网络模型，作为干扰对象处理模型。
[0116]
训练单元604在根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到第一目标损失函数值时，可以采用的可选实现方式为：根据干扰对象掩码真值图像、干扰对象掩码预测图像、干扰对象背景预测图像、样本真值图像与样本预测图像，得到第一损失函数值；根据干扰对象掩码预测图像与干扰对象掩码真值图像，得到第二损失函数值；根据第一损失函数值与第二损失函数值，得到第一目标损失函数值。
[0117]
也就是说，训练单元604根据不同的真值图像与预测图像分别得到第一损失函数值与第二损失函数值，使得第一目标损失函数能够同时兼顾干扰对象背景与干扰对象掩码的生成，从而对解码器、不同的编码器的参数进行更为准确的调整，进而提升训练得到的干扰对象处理模型所生成图像的准确性。
[0118]
也就是说，训练单元604根据所构建的包含一个编码器与两个解码器的神经网络模型，分别设计第一损失函数与第二损失函数的计算方式，使得所得到的损失函数值更加符合当前构建的神经网络模型，从而进一步提升了神经网络模型的训练效果。
[0119]
若第一处理单元603得到了由神经网络模型输出的干扰对象预测图像，则训练单
元604在根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以包含以下内容：根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像、干扰对象预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0120]
训练单元604在根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像、干扰对象预测图像与真值图像组，对神经网络模型的参数进行调整，得到干扰对象处理模型时，可以采用的可选实现方式为：根据样本图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到样本预测图像；根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像，得到第二目标损失函数值；根据第二目标损失函数值对神经网络模型的参数进行调整，得到干扰对象处理模型。
[0121]
训练单元604在根据样本预测图像、样本真值图像、干扰对象掩码真值图像、干扰对象背景预测图像、干扰对象掩码预测图像与干扰对象预测图像，得到第二目标损失函数值时，可以采用的可选实现方式为：根据干扰对象掩码真值图像、干扰对象掩码预测图像、干扰对象背景预测图像、样本真值图像与样本预测图像，得到第一损失函数值；根据干扰对象掩码预测图像与干扰对象掩码真值图像，得到第二损失函数值；根据干扰对象预测图像、干扰对象掩码预测图像、干扰对象掩码真值图像与样本真值图像，得到第三损失函数值；根据第一损失函数值、第二损失函数值与第三损失函数值，得到第二目标损失函数值，例如将第一损失函数值、第二损失函数值与第三损失函数值之间的相加结果，作为第二目标损失函数值。
[0122]
也就是说，训练单元604根据干扰对象的预测图像与真值图像得到的第三损失函数值来得到第二目标损失函数值，使得第二目标损失函数在能够兼顾干扰对象背景与干扰对象掩码的生成的同时，还能够兼顾干扰对象的生成，从而对解码器、不同的编码器的参数进行更为准确的调整，进而增强干扰对象处理模型的模型性能。
[0123]
图7是根据本公开第七实施例的示意图。如图7中所示，本实施例的干扰对象的处理装置700，包括：
[0124]
第二获取单元701、用于获取待处理图像；
[0125]
第二处理单元702、用于将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；
[0126]
第三处理单元703、用于根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像。
[0127]
第二获取单元701获取的待处理图像，可以为已存在的图像，也可以为实时拍摄的图像，该待处理图像可以为用于进行ocr识别的图像。
[0128]
可以理解的是，第二获取单元701可以在确定所获取的图像中包含干扰对象的情况下，将所获取的图像作为待处理图像。
[0129]
本实施例在由第二获取单元701获取待处理图像之后，由第二处理单元702将待处理图像输入到干扰对象处理模型，从而得到干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像。
[0130]
若预先训练得到的干扰对象处理模型还包含第三解码器，第二处理单元702除了
得到背景与掩码的预测图像之外，还可以得到干扰对象处理模型输出的干扰对象预测图像。
[0131]
第二处理单元702在得到由干扰对象处理模型输出的干扰对象预测图像之后，还可以对该干扰对象预测图像进行存储，例如获取该干扰对象的标识信息，进而将所获取的标识信息与干扰对象预测图像进行一同存储，在后续使用过程中，根据标识信息即可获取相应的干扰对象预测图像。
[0132]
本实施例在由第二处理单元702得到干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像之后，由第三处理单元703根据待处理图像、干扰对象背景预测图像与干扰对象掩码预测图像，得到目标图像；其中，第三处理单元703所得到的目标图像，为擦除水印和/或印章之后的图像。
[0133]
第三处理单元703在根据待处理图像、干扰对象背景预测图像与干扰对象掩码预测图像得到目标图像时，可以使用上述实施例中的公式(1)得到，本实施例在此不进行赘述。
[0134]
第三处理单元703在得到目标图像之后，可以对目标图像进行ocr识别，从而获取目标图像中所包含的文字内容；由于目标图像中已不包含干扰对象，因此能够提升所获取的文字内容的准确性。
[0135]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0136]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0137]
如图8所示，是根据本公开实施例的干扰对象处理模型的训练或者干扰对象的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0138]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0139]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的展示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0140]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，
例如干扰对象处理模型的训练或者干扰对象的处理方法。例如，在一些实施例中，干扰对象处理模型的训练或者干扰对象的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。
[0141]
在一些实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram803并由计算单元801执行时，可以执行上文描述的干扰对象处理模型的训练或者干扰对象的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行干扰对象处理模型的训练或者干扰对象的处理方法。
[0142]
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0143]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程干扰对象处理模型的训练或者干扰对象的处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0144]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0145]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户展示信息的展示装置(例如，crt(阴极射线管)或者lcd(液晶展示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0146]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0147]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(“virtual private server”，或简称“vps”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0148]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0149]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种干扰对象处理模型的训练方法，包括：获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型。2.根据权利要求1所述的方法，其中，所述根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型包括：根据所述样本图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到样本预测图像；根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到第一目标损失函数值；根据所述第一目标损失函数值对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。3.根据权利要求2所述的方法，其中，所述根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到第一目标损失函数值包括：根据所述干扰对象掩码真值图像、所述干扰对象掩码预测图像、所述干扰对象背景预测图像、所述样本真值图像与所述样本预测图像，得到第一损失函数值；根据所述干扰对象掩码预测图像与所述干扰对象掩码真值图像，得到第二损失函数值；根据所述第一损失函数值与所述第二损失函数值，得到所述第一目标损失函数值。4.根据权利要求1所述的方法，其中，所述构建包含编码器、第一解码器与第二解码器的神经网络模型包括：构建包含所述编码器、所述第一解码器、所述第二解码器与第三解码器的神经网络模型；其中，所述第三编码器用于根据所述图像特征生成干扰对象预测图像。5.根据权利要求4所述的方法，其中，所述将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像包括：将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的所述干扰对象背景预测图像、所述干扰对象掩码预测图像与干扰对象预测图像。6.根据权利要求5所述的方法，其中，所述根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型包括：
根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像、所述干扰对象预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。7.根据权利要求6所述的方法，其中，所述根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像、所述干扰对象预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型包括：根据所述样本图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到样本预测图像；根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述干扰对象预测图像，得到第二目标损失函数值；根据所述第二目标损失函数值对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。8.根据权利要求7所述的方法，其中，所述根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述干扰对象预测图像，得到第二目标损失函数值包括：根据所述干扰对象掩码真值图像、所述干扰对象掩码预测图像、所述干扰对象背景预测图像、所述样本真值图像与所述样本预测图像，得到第一损失函数值；根据所述干扰对象掩码预测图像与所述干扰对象掩码真值图像，得到第二损失函数值；根据所述干扰对象预测图像、所述干扰对象掩码预测图像、所述干扰对象掩码真值图像与所述样本真值图像，得到第三损失函数值；根据所述第一损失函数值、所述第二损失函数值与所述第三损失函数值，得到所述第二目标损失函数值。9.一种干扰对象的处理方法，包括：获取待处理图像；将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像；其中，所述干扰对象处理模型是根据权利要求1-8中任一项方法训练得到的。10.根据权利要求9所述的方法，还包括，得到所述干扰对象处理模型输出的干扰对象预测图像。11.一种干扰对象处理模型的训练装置，包括：第一获取单元，用于获取训练数据，所述训练数据包含样本图像与所述样本图像的真值图像组，所述真值图像组包含干扰对象掩码真值图像与样本真值图像；构建单元，用于构建包含编码器、第一解码器与第二解码器的神经网络模型，所述编码器用于根据样本图像得到图像特征，所述第一解码器用于根据所述图像特征生成干扰对象背景预测图像，所述第二解码器用于根据所述图像特征生成干扰对象掩码预测图像；
第一处理单元，用于将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；训练单元，用于根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型。12.根据权利要求11所述的装置，其中，所述训练单元在根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型时，具体执行：根据所述样本图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到样本预测图像；根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到第一目标损失函数值；根据所述第一目标损失函数值对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。13.根据权利要求12所述的装置，其中，所述训练单元在根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到第一目标损失函数值时，具体执行：根据所述干扰对象掩码真值图像、所述干扰对象掩码预测图像、所述干扰对象背景预测图像、所述样本真值图像与所述样本预测图像，得到第一损失函数值；根据所述干扰对象掩码预测图像与所述干扰对象掩码真值图像，得到第二损失函数值；根据所述第一损失函数值与所述第二损失函数值，得到所述第一目标损失函数值。14.根据权利要求11所述的装置，其中，所述构建单元在构建包含编码器、第一解码器与第二解码器的神经网络模型时，具体执行：构建包含所述编码器、所述第一解码器、所述第二解码器与第三解码器的神经网络模型；其中，所述第三编码器用于根据所述图像特征生成干扰对象预测图像。15.根据权利要求14所述的装置，其中，所述第一处理单元在将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的干扰对象背景预测图像与干扰对象掩码预测图像时，具体执行：将所述样本图像输入到所述神经网络模型，得到所述神经网络模型输出的所述干扰对象背景预测图像、所述干扰对象掩码预测图像与干扰对象预测图像。16.根据权利要求15所述的装置，其中，所述训练单元在根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到干扰对象处理模型时，具体执行：根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像、所述干扰对象预测图像与所述真值图像组，对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。17.根据权利要求16所述的装置，其中，所述训练单元在根据所述样本图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像、所述干扰对象预测图像与所述真值图像
组，对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型时，具体执行：根据所述样本图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到样本预测图像；根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述干扰对象预测图像与，得到第二目标损失函数值；根据所述第二目标损失函数值对所述神经网络模型的参数进行调整，得到所述干扰对象处理模型。18.根据权利要求17所述的装置，其中，所述训练单元在根据所述样本预测图像、所述样本真值图像、所述干扰对象掩码真值图像、所述干扰对象背景预测图像、所述干扰对象掩码预测图像与所述干扰对象预测图像，得到第二目标损失函数值时，具体执行：根据所述干扰对象掩码真值图像、所述干扰对象掩码预测图像、所述干扰对象背景预测图像、所述样本真值图像与所述样本预测图像，得到第一损失函数值；根据所述干扰对象掩码预测图像与所述干扰对象掩码真值图像，得到第二损失函数值；根据所述干扰对象预测图像、所述干扰对象掩码预测图像、所述干扰对象掩码真值图像与所述样本真值图像，得到第三损失函数值；根据所述第一损失函数值、所述第二损失函数值与所述第三损失函数值，得到所述第二目标损失函数值。19.一种干扰对象的处理装置，包括：第二获取单元，用于获取待处理图像；第二处理单元，用于将所述待处理图像输入到干扰对象处理模型，得到所述干扰对象处理模型输出的干扰对象背景预测图像与干扰对象掩码预测图像；第三处理单元，用于根据所述待处理图像、所述干扰对象背景预测图像与所述干扰对象掩码预测图像，得到目标图像；其中，所述干扰对象处理模型是根据权利要求11-18中任一项装置训练得到的。20.根据权利要求19所述的装置，其中，所述第二处理单元还用于执行：得到所述干扰对象处理模型输出的干扰对象预测图像。21.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

技术总结
本公开提供一种干扰对象处理模型的训练与干扰对象的处理方法、装置，涉及深度学习、大数据、云服务、自然语言处理等人工智能技术领域。其中，干扰对象处理模型的训练方法包括：获取训练数据；构建包含编码器、第一解码器与第二解码器的神经网络模型；将样本图像输入到神经网络模型，干扰对象背景预测图像与干扰对象掩码预测图像；根据样本图像、干扰对象背景预测图像、干扰对象掩码预测图像与真值图像组，得到干扰对象处理模型。干扰对象的处理方法包括：获取待处理图像；将待处理图像输入到干扰对象处理模型，得到干扰对象背景预测图像与干扰对象掩码预测图像；根据待处理图像、干扰对象背景预测图像与干扰对象掩码预测图像得到目标图像。目标图像。目标图像。


技术研发人员：周锦 苏崔聪 向宇波 刘明浩
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.06.13
技术公布日：2023/10/7