图像处理方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及人工智能领域，具体涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着电子设备和计算机技术的发展，用户对图像和视频的质量要求逐渐提高，由此，图像复原技术逐渐称为了计算机视觉领域最重要的图像处理技术之一，广泛应用于人脸恢复、超分辨率处理等任务中。所谓图像复原技术是指利用退化的图像的先验知识，使退化的图像恢复其本来的面目的技术。其中，退化的图像是指由于受到成像系统的不完善、设备的限制、传输的损耗等因素的影响，图像缺少细节，质量较低。而复原出的图像包括更多的细节，图像的清晰度有所提升。
3.目前，为了提高图像的清晰度，技术人员可以通过滤波器对图像进行滤波来消除图像中的噪声，以达到提高图像质量的目的。但是采用这种处理方式，可能会产生伪纹理，图像复原的效果不好。
4.因此，如何提高图像复原的效果，成为当前亟需解决的技术问题。


技术实现要素：

5.本技术实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，可以减少退化的图像中的伪纹理，从而有利于提高图像复原的效果。
6.第一方面，本技术实施例提供了一种图像处理方法，该方法可以由电子设备执行，或由电子设备中的模块执行，例如芯片或处理器等。该方法可包括：对待处理图像进行图像预处理，得到第一图像，第一图像包括n个图像区域，n为大于1的整数；调用目标图像处理模型提取n个图像区域中各个图像区域的图像特征，并调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的词典特征进行第一融合处理，得到各个图像区域对应的重建特征；调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理，得到待处理图像对应的目标重建图像，待处理图像对应的目标重建图像包括各个图像区域对应的重建图像。
7.通过第一方面提供的方法，在对待处理图像进行处理的过程中，通过目标图像处理模型基于不同图像区域对应的词典特征对不同图像区域进行重建，一方面，基于不同图像区域分别进行处理，有利于提高了图像复原处理的灵活性和差异性，特别是需要针对待处理图像中不同区域图像复原处理的程度不同的场景，从而更能够满足用户的需求；另一方面，通过各个图像区域对应的词典特征对图像区域的图像特征进行融合处理，可以使得匹配词典特征更准确，在一定程度上减少图像复原处理中不应出现的伪纹理，从而有利于提高了待处理图像的清晰度，提高图像复原的效果。
8.结合第一方面，在一种实施方式中，目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；交叉注意力模块用于确定图像区域n的图像
特征k与图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据多个相似度对图像区域n对应的多个参考词典特征进行第一融合处理，得到图像区域n对应的重建特征；其中，图像区域n为n个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。在本技术实施例中，通过基于各个图像区域对应的词典特征包括的参考词典特征，对待处理图像中不同图像区域进行分别进行图像复原处理，可以使得图像复原处理更加灵活，特别是可以应用于需要针对待处理图像的不同区域图像进行图像复原处理的程度不同的场景。并且，基于词典特征中各个参考词典特征进行融合处理而非采用词典特征中的一个参考词典特征，可以使得融合得到的融合结果更加多样化，可以充分利用词典特征中的参考词典特征，用较少的参考词典特征即可表示多种不同的特征，使得词典特征更加灵活，适用性高。
9.结合第一方面，在一种实施方式中，目标图像处理模型包括特征融合模块；特征融合模块用于获取图像区域n对应的超分系数，并基于超分系数对图像区域n的图像特征k和图像区域n对应的重建特征进行第二融合处理，得到图像区域n对应的重建图像，图像区域n对应的超分系数用于指示图像区域n的重建程度；其中，图像区域n为n个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。在本技术实施例中，基于不同的超分系数对不同的图像区域进行图像复原处理，可以适用于需要针对待处理图像中不同图像区域进行图像复原处理的程度不同的场景，例如部分图像区域的模糊程度高，则需要复原的程度较高，反之，则需要复原的程度较低。并且可以根据用户的需求对不同图像区域进行不同程度的图像复原处理，有利于提高图像复原处理的效果，适用性更高，也更有利于能够满足用户的需求。
10.结合第一方面，在一种实施方式中，该方法还包括：对初始训练样本集进行图像预处理，得到训练样本集；训练样本集包括m个训练图像区域；m个训练图像区域中的训练图像区域m1与n个图像区域中的图像区域n1的特征类别相同，m为大于1的整数；基于训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；根据第一损失参数调整初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，调整词典特征集包括m个训练图像区域中各个训练图像区域对应的词典特征；基于训练样本集对参考重建模型进行训练，得到第二损失参数；在第二损失参数满足训练结束条件的情况下，确定图像区域n1对应的词典特征为训练图像区域m1对应的词典特征。在本技术实施例中，通过在对模型的迭代训练过程中，不断对初始词典特征集包括的特征向量进行调整，可以逐渐提高词典特征的有效性，并且不同的图像区域分别对应一个词典特征，有利于后续图像复原处理时，能够更准确的匹配图像区域对应的词典特征，从而有利于降低图像复原处理时匹配词典特征的难度，从而在一定程度上能够提高图像复原处理的效果。
11.结合第一方面，在一种实施方式中，对待处理图像进行图像预处理，得到第一图像，包括：根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像；提取对齐图像的亮度分量，得到亮度分量图像；提取亮度分量图像中的高频特征图像，得到第一图像。在本技术实施例中，通过对待处理图像进行对齐处理、提取亮度分量以及高频特征信息，一方面可以使得在图像复原处理中不涉及待处理图像中的低频部分，仅对涉及细节信息的高频部分进行图像复原处理，保证了图像复原处理的不会改变原始图像（待处理图像）的主体部分的内容，例如待处理图像为人脸图像时，可以保证图像复原处理后得
到的结果中包括的人脸与待处理图像中包括的人脸为同一个人的人脸图像；另一方面可以使得图像复原处理不涉及待处理图像中的颜色，由此，得到的图像复原处理的结果不改变原始图像（待处理图像）的颜色，从而有利于提高图像复原处理的效果。
12.结合第一方面，在一种实施方式中，待处理图像对应的参考标准图像包括p个预设关键点的位置信息，p为大于或等于1的整数；根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像，包括：识别待处理图像中的p个关键点的位置信息；根据p个预设关键点的位置信息和p个关键点的位置信息，对待处理图像进行对齐处理，得到对齐图像；对齐图像中的关键点p的位置信息与关键点p对应的预设关键点的位置信息相同，关键点p为p个关键点中的任一关键点。在本技术实施例中，通过对待处理图像进行对齐处理，使得不同图像区域的位置固定，更便于目标图像处理模型提取图像特征，从而有利于提升后续处理的图像复原处理的效果。
13.结合第一方面，在一种实施方式中，方法还包括：提取亮度分量图像中的低频特征图像，并将待处理图像对应的目标重建图像与低频特征图像结合，得到重建亮度分量图像；提取对齐图像中的色度分量，得到色度分量图像；将重建亮度分量图像与色度分量图像结合，得到变换重建图像；对变换重建图像进行反对齐处理，得到待处理图像对应的目标复原图像。在本技术实施例中，由于在图像复原处理时，仅对待处理图像对齐处理得到的对齐图像中的亮度分量以及高频信息进行图像复原处理，可以根据图像预处理对得到的目标重建图像进行反向处理，从而得到图像复原处理的结果图像，由于仅对待处理图像的亮度分量以及高频信息进行图像复原处理，因此，图像复原处理不会改变待处理图像中的主体信息和颜色，有利于提高图像复原处理的效果。
14.第二方面，本技术实施例提供一种电子设备，本技术实施例提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：对待处理图像进行图像预处理，得到第一图像，第一图像包括n个图像区域，n为大于1的整数；调用目标图像处理模型提取n个图像区域中各个图像区域的图像特征，并调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的词典特征进行第一融合处理，得到各个图像区域对应的重建特征；调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理，得到待处理图像对应的目标重建图像，待处理图像对应的目标重建图像包括各个图像区域对应的重建图像。
15.结合第二方面，在一种实施方式中，目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；交叉注意力模块用于确定图像区域n的图像特征k与图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据多个相似度对图像区域n对应的多个参考词典特征进行第一融合处理，得到图像区域n对应的重建特征；其中，图像区域n为n个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。
16.结合第二方面，在一种实施方式中，目标图像处理模型包括特征融合模块；特征融合模块用于获取图像区域n对应的超分系数，并基于超分系数对图像区域n的图像特征k和图像区域n对应的重建特征进行第二融合处理，得到图像区域n对应的重建图像，图像区域n
对应的超分系数用于指示图像区域n的重建程度；其中，图像区域n为n个图像区域中的任一图像区域，图像特征k为提取出的图像区域n的图像特征。
17.结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：对初始训练样本集进行图像预处理，得到训练样本集；训练样本集包括m个训练图像区域；m个训练图像区域中的训练图像区域m1与n个图像区域中的图像区域n1的特征类别相同，m为大于1的整数；基于训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；根据第一损失参数调整初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，调整词典特征集包括m个训练图像区域中各个训练图像区域对应的词典特征；基于训练样本集对参考重建模型进行训练，得到第二损失参数；在第二损失参数满足训练结束条件的情况下，确定图像区域n1对应的词典特征为训练图像区域m1对应的词典特征。
18.结合第二方面，在一种实施方式中，该一个或多个处理器用于调用该计算机指令以使得该电子设备执行对待处理图像进行图像预处理，得到第一图像，具体用于执行：根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像；提取对齐图像的亮度分量，得到亮度分量图像；提取亮度分量图像中的高频特征图像，得到第一图像。
19.结合第二方面，在一种实施方式中，待处理图像对应的参考标准图像包括p个预设关键点的位置信息，p为大于或等于1的整数；该一个或多个处理器用于调用该计算机指令以使得该电子设备执行根据待处理图像对应的参考标准图像对待处理图像进行对齐处理，得到对齐图像，具体用于执行：识别待处理图像中的p个关键点的位置信息；根据p个预设关键点的位置信息和p个关键点的位置信息，对待处理图像进行对齐处理，得到对齐图像；对齐图像中的关键点p的位置信息与关键点p对应的预设关键点的位置信息相同，关键点p为p个关键点中的任一关键点。
20.结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：提取亮度分量图像中的低频特征图像，并将待处理图像对应的目标重建图像与低频特征图像结合，得到重建亮度分量图像；提取对齐图像中的色度分量，得到色度分量图像；将重建亮度分量图像与色度分量图像结合，得到变换重建图像；对变换重建图像进行反对齐处理，得到待处理图像对应的目标复原图像。
21.第三方面，本技术实施例提供了一种电子设备，包括：一个或多个处理器和一个或多个存储器；所述一个或多个处理器与所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得上述电子设备执行如第一方面或第一方面的任意一种实施方式所述的方法。
22.第四方面，本技术实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所述的方法。
23.第五方面，本技术实施例提供一种计算机存储介质，用于储存为上述第二方面提供的一种电子设备所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
24.第六方面，本技术实施例提供了一种计算机程序，该计算机程序包括计算机指令，当该计算机程序被计算机执行时，使得计算机程序可以执行上述第二方面中的电子设备所
执行的流程。
25.第七方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持电子设备实现上述第一方面中所涉及的功能，例如，生成或处理上述图像处理方法中所涉及的信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存数据发送设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
附图说明
26.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
27.图1是本技术实施例提供的一种图像处理系统的架构示意图。
28.图2是本技术实施例提供的一种电子设备的硬件结构示意图。
29.图3是本技术实施例提供的一种软件系统示意图。
30.图4是本技术实施例提供的一种图像处理方法的流程示意图。
31.图5是本技术实施例提供的一种对齐处理的原理示意图。
32.图6是本技术实施例提供的一种分割处理的结果示意图。
33.图7是本技术实施例提供的一种图像处理方法的时序示意图。
34.图8是本技术实施例提供的一种对人脸图像进行图像复原的时序示意图。
35.图9是本技术实施例提供的一种构建词典特征的流程示意图。
36.图10是本技术实施例提供的一种构建词典特征的时序示意图。
37.图11是本技术实施例提供的一种构建人脸词典特征的时序示意图。
38.图12是本技术实施例提供的一种图像处理装置的结构示意图。
具体实施方式
39.下面将结合本技术实施例中的附图，对本技术实施例进行描述。
40.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.应当理解，在本技术中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
42.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
43.在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组（例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网）的信号通过本地和/或远程进程来通信。
44.在对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释：1、图像复原图像复原，也可以称为图像恢复，是指针对退化的图像进行图像复原处理，使其恢复图像的本来面目。其中，退化的图像是指由于成像系统的不完善、设备的限制、传输介质不完善等因素的影响，图像质量不能达到预期要求的图像。图像复原是通过一些去模糊的手段来去除退化的图像中的模糊部分，从而还原图像的本来面目，其主要采用的方式是基于退化过程中的先验知识对退化的图像进行修复或者重建，消除退化的图像中的模糊部分，增加退化的图像的细节，以提高退化的图像的清晰度，从而提高退化的图像的质量。
45.本技术以下实施例中，“图像复原”也可以称为“图像恢复”或者“图像重建”，在对包括人脸的图像进行图像复原处理的时候，“图像重建”也可以称为“人脸重建”、“人脸恢复”等词语。其代表的含义在上述解释中已经记载，其所使用的词语不能对本实施例构成任何限制。
46.应用在本技术实施例中，待处理图像为退化的图像，可以通过目标图像处理模型提取待处理图像的图像特征，并基于待处理图像的图像特征进行图像复原处理，得到目标复原图像，该目标复原图像相较待处理图像的图像主体信息并未发生改变，图像的清晰度和图像质量有所提升。
47.2、词典特征词典特征也可以称为词典（dictionary）、离散词典、字典等，类比于日常生活中的字典或者词典，词典特征为包括多个特征（特征向量）的合集，每个特征向量为多维的向量，用于表示特征（如图像特征），例如词典特征中包括多个512维的特征向量。词典特征包括的多个特征可以类比于日常生活中的词典中的词语或者字典中的文字，任何句子都可以由多个词语或者文字组成，同样的，样本（图像特征）也可以由词典特征中包括的一个或多个特征向量表示。由此，词典特征可以理解为对庞大的特征库的一种降维的表示，提取事物（如图像）本质的特征。
48.其中，构建词典特征（也可以称为词典构建、词典制作、词典恢复等）阶段（dictionary generate）和利用词典特征包括的特征向量来表示样本的阶段（sparse coding with a precomputed dictionary）可以称为字典学习（dictionary learning）。在构建词典特征阶段，构建的目的是使得词典特征中的各个特征向量为稀疏向量。在数学表
达中稀疏向量是指向量中的元素绝大部分为零元素，由于稀疏向量中为去除无关的冗余信息，包括的信息为最重要、最本质的信息，因此用词典特征中的一个或多个特征向量可以完成各个样本（如图像特征）的稀疏表示，即用稀疏向量尽可能的还原所要表示的样本（如图像特征），可以理解为用尽可能少的资源表示尽可能多的知识，由此，图像特征可以用词典特征中的一个或多个特征进行稀疏表示，可以用于图像复原的任务中。
49.应用在本技术实施例中，词典特征为词典特征集包括的多个词典特征中的一个词典特征，词典特征集中的各个词典特征可以分别对应不同的图像区域。例如，在包括人脸的图像中，人脸的不同部位的图像区域可以分别对应一个词典特征，如：头发图像区域对应的头发词典特征，眼睛图像区域对应的眼睛词典特征等，人脸的各个部位的图像区域对应的词典特征即为图像特征集。词典特征中包括的一个或多个特征向量可以称为参考词典特征，由于用词典特征中的一个或多个参考词典特征可以用于表示图像特征，且词典特征中各个参考词典特征是基于图像质量较好的图像（或图像区域）的图像特征得到的，则可以调用目标图像处理模型基于词典特征集，以实现图像复原。
50.随着电子设备和计算机技术的发展，特别是涉及计算机视觉的技术，人们对图像的质量要求逐渐提高，评价图像的质量的一个重要指标是图像的清晰度。目前电子设备由于成像系统的不完善、设备的限制、传输的损耗等因素的影响，图像缺少细节，清晰度不高。例如，人们通过诸如手机等电子设备拍摄照片，由于手机的硬件限制，拍摄的照片信噪比较低，尤其在逆光拍摄、夜晚拍摄的场景中。目前，为了增加缺少图像细节，提高图像的清晰度，可以对待复原的图像进行图像复原处理。目前，可以通过不同的方式来实现图像的复原。例如，可以通过深度学习的方法，在对图像进行复原处理的过程中，基于深度卷积神经网络来实现图像的复原。但是通过深度学习的方法可能生成的细节过多，生成的结果不稳定，可能导致在复原的图像中出现伪纹理，或者导致原始图像的主体内容发生改变。又例如，可以通过滤波器对待复原的图像进行滤波处理，去除图像的噪声，从而提高图像的清晰度和图像质量。但是这种方式可能对图像清晰度的提升有限，图像复原的效果不好。
51.基于此，本技术实施例提供一种图像处理的方法，可以对待复原的图像进行图像复原处理，在增加图像的细节、提高图像的清晰度的同时，不改变图像中的主体内容，并且还可以减少伪纹理的出现，从而有利于提高图像复原的效果，满足用户图像复原的需求。
52.为了便于理解本技术实施例，下面对本技术实施例所基于的其中一种图像处理系统架构进行描述。
53.请参阅图1，图1是本技术实施例提供的一种图像处理系统架构示意图。如图1所示，图像处理系统包括图像输入设备101、图像复原设备102、词典特征构建设备103、图像采集设备104。其中，图像输入设备101可以与图像复原设备102通过有线或无线的方式进行直接或间接的连接，图像复原设备102可以与词典特征构建设备103通过有线或无线的方式进行直接或间接的连接，词典特征构建设备103可以与图像采集设备104通过有线或无线的方式进行直接或间接的连接。
54.在一种实现方式中，图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104中任意两个设备或者任意两个以上的设备可以为同一设备。例如，图像输入设备101与图像复原设备102可以是同一设备，再例如，词典特征构建设备103与图像采集设备104也可以是同一设备。又例如，图像输入设备101与图像复原设备102以及词典特
征构建设备103为同一设备。又例如，图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104可以均为同一设备。
55.需要说明的是，图1所示的设备的设备数量和形态用于举例，并不构成对本技术实施例的限定，实际应用中该图像识别系统可以包括两个设备，如一个图像输入设备，一个图像复原设备，或者实际应用中该图像识别系统可以包括一个设备，如图像复原设备。实际应用中该图像识别系统还可以包括至少一个图像输入设备、至少一个图像复原设备等。本技术实施例以一个图像输入设备101，一个图像复原设备102，一个词典特征构建设备103以及一个图像采集设备104为例进行绘制和讲解。
56.如图1所示，图像输入设备101输入的图像为待处理图像，该待处理图像可以为图像输入设备101获取到的退化的图像，例如图像输入设备101为具有拍摄功能的电子设备，待处理图像可以为图像输入设备101拍摄的图像，待处理图像还可以为图像输入设备101接收到的来自其他设备发送的图像，本技术对此不做限定。在图像输入设备101获取到待处理图像之后，图像输入设备101可以将待处理图像传输至图像复原设备102。由图像复原设备102对待处理图像进行图像预处理，得到第一图像，并对第一图像进行图像复原处理，得到图像复原的结果，即该待处理图像对应的目标重建图像。其中，图像复原设备102可以部署用于图像复原处理的目标图像处理模型，图像复原设备102可以通过调用目标图像处理模型对该第一图像中包括的不同图像区域的图像特征和各个图像区域对应的词典特征进行融合处理，得到各个图像区域对应的重建图像，进而组合各个图像区域对应的重建图像，得到目标重建图像。
57.具体的，该图像复原设备102在对待处理图像进行图像复原处理的过程中，进行的融合处理包括针对各个图像区域的图像特征和各个图像区域对应的词典特征进行的第一融合处理，以及对第一融合处理得到的重建特征和各个图像区域的图像特征进行的第二融合处理。由于词典特征为基于图像质量较好，清晰度较高的图像（图像区域）的图像特征得到的，通过该图像复原设备102可以基于各个区域对应的词典特征对待处理图像进行图像复原处理，在一定程度上可以提高待处理图像的图像质量。
58.可选地，图像输入设备101可以在获取待处理图像之后，对待处理图像进行图像预处理，得到第一图像，进而将该第一图像传输至图像复原设备102。
59.在该图像处理系统中，词典特征构建设备103用于构建词典特征，具体可以用于构建词典特征集，词典特征集包括不同图像区域对应的词典特征。具体的，该词典特征构建设备103可以初始化词典特征，得到各个图像区域的初始词典特征，进而词典特征构建设备103可以通过模型训练的方式来调整初始词典特征。例如，该词典特征构建设备103可以通过获取图像质量较高的图像作为训练样本集，并通过初始重建模型基于训练样本集进行迭代训练，在训练过程中，调整该初始重建模型的模型参数和初始词典特征，从而得到满足训练结束条件的词典特征集，即上述各个图像区域分别对应的词典特征。
60.其中，训练样本集可以是图像采集设备104传输至词典特征构建设备103的，该训练样本集中各个训练样本图像均为图像质量较高的图像，例如图像采集设备104为具有拍摄高清晰度图像的功能的设备，训练样本集中的训练样本图像可以包括图像采集设备104拍摄的图像。每个训练样本图像中均可以包括多个图像区域，训练样本图像包括的多个图像区域分别对应的词典特征，也即是用于对第一图像包括的不同图像区域进行图像复原处
理的词典特征。图像采集设备104可以获取初始训练样本集，将初始训练样本集传输至词典特征构建设备103，由词典特征构建设备103对初始训练样本集进行图像预处理，得到训练样本集，并进行词典特征的构建。
61.可选地，图像采集设备104也可以在获取初始训练样本集之后，对初始训练样本集进行图像预处理，得到训练样本集，进而将训练样本集传输至词典特征构建设备103。可以理解的是，该图像预处理的方式与上述对待处理图像进行的图像预处理的方式相同。
62.其中，上述图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104中任一设备均可以是具有一定的计算能力、存储能力和通信资源的电子设备，例如可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等等，但不局限于此。上述图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104中任一设备还可以是服务器，例如可以是独立的物理服务器（如中心服务器），也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。
63.可以理解的是，本技术实施例描述的图像处理系统是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。图1中的图像处理系统架构用于举例，并不构成对本技术实施例的限定。
64.需要说明的是，本技术涉及的电子设备可以是如上述图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104，也可以是图像输入设备101与图像复原设备102、词典特征构建设备103以及图像采集设备104中的模块，例如芯片或处理器等。
65.本技术实施例提供的图像处理方法可以对退化的图像进行图像复原处理。本技术所描述的图像处理方法，可以应用于人脸恢复、图像风格化等诸多场景，以实现特定功能。
66.示例性的，应用场景为人脸恢复场景。
67.人脸恢复场景是指：对退化的人脸图像进行图像复原处理，使其恢复人脸图像本来的面目。可以理解的是，需要恢复的人脸图像为清晰度较低的图像，图像质量较低，人脸图像中的人脸部分较为模糊，需要增加人脸的细节，丰富人脸图像中的信息量，从而改善图像质量。其中，人脸图像可以是通过诸如手机等电子设备拍摄的包括人脸的图像，由于诸如手机等电子设备的硬件限制，如镜头的限制，拍摄得到的人脸图像信噪比较低，尤其是在特殊的拍摄场景中，例如逆光、夜景、抖动等场景。然而，目前针对人脸图像进行复原的方式一种是通过滤波器对人脸图像进行滤波处理，去除图像的噪声，这种方式对图像清晰度的提升有限，人脸恢复的效果不好；另一种方式是通过深度学习的方法，这种方式对人脸图像进行恢复可能改变人脸图像中的人脸属性，可以理解为人脸图像中人脸和图像复原处理后得到的人脸图像中人脸的不为同一个人的人脸，即改变了人脸图像的主体内容，这种方式也有可能生成的细节过多，导致生成的结果不稳定，在图像复原处理后得到的人脸图像中出现伪纹理。
68.由此，电子设备（如上述图像复原设备102）可以对包括待处理人脸图像进行图像预处理，并调用目标图像处理模型基于预处理后的待处理图像中各个图像区域对应的词典特征，以及提取出的各个图像区域的图像特征进行融合处理，得到该待处理图像对应的目标重建图像。示例性的，电子设备可以调用目标处理模型对预处理后的待处理图像中，诸如眼睛图像区域对应的眼睛词典特征和眼睛图像区域的图像特征，鼻子图像区域对应的鼻子词典特征和鼻子图像区域的图像特征，以及嘴巴图像区域对应的嘴巴词典特征和嘴巴图像区域的图像特征分别进行融合处理，得到清晰度较高，图像质量较好的人脸图像。其中，该词典特征为基于图像质量较好的图像（图像区域）的图像特征得到的，通过不同图像区域对应的词典特征来对待处理人脸图像进行图像复原处理，可以有利于提高待处理人脸图像的清晰度和图像质量，并且由于图像复原处理不涉及该人脸图像的主体部分（低频部分），因此保证在图像的清晰度和图像质量有所提高的同时，图像中的主体内容不变，从而可以提高图像复原的效果。
69.示例性的，应用场景为图像风格化场景。
70.图像风格化场景是指：将一张图像转换为具有某一种艺术风格的图像，其艺术风格可以指图像的纹理风格、色调风格、结构风格等。可以理解的是，该艺术风格的图像与当前图像的风格不同，且在图像风格化之后尽可能的保留原图像的内容。图像风格化的输入是原始图像以及风格图像，输出为风格迁移后的结果图。其中，图像风格可以包括卡通风格、铅笔画风格、油画风格等等。目前，针对待处理图像进行图像风格迁移的方式之一是通过将提取到的原始图像的图像特征和风格图像的图像特征进行特征融合，这种方式可能由于风格图像无法准确描述某一类艺术风格的图像的潜在特征，从而导致融合得到的迁移图像缺失部分纹理风格信息，导致迁移效果不好；另一种方式是基于生成对抗网络的图像风格化，这种方式可能在对原风格图像域的数据集和迁移的风格图像域的数据集的学习过程中，没有考虑两个图像域的信息量不对等的情况，从而得到的迁移图像的图像质量较差，无法满足用户的图像风格化的需求。
71.此时，电子设备（如上述图像复原设备102）可以对待风格迁移图像进行图像预处理，并调用目标图像处理模型基于图像预处理后的图像中各个图像区域对应的词典特征，以及提取出的各个图像区域的图像特征进行融合处理，得到该待处理图像对应的目标重建图像。其中，该词典特征可以是诸如卡通风格、铅笔画风格、油画风格等艺术风格的图像的图像特征，目标重建图像即为风格迁移后的结果。电子设备可以基于一种艺术风格的词典特征与图像预处理后的图像的各个图像区域的图像特征进行融合处理，得到目标重建图像。由于词典特征可以涵盖不同艺术风格的纹理风格色调风格的特征，基于词典特征进行图像风格化处理更为灵活，更能满足用户的图像风格化的需求，从而有利于提高图像风格化处理的效果。
72.需要说明的是，上述所描述的应用场景用于举例，还可以应用于其他场景，上述场景并不构成对本技术实施例的限定。
73.基于图1提供的图像处理系统的架构，本技术实施例还提供一种电子设备，下面对电子设备200的结构进行介绍。该电子设备200可以是图1所示的图像输入设备101、图像复原设备102、词典特征构建设备103、图像采集设备104中的一个或多个设备。请参阅图2，图2是本技术实施例提供的电子设备200的结构示意图。
74.电子设备200可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，usb）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，sim）卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
75.可以理解的是，本技术实施例示意的结构并不构成对电子设备200的具体限定。在本技术另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
76.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，ap），调制解调处理器，图形处理器（graphics processing unit，gpu），图像信号处理器（image signal processor，isp），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，dsp），基带处理器，和/或神经网络处理器（neural-network processing unit，npu）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
77.其中，控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
78.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
79.电子设备200通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
80.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，lcd），有机发光二极管（organic light-emitting diode，oled），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrix organic light emitting diode的，amoled），柔性发光二极管（flex light-emitting diode，fled），miniled，microled，micro-oled，量子点发光二极管（quantum dot light emitting diodes，qled）等。在一些实施例中，电子设备200可以包括1个或n个显示屏194，n为大于1的正整数。
81.电子设备200可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
82.isp 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以
对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
83.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，ccd）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，cmos）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备200可以包括1个或n个摄像头193，n为大于1的正整数。
84.npu为神经网络（neural-network ，nn）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
85.电子设备200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备200的软件结构。图3是本技术实施例的电子设备200的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时（android runtime）和系统库，以及内核层。
86.应用程序层可以包括一系列应用程序包。
87.如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
88.在一些实施例中，应用程序还包括图像复原应用以实现图像复原处理的功能。在另一些实施例中，该图像复原功能还可以在相机应用或者图库应用等应用程序中实现。
89.应用程序框架层为应用程序层的应用程序提供应用编程接口（application programming interface，api）和编程框架。应用程序框架层包括一些预先定义的函数。
90.如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
91.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
92.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
93.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
94.电话管理器用于提供电子设备200的通信功能。例如通话状态的管理（包括接通，挂断等）。
95.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
96.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消
息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
97.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
98.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
99.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
100.系统库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（media libraries），三维图形处理库（例如：opengl es），2d图形引擎（例如：sgl）等。
101.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
102.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: mpeg4，h.264，mp3，aac，amr，jpg，png等。
103.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
104.2d图形引擎是2d绘图的绘图引擎。
105.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
106.在本技术的一些实施例中，图像复原设备102可以通过预设app（例如相机app）拍摄照片，并接收触发对拍摄的照片进行图像复原处理的操作，该操作还可以指示对拍摄的照片不同图像区域的复原程序，该操作的相关信息被发送给内核层。内核层将该操作加工成触发事件。应用程序框架层从内核层获取触发事件，将该触发事件发送给图库app，图库app触发对拍摄的照片进行图像复原处理的流程。图库app在图像复原处理结束后，通过应用程序框架层的接口调用内核层的显示驱动来驱动显示屏显示图像复原处理的结果。
107.基于图1提供的图像处理系统的架构、图2中电子设备的硬件结构、图3中电子设备的软件结构以及本技术中提供的图像处理方法，对本技术提出的技术问题进行具体分析和结果。请参阅图4，图4是本技术实施例提供的一种图像处理方法的流程示意图。本技术实施例上述的图像处理方法可由电子设备来执行，该电子设备可以是图1所示的图像处理系统中的图像复原设备102，该图像复原设备102可以与上述图像输入设备101、词典特征构建设备103以及图像采集设备104为同一设备。该方法可以包括以下步骤401-步骤403。
108.步骤401、电子设备对待处理图像进行图像预处理，得到第一图像。
109.在本技术实施例中，待处理图像为需要进行图像复原处理的图像，该待处理图像可以为图像清晰度较低的图像，可以简称为“低清图像”，图像较为模糊，图像质量较差。电子设备可以获取待处理图像，例如电子设备为具有拍摄功能的设备，该待处理图像可以为该电子设备拍摄到的图像，该待处理图像也可以是该电子设备接收到其他电子设备发送的，本技术对此不做限定。其中，该待处理图像包括n个图像区域，n为大于1的整数，待处理图像中包括的不同的图像区域可以分别对应一个特征类别，例如，该待处理图像为人脸图
像时，该人脸图像中可以包括不同部位对应的图像区域，各个部分可以分别为一种特征类别，如该人脸图像中包括头发图像区域，所对应的特征类别为头发类别，该人脸图像中包括眉毛图像区域，所对应的特征类别为眉毛类别，该人脸图像还包括眼睛图像区域，所对应的特征类别为眼睛类别等。
110.其中，电子设备对待处理图像进行的图像预处理可以包括对待处理图像进行对齐处理、和高频提取处理。所谓对齐处理可以理解为对待处理图像进行变换处理，使得待处理图像中包括的关键点的位置在预设位置，即改变待处理图像中像素点的位置。经过对待处理图像进行对齐处理得到的对齐图像可以便于后续图像复原处理过程中提取各个图像区域的图像特征，从而有利于提高图像复原的效果。
111.在一种可能的实现方式中，电子设备对待处理图像进行对齐处理可以称为将待处理图像对齐至标准空间，所谓标准空间可以指包括多个预设关键点的参考标准图像，例如p个预设关键，p为大于或等于1的整数。电子设备可以根据待处理图像对应的参考标准图像进行对齐处理，得到对齐图像。具体的，电子设备可以先检测待处理图像中的关键点，该关键点可以是待处理图像中不同特征类别的图像区域的所在的像素点，需要说明的是，检测到的关键点的数目也为p，检测关键点是指获取各个关键点的位置信息。可选地，待处理图像的关键点可以通过不同的方式检测得到，本技术对此不做限定，例如可以将待处理图像输入至关键点检测模型中，得到待处理图像中的关键点。
112.进一步的，电子设备可以针对该待处理图像获取对应的参考标准图像，该参考标准图像可以包括预设关键点，每个预设关键点对应一个位置信息，该预设关键点的数量与关键点的数量可以相同，例如数量均为p。其中，该参考标准图像可以是与该待处理图像包括相同内容的图像，或者参考标准图像为该待处理图像类别相同的图像，例如，待处理图像为人脸图像，参考标准图像也为人脸图像。待处理图像为风景图像，参考标准图像也为风景图像。进而，电子设备可以对待处理图像进行变换处理，例如通过旋转、平移、裁剪、缩放等变换处理，将待处理图像中各个关键点对准到对应的预设关键点的位置，从而完成对齐处理，得到对齐图像，可以理解的是，在对齐图像中，关键点p的位置信息与其所对应的预设关键点的位置信息相同。需要说明的是，此处变换处理仅改变像素点的位置，不改变像素点的像素值，这种变换可以称为图像扭曲（image warp），也可以称为仿射变换。
113.示例性的，以待处理图像为人脸图像为例进行讲解。请一并参阅图5，图5是本技术实施例提供的一种对齐处理的原理示意图。如图5所示，左上角为待处理图像，右上角为获取的与待处理图像对应的参考标准图像（以参考标准图像中包括的预设关键点为例进行绘制）。电子设备对待处理图像进行变换，使得待处理图像中的关键点位于该参考标准图像中预设关键点的位置。首先，电子设备检测待处理图像中的关键点，得到多个关键点的位置信息，例如a（x1，y1），b（x2，y2）等，该a点例如可以是眼睛上的关键点，b点例如可以是嘴巴上的关键点，这里以两个关键点为例进行讲解。进而，电子设备可以获取人脸图像对应的参考标准图像，该参考标准图像中包括的预设关键点的位置信息，如图4中的灰色圆点，例如a（100,100），b（200,100），点a为点a对应的预设关键点，点b为点b对应的预设关键点。进一步可以基于各个关键点的位置信息和每个关键点对应的预设关键的位置信息对待处理图像进行变换处理，使得点a与点a的位置信息相同，点b与点b的位置信息相同，即点a位于（100,100），点b位于（200,100）。由于后续处理跟图像中的形状纹理等相关的特征有关，与点所在
的位置无关，由此可以便于后续图像复原处理过程中提取图像特征。
114.所谓高频提取处理可以是对上述对齐处理得到的对齐图像进行处理的，该高频提取处理可以是对该对齐图像进行变换处理，将对齐图像从空间域转换至频域，进而提取该对齐图像中的高频特征图像。由于图像的主要成分是低频信息，高频信息决定了图像的边缘和细节，由此提取到的高频特征图包括了原始图像（如待处理图像）细节、边缘等信息，后续的图像复原处理不涉及待处理图像中低频的部分，得到的图像复原处理的结果不会改变原始图像（如待处理图像）的主体内容，从而有利于提高图像复原的效果。
115.在一种可能的实现方式中，电子设备可以将对齐图像从空间域转换至频域，得到待处理图像对应的频域特征图，该频域特征图可以包括各个像素点的频率值。进而，电子设备可以将高频的像素点集合确定为待处理图像对应的高频特征图。可选地，电子设备也可以将高频像素点集合转换至空间域，得到待处理图像对应的高频特征图。其中，电子设备将待处理图像从空间域转换至频域可以是对待处理图像进行离散小波变换处理（discrete wavelet transform，dwt），也可以是对待处理图像进行离散余弦变换处理（discrete cosine transform，dct）、离散傅里叶变换处理（discrete fourier transform，dft）等。
116.可选地，在将对齐图像转换至频域之后，电子设备可以通过设定频率阈值来区分高频和低频，例如可以将高于频率阈值的像素点确定为高频像素点，反之，将低于频率阈值的像素点确定为低于像素点。电子设备也可以将转换至频域的频率特征图输入至预训练的分类模型中，分类模型来对高频像素点和低频像素点进行分类。上述得到高频特征图的方式仅为举例，还可以是通过其他方式来得到高频特征图，本技术对此不做限定。
117.示例性的，电子设备可以对待处理图像进行小波变换处理，得到3通道的高频特征图。需要说明的是，得到的高频特征图的通道数可以是与变换处理的方式有关，经过小波变换处理，可以得到待处理图像的4个分量，例如待处理在水平和垂直方向上的低频分量ll、水平方向上的低频和垂直方向上的高频lh、水平方向上的高频和垂直方向上的低频hl以及水平和垂直方向上的高频分量hh，由此，可以将lh、hl以及hh作为该待处理图像对应的3通道高频特征图。可以理解的是，经过其他方式得到的高频特征图还可以是单通道的，本技术对此不做限定，后续处理中不涉及通道的数量。由于高频信息（高频特征图）可以用于表示图像的边缘、纹理等细节信息，低频信息可以用于表示基本结构等主体信息，由此，后续处理可以仅对高频特征图进行处理，从而不改变原始图像（待处理图像）的主体信息，从而有利于提高图像复原的效果。
118.可选地，电子设备将对齐图像从空间域转换至频域之前，可以提取待处理图像的亮度分量，得到亮度分量图像。具体的，电子设备首先，可以将待处理图像转换为yuv格式的图像，其中，y（luminance或luma）通道表示明亮度，即亮度信息，u和v表示色度（chrominance或chroma），即图像的颜色、色调等信息。然后，电子设备可以提取yuv格式的图像中的y通道的图像，得到亮度分量图像。进而，电子设备可以提取该亮度分量图像中的高频特征图像，得到第一图像。该第一图像为用于后续图像复原处理的图像，可以理解的是，该第一图像为高频特征图像，在提取高频信息和亮度信息中并未改变待处理图像中的内容，因此该第一图像包括待处理图像中的n个图像区域，也可以理解为该第一图像包括该n个图像区域的高频信息和亮度信息，一个图像区域可以分别对应一个特征类别。从而在进一步进行图像复原处理时可以减少计算量，并且后续图像复原处理并不涉及颜色的处理，
因此在对图像复原的过程中不会改变原始图像（待处理图像）的颜色，从而可以提高图像复原的效果。
119.其中，对待处理图像进行图像预处理可以还包括分割处理，所谓分割处理是指确定图像中各个图像区域的特征类别，得到分割图像，该分割图像可以是解析映射图像（parsing map），可以理解为将待处理图像中不同特征类别的图像区域分割出来的图像。从而基于分割图像可以确定在第一图像中不同图像区域的特征类别，以便后续进行图像复原处理。可选地，该分割处理可以在对齐处理之后，由电子设备对对齐图像进行分割处理。该分割处理可以是语义分割处理，也可以其他分割处理，本技术对此不做限定。
120.在一种可能的实现方式中，电子设备对待处理图像进行分割处理可以是对对齐图像中包括的所有像素点进行分类，例如，对齐图像为包括车辆、道路和建筑的图像，则对待处理图像进行分割处理，得到的分割图像可以分为不同颜色的图像区域，一个颜色的图像区域可以包括一个对象的像素点集合。例如，分割图像可以包括车辆图像区域、道路图像区域和建筑图像区域。其中，车辆图像区域包括车辆的像素点集合，道路图像区域包括道路的像素点结合，建筑图像区域包括建筑的像素点集合。
121.进一步地，电子设备可以检测出各个图像区域对应的特征类别，例如，确定该车辆图像区域的特征类别为车辆类别、道路图像区域的特征类别为道路类别等。可选地，电子设备可以将待处理图像输入分割模型中，得到分割图像，该分割模型例如可以是卷积神经网络等。可选地，该分割处理可以确定在同一特征类别区分具体的对象类别，例如上述车辆图像区域包括多个车辆，则可以确定每个车辆的图像区域。
122.示例性的，以待处理图像为人脸图像为例进行讲解。请一并参阅图6，图6是本技术实施例提供的一种分割处理的结果示意图。如图6所示，上方为待处理图像，下方为分割处理的结果，即分割图像（解析映射图像）。电子设备可以将该对齐图像输入至预训练的人脸分割网络中，用过人脸分割网络对该对齐图像进行分割处理，得到分割图像。例如，该分割图像包括头发图像区域、眉毛图像区域、眼睛图像区域、耳朵图像区域、嘴巴图像区域、鼻子图像区域以及皮肤图像区域，不同的图像区域的颜色不同。需要说明的是，对该待处理图像进行分割处理并非对该待处理图像本身的内容进行改变，对待处理图像进行处理仅为确定各个图像区域（各个像素点）对应的特征类别。
123.步骤402、电子设备调用目标图像处理模型提取上述第一图像包括的n个图像区域中各个图像区域的图像特征，并调用上述目标图像处理模型对上述各个图像区域的图像特征和上述各个图像区域对应的词典特征进行第一融合处理，得到上述各个图像区域对应的重建特征。
124.在本技术实施例中，目标图像处理模型可以为对待处理图像进行图像复原处理的模型，该目标图像处理模型的结构可以由编码器和解码器组成，该编码器可以用于提取输入的图像的图像特征，例如可以提取第一图像的图像特征，该图像特征为特征向量；该解码器可以用于将提取的图像特征与词典特征进行融合处理，得到图像复原处理的结果。其中，词典特征为与其中一个图像区域对应的词典特征，一个词典特征可以理解为日常生活中的字典或词典，一个词典特征中包括多个参考词典特征。词典特征为图像区域对应的词典特征，也可以理解为图像区域对应的特征类别的词典特征。例如，第一图像中包括的眼睛图像区域对应的特征类别是眼睛类别，该词典特征即为眼睛类别对应的眼睛词典特征，该词典
特征中包括的多个参考词典特征均为属于眼睛类别的特征向量。电子设备可以对每个图像区域的图像特征和每个图像区域对应的词典特征包括的参考词典特征进行融合处理（第一融合处理），得到融合结果即为各个图像区域对应的重建特征，该重建特征为该目标图像处理模型中的中间量，该重建特征用于后续图像复原处理。
125.其中，目标图像处理模型提取的图像特征可以是第一图像包括的n个图像区域中各个图像区域的图像特征。以一个图像区域的图像特征为例进行讲解，可以理解为提取到的该图像区域的图像特征为该图像区域中的每个像素点对应的特征向量，且每个像素点对应的特征向量携带该像素点的位置信息。示例性的，该待处理图像为人脸图像，该待处理图像的高频特征图（第一图像）的眼睛图像区域包括12个像素点，则通过目标图像处理模型可以提取每个像素点对应的特征向量，得到12个特征向量，该12个特征向量即为眼睛图像区域提取到的图像特征。
126.由于电子设备在提取到第一图像的图像特征之后，需要获取第一图像包括的n个图像区域中各个图像区域对应的词典特征。因此，电子设备可以根据提取到的特征向量携带的位置信息，与上述分割处理得到的分割图像（如解析映射图像）中的位置信息进行比对，从而确定该特征向量的特征类别，进而根据特征类别获取图像区域对应的词典特征。具体的，图像预处理中包括分割处理，该分割处理可以用于确定各个像素点的特征类别，该各个像素点的特征类别中还包括各个像素点的位置信息。电子设备可以根据提取的图像特征（特征向量）携带的位置信息与各个像素点的位置信息进行比对，从而确定提取的特征向量对应的特征类别，可以基于该特征类别获取该特征类别的词典特征。
127.示例性的，以待处理图像为人脸图像为例，电子设备可以通过调用目标图像处理模型中的编码器提取该人脸图像的高频特征图像（第一图像）中包括的n个图像区域的图像特征，进而根据图像特征携带的位置信息和分割结果中像素点的位置信息进行比对，从而可以确定提取的诸如眼睛图像区域的图像特征为属于眼睛类别的图像特征，提取的皮肤图像区域的图像特征为属于皮肤类别的图像特征，提取的头发图像区域的图像特征为属于头发类别的图像特征等等，进而可以分别获取眼睛图像区域对应的词典特征、皮肤图像区域对应的词典特征以及头发图像区域对应的词典特征进行第一融合处理。
128.进一步地，在获取到各个图像区域对应的词典特征之后，可以针对每一个图像区域和其对应的词典特征中包括的参考词典特征进行融合处理（第一融合处理），得到重建特征。电子设备可以通过调用目标处理模型确定每一个图像区域提取的图像特征与词典特征中包括的多个参考词典特征之间的相似度，该相似度可以通过两个特征向量之间的距离来计算，例如可以是通过离散余弦距离、欧式距离等方式来确定两个特征向量之间的相似度。进而通过调用目标处理模型基于图像特征与词典特征中包括的多个参考词典特征之间的相似度来进行第一融合处理，得到重建特征。
129.具体的，目标图像处理模型中可以包括交叉注意力模块（cross attention），该交叉注意力模块可以用于确定第一图像中各个图像区域的图像特征和各个图像区域对应的词典特征中各个参考词典特征之间的相似度，得到多个相似度。进而，该交叉注意力模块还可以用于基于多个相似度对词典特征中包括的多个参考词典特征进行第一融合处理，得到各个图像区域对应的重建特征。以图像区域n为例，该图像区域n为第一图像包括的n个图像区域中的任一图像区域，电子设备通过调用目标图像处理模型提取图像区域n的图像特征k
之后，该目标图像处理模型中的交叉注意力模块可以确定图像区域n的图像特征k与该图像区域n对应的多个参考词典特征中各个参考词典特征之间的相似度，得到多个相似度，进而基于多个相似度对图像区域n对应的多个参考词典特征进行第一融合处理，得到图像区域n对应的重建特征。
130.其中，交叉注意力模块根据多个相似度对图像区域n对应的多个参考词典特征进行第一融合处理的数学表达式可以如公式1所示：公式1在公式1中，为第一融合处理得到的特征，也即是交叉注意力模块得到的融合结果，需要说明的是，以一个图像区域对应的重建特征为例，为图像区域n对应的重建特征。q为目标图像处理模型提取的图像区域的特征，如上述图像区域n的图像特征k，也可以理解为输入交叉注意力模块的查询值，例如待处理图像为人脸图像时，q可以为输入的退化人脸的查询值，即提取到的该人脸图像的图像特征。k为高清词典的索引，可以理解为图像区域n对应的某一个参考词典特征，也可以理解为图像区域n对应的某一个参考词典特征经过一个线性层或者卷积层进行转换得到的特征向量。公式1中的d为一个常数，可以称为归一化常数，d的值例如可以是64。v为图像区域n对应的参考词典特征的特征值（即特征向量）。softmax为归一化函数，用于归一化处理。以图像区域n为例，该第一融合处理可以理解为将多个相似度作为权重，对该图像区域n对应的词典特征中各个参考词典特征基于权重进行融合处理，得到融合结果，即得到该图像区域n对应的重建特征。
131.可以理解的是，针对图像区域n的图像特征k与图像区域n对应的多个参考词典特征的特征向量的维度是相同的，例如是512维的。在电子设备调用目标图像处理模型进行相似度计算以及第一融合处理的过程中，均可以是基于特征向量转换为的矩阵进行计算的。例如，通过调用目标图像处理模型提取到眼睛图像区域包括的12个特征向量，各个特征向量均为512维的，由此可以转换为一个12
×
512的矩阵，以眼睛词典特征中包括1024个参考词典特征为例，该眼睛词典特征可以转换为一个1024
×
512的矩阵，进而可以进行矩阵的运算和处理。
132.其中，上述第一融合处理的过程由于涉及图像区域n对应的词典特征中所有的参考词典特征进行融合处理，因此，上述计算图像区域n的图像特征k与图像区域n对应的多个参考词典特征之间的相似度，并基于多个相似度和多个参考词典特征进行融合的过程可以称为软匹配。所谓软匹配是基于词典特征中所有参考词典特征进行融合处理，相比基于词典特征中相似度最大的一个参考词典特征作为重建特征的硬匹配而言，软匹配可以使融合处理得到的重建特征更加灵活，可以充分利用词典特征中的资源（即各个参考词典特征），可以通过词典特征中的各个参考词典特征进行融合处理得到不同的重建特征，而硬匹配出的重建特征较为有限，从而可以得到的重建特征的数量更多，因此可适用的范围更广，提高了词典特征的扩展性。
133.步骤403、电子设备调用上述目标图像处理模型对上述各个图像区域的图像特征和上述各个图像区域对应的重建特征进行第二融合处理，得到上述待处理图像对应的目标重建图像。
134.在本技术实施例中，各个图像区域对应的重建特征为经过上述第一融合处理得到
的特征。其中，该待处理图像对应的目标重建图像是对待处理图像进行图像复原处理得到的图像，由于对待处理图像进行图像复原处理并非针对原始头像（待处理图像）本身，而是针对第一图像，即对待处理图像进行图像预处理后得到的高频特征图，因此，该目标重建图像可以理解为该目标图像处理模型输出的图像复原处理的结果，该目标重建图像包括该待处理图像中图像复原处理的高频复原结果信息。例如，待处理图像为人脸图像，该目标重建图像包括该人脸图像的高清人脸信息，所谓高清人脸信息是指包括清晰度更高的人脸信息。其中，第二融合处理为各个图像区域的图像特征与各个图像区域对应的重建特征之间的融合处理，针对每一个图像区域分别进行融合处理，因此，该目标重建信息包括每个图像区域对应的重建图像，即该目标重建信息包括每个图像区域对应的高频复原结果信息。
135.其中，电子设备在调用该目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理的过程中，由于不同的用户针对待处理图像中各个图像区域的主观感受和评价是不同的，例如待处理图像为人脸图像，用户可能针对眼睛的复原程度较低，则说明用户想要眼睛的形状纹理等需要保持原始图像的形状纹理，针对鼻子的复原程度较高，则说明用户想要鼻子的形状纹理等发生改变。电子设备在调用该目标图像处理模型时，可以根据不同融合系数来对不同图像区域的图像特征和重建特征进行第二融合处理，得到不同图像区域对应的重建图像，该融合系数可以用于指示不同图像区域的重建程度，重建程度也即是复原程度，该融合系数可以称为超分系数（radio）。
136.具体的，电子设备可以调用目标图像处理模型获取各个图像区域的超分系数，各个图像区域的超分系数可以被称为融合图（ratio map），也可以称为高低清融合图。所谓融合图可以是某一类待处理图像对应一个融合图，例如若待处理图像为人脸图像，该人脸图像对应一个融合图，若待处理图像为风景图像，该风景图像对应另一个融合图等等。其中，目标图像处理模型可以包括特征融合模块，该特征融合模块用于对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理。以图像区域n为例进行讲解，该图像区域n为该第一图像包括的n个图像区域中的任一图像区域，该目标图像处理模型调用该图像区域n的图像特征为图像特征k，该特征融合模块可以用于获取该图像区域n对应的超分系数，该特征融合模块可以先获取融合图，进而基于融合图获取图像区域n对应的超分系数，并基于该图像区域n对应的超分系数对图像特征k和图像区域n对应的重建特征进行第二融合处理，得到该图像区域n对应的重建图像，该图像区域n对应的重建图像可以表示图像复原处理的得到的该图像区域n对应的高频复原结果信息。
137.其中，特征融合模块基于各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理的数学表达式可以如公式2所示：公式2在公式2中，以图像区域n为例进行讲解，为图像区域n对应的重建图像，也即是特征融合模块得到的融合结果。为该图像区域n的图像特征k，即通过目标图像处理模型提取到的图像区域n的图像特征，也可以理解为退化的图像特征，例如待处理图像为人脸图像时，可以理解为退化的人脸特征。为图像区域n对应的重建特征，重建特征是基于词典特征中的各个参考词典特征经过第一融合处理得到的，可以由上述公式1得到。其中，各个参考词典特征为基于清晰度较高的图像（图像区域）的图像特征，因此也可以理解为高
清重建特征。ω为图像区域n对应的超分系数，该ω用于指示图像区域n的重建程度（图像复原的程度）。α和β为卷积层的参数，具体可以是图像区域n的图像特征k（退化的图像特征）与图像区域n对应的重建特征经过融合处理的参数，该融合处理也可以称为特征拼接（concat）处理，可以理解为通过拼接（通道数增加）来完成的融合处理，α和β为经过联合处理后经过卷积层获取的参数。
138.可选地，目标图像处理模型可以包括交叉注意力模块和特征融合模块中的一个或多个，该目标图像处理模型也可以不包括上述两个模块，该目标图像处理模型可以包括用于实现上述交叉注意力模块和特征融合模块的功能即可。
139.进一步地，电子设备在得到包括各个图像区域对应的重建图像的目标重建图像之后，由于该目标重建图像为高频特征图像，因此可以基于对待处理图像的图像预处理对该目标重建图像进行反向处理，得到最终的目标复原图像，该目标复原图像为对待处理图像进行图像复原处理的最终结果，为相较与待处理图像清晰度和图像质量均有所提升的图像。由于对待处理图像进行的图像预处理可以包括对齐处理和高频提取处理。由此，电子设备可以基于高频提取处理和对齐处理对目标重建图像进行反向处理，得到目标复原图像。
140.在一种可能的实现方式中，由于高频提取处理是对上述对齐处理得到的对齐图像进行处理的。因此，电子设备可以先可以提取亮度分量图像中的低频特征图像，并将低频特征图像与该目标重建图像进行结合，得到重建亮度分量图像。由于低频信息并未发生改变，则在对待处理图像进行图像复原的过程中，图像的内容并不会发生改变，即低频信息包含的待处理图像的主体信息并不会发生改变，从而可以在图像复原处理过程中不改变待处理图像的内容。其中，该亮度分量图像中的低频特征图像可以与高频特征图像对应，可以是在频域的，也可以是在空间域的，本技术对此不做限定。低频特征图像和目标重建图像在空间域进行结合，或者在频域进行结合，可以得到重建亮度分量图像。
141.示例性的，高频特征图（第一图像）可以是将对齐图像转换至频域，得到待处理图像对应的频域特征图，可以在频域将高频的像素点集合确定为高频特征图，也可以将高频像素点集合转换为空间域，得到高频特征图。由此，电子设备可以提取亮度分量图像的低频特征图，低频特征图与高频特征图对应，可以是在频域的低频像素点集合，也可以是将低频像素点集合从频域转换至空间域的图像。进一步地，电子设备可以在频域的低频特征图像与高频特征图像进行结合，并逆变换处理转换至空间域，得到重建亮度分量图像。其中，逆变换例如可以是逆小波变换（inverse wavelet transform，iwt），也可以是其他逆变换的方式，如离散余弦逆变换等，本技术对此不做限定。
142.其中，电子设备在提取高频特征图之前，可以提取待处理图像的亮度分量图像，即提取yuv格式的图像的y通道的图像，进而提取该y通道的图像的高频特征图。由此，在将低频特征图和高频特征图（目标重建图像）结合之后，可以基于得到的重建亮度分量图像和对齐图像中提取的色度分量图像进行结合，例如将重建亮度分量图像（即y通道的图像）和对齐图像中的uv通道的图像进行结合，得到变换重建图像。进一步地，若待处理图像为其他格式的图像，可以将yuv格式的变换重建图像转换至对应格式的图像，例如待处理图像为rgb格式的图像，则可以将得到的yuv格式的变换重建图像转换至rgb格式的变换重建图像。
143.进一步地，还可以对图像预处理中的对齐处理进行反向处理，由于在对待处理图像进行图像预处理时，是根据关键点的位置信息和预设关键点的位置信息，对待处理图像
进行变换处理得到的，该变换处理可以是基于变换矩阵来进行运算的，该变换矩阵可以称为扭曲（warp）矩阵，则在反对齐处理时，电子设备可以计算扭曲矩阵的逆，并根据该扭曲矩阵的逆对上述格式转换后的图像反对齐处理，得到目标复原图像。
144.请一并参阅图7，图7是本技术实施例提供的一种图像处理方法的时序示意图，如图7所示，需要说明的是，以待处理图像为rgb格式的图像为例进行绘制和讲解。首先，电子设备对待处理图像进行图像预处理，该图像预处理包括对待处理图像进行对齐处理，得到对齐图像。在对待处理图像进行对齐处理之后，可以分为两个放假进行处理：一方面为对该对齐图像进行高频提取处理，具体可以包括对待处理图像的亮度分量的高频特征图像的提取，电子设备可以先进行格式的转换，即将对齐图像的格式转换为yuv格式，进一步可以提取yuv格式的图像中的y通道的图像，得到亮度分量图像。并通过变换处理将亮度分量图像转换至频域进行高频特征图像的提取，得到待处理图像对应的高频特征图像。另一方面为对该对齐图像进行分割处理，得到分割图像，如解析映射图像，该解析映射图像用于指示对齐图像包括的n个图像区域，该分割处理用于确定该对齐图像中各个图像区域的特征类别，也可以是确定该对齐图像中各个像素点对应的特征类别。由此，经过这两方面完成对待处理图像的图像预处理，得到第一图像，该第一图像包括n个图像区域，即为上述n个图像分割区域，每个图像区域分别对应一种特征类别。
145.进一步地，电子设备将第一图像输入至目标图像处理模型中，电子设备通过调用目标图像处理模型（的编码器encoder）提取该第一图像的图像特征，该图像特征可以包括第一图像中各个图像区域的图像特征。进而，基于提取到的图像特征携带的位置信息和分割图像确定各个图像区域对应的词典特征，不同的词典特征分别与不同的图像区域所对应。基于目标图像处理模型中的交叉注意力模块对提取的各个图像区域的图像特征和词典特征进行匹配和融合处理，得到各个图像区域对应的重建特征。进而，目标图像处理模型可以基于各个图像区域的超分系数（表示不同图像区域的超分程度）、图像特征以及各个图像区域对应的重建特征进行融合处理，得到包括各个图像区域对应的目标重建图像。
146.进而，电子设备可以基于图像预处理对该目标重建图像进行反向处理，即对图像预处理中的对齐处理和高频提取处理进行反向处理。具体的，电子设备可以获取亮度分量图像中的低频特征图像，将低频特征图像与目标重建图像进行结合，可以得到频域特征图。进而，电子设备可以频域特征图进行逆变换处理，如逆小波变换处理得到重建亮度分量图像（即y通道的图像），将待处理图像中的uv通道的图像与重建亮度分量图像进行结合，得到yuv格式的图像。进一步地，电子设备可以将yuv格式的图像转换为rgb格式的图像。最后，可以基于关键点的位置信息和预设关键点的位置信息对该格式转换后的图像进行与对齐处理对应的反对齐处理，得到目标复原图像。可选地，该反对齐处理可以还包括将反仿射变换处理得到的图像与待处理图像进行融合处理，得到目标复原图像。
147.示例性的，以待处理图像为人脸图像为例进行讲解，请一并参阅图8，图8是本技术实施例提供的一种对人脸图像进行图像复原的时序示意图。如图8所示，以该待处理图像为初始人脸图像，且为rgb格式的图像为例进行讲解和绘制。首先，电子设备可以将该初始人脸图像对齐到标准人脸空间，得到对齐图像，进而一方面对该对齐图像进行分割处理，得到分用于表示不同图像区域的特征类别的人脸解析映射图（parsing map）。另一方面，电子设备可以将对齐图像进行格式转换处理，将rgb格式转换至yuv格式，进而格式转换后的图像
中的y通道的亮度分量图像，并基于小波变换获取该初始人脸图像对应的高频特征图像，该高频特征图像也即第一图像，该第一图像也可以称为低清人脸图像。该第一图像中包括人脸中各个部位对应的图像区域。
148.进一步地，电子设备调用目标图像处理模型的编码器（encoder）提取该第一图像的图像特征，得到第一图像的图像特征，该第一图像的图像特征中包括各个图像区域的图像特征，并根据图像特征携带的位置信息和人脸解析映射图，确定各个图像特征对应的词典特征，该词典特征可以是离散高清词典特征。进而，根据目标图像处理模型中的交叉注意力模块进行图像特征和词典特征中各个参考词典特征的软匹配和融合处理（第一融合处理），得到各个图像区域对应的重建特征，其中得到该重建特征的过程可以被称为交叉注意力机制。进而，目标图像处理模型中的特征融合模块将提取到的各个图像区域的图像特征和对应的重建特征，根据表示不同图像区域的超分程度的超分系数进行融合处理（第二融合处理）得到各个图像区域对应的重建图像，进而进行组合得到目标重建图像。
149.进而，电子设备可以对目标重建图像与该亮度分量图像中的低频特征图像进行结合，并经过反小波变换处理，得到重建亮度分量图像，即y通道的图像。进而，将y通道的图像与对齐图像中的uv分量的图像（色度分量图像）结合，得到yuv格式的变换重建图像，并将得到的yuv格式的变换重建图像转换为rgb格式的变换重建图像。最后，电子设备可以对变换重建进行反扭曲变换（warp）到初始人脸图像中像素点的位置，并与初始人脸图像进行融合处理，得到目标复原图像，该目标复原图像即为高清人脸图像。由此可见，通过仅对y通道的高频部分进行处理，不改变原始图像的颜色也不改变原始图像的主体内容，同时由于图像预处理中基于分割处理将词典特征进行分类，从而在重建人脸时，基于人脸图像中不同图像区域分别匹配对应特征类别的词典特征，进而基于词典特征进行软匹配和融合处理，使得模型匹配词典特征更加准确，输出更加灵活，从而避免出现由于匹配错误而在人脸图像中出现伪纹理。并且，通过针对不同图像区域分别基于不同图像复原处理的程度进行融合处理，可以由用户来决定不同部位的原有纹理和内容的改变程度，可以满足用户图像复原处理的需求，使得输出的图像复原处理结果更加灵活。
150.下面对词典特征的构建进行详细介绍。
151.请一并参阅图9，图9是本技术实施例提供的一种构建词典特征的流程示意图。该词典特征的构建可以包括以下步骤901-步骤905。
152.步骤901、电子设备对初始训练样本集进行图像预处理，得到训练样本集。
153.在本技术实施例中，初始训练样本集包括的各个训练样本为用于训练初始重建模型的图像，该各个训练样本可以与待处理图像的类别相同，例如，初始训练样本集包括的训练样本为人脸图像，待处理图像为人脸图像。该初始训练样本集为清晰度较高的图像，图像质量较高的图像，例如高清的人脸图像。
154.在一种实际场景中，上述待处理图像可以为诸如手机等电子设备拍摄得到的图像，各个初始训练样本集包括的训练样本可以为高清相机（如单反相机）拍摄得到的图像。其中，训练样本集中各个训练样本可以分别包括多个图像区域，训练样本集中可以包括m个训练图像区域。需要说明的是，m个训练图像区域可以说是与特征类别对应的训练图像区域，一个特征类别对应一个训练图像区域，而非所有训练样本中包括的图像区域的总和。例如，在该初始训练样本集包括的训练样本图像为人脸图像的情况下，各个部位的图像区域
分别对应一种特征类别，如头发图像区域对应的特征类别为头发类别，眼睛图像区域对应的特征类别为眼睛类别等等。
155.可以理解的是，上述m的值可以与第一图像包括的图像区域的数量n的值相同，也可以不同，本技术对此不做限定，例如m可以大于n。其中，m个训练图像区域中存在图像区域与第一图像包括的n个图像区域的特征类别相同，例如，该m个训练图像区域中的训练图像区域m1与n个图像区域中的图像区域n1的特征类别相同。可以理解为在待处理图像与初始训练样本集中的训练样本类别相同时，图像区域对应的特征类别存在相同。例如，待处理图像和初始训练样本集包括的训练样本图像均为人脸图像时，存在训练样本集包括的m个图像区域中的头发图像区域与第一图像的n个图像区域中的头发图像区域的特征类别均为头发类别。
156.在一种可能的实现方式中，电子设备可以对初始训练样本集进行图像预处理，得到训练样本集，训练样本集中包括多个训练样本图像。为了便于目标图像处理模型基于词典特征进行处理，电子设备在构建词典特征时，对初始训练样本集进行的图像预处理与后续对待处理图像进行的图像预处理相同。具体可以包括对初始训练样本集中各个训练样本进行对齐处理和高频提取处理，还可以包括对初始训练样本集中各个训练样本进行分割处理。
157.具体的，所谓对齐处理可以包括电子设备对各个训练样本检测关键点，得到关键点的位置信息，并根据训练样本对应的参考标准图像中预设关键点的位置信息，对各个训练进行变换处理，得到初始训练样本集中各个训练样本对应的对齐图像。
158.所谓高频提取处理可以包括电子设备提取各个训练样本对应的对齐图像的高频特征图像，该高频特征图像可以是提取各个训练样本图像中的高频特征图像。也可以是基于将各个对齐图像转换为yuv格式的图像并提取y通道的亮度分量图像，并进行诸如小波变换将各个训练样本对应的亮度分量图像从空间域转换至频域后提取的高频特征图像，从而完成对初始训练样本集中各个训练样本的图像预处理，得到训练样本图像。
159.所谓分割处理可以包括电子设备确定各个训练样本中不同图像区域，以及不同图像区域中各个图像区域的特征类别，得到分割图像。
160.步骤902、电子设备基于上述训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数。
161.在本技术实施例中，初始词典特征集包括多个初始词典特征，每个初始词典特征可以分别与上述m个训练图像区域中每个训练图像区域对应。可以理解的是，每个初始词典特征可以对应一种特征类别，通过将一个词典特征对应一个类别，每个初始词典特征中包括多个初始参考词典特征。可以便于后续目标图像处理模型进行匹配，使得匹配更准确，避免目标图像处理模型出现匹配错误从而在图像复原处理得到的图像中出现伪纹理。
162.其中，初始词典特征集中包括的多个初始词典特征可以是电子设备获取到的，例如可以是其他电子设备发送的，也可以是电子设备初始化词典特征得到的。所谓初始化词典特征可以是从样本集中随机挑选k个样本，作为某一个初始词典特征（如初始词典特征i）的初始参考词典特征。需要说明的是，由于初始词典特征集中包括多个初始词典特征的构建方式相同，为描述方便，为描述方便，以一个初始词典特征的构建为例进行讲解。
163.具体的，初始重建模型可以是用于对图像进行复原处理的模型，具体可以根据输
入的训练样本集，基于初始词典特征进行图像复原处理。该初始重建模型可以提取训练样本集中训练样本图像的图像特征，并基于各个初始词典特征和提取到的图像特征进行图像复原处理，图像复原处理的目标是初始训练样本集中的各个训练样本。需要说明的是，由于输入初始重建模型中的为训练样本集，即为高频特征图像，图像复原处理的结果可以是基于初始重建模型的输出结果根据图像预处理进行反向处理得到的。
164.在一种可能的实现方式中，电子设备可以将训练样本集输入初始重建模型中进行训练，得到第一损失参数，该第一损失参数可以是基于两部分差异数据得到的，一部分可以是基于初始重建模型提取到的图像特征，与在初始词典特征中与该提取到的图像特征最相似的初始参考词典特征之间的差异数据确定的，其中，上述初始重建模型提取到的图像特征可以是一个图像区域的图像特征，初始词典特征为该图像区域对应的初始词典特征。另一部分可以是基于得到的图像复原结果与初始训练样本集中各个训练样本图像之间的差异数据得到的。由于该训练样本集中各个训练样本图像不携带任何标签图像，则这种方法也可以称为通过自监督学习的方式来完成对初始重建模型的训练。
165.具体的，在将训练样本集输入初始重建模型后，该初始重建模型可以提取该训练样本集中各个训练样本图像的图像特征。其中，提取到的图像特征可能包括m个图像区域中一个或多个图像区域的图像特征。为描述方便，这里以图像区域m1和构建图像区域m1对应的词典特征为例进行描述和讲解，各个图像区域对应的词典特征的构建方式均相同。该初始重建模型可以提取各个训练样本图像的图像特征，该图像特征可以包括图像区域m1的图像特征。进一步地，电子设备可根据图像特征的位置信息和分割图像的位置信息确定对应的特征类别，即确定图像区域m1对应的特征类别，并获取与图像区域m1的特征类别对应的初始词典特征。可以理解的是，该图像区域m1对应的初始词典特征中各个初始参考词典特征均属于该图像区域m1对应的特征类别。
166.进一步地，可以确定该图像区域m1的图像特征与图像区域m1对应的初始词典特征中各个初始参考词典特征之间的相似度，进而确定出在图像区域m1对应的初始词典特征中与图像区域m1的图像特征最相似的初始词典特征。其中，确定相似度可以采用最近邻匹配的方式来确定，初始参考词典特征为特征向量，所提取的图像特征也为特征向量，因此可以通过计算两个特征向量之间的距离来确定相似度。由于初始重建模型的训练目标之一是要使提取出的图像特征与相似度最高的参考初始词典特征尽可能的相近，因此，可以根据相似度最高的参考初始词典特征和提取到的图像特征之间的差异数据，确定第一部分损失参数。
167.初始重建模型的另一训练目标则是图像复原处理得到的图像与原始图像（初始训练样本集）的各个训练样本尽可能的相似，即通过初始重建模型尽可能的复原出各个训练样本。例如，初始重建模型可以基于提取到的图像区域m1的图像特征，与图像区域m1对应的初始词典特征中各个初始参考词典特征进行融合处理，得到训练重建图像，该训练重建图像可以包括图像区域m1的重建图像，进而根据训练重建图像中图像区域m1的重建图像与对应的训练样本中图像区域m1的原始图像之间的差异数据，确定第二部分损失参数，这里是以一个图像区域为例，实际是基于重建出图像与训练样本之间的差异数据确定第二部分损失函数。
168.进而，电子设备可以根据第一部分损失参数和第二部分损失参数确定第一损失参
数，例如第一损失参数可以是第一部分损失参数和第二部分损失参数的和，也可以将第一部分损失参数和第二部分损失参数作为第一损失参数。
169.可选地，该第一损失参数可以是损失函数的值，损失函数例如可以是平均绝对值误差（mean absolute error，mae），也称为l1 loss，损失函数也可以是对抗损失函数（gan loss），本技术对此不做限定。
170.步骤903、电子设备根据上述第一损失参数调整上述初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型。
171.在本技术实施例中，电子设备可以根据第一损失参数调整初始重建模型的模型参数和初始词典特征集，可以理解为将初始词典特征集作为该初始重建模型调整模型参数的一个部分，在调整模型参数的同时，一并调整初始词典特征集中的初始参考词典特征。在调整完成后，得到调整词典特征集和参考重建模型。其中，电子设备可以分别对初始词典特征集中各个初始词典特征进行调整，例如可以调整各个初始词典特征中初始参考词典特征，即调整各个初始词典特征中的特征向量，从而得到调整词典特征集，调整词典特征集包括多个调整词典特征，每个调整词典特征包括多个参考调整词典特征。
172.其中，可以通过梯度下降法（gradient descent）来对初始重建模型的模型参数进行调整。在使用梯度下降法更新模型参数时，计算损失函数的梯度，根据该梯度来对模型参数进行迭代更新，以将该初始重建模型进行逐渐收敛来提高模型的回归处理的准确率，这里的准确率可以为训练重建图像与初始训练样本集中各个训练样本的相似度。
173.需要说明的是，在得到第一损失参数之后，需要判断第一损失参数是否满足训练结束条件，在第一损失函数不满足训练结束条件的情况下，才执行根据第一损失参数调整初始重建模型的模型参数和初始词典特征集的操作，即继续对初始重建模型进行迭代训练，直至得到的损失参数满足训练结束条件，从而得到构建的词典特征。
174.步骤904、电子设备基于上述训练样本集对上述参考重建模型进行训练，得到第二损失参数。
175.在本技术实施例中，在第一损失参数不满足训练结束条件的情况下，继续基于训练样本集对调整参数后的参考重建模型进行训练。同样的，仍然将该训练样本集中各个训练样本图像输入参考重建模型中，基于该训练样本集对该参考重建模型进行训练，得到第二损失参数。其中，该第二损失参数也可以由两部分损失参数组成，一部分可以是基于该参考重建模型提取的训练样本集中各个训练样本图像的图像特征，该图像特征可以是训练样本图像中的某一个图像区域的图像特征，根据提取的图像特征与该图像区域对应的调整词典特征中相似度最高的参考调整词典特征之间的差异数据确定的。另一部分可以是基于参考重建模型输出的重建图像与初始训练样本集中对应的训练样本之间的差异数据得到的，具体可以是基于参考重建模型提取到的图像特征和调整词典特征进行图像复原处理，得到的参考重建图像与对应的训练样本之间的差异数据确定的。
176.示例性的，该参考重建模型提取图像区域m1的图像特征，进而将提取的图像特征通过最近邻算法确定在该图像区域m1对应的调整词典特征中相似度最高的参考调整词典特征，该调整词典特征为调整词典特征集中属于图像区域m1对应的特征类别的调整词典特征。进而，电子设备可以基于图像区域m1的图像特征，和与图像区域m1相似度最高的参考调整词典特征之间的差异数据，确定第三部分损失参数。并根据该参考图像处理模型输出的
参考重建图像，即图像复原处理的结果，与对应的训练样本之间差异数据，确定第四部分损失参数。进而，根据第三部分损失参数和第四部分损失参数确定第二损失参数。需要说明的是，图像复原处理的结果可以是基于参考重建模型的输出结果根据图像预处理进行反向处理得到的。
177.可选地，该第二损失参数与第一损失函数为相同的损失函数，例如可以是l1 loss、gan loss等。
178.步骤905、电子设备在上述第二损失参数满足训练结束条件的情况下，确定图像区域n1对应的词典特征为训练图像区域m1对应的词典特征。
179.在本技术实施例中，训练结束条件例如可以是损失参数（如第二损失参数）中的损失函数的值在预设阈值范围内，如损失函数的值为最小值，训练结束条件也可以是连续n次迭代训练得到的损失函数的值中，相邻两次得到的损失函数的值的差值小于预设差值阈值的次数大于或等于预设次数阈值。本技术对此不做限定，具体可根据使用场景确定。电子设备可以在损失参数（如第二损失参数）满足训练结束条件的情况下，将满足训练结束条件时的调整词典特征集确定为用于图像复原处理的词典特征集，该词典特征集包括各个特征类别对应的词典特征。在调用目标图像处理模型对第一图像进行图像复原处理时，所获取到的各个图像区域对应的词典特征所属的词典特征集即为该调整词典特征集。
180.示例性的，上述调用目标图像处理模型对包括n个图像区域的第一图像进行图像复原处理时，图像区域n1为n个图像区域中的图像区域，该图像区域n1对应的特征类别与训练图像区域m1的特征类别相同，则构建得到的调整词典特征集中，与训练图像区域m1对应的调整词典特征可以作为该图像区域n1对应的词典特征。需要说明的是，通过这种方式构建得到的调整词典特征集中的各个调整词典特征，即为各个图像区域对应的词典特征，每个词典特征中包括的特征向量即为参考词典特征。其中，该参考词典特征的数目本技术不做限定，具体可以根据实际业务场景所确定，例如本技术中各个词典特征中的参考词典特征的数量为1024个，每个特征向量为d维的向量，d的值例如可以是512。通过构建出的词典特征（调整词典特征集）理论上可以完成该初始训练样本集对应的图像类别的任何图像的图像复原处理。例如，如该初始训练样本集为人脸图像，这调整词典特征集中各个调整词典特征可以分别为人脸中的各个部位对应的词典特征，基于调整词典特征集理论上可以完成任何人脸的重建。
181.可选地，该电子设备可以将满足训练结束条件的参考重建模型的解码器（decoder）作为上述目标图像处理模型的解码器。
182.示例性的，上述初始重建模型可以是任意具有图像特征的提取功能和图像复原功能的模型，例如可以是卷积神经网络。其中，本技术以卷积神经网络的结构为u型网络（u-net）结构为例进行讲解，u-net为由一个编码器（encoder）和解码器（decoder）组成的深度神经网络结构，其编码器包括下采样处理和卷积处理，用于提取图像特征，例如用于提取上述训练样本集中各个训练样本图像的图像特征，编码器用于构成u型网络的左半部分，为特征提取网络。u-net的解码器用于基于提取的图像特征和的词典特征进行融合处理，该解码器包括特征拼接（concat）处理和卷积处理，得到融合处理的结果，例如图像复原处理的结果，如上述训练重建图像和参考重建图像。
183.请一并参阅图10，图10是本技术实施例提供的一种构建词典特征的时序示意图，
如图10所示，需要说明的是，以初始训练样本集包括的各个图像为rgb格式的图像为例进行绘制和讲解。电子设备首先可以对清晰度较高，图像质量也较高的初始训练样本集进行图像预处理，该图像预处理可以包括对初始训练样本集中各个图像进行对齐处理、格式转换为yuv格式，并提取亮度分量，得到亮度分量图像，并将亮度分量图像转换至频域进行高频特征图像的提取，得到初始训练样本集中各个训练样本对应的高频特征图像，也即是得到训练样本集，各个高频特征图像即为训练样本集中的训练样本图像。还可以对各个训练样本对应的对齐图像进行分割处理，该分割处理用于确定各个对齐图像中包括的各个图像区域的特征类别。可以理解的是，对初始训练样本集中各个训练样本进行的图像预处理的操作与上述对待处理图像进行的图像预处理相同。
184.进一步地，将得到的各个训练样本图像输入至初始重建网络中，通过初始重建网络提取训练样本集中各个训练样本图像的不同图像区域的图像特征，并基于不同图像区域对应在初始词典特征集中的初始词典特征进行融合处理，得到训练重建图像。其中，基于该初始重建网络提取到的训练样本集中各个训练样本图像的不同图像区域的图像特征与匹配的初始参考词典特征，该初始参考词典特征为初始词典特征中的与图像区域的图像特征相似度最高的图像特征，确定一部分损失参数，并基于训练样本集中各个训练样本图像和训练重建图像，确定另一部分损失参数。进而，可以基于两部分损失调整初始重建模型的模型参数和初始词典特征集中各个初始词典特征。在不断迭代训练的过程中，调整模型参数和词典特征，得到训练结束时的调整词典特征集作为图像复原处理的词典特征集，该调整词典特征集包括不同图像区域对应的调整词典特征，也即是不同特征类别对应的词典特征。
185.示例性的，以初始训练样本集为人脸图像为例进行讲解，请一并参阅图11，图11是本技术实施例提供的一种构建人脸词典特征的时序示意图。如图11所示，以初始训练样本集包括的各个图像为高清人脸图像，且为rgb格式的图像为例进行绘制和讲解。首先，电子设备对该高清人脸图像进行对齐处理，即将各个高清人脸图像对齐到人脸标准空间，得到各个高清人脸图像对应的对齐图像。并对该对齐图像进行分割处理，得到各个对齐图像对应的人脸解析映射图（parsing map），用于表示不同图像区域的特征类别。进而，将各个对齐图像进行格式转换处理，转换至yuv格式，并且提取y通道的亮度分量图像，对该亮度分量图像进行小波变换以获取该高清人脸图像对应的高频特征图，得到各个高清人脸图像对应的训练样本图像，各个训练样本图像可以组成训练样本集。
186.进一步地，电子设备调用初始重建模型提取各个训练样本图像的图像特征，得到各个训练样本图像中各个训练图像区域的图像特征，并根据图像特征携带的位置信息和人脸解析映射图，确定各个图像区域对应的初始词典特征，该初始词典特征可以是初始词典特征集中某一特征类别的初始词典特征，是一种离散高清词典特征。进而，初始重建模型可以对提取出的图像特征进行匹配，即从初始词典特征确定与提取的图像区域的图像特征相似度最高的参考初始词典特征，与提取的图像区域的图像特征计算损失参数，并根据该初始重建模型输出的结果（训练重建图像）与初始训练样本集中各个高清人脸图像计算另一损失参数，并基于两个损失参数调整初始重建模型的模型参数和初始词典特征集中的初始词典特征。经过迭代训练，得到不同人脸部位对应的词典特征。
187.其中，构建出的词典特征由于其内部各个特征向量为离散的向量，并且词典特征
中各个参考词典特征为用于表示图像质量较好的图像（图像区域）的图像特征，所以可以称构建出的词典特征为高清离散词典，词典特征中的各个参考词典特征可以称为离散高清词典特征，上述构建的过程也可以称为高清离散词典恢复。由此，基于不同图像区域（特征类别）分别构建一个词典特征，使得匹配的难度更低，可以便于图像复原处理时进行匹配，从而提高图像复原的效果。
188.请参阅图12，图12是本技术实施例提供的一种图像处理装置的结构示意图。图12所示的图像处理装置1200可以包括：处理单元1201、调用单元1202、训练单元1203、调整单元1204、确定单元1205和提取单元1206。其中，各个单元的详细描述如下：处理单元1201，用于对待处理图像进行图像预处理，得到第一图像，所述第一图像包括n个图像区域，n为大于1的整数；调用单元1202，用于调用目标图像处理模型提取所述n个图像区域中各个图像区域的图像特征，并调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的词典特征进行第一融合处理，得到所述各个图像区域对应的重建特征；所述调用单元1202，还用于调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的重建特征进行第二融合处理，得到所述待处理图像对应的目标重建图像，所述待处理图像对应的目标重建图像包括所述各个图像区域对应的重建图像。
189.在一种可能的实现方式中，目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；所述交叉注意力模块用于确定图像区域n的图像特征k与所述图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据所述多个相似度对所述图像区域n对应的多个参考词典特征进行所述第一融合处理，得到所述图像区域n对应的重建特征；其中，所述图像区域n为所述n个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。
190.在一种可能的实现方式中，所述目标图像处理模型包括特征融合模块；所述特征融合模块用于获取图像区域n对应的超分系数，并基于所述超分系数对所述图像区域n的图像特征k和所述图像区域n对应的重建特征进行所述第二融合处理，得到所述图像区域n对应的重建图像，所述图像区域n对应的超分系数用于指示所述图像区域n的重建程度；其中，所述图像区域n为所述n个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。
191.在一种可能的实现方式中，所述处理单元1201，还用于对初始训练样本集进行图像预处理，得到训练样本集；所述训练样本集包括m个训练图像区域；所述m个训练图像区域中的训练图像区域m1与所述n个图像区域中的图像区域n1的特征类别相同，m为大于1的整数；训练单元1203，用于基于所述训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；调整单元1204，用于根据所述第一损失参数调整所述初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，所述调整词典特征集包括所述m个
训练图像区域中各个训练图像区域对应的词典特征；所述训练单元1203，用于基于所述训练样本集对所述参考重建模型进行训练，得到第二损失参数；确定单元1205，用于在所述第二损失参数满足训练结束条件的情况下，确定所述图像区域n1对应的词典特征为所述训练图像区域m1对应的词典特征。
192.在一种可能的实现方式中，所述处理单元1201，用于对待处理图像进行图像预处理，得到第一图像，具体用于：根据所述待处理图像对应的参考标准图像对所述待处理图像进行对齐处理，得到对齐图像；提取所述对齐图像的亮度分量，得到亮度分量图像；提取所述亮度分量图像中的高频特征图像，得到所述第一图像。
193.在一种可能的实现方式中，待处理图像对应的参考标准图像包括p个预设关键点的位置信息，p为大于或等于1的整数；所述处理单元1201，用于根据所述待处理图像对应的参考标准图像对所述待处理图像进行对齐处理，得到对齐图像，具体用于：识别所述待处理图像中的p个关键点的位置信息；根据所述p个预设关键点的位置信息和所述p个关键点的位置信息，对所述待处理图像进行对齐处理，得到所述对齐图像；所述对齐图像中的关键点p的位置信息与所述关键点p对应的预设关键点的位置信息相同，所述关键点p为所述p个关键点中的任一关键点。
194.在一种可能的实现方式中，所述图像处理装置1200还包括：提取单元1206，用于提取所述亮度分量图像中的低频特征图像，并将所述待处理图像对应的目标重建图像与所述低频特征图像结合，得到重建亮度分量图像；所述提取单元1206，还用于提取所述对齐图像中的色度分量，得到色度分量图像；所述处理单元1201，还用于将所述重建亮度分量图像与所述色度分量图像结合，得到变换重建图像；所述处理单元1201，还用于对所述变换重建图像进行反对齐处理，得到所述待处理图像对应的目标复原图像。
195.需要说明的是，本技术实施例中所描述的图像处理装置1200中各功能单元的功能可参见上述图4中上述的方法实施例步骤401-步骤403，以及图9中方法实施例步骤901-步骤905的相关描述，此处不再赘述。
196.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本技术上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，
（例如，软盘、硬盘、磁带）、光介质（例如， dvd）、或者半导体介质（例如固态硬盘 solid state disk）等。
197.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
198.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
199.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
200.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
201.另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
202.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以为个人计算机、服务端或者网络设备等，具体可以是电子设备中的处理器）执行本技术各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：u盘、移动硬盘、磁碟、光盘、只读存储器（read-only memory，缩写：rom）或者随机存取存储器（random access memory，缩写：ram）等各种可以存储程序代码的介质。
203.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种图像处理方法，其特征在于，包括：对待处理图像进行图像预处理，得到第一图像，所述第一图像包括n个图像区域，n为大于1的整数；调用目标图像处理模型提取所述n个图像区域中各个图像区域的图像特征，并调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的词典特征进行第一融合处理，得到所述各个图像区域对应的重建特征；调用所述目标图像处理模型对所述各个图像区域的图像特征和所述各个图像区域对应的重建特征进行第二融合处理，得到所述待处理图像对应的目标重建图像，所述待处理图像对应的目标重建图像包括所述各个图像区域对应的重建图像。2.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型包括交叉注意力模块；图像区域n对应的词典特征包括多个参考词典特征；所述交叉注意力模块用于确定图像区域n的图像特征k与所述图像区域n对应的多个参考词典特征之间的相似度，得到多个相似度，并根据所述多个相似度对所述图像区域n对应的多个参考词典特征进行所述第一融合处理，得到所述图像区域n对应的重建特征；其中，所述图像区域n为所述n个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。3.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型包括特征融合模块；所述特征融合模块用于获取图像区域n对应的超分系数，并基于所述超分系数对所述图像区域n的图像特征k和所述图像区域n对应的重建特征进行所述第二融合处理，得到所述图像区域n对应的重建图像，所述图像区域n对应的超分系数用于指示所述图像区域n的重建程度；其中，所述图像区域n为所述n个图像区域中的任一图像区域，所述图像特征k为提取出的所述图像区域n的图像特征。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对初始训练样本集进行图像预处理，得到训练样本集；所述训练样本集包括m个训练图像区域；所述m个训练图像区域中的训练图像区域m1与所述n个图像区域中的图像区域n1的特征类别相同，m为大于1的整数；基于所述训练样本集和初始词典特征集对初始重建模型进行训练，得到第一损失参数；根据所述第一损失参数调整所述初始重建模型的模型参数和初始词典特征集，得到调整词典特征集和参考重建模型，所述调整词典特征集包括所述m个训练图像区域中各个训练图像区域对应的词典特征；基于所述训练样本集对所述参考重建模型进行训练，得到第二损失参数；在所述第二损失参数满足训练结束条件的情况下，确定所述图像区域n1对应的词典特征为所述训练图像区域m1对应的词典特征。5.根据权利要求2所述的方法，其特征在于，所述对待处理图像进行图像预处理，得到第一图像，包括：根据所述待处理图像对应的参考标准图像对所述待处理图像进行对齐处理，得到对齐
图像；提取所述对齐图像的亮度分量，得到亮度分量图像；提取所述亮度分量图像中的高频特征图像，得到所述第一图像。6.根据权利要求5所述的方法，其特征在于，所述待处理图像对应的参考标准图像包括p个预设关键点的位置信息，p为大于或等于1的整数；所述根据所述待处理图像对应的参考标准图像对所述待处理图像进行对齐处理，得到对齐图像，包括：识别所述待处理图像中的p个关键点的位置信息；根据所述p个预设关键点的位置信息和所述p个关键点的位置信息，对所述待处理图像进行对齐处理，得到所述对齐图像；所述对齐图像中的关键点p的位置信息与所述关键点p对应的预设关键点的位置信息相同，所述关键点p为所述p个关键点中的任一关键点。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：提取所述亮度分量图像中的低频特征图像，并将所述待处理图像对应的目标重建图像与所述低频特征图像结合，得到重建亮度分量图像；提取所述对齐图像中的色度分量，得到色度分量图像；将所述重建亮度分量图像与所述色度分量图像结合，得到变换重建图像；对所述变换重建图像进行反对齐处理，得到所述待处理图像对应的目标复原图像。8.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。9.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。

技术总结
本申请提供了一种图像处理方法、装置、设备及计算机可读存储介质，可以用于图像复原处理。方法包括：对待处理图像进行图像预处理，得到第一图像；调用目标图像处理模型提取第一图像的N个图像区域中各个图像区域的图像特征，调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的词典特征进行第一融合处理，得到各个图像区域对应的重建特征；调用目标图像处理模型对各个图像区域的图像特征和各个图像区域对应的重建特征进行第二融合处理，得到待处理图像对应的目标重建图像，目标重建图像包括各个图像区域对应的重建图像。实施本申请实施例，可以对不同的图像区域基于对应的词典特征进行重建处理，有利于提高图像复原的效果。高图像复原的效果。高图像复原的效果。


技术研发人员：夏致冰
受保护的技术使用者：荣耀终端有限公司
技术研发日：2023.06.14
技术公布日：2023/7/21