模型训练方法、图像质量评价方法、装置及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种模型训练方法、图像质量评价方法、装置及存储介质。


背景技术：

2.近些年，受益于深度学习理论的发展，nr-iqa研究取得了较大的进展。作为一种典型的数据驱动算法，基于深度神经网络(deep neural networks，dnn)的nr-iqa算法性能与训练数据的规模密不可分，训练数据量越大，算法性能往往越好。相较于常见的图像识别、检测和分割任务，iqa任务的数据标注过程十分繁琐，成本十分昂贵，这限制了有标注数据集的规模。迄今为止，iqa领域最大规模的真实图像质量评价数据集flive共包含不到4万张图像。作为对比，经典的图像分类数据集imagenet1k数据集包含了超过128万张图像。因此，现有的iqa算法受限于有标注iqa数据集的规模，导致有监督训练得到的图像质量评价模型的有效性较低。


技术实现要素：

3.本公开提供一种模型训练方法、图像质量评价方法、装置及存储介质，以至少解决相关技术中图像质量评价模型的有效性较低的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种图像质量评价模型的训练方法，包括：
5.获取多个预设图像；所述多个预设图像各自对应的对象类别不同；
6.对所述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，所述损伤信息表征所述样本图像的图像质量；
7.从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；
8.基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；
9.基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型；
10.基于所述初始特征提取子模型，确定图像质量评价模型。
11.在一示例性的实施方式中，所述第一预设模型包括对象特征提取网络、图像损伤特征提取网络以及特征融合网络，所述基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型，包括：
12.将样本图像对输入所述对象特征提取网络进行对象特征提取处理，得到样本对象特征；所述样本图像对包括所述正样本对以及所述负样本对；
13.将所述样本图像对输入所述图像损伤特征提取网络进行图像损伤特征提取处理，得到样本损伤特征；
14.将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入
所述特征融合网络，得到所述任一样本图像对应的样本图像特征；
15.基于所述样本图像对中两个样本图像各自对应的样本图像特征，训练所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络，得到所述初始特征提取子模型。
16.在一示例性的实施方式中，所述将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络，得到所述任一样本图像对应的样本图像特征，包括：
17.将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络；
18.基于所述特征融合网络，确定所述任一样本图像对应的样本对象特征的第一权重以及所述任一样本图像对应的样本损伤特征的第二权重；
19.基于所述任一样本图像对应的样本对象特征与所述第一权重的乘积，确定第一样本图像特征；
20.基于所述任一样本图像对应的样本损伤特征与所述第二权重的乘积，确定第二样本图像特征；
21.基于所述第一样本图像特征以及所述第二样本图像特征，确定所述任一样本图像对应的样本图像特征。
22.在一示例性的实施方式中，所述基于所述样本图像对中两个样本图像各自对应的样本图像特征，训练所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络，得到所述初始特征提取子模型，包括：
23.基于所述样本图像对中两个样本图像各自对应的样本图像特征，调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件；
24.基于满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定所述初始特征提取子模型。
25.在一示例性的实施方式中，所述基于所述样本图像对中两个样本图像各自对应的样本图像特征，调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件，包括：
26.根据所述正样本对中两个正样本图像各自对应的样本图像特征，确定所述正样本对中两个正样本图像之间的第一相似度；
27.根据所述负样本对中两个负样本图像各自对应的样本图像特征，确定所述负样本对中两个负样本图像之间的第二相似度；
28.基于所述第一相似度与所述第二相似度的差值，确定损失信息；
29.根据所述损失信息调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件。
30.在一示例性的实施方式中，所述基于所述初始特征提取子模型，确定图像质量评价模型，包括：
31.获取标注了训练损伤信息标签的训练图像；
32.基于所述初始特征提取子模型提取所述训练图像的训练图像特征；
33.基于第二预设模型确定所述训练图像特征对应的损伤信息识别结果；所述损伤信息识别结果表征所述训练图像的图像质量；
34.基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，得到所述图像质量评价模型。
35.在一示例性的实施方式中，所述基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，得到所述图像质量评价模型，包括：
36.基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，直至满足第二训练结束条件；
37.基于图像特征提取子模型以及损伤信息识别子模型，确定所述图像质量评价模型；所述图像特征提取子模型为满足第二训练结束条件时的初始特征提取子模型，所述损伤信息识别子模型为满足第二训练结束条件时的第二预设模型。
38.在一示例性的实施方式中，所述基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对，包括：
39.基于任意两个预设图像各自对应的样本图像，构建第一负样本对；
40.从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，构建第二负样本对；
41.基于所述第一负样本对以及所述第二负样本对，构建所述负样本对。
42.根据本公开实施例的第二方面，提供一种图像质量评价方法，所述方法包括：
43.获取待识别图像；
44.将所述待识别图像输入图像质量评价模型进行图像质量评价处理，得到所述待识别图像的目标损伤信息；所述目标损伤信息表征所述待识别图像的图像质量；
45.其中，所述图像质量评价模型为基于上述的方法训练得到。
46.根据本公开实施例的第三方面，提供一种图像质量评价模型的训练装置，包括：
47.预设图像获取模块，被配置为执行获取多个预设图像；所述多个预设图像各自对应的对象类别不同；
48.样本图像确定模块，被配置为执行对所述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，所述损伤信息表征所述样本图像的图像质量；
49.正样本构建模块，被配置为执行从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；
50.负样本构建模块，被配置为执行基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；
51.对比训练模块，被配置为执行基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型；
52.模型确定模块，被配置为执行基于所述初始特征提取子模型，确定图像质量评价模型。
53.在一示例性的实施方式中，所述第一预设模型包括对象特征提取网络、图像损伤特征提取网络以及特征融合网络，所述对比训练模块包括：
54.样本对象特征确定子模块，被配置为执行将样本图像对输入所述对象特征提取网络进行对象特征提取处理，得到样本对象特征；所述样本图像对包括所述正样本对以及所述负样本对；
55.样本损伤特征确定子模块，被配置为执行将所述样本图像对输入所述图像损伤特征提取网络进行图像损伤特征提取处理，得到样本损伤特征；
56.特征融合子模块，被配置为执行将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络，得到所述任一样本图像对应的样本图像特征；
57.训练子模块，被配置为执行基于所述样本图像对中两个样本图像各自对应的样本图像特征，训练所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络，得到所述初始特征提取子模型。
58.在一示例性的实施方式中，特征融合子模块包括：
59.特征输入单元，被配置为执行将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络；
60.权重确定单元，被配置为执行基于所述特征融合网络，确定所述任一样本图像对应的样本对象特征的第一权重以及所述任一样本图像对应的样本损伤特征的第二权重；
61.第一特征确定单元，被配置为执行基于所述任一样本图像对应的样本对象特征与所述第一权重的乘积，确定第一样本图像特征；
62.第二特征确定单元，被配置为执行基于所述任一样本图像对应的样本损伤特征与所述第二权重的乘积，确定第二样本图像特征；
63.样本图像特征确定单元，被配置为执行基于所述第一样本图像特征以及所述第二样本图像特征，确定所述任一样本图像对应的样本图像特征。
64.在一示例性的实施方式中，训练子模块包括：
65.第一训练单元，被配置为执行基于所述样本图像对中两个样本图像各自对应的样本图像特征，调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件；
66.模型确定单元，被配置为执行基于满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定所述初始特征提取子模型。
67.在一示例性的实施方式中，第一训练单元包括：
68.第一相似度确定子单元，被配置为执行根据所述正样本对中两个正样本图像各自对应的样本图像特征，确定所述正样本对中两个正样本图像之间的第一相似度；
69.第二相似度确定子单元，被配置为执行根据所述负样本对中两个负样本图像各自对应的样本图像特征，确定所述负样本对中两个负样本图像之间的第二相似度；
70.损失信息确定子单元，被配置为执行基于所述第一相似度与所述第二相似度的差值，确定损失信息；
71.参数调整子单元，被配置为执行根据所述损失信息调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件。
72.在一示例性的实施方式中，所述模型确定模块包括：
73.训练图像获取单元，被配置为执行获取标注了训练损伤信息标签的训练图像；
74.训练特征提取单元，被配置为执行基于所述初始特征提取子模型提取所述训练图像的训练图像特征；
75.识别结果确定单元，被配置为执行基于第二预设模型确定所述训练图像特征对应的损伤信息识别结果；所述损伤信息识别结果表征所述训练图像的图像质量；
76.第二训练单元，被配置为执行基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，得到所述图像质量评价模型。
77.在一示例性的实施方式中，所述第二训练单元包括：
78.训练子单元，被配置为执行基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，直至满足第二训练结束条件；
79.模型确定子单元，被配置为执行基于图像特征提取子模型以及损伤信息识别子模型，确定所述图像质量评价模型；所述图像特征提取子模型为满足第二训练结束条件时的初始特征提取子模型，所述损伤信息识别子模型为满足第二训练结束条件时的第二预设模型。
80.在一示例性的实施方式中，所述负样本构建模块包括：
81.第一构建子模块，被配置为执行基于任意两个预设图像各自对应的样本图像，构建第一负样本对；
82.第二构建子模块，被配置为执行从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，构建第二负样本对；
83.负样本对构建子模块，被配置为执行基于所述第一负样本对以及所述第二负样本对，构建所述负样本对。
84.根据本公开实施例的第四方面，提供一种图像质量评价装置，所述装置包括：
85.待识别图像获取模块，被配置为执行获取待识别图像；
86.目标损伤信息确定模块，被配置为执行将所述待识别图像输入图像质量评价模型进行图像质量评价处理，得到所述待识别图像的目标损伤信息；所述目标损伤信息表征所述待识别图像的图像质量；
87.其中，所述图像质量评价模型为基于上述的方法训练得到。
88.根据本公开实施例的第五方面，提供一种电子设备，包括：
89.处理器；
90.用于存储所述处理器可执行指令的存储器；
91.其中，所述处理器被配置为执行所述指令，以实现如上所述的图像质量评价模型的训练方法或图像质量评价方法。
92.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备处理器执行时，使得电子设备能够执行如上所述的图像质量评价模型的训练方法或图像质量评价方法。
93.根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的图像质量评价模型的训练方法或图像质量评
价方法。
94.本公开的实施例提供的技术方案至少带来以下有益效果：
95.本公开获取多个预设图像；多个预设图像各自对应的对象类别不同；对多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，损伤信息表征样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对正样本对以及负样本对进行对比学习训练，得到初始特征提取子模型；基于初始特征提取子模型，确定图像质量评价模型。本公开通过对预设图像进行图像损伤处理，得到多个样本图像；再根据样本图像对应的预设图像以及损伤信息构建正样本对以及负样本对；从而可以通过正负样本对进行无监督对比学习训练，得到初始特征提取子模型；避免了模型训练过程中对大量标注数据的依赖，降低了模型训练复杂度；且通过对比学习训练可以提高初始特征提取子模型的有效性，从而可以提高图像质量评价模型的有效性。
96.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
97.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
98.图1是根据一示例性实施例示出的一种图像质量评价模型的训练方法的应用环境图。
99.图2是根据一示例性实施例示出的一种图像质量评价模型的训练方法的流程图。
100.图3是根据一示例性实施例示出的一种正负样本对的构建流程示意图。
101.图4是根据一示例性实施例示出的一种基于第一预设模型对上述正样本对以及上述负样本对进行对比学习训练，得到初始特征提取子模型的方法的流程图。
102.图5是根据一示例性实施例示出的一种将上述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络，得到上述任一样本图像对应的样本图像特征的方法的流程图。
103.图6是根据一示例性实施例示出的一种基于上述样本图像对中两个样本图像各自对应的样本图像特征，训练上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络，得到上述初始特征提取子模型的方法的流程图。
104.图7是根据一示例性实施例示出的一种基于上述样本图像对中两个样本图像各自对应的样本图像特征，调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件的方法的流程图。
105.图8是根据一示例性实施例示出的一种基于上述初始特征提取子模型，确定图像质量评价模型的方法的流程图。
106.图9是根据一示例性实施例示出的一种基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，得到上述图像质量评价模型的方法的流程图。
107.图10是根据一示例性实施例示出的一种图像质量评价方法的流程图。
108.图11是根据一示例性实施例示出的一种图像质量评价模型的训练装置框图。
109.图12是根据一示例性实施例示出的一种图像质量评价装置框图。
110.图13是根据一示例性实施例示出的一种用于图像质量评价的电子设备的框图。
具体实施方式
111.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
112.首先，在对本说明书实施例进行描述的过程中出现的部分名词或者术语作如下解释：
113.iqa(image quality assessment)：图像质量评估
114.qoe(quality of experience):用户的主观使用感受
115.dnn(deep neural network)：深度神经网络
116.nr-iqa(no reference video quality assessment)：无参考图像质量评估
117.rr-iqa(reduced reference video quality assessment)：半参考质量评估
118.fr-iqa(full reference video quality assessment)：有参考图像质量评估
119.srcc(spearman’s rank correlation coefficient)：斯皮尔曼等级相关系数
120.plcc(pearson’s linear correlation coefficient)：皮尔逊线性相关系数
121.sota(state-of-the-art)：最好的quality-aware pretrained task(qpt)：计及主观质量的预训练
122.mean opinion score(mos)：主观质量均分
123.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
124.为了避免模型训练过程中对大量标注数据的依赖，提高图像质量评价模型的有效性，本公开提供了一种模型训练方法、图像质量评价方法、装置及存储介质。
125.请参阅图1，其所示为根据一示例性实施例示出的一种图像质量评价模型的训练方法的应用环境图，该应用环境可以包括服务器01和客户端02。
126.具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于获取多个预设图像；多个预设图像各自对应的对象类别不同；对多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，损伤信息表征样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建
正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对正样本对以及负样本对进行对比学习训练，得到初始特征提取子模型；基于初始特征提取子模型，确定图像质量评价模型；并将客户端02发送的待识别图像输入图像质量评价模型进行图像质量评价处理，得到待识别图像的目标损伤信息，以及向客户端02发送待识别图像的目标损伤信息。
127.具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于向服务器01发送待识别图像，接收服务器01发送的待识别图像的目标损伤信息，并展示待识别图像的目标损伤信息，其中，目标损伤信息表征待识别图像的图像质量。
128.图2是根据一示例性实施例示出的一种图像质量评价模型的训练方法的流程图，如图2所示，该方法可以应用于图1所示的服务器01中，包括以下步骤s201-s2011。
129.在步骤s201中，获取多个预设图像；上述各预设图像对应的对象类别不同。
130.在本公开实施例中，每个预设图像中均包括预设对象，各预设图像对应的预设对象的对象类别不同；预设图像可以为imagenet-1k数据集中图像，imagenet项目是一个用于视觉对象识别软件研究的大型可视化数据库；imagenet-1k数据集包含超过128万张内容不同的图像，属于1000个不同的类别，包括建筑，动物，植物，风景等；每个类别可以包括多个对象类别。例如，若预设图像为猫的图像，则对象类别为猫；若预设图像为荷花的图像，则对象类别为荷花。
131.在步骤s203中，对上述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，上述损伤信息表征样本图像的图像质量。
132.在本公开实施例中，可以根据图像在现实环境中常遭受的损伤方式，包括亮度调整，对比度调整，色彩度调整，噪声干扰，高斯模糊以及jpeg或者jpeg2000压缩等，构建图像损伤生成器，其能对输入的源图像进行处理，生成贴近现实且主观质量存在差异的退化图像。其中，图像损伤生成器可以包括但不限于图像的亮度调整算法、对比度调整算法、色彩度调整算法、噪声干扰算法、高斯模糊算法以及jpeg或者jpeg2000压缩算法等；可以通过图像损伤生成器对多个预设图像进行图像损伤处理，得到多个样本图像，样本图像均为退化图像。
133.在一些实施例中，可以对每个预设图像进行一种或多种损伤处理，每种损伤处理可以包括不同的损伤方式(类型)以及损伤级别；由此得到损伤图像，并将损伤图像作为样本图像；还可以对损伤图像进行裁剪处理，得到多个样本图像。每个样本图像对应一种损伤信息，损伤信息包括损伤类型以及损伤级别；损伤类型表征损伤处理方式，损伤级别表征图像的损伤程度；损伤信息用于表征样本图像的图像质量，即表征样本图像的画质，可以根据损伤类型以及损伤级别确定图像质量分数。
134.在步骤s205中，从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对。
135.本公开实施例中，qpt将影响图像的主观质量的因素归结为图像内容和画质损伤两方面，任何一个元素变化都会影响图像的主观质量。可以从同一预设图像对应的样本图
像中，筛选出损伤信息相同的样本图像，构建正样本对；还可以根据同一损伤图像裁剪得到的多个样本图像，构建正样本对；正样本对包括内容相同(来自同一预设图像)且损伤信息相同的两个样本图像。即内容和画质损伤完全一致的样本图像构成正样本对。
136.在步骤s207中，基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对。
137.本公开实施例中，上述基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对，包括s2071-s2073。
138.s2071、基于任意两个预设图像各自对应的样本图像，构建第一负样本对。
139.本公开实施例中，可以将任意两个预设图像各自对应的样本图像，即内容不同的两个样本图像，构建为第一负样本对。
140.s2072、从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，构建第二负样本对。
141.本公开实施例中，可以从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，即将内容相同但损伤信息(画质)不同的样本图像，构建为第二负样本对。
142.s2073、基于上述第一负样本对以及上述第二负样本对，构建上述负样本对。
143.本公开实施例中，可以将内容不同的第一负样本对以及内容相同但损伤信息(画质)不同的第二负样本对，确定为负样本对。
144.本公开实施例中，可以根据内容不同的两个样本图像，构建第一负样本对；根据内容相同但损伤信息(画质)不同的样本图像，构建第二负样本对；提高了负样本对的数量以及多样性，从而可以提高模型有效性。
145.在一些实施例中，如图3所示，图3为正负样本对的构建流程示意图。
146.其中，图3中a图中为预设图像包括yn和
147.图3中b图为两个预设图像各自对应的损伤图像以及
148.图3中c图为基于损伤图像构建的样本图像；其中，损伤图像经裁剪后得到的样本图像为和损伤图像经裁剪后得到的样本图像为和损伤图像经裁剪后得到的样本图像为和损伤图像经裁剪后得到的样本图像为和其中，构成正样本对；可以将任意两个预设图像各自对应的样本图像，即内容不同的两个样本图像，确定为第一负样本对；例如，与构成第一负样本对；可以从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，即将内容相同但损伤信息(画质)不同的样本图像，确定为第二负样本对；例如，与构成第二负样本对，和构成第二负样本对；需要说明的是，第一负样本对、第二负样本对并不局限于本实施例所列举的样本对。
149.在步骤s209中，基于第一预设模型对上述正样本对以及上述负样本对进行对比学习训练，得到初始特征提取子模型。
150.在一些实施例中，上述第一预设模型包括对象特征提取网络、图像损伤特征提取
网络以及特征融合网络，第一预设模型可以包括但不限于残差网络、卷积神经网络等；残差网络(residual network，resnet)种类繁多，可以包括但限于resnet-18，resnet-34，resnet-50，resnet-101，resnet152等，但是它们的基本结构都是相同的——由多层相同的残差块(resnet block)重复堆叠而成。resnet block特点是由若干层网络(这里表示为layers)组成，输出为网络的输出与输入的加和；其中，数字18、34、50、101、152表示网络中残差块的数量。上述的对象特征提取网络、图像损伤特征提取网络以及特征融合网络分别对应为残差网络中不同的残差块；其中，对象特征提取网络对应的残差块位于图像损伤特征提取网络对应的残差块之前，图像损伤特征提取网络对应的残差块位于特征融合网络对应的残差块之前；不同的残差块对应不同的处理功能。
151.卷积神经网络(convolutional neural networks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)；从结构上，可以分为特征提取阶段和分类识别阶段，在特征提取阶段，通常由多个特征层堆叠而成，每个特征层又由卷积层和池化层组成；处于网络前端的特征层，用来捕捉图像局部细节信息，而后面的特征层则用来捕捉图像中更加抽象的信息。在分类识别阶段，通常是一个简单的分类器，例如全连接网络或支持向量机，它接收最后一个特征层的输出，完成分类和识别。上述的特征提取网络、图像损伤特征提取网络、特征融合网络分别由不同的特征层堆叠而成，特征层包括卷积层和池化层。对象特征提取网络对应的特征层位于图像损伤特征提取网络对应的特征层之前，图像损伤特征提取网络对应的特征层位于特征融合网络对应的特征层之前。
152.一个示例中，对象特征提取网络可以为编码器网络。如图4所示，基于第一预设模型对上述正样本对以及上述负样本对进行对比学习训练，得到初始特征提取子模型，包括s2091-s2097：
153.s2091、将样本图像对输入上述对象特征提取网络进行对象特征提取处理，得到样本对象特征；样本图像对包括上述正样本对以及上述负样本对。
154.在本公开实施例中，可以根据上述正样本对以及上述负样本对构建样本图像对；通过对象特征提取网络提取样本图像对中各个样本图像的样本对象特征，样本对象特征表征样本图像的内容特征。一个示例中，样本对象特征为样本图像中对象的特征。
155.s2093、将上述样本图像对输入上述图像损伤特征提取网络进行图像损伤特征提取处理，得到样本损伤特征。
156.在本公开实施例中，图像损伤特征提取网络可以为编码器网络；可以通过图像损伤特征提取网络提取样本图像的样本损伤特征；样本损伤特征可以表征样本图像的损伤信息。
157.s2095、将上述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络，得到上述任一样本图像对应的样本图像特征。
158.在一些实施例中，如图5所示，将上述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络，得到上述任一样本图像对应的样本图像特征，包括s20951-s20959：
159.s20951、将样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络。
160.在本公开实施例中，可以通过特征融合网络对样本图像对中任一样本图像对应的
样本对象特征以及样本损伤特征进行融合处理。
161.s20953、基于上述特征融合网络，确定上述任一样本图像对应的样本对象特征的第一权重以及上述任一样本图像对应的样本损伤特征的第二权重。
162.在本公开实施例中，在进行特征融合之前，可以通过特征融合网络对样本对象特征以及样本损伤特征分别赋予初始权重；确定上述任一样本图像对应的样本对象特征的第一权重以及上述任一样本图像对应的样本损伤特征的第二权重；其中，第一权重与第二权重之和为1。在后续的模型训练过程中，可以不断调整第一权重、第二权重的数值，直至满足训练结束条件。
163.s20955、基于上述任一样本图像对应的样本对象特征与上述第一权重的乘积，确定第一样本图像特征。
164.在本公开实施例中，可以通过特征融合网络计算任一样本图像对应的样本对象特征与上述第一权重的乘积，得到第一样本图像特征。
165.s20957、基于上述任一样本图像对应的样本损伤特征与上述第二权重的乘积，确定第二样本图像特征。
166.在本公开实施例中，可以通过特征融合网络计算任一样本图像对应的样本损伤特征与上述第二权重的乘积，得到第二样本图像特征。
167.s20959、基于上述第一样本图像特征以及上述第二样本图像特征，确定上述任一样本图像对应的样本图像特征。
168.在本公开实施例中，可以通过特征融合网络对第一样本图像特征以及第二样本图像特征进行融合，从而得到上述任一样本图像对应的样本图像特征；样本图像特征可以为预设维度的向量。
169.本公开实施例中，可以通过特征融合网络对样本对象特征以及样本损伤特征分别赋予初始权重，并根据权重分别确定样本对象特征以及样本损伤特征对应的图像特征，得到第一样本图像特征以及第二样本图像特征，再对第一样本图像特征以及第二样本图像特征进行融合，从而得到任一样本图像对应的样本图像特征；该样本图像特征融合了样本对象特征以及样本损伤特征，表征了样本图像的内容以及画质的综合特征，从而提高了样本图像特征的表征有效性。
170.在一些实施例中，如图3所示，图3为正负样本对的构建流程示意图，图3中d图为基于样本图像提取的样本图像特征，其中，样本图像对应样本图像特征样本图像对应样本图像特征样本图像为对应样本图像特征样本图像对应样本图像特征样本图像对应样本图像特征样本图像对应样本图像特征样本图像对应样本图像特征样本图像对应样本图像特征图3中d图为正负样本对各自对应的样本图像特征；其中，参考框(anchor)为预设的一组或几组不同尺度不同长宽比的固定参考框，用于进行图像裁剪；负样本对包括第一负样本对以及第二负样本对。
171.s2097、基于上述样本图像对中两个样本图像各自对应的样本图像特征，训练上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络，得到上述初始特
征提取子模型。
172.在本公开实施例中，可以根据样本图像对中两个样本图像各自对应的样本图像特征，构建损失函数，并根据损失函数调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的网络参数，从而得到初始特征提取子模型。
173.在一示例性实施例中，基于样本图像特征确定的损失函数(优化目标)l
qc
如下所示：
[0174][0175]
其中，k代表对比的总样本数；τ为温度系数，控制输出值的分布形状；β为权重系数，控制两个优化目标(即内容不同和画质不同)的重要程度；k为总样本图像中的第k个样本图像；k的取值范围为1-k；i、j对应两种图像损伤方式，i、j表示采用不同的损伤方式对样本图像进行处理；分别为样本图像各自对应的样本图像特征。中第一个*取值为1-k，第二个*取值为i或j；中的*取值为i或j。
[0176]
本公开实施例中，可以通过对象特征提取网络提取样本图像的样本对象特征，通过图像损伤特征提取网络提取样本图像的样本损伤特征，再通过特征融合网络对同一样本图像的样本对象特征以及样本损伤特征进行融合处理，从而得到样本图像特征；得到的样本图像特征融合了样本对象特征以及样本损伤特征两种特征，从而可以从图像内容和图像画质两方面对图像质量进行评估。
[0177]
在一些实施例中，如图6所示，上述基于上述样本图像对中两个样本图像各自对应的样本图像特征，训练上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络，得到上述初始特征提取子模型，包括s20971-s20973：
[0178]
s20971、基于上述样本图像对中两个样本图像各自对应的样本图像特征，调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件。
[0179]
在一些实施例中，如图7所示，上述基于上述样本图像对中两个样本图像各自对应的样本图像特征，调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件，包括s209711-s209717：
[0180]
s209711、根据上述正样本对中两个正样本图像各自对应的样本图像特征，确定上述正样本对中两个正样本图像之间的第一相似度。
[0181]
在本公开实施例中，可以计算正样本对中两个样本图像各自对应的样本图像特征的相似度，作为正样本对中两个正样本图像之间的第一相似度；特征相似度的计算方法可以包括但不限于余弦相似度、欧式距离、曼哈顿距离等方法。
[0182]
s209713、根据上述负样本对中两个负样本图像各自对应的样本图像特征，确定上述负样本对中两个负样本图像之间的第二相似度。
[0183]
在本公开实施例中，可以计算负样本对中两个样本图像各自对应的样本图像特征
的相似度，作为负样本对中两个负样本图像之间的第二相似度；特征相似度的计算方法可以包括但不限于余弦相似度、欧式距离、曼哈顿距离等方法。
[0184]
s209715、基于上述第一相似度与上述第二相似度的差值，确定损失信息。
[0185]
在本公开实施例中，可以计算第一相似度与第二相似度的差值，得到损失信息；再根据损失信息进行模型的训练，模型的训练目标是第一相似度的值越来越大，第二相似度的值越来越小。
[0186]
s209717、根据上述损失信息调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件。
[0187]
在本公开实施例中，在模型训练过程中，可以根据损失信息，不断调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的网络参数，直至满足第一训练结束条件。可以将第一训练结束条件设置为损失信息大于预设阈值；还可以设置为达到预设迭代次数。
[0188]
本公开实施例中，可以根据正样本对对应的第一相似度以及负样本对对应的第二相似度，确定损失信息，并根据损失信息进行对比学习训练，从而实现无标签标注的无监督训练，避免了模型训练过程中对大量标注数据的依赖，降低了模型训练复杂度。
[0189]
s20973、基于满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定上述初始特征提取子模型。
[0190]
在本公开实施例中，可以将第一训练结束条件设置为损失信息大于预设阈值；当损伤信息大于预设阈值时，训练结束；并根据训练结束时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定初始特征提取子模型。可以将训练结束时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络进行组合，得到初始特征提取子模型。
[0191]
本公开实施例中，可以根据样本图像对中两个样本图像对应的样本图像特征，调整对象特征提取网络、图像损伤特征提取网络以及特征融合网络各自对应的参数，直至满足第一训练结束条件；从而实现对象特征提取网络、图像损伤特征提取网络以及特征融合网络的快速训练；再根据满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，快速确定初始特征提取子模型。
[0192]
在步骤s2011中，基于上述初始特征提取子模型，确定图像质量评价模型。
[0193]
在本公开实施例中，可以将初始特征提取子模型作为预训练模型，从而进一步训练得到图像质量评价模型。
[0194]
在本公开实施例中，如图8所示，上述基于上述初始特征提取子模型，确定图像质量评价模型，包括s20111-s20117：
[0195]
s20111、获取标注了训练损伤信息标签的训练图像。
[0196]
在本公开实施例中，训练图像可以为iqa数据集中图像，训练图像标注了训练损伤信息标签，训练损伤信息表征训练图像的图像质量。
[0197]
s20113、基于上述初始特征提取子模型提取训练图像的训练图像特征。
[0198]
在本公开实施例中，可以通过初始特征提取子模型对训练图像进行特征提取处理，得到训练图像特征。具体的，可以通过初始特征提取子模型中的对象特征提取网络提取训练图像中的训练对象特征，再通过初始特征提取子模型中的图像损伤特征提取网络提取训练图像中的训练损伤特征；最后通过初始特征提取子模型中的特征融合网络对训练对象
特征以及训练损伤特征进行融合处理，得到训练图像的训练图像特征。
[0199]
s20115、基于第二预设模型确定上述训练图像特征对应的损伤信息识别结果；上述损伤信息识别结果表征上述训练图像的图像质量。
[0200]
在本公开实施例中，第二预设模型用于对训练图像特征进行损伤信息识别处理，可以通过第二预设模型对上述训练图像特征进行损伤信息预测，得到损伤信息识别结果；第二预设模型为分类网络，可以包括但不限于支持向量机(support vector machines，svm)、随机森林等；随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。损伤信息识别结果包括训练图像的损伤类型以及损伤级别；该损伤信息识别结果可以表征上述训练图像的图像质量。
[0201]
s20117、基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，得到上述图像质量评价模型。
[0202]
在本公开实施例中，可以通过损伤信息识别结果与训练损伤信息标签之间的差异，构建损失函数，并根据损失函数训练上述初始特征提取子模型以及上述第二预设模型，从而将训练结束的初始特征提取子模型以及第二预设模型的组合，确定为图像质量评价模型。
[0203]
本公开实施例中，可以通过训练图像对初始特征提取子模型进行微调训练，从而提高初始特征提取子模型的有效性，并基于训练结束时的初始特征提取子模型，构建图像质量评价模型，从而提高图像质量评价模型的有效性。
[0204]
在本公开实施例中，如图9所示，基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，得到上述图像质量评价模型，包括s201171-s201173：
[0205]
s201171、基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，直至满足第二训练结束条件。
[0206]
在本公开实施例中，可以根据损伤信息识别结果与上述训练损伤信息标签之间的差异，确定训练损失信息，并根据训练损失信息调整初始特征提取子模型以及上述第二预设模型的模型参数，直至满足第二训练结束条件；可以将第二训练结束条件设置为训练损失信息小于目标阈值，还可以设置为达到预设迭代次数。
[0207]
s201173、基于图像特征提取子模型以及损伤信息识别子模型，确定上述图像质量评价模型；上述图像特征提取子模型为满足第二训练结束条件时的初始特征提取子模型，上述损伤信息识别子模型为满足第二训练结束条件时的第二预设模型。
[0208]
在本公开实施例中，可以将满足第二训练结束条件时的初始特征提取子模型确定为图像特征提取子模型，将满足第二训练结束条件时的第二预设模型确定为损伤信息识别子模型；并将图像特征提取子模型以及损伤信息识别子模型进行组合，从而得到图像质量评价模型。
[0209]
本公开实施例中，在对初始特征提取子模型进行微调训练的阶段，可以根据损伤信息识别结果与训练损伤信息标签之间的差异，对初始特征提取子模型以及第二预设模型进行训练，并将满足第二训练结束条件时的初始特征提取子模型确定为图像特征提取子模型，将满足第二训练结束条件时的第二预设模型确定为损伤信息识别子模型；从而可以根据图像特征提取子模型以及损伤信息识别子模型，快速得到图像质量评价模型。
[0210]
在一示例性实施例中，可以对训练得到的图像质量评价模型进行性能测试；使用皮尔逊线性相关系数(plcc)和斯皮尔曼等级相关系数(srcc)作为评价指标，用以衡量模型预测分数与评审员的主观质量均分(mos)间的一致性和准确性。选取常用的五个无参考视频质量评估数据集：bid，clive，koniq10k，spaq，flive，来评测本实施例得到的图像质量评价模型的泛化性能；如表1所示，表1描述了五个数据集在不同测试方法下的性能数据；其中，测试方法包括自然图像质量评价(natural image quality evaluator，niqe)方法、盲参考图像质量评价(integrated local natural image quality evaluator，il niqe)方法、无参考图像空间质量评估(blind/referenceless image spatial quality evaluator，brisque)方法、伪参考图像质量评价(bmpri)方法、基于卷积神经网络的无参考图像质量评估(convolutional neural network image quality assessment，cnniqa)方法、深度图像质量评价(deepiqa，wadiqam-nr)方法、随机前沿方法(stochastic frontier approach，sfa)、深度双线性卷积神经网络(deep bilinear cnn，db-cnn)方法、基于超网络的图像质量评价(hyper image quality assessment，hyperiqa)方法、计及主观质量不确定性的主观质量评估模型(unique)、多尺度图像质量评价(multi-scale image quality transformer，musiq)方法以及基于秩学习的视觉自注意力图像质量评价(nr-iqa via transformers,relative ranking,and self-consistency，tres)方法。如表2所示，在这五个数据集上，本实施例的图像质量评价模型(qpt-resnet50)都取得了sota的性能，特别在数据规模较小的bid和clive数据集上，相较使用图像分类预训练权重的残差网络(resnet50)，srcc指标分别提升了0.0452和0.042，效果十分显著。
[0211]
表1
[0212][0213]
表2
[0214]
[0215][0216]
在一示例性实施例中，为了进一步本实施例的图像质量评价模型的泛化性和有效性，选取了同样采用了残差网络(resnet50)作为模型主干的sota模型hyperiqa和tres，并尝试将其网络初始权重替换为图像质量评价模型训练所得的参数。如下表3所示，在其他设定保持一致的情况下，替换为本实施例的图像质量评价模型在bid，clive和koniq10k数据集上均显著超越了原有模型。
[0217]
表3
[0218][0219]
本公开获取多个预设图像；多个预设图像各自对应的对象类别不同；对多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，损伤信息表征样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对正样本对以及负样本对进行对比学习训练，得到初始特征提取子模型；基于初始特征提取子模型，确定图像质量评价模型。本公开通过对预设图像进行图像损伤处理，得到多个样本图像；再根据样本图像对应的预设图像以及损伤信息构建正样本对以及负样本对；从而可以通过正负样本对进行无监督对比学习训练，得到初始特征提取子模型；避免了模型训练过程中对大量标注数据的依赖，降低了模型训练复杂度；且通过对比学习训练可以提高初始特征提取子
模型的有效性，从而可以提高图像质量评价模型的有效性。
[0220]
本公开还提供了一种图像质量评价方法，如图10所示，该方法包括：
[0221]
在步骤s1001中，获取待识别图像；
[0222]
在本公开实施例中，待识别图像可以为数据库或视频中图像。
[0223]
在一些实施例中，上述获取待识别图像可以包括：
[0224]
获取预设视频；
[0225]
在本公开实施例中，预设视频可以为用户请求在业务平台中发布的视频；在视频发布之前，需要对预设视频的质量进行检测，并根据质量检测结果确定预设视频的曝光率。
[0226]
从预设视频中提取视频帧，作为待识别图像。
[0227]
在本公开实施例中，可以提取预设视频中全部视频帧或抽取预设视频中部分视频帧，作为待识别图像；再分别对多个待识别图像进行质量识别，从而确定预设视频的质量。
[0228]
在步骤s1003中，将上述待识别图像输入图像质量评价模型进行图像质量评价处理，得到上述待识别图像的目标损伤信息；上述目标损伤信息表征上述待识别图像的图像质量。
[0229]
在本公开实施例中，图像质量评价模型包括图像特征提取子模型以及损伤信息识别子模型；可以通过图像特征提取子模型提取待识别图像中的图像特征，再通过损伤信息识别子模型识别图像特征，得到目标损伤信息；目标损伤信息包括目标损伤类型以及目标损伤级别；目标损伤信息可以表征上述待识别图像的图像质量。
[0230]
在本公开实施例中，若待识别图像为预设视频中图像，且待识别图像为多个，则可以根据多个待识别图像各自对应的目标损伤信息，确定预设视频的综合损伤信息；例如，可以计算多个待识别图像各自对应的目标损伤信息的平均值，作为预设视频的综合损伤信息；从而可以确定预设视频的图像质量。
[0231]
在本公开实施例中，上述方法还包括：
[0232]
基于预设视频对应的图像质量，确定预设视频在业务平台中的曝光率。
[0233]
在本公开实施例中，在视频发布之前，需要对预设视频的质量进行检测，并根据质量检测结果确定预设视频的曝光率；可以对图像质量较差的视频设置较高的曝光率，对图像质量较好的视频设置较低的曝光率；实现向业务平台中其他用户推荐画质较好的图像，进而提升用户对业务平台的主观使用感受(qoe)。
[0234]
在本公开实施例中，可以通过图像质量评价模型快速、准确地识别待识别图像的目标损伤信息，从而快速、准确地得到待识别图像的图像质量。
[0235]
图11是根据一示例性实施例示出的一种图像质量评价模型的训练装置框图。参照图11，该装置包括：
[0236]
预设图像获取模块1110，被配置为执行获取多个预设图像；上述多个预设图像各自对应的对象类别不同；
[0237]
样本图像确定模块1120，被配置为执行对上述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，上述损伤信息表征上述样本图像的图像质量；
[0238]
正样本构建模块1130，被配置为执行从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；
[0239]
负样本构建模块1140，被配置为执行基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；
[0240]
对比训练模块1150，被配置为执行基于第一预设模型对上述正样本对以及上述负样本对进行对比学习训练，得到初始特征提取子模型；
[0241]
模型确定模块1160，被配置为执行基于上述初始特征提取子模型，确定图像质量评价模型。
[0242]
在一示例性的实施方式中，上述第一预设模型包括对象特征提取网络、图像损伤特征提取网络以及特征融合网络，上述对比训练模块包括：
[0243]
样本对象特征确定子模块，被配置为执行将样本图像对输入上述对象特征提取网络进行对象特征提取处理，得到样本对象特征；上述样本图像对包括上述正样本对以及上述负样本对；
[0244]
样本损伤特征确定子模块，被配置为执行将上述样本图像对输入上述图像损伤特征提取网络进行图像损伤特征提取处理，得到样本损伤特征；
[0245]
特征融合子模块，被配置为执行将上述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络，得到上述任一样本图像对应的样本图像特征；
[0246]
训练子模块，被配置为执行基于上述样本图像对中两个样本图像各自对应的样本图像特征，训练上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络，得到上述初始特征提取子模型。
[0247]
在一示例性的实施方式中，特征融合子模块包括：
[0248]
特征输入单元，被配置为执行将上述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入上述特征融合网络；
[0249]
权重确定单元，被配置为执行基于上述特征融合网络，确定上述任一样本图像对应的样本对象特征的第一权重以及上述任一样本图像对应的样本损伤特征的第二权重；
[0250]
第一特征确定单元，被配置为执行基于上述任一样本图像对应的样本对象特征与上述第一权重的乘积，确定第一样本图像特征；
[0251]
第二特征确定单元，被配置为执行基于上述任一样本图像对应的样本损伤特征与上述第二权重的乘积，确定第二样本图像特征；
[0252]
样本图像特征确定单元，被配置为执行基于上述第一样本图像特征以及上述第二样本图像特征，确定上述任一样本图像对应的样本图像特征。
[0253]
在一示例性的实施方式中，训练子模块包括：
[0254]
第一训练单元，被配置为执行基于上述样本图像对中两个样本图像各自对应的样本图像特征，调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件；
[0255]
模型确定单元，被配置为执行基于满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定上述初始特征提取子模型。
[0256]
在一示例性的实施方式中，第一训练单元包括：
[0257]
第一相似度确定子单元，被配置为执行根据上述正样本对中两个正样本图像各自对应的样本图像特征，确定上述正样本对中两个正样本图像之间的第一相似度；
[0258]
第二相似度确定子单元，被配置为执行根据上述负样本对中两个负样本图像各自对应的样本图像特征，确定上述负样本对中两个负样本图像之间的第二相似度；
[0259]
损失信息确定子单元，被配置为执行基于上述第一相似度与上述第二相似度的差值，确定损失信息；
[0260]
参数调整子单元，被配置为执行根据上述损失信息调整上述对象特征提取网络、上述图像损伤特征提取网络以及上述特征融合网络各自对应的参数，直至满足第一训练结束条件。
[0261]
在一示例性的实施方式中，上述模型确定模块包括：
[0262]
训练图像获取单元，被配置为执行获取标注了训练损伤信息标签的训练图像；
[0263]
训练特征提取单元，被配置为执行基于上述初始特征提取子模型提取上述训练图像的训练图像特征；
[0264]
识别结果确定单元，被配置为执行基于第二预设模型确定上述训练图像特征对应的损伤信息识别结果；上述损伤信息识别结果表征上述训练图像的图像质量；
[0265]
第二训练单元，被配置为执行基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，得到上述图像质量评价模型。
[0266]
在一示例性的实施方式中，上述第二训练单元包括：
[0267]
训练子单元，被配置为执行基于上述损伤信息识别结果与上述训练损伤信息标签之间的差异，训练上述初始特征提取子模型以及上述第二预设模型，直至满足第二训练结束条件；
[0268]
模型确定子单元，被配置为执行基于图像特征提取子模型以及损伤信息识别子模型，确定上述图像质量评价模型；上述图像特征提取子模型为满足第二训练结束条件时的初始特征提取子模型，上述损伤信息识别子模型为满足第二训练结束条件时的第二预设模型。
[0269]
在一示例性的实施方式中，上述负样本构建模块包括：
[0270]
第一构建子模块，被配置为执行基于任意两个预设图像各自对应的样本图像，构建第一负样本对；
[0271]
第二构建子模块，被配置为执行从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，构建第二负样本对；
[0272]
负样本对构建子模块，被配置为执行基于上述第一负样本对以及上述第二负样本对，构建上述负样本对。
[0273]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0274]
图12是根据一示例性实施例示出的一种图像质量评价装置框图。参照图12，该装置包括：
[0275]
待识别图像获取模块1210，被配置为执行获取待识别图像；
[0276]
目标损伤信息确定模块1220，被配置为执行将上述待识别图像输入图像质量评价模型进行图像质量评价处理，得到上述待识别图像的目标损伤信息；上述目标损伤信息表征上述待识别图像的图像质量；
[0277]
其中，上述图像质量评价模型为基于上述的方法训练得到。
[0278]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0279]
在一个示例性的实施方式中，还提供了一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现上述任一实施方式中提供的图像质量评价模型的训练方法或图像质量评价方法。
[0280]
该电子设备可以是终端、服务器或者类似的运算装置，以该电子设备是服务器为例，图13是根据一示例性实施例示出的一种电子设备的框图，如图13所示，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1310(处理器1310可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1330，一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中，存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1310可以设置为与存储介质1320通信，在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1340，和/或，一个或一个以上操作系统1321，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0281]
输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中，输入输出接口1340包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1340可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0282]
本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1300还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。
[0283]
在一个示例性的实施方式中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1330，上述指令可由装置1300的处理器1310执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0284]
在一个示例性的实施方式中，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式中提供的图像质量评价模型的训练方法或图像质量评价方法。
[0285]
本公开获取多个预设图像；多个预设图像各自对应的对象类别不同；对多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，损伤信息表征样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对正样本对以及负样本对进行对比学习训练，得到初始特征提取子模型；基于初始特征提取子模型，确定
图像质量评价模型。本公开通过对预设图像进行图像损伤处理，得到多个样本图像；再根据样本图像对应的预设图像以及损伤信息构建正样本对以及负样本对；从而可以通过正负样本对进行无监督对比学习训练，得到初始特征提取子模型；避免了模型训练过程中对大量标注数据的依赖，降低了模型训练复杂度；且通过对比学习训练可以提高初始特征提取子模型的有效性，从而可以提高图像质量评价模型的有效性。
[0286]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0287]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0288]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种图像质量评价模型的训练方法，其特征在于，包括：获取多个预设图像；所述多个预设图像各自对应的对象类别不同；对所述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，所述损伤信息表征所述样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型；基于所述初始特征提取子模型，确定图像质量评价模型。2.根据权利要求1所述的方法，其特征在于，所述第一预设模型包括对象特征提取网络、图像损伤特征提取网络以及特征融合网络，所述基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型，包括：将样本图像对输入所述对象特征提取网络进行对象特征提取处理，得到样本对象特征；所述样本图像对包括所述正样本对以及所述负样本对；将所述样本图像对输入所述图像损伤特征提取网络进行图像损伤特征提取处理，得到样本损伤特征；将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络，得到所述任一样本图像对应的样本图像特征；基于所述样本图像对中两个样本图像各自对应的样本图像特征，训练所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络，得到所述初始特征提取子模型。3.根据权利要求2所述的方法，其特征在于，所述将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络，得到所述任一样本图像对应的样本图像特征，包括：将所述样本图像对中任一样本图像对应的样本对象特征以及样本损伤特征输入所述特征融合网络；基于所述特征融合网络，确定所述任一样本图像对应的样本对象特征的第一权重以及所述任一样本图像对应的样本损伤特征的第二权重；基于所述任一样本图像对应的样本对象特征与所述第一权重的乘积，确定第一样本图像特征；基于所述任一样本图像对应的样本损伤特征与所述第二权重的乘积，确定第二样本图像特征；基于所述第一样本图像特征以及所述第二样本图像特征，确定所述任一样本图像对应的样本图像特征。4.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像对中两个样本图像各自对应的样本图像特征，训练所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络，得到所述初始特征提取子模型，包括：基于所述样本图像对中两个样本图像各自对应的样本图像特征，调整所述对象特征提
取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件；基于满足第一训练结束条件时的对象特征提取网络、图像损伤特征提取网络以及特征融合网络，确定所述初始特征提取子模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述样本图像对中两个样本图像各自对应的样本图像特征，调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件，包括：根据所述正样本对中两个正样本图像各自对应的样本图像特征，确定所述正样本对中两个正样本图像之间的第一相似度；根据所述负样本对中两个负样本图像各自对应的样本图像特征，确定所述负样本对中两个负样本图像之间的第二相似度；基于所述第一相似度与所述第二相似度的差值，确定损失信息；根据所述损失信息调整所述对象特征提取网络、所述图像损伤特征提取网络以及所述特征融合网络各自对应的参数，直至满足第一训练结束条件。6.根据权利要求1所述的方法，其特征在于，所述基于所述初始特征提取子模型，确定图像质量评价模型，包括：获取标注了训练损伤信息标签的训练图像；基于所述初始特征提取子模型提取所述训练图像的训练图像特征；基于第二预设模型确定所述训练图像特征对应的损伤信息识别结果；所述损伤信息识别结果表征所述训练图像的图像质量；基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，得到所述图像质量评价模型。7.根据权利要求6所述的方法，其特征在于，所述基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，得到所述图像质量评价模型，包括：基于所述损伤信息识别结果与所述训练损伤信息标签之间的差异，训练所述初始特征提取子模型以及所述第二预设模型，直至满足第二训练结束条件；基于图像特征提取子模型以及损伤信息识别子模型，确定所述图像质量评价模型；所述图像特征提取子模型为满足第二训练结束条件时的初始特征提取子模型，所述损伤信息识别子模型为满足第二训练结束条件时的第二预设模型。8.根据权利要求1所述的方法，其特征在于，所述基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对，包括：基于任意两个预设图像各自对应的样本图像，构建第一负样本对；从同一预设图像对应的样本图像中，筛选出损伤信息不同的样本图像，构建第二负样本对；基于所述第一负样本对以及所述第二负样本对，构建所述负样本对。9.一种图像质量评价方法，其特征在于，所述方法包括：获取待识别图像；
将所述待识别图像输入图像质量评价模型进行图像质量评价处理，得到所述待识别图像的目标损伤信息；所述目标损伤信息表征所述待识别图像的图像质量；其中，所述图像质量评价模型为基于权利要求1-8任一项所述的方法训练得到。10.一种图像质量评价模型的训练装置，其特征在于，包括：预设图像获取模块，被配置为执行获取多个预设图像；所述多个预设图像各自对应的对象类别不同；样本图像确定模块，被配置为执行对所述多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，所述损伤信息表征所述样本图像的图像质量；正样本构建模块，被配置为执行从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；负样本构建模块，被配置为执行基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；对比训练模块，被配置为执行基于第一预设模型对所述正样本对以及所述负样本对进行对比学习训练，得到初始特征提取子模型；模型确定模块，被配置为执行基于所述初始特征提取子模型，确定图像质量评价模型。11.一种图像质量评价装置，其特征在于，所述装置包括：待识别图像获取模块，被配置为执行获取待识别图像；目标损伤信息确定模块，被配置为执行将所述待识别图像输入图像质量评价模型进行图像质量评价处理，得到所述待识别图像的目标损伤信息；所述目标损伤信息表征所述待识别图像的图像质量；其中，所述图像质量评价模型为基于权利要求1-8任一项所述的方法训练得到。12.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1-8中任一项所述的模型训练方法或权利要求9所述的图像质量评价方法。13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备处理器执行时，使得电子设备能够执行如权利要求1-8中任一项所述的模型训练方法或权利要求9所述的图像质量评价方法。

技术总结
本公开关于一种模型训练方法、图像质量评价方法、装置及存储介质，所述方法包括：获取多个预设图像；多个预设图像各自对应的对象类别不同；对多个预设图像进行图像损伤处理，得到多个样本图像；每个样本图像对应一种损伤信息，损伤信息表征样本图像的图像质量；从同一预设图像对应的样本图像中，筛选出损伤信息相同的样本图像，构建正样本对；基于任意两个预设图像各自对应的样本图像，以及同一预设图像对应的样本图像中损伤信息不同的样本图像，构建负样本对；基于第一预设模型对正样本对以及负样本对进行对比学习训练，得到初始特征提取子模型；基于初始特征提取子模型，确定图像质量评价模型。本公开提高了图像质量评价模型的有效性。有效性。有效性。


技术研发人员：赵恺 孙明 袁坤
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2023.03.02
技术公布日：2023/7/12