一种多摄像头异质人脸融合识别方法及装置

1.本发明涉及数字图像技术领域，具体涉及一种多摄像头异质人脸融合识别方法及装置。


背景技术：

2.随着监控摄像头设备类型的多元化，同一个人在不同时间地点被不同类型摄像头拍摄得到异质人脸(例如可见光和红外人脸)图像成为比较普遍的情况。同一个人的可见光与红外人脸之间具有身份一致性和模态互补性，将两者特征融合后作为查询图像去搜索被查询图像，是提升异质人脸识别率的可能途径。但是，实际拍摄得到的低质量可见光与红外人脸退化过程未知，如何在图像退化过程未知的情况下提升异质人脸融合识别准确率成为亟待解决的问题。
3.现有异质人脸识别方法主要针对高质量异质人脸图像，但是在实际监控场景中由于多种降质因素的干扰影响，实际环境下拍摄的异质人脸模态变化复杂且质量较低，难以找到一种对多种模态均鲁棒的人脸特征，并且查询图像是一种模态，可见，现有方法并没有考虑低质量异质人脸融合识别。


技术实现要素：

4.针对现有技术中存在的缺陷，本发明的目的在于提供一种多摄像头异质人脸融合识别方法及装置，可以在真实数据上进行无监督训练以适应真实场景，使得识别率更佳。
5.为达到以上目的，本发明提供的一种多摄像头异质人脸融合识别方法，具体包括以下步骤：
6.基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；
7.构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；
8.基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；
9.将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。
10.在上述技术方案的基础上，所述基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集，具体步骤包括：
11.将原始监控图像数据集中不同模态的人脸图像和对应的高质量人脸图像通过retinaface-r50人脸检测模型进行截取；
12.将截取得到的低质量人脸图像通过使用pil库的image.resize()函数中实现bicubic函数的方法进行操作，将低质量人脸图像上下采样至目标分辨率，以构建低质量人脸图像数据集，以便送入特征提取子网络；
13.将低质量人脸图像数据集作为查询图像，并在低质量人脸图像数据集中选取一张图像作为训练风格迁移子网络的风格图；
14.将原始监控图像数据集通过retinaface-r50人脸检测模型进行人脸检测和截取，将人脸图像缩放至目标分辨率，作为一次降质训练风格迁移子网络的内容图。
15.在上述技术方案的基础上，
16.所述多摄像头异质人脸融合网络利用风格迁移子网络进行无监督训练，将作为被查询图像的高清人脸图像逐步迁移至原始监控数据下两种不同模态的低质量域，嵌入异质人脸特征融合子网络，利用风格迁移后不同模态人脸图像间的模态互补性，提升人脸特征融合的质量，所述模态包括可见光和红外；
17.所述风格迁移子网络包括三个卷积层、三个反卷积层以及五个残差块；
18.所述特征提取子网络由一个基于arcface的resnet50网络构成；
19.所述异质人脸特征融合子网络包括两个级联的特征注意力子模块；
20.所述特征注意力子模块由一个全连接层和权重加权子模块构成，所述特征注意力子模块用于将特征提取子网络输出的特征转化成一维的一个向量，再经过权重加权子模块生成归一化的权重作用到之前特征提取子网络所提取的特征。
21.在上述技术方案的基础上，所述异质人脸特征融合子网络的构建过程包括：
22.基于特征提取子网络，通过一个基于arcface的resnet50网络对输入的两个低质量模态分别进行特征提取，具体的：
23.fk1
arc
＝arc(xk1)，fk2
arc
＝arc(xk2)
24.其中，xk1、xk2为输入的两个低质量模态图像，arc表示特征提取子网络的特征提取过程，fk1
arc
、fk2
arc
表示特征提取结果；
25.使用torch库中的torch.cat()函数对提取的两个特征进行拼接处理，具体的：
26.fk12
arc
＝concat(fk1
arc
,fk2
arc
)
27.其中，fk12
arc
表示拼接后输出的人脸特征，concat表示拼接过程；
28.将拼接后得到的特征送入特征注意力模块，所述特征注意力模块通过点积对fk12
arc
与核q进行过滤，得到一组对应的意义特征向量ek，具体的：
29.ek＝q
·
fk12
arc
；
30.将得到的意义特征向量ek送入权重加权子模块，生成线性权重，具体的，将意义特征向量ek传递给归一化指数函数softmax进行加权，生成归一化的权重向量ak，权重向量ak与fk12
arc
相乘生成一个固定长度的表示特征向量r，表示特征向量r与原始特征维度相同，表示为：
31.ak＝softmax(ek)
32.r＝ak
·
fk12
arc
；
33.将两个特征注意力子模块进行级联，让第一个核通过转换函数适应第二个核。
34.在上述技术方案的基础上，所述多摄像头异质人脸融合网络包括六个负责生成低质量人脸图像的不共享参数的风格迁移子网络、七个用于辅助生成人脸相似度损失的预训
练的特征提取子网络和三个负责生成融合特征的共享参数的异质人脸特征融合子网络。
35.在上述技术方案的基础上，所述构建基于渐进风格迁移的多摄像头异质人脸融合网络，具体的构建步骤包括：
36.获取两个风格迁移子网络，将原始监控图像数据集中可见光的低质量人脸图像作为其中一风格迁移子网络的风格图，将原始监控图像数据集中红外的低质量人脸图像作为另一风格迁移子网络的风格图，将原始监控图像数据集中的高质量人脸图像作为两个风格迁移子网络的内容图并进行降质训练，计算对应的风格损失和内容损失并更新网络参数，同时生成可见光模态和红外模态的低质量人脸图像，具体的：
37.r
cs
＝s1(hr)
isr
，l
cs
＝s2(hr)
isl
38.其中，hr表示输入的原始监控图像数据集中的高质量人脸图像，isr表示低质量红外风格图，isl表示低质量可见光风格图，s1、s2表示一次降质阶段所对应的风格迁移模型操作，r
cs
、l
cs
表示一次风格迁移降质后的不同风格低质量结果；
39.将原始监控图像数据集中的高质量人脸图像和生成的可见光模态及红外模态的低质量人脸图像分别送入特征提取子网络，提取对应的人脸特征，具体的：
40.fhr
arc
＝arc(hr)
41.fr
csarc
＝arc(r
cs
)
42.fl
csarc
＝arc(l
cs
)
43.其中，hr表示原始监控图像数据集中的高质量人脸图像，r
cs
表示生成的红外模态的低质量人脸图像，l
cs
表示生成的可见光模态的低质量人脸图像，arc表示特征提取子网络过程，fhr
arc
、fr
csarc
、fl
csarc
表示特征提取结果；
44.将提取的可见光模态的低质量人脸图像的人脸特征，以及红外模态的低质量人脸图像的人脸特征送入异质人脸特征融合子网络，生成低质量人脸融合特征，具体的：
45.frl
cs
＝f(fr
csarc
,fl
csarc
)
46.其中，f表示异质人脸特征融合子网络，frl
cs
表示生成的低质量人脸融合特征；
47.将提取的原始监控图像数据集中高质量人脸图像的人脸特征fhr
arc
和生成的低质量人脸融合特征frl
cs
，进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：
[0048][0049]
其中，x、y为特征提取子网络提取的人脸识别特征向量，xi、yi为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数；
[0050]
设置四个风格迁移子网络，分别为a1、a2、a3和a4，并将a1和a3中的风格图设置为可见光的低质量人脸图像，将a2和a4中的风格图设置为红外的低质量人脸图像，将生成的可见光模态和红外模态的低质量人脸图像进行进一步降质训练，计算对应的风格损失和内容损失更新网络参数，生成四种不同模态更低质量的人脸图像，具体的：
[0051]
ll
css
＝a3(l
cs
)
isl
,lr
css
＝a4(l
cs
)
isr
[0052]
rl
css
＝a1(r
cs
)
isl
,rr
css
＝a2(r
cs
)
isr
[0053]
其中，r
cs
、l
cs
为一次风格迁移降质后的两个低质量模态人脸图像，分别是红外模
态的低质量人脸图像和可见光模态的低质量人脸图像，a1、a2、a3、a4表示二次降质阶段所对应的风格转换网络操作，ll
css
、lr
css
、rl
css
、rr
css
表示二次风格迁移降质后的不同风格低质量人脸图像结果；
[0054]
将生成的四种不同模态更低质量的人脸图像送入特征提取子网络，提取四种不同模态更低质量的人脸特征，具体的：
[0055]
fll
cssarc
＝arc(ll
css
)，flr
cssarc
＝arc(lr
css
)
[0056]
frl
cssarc
＝arc(rl
css
)，frr
cssarc
＝arc(rr
css
)
[0057]
其中，fll
cssarc
、flr
cssarc
、frl
cssarc
、frr
cssarc
分别为二次风格迁移降质的人脸特征提取结果；
[0058]
将提取的四种不同模态更低质量的人脸特征按照可见光和红外的组合送入异质人脸特征融合子网络，生成两个低质量的人脸融合特征，具体的：
[0059]
frrll
css
＝f(frr
cssarc
,fll
cssarc
)
[0060]
frllr
css
＝f(frl
cssarc
,flr
cssarc
)
[0061]
其中，frrll
css
、frllr
css
表示生成的人脸融合特征；
[0062]
将生成的低质量人脸融合特征frl
cs
分别和低质量的人脸融合特征frrll
css
、frllr
css
进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：
[0063][0064][0065]
其中，y、y1、y2为特征提取子网络提取的人脸识别特征向量，yi、y1i、y2i为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数。
[0066]
在上述技术方案的基础上，所述采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型，具体为：
[0067]
将所述对齐图像数据集作为一次降质风格迁移模型的内容图的训练集，对所述多摄像头异质人脸融合网络进行训练，得到六个降质风格迁移模型。
[0068]
在上述技术方案的基础上，所述基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，具体步骤包括：
[0069]
获取训练后得到的六个降质风格迁移模型，分别为w1、w2、w3、w4、w5、w6；
[0070]
对w1和w2分别输入原始监控图像数据集中的高质量人脸图像作为被查询图像hr，分别得到一个红外模态的低质量人脸图像r
cs
和一个可见光模态的低质量人脸图像l
cs
；
[0071]
将低质量人脸图像r
cs
分别输入到w3和w4中，得到一个可见光低质量人脸图像ll
css
和一个红外低质量人脸图像lr
css
；
[0072]
将可见光模态的低质量人脸图像l
cs
分别输入到w5和w6中，得到一个可见光低质量人脸图像rl
css
和一个红外低质量人脸图像rr
css
。
[0073]
在上述技术方案的基础上，所述将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，具体为：
[0074]
将得到的可见光低质量人脸图像ll
css
、红外低质量人脸图像lr
css
、可见光低质量人脸图像rl
css
和红外低质量人脸图像rr
css
，经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征。
[0075]
本发明提供的一种多摄像头异质人脸融合识别装置，包括：
[0076]
第一构建模块，其用于基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；
[0077]
第二构建模块，其用于构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；
[0078]
生成模块，其用于基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；
[0079]
执行模块，其用于将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。
[0080]
与现有技术相比，本发明的优点在于：利用多摄像头人脸之间的模态互补性，使得被查询图像主观视觉效果接近查询图像，又保留了人脸输入的身份特征信息；通过异质人脸特征融合子网络，充分利用了不同模态摄像头之间的特征信息互补性，更好的融合人脸特征；通过风格迁移子网络，使得本发明可以在真实数据上进行无监督训练以适应真实场景，使得识别率更佳。
附图说明
[0081]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0082]
图1为本发明实施例中一种多摄像头异质人脸融合识别方法的流程图。
具体实施方式
[0083]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。
[0084]
参见图1所示，本发明实施例提供一种多摄像头异质人脸融合识别方法，即基于渐进风格迁移的多摄像头异质人脸融合识别方法，具体包括以下步骤：
[0085]
s1：基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；
[0086]
即将原始监控图像数据集中的人脸图像进行预处理，首先去除掉原始监控人脸图像中的无关背景，然后将裁剪出来的人脸缩放至目标分辨率大小，挑选一张预处理的真实低质量人脸图像作为风格迁移网络训练所需的风格图，选择一个大规模高质量人脸图像数据集作为作为风格迁移网络训练所需的内容图，最后将与真实低质量人脸数据集配对的高清人脸图像作为测试数据集。
[0087]
本发明中，基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集，具体步骤包括：
[0088]
s101：将原始监控图像数据集中不同模态的人脸图像和对应的高质量人脸图像通过retinaface-r50人脸检测模型进行截取；
[0089]
s102：将截取得到的低质量人脸图像通过使用pil库(python语言的一个第三方库)的image.resize()函数(用于修改图片尺寸的函数)中实现bicubic函数(双三次插值)的方法进行操作，将低质量人脸图像上下采样至目标分辨率，以构建低质量人脸图像数据集，以便送入特征提取子网络；即先下采样至11x11分辨率来降低人脸图像的分辨率，再上采样至112x112分辨率大小，以便送入特征提取网络。
[0090]
s103：将低质量人脸图像数据集作为查询图像，并在低质量人脸图像数据集中选取一张图像作为训练风格迁移子网络的风格图；
[0091]
s104：将原始监控图像数据集通过retinaface-r50人脸检测模型进行人脸检测和截取，将人脸图像缩放至目标分辨率，作为一次降质训练风格迁移子网络的内容图。
[0092]
s2：构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；
[0093]
本发明中，多摄像头异质人脸融合网络利用风格迁移子网络进行无监督训练，将作为被查询图像的高清人脸图像逐步迁移至原始监控数据下两种不同模态的低质量域，嵌入异质人脸特征融合子网络，利用风格迁移后不同模态人脸图像间的模态互补性，提升人脸特征融合的质量，并提出人脸特征损失，从损失函数层面上让风格迁移前后的人脸特征保持一致性。模态包括可见光和红外。
[0094]
风格迁移子网络包括三个卷积层、三个反卷积层以及五个残差块；特征提取子网络由一个基于arcface(人脸识别)的resnet50网络(一种卷积神经网络)构成；异质人脸特征融合子网络包括两个级联的特征注意力子模块；特征注意力子模块由一个全连接层和权重加权子模块构成，所述特征注意力子模块用于将特征提取子网络输出的特征转化成一维的一个向量，再经过权重加权子模块生成归一化的权重作用到之前特征提取子网络所提取的特征。
[0095]
本发明中，异质人脸特征融合子网络的构建过程包括：
[0096]
s201：基于特征提取子网络，通过一个基于arcface的resnet50网络对输入的两个低质量模态分别进行特征提取，具体的：
[0097]
fk1
arc
＝arc(xk1)，fk2
arc
＝arc(xk2)
[0098]
其中，xk1、xk2为输入的两个低质量模态图像，arc表示特征提取子网络的特征提取过程，fk1
arc
、fk2
arc
表示特征提取结果；
[0099]
s202：使用torch库中的torch.cat()函数(用于将两个张量按指定维度拼接在一
起)对提取的两个特征进行拼接处理，具体的：
[0100]
fk12
arc
＝concat(fk1
arc
,fk2
arc
)
[0101]
其中，fk12
arc
表示拼接后输出的人脸特征，concat表示拼接过程；
[0102]
s203：将拼接后得到的特征送入特征注意力模块，所述特征注意力模块通过点积对fk12
arc
与核q进行过滤，得到一组对应的意义特征向量ek，具体的：
[0103]
ek＝q
·
fk12
arc
；
[0104]
s204：将得到的意义特征向量ek送入权重加权子模块，生成线性权重，具体的，将意义特征向量ek传递给归一化指数函数softmax进行加权，生成归一化的权重向量ak，权重向量ak与fk12
arc
相乘生成一个固定长度的表示特征向量r，表示特征向量r与原始特征维度相同，这个过程能够将输入的人脸图像转化为一个更具表征性和可区分性的特征向量。具体的：
[0105]
ak＝softmax(ek)
[0106]
r＝ak
·
fk12
arc
；
[0107]
s205：将两个特征注意力子模块进行级联，让第一个核通过转换函数适应第二个核。
[0108]
本发明中，多摄像头异质人脸融合网络包括六个负责生成低质量人脸图像的不共享参数的风格迁移子网络、七个用于辅助生成人脸相似度损失的预训练的特征提取子网络和三个负责生成融合特征的共享参数的异质人脸特征融合子网络。
[0109]
本发明中，构建基于渐进风格迁移的多摄像头异质人脸融合网络，具体的构建步骤包括：
[0110]
s211：获取两个风格迁移子网络，将原始监控图像数据集中可见光的低质量人脸图像作为其中一风格迁移子网络的风格图，将原始监控图像数据集中红外的低质量人脸图像作为另一风格迁移子网络的风格图，将原始监控图像数据集中的高质量人脸图像作为两个风格迁移子网络的内容图并进行降质训练，计算对应的风格损失和内容损失并更新网络参数，同时生成可见光模态和红外模态的低质量人脸图像，具体的：
[0111]rcs
＝s1(hr)
isr
，l
cs
＝s2(hr)
isl
[0112]
其中，hr表示输入的原始监控图像数据集中的高质量人脸图像，isr表示低质量红外风格图，isl表示低质量可见光风格图，公式中，s1、s2表示一次降质阶段所对应的风格迁移模型操作，r
cs
、l
cs
表示一次风格迁移降质后的不同风格低质量结果；
[0113]
s212：将原始监控图像数据集中的高质量人脸图像和生成的可见光模态及红外模态的低质量人脸图像分别送入特征提取子网络，提取对应的人脸特征，具体的：
[0114]
fhr
arc
＝arc(hr)
[0115]
fr
csarc
＝arc(r
cs
)
[0116]
fl
csarc
＝arc(l
cs
)
[0117]
其中，hr表示原始监控图像数据集中的高质量人脸图像，r
cs
表示生成的红外模态的低质量人脸图像，l
cs
表示生成的可见光模态的低质量人脸图像，arc表示特征提取子网络过程，fhr
arc
、fr
csarc
、fl
csarc
表示特征提取结果；
[0118]
s213：将提取的可见光模态的低质量人脸图像的人脸特征，以及红外模态的低质量人脸图像的人脸特征送入异质人脸特征融合子网络，生成低质量人脸融合特征，具体的：
[0119]
frl
cs
＝f(fr
csarc
,fl
csarc
)
[0120]
其中，f表示异质人脸特征融合子网络，frl
cs
表示生成的低质量人脸融合特征；
[0121]
s214：将提取的原始监控图像数据集中高质量人脸图像的人脸特征fhr
arc
和生成的低质量人脸融合特征frl
cs
，进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：
[0122][0123]
其中，x、y为特征提取子网络提取的人脸识别特征向量，xi、yi为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数；
[0124]
s215：设置四个风格迁移子网络，分别为a1、a2、a3和a4，并将a1和a3中的风格图设置为可见光的低质量人脸图像，将a2和a4中的风格图设置为红外的低质量人脸图像，将生成的可见光模态和红外模态的低质量人脸图像进行进一步降质训练，计算对应的风格损失和内容损失更新网络参数，生成四种不同模态更低质量的人脸图像，具体的：
[0125]
ll
css
＝a3(l
cs
)
isl
,lr
css
＝a4(l
cs
)
isr
[0126]
rl
css
＝a1(r
cs
)
isl
,rr
css
＝a2(r
cs
)
isr
[0127]
其中，r
cs
、l
cs
为一次风格迁移降质后的两个低质量模态人脸图像，分别是红外模态的低质量人脸图像和可见光模态的低质量人脸图像，a1、a2、a3、a4表示二次降质阶段所对应的风格转换网络操作，ll
css
、lr
css
、rl
css
、rr
css
表示二次风格迁移降质后的不同风格低质量人脸图像结果；
[0128]
s216：将生成的四种不同模态更低质量的人脸图像送入特征提取子网络，提取四种不同模态更低质量的人脸特征，具体的：
[0129]
fll
cssarc
＝arc(ll
css
)，flr
cssarc
＝arc(lr
css
)
[0130]
frl
cssarc
＝arc(rl
css
)，frr
cssarc
＝arc(rr
css
)
[0131]
其中，fll
cssarc
、flr
cssarc
、frl
cssarc
、frr
cssarc
分别为二次风格迁移降质的人脸特征提取结果；
[0132]
s217：将提取的四种不同模态更低质量的人脸特征按照可见光和红外的组合送入异质人脸特征融合子网络，生成两个低质量的人脸融合特征，具体的：
[0133]
frrll
css
＝f(frr
cssarc
,fll
cssarc
)
[0134]
frllr
css
＝f(frl
cssarc
,flr
cssarc
)
[0135]
其中，frrll
css
、frllr
css
表示生成的人脸融合特征；
[0136]
s218：将生成的低质量人脸融合特征frl
cs
分别和低质量的人脸融合特征frrll
css
、frllr
css
进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：
[0137]
[0138][0139]
其中，y、y1、y2为特征提取子网络提取的人脸识别特征向量，yi、y1i、y2i为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数。
[0140]
本发明中，采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型，具体为：
[0141]
将所述对齐图像数据集作为一次降质风格迁移模型的内容图的训练集，对所述多摄像头异质人脸融合网络进行训练，得到六个降质风格迁移模型。
[0142]
s3：基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；
[0143]
本发明中，基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，具体步骤包括：
[0144]
s301：获取训练后得到的六个降质风格迁移模型，分别为w1、w2、w3、w4、w5、w6；
[0145]
s302：对w1和w2分别输入原始监控图像数据集中的高质量人脸图像作为被查询图像hr，分别得到一个红外模态的低质量人脸图像r
cs
和一个可见光模态的低质量人脸图像l
cs
；
[0146]
s303：将低质量人脸图像r
cs
分别输入到w3和w4中，得到一个可见光低质量人脸图像ll
css
和一个红外低质量人脸图像lr
css
；
[0147]
s304：将可见光模态的低质量人脸图像l
cs
分别输入到w5和w6中，得到一个可见光低质量人脸图像rl
css
和一个红外低质量人脸图像rr
css
。
[0148]
s4：将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。
[0149]
本发明中，将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，具体为：
[0150]
将得到的可见光低质量人脸图像ll
css
、红外低质量人脸图像lr
css
、可见光低质量人脸图像rl
css
和红外低质量人脸图像rr
css
，经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征。
[0151]
本发明的多摄像头异质人脸融合识别方法，通过构建训练神经网络所需的低/高质量分辨率图像对数据集；构建基于渐进风格迁移的多摄像头异质人脸融合网络；利用所述数据集训练和测试所述基于渐进风格迁移的多摄像头异质人脸融合网络，得到训练后的神经网络模型；利用训练后的网络模型对被查询图像进行测试得到接近查询图像质量的人脸图像；将测试得到的人脸图像与原始真实监控数据集中的低质量人脸图像之间进行相似度计算并查询得到识别率。
[0152]
本发明通过利用不同摄像头低质量人脸之间的互补信息，使用风格迁移子网络将被查询图像迁移至接近查询图像的低质量；通过将被查询图像降质至与不同模态(可见光
和红外)查询图像同一低质量域中，再进行特征相关性融合，成功解决了如何在图像退化过程未知的情况下，提升异质人脸融合识别准确率的难题。
[0153]
本发明提供的一种多摄像头异质人脸融合识别装置，包括第一构建模块、第二构建模块、生成模块和执行模块。
[0154]
第一构建模块用于基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；第二构建模块用于构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；生成模块用于基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；执行模块用于将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。
[0155]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
[0156]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

技术特征：
1.一种多摄像头异质人脸融合识别方法，其特征在于，具体包括以下步骤：基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。2.如权利要求1所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集，具体步骤包括：将原始监控图像数据集中不同模态的人脸图像和对应的高质量人脸图像通过retinaface-r50人脸检测模型进行截取；将截取得到的低质量人脸图像通过使用pil库的image.resize()函数中实现bicubic函数的方法进行操作，将低质量人脸图像上下采样至目标分辨率，以构建低质量人脸图像数据集，以便送入特征提取子网络；将低质量人脸图像数据集作为查询图像，并在低质量人脸图像数据集中选取一张图像作为训练风格迁移子网络的风格图；将原始监控图像数据集通过retinaface-r50人脸检测模型进行人脸检测和截取，将人脸图像缩放至目标分辨率，作为一次降质训练风格迁移子网络的内容图。3.如权利要求2所述的一种多摄像头异质人脸融合识别方法，其特征在于：所述多摄像头异质人脸融合网络利用风格迁移子网络进行无监督训练，将作为被查询图像的高清人脸图像逐步迁移至原始监控数据下两种不同模态的低质量域，嵌入异质人脸特征融合子网络，利用风格迁移后不同模态人脸图像间的模态互补性，提升人脸特征融合的质量，所述模态包括可见光和红外；所述风格迁移子网络包括三个卷积层、三个反卷积层以及五个残差块；所述特征提取子网络由一个基于arcface的resnet50网络构成；所述异质人脸特征融合子网络包括两个级联的特征注意力子模块；所述特征注意力子模块由一个全连接层和权重加权子模块构成，所述特征注意力子模块用于将特征提取子网络输出的特征转化成一维的一个向量，再经过权重加权子模块生成归一化的权重作用到之前特征提取子网络所提取的特征。4.如权利要求3所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述异质人脸特征融合子网络的构建过程包括：基于特征提取子网络，通过一个基于arcface的resnet50网络对输入的两个低质量模态分别进行特征提取，具体的：fk1
arc
＝arc(xk1)，fk2
arc
＝arc(xk2)其中，xk1、xk2为输入的两个低质量模态图像，arc表示特征提取子网络的特征提取过
程，fk1
arc
、fk2
arc
表示特征提取结果；使用torch库中的torch.cat()函数对提取的两个特征进行拼接处理，具体的：fk12
arc
＝concat(fk1
arc
,fk2
arc
)其中，fk12
arc
表示拼接后输出的人脸特征，concat表示拼接过程；将拼接后得到的特征送入特征注意力模块，所述特征注意力模块通过点积对fk12
arc
与核q进行过滤，得到一组对应的意义特征向量ek，具体的：ek＝q
·
fk12
arc
；将得到的意义特征向量ek送入权重加权子模块，生成线性权重，具体的，将意义特征向量ek传递给归一化指数函数softmax进行加权，生成归一化的权重向量ak，权重向量ak与fk12
arc
相乘生成一个固定长度的表示特征向量r，表示特征向量r与原始特征维度相同，表示为：ak＝softmax(ek)r＝ak
·
fk12
arc
；将两个特征注意力子模块进行级联，让第一个核通过转换函数适应第二个核。5.如权利要求4所述的一种多摄像头异质人脸融合识别方法，其特征在于：所述多摄像头异质人脸融合网络包括六个负责生成低质量人脸图像的不共享参数的风格迁移子网络、七个用于辅助生成人脸相似度损失的预训练的特征提取子网络和三个负责生成融合特征的共享参数的异质人脸特征融合子网络。6.如权利要求5所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述构建基于渐进风格迁移的多摄像头异质人脸融合网络，具体的构建步骤包括：获取两个风格迁移子网络，将原始监控图像数据集中可见光的低质量人脸图像作为其中一风格迁移子网络的风格图，将原始监控图像数据集中红外的低质量人脸图像作为另一风格迁移子网络的风格图，将原始监控图像数据集中的高质量人脸图像作为两个风格迁移子网络的内容图并进行降质训练，计算对应的风格损失和内容损失并更新网络参数，同时生成可见光模态和红外模态的低质量人脸图像，具体的：r
cs
＝s1(hr)
isr
，l
cs
＝s2(hr)
isl
其中，hr表示输入的原始监控图像数据集中的高质量人脸图像，isr表示低质量红外风格图，isl表示低质量可见光风格图，s1、s2表示一次降质阶段所对应的风格迁移模型操作，r
cs
、l
cs
表示一次风格迁移降质后的不同风格低质量结果；将原始监控图像数据集中的高质量人脸图像和生成的可见光模态及红外模态的低质量人脸图像分别送入特征提取子网络，提取对应的人脸特征，具体的：fhr
arc
＝arc(hr)fr
csarc
＝arc(r
cs
)fl
csarc
＝arc(l
cs
)其中，hr表示原始监控图像数据集中的高质量人脸图像，r
cs
表示生成的红外模态的低质量人脸图像，l
cs
表示生成的可见光模态的低质量人脸图像，arc表示特征提取子网络过程，fhr
arc
、fr
csarc
、fl
csarc
表示特征提取结果；将提取的可见光模态的低质量人脸图像的人脸特征，以及红外模态的低质量人脸图像的人脸特征送入异质人脸特征融合子网络，生成低质量人脸融合特征，具体的：
frl
cs
＝f(fr
csarc
,fl
csarc
)其中，f表示异质人脸特征融合子网络，frl
cs
表示生成的低质量人脸融合特征；将提取的原始监控图像数据集中高质量人脸图像的人脸特征fhr
arc
和生成的低质量人脸融合特征frl
cs
，进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：其中，x、y为特征提取子网络提取的人脸识别特征向量，x
i
、y
i
为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数；设置四个风格迁移子网络，分别为a1、a2、a3和a4，并将a1和a3中的风格图设置为可见光的低质量人脸图像，将a2和a4中的风格图设置为红外的低质量人脸图像，将生成的可见光模态和红外模态的低质量人脸图像进行进一步降质训练，计算对应的风格损失和内容损失更新网络参数，生成四种不同模态更低质量的人脸图像，具体的：ll
css
＝a3(l
cs
)
isl
,lr
css
＝a4(l
cs
)
isr
rl
css
＝a1(r
cs
)
isl
,rr
css
＝a2(r
cs
)
isr
其中，r
cs
、l
cs
为一次风格迁移降质后的两个低质量模态人脸图像，分别是红外模态的低质量人脸图像和可见光模态的低质量人脸图像，a1、a2、a3、a4表示二次降质阶段所对应的风格转换网络操作，ll
css
、lr
css
、rl
css
、rr
css
表示二次风格迁移降质后的不同风格低质量人脸图像结果；将生成的四种不同模态更低质量的人脸图像送入特征提取子网络，提取四种不同模态更低质量的人脸特征，具体的：fll
cssarc
＝arc(ll
css
)，flr
cssarc
＝arc(lr
css
)frl
cssarc
＝arc(rl
css
)，frr
cssarc
＝arc(rr
css
)其中，fll
cssarc
、flr
cssarc
、frl
cssarc
、frr
cssarc
分别为二次风格迁移降质的人脸特征提取结果；将提取的四种不同模态更低质量的人脸特征按照可见光和红外的组合送入异质人脸特征融合子网络，生成两个低质量的人脸融合特征，具体的：frrll
css
＝f(frr
cssarc
,fll
cssarc
)frllr
css
＝f(frl
cssarc
,flr
cssarc
)其中，frrll
css
、frllr
css
表示生成的人脸融合特征；将生成的低质量人脸融合特征frl
cs
分别和低质量的人脸融合特征frrll
css
、frllr
css
进行人脸特征损失函数l
similarity
的计算，并更新网络参数，具体的：的计算，并更新网络参数，具体的：
其中，y、y1、y2为特征提取子网络提取的人脸识别特征向量，y
i
、y1
i
、y2
i
为人脸识别特征向量中每一个值的大小，i为人脸识别特征向量中的元素标号，n为人脸识别特征向量的总个数。7.如权利要求6所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型，具体为：将所述对齐图像数据集作为一次降质风格迁移模型的内容图的训练集，对所述多摄像头异质人脸融合网络进行训练，得到六个降质风格迁移模型。8.如权利要求7所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，具体步骤包括：获取训练后得到的六个降质风格迁移模型，分别为w1、w2、w3、w4、w5、w6；对w1和w2分别输入原始监控图像数据集中的高质量人脸图像作为被查询图像hr，分别得到一个红外模态的低质量人脸图像r
cs
和一个可见光模态的低质量人脸图像l
cs
；将低质量人脸图像r
cs
分别输入到w3和w4中，得到一个可见光低质量人脸图像ll
css
和一个红外低质量人脸图像lr
css
；将可见光模态的低质量人脸图像l
cs
分别输入到w5和w6中，得到一个可见光低质量人脸图像rl
css
和一个红外低质量人脸图像rr
css
。9.如权利要求8所述的一种多摄像头异质人脸融合识别方法，其特征在于，所述将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，具体为：将得到的可见光低质量人脸图像ll
css
、红外低质量人脸图像lr
css
、可见光低质量人脸图像rl
css
和红外低质量人脸图像rr
css
，经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征。10.一种多摄像头异质人脸融合识别装置，其特征在于，包括：第一构建模块，其用于基于原始监控图像数据集中的低质量人脸图像和高质量人脸图像，构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；第二构建模块，其用于构建基于渐进风格迁移的多摄像头异质人脸融合网络，并采用所述对齐图像数据集对所述多摄像头异质人脸融合网络进行训练，得到多个降质风格迁移模型；生成模块，其用于基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，将原始监控图像数据集中的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成一个人脸融合特征；执行模块，其用于将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。

技术总结
本发明公开了一种多摄像头异质人脸融合识别方法及装置，涉及数字图像技术领域，该方法包括构建得到训练风格迁移模型所需的低质量人脸风格图和高质量人脸内容图的对齐图像数据集；构建基于渐进风格迁移的多摄像头异质人脸融合网络，得到多个降质风格迁移模型；基于训练后得到的降质风格迁移模型，输入高质量被查询图像，得到多张不同模态的低质量人脸图像，生成一个人脸融合特征；将得到的多张不同模态的低质量人脸图像经过所述多摄像头异质人脸融合网络，生成另一个人脸融合特征，将生成的两个人脸融合特征进行相似度计算以寻找匹配的人脸。本发明可以在真实数据上进行无监督训练以适应真实场景，使得识别率更佳。使得识别率更佳。使得识别率更佳。


技术研发人员：韩镇 李俊朗 郑宽 王中元 杨玉红
受保护的技术使用者：武汉大学
技术研发日：2023.06.14
技术公布日：2023/8/24