一种掌纹全感兴趣区域图像提取方法、装置、设备及介质

1.本发明涉及图像处理技术领域，尤其涉及一种掌纹全感兴趣区域图像提取方法、装置、设备及介质。


背景技术：

2.随着数字时代的高速发展，生物特征识别技术已经成为信息化社会不可或缺的一部分。目前，生物特征识别技术主要有指纹识别、虹膜识别、人脸识别、步态识别和掌纹识别等。与其他生物特征相比，手掌作为人体富含生物特征的区域，掌纹具有丰富的生物特征信息，其特征具备稳定性和唯一性，所以掌纹识别技术能够提高个人身份的准确鉴定、个人信息安全等方面的方便性和安全性，具有很强的应用价值。
3.传统的掌纹roi(region of interest，感兴趣区域)图像的提取方法主要为先通过边缘检测等寻找食指与中指之间和无名指与小指之间的两个关键点；两个关键点之间线段的垂直平分线设置为roi的中心线，并定位roi的区域；最后将定位的区域裁剪和调整大小，例如128
×
128像素，作为掌纹传统roi。
4.该方法在用户使用的现实场景中，往往会受到复杂背景和手姿势多样性的干扰，使得手掌的提取区域容易与背景混淆，且传统掌纹roi提取方法只提取手掌中心的局部区域作为roi，使得需要先找到隐蔽的手指关键点再找到手掌中心区域，从而导致在复杂环境下掌纹roi提取的精度不理想。


技术实现要素：

5.本发明提供了一种掌纹全感兴趣区域图像提取方法、装置、设备及介质，解决了现有技术在用户使用的现实场景中，往往会受到复杂背景和手姿势多样性的干扰，使得手掌的提取区域容易与背景混淆，且传统掌纹roi提取方法只提取手掌中心的局部区域作为roi，使得需要先找到隐蔽的手指关键点再找到手掌中心区域，从而导致在复杂环境下掌纹roi提取的精度不理想的技术问题。
6.本发明提供的一种掌纹全感兴趣区域图像提取方法，包括：
7.获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型，所述预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器；
8.采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图；
9.通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图；
10.将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框；
11.通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框；
12.采用所述目标预测框对所述待识别手部图像进行裁剪，生成掌纹全感兴趣区域图
像。
13.可选地，所述主干网络包括深度可分离卷积层和输入卷积层；所述采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图的步骤，包括：
14.采用输入卷积层对输入的所述待识别手部图像进行卷积处理，生成浅层特征图；
15.将所述浅层特征图输入至级联的四个所述深度可分离卷积层执行特征提取操作，依次输出第一多层特征图、第二多层特征图、第三多层特征图和第四多层特征图。
16.可选地，所述特征金字塔网络包括下采样层、1
×
1二维卷积层、3
×
3二维卷积层和最大池化层；所述通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图的步骤，包括：
17.将所述第一多层特征图输入至所述1
×
1二维卷积层进行二维卷积运算，确定第一特征图；
18.对所述第一特征图和所述第二多层特征图进行拼接后，并通过所述1
×
1二维卷积层执行二维卷积运算操作，生成第二特征图；
19.对所述第二特征图和所述第三多层特征图进行拼接后，并通过所述1
×
1二维卷积层进行二维卷积运算，输出第三特征图；
20.对所述第三特征图和所述第四多层特征图进行拼接后，并通过所述1
×
1二维卷积层执行二维卷积运算操作，确定第四特征图；
21.基于所述下采样层、所述3
×
3二维卷积层和所述最大池化层，对所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图。
22.可选地，所述基于所述下采样层、所述3
×
3二维卷积层和所述最大池化层，对所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图的步骤，包括：
23.将所述第四特征图输入至所述下采样层执行下采样操作，确定第一采样特征图；
24.对所述第一采样特征图和所述第三特征图进行拼接，生成第一拼接特征图，接着通过所述下采样层对所述第一拼接特征图进行下采样，输出第二采样特征图；
25.对所述第二采样特征图和所述第二特征图进行拼接，生成第二拼接特征图，接着采用所述下采样层对所述第二拼接特征图进行下采样，输出第三采样特征图；
26.对所述第三采样特征图和所述第一特征图进行拼接后，并通过所述3
×
3二维卷积层进行特征提取，确定第一多尺度特征图；
27.对所述第一多尺度特征图和所述第二拼接特征图进行拼接后，并通过所述3
×
3二维卷积层执行特征提取操作，确定第二多尺度特征图；
28.对所述第二多尺度特征图和所述第一拼接特征图进行拼接后，并通过所述3
×
3二维卷积层进行特征提取，生成第三多尺度特征图；
29.对所述第三多尺度特征图和所述第四特征图进行拼接后，并通过所述3
×
3二维卷积层执行特征提取操作，输出第四多尺度特征图；
30.采用所述最大池化层对所述第四多尺度特征图执行最大池化操作，确定粗特征图。
31.可选地，所述区域提议网络包括1
×
1卷积层、3
×
3卷积层、锚框生成器和候选框过
滤器；所述将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框的步骤，包括：
32.将所述粗特征图分别输入至所述3
×
3卷积层和所述锚框生成器进行3
×
3卷积运算和像素映射平移，生成第一卷积特征图和多个初始锚框；
33.将所述第一卷积特征图分别输入至所述1
×
1卷积层进行1
×
1卷积运算，确定预测类别和初始预测框；
34.采用所述候选框过滤器对多个所述初始锚框、所述预测类别和所述初始预测框进行筛选，输出多个候选框。
35.可选地，所述区域生成预测器包括感兴趣区域池化层和全连接层；所述通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框的步骤，包括：
36.通过所述感兴趣区域池化层对多个所述候选框和多个所述多尺度特征图执行池化操作，生成多个池化特征图；
37.对各所述池化特征图执行特征展平操作后，并通过级联的三个所述全连接层进行特征映射分类，输出对应的多个中间预测框；
38.采用非极大值抑制算法对多个所述中间预测框进行筛选，确定目标预测框。
39.可选地，在所述获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型的步骤之前，包括：
40.获取待训练手部图像集，并对所述待训练手部图像集进行感兴趣区域标注，确定标注掌纹图像集；
41.采用所述标注掌纹图像集对初始掌纹提取模型的特征金字塔网络、区域提议网络和区域生成预测器进行局部模型训练，并实时统计训练迭代次数；
42.当所述训练迭代次数达到预设训练次数时，获得训练好的所述初始掌纹提取模型；
43.将训练好的所述初始掌纹提取模型作为所述预置掌纹提取模型。
44.本发明第二方面提供的一种掌纹全感兴趣区域图像提取装置，包括：
45.获取图像模块，用于获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型，所述预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器；
46.特征提取模块，用于采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图；
47.拼接特征模块，用于通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图；
48.卷积特征模块，用于将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框；
49.池化特征模块，用于通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框；
50.裁剪图像模块，用于采用所述目标预测框对所述待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。
51.本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的掌纹全感兴趣区域图像提取方法的步骤。
52.本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的掌纹全感兴趣区域图像提取方法。
53.从以上技术方案可以看出，本发明具有以下优点：
54.本发明首先采用轻量级特征提取主干网络(mobilenet)替代原有的特征提取模块，使得网络参数大幅度降低的前提下，还能够高效、准确地提取手部图像的特征信息，保证了掌纹全感兴趣区域图像提取的准确度，其次，将主干网络提取的多层特征输入到特征金字塔网络(fpn)进行图像处理得到的多尺度特征，极大避免了特征信息的非歧视性丢失，同时结合区域提议网络(rpn)输出的高质量候选框，一起输入至区域生成预测器(faster r-cnn预测器)进行映射处理得到的预测框，能够有效抵抗光照和手的上下左右倾斜的影响，对复杂场景和手姿态具有比较好的鲁棒性，从而准确判断出待识别图像是否含有手部图像，并能准确定位出手所属的区域，最后通过预测框对待识别图像定位并裁剪得到的掌纹全感兴趣区域图像，该图像包含了完整的手掌区域以及更全面的掌纹信息，为大规模掌纹识别、高精度识别提供信息保障，从而提高了掌纹roi提取的精度并获得了更好的检测效果。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
56.图1为本发明实施例提供的一种掌纹全感兴趣区域图像提取方法的步骤流程图；
57.图2为本发明实施例提供的预置掌纹提取模型的结构示意图；
58.图3为本发明实施例提供的掌纹croi(全感兴趣区域)图像的提取过程图；
59.图4为本发明实施例提供的传统掌纹roi图像的提取过程图；
60.图5为本发明实施例提供的另一种掌纹全感兴趣区域图像提取方法的步骤流程图；
61.图6为本发明实施例提供的预置掌纹提取模型在xjtu-up数据库上的提取效果图；
62.图7为本发明实施例提供的在xjtu-up数据库的原始图像提取的传统掌纹图像和掌纹全感兴趣区域图像的对比图；
63.图8为本发明实施例提供的一种掌纹全感兴趣区域图像提取装置的结构框图。
具体实施方式
64.本发明实施例提供了一种掌纹全感兴趣区域图像提取方法、装置、设备及介质，用于解决现有技术在用户使用的现实场景中，往往会受到复杂背景和手姿势多样性的干扰，使得手掌的提取区域容易与背景混淆，且传统掌纹roi提取方法只提取手掌中心的局部区域作为roi，使得需要先找到隐蔽的手指关键点再找到手掌中心区域，从而导致在复杂环境
下掌纹roi提取的精度不理想的技术问题。
65.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
66.请参阅图1，图1为本发明实施例提供的一种掌纹全感兴趣区域图像提取方法的步骤流程图。
67.本发明提供的一种掌纹全感兴趣区域图像提取方法，包括：
68.步骤101、获取待识别手部图像，将待识别手部图像输入至预置掌纹提取模型，预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器。
69.值得一提的是，通过手机或其他拍照设备的摄像头对手部进行拍照，得到待识别手部图像。
70.请参阅图2，本发明实施例所提供的预置掌纹提取模型为faster r-cnn的轻量级掌纹croi(complete region of interest，全感兴趣区域)提取网络模型，其是基于faster r-cnn(faster region-cnn，区域生成模型)模型，将特征提取主干网络改进为mobilenet(轻量级卷积神经网络)的轻量级掌纹croi提取模型；该模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器，其中，主干网络为mobilenet，能够高效、准确地提取特征信息；特征金字塔网络为fpn(feature pyramid networks)模块，能够进行跨尺度特征结合从而得到不同尺度的特征，避免了特征信息的丢失和过度拉伸；区域提议网络为rpn(region proposal network)模块，用来提取高质量候选框的网络；区域生成预测器为faster r-cnn模块，能够提高检测速度和检测精度。
71.在本实施例中，获取待识别手部图像，将待识别手部图像输入至预置掌纹提取模型，预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器。
72.步骤102、采用主干网络对待识别手部图像执行特征提取操作，生成多个多层特征图。
73.在本步骤中，多层特征图包括第一多层特征图、第二多层特征图、第三多层特征图和第四多层特征图。
74.在本实施例中，采用主干网络对待识别手部图像执行特征提取操作，生成多个多层特征图。
75.步骤103、通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图。
76.在本步骤中，多尺度特征图包括第一多尺度特征图、第二多尺度特征图、第三多尺度特征图和第四多尺度特征图。
77.在本实施例中，通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图。
78.步骤104、将粗特征图输入至区域提议网络进行卷积运算，输出多个候选框。
79.在本实施例中，将粗特征图输入至区域提议网络进行卷积运算，输出多个候选框。
80.步骤105、通过区域生成预测器对多个候选框和多个多尺度特征图执行池化分类
操作，确定目标预测框。
81.在本实施例中，通过区域生成预测器对多个候选框和多个多尺度特征图执行池化分类操作，确定目标预测框。
82.步骤106、采用目标预测框对待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。
83.请参阅图3，本实施例设计了掌纹croi(complete region of interest，全感兴趣区域)图像的提取过程为根据给定的一张手原始图像(a)；可知手的掌纹区域(b)；根据该掌纹区域，确定与之相切的矩形框(c)；最后根据矩形框裁剪出的掌纹图像(d)，即为掌纹全感兴趣区域(croi)图像。本实施例通过预置掌纹提取模型提取的掌纹全感兴趣区域图像包含了完整的手掌区域，具备包含全面掌纹信息以及方便掌纹提取的特点，为大规模掌纹识别、高精度识别提供信息保障。
84.请参阅图4，而传统的掌纹roi图像的提取过程为根据给定的手原始图像(e)；检测食指与中指之间、无名指与小指之间的两个关键点(f)；根据关键点定位传统掌纹roi位置(g)；对该位置裁剪后得到的传统掌纹roi图像(h)；该图像需要在简单纯色的背景下提取，且携带的掌纹信息量太少以及受掌纹蜷缩变形的影响较大，难以满足大量用户的使用需求，故本实施例提取的掌纹全感兴趣区域(croi)图像由于携带更全面的掌纹信息，能够提高掌纹识别系统的精度和稳定，能够带来更好的检测效果。
85.在本实施例中，采用目标预测框对待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。
86.在本发明实施例中，通过采用轻量级特征提取主干网络(mobilenet)替代原有的特征提取模块，使得网络参数大幅度降低的前提下，还能够高效、准确地提取手部图像的特征信息，保证了掌纹全感兴趣区域图像提取的准确度，其次，将主干网络提取的多层特征输入到特征金字塔网络(fpn)进行图像处理得到的多尺度特征，极大避免了特征信息的非歧视性丢失，同时结合区域提议网络(rpn)输出的高质量候选框，一起输入至区域生成预测器(faster r-cnn预测器)进行映射处理得到的预测框，能够有效抵抗光照和手的上下左右倾斜的影响，对复杂场景和手姿态具有比较好的鲁棒性，从而准确判断出待识别图像是否含有手部图像，并能准确定位出手所属的区域，最后通过预测框对待识别图像定位并裁剪得到的掌纹全感兴趣区域图像，该图像包含了完整的手掌区域以及更全面的掌纹信息，为大规模掌纹识别、高精度识别提供信息保障，从而提高了掌纹roi提取的精度并获得了更好的检测效果。
87.请参阅图5，图5为本发明实施例提供的一种掌纹全感兴趣区域图像提取方法的步骤流程图。
88.本发明提供的一种掌纹全感兴趣区域图像提取方法，包括：
89.步骤501、获取待训练手部图像集，并对待训练手部图像集进行感兴趣区域标注，确定标注掌纹图像集。
90.值得一提的是，首先通过手机或其他拍照设备的摄像头采集的2000张不同的手部图片作为待训练手部图像集，并使用labelimg标签制作工具进行掌纹croi的标注，得到标注掌纹图像集。
91.在本实施例中，获取待训练手部图像集，并对待训练手部图像集进行感兴趣区域
标注，确定标注掌纹图像集。
92.步骤502、采用标注掌纹图像集对初始掌纹提取模型的特征金字塔网络、区域提议网络和区域生成预测器进行局部模型训练，并实时统计训练迭代次数。
93.值得一提的是，采用imagenet数据集上的预训练参数作为主干网络的参数并对主干网络进行冻结，采用标注掌纹图像集对初始掌纹提取模型中的rpn、fpn和faster r-cnn预测器进行局部模型训练，并实时统计训练迭代次数；其中，初始掌纹提取模型指的是未训练好的faster r-cnn的轻量级掌纹croi提取网络模型。
94.在本实施例中，采用标注掌纹图像集对初始掌纹提取模型的特征金字塔网络、区域提议网络和区域生成预测器进行局部模型训练，并实时统计训练迭代次数。
95.步骤503、当训练迭代次数达到预设训练次数时，获得训练好的初始掌纹提取模型。
96.示例性地，当训练迭代次数达到30次时，将最后一次迭代训练的参数作为模型的测试参数，并将该模型作为训练好的初始掌纹提取模型，以对新传入的手部图像进行掌纹croi图像的提取。
97.在本实施例中，当训练迭代次数达到预设训练次数时，获得训练好的初始掌纹提取模型。
98.步骤504、将训练好的初始掌纹提取模型作为预置掌纹提取模型。
99.值得一提的是，将训练好的初始掌纹提取模型作为预置掌纹提取模型后，请参阅图6，接着使用xjtu-up数据库，即通过iphone 6s采集的在自然光下和在闪光下的多张手部图片构成的掌纹数据库，将该数据库作为测试集来检验掌纹croi的提取效果，测试集一共6000张现实复杂背景下的掌纹手部原始图像(部分如图6第一行)，对应的掌纹croi的提取效果如图6第二行所示；可以看出预置掌纹提取模型提取出的掌纹croi的定位比较准确，能包含全面的掌纹信息，说明了预置掌纹提取模型能高效和精准地提取出掌纹croi图像。同时看出，无论手的姿势和手的背景多复杂，轻量级掌纹croi提取网络都能精准的提取，说明本实施例中的预置掌纹提取模型对复杂场景和手姿态具有比较好的鲁棒性。
100.在本实施例中，将训练好的初始掌纹提取模型作为预置掌纹提取模型。
101.步骤505、获取待识别手部图像，将待识别手部图像输入至预置掌纹提取模型，预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器。
102.在本实施例中，获取待识别手部图像，将待识别手部图像输入至预置掌纹提取模型，预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器。
103.步骤506、采用主干网络对待识别手部图像执行特征提取操作，生成多个多层特征图。
104.多层特征图，指的是主干网络进行图像处理后输出的特征图，可以理解的是，其可以对应为在图像检测过程中主干网络进行图像处理后任一输出的特征图。
105.主干网络包括深度可分离卷积层(depthwise separable convolution，dsc)和输入卷积层(conv1)。
106.示例性地，将待识别手部图像输入到主干网络mobilenet中，首先对该图像进行步长为2的卷积，生成一个320*320*32的浅层特征图，然后经过mobilenet中的dsc块进行特征的提取，本实施例取了前四个dsc块的特征图，可以看到这四个特征图的分辨率从160*160
到20*20，覆盖了多种尺度的特征，因此作为fpn的多特征输入最好。
107.进一步地，步骤506可以包括以下子步骤：
108.s61、采用输入卷积层对输入的待识别手部图像进行卷积处理，生成浅层特征图。
109.s62、将浅层特征图输入至级联的四个深度可分离卷积层执行特征提取操作，依次输出第一多层特征图、第二多层特征图、第三多层特征图和第四多层特征图。
110.值得一提的是，通过深度可分离卷积层对浅层特征图执行特征提取操作，输出第一多层特征图；将第一多层特征图输入至深度可分离卷积层执行特征提取操作，获得第二多层特征图；采用深度可分离卷积层对第二多层特征图进行特征提取，生成第三多层特征图；通过深度可分离卷积层对第三多层特征图进行特征提取，输出第四多层特征图；其中，浅层特征图指的是在主干网络中生成的中间图。
111.在本实施例中，采用主干网络对待识别手部图像执行特征提取操作，生成多个多层特征图。
112.步骤507、通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图。
113.特征金字塔网络包括下采样层、1
×
1二维卷积层(conv_2d 1
×
1)、3
×
3二维卷积层(conv_2d 3
×
3)和最大池化层(maxpool 1
×
1)。
114.多尺度特征图和粗特征图指的是特征金字塔网络进行图像处理后输出的特征图。
115.示例性地，多特征输入到fpn后，每个特征经过下采样与下面的特征进行相加并卷积得到四个不同的特征，即fpn输出的多尺度特征。而在20*20*256的输出特征再加一个最大池化层输出一个粗特征送入到rpn的特征输入。
116.进一步地，步骤507可以包括以下子步骤：
117.s71、将第一多层特征图输入至1
×
1二维卷积层进行二维卷积运算，确定第一特征图。
118.s72、对第一特征图和第二多层特征图进行拼接后，并通过1
×
1二维卷积层执行二维卷积运算操作，生成第二特征图。
119.s73、对第二特征图和第三多层特征图进行拼接后，并通过1
×
1二维卷积层进行二维卷积运算，输出第三特征图。
120.s74、对第三特征图和第四多层特征图进行拼接后，并通过1
×
1二维卷积层执行二维卷积运算操作，确定第四特征图。
121.s75、基于下采样层、3
×
3二维卷积层和最大池化层，对第一特征图、第二特征图、第三特征图和第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图。
122.进一步地，s75可以包括以下子步骤：
123.将第四特征图输入至下采样层执行下采样操作，确定第一采样特征图。对第一采样特征图和第三特征图进行拼接，生成第一拼接特征图，接着通过下采样层对第一拼接特征图进行下采样，输出第二采样特征图。对第二采样特征图和第二特征图进行拼接，生成第二拼接特征图，接着采用下采样层对第二拼接特征图进行下采样，输出第三采样特征图。对第三采样特征图和第一特征图进行拼接后，并通过3
×
3二维卷积层进行特征提取，确定第一多尺度特征图。对第一多尺度特征图和第二拼接特征图进行拼接后，并通过3
×
3二维卷积层执行特征提取操作，确定第二多尺度特征图。对第二多尺度特征图和第一拼接特征图
进行拼接后，并通过3
×
3二维卷积层进行特征提取，生成第三多尺度特征图。对第三多尺度特征图和第四特征图进行拼接后，并通过3
×
3二维卷积层执行特征提取操作，输出第四多尺度特征图。采用最大池化层对第四多尺度特征图执行最大池化操作，确定粗特征图。
124.在本实施例中，通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图。
125.步骤508、将粗特征图输入至区域提议网络进行卷积运算，输出多个候选框。
126.区域提议网络包括1
×
1卷积层(conv 1
×
1)、3
×
3卷积层(conv 3
×
3)、锚框生成器和候选框过滤器。
127.示例性地，rpn得到fpn输出的粗特征后经过3*3卷积再分别经过1*1卷积层得到预测的类别和预测框。同时rpn中的锚图生成器会根据输入的特征图生成多个锚框，然后与得到的预测类别和预测框一起送入候选框过滤器筛选出包含有目标的候选框，然后将候选框送入faster r-cnn预测器。
128.进一步地，步骤508可以包括以下子步骤：
129.s81、将粗特征图分别输入至3
×
3卷积层和锚框生成器进行3
×
3卷积运算和像素映射平移，生成第一卷积特征图和多个初始锚框.
130.s82、将第一卷积特征图分别输入至1
×
1卷积层进行1
×
1卷积运算，确定预测类别和初始预测框。
131.s83、采用候选框过滤器对多个初始锚框、预测类别和初始预测框进行筛选，输出多个候选框。
132.在本实施例中，将粗特征图输入至区域提议网络进行卷积运算，输出多个候选框。
133.步骤509、通过区域生成预测器对多个候选框和多个多尺度特征图执行池化分类操作，确定目标预测框。
134.区域生成预测器包括感兴趣区域池化层(roi池化层)和全连接层(fc层)。
135.示例性地，fpn生成的多尺度特征与rpn生成的候选框一起输入到roi池化层，根据候选框来池化到输入的多尺度特征图上，并且计算对应的iou匹配合适的特征图，然后再将候选框的特征图展平再经过多个全连接层(fc)(特征映射分类)得到初步预测框。接着再送入过滤处理，其中有非极大抑制等处理，最后得到一个最合适的预测框输出。
136.进一步地，步骤509可以包括以下子步骤：
137.s91、通过感兴趣区域池化层对多个候选框和多个多尺度特征图执行池化操作，生成多个池化特征图。
138.s92、对各池化特征图执行特征展平操作后，并通过级联的三个全连接层进行特征映射分类，输出对应的多个中间预测框。
139.s93、采用非极大值抑制算法对多个中间预测框进行筛选，确定目标预测框。
140.值得一提的是，多个候选框和多个多尺度特征图输入至感兴趣区域池化层后，通过感兴趣区域池化层将各候选框池化到每一张多尺度特征图上，得到多张池化特征图，并计算多张池化特征图对应的iou值，然后对各个池化特征图进行展平并经过多个全连接层进行特征映射分类，从而得到多个池化特征图对应的多个中间预测框，接着将多个中间预测框进行过滤处理，最后采用非极大值抑制nms选取iou值最大的对应的中间预测框作为目标预测框；其中，池化特征图为在区域生成预测器生成的中间图。
141.步骤510、采用目标预测框对待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。
142.值得一提的是，为了证明掌纹croi在掌纹识别中的有效性，本实施例将其与传统掌纹roi进行掌纹识别性能的对比。请参阅图7，本实施例采用了xjtu-up数据库进行对比实验，分别提取了传统掌纹roi和掌纹croi。本实施例的使用了三个深度学习的经典分类模型：vgg16、resnet50和mobilenet。每个实验迭代300次，计算出鉴定精确度和等错误率，效果如表1所示。
143.从表1中看出，掌纹croi的识别性能比传统掌纹roi的识别性能都更好，这是因为掌纹croi中掌纹信息更为全面，使得掌纹识别系统变得更准确和稳定。值得一说的是，掌纹croi并没有对掌纹图像进行旋转纠正，但是识别的效果仍然比有旋转纠正的传统掌纹roi更好。因此在未来，掌纹croi在大规模用户的掌纹识别系统下比传统掌纹roi更加有效。
144.表1传统掌纹roi与掌纹croi的对比实验数据
[0145][0146]
在本发明实施例中，通过采用轻量级特征提取主干网络(mobilenet)替代原有的特征提取模块，使得网络参数大幅度降低的前提下，还能够高效、准确地提取手部图像的特征信息，保证了掌纹全感兴趣区域图像提取的准确度，其次，将主干网络提取的多层特征输入到特征金字塔网络(fpn)进行图像处理得到的多尺度特征，极大避免了特征信息的非歧视性丢失，同时结合区域提议网络(rpn)输出的高质量候选框，一起输入至区域生成预测器(faster r-cnn预测器)进行映射处理得到的预测框，能够有效抵抗光照和手的上下左右倾斜的影响，对复杂场景和手姿态具有比较好的鲁棒性，从而准确判断出待识别图像是否含
有手部图像，并能准确定位出手所属的区域，最后通过预测框对待识别图像定位并裁剪得到的掌纹全感兴趣区域图像，该图像包含了完整的手掌区域以及更全面的掌纹信息，为大规模掌纹识别、高精度识别提供信息保障，从而提高了掌纹roi提取的精度并获得了更好的检测效果。
[0147]
请参阅图8，图8为本发明实施例提供的一种掌纹全感兴趣区域图像提取装置的结构框图。
[0148]
获取图像模块801，用于获取待识别手部图像，将待识别手部图像输入至预置掌纹提取模型，预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器。
[0149]
特征提取模块802，用于采用主干网络对待识别手部图像执行特征提取操作，生成多个多层特征图。
[0150]
拼接特征模块803，用于通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图。
[0151]
卷积特征模块804，用于将粗特征图输入至区域提议网络进行卷积运算，输出多个候选框。
[0152]
池化特征模块805，用于通过区域生成预测器对多个候选框和多个多尺度特征图执行池化分类操作，确定目标预测框。
[0153]
裁剪图像模块806，用于采用目标预测框对待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。
[0154]
进一步地，特征提取模块802包括：
[0155]
输入卷积子模块，用于采用输入卷积层对输入的待识别手部图像进行卷积处理，生成浅层特征图。
[0156]
输出多层特征图子模块，用于将浅层特征图输入至级联的四个深度可分离卷积层执行特征提取操作，依次输出第一多层特征图、第二多层特征图、第三多层特征图和第四多层特征图。
[0157]
进一步地，拼接特征模块803包括：
[0158]
第一特征子模块，用于将第一多层特征图输入至1
×
1二维卷积层进行二维卷积运算，确定第一特征图。
[0159]
第二特征子模块，用于对第一特征图和第二多层特征图进行拼接后，并通过1
×
1二维卷积层执行二维卷积运算操作，生成第二特征图。
[0160]
第三特征子模块，用于对第二特征图和第三多层特征图进行拼接后，并通过1
×
1二维卷积层进行二维卷积运算，输出第三特征图。
[0161]
第四特征子模块，用于对第三特征图和第四多层特征图进行拼接后，并通过1
×
1二维卷积层执行二维卷积运算操作，确定第四特征图。
[0162]
多特征子模块，用于基于下采样层、3
×
3二维卷积层和最大池化层，对第一特征图、第二特征图、第三特征图和第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图。
[0163]
进一步地，多特征子模块包括：
[0164]
第一采样单元，用于将第四特征图输入至下采样层执行下采样操作，确定第一采
样特征图。
[0165]
第一采样拼接单元，用于对第一采样特征图和第三特征图进行拼接，生成第一拼接特征图，接着通过下采样层对第一拼接特征图进行下采样，输出第二采样特征图。
[0166]
第二采样拼接单元，用于对第二采样特征图和第二特征图进行拼接，生成第二拼接特征图，接着采用下采样层对第二拼接特征图进行下采样，输出第三采样特征图。
[0167]
第一多尺度单元，用于对第三采样特征图和第一特征图进行拼接后，并通过3
×
3二维卷积层进行特征提取，确定第一多尺度特征图。
[0168]
第二多尺度单元，用于对第一多尺度特征图和第二拼接特征图进行拼接后，并通过3
×
3二维卷积层执行特征提取操作，确定第二多尺度特征图。
[0169]
第三多尺度单元，用于对第二多尺度特征图和第一拼接特征图进行拼接后，并通过3
×
3二维卷积层进行特征提取，生成第三多尺度特征图。
[0170]
第四多尺度单元，用于对第三多尺度特征图和第四特征图进行拼接后，并通过3
×
3二维卷积层执行特征提取操作，输出第四多尺度特征图。
[0171]
粗特征单元，用于采用最大池化层对第四多尺度特征图执行最大池化操作，确定粗特征图。
[0172]
进一步地，卷积特征模块804包括：
[0173]
卷积子模块，用于将粗特征图分别输入至3
×
3卷积层和锚框生成器进行3
×
3卷积运算和像素映射平移，生成第一卷积特征图和多个初始锚框。
[0174]
预测子模块，用于将第一卷积特征图分别输入至1
×
1卷积层进行1
×
1卷积运算，确定预测类别和初始预测框。
[0175]
输出子模块，用于采用候选框过滤器对多个初始锚框、预测类别和初始预测框进行筛选，输出多个候选框。
[0176]
进一步地，池化特征模块805包括：
[0177]
池化子模块，用于通过感兴趣区域池化层对多个候选框和多个多尺度特征图执行池化操作，生成多个池化特征图。
[0178]
映射子模块，用于对各池化特征图执行特征展平操作后，并通过级联的三个全连接层进行特征映射分类，输出对应的多个中间预测框。
[0179]
筛选子模块，用于采用非极大值抑制算法对多个中间预测框进行筛选，确定目标预测框。
[0180]
在一种可选实施例中，装置还包括：
[0181]
获取数据模块，用于获取待训练手部图像集，并对待训练手部图像集进行感兴趣区域标注，确定标注掌纹图像集。
[0182]
训练模块，用于采用标注掌纹图像集对初始掌纹提取模型的特征金字塔网络、区域提议网络和区域生成预测器进行局部模型训练，并实时统计训练迭代次数。
[0183]
判断模块，用于当训练迭代次数达到预设训练次数时，获得训练好的初始掌纹提取模型。
[0184]
确定模型模块，用于将训练好的初始掌纹提取模型作为预置掌纹提取模型。
[0185]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、模块、子模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘
述。
[0186]
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
[0187]
存储器用于存储程序代码，并将程序代码传输给处理器；
[0188]
处理器用于根据程序代码中的指令执行本发明上述实施例的掌纹全感兴趣区域图像提取方法。
[0189]
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明上述实施例的掌纹全感兴趣区域图像提取方法。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0191]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0192]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0193]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0194]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种掌纹全感兴趣区域图像提取方法，其特征在于，包括：获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型，所述预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器；采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图；通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图；将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框；通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框；采用所述目标预测框对所述待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。2.根据权利要求1所述的掌纹全感兴趣区域图像提取方法，其特征在于，所述主干网络包括深度可分离卷积层和输入卷积层；所述采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图的步骤，包括：采用输入卷积层对输入的所述待识别手部图像进行卷积处理，生成浅层特征图；将所述浅层特征图输入至级联的四个所述深度可分离卷积层执行特征提取操作，依次输出第一多层特征图、第二多层特征图、第三多层特征图和第四多层特征图。3.根据权利要求2所述的掌纹全感兴趣区域图像提取方法，其特征在于，所述特征金字塔网络包括下采样层、1
×
1二维卷积层、3
×
3二维卷积层和最大池化层；所述通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图的步骤，包括：将所述第一多层特征图输入至所述1
×
1二维卷积层进行二维卷积运算，确定第一特征图；对所述第一特征图和所述第二多层特征图进行拼接后，并通过所述1
×
1二维卷积层执行二维卷积运算操作，生成第二特征图；对所述第二特征图和所述第三多层特征图进行拼接后，并通过所述1
×
1二维卷积层进行二维卷积运算，输出第三特征图；对所述第三特征图和所述第四多层特征图进行拼接后，并通过所述1
×
1二维卷积层执行二维卷积运算操作，确定第四特征图；基于所述下采样层、所述3
×
3二维卷积层和所述最大池化层，对所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图。4.根据权利要求3所述的掌纹全感兴趣区域图像提取方法，其特征在于，所述基于所述下采样层、所述3
×
3二维卷积层和所述最大池化层，对所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图进行采样卷积和最大池化，确定多个多尺度特征图和粗特征图的步骤，包括：将所述第四特征图输入至所述下采样层执行下采样操作，确定第一采样特征图；对所述第一采样特征图和所述第三特征图进行拼接，生成第一拼接特征图，接着通过所述下采样层对所述第一拼接特征图进行下采样，输出第二采样特征图；对所述第二采样特征图和所述第二特征图进行拼接，生成第二拼接特征图，接着采用
所述下采样层对所述第二拼接特征图进行下采样，输出第三采样特征图；对所述第三采样特征图和所述第一特征图进行拼接后，并通过所述3
×
3二维卷积层进行特征提取，确定第一多尺度特征图；对所述第一多尺度特征图和所述第二拼接特征图进行拼接后，并通过所述3
×
3二维卷积层执行特征提取操作，确定第二多尺度特征图；对所述第二多尺度特征图和所述第一拼接特征图进行拼接后，并通过所述3
×
3二维卷积层进行特征提取，生成第三多尺度特征图；对所述第三多尺度特征图和所述第四特征图进行拼接后，并通过所述3
×
3二维卷积层执行特征提取操作，输出第四多尺度特征图；采用所述最大池化层对所述第四多尺度特征图执行最大池化操作，确定粗特征图。5.根据权利要求1所述的掌纹全感兴趣区域图像提取方法，其特征在于，所述区域提议网络包括1
×
1卷积层、3
×
3卷积层、锚框生成器和候选框过滤器；所述将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框的步骤，包括：将所述粗特征图分别输入至所述3
×
3卷积层和所述锚框生成器进行3
×
3卷积运算和像素映射平移，生成第一卷积特征图和多个初始锚框；将所述第一卷积特征图分别输入至所述1
×
1卷积层进行1
×
1卷积运算，确定预测类别和初始预测框；采用所述候选框过滤器对多个所述初始锚框、所述预测类别和所述初始预测框进行筛选，输出多个候选框。6.根据权利要求1所述的掌纹全感兴趣区域图像提取方法，其特征在于，所述区域生成预测器包括感兴趣区域池化层和全连接层；所述通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框的步骤，包括：通过所述感兴趣区域池化层对多个所述候选框和多个所述多尺度特征图执行池化操作，生成多个池化特征图；对各所述池化特征图执行特征展平操作后，并通过级联的三个所述全连接层进行特征映射分类，输出对应的多个中间预测框；采用非极大值抑制算法对多个所述中间预测框进行筛选，确定目标预测框。7.根据权利要求1所述的掌纹全感兴趣区域图像提取方法，其特征在于，在所述获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型的步骤之前，包括：获取待训练手部图像集，并对所述待训练手部图像集进行感兴趣区域标注，确定标注掌纹图像集；采用所述标注掌纹图像集对初始掌纹提取模型的特征金字塔网络、区域提议网络和区域生成预测器进行局部模型训练，并实时统计训练迭代次数；当所述训练迭代次数达到预设训练次数时，获得训练好的所述初始掌纹提取模型；将训练好的所述初始掌纹提取模型作为所述预置掌纹提取模型。8.一种掌纹全感兴趣区域图像提取装置，其特征在于，包括：获取图像模块，用于获取待识别手部图像，将所述待识别手部图像输入至预置掌纹提取模型，所述预置掌纹提取模型包括主干网络、特征金字塔网络、区域提议网络和区域生成预测器；
特征提取模块，用于采用所述主干网络对所述待识别手部图像执行特征提取操作，生成多个多层特征图；拼接特征模块，用于通过所述特征金字塔网络对各所述多层特征图进行分支采样拼接和最大池化，确定多个多尺度特征图和粗特征图；卷积特征模块，用于将所述粗特征图输入至所述区域提议网络进行卷积运算，输出多个候选框；池化特征模块，用于通过所述区域生成预测器对多个所述候选框和多个所述多尺度特征图执行池化分类操作，确定目标预测框；裁剪图像模块，用于采用所述目标预测框对所述待识别手部图像进行裁剪，生成掌纹全感兴趣区域图像。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的掌纹全感兴趣区域图像提取方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-7任一项所述的掌纹全感兴趣区域图像提取方法。

技术总结
本发明公开了一种掌纹全感兴趣区域图像提取方法、装置、设备及介质，包括获取手部图像，将手部图像输入至预置掌纹提取模型；采用主干网络对手部图像执行特征提取操作，生成多个多层特征图；通过特征金字塔网络对各多层特征图进行分支采样拼接和最大池化，确定多个特征图；将特征图输入至区域提议网络进行卷积运算，输出多个候选框；通过区域生成预测器对多个候选框和多个特征图执行池化分类操作，确定预测框；采用预测框对手部图像进行裁剪，生成掌纹全感兴趣区域图像。解决了现有技术只提取手掌中心的局部区域作为ROI，使得掌纹ROI提取的难度较大，导致在复杂环境下掌纹ROI提取的精度不理想的技术问题。精度不理想的技术问题。精度不理想的技术问题。


技术研发人员：费伦科 苏乐 赵淑平
受保护的技术使用者：广东工业大学
技术研发日：2023.06.14
技术公布日：2023/9/20