一种基于特征评分的多模态生物识别方法及系统与流程

1.本发明涉及生物特征识别技术领域，具体为一种基于特征评分的多模态生物识别方法及系统。


背景技术：

2.随着生物识别技术的发展，通过单模态生物识别来做身份认证的方式在安全性和可靠性上已经无法满足有些场景的需要，因此多模态生物识别的应用越来越广泛，目前的多模态生物识别往往是固定两种或多种单模态识别组合而成，比如人脸识别和指纹识别组合，虹膜识别和静脉识别组合等等，当两种或多种识别方式都能通过的情况下才判定此次身份认证通过。
3.然而，当被识别人因某种情况导致某种识别方式无法进行的时候，就会导致身份认证失败。比如当被识别人需要佩戴墨镜无法进行虹膜识别的时候，或者当被识别人因手部受伤而无法进行指纹识别的时候。
4.例如在申请公布号为cn 107911371 a，申请公布日为2018.04.13的中国发明专利中，公开了一种基于多种生物特征的身份认证方法及系统，通过采集用户的掌纹/指纹和虹膜信息，并将所述掌纹/指纹和虹膜信息存储于认证服务器，建立唯一生物特征信息库，然后进行掌纹/指纹认证，采集用户的掌纹/指纹信息进行掌纹/指纹信息匹配，若匹配成功则继续进行虹膜信息采集认证，采集用户的虹膜信息，将虹膜信息发送至认证服务器匹配，若成功则最终认证成功；若失败，则认证失败。该发明将掌纹/指纹识别和虹膜识别生物识别技术融合在一起，进行身份认证，从而大幅提高了身份认证系统的可靠行和安全性，但该方案下，通过认证需同时满足掌纹/指纹信息匹配和虹膜信息比对，若手部受伤，则无法通过认证，容易造成不便。


技术实现要素：

5.为避免现有技术存在的上述问题，本发明的目的在于提供一种基于特征评分的多模态生物识别方法及系统。
6.为实现上述目的，本发明提供了如下技术方案：一种基于特征评分的多模态生物识别方法，包括以下步骤：
7.s1：首先预采集被识别人的生物特征，包括被识别人的脸部照片、指纹照片和掌纹照片；
8.s2：根据s1中采集的照片对各个生物识别方式所需的特征进行评分；基于dlib算法对人脸识别和虹膜识别方式所需特征评分；基于sift算法对指纹识别和掌纹识别方式所需特征评分；
9.s3：根据s2中各个生物识别方式所需特征的评分，选择其中评分最高的两种方式分别进行生物特征识别；
10.s4：若评分最高的两种识别方式都识别通过，则认为身份认证通过；否则认为身份
认证不通过。
11.本发明进一步设置为，步骤s2中对所述的人脸识别分数评分，具体包括以下步骤：
12.s211：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；
13.s212：根据眼睛、眉毛、鼻子和嘴巴部位的关键点相对位置和形状的区别，对关键点坐标集合中眼睛、眉毛、鼻子、嘴巴的不同部位进行分类，得到眼睛的关键点集合、眉毛的关键点集合、鼻子的关键点集合、嘴巴的关键点集合；
14.s213：根据眉毛的实际获取关键点数量nb，眼睛的实际获取关键点数量ne，鼻子的实际获取关键点数量nn，嘴巴的实际获取关键点数量nm，由下述的公式得出人脸识别的分数x：
[0015][0016]
其中，a、b、c、d分别为眉毛、眼睛、鼻子和嘴巴部位的关键点在人脸识别分数评分中的权重，且a+b+c+d＝100。
[0017]
在人脸完整无遮挡的情况下，通过dlib算法的68关键点的模型可获得68个关键点，其中有眉毛的关键点10个，眼睛的关键点12个，鼻子的关键点9个，嘴巴的关键点20个。因此根据获得的各个部位的关键点数量就可以初步判断人脸是否完整，关键部位是否被遮挡。
[0018]
若面部无遮挡且无损伤，则68个关键点全部被识别到，代入上述公式中，人脸识别分数x即为100分。而面部被遮挡的程度越高，能被识别到的关键点越少，则人脸识别分数x越低。
[0019]
本发明进一步设置为，步骤s2中对所述的虹膜识别分数评分，具体包括以下步骤：
[0020]
s221：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；在人脸完整无遮挡的情况下，68个关键点中有眉毛的关键点10个，眼睛的关键点12个；
[0021]
s222：根据眼睛和眉毛的关键点相对位置和形状的区别，对关键点集合中眼睛、眉毛的不同部位进行分类，通过下列公式得出虹膜识别分数y，
[0022][0023]
其中，眉毛的实际获取关键点数量为nb，眼睛的实际获取关键点数量为ne，e和f分别为眉毛和眼睛的关键点在虹膜识别评分分数中的权重，且e+f＝100。
[0024]
本发明进一步设置为，步骤s2中对所述的指纹识别分数评分，具体包括以下步骤：
[0025]
s231：根据获得的指纹照片，通过sift算法提取到指纹的细节点集合。
[0026]
s232：根据获得的指纹细节点数量，由以下公式得到指纹识别算法分数z：
[0027][0028]
其中，nf为实际获取的指纹细节点数量，gf为指纹识别细节点阈值。
[0029]
在司法鉴定中，若两枚指纹匹配上的细节点数目大于一个阈值，则认定它们是匹配的。因此，如果提取出的细节点的数量超过指纹识别细节点阈值gf，则可以认为该图像为指纹检索和识别提供了足够完整的信息。
[0030]
本发明进一步设置为，步骤s2中对所述的掌纹识别分数评分，具体包括以下步骤：
[0031]
s241：根据获得的掌纹照片，通过sift算法提取到指纹的细节点集合；
[0032]
s242：根据获得的掌纹细节点数量，由以下公式得到掌纹识别算法分数w：
[0033][0034]
其中，np为实际获取的掌纹细节点数量，gp为掌纹识别细节点阈值。
[0035]
本发明还提供了一种基于特征评分的多模态生物识别系统，包括：
[0036]
生物信息库，用于存储用户面部特征信息、掌纹/指纹特征信息和虹膜信息；
[0037]
生物信息采集模块，用于采集上述一种基于特征评分的多模态生物识别方法中所需生物特征信息；包括面部信息采集模块、掌纹/指纹采集模块和虹膜信息采集模块；
[0038]
生物特征信息匹配模块，用于将采集的用户生物特征信息与生物信息库中的信息进行认证比对，信息匹配；
[0039]
认证模块，用于根据所述信息匹配的结果，进行身份认证。
[0040]
本发明进一步设置为，所述多模态生物识别系统还包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，所述存储器存储有可被处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器执行上述一种基于特征评分的多模态生物识别方法。
[0041]
综上，本发明的上述技术方案的有益效果如下：
[0042]
本发明通过预采集生物特征，如脸部和手部的图像，根据图像对每个生物识别方式进行打分，再根据评分决定此次身份认证选用什么方式，以此来解决某些情况下某些识别方式无法完成，导致身份认证失败的问题。比如手指受伤无法完成指纹识别或掌纹识别，则会根据评分选择另两种模态认证方式进行认证。
附图说明
[0043]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明所述基于多模态评分的生物识别方法流程图。
具体实施方式
[0045]
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本发明保护的范围。
[0046]
下面结合附图和较佳的实施例对本发明作进一步说明。
[0047]
实施例1：
[0048]
如图1所示，为本发明较佳实施例，一种基于特征评分的多模态生物识别方法，包括以下步骤：
[0049]
s1：首先预采集被识别人的生物特征，包括被识别人的脸部照片、指纹照片和掌纹照片；
[0050]
s2：根据s1中采集的照片对各个生物识别方式所需的特征进行评分；基于dlib算法对人脸识别和虹膜识别方式所需特征评分；基于sift算法对指纹识别和掌纹识别方式所需特征评分；
[0051]
人脸识别方式所需特征的分数评分，具体包括以下步骤：
[0052]
s211：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；
[0053]
s212：根据眼睛、眉毛、鼻子和嘴巴部位的关键点相对位置和形状的区别，对关键点坐标集合中眼睛、眉毛、鼻子、嘴巴的不同部位进行分类，得到眼睛的关键点集合、眉毛的关键点集合、鼻子的关键点集合、嘴巴的关键点集合；
[0054]
s213：根据眉毛的实际获取关键点数量nb，眼睛的实际获取关键点数量ne，鼻子的实际获取关键点数量nn，嘴巴的实际获取关键点数量nm，由下述的公式得出人脸识别的分数x：
[0055][0056]
其中，a、b、c、d分别为眉毛、眼睛、鼻子和嘴巴部位的关键点在人脸识别分数评分中的权重，且a+b+c+d＝100。
[0057]
在人脸完整无遮挡的情况下，通过dlib算法的68关键点的模型可获得68个关键点，其中有眉毛的关键点10个，眼睛的关键点12个，鼻子的关键点9个，嘴巴的关键点20个。因此根据获得的各个部位的关键点数量就可以初步判断人脸是否完整，关键部位是否被遮挡。
[0058]
若面部无遮挡且无损伤，则68个关键点全部被识别到，代入上述公式中，人脸识别分数x即为100分。而面部被遮挡的程度越高，能被识别到的关键点越少，则人脸识别分数x越低。
[0059]
虹膜识别方式所需特征的分数评分，具体包括以下步骤：
[0060]
s221：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；在人脸完整无遮挡的情况下，68个关键点中有眉毛的关键点10个，眼睛的关键点12个；
[0061]
s222：根据眼睛和眉毛的关键点相对位置和形状的区别，对关键点集合中眼睛、眉毛的不同部位进行分类，通过下列公式得出虹膜识别分数y，
[0062][0063]
其中，眉毛的实际获取关键点数量为nb，眼睛的实际获取关键点数量为ne，e和f分别为眉毛和眼睛的关键点在虹膜识别评分分数中的权重，且e+f＝100。
[0064]
指纹识别方式所需特征分数评分，具体包括以下步骤：
[0065]
s231：根据获得的指纹照片，通过sift算法提取到指纹的细节点集合。
[0066]
s232：根据获得的指纹细节点数量，由以下公式得到指纹识别算法分数z：
[0067][0068]
其中，nf为实际获取的指纹细节点数量，gf为指纹识别细节点阈值。
[0069]
在司法鉴定中，若两枚指纹匹配上的细节点数目大于一个阈值，则认定它们是匹配的。因此，如果提取出的细节点的数量超过指纹识别细节点阈值gf，则可以认为该图像为
指纹检索和识别提供了足够完整的信息。
[0070]
同理，掌纹识别所需特征分数评分，具体包括以下步骤：
[0071]
s241：根据获得的掌纹照片，通过sift算法提取到指纹的细节点集合；
[0072]
s242：根据获得的掌纹细节点数量，由以下公式得到掌纹识别算法分数w：
[0073][0074]
其中，np为实际获取的掌纹细节点数量，gp为掌纹识别细节点阈值。
[0075]
s3：根据s2中各个生物识别方式所需特征的评分，选择其中评分最高的两种方式分别进行生物特征识别；
[0076]
s4：若评分最高的两种识别方式都识别通过，则认为身份认证通过；否则认为身份认证不通过。
[0077]
实施例2：
[0078]
本发明还提供了一种基于特征评分的多模态生物识别系统，采用实施例1中所述的一种基于特征评分的多模态生物识别方法包括：
[0079]
生物信息库，用于存储用户面部特征信息、掌纹/指纹特征信息和虹膜信息；
[0080]
生物信息采集模块，用于采集上述一种基于特征评分的多模态生物识别方法中所需生物特征信息；包括面部信息采集模块、掌纹/指纹采集模块和虹膜信息采集模块；
[0081]
生物特征信息匹配模块，用于将采集的用户生物特征信息与生物信息库中的信息进行认证比对，信息匹配；
[0082]
认证模块，用于根据所述信息匹配的结果，进行身份认证。
[0083]
所述多模态生物识别系统还包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，所述存储器存储有可被处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器执行上述一种基于特征评分的多模态生物识别方法。
[0084]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于特征评分的多模态生物识别方法，其特征在于，包括以下步骤：s1：首先预采集被识别人的生物特征，包括被识别人的脸部照片、指纹照片和掌纹照片；s2：根据s1中采集的照片对各个生物识别方式所需的特征进行评分；基于dlib算法对人脸识别和虹膜识别方式所需特征评分；基于sift算法对指纹识别和掌纹识别方式所需特征评分；s3：根据s2中各个生物识别方式所需特征的评分，选择其中评分最高的两种方式分别进行生物特征识别；s4：若评分最高的两种识别方式都识别通过，则认为身份认证通过；否则认为身份认证不通过。2.根据权利要求1所述的一种基于特征评分的多模态生物识别方法，其特征在于，步骤s2中对所述的人脸识别分数评分，具体包括以下步骤：s211：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；s212：根据眼睛、眉毛、鼻子和嘴巴部位的关键点相对位置和形状的区别，对关键点坐标集合中眼睛、眉毛、鼻子、嘴巴的不同部位进行分类，得到眼睛的关键点集合、眉毛的关键点集合、鼻子的关键点集合、嘴巴的关键点集合；s213：根据眉毛的实际获取关键点数量nb，眼睛的实际获取关键点数量ne，鼻子的实际获取关键点数量nn，嘴巴的实际获取关键点数量nm，由下述的公式得出人脸识别的分数x：其中，a、b、c、d分别为眉毛、眼睛、鼻子和嘴巴部位的关键点在人脸识别分数评分中的权重，且a+b+c+d＝100。3.根据权利要求1所述的一种基于特征评分的多模态生物识别方法，其特征在于，步骤s2中对所述的虹膜识别分数评分，具体包括以下步骤：s221：通过dlib算法的68关键点的模型，获得人脸关键点坐标集合；在人脸完整无遮挡的情况下，68个关键点中有眉毛的关键点10个，眼睛的关键点12个；s222：根据眼睛和眉毛的关键点相对位置和形状的区别，对关键点集合中眼睛、眉毛的不同部位进行分类，通过下列公式得出虹膜识别分数y，其中，眉毛的实际获取关键点数量为nb，眼睛的实际获取关键点数量为ne，e和f分别为眉毛和眼睛的关键点在虹膜识别评分分数中的权重，且e+f＝100。4.根据权利要求1所述的一种基于特征评分的多模态生物识别方法，其特征在于，步骤s2中对所述的指纹识别分数评分，具体包括以下步骤：s231：根据获得的指纹照片，通过sift算法提取到指纹的细节点集合；s232：根据获得的指纹细节点数量，由以下公式得到指纹识别算法分数z：其中，nf为实际获取的指纹细节点数量，gf为指纹识别细节点阈值。
5.根据权利要求1所述的一种基于特征评分的多模态生物识别方法，其特征在于，步骤s2中对所述的掌纹识别分数评分，具体包括以下步骤：s241：根据获得的掌纹照片，通过sift算法提取到指纹的细节点集合；s242：根据获得的掌纹细节点数量，由以下公式得到掌纹识别算法分数w：其中，np为实际获取的掌纹细节点数量，gp为掌纹识别细节点阈值。6.一种基于特征评分的多模态生物识别系统，采用权利要求1-5中任一项所述的一种基于特征评分的多模态生物识别方法，其特征在于，包括：生物信息库，用于存储用户面部特征信息、掌纹/指纹特征信息和虹膜信息；生物信息采集模块，用于采集权利要求1-5中任一项所述的一种基于特征评分的多模态生物识别方法中所需生物特征信息；包括面部信息采集模块、掌纹/指纹采集模块和虹膜信息采集模块；生物特征信息匹配模块，用于将采集的用户生物特征信息与生物信息库中的信息进行认证比对，信息匹配；认证模块，用于根据所述信息匹配的结果，进行身份认证。7.根据权利要求6所述的一种基于特征评分的多模态生物识别系统，其特征在于，所述多模态生物识别系统还包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，所述存储器存储有可被处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器执行权利要求1-5中任一项所述的一种基于特征评分的多模态生物识别方法。

技术总结
本发明涉及生物特征识别技术领域，具体为一种基于特征评分的多模态生物识别方法及系统，所述方法包括首先采集被识别人的生物特征，包括被识别人的脸部照片、指纹照片和掌纹照片；根据采集的照片对各个生物识别方式所需的特征进行评分；选择其中评分最高的两种方式分别进行生物特征识别；若评分最高的两种识别方式都识别通过，则认为身份认证通过；否则认为身份认证不通过。本发明根据图像对每个生物识别方式进行打分，再根据评分决定此次身份认证选用什么方式，以此来解决某些情况下某些识别方式无法完成，导致身份认证失败的问题。导致身份认证失败的问题。导致身份认证失败的问题。


技术研发人员：王剑 周修龙 蔡泳鑫 李辉 王亚宁 蒋茂源
受保护的技术使用者：广州市金其利信息科技有限公司
技术研发日：2023.07.14
技术公布日：2023/10/11