多模态身份认证方法、装置、存储介质及设备与流程

1.本发明涉及生物识别领域，特别是指一种多模态身份认证方法、装置、存储介质及设备。


背景技术：

2.目前，常用来进行身份认证的生物特征有人脸、指纹、虹膜、指静脉、掌纹、声纹和步态等。由于技术的不断发展，单一的生物特征识别已经达到了较高精度，比如人脸识别在常用的lfw(labled faces in the wild)测试库上已经达到了99.8％的精度。但在实际应用中，单一的生物特征识别会因为一些固有的局限性导致其精度下降，比如人脸识别会受光照、姿态、化妆等的影响，指纹识别会受磨损、蜕皮等的影响，声纹识别会受感冒哑嗓子等的影响。现有的研究表明：利用不同生物特征之间的互补信息进行多模态生物识别，可以消除单一种类生物特征的缺点，从而有助于提高识别准确率和安全性。
3.多模态生物识别中需要进行数据信息的融合，决策融合是现有技术常用的一种融合方式，其通过多种模态进行生物特征比对，得到多种模态的比对结果，然后将多种模态的比对结果进行融合，得到最终的比对结果。
4.由于不同模态的认证方法的差异，导致不同模态对最终的认证结果的贡献是不同的，因此在对不同模态的比对结果进行决策融合时，不同模态的比对结果的权重应当是不同的。现有技术在确定不同模态的权重时，一般是根据经验设定，导致权重的设定不准确，降低了多模态身份认证的准确性。


技术实现要素：

5.为解决现有技术的缺陷，本发明提供一种多模态身份认证方法、装置、存储介质及设备，提高了身份认证的性能。
6.本发明提供技术方案如下：
7.第一方面，本发明提供一种多模态身份认证方法，所述方法包括：
8.获取两组多种模态的生物特征数据；
9.对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数；
10.根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果；
11.其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；
12.根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。
13.进一步的，通过如下方法确定每种模态的权重：
14.对每种模态的训练样本集的生物特征样本进行两两比对，得到每种模态的比对分
数集；
15.其中，所述比对分数集包括同一人的比对分数和不同人的比对分数；
16.根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化；
17.根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重。
18.进一步的，所述根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化，包括：
19.通过如下公式计算每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域，作为每种模态的归一化量纲；
20.q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
21.其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的比对分数集中不同人的比对分数的最大值，μr(k)为第k种模态的比对分数集中不同人的比对分数的平均值，mina(k)为第k种模态的比对分数集中同一人的比对分数的最小值，μa(k)为第k种模态的比对分数集中同一人的比对分数的平均值；
22.根据每种模态的归一化量纲对每种模态的比对分数集进行归一化；
[0023][0024]
其中，和分别为归一化前和归一化后的第k种模态的比对分数集中的第i个比对分数，i＝1,2,3,
…
,nk，nk为第k种模态的比对分数集中的比对分数总数，j＝0表示比对分数为不同人的比对分数，j＝1表示比对分数为同一人的比对分数；
[0025]
所述根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重，包括：
[0026]
通过如下公式计算每种模态的权重；
[0027][0028]
其中，w(k)为第k种模态的权重；
[0029][0030]
frrk为第k种模态的训练样本集的拒真率。
[0031]
进一步的，通过如下公式计算所述决策融合结果；
[0032][0033]
其中，δ为所述决策融合结果，δ(k)为k种模态的比对结果；
[0034][0035]
s(k)为第k种模态的比对分数，t(k)为第k种模态的比对阈值。
[0036]
进一步的，所述根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人，包括：
[0037]
若所述决策融合结果大于设定的决策阈值，则判断所述两组多种模态的生物特征数据属于同一人，否则，判断所述两组多种模态的生物特征数据不属于同一人。
[0038]
进一步的，所述多种模态的生物特征数据包括人脸特征和虹膜特征，所述虹膜特征由左眼虹膜特征和右眼虹膜特征融合得到。
[0039]
进一步的，通过如下方法将所述左眼虹膜特征和所述右眼虹膜特征融合得到所述虹膜特征：
[0040]
通过如下公式对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析；
[0041][0042]
其中，l＝0,1分别代表左眼和右眼，x
l
表示所述左眼虹膜特征和所述右眼虹膜特征，z
l
表示对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征，μ
l
表示所述左眼虹膜特征的均值和所述右眼虹膜特征的均值，w
l
表示所述左眼虹膜特征的主成分分析矩阵和所述右眼虹膜特征的主成分分析矩阵；μ
l
和w
l
通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到；
[0043]
通过如下公式将所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征进行融合，得到所述虹膜特征；
[0044][0045]
其中，z为所述虹膜特征，po和p1为投影矩阵，po和p1通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到。
[0046]
进一步的，通过如下方法训练得到所述μ
l
、w
l
、po和p1：
[0047]
通过如下公式计算得到所述左眼虹膜特征的均值和所述右眼虹膜特征的均值；
[0048][0049]
其中，为所述左眼虹膜特征训练集/右眼虹膜特征训练集中的第i个左眼虹膜特征样本/右眼虹膜特征样本，i＝1,2,3,
…
,n，n为所述左眼虹膜特征样本/右眼虹膜特征样本的总数；
[0050]
通过如下公式计算所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0051][0052]
其中，s
l
为所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0053]
通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵进行
特征值分解；
[0054][0055]
其中，和分别为s
l
特征值和特征向量，t＝0,1,2,
…
,d，d为s
l
的行数和列数；
[0056]
根据主成分的百分比选取占比95％的前r个特征向量构成所述主成分分析矩阵w
l
；
[0057]
其中，
[0058]
通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本进行主成分分析；
[0059][0060]
其中，表示对所述左眼虹膜特征样本和所述右眼虹膜特征样本进行主成分分析后得到的特征；
[0061]
通过如下公式优化求得所述投影矩阵po和p1；
[0062][0063]
其中，和分别为z0和z1的类内方差矩阵，为z0和z1的类间方差矩阵。
[0064]
第二方面，本发明提供一种多模态身份认证装置，所述装置包括：
[0065]
数据获取模块，用于获取两组多种模态的生物特征数据；
[0066]
比对分数计算模块，用于对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数；
[0067]
决策融合模块，用于根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果；
[0068]
其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；
[0069]
判断模块，用于根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。
[0070]
进一步的，通过如下模块确定每种模态的权重：
[0071]
训练数据准备模块，用于对每种模态的训练样本集的生物特征样本进行两两比对，得到每种模态的比对分数集；
[0072]
其中，所述比对分数集包括同一人的比对分数和不同人的比对分数；
[0073]
归一化模块，用于根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化；
[0074]
权重计算模块，用于根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重。
[0075]
进一步的，所述归一化模块包括：
[0076]
归一化量纲计算单元，用于通过如下公式计算每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域，作为每种模态的归一化量纲；
[0077]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0078]
其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的比对分数集中不同人的比对分数的最大值，μr(k)为第k种模态的比对分数集中不同人的比对分数的平均值，mina(k)为第k种模态的比对分数集中同一人的比对分数的最小值，μa(k)为第k种模态的比对分数集中同一人的比对分数的平均值；
[0079]
归一化单元，用于根据每种模态的归一化量纲对每种模态的比对分数集进行归一化；
[0080][0081]
其中，和分别为归一化前和归一化后的第k种模态的比对分数集中的第i个比对分数，i＝1,2,3,
…
,nk，nk为第k种模态的比对分数集中的比对分数总数，j＝0表示比对分数为不同人的比对分数，j＝1表示比对分数为同一人的比对分数；
[0082]
所述权重计算模块用于：
[0083]
通过如下公式计算每种模态的权重；
[0084][0085]
其中，w(k)为第k种模态的权重；
[0086][0087]
frrk为第k种模态的训练样本集的拒真率。
[0088]
进一步的，通过如下公式计算所述决策融合结果；
[0089][0090]
其中，δ为所述决策融合结果，δ(k)为k种模态的比对结果；
[0091][0092]
s(k)为第k种模态的比对分数，t(k)为第k种模态的比对阈值。
[0093]
进一步的，所述判断模块用于：
[0094]
若所述决策融合结果大于设定的决策阈值，则判断所述两组多种模态的生物特征数据属于同一人，否则，判断所述两组多种模态的生物特征数据不属于同一人。
[0095]
进一步的，所述多种模态的生物特征数据包括人脸特征和虹膜特征，所述虹膜特征由左眼虹膜特征和右眼虹膜特征融合得到。
[0096]
进一步的，通过如下模块将所述左眼虹膜特征和所述右眼虹膜特征融合得到所述虹膜特征：
[0097]
第一主成分分析模块，用于通过如下公式对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析；
[0098][0099]
其中，l＝0,1分别代表左眼和右眼，x
l
表示所述左眼虹膜特征和所述右眼虹膜特征，z
l
表示对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征，μ
l
表示所述左眼虹膜特征的均值和所述右眼虹膜特征的均值，w
l
表示所述左眼虹膜特征的主成分分析矩阵和所述右眼虹膜特征的主成分分析矩阵；μ
l
和w
l
通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到；
[0100]
特征融合模块，用于通过如下公式将所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征进行融合，得到所述虹膜特征；
[0101][0102]
其中，z为所述虹膜特征，po和p1为投影矩阵，po和p1通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到。
[0103]
进一步的，通过如下模块训练得到所述μ
l
、w
l
、po和p1：
[0104]
均值计算模块，用于通过如下公式计算得到所述左眼虹膜特征的均值和所述右眼虹膜特征的均值；
[0105][0106]
其中，为所述左眼虹膜特征训练集/右眼虹膜特征训练集中的第i个左眼虹膜特征样本/右眼虹膜特征样本，i＝1,2,3,
…
,n，n为所述左眼虹膜特征样本/右眼虹膜特征样本的总数；
[0107]
协方差矩阵计算模块，用于通过如下公式计算所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0108][0109]
其中，s
l
为所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0110]
特征值分解模块，用于通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵进行特征值分解；
[0111][0112]
其中，和分别为s
l
特征值和特征向量，t＝0,1,2,
…
,d，d为s
l
的行数和列数；
[0113]
主成分分析矩阵获取模块，用于根据主成分的百分比选取占比95％的前r个特征向量构成所述主成分分析矩阵w
l
；
[0114]
其中，
[0115]
第二主成分分析模块，用于通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本进行主成分分析；
[0116][0117]
其中，表示对所述左眼虹膜特征样本和所述右眼虹膜特征样本进行主成分分析后得到的特征；
[0118]
投影矩阵计算模块，用于通过如下公式优化求得所述投影矩阵po和p1；
[0119][0120]
其中，和分别为z0和z1的类内方差矩阵，为z0和z1的类间方差矩阵。
[0121]
第三方面，本发明提供一种用于多模态身份认证的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的多模态身份认证方法的步骤。
[0122]
第四方面，本发明提供一种用于多模态身份认证的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的多模态身份认证方法的步骤。
[0123]
本发明具有以下有益效果：
[0124]
本发明通过设定的权重将多模态的比对结果进行融合，根据融合得到的决策融合结果进行身份认证。每种模态的权重根据该种模态的训练样本集的比对分数的分布确定以及该种模态的训练样本集的拒真率确定。比对分数的分布的使用可以使得同一人的比对分数和不同人的比对分数的分布差异增大，提升认证分类效果。拒真率的可以用于指导权重的生成，使得权重的优化朝向有利于减少拒真率的目标方向进行。使用融合后的决策融合结果进行身份认证，提高了准确率。
附图说明
[0125]
图1为本发明的多模态身份认证方法的流程图；
[0126]
图2为第k种模态的同一人的比对分数和不同人的比对分数的分布示意图；
[0127]
图3为本发明的多模态身份认证装置的示意图。
具体实施方式
[0128]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的
详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0129]
实施例1：
[0130]
本发明实施例提供一种多模态身份认证方法，如图1所示，所述方法包括：
[0131]
s100：获取两组多种模态的生物特征数据。
[0132]
本步骤用于获取两组多种模态的生物特征数据，用于身份认证。例如，获取了a和b两组多种模态的生物特征数据，每组均包括了多种模态，多种模态可以是人脸特征和虹膜特征等。认证的目的是判断两组多种模态的生物特征数据是否属于同一个人。
[0133]
本发明不限制生物特征数据的获取方式，例如可以通过图像处理、机器学习或深度学习等方法提取生物特征图像的特征，获得特征向量，即为生物特征数据。
[0134]
s200：对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数。
[0135]
比对分数反映了相同模态的两个生物特征数据的相似度，其相似度越高，表示两个生物特征数据越属于同一个人。
[0136]
本发明不限制计算比对分数的方式，例如可以计算两个生物特征数据的欧氏距离，得到比对分数。
[0137]
多种模态的比对分数可以记为s(k)，s(k)为第k种模态的比对分数，k＝1,2,
…
,m，m为模态的总数。
[0138]
s300：根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果。
[0139]
决策融合结果是对多个模态的比对结果进行加权投票的结果，其反映的是每种模态的比对结果在最终的认证中起到的作用，以及每种模态的比对结果在最终的认证中所占的比例。
[0140]
示例性的，可以通过如下公式计算所述决策融合结果；
[0141][0142]
其中，δ为所述决策融合结果，δ(k)为k种模态的比对结果；
[0143][0144]
s(k)为第k种模态的比对分数，t(k)为第k种模态的比对阈值。
[0145]
以a和b两组人脸特征和虹膜特征为例，对a和b组的虹膜特征进行相似度计算，得到虹膜分数，若该虹膜分数大于给定的虹膜比对阈值，则认为虹膜特征属于同一个人，比对结果δ(k)赋值标记1，若虹膜分数小于等于给定的虹膜比对阈值，则认为虹膜特征属于不同人，比对结果δ(k)赋值标记0。
[0146]
人脸特征同理，对a和b组的人脸特征进行相似度计算，得到人脸分数，若该人脸分数大于给定的人脸比对阈值，则认为人脸特征属于同一个人，比对结果δ(k)赋值标记1，若
人脸分数小于等于给定的人脸比对阈值，则认为人脸特征属于不同人，比对结果δ(k)赋值标记0。
[0147]
最后对赋值后的比对结果δ(k)进行决策融合，实际上是一个加权投票，获得最终的决策融合结果。
[0148]
加权投票时，每种模态设定不同的权重，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定。
[0149]
由于不同模态得到的比对分数的量纲和分布是不统一的，且不同模态的生物特征认证性能也是有差异的，导致不同模态的比对结果对最终的决策融合结果的贡献不同。现有技术根据经验设定不同模态的权重，导致权重的设定不准确，降低了多模态身份认证的准确性。
[0150]
本发明中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定。模态的训练样本集的比对分数的分布可以反应该模态认证方法的性能，根据该分布也能够对比对分数进行量纲统一。同时根据比对分数的分布可以使得同一人的比对分数和不同人的比对分数的分布差异增大，提升认证分类效果。
[0151]
拒真率是评价认证方法性能的一个指标，表示了同一个人样本被判断为不同人的比例。将拒真率引入权重的确定，可以用于指导权重的生成，使得优化朝向有利于减少拒真率的目标方向进行。
[0152]
因此，本发明根据每种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定的该种模态的权重可以对比对分数的量纲和分布进行统一，也能够减少不同模态的认证方法性能的差异对融合后的身份认证的不利影响，进而可以获得更好的身份认证的准确率。
[0153]
s400：根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。
[0154]
一般的，若所述决策融合结果大于设定的决策阈值t，则判断所述两组多种模态的生物特征数据属于同一人，否则，判断所述两组多种模态的生物特征数据不属于同一人。
[0155]
本发明通过设定的权重将多模态的比对结果进行融合，根据融合得到的决策融合结果进行身份认证。每种模态的权重根据该种模态的训练样本集的比对分数的分布确定以及该种模态的训练样本集的拒真率确定。比对分数的分布的使用可以使得同一人的比对分数和不同人的比对分数的分布差异增大，提升认证分类效果。拒真率的可以用于指导权重的生成，使得权重的优化朝向有利于减少拒真率的目标方向进行。使用融合后的决策融合结果进行身份认证，提高了准确率。
[0156]
本发明的决策融合包括训练过程和推理过程，训练过程的最终目的是通过标注的训练样本集得到每种模态融合的权重w(k)，而推理过程是对获得的多种模态的比对结果，通过训练得到的权重融合得到决策融合结果，并根据决策融合结果进行认证。
[0157]
推理过程即为前述的s100～s400，训练过程确定每种模态的权重的方法如下：
[0158]
s10：对每种模态的训练样本集的生物特征样本进行两两比对，得到每种模态的比对分数集。
[0159]
其中，所述比对分数集包括同一人的比对分数和不同人的比对分数。
[0160]
对于一种模态的训练样本集，例如虹膜样本集，其包括若干虹膜特征样本，所述虹
膜特征样本来自多个人。将同一人或不同人的虹膜特征样本进行比对，得到同一人的比对分数和不同人的比对分数，组成比对分数集。
[0161]
示例性的，以表示第k种模态的比对分数集中的第i个比对分数，i＝1,2,3,
…
,nk，nk为第k种模态的比对分数集中的比对分数总数，j＝0,1，当j＝0时，表示比对分数为不同人的比对分数，j＝1表示比对分数为同一人的比对分数。
[0162]
将第k种模态进行比对得到的同一人的比对分数记为a(k)；
[0163][0164]
将第k种模态进行比对得到的不同人的比对分数记为r(k)；
[0165][0166]
同一人的比对分数和不同人的比对分数基本上满足高斯分布，对第k种模态的同一人的比对分数和不同人的比对分数进行统计，其分布如图2所示。
[0167]
其中，
[0168]
maxr(k)为第k种模态的比对分数集中不同人的比对分数的最大值；
[0169]
minr(k)为第k种模态的比对分数集中不同人的比对分数的最小值；
[0170]
μr(k)为第k种模态的比对分数集中不同人的比对分数的平均值；
[0171]
maxa(k)为第k种模态的比对分数集中同一人的比对分数的最大值；
[0172]
mina(k)为第k种模态的比对分数集中同一人的比对分数的最小值；
[0173]
μa(k)为第k种模态的比对分数集中同一人的比对分数的平均值。
[0174]
显然，同一人的比对分数和不同人的比对分数的分布的重叠部分可以反应比对算法的性能，重叠部分越大说明同一人的比对分数和不同人的比对分数的区分越不明显，性能越差；反之，重叠部分越小说明同一人的比对分数和不同人的比对分数的区分越度越高，性能越优异，所以需要通过多模态融合的方法，减小分数重叠的部分，增大二者之间的差异。
[0175]
s20：根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化。
[0176]
由前述，同一人的比对分数和不同人的比对分数的分布的重叠区域越大(即非重叠区域越小)说明同一人的比对分数和不同人的比对分数的区分越不明显，反之，同一人的比对分数和不同人的比对分数的区分越度越高。因此本发明使用非重叠区域对每种模态的比对分数集进行归一化，可以对比对分数的量纲和分布进行统一，并使得同一人的比对分数和不同人的比对分数的分布差异增大，获得更好的身份认证效果。
[0177]
本步骤的具体实现方式可以为：
[0178]
s21：通过如下公式计算每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域，作为每种模态的归一化量纲。
[0179]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0180]
其中，q(k)为第k种模态的归一化量纲。
[0181]
本步骤用于对不同模态下判断的比对分数进行归一化操作，归一化操作需要根据训练样本集的比对分数的分布中的非重叠区域的参数作为归一化量纲，对比对分数进行操
作，归一化量纲的计算如上式。
[0182]
q(k)越大说明第k种模态的同一人的比对分数和不同人的比对分数的分布相差越大，区分度越高，效果越好，使得该归一化量纲对比对分数归一化可以减小分布的重叠区域，进而获得更好的身份认证效果。
[0183]
s22：根据每种模态的归一化量纲对每种模态的比对分数集进行归一化。
[0184][0185]
其中，为归一化后的第k种模态的比对分数集中的第i个比对分数。
[0186]
s30：根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重。
[0187]
在其中一个示例中，每种模态的权重的具体计算公式如下：
[0188][0189]
其中，w(k)为第k种模态的权重；
[0190][0191]
frrk为第k种模态的训练样本集的拒真率。
[0192]
评价身份识别认证方法的两个指标分别是拒真率(frr)和误识率(far)，frr表示了同一个人的生物特征数据被判断为不同人的比例，far是将不同人的生物特征数据判断为相同人的比例，在识别或认证的性能评估中，都是希望二者越小越好，两个指标过高都会导致一定的业务风险。在多模态融合方法中，不仅需要考虑分数量纲的影响，不同模态分类性能的差异也可能会降低融合后算法的性能。
[0193]
因此，本发明不仅将代表比对分数分布的归一化量纲引入权重的计算，还将frr引入到权重的计算，通过上述公式计算得到每种模态的权重w(k)。
[0194]
由上述可知，本发明使用训练样本集的比对分数分布决定权重的方法，比对分数分布的使用可以使得同一人和不同人的比对分数分布差异增大，提升分类效果。同时在确定权重时引入拒真率，可以用于指导权重的生成，使得优化朝向有利于拒真率减少的目标方向。
[0195]
本发明不限制多种模态的生物特征数据的形式，在其中一个示例中，所述多种模态的生物特征数据包括人脸特征和虹膜特征，所述虹膜特征由左眼虹膜特征和右眼虹膜特征融合得到。
[0196]
本发明通过多模态决策融合的方法将人脸识别和虹膜识别两种生物模态进行融合，实现更加准确的身份认证。
[0197]
现有的多模态融合大多数是决策融合，本发明对左眼虹膜特征和右眼虹膜特征进行了特征融合，认证效果更佳。因为人的左右虹膜是不相同的，属于多模态的数据，将左眼虹膜特征和右眼虹膜特征融合可以提升身份认证效果，配合虹膜和人脸的多模态决策融合，将特征融合和决策融合结合使用，通过多种融合方式实现更好的身份认证效果，使得身
份认证更加安全可靠。
[0198]
在其中一个示例中，可以通过如下方法将所述左眼虹膜特征和所述右眼虹膜特征融合得到所述虹膜特征：
[0199]
s1：通过如下公式对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析。
[0200][0201]
其中，l＝0,1分别代表左眼和右眼，x
l
表示所述左眼虹膜特征和所述右眼虹膜特征，z
l
表示对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征，μ
l
表示所述左眼虹膜特征的均值和所述右眼虹膜特征的均值，w
l
表示所述左眼虹膜特征的主成分分析矩阵和所述右眼虹膜特征的主成分分析矩阵；μ
l
和w
l
通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到。
[0202]
s2：通过如下公式将所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征进行融合，得到所述虹膜特征。
[0203][0204]
其中，z为所述虹膜特征，po和p1为投影矩阵，po和p1通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到。
[0205]
本发明要同时使用左眼虹膜特征和右眼虹膜特征，数据维度较高，引入了额外的计算量和存储空间，所以使用主成分分析方法对左眼虹膜特征和右眼虹膜特征进行降维处理，从原始特征中提取更加显著的特征，减少分类时的数据量，并且增加特征的分类能力。
[0206]
主成分分析方法通过线性映射将高维数据投影到低维空间上，使得投影后的数据方差最大，从而使得其保留原始数据的特性。
[0207]
左眼虹膜特征和右眼虹膜特征融合到的虹膜特征后，结合人脸特征，进行后续的多模态身份认证。
[0208]
例如，对于a和b两组，每一组的左眼虹膜特征和右眼虹膜特征经过上述过程可以融合得到每组各一个虹膜特征，接着对两组的虹膜特征计算比对分数(即相似度)，若比对分数大于给定的比对阈值，则判断两组的虹膜特征来自同一个人，比对结果δ(k)赋值标记1，若小于等于比对阈值，则判断两组的虹膜特征来自不同的人，比对结果δ(k)赋值标记0。
[0209]
对于人脸特征，每组只有一个，所以可以直接将两组的人脸特征进行比对，若比对分数大于给定比对阈值，则判断两组的人脸特征来自同一个人，比对结果δ(k)赋值标记1，若小于等于比对阈值，则判断两组的人脸特征来自不同的人，比对结果δ(k)赋值标记0。
[0210]
最后通过权重w(k)对赋值后的比对结果δ(k)进行决策融合。
[0211]
本发明可以通过如下方法训练得到所述μ
l
、w
l
、po和p1：
[0212]
s11：通过如下公式计算得到所述左眼虹膜特征的均值和所述右眼虹膜特征的均值。
[0213][0214]
其中，为所述左眼虹膜特征训练集/右眼虹膜特征训练集中的第i个左眼虹膜特
征样本/右眼虹膜特征样本，i＝1,2,3,
…
,n，n为所述左眼虹膜特征样本/右眼虹膜特征样本的总数。
[0215]
s12：通过如下公式计算所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵。
[0216][0217]
其中，s
l
为所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵，其大小为d*d。
[0218]
s13：通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵进行特征值分解。
[0219][0220]
其中，和分别为s
l
特征值和特征向量，t＝0,1,2,
…
,d，d为s
l
的行数和列数。
[0221]
s14：根据主成分的百分比选取占比95％的前r个特征向量构成所述主成分分析矩阵w
l
。
[0222]
其中，
[0223]
s15：通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本进行主成分分析。
[0224][0225]
其中，表示对所述左眼虹膜特征样本和所述右眼虹膜特征样本进行主成分分析后得到的特征。
[0226]
s16：通过如下公式优化求得所述投影矩阵po和p1；
[0227][0228]
其中，和分别为z0和z1的类内方差矩阵，为z0和z1的类间方差矩阵。
[0229]
为更清楚的说明本发明的效果，将本发明的多模态身份认证方法(模态总数m＝2)在测试集上进行了测试，其身份认证效果如下表所示。
[0230][0231]
由上述可知，本发明的多模态身份认证方法与单个模态相比，具有更好的身份认证效果。
[0232]
实施例2：
[0233]
本发明实施例提供一种多模态身份认证装置，如图3所示，所述装置包括：
[0234]
数据获取模块1，用于获取两组多种模态的生物特征数据。
[0235]
比对分数计算模块2，用于对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数。
[0236]
决策融合模块3，用于根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果。
[0237]
其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；
[0238]
判断模块4，用于根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。
[0239]
本发明通过设定的权重将多模态的比对结果进行融合，根据融合得到的决策融合结果进行身份认证。每种模态的权重根据该种模态的训练样本集的比对分数的分布确定以及该种模态的训练样本集的拒真率确定。比对分数的分布的使用可以使得同一人的比对分数和不同人的比对分数的分布差异增大，提升认证分类效果。拒真率的可以用于指导权重的生成，使得权重的优化朝向有利于减少拒真率的目标方向进行。使用融合后的决策融合结果进行身份认证，提高了准确率。
[0240]
作为本发明实施例的一种改进，可以通过如下模块确定每种模态的权重：
[0241]
训练数据准备模块，用于对每种模态的训练样本集的生物特征样本进行两两比对，得到每种模态的比对分数集；
[0242]
其中，所述比对分数集包括同一人的比对分数和不同人的比对分数；
[0243]
归一化模块，用于根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化。
[0244]
权重计算模块，用于根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重。
[0245]
所述归一化模块包括：
[0246]
归一化量纲计算单元，用于通过如下公式计算每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域，作为每种模态的归一化量纲。
[0247]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0248]
其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的比对分数集中不同人的比对分数的最大值，μr(k)为第k种模态的比对分数集中不同人的比对分数的平均值，mina(k)为第k种模态的比对分数集中同一人的比对分数的最小值，μa(k)为第k种模态的比对分数集中同一人的比对分数的平均值；
[0249]
归一化单元，用于根据每种模态的归一化量纲对每种模态的比对分数集进行归一化；
[0250][0251]
其中，和分别为归一化前和归一化后的第k种模态的比对分数集中的第i个比对分数，i＝1,2,3,
…
,nk，nk为第k种模态的比对分数集中的比对分数总数，j＝0表
示比对分数为不同人的比对分数，j＝1表示比对分数为同一人的比对分数；
[0252]
所述权重计算模块用于：
[0253]
通过如下公式计算每种模态的权重；
[0254][0255]
其中，w(k)为第k种模态的权重；
[0256][0257]
frrk为第k种模态的训练样本集的拒真率。
[0258]
进一步的，可以通过如下公式计算所述决策融合结果；
[0259][0260]
其中，δ为所述决策融合结果，δ(k)为k种模态的比对结果；
[0261][0262]
s(k)为第k种模态的比对分数，t(k)为第k种模态的比对阈值。
[0263]
前述的判断模块进一步用于：
[0264]
若所述决策融合结果大于设定的决策阈值，则判断所述两组多种模态的生物特征数据属于同一人，否则，判断所述两组多种模态的生物特征数据不属于同一人。
[0265]
作为本发明实施例的另一种改进，所述多种模态的生物特征数据包括人脸特征和虹膜特征，所述虹膜特征由左眼虹膜特征和右眼虹膜特征融合得到。
[0266]
其中，可以通过如下模块将所述左眼虹膜特征和所述右眼虹膜特征融合得到所述虹膜特征：
[0267]
第一主成分分析模块，用于通过如下公式对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析；
[0268][0269]
其中，l＝0,1分别代表左眼和右眼，x
l
表示所述左眼虹膜特征和所述右眼虹膜特征，z
l
表示对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征，μ
l
表示所述左眼虹膜特征的均值和所述右眼虹膜特征的均值，w
l
表示所述左眼虹膜特征的主成分分析矩阵和所述右眼虹膜特征的主成分分析矩阵；μ
l
和w
l
通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到；
[0270]
特征融合模块，用于通过如下公式将所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征进行融合，得到所述虹膜特征；
[0271][0272]
其中，z为所述虹膜特征，po和p1为投影矩阵，po和p1通过左眼虹膜特征训练集和右
眼虹膜特征训练集训练得到。
[0273]
前述的μ
l
、w
l
、po和p1可以通过如下模块训练得到：
[0274]
均值计算模块，用于通过如下公式计算得到所述左眼虹膜特征的均值和所述右眼虹膜特征的均值；
[0275][0276]
其中，为所述左眼虹膜特征训练集/右眼虹膜特征训练集中的第i个左眼虹膜特征样本/右眼虹膜特征样本，i＝1,2,3,
…
,n，n为所述左眼虹膜特征样本/右眼虹膜特征样本的总数；
[0277]
协方差矩阵计算模块，用于通过如下公式计算所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0278][0279]
其中，s
l
为所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；
[0280]
特征值分解模块，用于通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵进行特征值分解；
[0281][0282]
其中，和分别为s
l
特征值和特征向量，t＝0,1,2,
…
,d，d为s
l
的行数和列数；
[0283]
主成分分析矩阵获取模块，用于根据主成分的百分比选取占比95％的前r个特征向量构成所述主成分分析矩阵w
l
；
[0284]
其中，
[0285]
第二主成分分析模块，用于通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本进行主成分分析；
[0286][0287]
其中，表示对所述左眼虹膜特征样本和所述右眼虹膜特征样本进行主成分分析后得到的特征；
[0288]
投影矩阵计算模块，用于通过如下公式优化求得所述投影矩阵po和p1；
[0289][0290]
其中，和分别为z0和z1的类内方差矩阵，为z0和z1的类间方差矩阵。
[0291]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所
属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
[0292]
实施例3：
[0293]
本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于多模态身份认证的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的多模态身份认证方法的步骤。
[0294]
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
[0295]
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
[0296]
实施例4：
[0297]
本发明还提供一种用于多模态身份认证的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述多模态身份认证的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述多模态身份认证方法的步骤。
[0298]
上述所述的设备根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
[0299]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种多模态身份认证方法，其特征在于，所述方法包括：获取两组多种模态的生物特征数据；对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数；根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果；其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。2.根据权利要求1所述的多模态身份认证方法，其特征在于，通过如下方法确定每种模态的权重：对每种模态的训练样本集的生物特征样本进行两两比对，得到每种模态的比对分数集；其中，所述比对分数集包括同一人的比对分数和不同人的比对分数；根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化；根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重。3.根据权利要求2所述的多模态身份认证方法，其特征在于，所述根据每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域对每种模态的比对分数集进行归一化，包括：通过如下公式计算每种模态的同一人的比对分数的分布和每种模态的不同人的比对分数的分布的非重叠区域，作为每种模态的归一化量纲；q(k)＝μ
a
(k)-min
a
(k)+max
r
(k)-μ
r
(k)其中，q(k)为第k种模态的归一化量纲，k＝1，2，...，m，m为模态的总数，max
r
(k)为第k种模态的比对分数集中不同人的比对分数的最大值，μ
r
(k)为第k种模态的比对分数集中不同人的比对分数的平均值，min
a
(k)为第k种模态的比对分数集中同一人的比对分数的最小值，μ
a
(k)为第k种模态的比对分数集中同一人的比对分数的平均值；根据每种模态的归一化量纲对每种模态的比对分数集进行归一化；其中，和分别为归一化前和归一化后的第k种模态的比对分数集中的第i个比对分数，i＝1，2，3，...，n
k
，n
k
为第k种模态的比对分数集中的比对分数总数，j＝0表示比对分数为不同人的比对分数，j＝1表示比对分数为同一人的比对分数；所述根据归一化后每种模态的比对分数集和每种模态的训练样本集的拒真率计算每种模态的权重，包括：通过如下公式计算每种模态的权重；
其中，w(k)为第k种模态的权重；frr
k
为第k种模态的训练样本集的拒真率。4.根据权利要求3所述的多模态身份认证方法，其特征在于，通过如下公式计算所述决策融合结果；其中，δ为所述决策融合结果，δ(k)为k种模态的比对结果；s(k)为第k种模态的比对分数，t(k)为第k种模态的比对阈值。5.根据权利要求1-4任一所述的多模态身份认证方法，其特征在于，所述多种模态的生物特征数据包括人脸特征和虹膜特征，所述虹膜特征由左眼虹膜特征和右眼虹膜特征融合得到。6.根据权利要求5述的多模态身份认证方法，其特征在于，通过如下方法将所述左眼虹膜特征和所述右眼虹膜特征融合得到所述虹膜特征：通过如下公式对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析；其中，l＝0，1分别代表左眼和右眼，x
l
表示所述左眼虹膜特征和所述右眼虹膜特征，z
l
表示对所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征，μ
l
表示所述左眼虹膜特征的均值和所述右眼虹膜特征的均值，w
l
表示所述左眼虹膜特征的主成分分析矩阵和所述右眼虹膜特征的主成分分析矩阵；μ
l
和w
l
通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到；通过如下公式将所述左眼虹膜特征和所述右眼虹膜特征进行主成分分析后得到的特征进行融合，得到所述虹膜特征；其中，z为所述虹膜特征，p
o
和p1为投影矩阵，p
o
和p1通过左眼虹膜特征训练集和右眼虹膜特征训练集训练得到。7.根据权利要求6所述的多模态身份认证方法，其特征在于，通过如下方法训练得到所述μ
l
、w
l
、p
o
和p1：通过如下公式计算得到所述左眼虹膜特征的均值和所述右眼虹膜特征的均值；
其中，为所述左眼虹膜特征训练集/右眼虹膜特征训练集中的第i个左眼虹膜特征样本/右眼虹膜特征样本，i＝1，2，3，...，n，n为所述左眼虹膜特征样本/右眼虹膜特征样本的总数；通过如下公式计算所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；其中，s
l
为所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵；通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本的协方差矩阵进行特征值分解；其中，和分别为s
l
特征值和特征向量，t＝0，1，2，...，d，d为s
l
的行数和列数；根据主成分的百分比选取占比95％的前r个特征向量构成所述主成分分析矩阵w
l
；其中，通过如下公式对所述左眼虹膜特征样本和右眼虹膜特征样本进行主成分分析；其中，表示对所述左眼虹膜特征样本和所述右眼虹膜特征样本进行主成分分析后得到的特征；通过如下公式优化求得所述投影矩阵p
o
和p1；其中，其中，和分别为z0和z1的类内方差矩阵，为z0和z1的类间方差矩阵。8.一种多模态身份认证装置，其特征在于，所述装置包括：数据获取模块，用于获取两组多种模态的生物特征数据；比对分数计算模块，用于对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数；决策融合模块，用于根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果；
其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；判断模块，用于根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。9.一种用于多模态身份认证的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述多模态身份认证方法的步骤。10.一种用于多模态身份认证的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述多模态身份认证方法的步骤。

技术总结
本发明公开了一种多模态身份认证方法、装置、存储介质及设备，属于生物识别领域。该方法包括：获取两组多种模态的生物特征数据；对所述两组多种模态的生物特征数据中相同模态的生物特征数据进行比对，得到多种模态的比对分数；根据每种模态的比对分数和设定的每种模态的比对阈值确定每种模态的比对结果，并根据设定的每种模态的权重对每种模态的比对结果进行加权投票，得到决策融合结果；其中，每种模态的权重根据该种模态的训练样本集的比对分数的分布以及该种模态的训练样本集的拒真率确定；根据所述决策融合结果判断所述两组多种模态的生物特征数据是否属于同一人。本发明提高了身份认证的性能。了身份认证的性能。了身份认证的性能。


技术研发人员：王洋 周军
受保护的技术使用者：北京眼神科技有限公司
技术研发日：2022.01.27
技术公布日：2023/8/9