多模态活体检测方法、装置、存储介质及设备与流程

1.本发明涉及生物识别领域，特别是指一种多模态活体检测方法、装置、存储介质及设备。


背景技术：

2.近年来，人脸识别以获取方便、非接触等优点，深受人们喜爱，广泛应用于金融、安全等领域。但也正因为其容易获取，容易被他人所利用，以打印照片或者拍摄视频等方式制作假体人脸，攻击人脸识别系统，从而冒名通过。所以，基于人脸图像的活体检测极其重要，是人脸识别的前提保障。
3.目前，常见的人脸活体检测技术有两类：用户配合式活体检测和静默活体检测。用户配合式活体检测，是指活体检测系统随机发送多个面部动作指令，要求用户在规定时间内做出顺序回应动作，系统依据判别用户回应动作是否准确，从而给出是否为活体人脸的判断。静默活体检测，是指用户在无感知的情况下，不动神色地完成活体检测任务。人脸静默活体检测方法主要有基于传统统计学习的方法，基于3d的方法以及基于近红外的方法等几种。
4.目前的人脸静默活体检测方法使用单一的数据源进行活体检测(即单模态活体检测)，单一的数据源可用的信息量是一定的，导致不能达到很好的人脸活体检测效果。


技术实现要素：

5.为解决现有技术的缺陷，本发明提供一种多模态活体检测方法、装置、存储介质及设备，提高了人脸活体检测的效果。
6.本发明提供技术方案如下：
7.第一方面，本发明提供一种多模态活体检测方法，所述方法包括：
8.获取同一用户的多种模态的人脸数据；
9.对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数；
10.根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数；
11.其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定；
12.根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果；
13.根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。
14.进一步的，通过如下方法确定每种模态的权重：
15.对每种模态的训练样本集进行活体检测，得到每种模态的检测分数集；
16.其中，所述训练样本集包括活体样本和假体样本，所述检测分数集包括活体分数和假体分数；
17.根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化；
18.根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重。
19.进一步的，所述根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化，包括：
20.通过如下公式计算每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域，作为每种模态的归一化量纲；
21.q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
22.其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的检测分数集中活体分数的最大值，μr(k)为第k种模态的检测分数集中活体分数的平均值，mina(k)为第k种模态的检测分数集中假体分数的最小值，μa(k)为第k种模态的检测分数集中假体分数的平均值；
23.根据每种模态的归一化量纲对每种模态的检测分数集进行归一化；
[0024][0025]
其中，和分别为归一化前和归一化后的第k种模态的检测分数集中的第i个检测分数，i＝1,2,3,
…
,nk，nk为第k种模态的检测分数集中的检测分数总数，j＝0表示检测分数为假体分数，j＝1表示检测分数为活体分数；
[0026]
所述根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重，包括：
[0027]
通过如下公式计算每种模态的权重；
[0028][0029]
其中，w(k)为第k种模态的权重；
[0030][0031]
frrk为第k种模态的训练样本集的活体拒绝率。
[0032]
进一步的，通过如下公式计算所述融合分数；
[0033][0034]
其中，s为所述融合分数，s(k)为第k种模态的检测分数；
[0035]
通过如下公式计算所述决策融合结果；
[0036][0037]
其中，δ为所述决策融合结果，δ(k)为k种模态的活体检测结果；
[0038][0039]
t(k)为第k种模态的活体检测阈值。
[0040]
进一步的，所述根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体，包括：
[0041]
若所述融合分数大于设定的第一阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0042]
或者，
[0043]
若所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0044]
或者，
[0045]
若所述融合分数大于设定的第一阈值且所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0046]
进一步的，所述多种模态的人脸数据包括不同种类光源下的人脸图像。
[0047]
进一步的，所述多种模态的人脸数据包括人脸图像的多个不同区域。
[0048]
进一步的，所述人脸图像的多个不同区域包括人脸图像的整体区域和局部区域，所述人脸图像为可见光人脸图像或近红外人脸图像。
[0049]
第二方面，本发明提供一种多模态活体检测装置，所述装置包括：
[0050]
数据获取模块，用于获取同一用户的多种模态的人脸数据；
[0051]
检测分数计算模块，用于对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数；
[0052]
融合分数计算模块，用于根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数；
[0053]
其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定；
[0054]
决策融合结果计算模块，用于根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果；
[0055]
活体判断模块，用于根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。
[0056]
进一步的，通过如下模块确定每种模态的权重：
[0057]
训练数据准备模块，用于对每种模态的训练样本集进行活体检测，得到每种模态的检测分数集；
[0058]
其中，所述训练样本集包括活体样本和假体样本，所述检测分数集包括活体分数和假体分数；
[0059]
归一化模块，用于根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化；
[0060]
权重计算模块，用于根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重。
[0061]
进一步的，所述归一化模块包括：
[0062]
归一化量纲计算单元，用于通过如下公式计算每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域，作为每种模态的归一化量纲；
[0063]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0064]
其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的检测分数集中活体分数的最大值，μr(k)为第k种模态的检测分数集中活体分数的平均值，mina(k)为第k种模态的检测分数集中假体分数的最小值，μa(k)为第k种模态的检测分数集中假体分数的平均值；
[0065]
归一化单元，用于根据每种模态的归一化量纲对每种模态的检测分数集进行归一化；
[0066][0067]
其中，和分别为归一化前和归一化后的第k种模态的检测分数集中的第i个检测分数，i＝1,2,3,
…
,nk，nk为第k种模态的检测分数集中的检测分数总数，j＝0表示检测分数为假体分数，j＝1表示检测分数为活体分数；
[0068]
所述权重计算模块用于：
[0069]
通过如下公式计算每种模态的权重；
[0070][0071]
其中，w(k)为第k种模态的权重；
[0072][0073]
frrk为第k种模态的训练样本集的活体拒绝率。
[0074]
进一步的，通过如下公式计算所述融合分数；
[0075][0076]
其中，s为所述融合分数，s(k)为第k种模态的检测分数；
[0077]
通过如下公式计算所述决策融合结果；
[0078][0079]
其中，δ为所述决策融合结果，δ(k)为k种模态的活体检测结果；
[0080][0081]
t(k)为第k种模态的活体检测阈值。
[0082]
进一步的，所述活体判断模块用于：
[0083]
若所述融合分数大于设定的第一阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0084]
或者，
[0085]
若所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0086]
或者，
[0087]
若所述融合分数大于设定的第一阈值且所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0088]
进一步的，所述多种模态的人脸数据包括不同种类光源下的人脸图像。
[0089]
进一步的，所述多种模态的人脸数据包括人脸图像的多个不同区域。
[0090]
进一步的，所述人脸图像的多个不同区域包括人脸图像的整体区域和局部区域，所述人脸图像为可见光人脸图像或近红外人脸图像。
[0091]
第三方面，本发明提供一种用于多模态活体检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的多模态活体检测方法的步骤。
[0092]
第四方面，本发明提供一种用于多模态活体检测的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的多模态活体检测方法的步骤。
[0093]
本发明具有以下有益效果：
[0094]
1、现有技术使用单一的模态进行人脸活体检测，本发明使用多种模态的人脸数据进行多模态人脸活体检测，提高了人脸活体检测可用的信息量，达到了更好的活体检测效果。
[0095]
2、通过权重对多种模态的检测分数进行融合，并对多个模态的活体检测结果进行加权投票，即既进行了检测分数的融合，又进行了多模态决策融合。并且融合的权重与每种模态的检测分数的分布以及活体拒绝率有关，利用检测分数的分布和活体拒绝率对检测分数和决策进行多模态融合，通过权重对检测分数的量纲和分布进行了统一，减少了不同模态的活体检测性能的差异对融合后活体检测的不利影响，使得多模态活体检测方法更加的有效、可行，可以获得更好的多模态活体检测效果。
[0096]
3、本发明进行的检测分数融合和决策融合均是简单的数值计算问题，不引入额外的时间开销，不会影响活体检测算法的整体速度。
附图说明
[0097]
图1为本发明的多模态活体检测方法的流程图；
[0098]
图2为第k种模态的假体分数和活体分数的分布示意图；
[0099]
图3为本发明的多模态活体检测装置的示意图。
具体实施方式
[0100]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0101]
实施例1：
[0102]
本发明实施例提供一种多模态活体检测方法，如图1所示，所述方法包括：
[0103]
s100：获取同一用户的多种模态的人脸数据。
[0104]
由于单一的数据源可用的信息量是一定的，使用单一的数据源进行活体检测不能达到很好的人脸活体检测效果。因此本发明使用多种数据源进行活体检测，即多模态活体检测。
[0105]
本步骤用于获取多种模态的人脸数据，多种模态的人脸数据的模态种类和获取方式不受限制。例如，多种模态的人脸数据可以是在不同种类光源下采集的人脸图像等。
[0106]
s200：对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数。
[0107]
本发明不限制得到检测分数的方式，例如可以使用卷积神经网络分别对多种模态的人脸数据进行处理，得到多种模态的检测分数。
[0108]
多种模态的检测分数可以记为s(k)，s(k)为第k种模态的检测分数，k＝1,2,
…
,m，m为模态的总数。
[0109]
s300：根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数。
[0110]
示例性的，所述融合分数可以通过如下公式计算；
[0111][0112]
其中，s为所述融合分数，w(k)为设定的第k种模态的权重。
[0113]
由于不同模态得到的检测分数的量纲和分布是不统一的，且不同模态的活体检测性能也是有差异的，因此将不同模态得到的检测分数直接融合会降低活体检测的性能。
[0114]
本发明通过权重将多种模态的检测分数进行加权求和，得到融合分数。每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定。模态的训练样本集的检测分数的分布可以反应活体检测算法的性能，根据该分布也能够对检测分数进行量纲统一。活体拒绝率是评价活体检测的一个指标，表示了活体样本被判断为假体的比例，是一种错误判断活体样本的评价，活体拒绝率也能够反应活体检测算法的性能。将活体拒绝率引入权重的确定，可以用于指导权重的生成，使得优化朝向有利于减少活体拒绝率的目标方向进行。
[0115]
因此，根据每种模态的训练样本集的检测分数的分布以及该种模态的训练样本集
的活体拒绝率确定的该种模态的权重可以对检测分数的量纲和分布进行统一，也能够减少不同模态的活体检测性能的差异对融合后活体检测的不利影响，进而可以获得更好的活体检测效果。
[0116]
s400：根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果。
[0117]
决策融合结果是对多个模态的活体检测结果进行加权投票的结果，其反映的是每种模态的活体检测结果在最终的活体检测中起到的作用，以及每种模态的活体检测结果在最终的活体检测中所占的比例。
[0118]
示例性的，所述决策融合结果可以通过如下公式计算；
[0119][0120]
其中，δ为所述决策融合结果，δ(k)为k种模态的活体检测结果；
[0121][0122]
t(k)为设定的第k种模态的活体检测阈值。
[0123]
s500：根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。
[0124]
多种模态的人脸数据经过上述处理可以得到两个判断因素，分别为融合分数和决策融合结果。融合分数和决策融合结果都是活体检测中的重要指标，可以分别判断，也可以两者综合判断。
[0125]
例如，若所述融合分数s大于设定的第一阈值ts，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0126]
或者，
[0127]
若所述决策融合结果δ大于设定的第二阈值δs，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0128]
或者，
[0129]
若所述融合分数s大于设定的第一阈值ts且所述决策融合结果δ大于设定的第二阈值δs，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0130]
本发明具有以下有益效果：
[0131]
1、现有技术使用单一的模态进行人脸活体检测，本发明使用多种模态的人脸数据进行多模态人脸活体检测，提高了人脸活体检测可用的信息量，达到了更好的活体检测效果。
[0132]
2、通过权重对多种模态的检测分数进行融合，并对多个模态的活体检测结果进行加权投票，即既进行了检测分数的融合，又进行了多模态决策融合。并且融合的权重与每种模态的检测分数的分布以及活体拒绝率有关，利用检测分数的分布和活体拒绝率对检测分数和决策进行多模态融合，通过权重对检测分数的量纲和分布进行了统一，减少了不同模态的活体检测性能的差异对融合后活体检测的不利影响，使得多模态活体检测方法更加的
有效、可行，可以获得更好的多模态活体检测效果。
[0133]
3、本发明进行的检测分数融合和决策融合均是简单的数值计算问题，不引入额外的时间开销，不会影响活体检测算法的整体速度。
[0134]
本发明包括训练过程和推理过程，训练过程的最终目的是通过标注的训练样本集得到每种模态融合的权重w(k)，而推理过程是对获得的多种模态的人脸数据，通过训练得到的权重，判断得到该多种模态的人脸数据属于的活体或者假体类别。
[0135]
推理过程即为前述的s100～s500，训练过程确定每种模态的权重的方法如下：
[0136]
s10：对每种模态的训练样本集进行活体检测，得到每种模态的检测分数集。
[0137]
其中，所述训练样本集包括活体样本和假体样本，所述检测分数集包括活体分数和假体分数。活体样本进行活体检测得到的检测分数为活体分数，假体样本进行活体检测得到的检测分数为假体分数。
[0138]
示例性的，以表示第k种模态的检测分数集中的第i个检测分数，i＝1,2,3,
…
,nk，nk为第k种模态的检测分数集中的检测分数总数，j＝0,1，当j＝0时，表示检测分数为假体分数，j＝1表示检测分数为活体分数。
[0139]
将第k种模态对活体样本进行活体检测得到的活体分数记为r(k)；
[0140][0141]
将第k种模态对假体样本进行活体检测得到的假体分数记为a(k)；
[0142][0143]
活体分数和假体分数的分布基本上满足高斯分布，对第k种模态的假体分数和活体分数进行统计，其分布如图2所示。
[0144]
其中，
[0145]
maxr(k)为第k种模态的检测分数集中活体分数的最大值；
[0146]
minr(k)为第k种模态的检测分数集中活体分数的最小值；
[0147]
μr(k)为第k种模态的检测分数集中活体分数的平均值；
[0148]
maxa(k)为第k种模态的检测分数集中假体分数的最大值；
[0149]
mina(k)为第k种模态的检测分数集中假体分数的最小值；
[0150]
μa(k)为第k种模态的检测分数集中假体分数的平均值。
[0151]
显然，活体分数和假体分数的分布的重叠部分可以反应该模态活体检测算法的性能，重叠部分越大说明活体样本和假体样本的区分越不明显，性能越差；反之，重叠部分越小说明活体样本和假体样本的区分度越高，性能越优异，所以需要通过多模态融合的方法，减小分数重叠的部分，增大二者之间的差异。
[0152]
s20：根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化。
[0153]
由前述，活体分数和假体分数的分布的重叠区域越大(即非重叠区域越小)说明活体样本和假体样本的区分越不明显，反之，活体样本和假体样本的区分度越高。因此本发明使用非重叠区域对每种模态的检测分数集进行归一化，可以对检测分数的量纲和分布进行统一，并使得活体分数和假体分数的分布差异增大，获得更好的活体检测效果。
[0154]
本步骤的具体实现方式可以为：
[0155]
s21：通过如下公式计算每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域，作为每种模态的归一化量纲。
[0156]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0157]
其中，q(k)为第k种模态的归一化量纲。
[0158]
对于检测分数的融合需要对不同模态下判断的检测分数进行归一化操作，归一化操作需要根据训练样本集的检测分数的分布中的非重叠区域的参数作为归一化量纲，对检测分数进行操作，归一化量纲的计算如上式。
[0159]
q(k)越大说明第k种模态的活体分数和假体分数的检测分数的分布相差越大，区分度越高，效果越好，使得该归一化量纲对检测分数归一化可以减小分布的重叠区域，进而获得更好的活体检测效果。
[0160]
s22：根据每种模态的归一化量纲对每种模态的检测分数集进行归一化；
[0161][0162]
其中，为归一化后的第k种模态的检测分数集中的第i个检测分数。
[0163]
s30：根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重。
[0164]
在其中一个示例中，每种模态的权重的具体计算公式如下：
[0165][0166]
其中，w(k)为第k种模态的权重；
[0167][0168]
frrk为第k种模态的训练样本集的活体拒绝率。
[0169]
评价活体检测性能的两个指标分别是活体拒绝率(frr)和假体通过率(far)，frr表示了活体样本被判断为假体的比例，是一种错误判断活体样本的评价，far是将假体样本判断为活体的比例，是一种错误判断假体的比例。在活体检测的性能评估中，都是希望frr和far二者越小越好。在本发明的多模态活体检测方法中，不仅需要考虑检测分数量纲的影响，还需要考虑不同模态的活体检测性能的差异也可能会降低融合后算法的性能。
[0170]
因此，本发明不仅将代表检测分数分布的归一化量纲引入权重的计算，还将frr引入到权重的计算，通过上述公式计算得到每种模态的权重w(k)。
[0171]
本发明的多种模态的人脸数据可以有多种情况，下面以两个具体示例举例说明。
[0172]
示例一：
[0173]
现有的人脸活体检测方法使用深度学习的方法在整张人脸图像上提取特征进行二分类任务判断活体或者假体。该方法只使用了整张人脸的纹理信息，对局部小范围的修改效果较差，如只将眼睛区域进行假体替换，是可以攻破基于整张人脸的静默活体检测方法的。
[0174]
为解决上述问题，本示例的多种模态的人脸数据包括人脸图像的多个不同区域，所述人脸图像的多个不同区域包括人脸图像的整体区域和局部区域，所述人脸图像为可见光人脸图像或近红外人脸图像。
[0175]
以可见光人脸图像为例，对其进行多模态活体检测的方法为：
[0176]
1、对可见光人脸图像进行人脸关键点定位。
[0177]
2、根据人脸关键点定位结果得到人脸图像的多个不同区域，作为所述多种模态的人脸数据。所述多个不同区域可以为人脸图像的整体区域、眼睛区域、嘴巴区域。上半边脸区域和下半边脸区域等。
[0178]
3、通过活体检测算法可以得到每一个区域(模态)的检测分数，然后通过本发明的方法进行分数融合和决策融合。
[0179]
本示例使用了可见光人脸图像的整体区域和局部区域进行多模态活体检测，对局部小范围的修改有较好的活体检测效果。近红外人脸图像与可见光人脸图像同理，不再赘述。
[0180]
示例二：
[0181]
所述多种模态的人脸数据包括不同种类光源下的人脸图像，不同种类光源下的人脸图像可以包括可见光人脸图像和近红外人脸图像。
[0182]
本示例应用于可以同时获得可见光人脸图像和近红外人脸图像的双模设备，将其采集的可见光人脸图像和近红外人脸图像作为多种模态的人脸数据，分别获得其检测分数，然后通过本发明的方法进行分数融合和决策融合。
[0183]
为更清楚的说明本发明的效果，将本发明的多模态活体检测方法(模态总数m＝3)在测试集上进行了测试，其活体检测效果如下表所示。
[0184][0185]
由上述可知，本发明的多模态活体检测方法与单个模态相比，具有更好的活体检测效果。
[0186]
实施例2：
[0187]
本发明实施例提供一种多模态活体检测装置，如图3所示，所述装置包括：
[0188]
数据获取模块1，用于获取同一用户的多种模态的人脸数据。
[0189]
检测分数计算模块2，用于对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数。
[0190]
融合分数计算模块3，用于根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数。
[0191]
其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定。
[0192]
决策融合结果计算模块4，用于根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果。
[0193]
活体判断模块5，用于根据所述融合分数和/或所述决策融合结果判断所述人脸数
据为活体或假体。
[0194]
本发明具有以下有益效果：
[0195]
1、现有技术使用单一的模态进行人脸活体检测，本发明使用多种模态的人脸数据进行多模态人脸活体检测，提高了人脸活体检测可用的信息量，达到了更好的活体检测效果。
[0196]
2、通过权重对多种模态的检测分数进行融合，并对多个模态的活体检测结果进行加权投票，即既进行了检测分数的融合，又进行了多模态决策融合。并且融合的权重与每种模态的检测分数的分布以及活体拒绝率有关，利用检测分数的分布和活体拒绝率对检测分数和决策进行多模态融合，通过权重对检测分数的量纲和分布进行了统一，减少了不同模态的活体检测性能的差异对融合后活体检测的不利影响，使得多模态活体检测方法更加的有效、可行，可以获得更好的多模态活体检测效果。
[0197]
3、本发明进行的检测分数融合和决策融合均是简单的数值计算问题，不引入额外的时间开销，不会影响活体检测算法的整体速度。
[0198]
作为本发明实施例的一种改进，通过如下模块确定每种模态的权重：
[0199]
训练数据准备模块，用于对每种模态的训练样本集进行活体检测，得到每种模态的检测分数集。
[0200]
其中，所述训练样本集包括活体样本和假体样本，所述检测分数集包括活体分数和假体分数。
[0201]
归一化模块，用于根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化；
[0202]
权重计算模块，用于根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重。
[0203]
前述的归一化模块可以包括：
[0204]
归一化量纲计算单元，用于通过如下公式计算每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域，作为每种模态的归一化量纲。
[0205]
q(k)＝μa(k)-mina(k)+maxr(k)-μr(k)
[0206]
其中，q(k)为第k种模态的归一化量纲，k＝1,2,
…
,m，m为模态的总数，maxr(k)为第k种模态的检测分数集中活体分数的最大值，μr(k)为第k种模态的检测分数集中活体分数的平均值，mina(k)为第k种模态的检测分数集中假体分数的最小值，μa(k)为第k种模态的检测分数集中假体分数的平均值。
[0207]
归一化单元，用于根据每种模态的归一化量纲对每种模态的检测分数集进行归一化。
[0208][0209]
其中，和分别为归一化前和归一化后的第k种模态的检测分数集中的第i个检测分数，i＝1,2,3,
…
,nk，nk为第k种模态的检测分数集中的检测分数总数，j＝0表示检测分数为假体分数，j＝1表示检测分数为活体分数。
[0210]
前述的权重计算模块用于：通过如下公式计算每种模态的权重。
[0211][0212]
其中，w(k)为第k种模态的权重。
[0213][0214]
frrk为第k种模态的训练样本集的活体拒绝率。
[0215]
作为本发明实施例的另一种改进，通过如下公式计算所述融合分数；
[0216][0217]
其中，s为所述融合分数，s(k)为第k种模态的检测分数。
[0218]
通过如下公式计算所述决策融合结果。
[0219][0220]
其中，δ为所述决策融合结果，δ(k)为k种模态的活体检测结果。
[0221][0222]
t(k)为第k种模态的活体检测阈值。
[0223]
本发明的活体判断模块用于：
[0224]
若所述融合分数大于设定的第一阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0225]
或者，
[0226]
若所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；
[0227]
或者，
[0228]
若所述融合分数大于设定的第一阈值且所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。
[0229]
前述的多种模态的人脸数据可以包括不同种类光源下的人脸图像。
[0230]
或者，前述的多种模态的人脸数据还可以包括人脸图像的多个不同区域。其中，所述人脸图像的多个不同区域包括人脸图像的整体区域和局部区域，所述人脸图像为可见光人脸图像或近红外人脸图像。
[0231]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
[0232]
实施例3：
[0233]
本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于多模态活体检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的多模态活体检测方法的步骤。
[0234]
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
[0235]
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
[0236]
实施例4：
[0237]
本发明还提供一种用于多模态活体检测的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述多模态活体检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述多模态活体检测方法的步骤。
[0238]
上述所述的设备根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
[0239]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种多模态活体检测方法，其特征在于，所述方法包括：获取同一用户的多种模态的人脸数据；对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数；根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数；其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定；根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果；根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。2.根据权利要求1所述的多模态活体检测方法，其特征在于，通过如下方法确定每种模态的权重：对每种模态的训练样本集进行活体检测，得到每种模态的检测分数集；其中，所述训练样本集包括活体样本和假体样本，所述检测分数集包括活体分数和假体分数；根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化；根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计算每种模态的权重。3.根据权利要求2所述的多模态活体检测方法，其特征在于，所述根据每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域对每种模态的检测分数集进行归一化，包括：通过如下公式计算每种模态的活体分数的分布和每种模态的假体分数的分布的非重叠区域，作为每种模态的归一化量纲；q(k)＝μ
a
(k)-min
a
(k)+max
r
(k)-μ
r
(k)其中，q(k)为第k种模态的归一化量纲，k＝1，2，...，m，m为模态的总数，max
r
(k)为第k种模态的检测分数集中活体分数的最大值，μ
r
(k)为第k种模态的检测分数集中活体分数的平均值，min
a
(k)为第k种模态的检测分数集中假体分数的最小值，μ
a
(k)为第k种模态的检测分数集中假体分数的平均值；根据每种模态的归一化量纲对每种模态的检测分数集进行归一化；其中，和分别为归一化前和归一化后的第k种模态的检测分数集中的第i个检测分数，i＝1，2,3，...，n
k
，n
k
为第k种模态的检测分数集中的检测分数总数，j＝0表示检测分数为假体分数，j＝1表示检测分数为活体分数；所述根据归一化后每种模态的检测分数集和每种模态的训练样本集的活体拒绝率计
算每种模态的权重，包括：通过如下公式计算每种模态的权重；其中，w(k)为第k种模态的权重；frr
k
为第k种模态的训练样本集的活体拒绝率。4.根据权利要求3所述的多模态活体检测方法，其特征在于，通过如下公式计算所述融合分数；其中，s为所述融合分数，s(k)为第k种模态的检测分数；通过如下公式计算所述决策融合结果；其中，δ为所述决策融合结果，δ(k)为k种模态的活体检测结果；t(k)为第k种模态的活体检测阈值。5.根据权利要求1-4任一所述多模态活体检测方法，其特征在于，所述根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体，包括：若所述融合分数大于设定的第一阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；或者，若所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体；或者，若所述融合分数大于设定的第一阈值且所述决策融合结果大于设定的第二阈值，则判断所述人脸数据为活体，否则，判断所述人脸数据为假体。6.根据权利要求1-4任一所述的多模态活体检测方法，其特征在于，所述多种模态的人脸数据包括不同种类光源下的人脸图像，或者所述多种模态的人脸数据包括人脸图像的多个不同区域。7.根据权利要求6所述的多模态活体检测方法，其特征在于，所述人脸图像的多个不同区域包括人脸图像的整体区域和局部区域，所述人脸图像为可见光人脸图像或近红外人脸图像。8.一种多模态活体检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取同一用户的多种模态的人脸数据；检测分数计算模块，用于对所述同一用户的多种模态的人脸数据进行活体检测，得到多种模态的检测分数；融合分数计算模块，用于根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数；其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定；决策融合结果计算模块，用于根据每种模态的检测分数和设定的每种模态的活体检测阈值确定每种模态的活体检测结果，并根据所述设定的每种模态的权重对每种模态的活体检测结果进行加权投票，得到决策融合结果；活体判断模块，用于根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。9.一种用于多模态活体检测的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述多模态活体检测方法的步骤。10.一种用于多模态活体检测的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述多模态活体检测方法的步骤。

技术总结
本发明公开了一种多模态活体检测方法、装置、存储介质及设备，属于生物识别领域。该方法包括：获取同一用户的多种模态的人脸数据并得到多种模态的检测分数；根据设定的每种模态的权重对所述多种模态的检测分数进行加权求和，得到融合分数；其中，每种模态的权重根据该种模态的训练样本集的检测分数的分布以及该种模态的训练样本集的活体拒绝率确定；根据所述设定的每种模态的权重、设定的每种模态的活体检测阈值以及所述多种模态的检测分数进行加权投票，得到决策融合结果；根据所述融合分数和/或所述决策融合结果判断所述人脸数据为活体或假体。本发明提高了人脸活体检测的效果。本发明提高了人脸活体检测的效果。本发明提高了人脸活体检测的效果。


技术研发人员：王洋 周军
受保护的技术使用者：北京眼神科技有限公司
技术研发日：2022.01.27
技术公布日：2023/8/9