活体检测方法及装置、电子设备、计算机可读存储介质与流程

1.本公开涉及人工智能技术领域，特别涉及一种活体检测方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.活体检测是用于在一些身份验证场景确定验证对象真实生理特征的检测方法，其通过对输入的模态信息进行局部或全局的特征提取以及分析，验证检测对象是否为真实活体。
3.活体检测是全栈人脸应用(人脸检测-》活体检测-》人脸验证/人脸识别)中的重要一环，广泛运用于金融支付、门禁、闸机、手机刷脸解锁等场景，可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而可以帮助用户甄别欺诈行为，保障用户的利益。


技术实现要素：

4.本公开提供一种活体检测方法及装置、处理核、电子设备、计算机可读存储介质。
5.第一方面，本公开提供了一种活体检测方法，该活体检测方法包括：
6.获取待检测目标的多个模态的目标图像；
7.对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征；
8.根据所述融合特征进行活体检测得到所述待检测目标的活体检测结果。
9.在一些可能的实现方式中，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：对所述多个模态的目标图像分别进行特征提取，得到每个模态的目标图像的图像特征；将所有模态的目标图像的图像特征进行融合，得到所述待检测目标的融合特征。
10.在一些可能的实现方式中，所述将所有模态的目标图像的图像特征进行融合，得到所述待检测目标的融合特征，包括：将所有模态的目标图像的图像特征在通道维度上拼接，得到所述待检测目标的融合特征。
11.在一些可能的实现方式中，所述对所述多个模态的目标图像分别进行特征提取，得到每个模态的目标图像的图像特征，包括：对所述多个模态的目标图像进行预处理，得到多个预处理图像；使用预先训练好的卷积网络对多个预处理图像分别进行特征提取，得到每个模态的目标图像的图像特征。
12.在一些可能的实现方式中，所述方法通过活体检测网络实现，所述活体检测网络包括卷积网络以及检测子网络；在所述获取待检测目标的多个模态的目标图像之前，还包括：使用训练样本以及训练样本对应的真实活体检测结果对所述卷积网络以及所述检测子网络进行联合训练，得到训练好的活体检测网络，每个训练样本包括多个预处理图像。
13.在一些可能的实现方式中，所述使用训练样本以及训练样本对应的真实活体检测结果对所述卷积网络以及所述检测子网络进行联合训练，包括：将所述训练样本输入所述
卷积网络，得到所述训练样本对应的图像特征；将所述训练样本对应的图像特征进行融合，得到所述训练样本对应的融合特征；将所述训练样本对应的融合特征输入所述检测子网络，根据所述检测子网络输出的活体检测结果以及所述训练样本对应的真实活体检测结果，对所述卷积网络以及所述检测子网络的参数进行修改。
14.在一些可能的实现方式中，所述检测子网络包括按照顺序连接的第一卷积层、第一瓶颈层、第二瓶颈层、第三瓶颈层、第四瓶颈层、第五瓶颈层、第六瓶颈层、第七瓶颈层、第二卷积层、池化层、第三卷积层、softmax层；其中，第一瓶颈层、第七瓶颈层包括一个瓶颈结构；第二瓶颈层包括两个瓶颈结构；第三瓶颈层、第五瓶颈层、第六瓶颈层包括三个瓶颈结构；第四瓶颈层包括四个瓶颈结构；第一卷积层卷积核大小为3*3；第二卷积层、第三卷积层的卷积核大小为1*1；池化层为7*7的平均池化层。
15.在一些可能的实现方式中，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：对所述多个模态的目标图像进行融合，得到所述待检测目标的融合图像；对所述融合图像进行特征提取，得到所述待检测目标的融合特征；
16.在一些可能的实现方式中，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：对所述多个模态的目标图像分别进行预处理，得到多个预处理图像；对所述多个预处理图像进行特征融合，得到所述待检测目标的融合特征。
17.在一些可能的实现方式中，所述对所述多个模态的目标图像分别进行预处理，得到多个预处理图像，包括：对每个模态的目标图像进行灰度化处理；将所有灰度化处理后的目标图像调整至同样的图像大小；对调整至同样图像大小的每个模态的目标图像的每个像素都进行标准化处理，得到多个预处理图像。
18.在一些可能的实现方式中，所述获取待检测目标的多个模态的目标图像，包括：获取多个模态的传感器采集的场景图像；对多个模态的场景图像中至少一个场景图像进行人脸检测，确定所述场景图像中的人脸区域；根据所述场景图像中的人脸区域，从所述多个模态的场景图像中分别裁剪出所述待检测目标的目标图像。
19.在一些可能的实现方式中，所述多个模态的场景图像的采集设备包括红外传感器、深度传感器、单目视觉传感器、双目视觉传感器、tof飞行时间传感器、激光雷达、毫米波雷达中的至少两种。
20.第二方面，本公开提供了一种活体检测装置，该活体检测装置包括：
21.图像模块，用于获取待检测目标的多个模态的目标图像；
22.融合模块，用于对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征；
23.检测模块，用于根据所述融合特征进行活体检测得到所述待检测目标的活体检测结果。
24.第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的活体检测方法。
25.第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的活体检测方法。
26.本公开所提供的实施例，能够将待检测目标的多个模态的目标图像进行特征融合，充分挖掘多种模态信息之间的联系，提升了活体检测的检测精度，使检测精度可以达到商用级别的精度要求，从而使得活体检测可以更好的应用，更准确的帮助用户甄别欺诈行为，保证用户的利益；同时，本公开实施例的活体检测方法将融合特征作为一个特征进行活体检测，因此对应的算法模型要较为简单，对算力要求不高，减少了活体检测所需的时间以及占用的算力资源。
27.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
28.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
29.图1为本公开实施例提供的一种活体检测方法的流程图；
30.图2为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
31.图3为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
32.图4为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
33.图5为bottleneck结构的结构示意图；
34.图6为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
35.图7为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
36.图8为本公开实施例提供的一种活体检测方法的部分步骤的流程图；
37.图9为本公开实施例提供的一种活体检测装置的框图；
38.图10为本公开实施例提供的一种电子设备的框图。
具体实施方式
39.为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
40.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
41.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
42.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
43.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域
普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
44.在一些相关技术中，可以通过提示用户完成指定的动作，如眨眼、张嘴、摇头等交互动作，在用户根据提示完成指定的动作后，根据用户的动作进行活体检测。
45.但这种方法需要用户完成复杂的交互动作，整个过程耗时较长，用户体验较差。
46.在另一些相关技术中，可以根据单一的模态信息进行活体检测，如根据rgb(红绿蓝颜色系统)模态信息进行活体检测、根据ir(infrared radiation，红外线)模态信息进行活体检测、根据depth(深度)模态信息进行活体检测等。
47.这种方法虽然不需要用户完成复杂的交互动作，但能够利用到的先验信息较少，检测精度不高，无法到达商用级别的精度要求。
48.在另一些相关技术中，可以通过多种模态信息级联的方式进行活体检测，即先使用一种模态信息进行活体检测，然后再使用另一种模态信息进行活体检测，如先根据ir模态信息进行活体检测，在无法获取活体检测结果后，再使用depth模态信息进行活体检测，以获取活体检测结果。
49.这种方法由于需要使用多种模态信息，因此对应的算法模型通常繁杂冗余，整个检测过程也耗时较长，且只是单纯将多个模态信息级联，并没有挖掘多个模态信息之间的联系，因此检测精度也不高。
50.而根据本公开实施例的活体检测方法，能够将待检测目标的多个模态的目标图像进行特征融合，充分挖掘多种模态信息之间的联系，提升了活体检测的检测精度，使检测精度可以达到商用级别的精度要求，从而使得活体检测可以更好的应用，更准确的帮助用户甄别欺诈行为，保证用户的利益；同时，本公开实施例的活体检测方法将融合特征作为一个特征进行活体检测，因此对应的算法模型要较为简单，对算力要求不高，减少了活体检测所需的时间以及占用的算力资源。
51.本公开实施例的活体检测方法的执行主体可以是活体检测装置，活体检测装置可以是终端设备或服务器或其他处理设备，其中，终端设备可以为车载设备、用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该活体检测方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者，可通过服务器执行所述方法。
52.图1为本公开实施例提供的一种活体检测方法的流程图。参照图1，该方法包括：
53.在步骤s11中，获取待检测目标的多个模态的目标图像；
54.在步骤s12中，对多个模态的目标图像进行特征融合，得到待检测目标的融合特征；
55.在步骤s13中，根据融合特征进行活体检测得到待检测目标的活体检测结果。
56.其中，在步骤s11中，获取的多个模态的目标图像是待检测目标在不同模态下的图像。
57.在步骤s12中，通过待检测目标在不同模态下的图像进行特征融合获取待检测目标的融合特征，因此，融合特征不仅包含了待检测目标在不同模态下的特征，还包括了不同
模态特征之间的关联特征。
58.在步骤s13中，根据融合特征进行活体检测相当于不仅对待检测目标在不同模态下的特征进行活体检测，而且对不同模态特征之间的关联特征进行活体检测，获取的活体检测结果的准确性显然要高于值对多种模态信息进行活体检测的检测结果的准确性。
59.因此，根据本公开的实施例的活体检测方法，能够将待检测目标的多个模态的目标图像进行特征融合，充分挖掘多种模态信息之间的联系，提升了活体检测的检测精度，使检测精度可以达到商用级别的精度要求，从而使得活体检测可以更好的应用，更准确的帮助用户甄别欺诈行为，保证用户的利益；同时，本公开实施例的活体检测方法将融合特征作为一个特征进行活体检测，因此对应的算法模型要较为简单，对算力要求不高，减少了活体检测所需的时间以及占用的算力资源。
60.在一些可能的实现方式中，可在步骤s11中，获取待检测目标的多个模态的目标图像，本公开对活体检测装置获取待检测目标的多个模态的目标图像的具体方式并不作限制。
61.在一些可能的实现方式中，待检测目标的多个模态的目标图像可以是终端(如手机、银行用户自助终端等)通过安装在终端的采集设备(如相机)采集得到的，并通过网络发送至活体检测装置，供活体检测检测装置获取待检测目标的多个模态的目标图像。
62.在一些可能的实现方式中，活体检测装置本身就安装有采集设备，其可以直接通过本身的采集设备采集获取待检测目标的多个模态的目标图像。
63.在一些可能的实现方式中，待检测目标的多个模态的目标图像为待检测目标在不同模态下的图像，具体可以包括待检测目标的ir模态图像、待检测目标的rgb图像、待检测目标的depth图像等，本公开对具体的模态种类并不作限制。
64.在一些可能的实现方式中，可在步骤s12中，对获取的待检测目标的多个模态的目标图像进行特征融合，以获取待检测目标的融合特征，本公开对获取待检测目标的融合特征的具体方式不作限制。
65.在一些可能的实现方式中，可先对多个模态的目标图像分别进行特征提取，将获取的每个模态的目标图像的图像特征进行融合，作为待检测目标的融合特征。
66.在一些可能的实现方式中，可先对多个模态的目标图像进行融合，获取待检测目标的融合图像，对待检测目标的融合图像进行特征提取，将提取到的特征作为待检测目标的融合特征。
67.在一些可能的实现方式中，在对多个模态的目标图像进行处理获取待检测目标的融合特征之前，需要对多个模态的目标图像进行预处理，以消除噪声等对获取的待检测目标的融合特征的影响，获取“更好”的融合特征(即有利用获取更准确的活体检测结果的特征)，本公开对预处理的具体方式不作限制。
68.在一些可能的实现方式中，可在步骤s13中，对待检测目标的融合特征进行活体检测，在获取活体检测结果后，将其作为待检测目标的活体检测结果，本公开对根据待检测目标的融合特征获取待检测目标的活体检测结果的具体方法并不作限定。
69.在一些可能的实现方式中，可以通过深度学习的方式对融合特征进行活体检测，即构建活体检测网络，将待检测目标的融合特征输入活体检测网络中获取活体检测结果。
70.在一些可能的实现方式中，待检测目标的活体检测结果包括通过与不通过，在获
取待检测目标的活体检测结果之后，活体检测装置将待检测目标的活体检测结果发送至需要待检测目标的活体检测结果的终端(如手机、银行用户自助终端等)，以供终端根据待检测目标的活体检测结果进行之后的步骤。
71.例如，待检测目标可以是人脸，终端的处理器在获取人脸后，需要根据获取的人脸的活体检测结果来判断用户身份，则活体检测装置使用本公开实施例的活体检测方法获取人脸的活体检测结果后，将活体检测结果发送至终端的处理器，在活体检测结果为通过的情况下，判断用户身份通过，终端允许当前用户以该身份登录，并提示用户进行下一步操作；在活体检测结果为不通过的情况下，判断用户身份不通过，终端拒绝当前用户以该身份登录，并提示用户退出或重新进行人脸拍摄。
72.下面对根据本公开实施例的活体检测方法进行展开说明。
73.如前所述，待检测目标可以是人脸，待检测目标的多个模态的目标图像可以通过采集设备采集获取，由于采集设备获取的往往是包含人脸的场景图，这些场景图中包含了太多不属于人脸的信息，可能会影响活体检测的结果，因此，在获取包含人脸的场景图后，需要对场景图进行人脸检测，以确定人脸区域，并通过对场景图进行裁剪获取目标图像。
74.图2为在待检测目标为人脸的情况下，获取待检测目标的多个模态的目标图像的具体步骤的流程图。参照图2，步骤s11可包括步骤s21、步骤s22、步骤s23。
75.在步骤s21中，获取多个模态的传感器采集的场景图像；
76.在步骤s22中，对多个模态的场景图像中至少一个场景图像进行人脸检测，确定场景图像中的人脸区域；
77.在步骤s23中，根据场景图像中的人脸区域，从多个模态的场景图像中分别裁剪出待检测目标的目标图像。
78.举例来说，在步骤s21中，多个模态的场景图像的采集设备包括红外传感器、深度传感器、单目视觉传感器、双目视觉传感器、tof飞行时间传感器、激光雷达、毫米波雷达中的至少两种，本公开对采集设备的具体组成并不作限制。
79.其中，红外传感器可以获取ir模态的场景图像，深度传感器可以获取depth模态的场景图像，单目视觉传感器可以获取rgb模态的场景图像，双目视觉传感器可以获取depth模态的场景图像，tof(time of flight，飞行时间)传感器可以获取depth模态的场景图像，激光雷达、毫米波雷达也可以获取depth模态的场景图像。
80.在步骤s22中，可对获取的多个模态的场景图像中至少一个场景图像进行人脸检测，确定场景图像中的人脸区域，本公开对人脸检测的具体方法并不作限制。
81.在一些可能的实现方式中，多个模态的传感器可为安装在相同位置的传感器，其采集的多个模态的场景图像是相同角度、相同大小的场景图像，即待检测目标在不同模态的场景图像中的位置是一致的。
82.由于多个模态的传感器为安装在相同位置的传感器，待检测目标在不同模态的传感器采集的场景图像中的位置是一致的，因此，可以只对一个模态的场景图像进行人脸检测，在获取人脸在该模态的场景图像中的位置后，确定其他模态的场景图像的对应位置为其他模态的场景图像中的人脸区域。
83.在一些可能的实现方式中，多个模态的传感器的位置可能存在区别，这些传感器采集的多个模态的场景图像的角度等也会存在区别，即待检测目标在不同模态的场景图像
中的位置可能存在区别。因此，不能根据一个模态的场景图像中人脸所在区域来确定其他模态的场景图像中的人脸区域，需要对每个模态的场景图像都进行人脸检测，以获取每个模态的场景图像中的人脸区域。
84.在步骤s23中，根据每个模态的场景图像中的人脸区域，从每个模态的场景图像中采集出人脸区域，作为待检测目标的目标图像。
85.在待检测目标为人脸的情况下，通过人脸检测，确定多个模态的场景图像中的人脸区域，并根据多个模态的场景图像中的人脸区域裁剪出待检测目标的目标图像，可以过滤掉场景图像中不属于待检测目标的信息，以保证根据多个模态的目标图像获取的融合特征为待检测目标的融合特征，进而提升活体检测的精度。
86.在一些可能的实现方式中，在待检测目标为人脸的情况下，获取的场景图像具体可以是通过结构光相机获取的ir模态场景图像和depth模态场景图像，由于ir模态场景图像和depth模态场景图像都是通过结构光相机获取的，因此，可以只对ir模态场景图像进行人脸检测，确定人脸区域，并根据确定的人脸区域，从ir模态场景图像和depth模态场景图像中裁剪出人脸区域作为待检测目标的目标图像。
87.在一些可能的实现方式中，对多个模态的目标图像进行特征融合，可以先对多个模态的目标图像分别进行特征提取，将获取的每个模态的目标图像的图像特征进行融合。
88.图3为先对多个模态的目标图像进行特征提取，再将提取到的特征进行融合的具体步骤的流程示意图。参照图3，步骤s12可以包括步骤s31、步骤s32。
89.在步骤s31中，对多个模态的目标图像分别进行特征提取，得到每个模态的目标图像的图像特征；
90.在步骤s32中，将所有模态的目标图像的图像特征进行融合，得到待检测目标的融合特征。
91.在一些可能的实现方式中，在步骤s31中，可以使用特定方法提取每个模态的目标的特定特征，如使用特征提取方法提取每个模态的目标图像的sift(scale-invariant feature transform，尺度不变特征转换)等特征。
92.在一些可能的实现方式中，也可以使用特征提取网络(如卷积神经网络等)提取每个模态的目标图像的特征。
93.在一些可能的实现方式中，在对多个模态的目标图像进行特征提取之前，可以先对多个模态的目标图像进行预处理，消除噪声等对获取的待检测目标的融合特征的影响，获取“更好”的融合特征。
94.图4为对多个模态的目标图像进行预处理，并通过卷积网络来对多个模态的目标图像进行特征提取的具体步骤的流程示意图。参照图4，步骤s31可以包括步骤s41、步骤s42.
95.在步骤s41中，对多个模态的目标图像进行预处理，得到多个预处理图像；
96.在步骤s42中，使用预先训练好的卷积网络对多个预处理图像分别进行特征提取，得到每个模态的目标图像的图像特征。
97.在一些可能的实现方式中，在步骤s41中，多个模态的目标图像进行预处理包括灰度化、resize(改变大小)、标准化处理等。
98.其中，可以先对多个模态的目标图像进行灰度化处理，然后将灰度化后的图像
resize(图像大小变换)至同样的图像大小(如resize至宽高为128*128)，然后将resize之后的图像逐像素的灰度值减去所有像素的灰度值均值，并除以所有像素的方差，以获取多个预处理图像。
99.在一些可能的实现方式中，在步骤s42中，使用预先训练好的卷积网络对预处理图像实现特征提取，获取每个模态的目标图像的图像特征。例如，卷积网络可以由卷积核大小为3*3的单层卷积层或多层卷积层，将每个预处理图像输入卷积网络，卷积网络的输出就是该模态的目标图像的图像特征。
100.在一些可能的实现方式中，对每个模态的目标图像对应的预处理图像使用不同参数的卷积网络提取特征。由于待检测目标在每个模态下的独特特征可能是不同的，因此，使用不同参数的卷积网络提取不同模态的目标图像对应的预处理图像的特征，可以提取到更好的特征，提升活体检测的准确率。
101.在一些可能的实现方式中，在步骤s32中，可将所有模态的目标图像的图像特征在通道维度上拼接，得到待检测目标的融合特征。
102.其中，可以通过concatenate(连接)操作实现所有模态的目标图像的图像特征在通道维度方向上的拼接。通过将所有模态的目标图像的图像特征在通道维度方向上拼接实现了待检测目标的多模态特征并行融合。
103.在一些可能的实现方式中，获取待检测目标的融合特征后，可以通过深度学习的方式对融合特征进行活体检测，构建检测子网络，将待检测目标的融合特征输入预先训练检测网络，以获取待检测目标的活体检测结果。
104.在一些可能的实现方式中，检测子网络包括如表1所示的结构。
105.表1
106.输入尺寸模块输出通道数重复次数64*64*323*3卷积层8164*64*8bottleneck(瓶颈)8164*64*8bottleneck8228*28*8bottleneck8314*14*8bottleneck1647*7*16bottleneck2437*7*24bottleneck4033*3*40bottleneck8013*3*801*1卷积层32013*3*3207*7平均池化层32011*1*3201*1卷积层21
107.如表1所示，检测子网络包括按照顺序连接的第一卷积层、第一瓶颈层、第二瓶颈层、第三瓶颈层、第四瓶颈层、第五瓶颈层、第六瓶颈层、第七瓶颈层、第二卷积层、池化层、第三卷积层。
108.第一卷积层的卷积核大小为3*3，其输入特征的尺寸为64*64*32(32为通道数，64*64为每个通道的特征的大小)，输出特征的尺寸为64*64*8(8为通道数，64*64为每个通道的特征的大小)。
109.第一瓶颈层由1个bottleneck(瓶颈)结构组成，其输入特征的尺寸为第一卷积层输出特征的尺寸，即64*64*8，输出特征的尺寸为64*64*8(8为通道数，64*64为每个通道的特征的大小)。
110.第二瓶颈层由2个级联的bottleneck结构组成，其输入特征的尺寸为64*64*8，输出特征的尺寸为28*28*8(8为通道数，28*28为每个通道的特征的大小)。
111.第三瓶颈层由3个级联的bottleneck结构组成，其输入特征的尺寸为28*28*8，输出特征的尺寸为14*14*8(8为通道数，14*14为每个通道的特征的大小)。
112.第四瓶颈层由4个级联的bottleneck结构组成，其输入特征的尺寸为14*14*8，输出特征的尺寸为7*7*16(16为通道数，7*7为每个通道的特征的大小)。
113.第五瓶颈层由3个级联的bottleneck结构组成，其输入特征的尺寸为7*7*16，输出特征的尺寸为7*7*24(24为通道数，7*7为每个通道的特征的大小)。
114.第六瓶颈层由3个级联的bottleneck结构组成，其输入特征的尺寸为7*7*24，输出特征的尺寸为3*3*40(40为通道数，3*3为每个通道的特征的大小)。
115.第七瓶颈层由1个级联的bottleneck结构组成，其输入特征的尺寸为3*3*40，输出特征的尺寸为3*3*80(80为通道数，3*3为每个通道的特征的大小)。
116.图5为bottleneck结构的具体组成示意图。参照图5，一个bottleneck包括按照顺序连接的expansion(升维)模块、depthwise(纵深)模块、projection(降维)模块。
117.其中，expansion模块包括按照顺序连接的1个1*1“expansion”layer(升维层)、bn(batch normalization，批量归一化)层、激活层(具体可以为relu6，即限制最大输出值为6的relu层)，其用于升高特征维度，以使depthwise模块可以在更好的维度上卷积，帮助depthwise模块提取更好的特征。
118.depthwise模块包括按照顺序连接的1个3*3“depthwise”convolution(纵深卷积层)、bn(batch normalization，批量归一化)层、激活层(具体可以为relu6)，经过expansion模块对特征升维，3*3“depthwise”convolution可以在更高的维度上，或者说更深的深度上卷积，相比于在低纬度上卷积，在高纬度上卷积，提取特征的效果更好。
119.projection模块包括按照顺序连接的1个1*1“projection”layer(降维层)、bn(batch normalization，批量归一化)层，其用于降低特征维度，其将升维后的特征降低为升维之前的维度，以方便特征可以继续进行网络的下一层。
120.通过expansion模块、depthwise模块、projection模块的结构，先升高特征维度，在进行深度卷积之后，再降低特征维度，不仅提升了特征提取的效果，而且减少参数的数量，减少计算量，加快活体检测的速度，进而可以减少活体检测的整体算力要求，减少活体检测方法运行的时间以及芯片能耗，使得活体检测方法可以广泛应用于移动嵌入式场景。
121.在本公开的实施例中，通过bottleneck结构将64*64*8的特征提取为3*3*40的特征，而这17个bottleneck结构的参数仅仅包括34个1*1卷积核、17个3*3卷积核、51个bn层、51个relu层对应的参数，其参数量以及所需的计算量要远远小于使用卷积层以及池化层将将64*64*8的特征提取为3*3*40的特征所需的参数量以及计算量。
122.第二卷积层的卷积核大小为1*1，其输入特征的尺寸为3*3*80，输出特征的尺寸为3*3*320(320为通道数，3*3为每个通道的特征的大小)。
123.池化层为7*7的平均池化层，其输入特征的尺寸为3*3*320，输出特征的尺寸为1*
1*320(320为通道数，1*1为每个通道的特征的大小)。
124.第三卷积层的卷积核的大小为1*1，其输入特征的尺寸为1*1*320，输出特征的通道数为2，也就是说，第三卷积层输出的特征为两个值，这个值分别对应待检测目标活体检测通过的分数、待检测目标活体检测不通过的分数。
125.在一些可能的实现方式中，检测子网络还包括连接在第三卷积层之后的softmax层(图中未示出)，其将第三卷积层输出的待检测目标活体检测通过的分数、待检测目标活体检测不通过的分数映射至[0,1]区间内，并将映射至[0,1]区间内值作为待检测目标活体检测通过的概率值、待检测目标活体检测不通过的概率值。
[0126]
在一些可能的实现方式中，通过设定阈值，根据softmax层输出的待检测目标活体检测通过的概率值、待检测目标活体检测不通过的概率值判定待检测目标的活体检测是否通过。如若softmax层输出的待检测目标活体检测通过的概率值大于预设阈值，则判定待检测目标的活体检测通过，否则，则判定待检测目标的活体检测不通过。
[0127]
通过检测子网络的组成可以看出，检测子网络为通过bottleneck结构构建的轻量级网络，通过检测子网络对融合特征进行活体检测，不仅检测结果准确率高，而且速度快，所需计算量小，因此可以减少活体检测的整体算力要求，减少活体检测方法运行的时间以及芯片能耗，使得活体检测方法可以广泛应用于移动嵌入式场景。
[0128]
在一些可能的实现方式中，用于提取特征的多个卷积网络和检测子网络共同组成活体检测网络，在获取待检测目标的多个模态的目标图像之前还需要对活体检测网络进行训练，以得到训练好的卷积网络以及检测子网络。
[0129]
图6为训练活体检测网络的具体步骤的流程示意图，参照图6，训练活体检测网络的具体步骤包括步骤s61。
[0130]
在步骤s61中，使用训练样本以及训练样本对应的真实活体检测结果对卷积网络以及检测子网络进行联合训练，得到训练好的活体检测网络，每个训练样本包括多个预处理图像。
[0131]
在一些可能的实现方式中，使用已经预处理完成的图像以及其对应的真实活体检测结果对卷积网络以及检测子网络进行联合训练。
[0132]
图7为使用已经预处理完成的图像以及其对应的真实活体检测结果对卷积网络以及检测子网络进行联合训练的具体步骤的流程示意图。参照图7，步骤s61包括步骤s71、步骤s72、步骤s73。
[0133]
在步骤s71中，将训练样本输入卷积网络，得到训练样本对应的图像特征；
[0134]
在步骤s72中，将训练样本对应的图像特征进行融合，得到训练样本对应的融合特征；
[0135]
在步骤s73中，将训练样本对应的融合特征输入检测子网络，根据检测子网络输出的活体检测结果以及训练样本对应的真实活体检测结果，对卷积网络以及检测子网络的参数进行修改。
[0136]
在一些可能的实现方式中，待检测目标为人脸，训练样本可以包括包含真实人脸的正样本，以及非真实人脸(如带有面具的人脸，或照片等)的负样本，每个正样本或负样本都经过灰度化以及标准化处理，resize至128*128大小的多个模态的图像。
[0137]
在一些可能的实现方式中，在步骤s71中，将训练样本输入多个卷积网络，得到卷
积网络提取的训练样本对应的每个模态的图像特征，将卷积网络提取的训练样本对应的每个模态的图像特征在通道维度上进行拼接，获取训练样本的融合特征，将训练样本的融合特征输入检测子网络，根据检测子网络输出的活体检测结果与训练样本对应的真实活体检测结果，通过反向传播对卷积网络以及检测子网络的参数进行修改，重复该过程，通过多次训练，获取训练好的卷积网络和检测子网络。
[0138]
通过联合训练，将卷积网络和检测子网络看作一个整体，不仅可以对卷积网络以及检测子网络同时进行训练，而且增强了卷积网络和检测子网络的联系性，提升了卷积网络和检测子网络的检测准确性。
[0139]
在一些可能的实现方式中，对多个模态的目标图像进行特征融合，可以先对多个模态的目标图像进行融合，获取待检测目标的融合图像，对待检测目标的融合图像进行特征提取，将提取到的特征作为待检测目标的融合特征。
[0140]
图8为先对多个模态的目标图像进行融合，再提取融合后图像的特征的具体步骤的流程示意图。参照图8，步骤s12可以包括步骤s81、步骤s82。
[0141]
在步骤s81中，对多个模态的目标图像进行融合，得到待检测目标的融合图像；
[0142]
在步骤s82中，对融合图像进行特征提取，得到待检测目标的融合特征。
[0143]
在一些可能的实现方式中，在对多个模态的目标图像进行融合之前，可以先对多个模态的目标图像进行预处理，消除噪声等对获取的待检测目标的融合特征的影响，获取“更好”的融合特征。
[0144]
在一些可能的实现方式中，多个模态的目标图像进行预处理包括灰度化、resize(改变大小)、标准化处理等。
[0145]
例如，可以先对多个模态的目标图像进行灰度化处理，然后将灰度化后的图像resize至宽高为128*128，然后将resize之后的图像逐像素的灰度值减去所有像素的灰度值均值，并除以所有像素的方差，以获取多个预处理图像。
[0146]
在一些可能的实现方式中，在步骤s81中，可将多个模态的目标图像对应的预处理图像在通道维度上拼接，得到待检测目标的融合图像。例如，可以通过concatenate(连接)操作实现所有模态的目标图像在通道维度方向上的拼接。
[0147]
在一些可能的实现方式中，在步骤s82中，使用预先训练好的卷积网络对融合图像实现特征提取，获取待检测目标的融合特征。具体的，卷积网络可以由单层卷积核大小为3*3的卷积层，将融合图像输入卷积网络，卷积网络的输出就是待检测目标的融合特征。
[0148]
在一些可能的实现方式中，获取待检测目标的融合特征后，可以通过深度学习的方式对融合特征进行活体检测，构建检测子网络，将待检测目标的融合特征输入预先训练检测网络，以获取待检测目标的活体检测结果。检测子网络的具体结构已在上文具体描述，在此就不在赘述。
[0149]
在一些可能的实现方式中，提取特征的卷积网络和检测子网络共同组成活体检测网络，在获取待检测目标的多个模态的目标图像之前还需要对活体检测网络进行训练，以得到训练好的卷积网络以及检测子网络。
[0150]
在一些可能的实现方式中，使用已经预处理完成的图像以及其对应的真实活体检测结果对卷积网络以及检测子网络进行联合训练。
[0151]
在一些可能的实现方式中，待检测目标为人脸，训练样本可以包括包含真实人脸
的正样本，以及非真实人脸(如带有面具的人脸，或照片等)的负样本，每个正样本或负样本都经过灰度化以及标准化处理，resize至128*128大小的多个模态的图像。
[0152]
在一些可能的实现方式中，将训练样本每个模态的预处理图像在通道维度上进行拼接，将拼接好的图像输入卷积网络，得到卷积网络提取的训练样本的融合特征，将训练样本的融合特征输入检测子网络，根据检测子网络输出的活体检测结果与训练样本对应的真实活体检测结果，通过反向传播对卷积网络以及检测子网络的参数进行修改，重复该过程，通过多次训练，获取训练好的卷积网络和检测子网络。
[0153]
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0154]
此外，本公开还提供了活体检测装置、电子设备、计算机可读存储介质，上述均可用来实现本公开提供的任一种活体检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
[0155]
图9为本公开实施例提供的一种活体检测装置的框图。
[0156]
参照图9，本公开实施例提供了一种活体检测装置，该活体检测装置包括：
[0157]
图像模块，用于获取待检测目标的多个模态的目标图像；
[0158]
融合模块，用于对多个模态的目标图像进行特征融合，得到待检测目标的融合特征；
[0159]
检测模块，用于根据融合特征进行活体检测得到待检测目标的活体检测结果。
[0160]
根据本公开的实施例的活体检测装置，能够将待检测目标的多个模态的目标图像进行特征融合，充分挖掘多种模态信息之间的联系，提升了活体检测的检测精度，使检测精度可以达到商用级别的精度要求，从而使得活体检测可以更好的应用，更准确的帮助用户甄别欺诈行为，保证用户的利益；同时，本公开实施例的活体检测方法将融合特征作为一个特征进行活体检测，因此对应的算法模型要较为简单，对算力要求不高，减少了活体检测所需的时间以及占用的算力资源。
[0161]
图10为本公开实施例提供的一种电子设备的框图。
[0162]
参照图10，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器1001；以及与至少一个处理器1001通信连接的存储器1002，以及一个或多个i/o接口1003，连接在处理器1001与存储器1002之间；其中，存储器1002存储有可被至少一个处理器1001执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器1001执行，以使至少一个处理器1001能够执行上述的活体检测方法。
[0163]
在一些实施例中，该电子设备可以是类脑芯片，由于类脑芯片可以采用向量化计算方式，且需要通过外部内存例如双倍速率(double data rate，ddr)同步动态随机存储器调入神经网络模型的权重信息等参数。因此，本公开实施例采用批处理的运算效率较高。
[0164]
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的活体检测方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
[0165]
根据本公开的实施例的电子设备和计算机可读介质，能够将待检测目标的多个模
态的目标图像进行特征融合，充分挖掘多种模态信息之间的联系，提升了活体检测的检测精度，使检测精度可以达到商用级别的精度要求，从而使得活体检测可以更好的应用，更准确的帮助用户甄别欺诈行为，保证用户的利益；同时，本公开实施例的活体检测方法将融合特征作为一个特征进行活体检测，因此对应的算法模型要较为简单，对算力要求不高，减少了活体检测所需的时间以及占用的算力资源。
[0166]
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述活体检测方法。
[0167]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
[0168]
如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom)、静态随机存取存储器(sram)、闪存或其他存储器技术、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0169]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0170]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利
用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0171]
这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0172]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0173]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0174]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0175]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0176]
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

技术特征：
1.一种活体检测方法，其特征在于，包括：获取待检测目标的多个模态的目标图像；对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征；根据所述融合特征进行活体检测，得到所述待检测目标的活体检测结果。2.根据权利要求1所述的活体检测方法，其特征在于，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：对所述多个模态的目标图像分别进行特征提取，得到每个模态的目标图像的图像特征；将所有模态的目标图像的图像特征进行融合，得到所述待检测目标的融合特征。3.根据权利要求2所述的活体检测方法，其特征在于，所述将所有模态的目标图像的图像特征进行融合，得到所述待检测目标的融合特征，包括：将所有模态的目标图像的图像特征在通道维度上拼接，得到所述待检测目标的融合特征。4.根据权利要求2所述的活体检测方法，其特征在于，所述对所述多个模态的目标图像分别进行特征提取，得到每个模态的目标图像的图像特征，包括：对所述多个模态的目标图像进行预处理，得到多个预处理图像；使用预先训练好的卷积网络对多个预处理图像分别进行特征提取，得到每个模态的目标图像的图像特征。5.根据权利要求4所述的活体检测方法，其特征在于，所述方法通过活体检测网络实现，所述活体检测网络包括卷积网络以及检测子网络；在所述获取待检测目标的多个模态的目标图像之前，还包括：使用训练样本以及训练样本对应的真实活体检测结果对所述卷积网络以及所述检测子网络进行联合训练，得到训练好的活体检测网络，每个训练样本包括多个预处理图像。6.根据权利要求5所述的活体检测方法，其特征在于，所述使用训练样本以及训练样本对应的真实活体检测结果对所述卷积网络以及所述检测子网络进行联合训练，包括：将所述训练样本输入所述卷积网络，得到所述训练样本对应的图像特征；将所述训练样本对应的图像特征进行融合，得到所述训练样本对应的融合特征；将所述训练样本对应的融合特征输入所述检测子网络，根据所述检测子网络输出的活体检测结果以及所述训练样本对应的真实活体检测结果，对所述卷积网络以及所述检测子网络的参数进行修改。7.根据权利要求5所述的活体检测方法，其特征在于，所述检测子网络包括按照顺序连接的第一卷积层、第一瓶颈层、第二瓶颈层、第三瓶颈层、第四瓶颈层、第五瓶颈层、第六瓶颈层、第七瓶颈层、第二卷积层、池化层、第三卷积层、softmax层；其中，第一瓶颈层、第七瓶颈层包括一个瓶颈结构；第二瓶颈层包括两个瓶颈结构；第三瓶颈层、第五瓶颈层、第六瓶颈层包括三个瓶颈结构；第四瓶颈层包括四个瓶颈结构；第一卷积层卷积核大小为3*3；第二卷积层、第三卷积层的卷积核大小为1*1；池化层为7*7的平均池化层。8.根据权利要求1所述的活体检测方法，其特征在于，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：
对所述多个模态的目标图像进行融合，得到所述待检测目标的融合图像；对所述融合图像进行特征提取，得到所述待检测目标的融合特征。9.根据权利要求1所述的活体检测方法，其特征在于，所述对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征，包括：对所述多个模态的目标图像分别进行预处理，得到多个预处理图像；对所述多个预处理图像进行特征融合，得到所述待检测目标的融合特征。10.根据权利要求9所述的活体检测方法，其特征在于，所述对所述多个模态的目标图像分别进行预处理，得到多个预处理图像，包括：对每个模态的目标图像进行灰度化处理；将所有灰度化处理后的目标图像调整至同样的图像大小；对调整至同样图像大小的每个模态的目标图像的每个像素都进行标准化处理，得到多个预处理图像。11.根据权利要求1所述的活体检测方法，其特征在于，所述获取待检测目标的多个模态的目标图像，包括：获取多个模态的传感器采集的场景图像；对多个模态的场景图像中至少一个场景图像进行人脸检测，确定所述场景图像中的人脸区域；根据所述场景图像中的人脸区域，从所述多个模态的场景图像中分别裁剪出所述待检测目标的目标图像。12.根据权利要求11所述的活体检测方法，其特征在于，所述多个模态的场景图像的采集设备包括红外传感器、深度传感器、单目视觉传感器、双目视觉传感器、tof飞行时间传感器、激光雷达、毫米波雷达中的至少两种。13.一种活体检测装置，其特征在于，包括：图像模块，用于获取待检测目标的多个模态的目标图像；融合模块，用于对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征；检测模块，用于根据所述融合特征进行活体检测得到所述待检测目标的活体检测结果。14.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-12中任一项所述的活体检测方法。15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-12中任一项所述的活体检测方法。

技术总结
本公开提供了一种活体检测方法及装置、电子设备、计算机可读介质，该方法包括：获取待检测目标的多个模态的目标图像；对所述多个模态的目标图像进行特征融合，得到所述待检测目标的融合特征；根据所述融合特征进行活体检测得到所述待检测目标的活体检测结果。根据本公开的实施例能够充分挖掘多种模态信息之间的联系，提升活体检测的检测精度。提升活体检测的检测精度。提升活体检测的检测精度。


技术研发人员：张丽民 张楠赓
受保护的技术使用者：嘉楠明芯（北京）科技有限公司
技术研发日：2022.03.23
技术公布日：2023/10/11