一种基于视频序列的人脸活体识别方法与流程

1.本发明涉及电数字数据处理的技术领域，特别涉及一种计算机视觉技术领域的基于视频序列的人脸活体识别方法。


背景技术：

2.随着道路交通法规的不断完善和电子监控系统的持续发展，近年来机动车闯红灯的现象越来越少、处罚也越来越精准，但是行人、电动车闯红灯的现象却屡禁不止，为城市道路安全埋下了隐患。
3.近年来，随着人工智能技术的高速发展，通过监控摄像头结合行人检测、人脸识别来捕捉行人闯红灯的方案已经在部分城市道路上落地应用。然而，考虑到实际生活中，在监控范围内其实存在很多人脸照片出现的可能性，比如公交车车身的广告、街边的海报照片以及行人衣服上的人脸图案等，这些非活体的人脸图像往往会影响系统的判断，导致出现照片中的人物闯红灯的记录。
4.现有技术中，活体检测方法往往只根据单张图片进行判断，对于以上几种场景，如果没有针对性的训练则很容易产生误判，同时监控场景拍摄的人脸分辨率有时不满足传统活体检测算法的要求，即使获取了相关数据，也没办法优化现有的模型。


技术实现要素：

5.本发明解决了现有技术中存在的问题，提供了一种基于视频序列的人脸活体识别方法，能够有效地针对目标场景提升活体判断的准确率。
6.本发明所采用的技术方案是，一种基于视频序列的人脸活体识别方法，所述方法包括以下步骤：
7.步骤1：获取视频片段；获取视频片段中关于人脸的关键帧n帧；
8.步骤2：基于所述关键帧，获取图像背景信息，若图像背景信息的一致性低于阈值th1，则当前图像中对应的人脸为活体，结束识别，否则进行下一步；此处一致性指图像背景信息相似的概率；
9.步骤3：基于所述关键帧，获取人脸特征，若人脸特征的一致性低于阈值th2，则当前图像中对应的人脸为活体，否则当前图像中对应的人脸为非活体。
10.优选地，所述关键帧中人脸居于感兴趣区域，且图像背景占比大于阈值。
11.优选地，n小于等于5。
12.优选地，步骤2和步骤3中，以深度学习模型进行判断；所述深度学习模型对关键帧按照差值比较的顺序顺次比较n-1次，若n-1次的得分均高于阈值，则所有的所述关键帧的信息一致，否则不一致。
13.优选地，所述深度学习模型为孪生神经网络，以当前关键帧和后一关键帧的图片对作为输入，分别经过特征提取模块得到各自的高维特征后，以特征融合模块将两张图片的特征融合为单个特征，输入多个级联的全连接层进行分类任务计算，得到当前图片对的
分类结果。
14.优选地，步骤2中，所述特征融合模块表示为带掩码的特征差异融合，
[0015][0016]
其中，y为融合后的图片对特征，f为单张图片的特征，m为掩码。
[0017]
优选地，步骤3中，增大图片对中的人脸占比，所述特征融合模块为，
[0018][0019]
其中，y为融合后的图片对特征，f为单张图片的特征。
[0020]
优选地，所述步骤3中，若人脸特征的一致性高于阈值th2但图像背景信息的一致性存在波动，则获取所有的关键帧，获取人脸的特征信息，处理关键帧，以人脸的特征信息与处理后的关键帧判断当前图像中对应的人脸是否为活体。
[0021]
优选地，以人脸的外轮廓为基础，识别每个关键帧中人脸的中心，以中心至人脸的关键点为向量，获得对应每个关键帧的人脸向量组；处理关键帧为获取每个关键帧的hsv向量，识别其中的光斑位置。
[0022]
优选地，若所有的所述关键帧中光斑位置不变，则人脸为非活体；
[0023]
若所有的所述关键帧中光斑位置移动但每个关键帧的人脸向量组中对应的向量夹角始终小于预设值，则人脸为非活体；
[0024]
否则，人脸为活体。
[0025]
本发明涉及一种基于视频序列的人脸活体识别方法，获取视频片段，获取关于人脸的关键帧n帧；基于所述关键帧，获取图像背景信息，若图像背景信息的一致性低于阈值th1，则当前图像中对应的人脸为活体，结束识别，否则基于所述关键帧，获取人脸特征，若人脸特征的一致性低于阈值th2，则当前图像中对应的人脸为活体，否则当前图像中对应的人脸为非活体。
[0026]
本发明的有益效果在于：
[0027]
(1)结合人工智能算法，在现有行人违章检测方案的基础上，实现对抓拍到的行人视频序列进行活体判断，避免出现含有人脸的广告图像触发行人违章记录，提升了整体方案的判别准确率；
[0028]
(2)区别于现有技术中基于单张图片的判断活体，采用视频序列的信息识别图片中的活体，以人脸外部背景和人脸内部特征共同进行活体判断，解决特定业务场景的问题。
附图说明
[0029]
图1为本发明的方法流程图；
[0030]
图2为本发明的深度学习网络结构图。
具体实施方式
[0031]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
如图1所示，一种基于视频序列的人脸活体识别方法，所述方法包括以下步骤：
[0033]
步骤1：获取视频片段；获取视频片段中关于人脸的关键帧n帧；
[0034]
所述关键帧中人脸居于感兴趣区域，且图像背景占比大于阈值。
[0035]
n小于等于5。
[0036]
本发明中，当检测到违章行为后，开始记录全过程(一般持续5到20秒)作为输入，由于需要利用多帧信息判断活体，因此需要提取视频序列中的若干关键帧作为输出，以达到减少冗余计算、节省计算资源的目的，一般至多为5张同一个人的人脸居中图像，并需要包含一定比例的背景信息；抽取完关键帧后，进行人脸图片对齐，在训练和测试时，包含人脸的图片大小为112x112，其中人脸区域占居中的96x96。
[0037]
本发明中，在视频清晰度及帧率足够的情况下，可以使用等间隔策略抽取关键帧；视频整体质量不高时，可以引入人脸质量分数模型，在等间隔的基础上根据质量分挑选关键帧。
[0038]
本发明中，考虑到单张图片的图像质量，也可以引入图像质量打分模块，用于得到更高质量的候选图像。
[0039]
本发明中，当检测到多个行人，则首先会根据track id区分每个行人，然后依次判断序列活体。
[0040]
步骤2：基于所述关键帧，获取图像背景信息，若图像背景信息的一致性低于阈值th1，则当前图像中对应的人脸为活体，结束识别，否则进行下一步；在实际部署时，会根据测试集场景进行动态调整，多个测试集下的平均阈值为0.68，即分数低于0.68时，会认为图片对中的背景不同，此阈值th1可以由本领域技术人员基于实际的图像集进行调整。
[0041]
步骤3：基于所述关键帧，获取人脸特征，若人脸特征的一致性低于阈值th2，则当前图像中对应的人脸为活体，否则当前图像中对应的人脸为非活体；在实际部署时，会根据测试集场景进行动态调整，多个测试集下的平均阈值为0.94，即分数高于0.94时，会认为图片对中的人脸特征完全相同。
[0042]
步骤2和步骤3中，以深度学习模型进行判断；所述深度学习模型对关键帧按照差值比较的顺序顺次比较n-1次，若n-1次的得分均高于阈值，则所有的所述关键帧的信息一致，否则不一致。
[0043]
所述深度学习模型为孪生神经网络，以当前关键帧和后一关键帧的图片对作为输入，分别经过特征提取模块得到各自的高维特征后，以特征融合模块将两张图片的特征融合为单个特征，输入多个级联的全连接层进行分类任务计算，得到当前图片对的分类结果。
[0044]
步骤2中，所述特征融合模块表示为带掩码的特征差异融合，
[0045][0046]
其中，y为融合后的图片对特征，f为单张图片的特征，m为掩码。
[0047]
步骤3中，增大图片对中的人脸占比，所述特征融合模块为，
[0048][0049]
其中，y为融合后的图片对特征，f为单张图片的特征。
[0050]
本发明中，对于已经提取好的关键帧，一般根据两张人脸图片来判断该人脸是否为活体，但是考虑到非活体场景往往是车身广告、海报及服装上的静态照片，这些照片无论
是人脸外部的背景还是人脸内部的姿态、表情，在视频序列中有且仅有拍摄角度、距离和光线的细微差别，故提出一种既考虑背景信息，又考虑人脸特征信息的活体比对方案，且首先从背景信息开始判断。
[0051]
本发明中，在图像背景信息和人脸特征信息比对过程中，均采用深度学习模型进行判断；
[0052]
过程中，模型的训练数据均为设置有标签的图片对，学习目标是一个二分类任务，用于判断输入图片对中的人脸外部背景是否为同一背景、人脸特征是否严格相同；实际情况中，非活体数据往往比较难获取，而通过数据增强策略，将单帧图像变成图像序列并分配非活体的标签，使其与真实数据一同训练，即可以增强模型性能。
[0053]
判断图像背景信息是否一致的模型在测试时，会对输入的图片对给出概率分数，当分数高于规定的阈值时，认为输入的图片对背景一致；在得到5张关键帧图片后，以图序号1和2、2和3、3和4、4和5为比较组(差值比较)，顺次判断4次，当4次判断得分均高于阈值时，认为视频中人脸外部的背景信息一致；否则认为背景信息不一致；
[0054]
判断人脸特征信息是否一致的模型在训练时，通过对同一图片进行数据增强，在人脸id、表情和姿态都严格相同的情况下，标签输出“相同”，其余情况均为“不相同”；模型在测试时，会对输入的图片对给出概率分数，规定当分数高于规定的阈值时，认为输入的图片对人脸特征一致；在得到5张关键帧图片后，以图序号1和2、2和3、3和4、4和5为比较组，顺次判断4次，当4次判断得分均高于阈值时，认为视频中人脸特征信息一致；否则认为人脸特征信息不一致。
[0055]
本发明中，给出一种实施例。
[0056]
如图2所示，以孪生神经网络(siamese network)执行步骤2、3，孪生神经网络以图片对作为网络输入，经过特征提取模块得到各自的高维特征后，再利用特征融合模块将两张图片的特征融合为单个特征，最后输出多个级联的全连接层进行分类任务计算，得到一组图片对的分类结果。
[0057]
在步骤2中，需要完成人脸与周围背景的比对，此时，网络的任务是判断人脸周围区域的背景信息是否相同，因此这个任务的特征融合模块可表示为带掩码(mask)的特征差异融合，即：
[0058][0059]
此处的i表示不同组的图片对的序号；
[0060]
在默认场景下，图片输入为168
×
168
×
3，其中居中的96
×
96
×
3是人脸区域，特征提取模块进行3次下采样，同时将特征维度扩展至128，因此f和y的尺寸均是21
×
21
×
128；m是二维掩码，尺寸是21
×
21，除居中的12
×
12填充0外，其余位置均填充1；这种掩码设置方式可以保证经过掩码处理后，人脸区域的差异不会影响到背景信息的判断，便于网络的训练和收敛。
[0061]
当然，在精度要求更高的场景下，也可以使用人像分割模型得到更精确的掩码。
[0062]
在步骤3中，需要完成人脸特征信息比对，具体来说，网络的任务是判断图片对中的人脸特征信息是否严格一致；与常规人脸识别任务不同的是，人脸识别任务仅要求人脸id相同，即，同一个人可以做出不同的表情、面部朝向不同角度，而本发明要求人脸id、表情和姿态都相同时，才输出“相同”的结果；
[0063]
在当前任务中，人脸周围的背景信息会干扰模型的判断，因此本方案提出在保持人脸区域96
×
96不变的情况下，将图片尺寸缩减为112
×
112，以增大图片对中的人脸占比，考虑到缩减后的输入图片中背景影响较小，因此这个任务的特征融合模块不再需要掩码处理，表示为，
[0064][0065]
此处的i表示不同组的图片对的序号。
[0066]
本实施例中，在算力充足且精度要求更高的场景下，可以把人脸id、表情和姿态解耦成为三个级联的独立模块分别判断，即：
[0067]
使用人脸识别模型判断人脸id是否相同；
[0068]
使用人脸关键点模型提取关键点坐标后，结合标准脸关键点坐标计算出当前的姿态角(yaw、pitch、row)来判断姿态是否相同；
[0069]
使用孪生网络判断表情是否相同；
[0070]
这样解耦的好处在于各模块可以使用原有的训练数据训练模型，训练时任务之间不会产生干扰，可以达到更高的精度。
[0071]
所述步骤3中，若人脸特征的一致性高于阈值th2但图像背景信息的一致性存在波动，则获取所有的关键帧，获取人脸的特征信息，处理关键帧，以人脸的特征信息与处理后的关键帧判断当前图像中对应的人脸是否为活体。
[0072]
以人脸的外轮廓为基础，识别每个关键帧中人脸的中心，以中心至人脸的关键点为向量，获得对应每个关键帧的人脸向量组；处理关键帧为获取每个关键帧的hsv向量，识别其中的光斑位置。
[0073]
若所有的所述关键帧中光斑位置不变，则人脸为非活体；
[0074]
若所有的所述关键帧中光斑位置移动但每个关键帧的人脸向量组中对应的向量夹角始终小于预设值，则人脸为非活体；
[0075]
否则，人脸为活体。
[0076]
本发明中，还存在一种比较特殊的情况，即抽取的关键帧确实有一定的差异，但背景的一致性不足以高于阈值th1，只是存在波动，这种情况下，人脸的一致性明显亦较高，这可能是人体站在某个场景下，且关键帧抽取的并不理想；考虑到人体并不可能完全保持不动，同时在开放场景下，光影亦会存在一定的差异，故对人脸的特征信息和处理后的关键帧结合来判断人脸是否为活体。
[0077]
本发明中，人脸的特征信息处理中，人脸的中心是指以人脸的外轮廓为基础时外轮廓的中心位置，此中心位置可能是多个像素点的集合，但在当前人脸对应的关键帧中保持不变，而人脸的关键点包括但不限于嘴角、鼻尖、眼睛、眉头、眉尾、耳廓顶部、头顶等；并同时获取每个关键帧中的光斑信息。
[0078]
本发明中，光斑位置不变的情况下，表示其面部可能没有起伏，一般为贴画；而光斑位置虽然移动但每个关键帧的人脸向量组中对应的向量夹角始终小于预设值一般存在于服装或其他随着人体会产生些微变化的图像中，为非活体，其他情况下，可以判断为活体；此过程中可以对整个方法进行修正，快速识别错过的人脸。
[0079]
为了实现上述内容，本发明还提出一种计算机可读存储介质，其上存储有基于视频序列的人脸活体识别程序，该程序被处理器执行时实现上述基于视频序列的人脸活体识
别方法。
[0080]
为了实现上述内容，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述基于视频序列的人脸活体识别方法。
[0081]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0082]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0083]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0084]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0085]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0086]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于视频序列的人脸活体识别方法，其特征在于：所述方法包括以下步骤：步骤1：获取视频片段；获取视频片段中关于人脸的关键帧n帧；步骤2：基于所述关键帧，获取图像背景信息，若图像背景信息的一致性低于阈值th1，则当前图像中对应的人脸为活体，结束识别，否则进行下一步；步骤3：基于所述关键帧，获取人脸特征，若人脸特征的一致性低于阈值th2，则当前图像中对应的人脸为活体，否则当前图像中对应的人脸为非活体。2.根据权利要求1所述的一种基于视频序列的人脸活体识别方法，其特征在于：所述关键帧中人脸居于感兴趣区域，且图像背景占比大于阈值。3.根据权利要求1所述的一种基于视频序列的人脸活体识别方法，其特征在于：n小于等于5。4.根据权利要求1所述的一种基于视频序列的人脸活体识别方法，其特征在于：步骤2和步骤3中，以深度学习模型进行判断；所述深度学习模型对关键帧按照差值比较的顺序顺次比较n-1次，若n-1次的得分均高于阈值，则所有的所述关键帧的信息一致，否则不一致。5.根据权利要求4所述的一种基于视频序列的人脸活体识别方法，其特征在于：所述深度学习模型为孪生神经网络，以当前关键帧和后一关键帧的图片对作为输入，分别经过特征提取模块得到各自的高维特征后，以特征融合模块将两张图片的特征融合为单个特征，输入多个级联的全连接层进行分类任务计算，得到当前图片对的分类结果。6.根据权利要求5所述的一种基于视频序列的人脸活体识别方法，其特征在于：步骤2中，所述特征融合模块表示为带掩码的特征差异融合，其中，y为融合后的图片对特征，f为单张图片的特征，m为掩码。7.根据权利要求5所述的一种基于视频序列的人脸活体识别方法，其特征在于：步骤3中，增大图片对中的人脸占比，所述特征融合模块为，其中，y为融合后的图片对特征，f为单张图片的特征。8.根据权利要求1所述的一种基于视频序列的人脸活体识别方法，其特征在于：所述步骤3中，若人脸特征的一致性高于阈值th2但图像背景信息的一致性存在波动，则获取所有的关键帧，获取人脸的特征信息，处理关键帧，以人脸的特征信息与处理后的关键帧判断当前图像中对应的人脸是否为活体。9.根据权利要求8所述的一种基于视频序列的人脸活体识别方法，其特征在于：以人脸的外轮廓为基础，识别每个关键帧中人脸的中心，以中心至人脸的关键点为向量，获得对应每个关键帧的人脸向量组；处理关键帧为获取每个关键帧的hsv向量，识别其中的光斑位置。10.根据权利要求9所述的一种基于视频序列的人脸活体识别方法，其特征在于：若所有的所述关键帧中光斑位置不变，则人脸为非活体；若所有的所述关键帧中光斑位置移动但每个关键帧的人脸向量组中对应的向量夹角始终小于预设值，则人脸为非活体；否则，人脸为活体。

技术总结
本发明涉及一种基于视频序列的人脸活体识别方法，获取视频片段，获取关于人脸的关键帧N帧；基于关键帧获取图像背景信息，若图像背景信息的一致性低于阈值Th1，则当前图像中对应的人脸为活体，结束识别，否则基于关键帧获取人脸特征，若人脸特征的一致性低于阈值Th2，则当前图像中对应的人脸为活体，否则当前图像中对应的人脸为非活体。本发明结合人工智能算法，在现有行人违章检测方案的基础上实现对抓拍到的行人视频序列活体判断，避免出现含有人脸的广告图像触发行人违章记录，提升整体方案的判别准确率；采用视频序列的信息识别图片中的活体，以人脸外部背景和人脸内部特征共同进行活体判断，解决特定业务场景的问题。解决特定业务场景的问题。解决特定业务场景的问题。


技术研发人员：张宝川 毛辉杰 葛棋棋 陈赟 张子川 肖昌震 陈胜利
受保护的技术使用者：浙江千从科技有限公司
技术研发日：2023.06.26
技术公布日：2023/8/9