去散斑网络模型的训练方法、装置及可读存储介质与流程

1.本技术涉及机器学习技术领域，尤其涉及一种去散斑网络模型的训练方法、装置及可读存储介质。


背景技术：

2.在人脸识别领域中，3d结构光人脸识别系统因其具有稳定的三维成像效果而迅速发展，其已经在手机、门锁、智能座舱等领域广泛应用。但是随着市场的激烈竞争，降低成本成为了3d结构光人脸识别的一个发展方向，大多数的降本方案为取消3d结构光人脸识别系统中的泛光灯。为了降低成本和确保人脸识别的精确性，现有技术一般是利用红外散斑图像进行深度人脸识别和红外人脸识别。但随着泛光灯的取消，3d结构光人脸识别系统成像的人脸数据具有激光散斑，使得用于红外人脸识别的图像质量直线下降，人脸结构被破坏，影响识别准确率。为此，可对红外散斑图像进行去散斑操作得到红外图像，然后再利用红外图像进行红外人脸识别，从而确保人脸识别的准确性。
3.现有技术中，一般是通过可用于实现去散斑的神经网络模型对红外散斑图像进行去散斑操作得到红外图像，但其均是涉及对神经网络模型进行改进，至于如何得到一个可靠的神经网络模型并无涉及。因此，对于实现去散斑的神经网络模型的训练方法有待改进。


技术实现要素：

4.本技术提供一种去散斑网络模型的训练方法、装置及可读存储介质，能够保证去散斑网络模型的可靠性，并且提高去散斑网络模型的去散斑效果。
5.为了实现上述目的，第一方面，本技术提供一种去散斑网络模型的训练方法，去散斑网络模型用于对包含散斑的红外人脸图像进行去散斑操作，该方法包括：获取训练集，训练集包括n个图像样本对，每个图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1，n为整数；根据训练集、预设的损失函数和预设的判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的去散斑网络模型；其中，判别器网络用于判别标准红外人脸图像样本为原始图像的概率及经由去散斑网络模型得到的去散斑红外人脸图像为模拟图像的概率，原始图像表征为无需经过去散斑操作直接得到的纯红外图像，模拟图像则表征为需要经过去散斑操作间接得到的纯红外图像。
6.第二方面，本技术提供一种基于去散斑网络模型的人脸识别方法，包括：获取用户的红外散斑人脸图像，利用上述训练方法训练后的去散斑网络模型对红外散斑人脸图像进行去散斑操作，得到去散斑红外人脸图像；利用红外散斑人脸图像进行深度计算得到深度图像，并根据深度图像进行活体检测得到用户的深度活体检测结果；对去散斑红外人脸图像进行活体检测得到用户的红外人脸识别结果；根据深度活体检测结果和红外人脸识别结果判断是否需要进行人脸识别处理，若是则利用去散斑红外人脸图像进行人脸识别处理得到用户的人脸识别结果。
7.第三方面，本技术提供一种去散斑网络模型的训练装置，该训练装置包括：获取单
元和训练单元；获取单元，用于获取训练集，训练集包括n个图像样本对，每个图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1，n为整数；训练单元，用于根据训练集、预设的损失函数和预设的判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的去散斑网络模型；其中，判别器网络用于判别标准红外人脸图像样本为原始图像的概率及经由去散斑网络模型得到的去散斑红外人脸图像为模拟图像的概率，原始图像表征为无需经过去散斑操作直接得到的纯红外图像，模拟图像则表征为需要经过去散斑操作间接得到的纯红外图像。
8.第四方面，本技术提供一种终端设备，包括处理器，处理器用于实现如第一方面或第一方面的任一可能的实现方式所述方法的步骤，或实现第二方面或第二方面的任一可能的实现方式所述的人脸识别方法的步骤。
9.第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面的任一可能的实现方式所述方法的步骤，或实现第二方面或第二方面的任一可能的实现方式所述的人脸识别方法的步骤。
10.第六方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任一可能的实现方式所述方法的步骤，或实现第二方面或第二方面的任一可能的实现方式所述的人脸识别方法的步骤。
11.本技术所提供去散斑网络模型的训练方法，由于采用对抗训练的方式对待训练的去散斑网络模型进行训练，不仅能够使得训练后的去散斑网络模型输出的去散斑红外人脸图像，更加趋近于标准红外人脸图像样本；还能够有效地提高去散斑网络模型的鲁棒性，以保证去散斑网络模型的可靠性，并且提高去散斑网络模型的去散斑效果。
附图说明
12.图1为本技术实施例提供的一种门锁系统的结构示意图；
13.图2为本技术实施例提供的一种去散斑网络模型的结构示意图；
14.图3为本技术实施例提供的一种去散斑网络模型的训练方法的流程示意图；
15.图4为本技术实施例提供的一种去散斑网络模型的去散斑效果示意图；
16.图5为本技术实施例提供的一种基于去散斑网络模型的人脸识别方法的流程示意图；
17.图6为本技术实施例提供的一种去散斑网络模型的训练装置示意图。
18.图7为本技术实施例提供的一种终端设备的结构示意图。
具体实施方式
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图像，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特
征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。且在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
21.在人脸识别领域中，3d结构光人脸识别系统因其具有稳定的三维成像效果而迅速发展，其已经在手机、门锁、智能座舱等领域广泛应用，例如，如图1所示，为本技术实施例提供的一种门锁系统的结构示意图，该系统包括：人脸识别装置和门锁，其中，人脸识别装置用于获取用户的人脸并利用本技术一个或多个实施例提供的人脸识别方法获取人脸识别结果，以根据人脸识别结果控制门锁执行开锁动作；若人脸识别结果指示识别成功，即用户与预存用户信息比对成功则控制门锁执行开锁动作，反之则开锁失败。
22.在一个示例中，如图1所示，人脸识别装置包括发射端10、接收端11及人脸识别处理器12，其中，发射端10用于向用户所在区域发射散斑；接收端11，接收经用户后反射回的散斑并生成包含人脸的红外散斑人脸图像并传输至人脸识别处理器12；第一人脸识别处理器12用于控制发射端10及接收端11，还用于获取接收端11传输的包含人脸的红外散斑人脸图像并利用本技术一个或多个实施例提供的人脸识别方法对包含用户人脸的红外散斑人脸图像进行处理获取人脸识别结果并根据人脸识别结果控制门锁执行开锁动作。
23.在一个示例中，发射端10包括光源、透镜及图案化光学元件，其中，光源用于发射光束至透镜；透镜用于对光源发射的光束进行准直；图案化光学元件用于接收经透镜准直的光束后产生散斑并朝向用户所在区域投射。优选地，光源包括单颗vcsel或vcsel阵列；透镜包括单个透镜或透镜组；图案化光学元件包括衍射光学元件(doe)、微透镜阵列(mla)、掩膜(mask)中的任意一种，本技术实施例对此不作限制。
24.在一个示例中，接收端11包括至少一个图像传感器，用于接收经用户反射回的散斑并生成包含用户人脸的红外散斑人脸图像传输至人脸识别处理器12。接收端11还包括透镜和滤光片，其中，透镜用于接收经用户反射回的光束并将其聚焦到图像传感器对应的像素上，滤光片用于过滤杂散光以仅使发射端10发射的光束进入接收端11，从而获取精确的红外散斑人脸图像。
25.在一个示例中，人脸识别处理器12可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、神经网络芯片、数字处理芯片、图形处理器及各种控制芯片的组合等。人脸识别处理器12是门锁系统的控制核心(control unit)，利用各种接口和线路连接整个门锁系统的各个部件，通过运行或执行程序或者模块(例如执行基于红外散斑人脸图像的人脸识别程序等)以及调用数据，以执行门锁系统的各种功能和处理数据。
26.在一个示例中，门锁系统还包括存储器(图中未示出)，其中，存储器至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器可以是门锁系统的内部存储单元，例如该门锁系统的移动硬盘。存储器也可以是门锁系统的外部存储设备，例如门锁系统上配备
的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，存储器还可以既包括门锁系统的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于门锁系统的应用软件及各类数据，例如基于红外散斑人脸图像的人脸识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。需要说明的是，本实施例中对存储器不作限制，存储器并非本技术的必要部件，可根据处理器类型实际设计。
27.进一步地，人脸识别处理器12利用本技术一个或多个实施例提供的人脸识别方法对包含用户人脸的红外散斑人脸图像进行处理获取人脸识别结果包括：通过去散斑网络模型对红外散斑人脸图像进行处理得到去散斑红外人脸图像，并基于红外散斑人脸图像和去散斑红外人脸图像进行人脸识别得到人脸识别结果。在本技术中，去散斑网络模型是用于在进行人脸识别之前，对包含散斑的红外人脸图像进行去散斑操作，得到去散斑红外人脸图像，以便于人脸识别系统对去散斑红外人脸图像进行人脸识别。
28.可选的，去散斑网络模型可以是任一种能够对包含散斑的红外人脸图像进行去散斑操作的模型，本技术实施例对此不做限制。
29.例如，去散斑网络模型的架构可以如图2所示，该去散斑网络模型包括：特征提取网络、多尺度下采样网络和与多尺度下采样网络对应的多尺度上采样网络以及图像融合网络。其中，特征提取网络用于对输入的红外散斑人脸图像样本进行特征提取，得到初始特征红外人脸图像。
30.多尺度下采样网络可以由至少四个下采样模块串联形成，下采样模块可以包括卷积模块与池化模块，其中，每个卷积模块的转置卷积不同且逐渐降低，每个池化模块用于剔除经过卷积后的特征图像的冗余特征，以保留关键信息，从而增大去散斑网络模型的感受野。进一步地，为得到不同尺寸的下采样特征图，即获取不同维度的特征信息，每个下采样模块需串联连接；具体地，每个下采样模块的输入是上一个下采样模块的输出(第一个下采样模块除外)，由此将初始特征红外人脸图像通过四个下采样模块便可在每一个下采样模块的输出依次得到四种不同尺寸的下采样特征图：第一下采样特征图、第二下采样特征图、第三下采样特征图以及第四下采样特征图。
31.进一步地，多尺度上采样网络可以包括由至少四个下采样模块对应的至少四个上采样单元，其中，上采样单元包括上采样模块及卷积模块。通过多尺度上采样网络中的第一个上采样单元对第四下采样特征图进行处理，并且分别将第三下采样特征图、第二下采样特征图、第一下采样特征图以及初始特征红外人脸图像作为第二个上采样单元、第三个上采样单元、第四个上采样单元的第一输入，每个上采样单元的输出作为下一个模块的第二输入；其中，每个上采样单元中的卷积模块分别对第一输入进行特征提取，上采样模块用于对经卷积模块特征提取后的第一输入进行上采样处理得到上采样特征图，以使其与第二输入的尺寸相同。拼接各上采样单元得到的上采样特征图及对应的第二输入得到下一上采样单元的标准输入，依次类推直至得到最后一层上采样单元的输出的上采样特征图；将最后一层上采样单元的输出的上采样特征图与初始特征红外人脸图像进行特征融合，得到去散斑红外人脸图像。
32.利用本技术实施例提供的去散斑网络模型，对红外散斑人脸图像进行去散斑操作包括：将红外散斑人脸图像输入至特征提取网络的输入端，经过特征提取，得到初始特征红
外人脸图像；在由多尺度下采样网络对初始特征红外人脸图像进行不同尺度的下采样处理，得到多个不同尺度的下采样特征图；在由多尺度上采样网络对多个不同尺度的下采样特图进行图像拼接及上采样处理，得到上采样特征图；最终图像融合网络将最后一层上采样单元输出的上采样特征图与初始特征红外人脸图像进行特征融合，输出去散斑红外人脸图像。
33.为提供一种可靠的去散斑网络模型，本技术提供一种去散斑网络模型的训练方法，以人脸检测模型为判别器，采用对抗训练的方式对待训练的去散斑网络模型进行训练，不仅能够使得训练后的去散斑网络模型输出的去散斑红外人脸图像，更加趋近于标准红外人脸图像样本；还能够有效地提高去散斑网络模型的鲁棒性，以保证去散斑网络模型的可靠性，并且提高去散斑网络模型的去散斑效果。
34.下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
35.示例性的，如图3所示，为本技术实施例提供的一种去散斑网络模型训练方法的流程示意图，包括：
36.步骤s201：获取训练集，训练集包括n个图像样本对，每个图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1，n为整数；
37.在一个示例中，红外散斑人脸图像样本可以包括用户的真人脸和假人脸。其中，真人脸可以为用户本人，假人脸可以为用户的人脸假体和用户的人脸照片。
38.可选的，假人脸还可以是通过人工智能(artificial intelligence，ai)合成的人脸图像，本技术实施例对此不做限制。
39.需要说明的是，在本技术实施例中真人脸的红外散斑人脸图像样本和对应的标准红外人脸图像样本作为正样本对，假人脸的红外散斑人脸图像样本和对应的标准红外人脸图像样本作为负样本对。
40.通过将训练集中的样本对分为正样本对和负样本对，可以便于对待训练的去散斑网络模型进行多组正负样本对的迭代训练，以此得到更加准确的去散斑网络模型。
41.步骤s202：根据训练集、预设的损失函数和预设的判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的去散斑网络模型。
42.在一个示例中，预设的判别器网络可以包括人脸检测模型。
43.其中，判别器网络用于判别标准红外人脸图像样本为原始图像的概率及去散斑红外人脸图像为模拟图像的概率，原始图像表征为无需经过去散斑操作直接得到的纯红外图像(对应于标准红外人脸图像样本)，模拟图像表征为需要经过去散斑操作间接得到的纯红外图像(对应于去散斑红外人脸图像)。
44.在一个示例中，损失函数可以包括第一损失函数和对抗损失函数。其中，第一损失函数用于在对抗训练的过程中，对待训练的去散斑网络模型的参数进行训练；对抗损失函数用于在对抗训练的过程中，对预设的判别器网络的参数和待训练的去散斑网络模型的参数进行训练。
45.在一个示例中，对抗训练的过程可以为对待训练的去散斑网络模型和预设的判别器网络进行交替训练。例如，先固定去散斑网络模型的参数，根据对抗损失函数和训练集对预设的判别器网络进行迭代训练，当对抗损失函数的损失值满足预设的条件，得到训练后
的判别器网络；之后，固定训练后的判别器网络的参数，根据第一损失函数和训练集对待训练的去散斑网络模型进行迭代训练，当第一损失函数的损失值满足预设的条件时，停止根据第一损失函数和训练集对待训练的去散斑网络模型进行迭代训练，得到迭代更新后的去散斑网络模型；最后，再根据对抗损失函数和训练集对迭代更新后的去散斑网络模型进行迭代训练，当对抗损失函数的损失值满足预设的条件时，停止根据对抗损失函数和训练集对迭代更新后的去散斑网络模型进行迭代训练，得到训练后的去散斑网络模型。需要说明的是，也可以先固定预设判别器网络的参数，后对待训练的去散斑网络模型进行迭代更新，本技术对去散斑网络模型和预设的判别器网络交替训练的先后顺序不作限定。
46.根据对抗损失函数和训练集对预设的判别器网络进行迭代训练包括：将训练集中红外散斑人脸图像样本输入待训练的去散斑网络模型中进行去散斑操作得到去散斑红外人脸图像；通过预设的判别器网络分别计算去散斑红外人脸图像为模拟图像及训练集中标准红外人脸图像样本为原始图像的概率，并结合预设对抗损失函数与去散斑红外人脸图像为模拟图像及训练集中标准红外人脸图像样本为原始图像的概率计算当前判别器网络的对抗损失值；基于对抗损失值反向传播更新预设的判别器网络的参数，直至对抗损失值在预设范围内时则停止对预设的判别器网络的迭代训练，得到训练后的判别器网络。其中，对抗损失值的预设范围可以0～1之间，本技术实施例对此不做限制。
47.在一个示例中，对抗损失函数可以为：
[0048][0049]
其中，d(x
t
)表示判别器网络识别标准红外人脸图像样本为原始图像，而非经过去散斑网络模型执行去散斑操作得到的模拟图像的概率值，而非经过所述去散斑网络模型执行去散斑操作得到的模拟图像的概率值，xk表示第t张标准红外人脸图像样本；d(g(ik))表示判别器网络识别去散斑红外人脸图像为原始图像的概率值，原始图像的标签恒为1，即1-d(g(ik))表征为判别器网络识别当前去散斑红外人脸图像为模拟图像的概率，ik是训练集中的第k张红外散斑人脸图像样本，g(ik)是红外散斑人脸图像样本输入到待训练的去散斑网络模型中进行去散斑操作后输出的去散斑红外人脸图像。
[0050]
根据第一损失函数和训练集对待训练的去散斑网络模型进行迭代训练包括：根据第一损失函数计算训练损失值得到训练损失值，基于训练损失值反向传播更新待训练的去散斑网络模型的参数，直至训练损失值在预设范围内时则停止对待训练的去散斑网络模型的迭代训练，得到迭代更新后的散斑网络模型。
[0051]
可选的，第一损失函数可以包括l1损失函数和内容损失函数，其中，l1损失函数用于描述红外散斑人脸图像样本对应的去红外散斑人脸图像和标准红外人脸图像样本之间的像素差异；内容损失函数用于描述将红外散斑人脸图像样本和对应的去散斑红外人脸图像进行高维特征提取后得到的特征图像之间的内容差异。
[0052]
具体地，当固定训练后的判别器网络的参数，根据第一损失函数和训练集对待训练的去散斑网络模型进行迭代训练，得到迭代更新后的散斑网络模型可以包括：先根据l1损失函数计算待训练的去散斑网络模型输出的去红外散斑人脸图像与对应的标准红外人脸图像之间的像素损失值，得到像素损失值后再反向传播更新去散斑网络模型的参数，直
至像素损失值在预设范围内时则停止根据l1损失函数对待训练的去散斑网络模型的迭代训练，得到第一去散斑网络模型；再将第一去散斑网络模型输出的去红外散斑人脸图像与对应的标准红外人脸图像输入另一预设的人脸识别模型判别器网络中进行高维特征提取得到去红外散斑人脸特征图像和标准红外人脸特征图像，根据内容损失函数计算去红外散斑人脸特征图像和标准红外人脸特征图像之间的内容损失值，得到内容损失值后再反向传播更新待训练的去散斑网络模型的参数，直至内容损失值在预设范围内时则停止根据内容损失函数对第一去散斑网络模型的迭代训练，得到迭代更新后的去散斑网络模型。可以理解的是，像素损失值和内容损失值均为训练损失值。
[0053]
示例性的，l1损失函数可以为：其中，y是训练集中的标准红外人脸图像样本，是与标准红外人脸图像样本对应的红外散斑人脸图像样本输入到去散斑网络模型中进行去散斑操作后输出的去散斑红外人脸图像，m是指标准红外人脸图像样本中的像素点个数，m≥1，m为整数；y
()
是标准红外人脸图像样本中的第i个像素值，是去散斑红外人脸图像中的第i个像素值。
[0054]
示例性的，内容损失函数可以为其中，lc是训练集中的红外散斑人脸图像样本，l
x
是红外散斑人脸图像样本输入到待训练的去散斑网络模型中进行去散斑操作后输出的去散斑红外人脸图像，为判别器网络中的第j层的输出特征，nj为第j层的特征个数，nj和j均为大于等于1的整数。
[0055]
需要说明的是，本技术通过计算去散斑红外人脸图像与标准红外人脸图像样本之间逐像素的l1损失函数及额外增设一已训练的人脸识别网络计算去红外散斑人脸特征图像和标准红外人脸特征图像高维特征之间的内容损失，结合l1损失函数和内容损失对去散斑网络模型进行迭代训练，可促使去散斑网络模型生成的去散斑图像还原出原有数据的人脸信息，并且适配下游人脸识别任务的进行。
[0056]
根据对抗损失函数和训练集对迭代更新后的去散斑网络模型进行迭代训练包括：将训练集中红外散斑人脸图像样本输入迭代更新后的去散斑网络模型中进行去散斑操作得到去散斑红外人脸图像；通过固定训练后的判别器网络分别计算去散斑红外人脸图像为模拟图像及训练集中标准红外人脸图像样本为原始图像的概率，并结合预设对抗损失函数与去散斑红外人脸图像为模拟图像及训练集中标准红外人脸图像样本为原始图像的概率计算当前判别器网络的对抗损失值，基于对抗损失值反向传播更新迭代更新后的去散斑网络模型的参数，直至对抗损失值在预设范围内时则停止对去散斑网络模型的迭代训练，得到训练后的去散斑网络模型。其中，对抗损失值的预设范围可以为0～1之间，本技术实施例对此不做限制。
[0057]
可选的，本技术实施例提供的l1损失函数、内容损失函数和对抗损失函数均可以采用adam优化器来优化。
[0058]
示例性的，采用上述训练方法对图2所示的去散斑网络模型进行训练，得到训练后的去散斑网络模型的去散斑效果可以参见图4所示。图中所谓散斑图是指红外散斑人脸图像，去散斑是指去散斑红外人脸图像，纯净ir(infrared radiation，红外线)是指标准的红外人脸图像。
[0059]
需要说明的是，对抗损失值由标准红外人脸图像样本为原始图像的概率及去散斑红外人脸图像为模拟图像的概率两部分组成，两个概率值此消彼长，相互对抗，可促使去散斑网络模型及判别器网络增强，判别器网络在增强的同时，也越来越难以判别去散斑红外图像及标准红外人脸图像的类别，使得经过去散斑网络模型得到的去散斑红外图像越来越接近原始图像。
[0060]
综上，利用本技术提供的训练方法得到的去散斑网络模型对红外散斑人脸图像进行去散斑操作得到去散斑红外人脸图像，通过识别模型对该去散斑红外人脸图像进行测试得到的tpr(true positive rate，真正类率)达到0.862。基于此，通过训练后的去散斑网络模型进行去散斑操作后输出的去散斑红外人脸图像可以直接用于人脸识别。
[0061]
在一个示例中，利用上述训练方法训练得到的去散斑网络模型，可以应用于人脸识别方法中。例如，如图5所示，为本技术实施例提供的人脸识别方法的流程示意图，该方法包括：
[0062]
步骤s401：获取用户的红外散斑人脸图像，利用去散斑网络模型对红外散斑人脸图像进行去散斑操作，得到去散斑红外人脸图像。
[0063]
步骤s402：利用红外散斑人脸图像进行深度计算得到深度图像，并根据深度图像进行活体检测得到用户的深度活体检测结果。
[0064]
步骤s403：对去散斑红外人脸图像进行活体检测得到用户的红外人脸识别结果。
[0065]
步骤s404：根据深度活体检测结果和红外人脸识别结果判断是否需要进行人脸识别处理，若是则利用去散斑红外人脸图像进行人脸识别处理得到用户的人脸识别结果。
[0066]
在一个示例中，根据深度图像进行活体检测得到用户的深度活体检测结果可以包括：对深度图像进行人脸关键点检测得到人脸关键点，根据人脸关键点进行关键点深度校验得到深度活体检测结果。
[0067]
其中，对深度图像进行人脸关键点检测，可以利用人脸关键点检测模型对深度图像进行人脸关键点检测，人脸关键点检测模型可以根据retinaface人脸检测算法构建。具体地，人脸关键点检测模型包括特征提取网络、特征融合网络、特征增强网络、关键点预测网络。
[0068]
具体地，特征提取网络可以为深度可分离卷积(mobilenet)模型或深度残差网络(resnet)模型，得到不同尺寸的特征；特征融合网络可以由特征图金字塔网络(fpn)结构的构建，从不同尺寸的特征中获取有效特征；特征增强网络ssh(single stage headless face detector，单点无头人脸检测器)结构，可以对不同尺寸的有效特征进行加强特征提取；关键点预测网络可以基于加强特征的像素先验框确定人脸框图，再对人脸框图进行调整，根据调整后的人脸框图的像素点位置确定人脸关键点，该人脸关键点至少包括五个关键点，分别为左眼、右眼、鼻尖、左嘴角及右嘴角，需要说明的是，本技术对人脸关键点的数量不作限制，可根据实际情况进行设计。
[0069]
在一个示例中，根据人脸关键点进行关键点深度校验，得到深度活体检测结果可以包括：以人脸关键点为中心点对深度图像进行区域划分获取人脸关键点对应区域的深度值，计算该区域内所有像素的深度值之和并与预设的关键点深度范围值进行比较得到深度活体检测结果。若该人脸关键点对应区域像素的深度值之和不在预设的关键点深度范围值内，则深度活体检测结果则为当前检测人脸为假体；反之，深度活体检测结果则为当前检测
人脸为活体。
[0070]
可选的，根据人脸关键点进行关键点深度校验，得到深度活体检测结果可以包括：以人脸关键点为中心点对深度图像进行区域划分得到不同尺寸的人脸局部深度图像，将不同尺寸的人脸局部深度图像输入用于对深度图像进行活体检测的神经网络模型中以直接获取深度活体检测结果。需要说明的是，利用不同尺寸的人脸局部深度图像输入相应的神经网络模型中进行活体检测处理可使神经网络模型学习丰富的语义信息，得到更加精确的深度活体检测结果。
[0071]
在一个示例中，对去散斑红外人脸图像进行活体检测得到用户的红外人脸识别结果包括：对去散斑红外人脸图像进行人脸检测得到对应的人脸区域；统计去散斑红外人脸图像中的人脸区域的各像素的亮度并根据人脸区域的像素数量计算人脸区域的平均亮度；判断平均亮度是否在预设亮度范围内得到红外人脸识别结果，若在范围之内，则红外人脸识别结果为当前检测人脸为活体，反之则为假体。
[0072]
可选的，还可获取去散斑红外人脸图像的人脸关键点，并根据人脸关键点及用于去散斑红外人脸图像进行活体检测的神经网络模型以直接获取红外人脸识别结果。需要说明的是，本实施例与前述利用深度图像及神经网络模型直接获取深度活体检测结果的方法类似，此处不再赘述。
[0073]
在一个示例中，根据深度活体检测结果和红外人脸识别结果判断是否需进行人脸识别处理，若是则利用去散斑红外图像进行人脸识别处理得到用户的人脸识别结果包括：若深度活体检测结果及红外人脸识别结果均指示当前检测人脸为活体，则需进行人脸识别，从而利用去散斑红外人脸图像进行人脸识别得到用户的人脸识别结果；反之，则重新执行上述方法或发出存在异常警告。优选地，对去散斑红外人脸图像进行人脸识别得到用户的人脸识别结果包括：捕捉去散斑红外人脸图像中的人脸，从人脸中提取关键部位特征向量；根据关键部位特征向量生成人脸属性图，将人脸属性图与预设的人脸白名单的人脸属性图进行匹配；根据匹配的结果确定用户的人脸识别结果。
[0074]
在一个示例中，可以采用gabor特征提取器获取人脸中的关键部位特征向量，通过不同频带以及不同方向的gabor滤波器可以从人脸中的关键部位提取不同属性的特征向量。
[0075]
可以理解的是，人脸属性图即由关键部位特征向量关联形成的向量图，可以计算人脸属性图与预设的人脸白名单的人脸属性图的总体向量相似度，或者分别计算人脸属性图与预设的人脸白名单的人脸属性图中特定关联部位的向量相似度，再根据向量相似度是否大于预设匹配阈值来确定人脸的人脸识别结果是否识别成功。
[0076]
基于同一发明构思，作为对上述训练方法的实现，本技术实施例提供了一种去散斑网络模型的训练装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
[0077]
图6为本技术实施例提供的去散斑网络模型的训练装置的结构示意图，本实施例提供的去散斑网络模型的训练装置包括获取单元601及训练单元602；其中，获取单元601，用于获取训练集，训练集包括n个图像样本对，每个图像样本对包括，n≥1，n为整数；训练单元602，用于根据训练集、预设的损失函数和预设的判别器网络对待训练的去散斑网络模型
进行对抗训练，得到训练后的去散斑网络模型；其中，判别器网络用于判别所述标准红外人脸图像样本为原始图像的概率及经由去散斑网络模型得到的去散斑红外人脸图像为模拟图像的概率，原始图像表征为无需经过去散斑操作直接得到的纯红外图像，模拟图像则表征为需要经过去散斑操作间接得到的纯红外图像。
[0078]
基于同一发明构思，本技术实施例还提供了一种终端设备，该终端设备可以为门锁系统、支付端、计算机、移动设备等。如图7所示，该实施例的终端设备70包括：处理器700、存储器701以及存储在所述存储器701中并可在所述处理器700上运行的计算机程序702。所述处理器700执行所述计算机程序702时实现上述各个去散斑网络模型的训练方法实施例中的步骤，例如图3所示，或者所述处理器700执行所述计算机程序702时实现上述各装置实施例中各模块/单元的功能，例如图6所示获取单元601至训练单元602的功能；或所述处理器700执行所述计算机程序702时实现上述基于去散斑网络模型的人脸识别方法实施例中的步骤，例如图5所示。
[0079]
示例性的，所述计算机程序702可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器701中，并由所述处理器700执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序702在所述终端设备70中的执行过程。
[0080]
本领域技术人员可以理解，图像7仅仅是终端设备70的示例，并不构成对终端设备70的限定，可以包括比图像示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备70还可以包括输入输出设备、网络接入设备、总线等。
[0081]
所述处理器700可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、神经网络处理芯片、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0082]
所述存储器701可以是所述终端设备70的内部存储单元，例如终端设备70的硬盘或内存。所述存储器701也可以是所述终端设备70的外部存储设备，例如所述终端设备70上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器701还可以既包括所述终端设备70的内部存储单元也包括外部存储设备。所述存储器701用于存储所述计算机程序以及所述终端设备70所需的其它程序和数据。所述存储器701还可以用于暂时地存储已经输出或者将要输出的数据。需要说明的是，当处理器为神经网络处理芯片时，存储器非本技术的必要部件，其可根据处理器类型实际设计，本实施例中对存储器不作限制。
[0083]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
[0084]
本技术实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
[0085]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方
法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0086]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0087]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0088]
在本技术所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0089]
应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0090]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0091]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种去散斑网络模型的训练方法，所述去散斑网络模型用于对包含散斑的红外人脸图像进行去散斑操作得到去散斑红外人脸图像，其特征在于，所述方法包括：获取训练集，所述训练集包括n个图像样本对，每个所述图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1，n为整数；根据所述训练集、预设的损失函数及预设的判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的所述去散斑网络模型；其中，所述判别器网络用于判别所述标准红外人脸图像样本为原始图像的概率及经由所述去散斑网络模型得到的所述去散斑红外人脸图像为模拟图像的概率，所述原始图像表征为无需经过去散斑操作直接得到的纯红外人脸图像，所述模拟图像则表征为需要经过去散斑操作间接得到的纯红外人脸图像。2.根据权利要求1所述的方法，其特征在于，所述损失函数包括第一损失函数和对抗损失函数；所述第一损失函数用于在所述对抗训练的过程中，对所述去散斑网络模型进行训练；所述对抗损失函数用于在所述对抗训练的过程中，对所述预设的判别器和所述去散斑网络模型进行训练。3.根据权利要求2所述的方法，其特征在于，所述第一损失函数包括l1损失函数和内容损失函数；所述l1损失函数用于描述所述去红外散斑人脸图像和对应的所述标准红外人脸图像样本之间的像素差异；所述内容损失函数用于描述将所述红外散斑人脸图像样本和对应的去散斑红外人脸图像输入所述预设的判别器网络进行高维特征提取后得到的特征图像之间的内容差异。4.根据权利要求3所述的方法，其特征在于，所述l1损失函数为：其中，y是所述训练集中的所述标准红外人脸图像样本，是与所述标准红外人脸图像样本对应的所述红外散斑人脸图像样本输入到所述去散斑网络模型中进行去散斑操作后输出的所述去散斑红外人脸图像，m是指所述标准红外人脸图像样本中的像素点个数，m≥1，m为整数；y
()
是所述标准红外人脸图像样本中的第i个像素值，是所述去散斑红外人脸图像中的第i个像素值。5.根据权利要求3或4所述的方法，其特征在于，所述内容损失函数为：其中，l
c
是所述训练集中的所述红外散斑人脸图像样本，l
x
是所述红外散斑人脸图像样本输入到所述待训练的去散斑网络模型中进行去散斑操作后输出的所述去散斑红外人脸图像，为所述判别器网络中的第j层的输出特征，n
j
为所述第j层的特征个数，n
j
和j均为
大于等于1的整数。6.根据权利要求2所述的方法，其特征在于，所述对抗损失函数用于描述所述判别器网络判别所述标准红外人脸图像样本为原始图像的概率值与所述判别器网络判别所述去散斑红外人脸图像为为模拟图像的概率值之间的损失值；所述对抗损失函数为：其中，d(x
t
)表示为所述判别器网络识别所述标准红外人脸图像样本为原始图像，x
t
表示第t张标准红外人脸图像样本；d(g(i
k
))表示为所述判别器网络识别所述去散斑红外人脸图像为原始图像的概率值，所述原始图像的标签恒为1，即1-d(g(i
k
))表征为所述判别器网络识别当前所述去散斑红外人脸图像为模拟图像的概率，i
k
是所述训练集中的第k张所述红外散斑人脸图像样本，g(i
k
)是第k张所述红外散斑人脸图像样本输入到所述待训练的去散斑网络模型中进行去散斑操作后输出的所述去散斑红外人脸图像。7.一种基于去散斑网络模型的人脸识别方法，其特征在于，包括：获取用户的红外散斑人脸图像，利用如权要求1至6任一项所述训练方法训练后的去散斑网络模型对所述红外散斑人脸图像进行去散斑操作，得到去散斑红外人脸图像；利用所述红外散斑人脸图像进行深度计算得到深度图像，并根据所述深度图像进行活体检测得到用户的深度活体检测结果；对所述去散斑红外人脸图像进行活体检测得到用户的红外人脸识别结果；根据所述深度活体检测结果和所述红外人脸识别结果判断是否需要进行人脸识别处理，若是则利用所述去散斑红外人脸图像进行人脸识别处理得到用户的人脸识别结果。8.一种去散斑网络模型的训练装置，其特征在于，包括；获取单元，用于获取训练集，所述训练集包括n个图像样本对，每个所述图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1，n为整数；训练单元，用于根据所述训练集、预设的损失函数和预设的判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的所述去散斑网络模型；其中，所述判别器网络用于判别所述标准红外人脸图像样本为原始图像的概率及经由去散斑网络模型得到的所述去散斑红外人脸图像为模拟图像的概率，所述原始图像表征为无需经过去散斑操作直接得到的纯红外图像，所述模拟图像则表征为需要经过去散斑操作间接得到的纯红外图像。9.一种终端设备，其特征在于，包括处理器，其特征在于，所述处理器用于实现如权利要求1至6任一项所述的训练方法或实现如权利要求7所述的人脸识别方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的训练方法或实现如权利要求7所述的人脸识别方法。

技术总结
本申请提供一种去散斑网络模型的训练方法、装置及可读存储介质，涉及机器学习技术领域，能够保证去散斑网络模型的可靠性，并且提高去散斑网络模型的去散斑效果。该方法包括：获取训练集，训练集包括n个图像样本对，每个图像样本对包括红外散斑人脸图像样本和对应的无散斑的标准红外人脸图像样本，n≥1且为整数；根据训练集、预设损失函数和预设判别器网络对待训练的去散斑网络模型进行对抗训练，得到训练后的去散斑网络模型；其中，判别器网络用于判别标准红外人脸图像样本为原始图像的概率及去散斑红外人脸图像为模拟图像的概率，原始图像表征无需经过去散斑操作直接得到的纯红外图像，模拟图像表征需要经过去散斑操作间接得到的纯红外图像。间接得到的纯红外图像。间接得到的纯红外图像。


技术研发人员：蔡万源 李冠群 郑新莹 张泽鹏
受保护的技术使用者：奥比中光科技集团股份有限公司
技术研发日：2023.03.30
技术公布日：2023/7/13