判定方法、判定程序以及信息处理装置与流程

1.本发明涉及图像的判定的技术。


背景技术：

2.公知有如下的技术：基于与对象物相关的基准对象图像上与拍摄有对象物的输入对象图像上的对应的各样本点处的特征量的类似度，判定输入对象图像上的隐藏物的有无。
3.另外，公知有如下的技术：基于关于从脸部图像中提取出的特征点的、作为眼睛、嘴等这样的脸部的结构部分的特征的可靠度，判定脸部图像中的脸部是否处于佩戴了佩戴物的状态。
4.另外，公知有如下的技术：基于从包含确定的人物的脸部的多个图像中提取出的该人物的脸部的颜色的时间性变化，判定该人物的脸部是否是使用了改装用口罩等的冒充者。
5.另外，公知有如下的技术：根据脸部的拍摄图像的亮度值来判断佩戴口罩。
6.另外，公知有如下的技术：以人的脸部的最上部(头顶部)与最下部(颚部)的中心线为上下中心，对夹着该上下中心的上部的规定区域与下部的规定区域的图像信息进行比较，判定被拍摄者是否佩戴口罩。
7.如以上那样，公知有几个根据人物的脸部图像来判定口罩、太阳镜等局部遮挡该人物的脸部的佩戴物的有无的技术(例如，参照专利文献1～专利文献5)。
8.专利文献1：国际公开第2010/126120号
9.专利文献2：国际公开第2019/102619号
10.专利文献3：日本特开2019-194888号公报
11.专利文献4：日本特开2010-157073号公报
12.专利文献5：日本特开2004-310397号公报
13.作为生物体认证技术之一，公知有使用人物的脸部的生物体特征的脸部认证的技术。脸部认证是指通过将拍摄认证对象者而得到的拍摄脸部图像与预先登记的该认证对象者的登记脸部图像进行对照来进行该认证对象者的本人确认。
14.有时认证对象者佩戴口罩、太阳镜等这样的局部遮挡脸部的佩戴物。在使用这样的拍摄认证对象者而得到的拍摄脸部图像进行脸部认证的情况下，例如，有时成为由拍摄脸部图像与登记脸部图像的类似度的降低引起的拒绝本人的重要因素，另外，有时脸部的朝向、姿势的检测精度降低。这样，遮蔽认证对象者的脸部的一部分的佩戴物有时会对脸部认证带来影响。因此，期望在对象者的脸部图像中，高精度地判定在该对象者的脸部是否存在这样的佩戴物。


技术实现要素：

15.在一个方式中，本发明的目的在于，高精度地进行脸部图像中的佩戴物的有无的
判定。
16.在一个方式中，计算机取得通过照相机拍摄的脸部图像。计算机基于该脸部图像中的各个颜色分量的明亮度的分布，针对该脸部图像中包含的各颜色分量，取得表示在该脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标。计算机基于该脸部图像的颜色信息，决定该脸部图像中包含的任意的颜色分量。计算机基于决定的该颜色分量和针对各颜色分量的该指标，进行在该脸部图像上是否存在该佩戴物的判定。
17.根据一个方式，能够高精度地进行脸部图像中的佩戴物的有无的判定。
附图说明
18.图1是对基于脸部图像的颜色分量的明亮度的分布来判定佩戴物的有无的判定方法进行说明的图(其一)。
19.图2是对基于脸部图像的颜色分量的明亮度的分布来判定佩戴物的有无的判定方法进行说明的图(其二)。
20.图3是表示不存在口罩的脸部图像的红色分量的明亮度的分布的例子的图。
21.图4是表示不存在口罩的脸部图像的蓝色分量的明亮度的分布的例子的图。
22.图5是表示存在红色口罩的脸部图像的红色分量的明亮度的分布的例子的图。
23.图6是表示存在红色口罩的脸部图像的蓝色分量的明亮度的分布的例子的图。
24.图7是表示例示的信息处理装置的结构的图。
25.图8是表示计算机的硬件结构例的图。
26.图9是表示佩戴物有无判定处理的处理内容的流程图(其一)。
27.图10是表示佩戴物有无判定处理的处理内容的流程图(其二)。
具体实施方式
28.以下，一边参照附图，一边详细地说明实施方式。
29.在本实施方式中，基于该对象者的脸部图像中包含的颜色分量的明亮度的分布来进行在对象者的脸部是否存在佩戴物的判定。首先，使用图1和图2来说明该方法。
30.图1和图2各自的左侧的图像是脸部图像的一例，并且是同一人物的脸部的图像。在图1的脸部图像中显示的脸部不存在作为佩戴物的一例的口罩，与此相对，在图2的脸部图像中显示的脸部佩戴白色口罩，通过口罩遮挡包含鼻和嘴的脸部的部分。此外，在这些脸部图像中显示的任意的脸部都佩戴眼镜，但该眼镜的镜片具有较高的透明度，并不遮挡脸部的眼睛的部分。
31.图1和图2各自的右侧的曲线表示各个左侧的脸部图像中包含的各颜色分量中的一个颜色分量的明亮度的分布。该分布表示按照该图像帧的垂直方向上的各像素列的配置顺序，将在脸部图像的图像帧的水平方向的各像素列中排列的各像素的、针对各个颜色分量的像素值的每个像素列的合计值或者每个像素列的平均值纵向排列的分布。此外，这些分布在附图中的横向表示各像素列的值的大小，附图的右方向表示值较大的方向、即像素列的对应的颜色分量的明亮度较高的方向。这些分布是脸部图像中包含的颜色分量的明亮度的分布的例子。
32.在图1的右侧表示的分布中，可知具有如下的特征：在脸部图像中显示的脸部中的
相当于瞳孔、鼻孔以及口裂(上唇与下唇之间)的各个位置处明亮度极小，在相当于鼻尖(鼻前端)的位置处明亮度极大。与此相对，在图2的右侧表示的分布中，上述的特征中的在相当于鼻孔和口裂的各个位置处的明亮度的极大及极小的特征模糊。该差异是由于在脸部图像中显示的脸部佩戴的口罩遮挡鼻和嘴引起的。
33.因此，在本实施方式中，基于上述的该脸部图像中的各颜色分量的明亮度的分布而取得表示在脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标。而且，基于该指标来判定在脸部图像上是否存在佩戴物。
34.这里，着眼于在佩戴物的有无与通过上述的分布确认的特征之间存在上述那样的关系这一点，在本实施方式中，生成对于上述的明亮度的分布的输入而输出上述的指标的模型。该模型是通过使用了神经网络等公知的机器学习算法的机器学习而生成的。在该机器学习中，作为教师数据，使用分别表示存在佩戴物的脸部图像的各颜色分量的明亮度的分布的数据组以及分别表示不存在佩戴物的脸部图像的各颜色分量的明亮度的分布的数据组。在本实施方式中，使用这样生成的模型，取得表示存在于脸部图像的可能性的高低的指标。
35.另外，关于在脸部上佩戴口罩而遮挡鼻和口的脸部图像的明亮度的分布有时呈现与在脸部上未佩戴口罩的脸部图像上的明亮度的分布相同的极大及极小的特征。接下来，对用于在这样的情况下也能够高精度地进行佩戴物的有无的判定的方法进行说明。
36.图3和图4都表示不存在口罩的脸部图像的明亮度的分布的例子，图3是关于红色分量的图，图4是关于蓝色分量的图。比较图3和图4的分布例与图1的分布例可知，在图1的分布例中清楚地表现的脸部的各部位的位置处的明亮度的极大及极小的特征在图3和图4的分布例中都清楚地表现。
37.接下来，关注图5和图6的分布例。这些分布例都表示在脸部上佩戴口罩的情况下的脸部图像的明亮度的分布，图5是关于红色分量的图，图6是关于蓝色分量的图。其中，图5和图6的分布例是在脸部上佩戴的口罩为红色的情况下的图。
38.在表示关于红色分量的明亮度的分布例的图5的分布例中，在相当于红色口罩的佩戴部分的位置处表现呈现明亮度的极大及极小的部分。因此，在图5的分布例中，很难通过与不存在口罩的图3的分布例的对比来判别口罩的存在有无。在图5的分布例中表现这样的极大及极小的特征是因为，在佩戴的口罩中有褶皱，该褶皱使脸部图像的口罩部分产生的暗部在明亮度的分布中表现为极大及极小部分。
39.另一方面，在表示关于蓝色分量的明亮度的分布例的图6的分布例中，红色口罩的佩戴部分的明亮度变低，极大及极小模糊。因此，在图6的分布例中，容易通过与不存在口罩的图4的分布例的对比来判别口罩的存在有无。在表示关于蓝色分量的明亮度的分布的图6的分布例中，在红色口罩的部分的整个区域中明亮度变低。因此，即使口罩的褶皱使脸部图像的口罩部分产生暗部，也不能清楚地表现图5的分布例这样的相当于口罩的佩戴部分的位置处的极大及极小的特征。
40.根据以上可知，在脸部图像是否存在红色口罩的判定中，与关于红色分量的明亮度的分布相比，在使用关于蓝色分量的明亮度的分布的情况下能够得到良好的判定精度。
41.因此，在本实施方式中，首先，将脸部图像中包含的任意的颜色分量决定为适合用于判定在脸部图像是否存在佩戴物的颜色分量。该决定是基于脸部图像的颜色信息来进行
的，更具体而言，例如可以基于是否是红色分量较少的脸部图像或者是否是蓝色分量较少的图像来进行的。这是因为，如果是存在红色佩戴物的脸部图像，则该脸部图像的红色分量变多，因此该脸部图像的蓝色分量相对变少，如果是存在蓝色佩戴物的脸部图像则该脸部图像的蓝色分量变多，因此该脸部图像的红色分量相对变少。
42.在本实施方式中，基于以上那样决定的颜色分量和上述的表示在脸部图像上存在佩戴物的可能性的高低的针对各颜色分量的指标而进行在脸部图像上是否存在佩戴物的判定。更具体而言，该判定并不是平等地使用针对各颜色分量的指标而进行的，是使用赋予了针对所决定的颜色分量的权重比针对所决定的颜色分量以外的颜色分量的权重大这样的权重的指标而进行的。由此，能够精度良好地判定脸部图像中的佩戴物的有无。
43.接下来，对进行脸部图像中的佩戴物的存在有无的判定的装置的结构进行说明。图7表示例示的信息处理装置1的结构。
44.照相机2与该信息处理装置1连接。照相机2用于人物的拍摄，通过拍摄得到的包含人物的脸部的像的拍摄图像被输入信息处理装置1。
45.信息处理装置1具备脸部图像取得部11、指标取得部12、颜色分量决定部13以及判定部14。
46.脸部图像取得部11从拍摄图像取得人物的脸部的区域的图像(脸部图像)。
47.作为从拍摄图像取得脸部图像的技术，公知有多个技术。脸部图像取得部11也可以应用这样的公知的技术中的任意技术而从拍摄图像取得脸部图像。在本实施方式中，作为脸部图像的取得的方法，脸部图像取得部11采用在上述的引用文献4中说明的以下的方法进行脸部图像的取得。
48.在该方法中，首先，在将拍摄图像中与图像帧的垂直方向邻接排列的各像素的亮度值依次相加而得的总和比预先设定的阈值大的情况下，判断为将亮度值依次相加的范围的像素包含于脸部区域。该判断利用了脸部区域与头发的区域和背景区域进行比较处于被拍摄得相对明亮的趋势。
49.在该方法中，接下来，针对依次相加的亮度值计算水平方向的变化量，将分别计算出的变化量相比于阈值大幅变化的位置确定为水平方向上的脸部的轮廓部分。该脸部的轮廓部分的确定利用了图像帧中的水平方向的亮度值的变化量在背景的区域与脸部区域的边界区域，处于与其他的部位进行比较相对地大幅变化的趋势。
50.在该方法中，通过像这样确定拍摄图像中的垂直方向和水平方向的范围，来确定脸部区域。
51.指标取得部12制作由脸部图像取得部11取得的脸部图像中包含的各颜色分量的明亮度的分布，基于所取得的各个颜色分量的明亮度的分布，针对各个颜色分量取得表示在脸部图像上存在佩戴物的可能性的高低的指标。
52.明亮度的分布是按照该图像帧的垂直方向上的各像素列的配置顺序，将在脸部图像的图像帧的水平方向的各像素列中排列的各像素的、针对各个颜色分量的像素值的每个像素列的合计值或者每个像素列的平均值纵向排列的分布。在本实施方式中，指标取得部12制作各颜色分量的上述的分布，并且使用若输入所制作的分布则输出各个颜色分量的上述指标的模型而取得上述的指标。
53.该模型例如是神经网络。该模型是通过执行将预先准备的数据组作为教师数据的
公知的机器学习算法而生成的。在本实施方式中，作为该数据组，使用分别表示存在佩戴物的脸部图像的各个颜色分量的明亮度的分布的数据组以及分别表示不存在佩戴物的脸部图像的各个颜色分量的明亮度的分布的数据组。例如，针对存在佩戴物的脸部图像的该分布的输入，将表示存在佩戴物的值“1”作为输出而建立对应关系，针对不存在佩戴物的脸部图像的该分布的输入，将表示不存在佩戴物的值“0”作为输出而建立对应关系。而且，将这些数据组作为教师数据执行机器学习。由此，生成模型，该模型输出能够取0以上且1以下的值的范围的上述的指标。
54.此外，指标取得部12也可以不使用这样的机器学习模型而取得上述的指标。例如，也可以预先准备存在佩戴物的脸部的基准的图像中包含的各颜色分量的明亮度的基准的分布，将各颜色分量的明亮度的分布与各个颜色分量的明亮度的基准的分布的类似度计算为上述的指标。
55.颜色分量决定部13基于由脸部图像取得部11取得的脸部图像的颜色信息，决定该脸部图像中包含的任意的颜色分量。在本实施方式中，如以下那样进行该颜色分量的决定。
56.在本实施方式中，设为脸部图像的图像数据由ycrcb空间表现。在ycrcb空间中，cr分量表示红色分量，cb分量表示蓝色分量。
57.此外，在图像数据由其他的颜色空间表现的情况下，可以在将该图像数据变换为ycbcr空间中的图像数据之后，进行下面说明的各处理。另外，例如，在图像数据由rgb颜色空间表现的情况下，r分量表示红色分量，b分量表示蓝色分量，也可以将以下的说明中的cr分量和cb分量分别替换为r分量和b分量来进行各处理。
58.首先，将构成脸部图像的各像素的cr分量值和cb分量值分别标准化，使分量值的值域为0以上且1以下。在以后的说明中，假设cr分量值和cb分量值被进行该标准化。
59.接下来，计算构成脸部图像的各像素的cr分量值和cb分量值各自在构成脸部图像的所有像素中的平均值。将此时计算的cr分量值和cb分量值的各个分量值的平均值分别设为mi
cr
和mi
cb
。该mi
cr
和mi
cb
是表示脸部图像中包含的红色分量和蓝色分量各自的明亮度的高低的信息，是脸部图像的颜色信息的一例。
60.颜色分量决定部13也可以通过像这样计算出的mi
cr
与mi
cb
的大小比较，来进行颜色分量的决定。即，也可以在mi
cb
比mi
cr
小的情况下，将cb分量作为颜色分量的决定的结果，在mi
cr
比mi
cb
小的情况下，将cr分量作为颜色分量的决定的结果。但是，人皮肤的颜色一般具有红色分量较多的趋势，因此在本实施方式中，为了进一步提高脸部图像中的佩戴物的有无的判定精度，在基于该趋势对比较对象的颜色分量进行了校正之后进行颜色分量的决定。
61.即，首先，颜色分量决定部13基于不存在佩戴物的基准的脸部图像中包含的红色分量和蓝色分量各自的明亮度的高低的关系来校正红色分量或者蓝色分量的明亮度。颜色分量决定部13基于这样校正的明亮度来进行颜色分量的决定。
62.更详细地说，首先，准备不存在佩戴物的脸部图像作为基准脸部图像，预先计算对于构成该基准脸部图像的各像素进行了标准化后的cr分量值与cb分量值各自的平均值。将此时计算的关于基准脸部图像的cr分量值和cb分量值各自的平均值分别设为mt
cr
和mt
cb
。
63.颜色分量决定部13将上述那样计算出的mi
cr
和mi
cb
中的的mi
cb
代入下述的[式1]式，计算校正值mi
cb’。
[0064]
[式1]
[0065][0066]
颜色分量决定部13进行该校正值mi
cb’与mi
cr
的大小比较，在mi
cb’比mi
cr
小的情况下将cb分量作为颜色分量的决定的结果，在mi
cr
比mi
cb’小的情况下将cr分量作为颜色分量的决定的结果。即，在颜色分量决定部13中，在脸部图像中包含的蓝色分量和红色分量各自的明亮度的高低的关系中，在蓝色分量比红色分量低的情况下决定蓝色分量，在红色分量比蓝色分量低的情况下决定红色分量。
[0067]
此外，在上述的方法中，颜色分量决定部13基于对脸部图像中包含的蓝色分量的明亮度的高低mi
cb
进行校正而得到的校正值mi
cb’与脸部图像中包含的红色分量的明亮度的高低mi
cr
的大小比较的结果来进行颜色分量的决定。也可以取而代之地由颜色分量决定部13基于根据人皮肤的颜色的上述的趋势来校正红色分量的明亮度的高低mi
cr
而得到的校正值与蓝色分量的明亮度的高低mi
cb
的大小比较的结果，进行颜色分量的决定。
[0068]
判定部14基于由颜色分量决定部13决定的颜色分量与由指标取得部12取得的各颜色分量的上述的指标，判定在脸部图像上是否存在佩戴物。
[0069]
首先，判定部14取得针对脸部图像中包含的各颜色分量的权重。该权重被设定为针对由颜色分量决定部13决定的颜色分量的权重比针对其他颜色分量的权重大。接下来，判定部14对由指标取得部12取得的各颜色分量的上述的指标赋予针对各个颜色分量取得的权重。判定部14基于像这样赋予了权重的各颜色分量的指标，判定在脸部图像上是否存在佩戴物。
[0070]
在本实施方式中，判定部14通过分别进行下述的[式2]式的计算而计算cr分量的权重w
cr
和cb分量的权重w
cb
。
[0071]
[式2]
[0072][0073][0074]
接下来，判定部14通过进行下述的[式3]式的计算而计算表示在脸部图像上存在佩戴物的可能性的高低的指标即综合指标p
t
。
[0075]
[式3]
[0076][0077]
此外，在[式3]式中，p
cr
和p
cb
分别是由指标取得部12取得的cr分量和cb分量各自的表示在脸部图像上存在佩戴物的可能性的高低的指标。即，[式3]式是计算针对赋予了上述的权重的cr分量的指标与针对赋予了上述的权重的cb分量的指标的平均值作为综合指
标p
t
的式子。
[0078]
判定部14在计算出的综合指标p
t
与规定的阈值(例如0.5)之间进行大小比较。判定部14基于该大小比较的结果，在综合指标p
t
为阈值以上的情况下判定为在脸部图像上存在佩戴物，在综合指标p
t
比阈值小的情况下判定为在脸部图像上不存在佩戴物，并输出判定结果。
[0079]
判定部14的输出为信息处理装置1的输出。该输出例如是为了在脸部认证的处理中，根据佩戴物在脸部图像上的有无而使用不同的登记脸部图像进行对照而使用的。
[0080]
图7的信息处理装置1具备上述的各构成要素。此外，也可以通过计算机与软件的组合而构成该信息处理装置1。
[0081]
图8表示计算机20的硬件结构例。
[0082]
计算机20例如具备处理器21、存储器22、存储装置23、读取装置24、通信接口26以及输入输出接口27作为构成要素。这些结构要素经由总线28连接，在构成要素间相互进行数据的收发。
[0083]
处理器21例如是单处理器，也可以是多处理器和多核。处理器21利用存储器22，例如执行记述了后述的佩戴物有无判定处理的顺序的佩戴物有无判定处理程序。
[0084]
存储器22例如是半导体存储器，可以包含ram区域和rom区域。存储装置23例如是硬盘、闪存等半导体存储器或者外部存储装置。此外，ram是random access memory(随机存取存储器)的简称。另外，rom是read only memory(只读存储器)的简称。
[0085]
读取装置24根据处理器21的指示而访问可装卸存储介质25。可装卸存储介质25例如由半导体器件(usb存储器等)、通过磁作用而输入输出信息的介质(磁盘等)、通过光学作用而输入输出信息的介质(cd-rom、dvd等)等实现。此外，usb是universal serial bus(通用串行总线)的简称。cd是compact disc(光盘)的简称。dvd是digital versatile disk(数字多功能盘)的简称。
[0086]
通信接口26例如根据处理器21的指示经由通信网络(未图示)发送接收数据。
[0087]
输入输出接口27取得从照相机2发送的拍摄图像的图像数据等各种数据。另外，输入输出接口27输出从处理器21输出的后述的佩戴物有无判定处理的结果。
[0088]
由该计算机20的处理器21执行的佩戴物有无判定程序例如以下述的方式提供。
[0089]
(1)预先安装于存储装置23。
[0090]
(2)由可装卸存储介质25提供。
[0091]
(3)从程序服务器等服务器经由通信网络提供给通信接口26。
[0092]
此外，计算机20的硬件结构是例示，实施方式不限于此。例如，上述的功能部的一部分或者全部的功能也可以作为基于fpga和soc等的硬件来安装。此外，fpga是field programmable gate array(现场可编程门阵列)的简称。soc是system-on-a-chip(片上系统)的简称。
[0093]
以下，对由处理器21执行的佩戴物有无判定程序中记述的佩戴物有无判定处理进行说明。图9和图10是表示佩戴物有无判定处理的处理内容的流程图。
[0094]
此外，处理器21能够利用如下的模型(例如神经网络)，针对脸部图像的各颜色分量的明亮度的分布的输入，输出关于各个颜色分量的表示在脸部图像上存在佩戴物的可能性的高低的指标。如上所述，在本实施方式中，通过执行将预先准备的数据组作为教师数据
的公知的机器学习算法，而预先生成上述的模型。作为成为该教师数据的数据组，使用分别表示存在佩戴物的脸部图像的各个颜色分量的明亮度的分布的数据组以及分别表示不存在佩戴物的脸部图像的各个颜色分量的明亮度的分布的数据组。
[0095]
若开始佩戴物有无判定处理，则在图9中，首先，在s101中进行如下的处理，取得从照相机2发送的包含人物的脸部的像的拍摄图像。
[0096]
接下来，在s102中，进行从所取得的拍摄图像取得脸部图像的处理。在该处理中，作为由图7的信息处理装置1中的脸部图像取得部11采用的方法，使用与上述相同的方法，进行脸部图像的取得。
[0097]
处理器21通过执行以上的s101和s102的处理，来提供脸部图像取得部11的上述的功能。
[0098]
接下来，在s103中进行如下的处理，制作通过s102的处理而取得的脸部图像的红色分量和蓝色分量的明亮度的分布。通过该处理制作的分布是由图7的信息处理装置1中的指标取得部12制作的上述的分布。
[0099]
接下来，在s104中进行如下的处理，针对红色分量和蓝色分量取得表示在通过s102的处理而取得的脸部图像存在佩戴物的可能性的高低的指标。在该处理中进行如下的处理，通过向输出该指标的上述的模型输入通过s103的处理制作的红色分量和蓝色分量的明亮度的分布，而取得从该模型输出的指标。
[0100]
处理器21通过执行以上的s103和s104的处理，而提供指标取得部12的上述的功能。
[0101]
接下来，在s105中进行如下的处理：计算所取得的脸部图像的红色分量和蓝色分量的明亮度的高低。在该处理中，作为由图7的信息处理装置1中的颜色分量决定部13进行的处理，进行上述的处理。即，在该处理中进行如下的处理，根据构成脸部图像的各像素的cr分量值和cb分量值，计算cr分量值和cb分量值各自在构成脸部图像的所有像素中的平均值mi
cr
和mi
cb
。
[0102]
接下来，在s106中进行如下的处理，对通过s105的处理计算出的明亮度的高低进行校正。在该处理中，进行由颜色分量决定部13进行的上述的处理、即使用[式1]式根据mi
cb
计算校正值mi
cb’的处理。
[0103]
接下来，在s107中进行如下的处理：对红色分量的明亮度的高低与蓝色分量的明亮度的高低进行大小比较。在该处理中，进行作为由颜色分量决定部13进行的上述的处理，即进行mi
cb’与mi
cr
的大小比较的处理。
[0104]
接下来，在s108中，进行基于s107的大小比较的结果的判定处理。即，进行判定蓝色分量的明亮度的高低是否低于红色分量的明亮度的高低的处理。
[0105]
在该s108的判定处理中，在判定为蓝色分量的明亮度的高低低于红色分量的明亮度的高低的情况下(在判定结果为是的情况下)，处理进入s109。而且，在s109中，进行作为颜色分量的决定的结果选择蓝色分量的处理。
[0106]
另一方面，在s108的判定处理中，在判定为红色分量的明亮度的高低低于蓝色分量的明亮度的高低，或者两者相等的情况下(在判定结果为否的情况下)，处理进入s110。而且，在s110中，进行作为颜色分量的决定的结果选择红色分量的处理。
[0107]
在结束了s109与s110中的某个处理之后，处理进入图10的s111。
[0108]
此外，在上述的s108的判定处理中，在判定为红色分量的明亮度的高低与蓝色分量的明亮度的高低两者相等的情况下，作为颜色分量的决定的结果，选择红色分量。也可以取而代之，在判定为两者相等的情况下，作为颜色分量的决定的结果，选择蓝色分量。
[0109]
处理器21通过执行以上的从s105到s110的处理，而提供颜色分量决定部13的上述的功能。
[0110]
接下来，在图10中，在s111中，进行取得红色分量和蓝色分量的权重的处理。在该处理中，作为由图7的信息处理装置1中的判定部14进行的处理，进行上述的使用[式2]式根据mi
cr
和mi
cb’来计算权重w
cr
和w
cb
的处理。其结果为，设定为针对执行图9的s109或者s110的处理而选择的颜色分量的权重比针对另一个颜色分量的权重大。
[0111]
接下来，在s112中进行如下的处理，计算表示在通过图9的s102的处理而取得的脸部图像存在佩戴物的可能性的高低的综合指标。该处理是由判定部14进行的上述的处理、即使用[式3]式根据mi
cr
和mi
cb’以及权重w
cr
和w
cb
计算综合指标p
t
的处理。
[0112]
接下来，在s113中进行如下的处理，对通过s112的处理计算出的综合指标与规定的阈值进行大小比较。在该处理中，作为由判定部14进行的处理，进行上述的进行综合指标p
t
与阈值的大小比较的处理。
[0113]
接下来，在s114中，进行基于s113的大小比较的结果的判定处理。即，进行判定综合指标是否为阈值以上的值的处理。
[0114]
在该s114的判定处理中，判定为综合指标为阈值以上的值的情况下(在判定结果为是的情况下)处理进入s115。而且，在s115中进行如下的处理，作为佩戴物有无的最终的判定结果，判定为在通过图9的s102的处理而取得的脸部图像存在佩戴物。
[0115]
另一方面，在s114的判定处理中，在判定为综合指标为小于阈值的值的情况下(在判定结果为否的情况下)，处理进入s116。而且，在s116中进行如下的处理，作为佩戴物有无的最终的判定结果，判定为在通过s102的处理而取得的脸部图像不存在佩戴物。
[0116]
在结束了s115和s116中的某个处理之后，处理进入s117，在s117中进行如下的处理，输出通过s115或者s116的处理的执行而作出的最终的判定结果。
[0117]
处理器21通过执行以上的从s111到s117的处理，而提供判定部14的上述的功能。
[0118]
若结束s117的处理，则该佩戴物有无判定处理结束。
[0119]
以上的处理是佩戴物有无判定处理。通过由处理器21执行该佩戴物有无判定处理，从而图8的计算机20作为图7的信息处理装置1进行动作，能够高精度地进行脸部图像中的佩戴物的有无的判定。
[0120]
以上，对公开的实施方式及其优点进行了详细地说明，但本领域技术人员在不脱离权利要求中明确记载的本发明的范围的情况下，能够进行各种变更、追加、省略。
[0121]
例如，在公开的实施方式中，通过模型计算表示在脸部图像存在佩戴物的可能性的高低的指标，基于计算出的指标和权重进行佩戴物的有无的判定。然而，本发明不限于此。即，例如只要在决定了红色分量和蓝色分量中的任意的颜色分量之后，基于所决定的颜色分量的明亮度的分布来判定佩戴物的有无，则能够采用所有的安装方式。即，也可以是不使用模型、指标的安装方式。
[0122]
附图标记的说明
[0123]1…
信息处理装置；2
…
照相机；11
…
脸部图像取得部；12
…
指标取得部；13
…
颜色
分量决定部；14
…
判定部；20
…
计算机；21
…
处理器；22
…
存储器；23
…
存储装置；24
…
读取装置；25
…
可装卸存储介质；26
…
通信接口；27
…
输入输出接口；28
…
总线。

技术特征：
1.一种判定方法，其特征在于，由计算机执行如下的处理：取得通过照相机拍摄的脸部图像，基于所述脸部图像中的各个颜色分量的明亮度的分布，针对所述脸部图像中包含的各颜色分量，取得表示在所述脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标，基于所述脸部图像的颜色信息，决定所述脸部图像中包含的任意的颜色分量，基于决定的所述颜色分量和针对各颜色分量的所述指标，进行在所述脸部图像上是否存在所述佩戴物的判定。2.根据权利要求1所述的判定方法，其特征在于，所述颜色信息是表示所述脸部图像中包含的各颜色分量各自的明亮度的高低的信息，在所述颜色分量的决定中，在所述脸部图像中包含的各颜色分量中决定所述明亮度的高低比其他的颜色分量低的颜色分量。3.根据权利要求2所述的判定方法，其特征在于，所述脸部图像中包含的各颜色分量包含红色分量和蓝色分量，在所述颜色分量的决定中，在所述脸部图像中包含的所述蓝色分量的所述明亮度的高低比所述脸部图像中包含的所述红色分量的所述明亮度的高低低的情况下决定所述蓝色分量，在所述脸部图像中包含的所述红色分量的所述明亮度的高低比所述脸部图像中包含的所述蓝色分量的所述明亮度的高低低的情况下决定所述红色分量。4.根据权利要求3所述的判定方法，其特征在于，基于不存在所述佩戴物的基准的脸部图像中包含的所述红色分量与所述蓝色分量之间的各个分量的所述明亮度的高低的关系，对所述红色分量的所述明亮度的高低或者所述蓝色分量的所述明亮度的高低进行校正，基于校正后的明亮度进行所述颜色分量的决定。5.根据权利要求3或4所述的判定方法，其特征在于，所述红色分量和所述蓝色分量分别是ycrcb颜色空间中的cr分量和cb分量。6.根据权利要求1至5中任一项所述的判定方法，其中，所述脸部图像中包含的各颜色分量的明亮度的分布是按照该图像帧的垂直方向上的各像素列的配置顺序，将在所述脸部图像的图像帧的水平方向的各像素列中排列的各像素的、针对各个颜色分量的像素值的每个像素列的合计值或者每个像素列的平均值排列而得的分布。7.根据权利要求1至6中任一项所述的判定方法，其中，模型针对各个颜色分量的所述分布的输入，输出针对各个颜色分量的所述指标，该模型是针对所述脸部图像中包含的各颜色分量，通过进行机器学习而生成的，在该机器学习中，将分别表示存在所述佩戴物的脸部图像的各个颜色分量的所述分布的数据组和分别表示不存在所述佩戴物的脸部图像的各个颜色分量的所述分布的数据组作为教师数据使用，取得在向针对各个颜色分量的所述生成的模型输入所述脸部图像中包含的各个颜色分量的所述分布时来自该模型的输出作为针对各个颜色分量的所述指标。
8.根据权利要求1至7中任一项所述的判定方法，其中，针对各个颜色分量取得权重，该权重是针对所述脸部图像中包含的各颜色分量的权重且是针对决定的所述颜色分量的所述权重比针对决定的所述颜色分量以外的颜色分量的所述权重大的权重，对针对各颜色分量的所述指标赋予针对各个颜色分量的所述权重，是否存在所述佩戴物的判定是基于针对各颜色分量的赋予了所述权重的所述指标而进行的。9.根据权利要求8所述的判定方法，其中，在所述脸部图像上是否存在所述佩戴物是根据针对各颜色分量的赋予了所述权重的所述指标的平均值与阈值的大小比较的结果而判定的。10.根据权利要求8或9所述的判定方法，其中，所述脸部图像中包含的决定的所述颜色分量的明亮度的高低越高，则使针对决定的所述颜色分量的所述权重越大。11.一种判定程序，其用于使计算机执行如下的处理：取得通过照相机拍摄的脸部图像，基于所述脸部图像中的各个颜色分量的明亮度的分布，针对所述脸部图像中包含的各颜色分量，取得表示在所述脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标，基于所述脸部图像的颜色信息，决定所述脸部图像中包含的任意的颜色分量，基于决定的所述颜色分量和针对各颜色分量的所述指标，进行在所述脸部图像上是否存在所述佩戴物的判定。12.一种信息处理装置，其特征在于，具备：脸部图像取得部，其取得通过照相机拍摄的脸部图像；指标取得部，其基于所述脸部图像中的各个颜色分量的明亮度的分布，针对所述脸部图像中包含的各颜色分量，取得表示在所述脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标；颜色分量决定部，其基于所述脸部图像的颜色信息，决定所述脸部图像中包含的任意的颜色分量；以及判定部，其基于决定的所述颜色分量和针对各颜色分量的所述指标，进行在所述脸部图像上是否存在所述佩戴物的判定。13.一种判定方法，其特征在于，由计算机执行如下的处理：取得通过照相机拍摄的脸部图像，基于所取得的所述脸部图像的颜色信息，决定任意的颜色分量，基于所取得的所述脸部图像中包含的颜色分量中的、所决定的所述颜色分量的明亮度分布，进行在所述脸部图像上是否存在佩戴物的判定。

技术总结
计算机取得通过照相机拍摄的脸部图像。计算机基于该脸部图像中的各个颜色分量的明亮度的分布，针对该脸部图像中包含的各颜色分量，取得表示在该脸部图像上存在局部遮挡脸部的佩戴物的可能性的高低的指标。计算机基于该脸部图像的颜色信息，决定该脸部图像中包含的任意的颜色分量。计算机基于决定的该颜色分量和针对各颜色分量的该指标，进行在该脸部图像上是否存在该佩戴物的判定。上是否存在该佩戴物的判定。上是否存在该佩戴物的判定。


技术研发人员：松涛智明
受保护的技术使用者：富士通株式会社
技术研发日：2020.12.10
技术公布日：2023/7/25