生物体认证系统及生物体认证方法与流程

1.本公开涉及生物体认证系统及生物体认证方法。


背景技术：

2.在对办公室的进出、入境管理、金融机构或智能电话中的结算、或者公共监视摄像机等领域，近年来使用生物体认证的个人认证的重要性在增加。个人认证的认证精度也通过使用机器学习、通过大量的数据库积蓄和算法改变而提高。另一方面，在使用生物体认证的个人认证中，本人以外的冒充也成为课题。例如，在专利文献1中公开了检测用于冒充的变装用的物品的检测装置。
3.在生物体认证中，要求对应于冒充等的认证精度的提高以及用于生物体认证的装置的小型化。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017－228316号公报
7.非专利文献
8.非专利文献1：holger steiner，“active multispectral swir imaging for reliable skin detection and face verification”，cuvillier verlag，2017年1月10日，pp.13－14


技术实现要素：

9.发明要解决的课题
10.在本公开中，提供认证精度高、能够将装置小型化的生物体认证系统等。
11.用来解决课题的手段
12.有关本公开的一技术方案的生物体认证系统，具备：第1图像取得部，取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；第2图像取得部，取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及判定部，基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。
13.有关本公开的一技术方案的生物体认证方法，包括以下处理：取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。
14.发明效果
15.根据有关本公开的一技术方案的生物体认证系统等，认证精度高，能够实现装置的小型化。
附图说明
16.图1是表示由有关实施方式1的生物体认证系统进行的冒充判定的概要的图。
17.图2是表示有关实施方式1的生物体认证系统的功能结构的框图。
18.图3是表示作为有关实施方式1的判定部中的比较的对象的可视光图像及第1红外图像的例子的图。
19.图4是示意地表示生物体上的光的反射特性的图。
20.图5是表示向人的皮肤入射的可视光的反射比率的例子的图。
21.图6是表示液体的水的nk光谱的图。
22.图7是表示在不同的波长下拍摄人脸而得到的图像的图。
23.图8是表示每种肤色的光的反射率的波长依赖性的图。
24.图9是表示地上的太阳光光谱的图。
25.图10是将图9的太阳光光谱的一部分放大的图。
26.图11是将图9的太阳光光谱的另一部分放大的图。
27.图12是表示有关实施方式1的生物体认证系统的动作例的流程图。
28.图13是用来说明不是冒充的情况下的由有关实施方式1的生物体认证系统进行的冒充判定的图。
29.图14是表示有关实施方式1的变形例的生物体认证系统的功能结构的框图。
30.图15是表示有关实施方式1的变形例的第3摄像装置的例示性的结构的图。
31.图16是表示有关实施方式1的变形例的第3摄像装置的像素的截面构造的概略剖视图。
32.图17是表示有关实施方式1的变形例的像素的分光灵敏度曲线的例子的示意图。
33.图18是表示有关实施方式1的变形例的第3摄像装置的另一像素的截面构造的概略剖视图。
34.图19是表示有关实施方式1的变形例的第3摄像装置的再另一像素的截面构造的概略剖视图。
35.图20是表示有关实施方式1的变形例的再另一像素的分光灵敏度曲线的例子的示意图。
36.图21是表示有关实施方式2的生物体认证系统的功能结构的框图。
37.图22是表示有关实施方式2的生物体认证系统的动作例的流程图。
38.图23是表示有关实施方式2的变形例的生物体认证系统的功能结构的框图。
39.图24是表示有关实施方式2的变形例的第5摄像装置的像素的截面构造的概略剖视图。
40.图25是表示有关实施方式2的变形例的像素的分光灵敏度曲线的例子的示意图。
具体实施方式
41.(达成本公开的一技术方案的认识)
42.近年来，在使用可视光图像的脸部认证等的生物体认证中，通过在世界范围中提供或单独取得的大量的图像的数据库和机器学习算法的进化，认证率正在提高。
43.另一方面，在使用拍摄被摄体而得到的图像的生物体认证中，由非本人的第三者通过冒充本人而进行的不正当认证，例如由第三者利用印刷的本人图像、显示于智能电话或平板电脑等终端的画面上的本人图像及用纸或硅橡胶等制作的3d面具等进行的不正当认证是一个课题。
44.对于该课题，例如如专利文献1那样，提出了通过使用多个用相互不同的波长域的红外线拍摄被摄体而得到的红外图像来检测冒充的方法，但该方法中有以下的两个课题。第1个课题是，如果使用红外图像，则因上述的数据库不足等，导致个人认证的认证率下降。第2个课题是，因使用多个红外线的波长域，会发生摄像装置的增加、分光系统及光源的追加、以及要处理的图像数据量的增大等。
45.本发明的发明人为了解决这样的课题而发现：通过使用可视光图像和红外图像进行被摄体是否为生物体的冒充判定，能够在抑制装置的增大而实现小型化的同时，以高精度实现冒充判定及个人认证等的生物体认证。以下，详细地进行说明。
46.(本公开的概要)
47.本公开的一技术方案的概要如下。
48.有关本公开的一技术方案的生物体认证系统具备：第1图像取得部，取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；第2图像取得部，取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及判定部，基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。
49.由此，在被摄体是生物体的情况下，向生物体入射的红外线被生物体表面附近的水分吸收，所以第1红外图像成为产生了比可视光图像暗的部分的图像。因此，仅通过对可视光图像及第1红外图像这两种图像进行比较，就能够容易地判定被摄体是生物体还是终端的画面、纸或硅橡胶等的用于冒充的人造物。因此，能够使生物体认证系统小型化。此外，不论冒充的情况下的被摄体是平面形状还是立体形状，不论形状如何，都在可视光图像和第1红外图像间在图像的明暗上发生差异，所以能够高精度地进行冒充判定。因此，根据有关本技术方案的生物体认证系统，认证精度高，能够实现装置的小型化。
50.此外，例如也可以是，上述生物体认证系统还具备第1认证部，该第1认证部基于上述可视光图像进行上述被摄体的第1个人认证，并输出上述第1个人认证的结果。
51.由此，通过由第1认证部基于可视光图像进行被摄体的个人认证，能够利用充实的可视光图像的数据库等，所以生物体认证系统能够进行高精度的个人认证。
52.此外，例如也可以是，在上述判定部判定为上述被摄体不是生物体的情况下，上述第1认证部不进行上述被摄体的上述第1个人认证。
53.由此，能够减轻生物体认证系统的处理负荷。
54.此外，例如也可以是，上述生物体认证系统还具备第2认证部，该第2认证部基于上述第1红外图像进行上述被摄体的第2个人认证，并输出上述第2个人认证的结果。
55.照射到生物体并被生物体反射的红外线中的表面反射成分相对于扩散反射成分
的比率，高于照射到生物体并被生物体反射的可视光中的表面反射成分相对于扩散反射成分的比率，所以第1红外图像与可视光图像相比空间分辨率高。因此，通过除了由第1认证部进行的个人认证以外，还由第2认证部基于空间分辨率高的第1红外图像进行生物体认证，能够进行高精度的个人认证。
56.此外，例如也可以是，上述生物体认证系统还具备：存储装置，保存用来进行上述第1个人认证及上述第2个人认证的信息；以及信息构建部，将与上述第1个人认证的上述结果有关的信息和与上述第2个人认证的上述结果有关的信息建立关联而保存到上述存储装置中。
57.由此，能够将包含与可视光图像相比空间分辨率更高但信息量更少的第1红外图像的数据库进行扩充，通过使用这些信息进行机器学习等，能够构建能够进行精度更高的个人认证的生物体认证系统。
58.此外，例如也可以是，上述判定部通过对基于上述可视光图像的对比度值与基于上述第1红外图像的对比度值进行比较，判定上述被摄体是否是生物体。
59.由此，生物体认证系统能够使用能够简单地计算的对比度值进行冒充判定。
60.此外，例如也可以是，上述生物体认证系统还具备摄像部，该摄像部包括拍摄上述可视光图像的第1摄像装置和拍摄上述第1红外图像的第2摄像装置，上述第1图像取得部从上述第1摄像装置取得上述可视光图像，上述第2图像取得部从上述第2摄像装置取得上述第1红外图像。
61.由此，可视光图像及第1红外图像分别由第1摄像装置及第2摄像装置拍摄，所以能够将简单的结构的摄像机用于第1摄像装置及第2摄像装置而实现生物体认证系统。
62.此外，例如也可以是，上述生物体认证系统还具备摄像部，该摄像部包括拍摄上述可视光图像及上述第1红外图像的第3摄像装置，上述第1图像取得部从上述第3摄像装置取得上述可视光图像，上述第2图像取得部从上述第3摄像装置取得上述第1红外图像。
63.由此，用一个第3摄像装置拍摄可视光图像及第1红外图像双方的图像，所以能够使生物体认证系统更小型化。
64.此外，例如也可以是，上述第3摄像装置包括对于上述可视光的波长范围及上述第1波长具有分光灵敏度的第1光电变换层。
65.由此，能够实现即使用1层的光电变换层也能够拍摄可视光图像及第1红外图像的第3摄像装置，所以能够使第3摄像装置的制造简单化。
66.此外，例如也可以是，上述第3摄像装置包括遍及可视光的整个波长范围具有分光灵敏度的第2光电变换层。
67.由此，可视光图像的画质提高，能够提高使用可视光图像的生物体认证的精度。
68.此外，例如也可以是，上述生物体认证系统还具备向上述被摄体照射上述第1红外线的照明装置。
69.由此，由有源的照明装置对被摄体照射红外线，所以第2摄像装置拍摄的第1红外图像的画质提高，能够提高生物体认证系统的认证精度。
70.此外，例如也可以是，上述生物体认证系统还具备定时控制部，该定时控制部对由上述摄像部进行的拍摄的定时和由上述照明装置进行的照射的定时进行控制。
71.由此，能够仅在生物体认证所需要的时间段对被摄体照射红外线，所以能够削减
耗电。
72.此外，例如也可以是，上述生物体认证系统还具备取得第2红外图像的第3图像取得部，上述第2红外图像是通过拍摄照射到上述皮肤部的第2红外线被上述皮肤部反射而产生的、具有包含与上述第1波长不同的第2波长的波长域的第3反射光来得到的图像；上述判定部基于上述可视光图像、上述第1红外图像和上述第2红外图像，判定上述被摄体是否是生物体。
73.由此，判定部还使用拍摄与第1红外图像不同的波长的红外线而得到的第2红外图像来判定是否是生物体，所以能够提高判定部的判定精度。
74.此外，例如也可以是，上述判定部根据上述第1红外图像和上述第2红外图像生成差分红外图像，基于上述差分红外图像和上述可视光图像，判定上述被摄体是否是生物体。
75.在拍摄红外线而得到的图像中，发生因基于水的吸收而被拍摄得较暗、或因成为照射光的影子而被拍摄得较暗等难以进行判定的情况。因此，通过生成拍摄不同波长的红外线而得到的第1红外图像与第2红外图像的差分红外图像，能够除去被拍摄得较暗的原因为照射光的影子的情况下的影响，能够提高生物体认证系统的认证精度。
76.此外，例如也可以是，上述第1波长是1100nm以下。
77.由此，能够实现利用包含便宜的硅传感器的摄像装置的生物体认证系统。
78.此外，例如也可以是，上述第1波长是1200nm以上。
79.由此，生物体的水分对红外线的吸收变大，清晰地带有第1红外图像的对比度，所以能够提高生物体认证系统的认证精度。
80.此外，例如也可以是，上述第1波长是1350nm以上且1450nm以下。
81.由于1350nm以上且1450nm以下的波长范围是太阳光的缺失波长、并且是水的吸光度系数高的波长范围，所以能够拍摄环境光的影响小且清晰地带有对比度的第1红外图像。因此，能够提高生物体认证系统的认证精度。
82.此外，例如也可以是，上述被摄体是人脸。
83.由此，能够实现认证精度高、能够使装置小型化的进行脸部认证的生物体认证系统。
84.有关本公开的一技术方案的生物体认证方法，包括以下处理：取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。
85.由此，与上述生物体认证系统同样，仅通过对可视光图像及第1红外图像这两种图像进行比较，就能够容易且高精度地进行冒充判定。因此，根据有关本技术方案的生物体认证方法，认证精度高，能够实现用于使用有关本技术方案的生物体认证方法的生物体认证的装置的小型化。
86.有关本公开的一技术方案的生物体认证系统具备：存储器；以及电路(circuitry)，在动作时，从上述存储器取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；从上述存
储器取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。
87.也可以是，上述电路在动作时还基于上述可视光图像进行上述被摄体的第1个人认证，并输出上述第1个人认证的结果。
88.也可以是，在上述电路判定为上述被摄体不是生物体的情况下，上述电路不进行上述被摄体的上述第1个人认证。
89.也可以是，上述电路在动作时还基于上述第1红外图像进行上述被摄体的第2个人认证，并输出上述第2个人认证的结果。
90.也可以是，上述生物体认证系统还具备保存用来进行上述第1个人认证及上述第2个人认证的信息的存储装置；上述电路将与上述第1个人认证的上述结果有关的信息和与上述第2个人认证的上述结果有关的信息建立关联而保存到上述存储装置中。
91.也可以是，上述电路通过对基于上述可视光图像的对比度值与基于上述第1红外图像的对比度值进行比较，判定上述被摄体是否是生物体。
92.也可以是，上述电路在动作时还对由上述摄像部进行的拍摄的定时和由上述照明装置进行的照射的定时进行控制。
93.也可以是，上述生物体认证系统还具备取得第2红外图像的第3图像取得部，上述第2红外图像是通过拍摄照射到上述皮肤部的第2红外线被上述皮肤部反射而产生的、具有包含与上述第1波长不同的第2波长的波长域的第3反射光来得到的图像；上述电路基于上述可视光图像、上述第1红外图像和上述第2红外图像，判定上述被摄体是否是生物体。
94.也可以是，上述电路根据上述第1红外图像和上述第2红外图像生成差分红外图像，基于上述差分红外图像和上述可视光图像，判定上述被摄体是否是生物体。
95.在本公开中，电路、单元、装置、部件或部的全部或一部分、或框图中的功能块的全部或一部分例如也可以由包括半导体装置、半导体集成电路(ic)或lsi(large scale integration)的1个或多个电子电路执行。lsi或ic既可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到1个芯片上。这里称作lsi或ic，但根据集成的程度而叫法变化，也可以称作系统lsi、vlsi(very large scale integration)或ulsi(ultra large scale integration)。也可以以相同的目的使用可在lsi的制造后编程的field programmable gate array(fpga)、或能够进行lsi内部的接合关系的重构或lsi内部的电路划分的设置的reconfigurable logic device。
96.进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，将软件记录到1个或多个rom、光盘、硬盘驱动器等的非暂时性记录介质中，在软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
97.以下，参照附图对实施方式进行说明。
98.另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没
有记载的构成要素，设为任意的构成要素进行说明。此外，各图并不一定是严密地图示的。因而，例如在各图中比例尺等并不一定一致。此外，在各图中，对于实质上相同的结构赋予共通的标号，有关于重复的说明进行省略或简略化的情况。
99.此外，在本说明书中，表示要素间的关系性的用语及表示要素的形状的用语、以及数值范围不是仅表示严格的意思的表现，而是意味着实质上同等的范围、例如也包含几个百分点左右的差异的表现。
100.此外，在本说明书中，“上方”及“下方”这样的用语不是指绝对的空间识别中的上方(铅直上方)及下方(铅直下方)，而是作为基于层叠结构中的层叠顺序由相对的位置关系规定的用语来使用。具体而言，将摄像装置的受光侧设为“上方”，将与受光侧相反一侧设为“下方”。另外，“上方”及“下方”等用语只不过是为了指定部件间的相互的配置而使用的，不是要限定摄像装置的使用时的姿势。此外，“上方”及“下方”这样的用语不仅适用于将两个构成要素相互隔开间隔配置而在两个构成要素之间存在其他构成要素的情况，也适用于两个构成要素相互密接配置而两个构成要素相接的情况。
101.(实施方式1)
102.[概要]
[0103]
首先，对由有关本实施方式的生物体认证系统进行的生物体认证处理的概要进行说明。有关本实施方式的生物体认证系统例如作为生物体认证而进行被摄体的冒充判定及被摄体的个人认证。在本说明书中，将进行冒充判定及进行个人认证都作为进行生物体认证的一例而进行说明。图1是表示由有关本实施方式的生物体认证系统进行的冒充判定的概要的图。
[0104]
如图1所示，有关本实施方式的生物体认证系统例如对拍摄可视光而得到的可视光图像与拍摄红外线而得到的第1红外图像进行比较。通过该比较，生物体认证系统判定：是(i)被摄体是生物体，并非冒充；还是(ii)被摄体不是生物体而是模仿生物体的人造物，是冒充的。在本说明书中，可视光的波长范围例如是380nm以上且小于780nm。此外，红外线的波长范围例如是780nm以上且4000nm以下。特别是，作为红外线可以使用被称作swir(短波红外：shortwave infrared)的900nm以上且2500nm以下的红外线。此外，在本说明书中，为了方便而将包括可视光及红外线的整体电磁波表现为“光”。
[0105]
作为生物体认证的对象的被摄体例如是人脸。被摄体并不限于人脸，也可以是用来以指纹或掌纹进行生物体认证的人手等的脸部以外的生物体的一部分。被摄体也可以是生物体的整体。
[0106]
作为以往的使用红外线的冒充判定的方法，有通过取得多个红外波长进行的分光法、以及通过基于测距取得三维数据而进行的认证法，但前者中系统规模增大，后者不能判别基于用纸或硅橡胶等制作的三维构造物的冒充。特别是，对于基于脸以及手的指纹及掌纹等进行的生物体认证，近年来3d打印机性能也在提高，仅通过形状识别难以进行冒充判定。相对于此，本实施方式的冒充判定如图1所示，基于在生物体和人造物间可视光图像和第1红外图像的差异变化的特性来进行，所以仅取得两个图像即可，不用使装置增大就能够进行高精度的生物体认证。
[0107]
[结构]
[0108]
接着，对有关本实施方式的生物体认证系统的结构进行说明。图2是表示有关本实
施方式的生物体认证系统1的功能结构的框图。
[0109]
如图2所示，生物体认证系统1具备处理部100、存储部200、摄像部300、第1照明部410和定时控制部500。第1照明部410是照明装置的一例。
[0110]
首先，对处理部100的详细情况进行说明。处理部100是进行生物体认证系统1中的冒充判定及个人认证等的信息处理的处理装置。处理部100具备包括第1图像取得部111及第2图像取得部112的存储器600、判定部120、第1认证部131、第2认证部132和信息构建部140。处理部100例如由包括内置程序的1个以上的处理器的微控制器实现。处理部100的功能既可以由通用的处理电路与软件的组合实现，也可以由为处理部100的处理特制的硬件实现。
[0111]
第1图像取得部111取得被摄体的可视光图像。第1图像取得部111暂时地保存被摄体的可视光图像。可视光图像通过拍摄照射到被摄体的可视光被被摄体反射而产生的反射光来得到。第1图像取得部111例如从摄像部300、具体而言从摄像部300的第1摄像装置311取得可视光图像。可视光图像例如是包含红色(r)、绿色(g)、蓝色(b)各自的亮度值的信息的彩色图像，但也可以是灰度图像。
[0112]
第2图像取得部112取得被摄体的第1红外图像。第2图像取得部112暂时地保存被摄体的第1红外图像。第1红外图像通过拍摄照射到被摄体的红外线被被摄体反射而产生的、具有包含第1波长的波长域的反射光来得到。第2图像取得部112例如从摄像部300、具体而言从摄像部300的第2摄像装置312取得第1红外图像。
[0113]
判定部120基于由第1图像取得部111取得的可视光图像和由第2图像取得部112取得的第1红外图像，判定被摄体是否是生物体。判定部120例如通过对基于可视光图像的对比度值与基于第1红外图像的对比度值进行比较，判定被摄体是否是生物体。关于由判定部120进行的详细的处理在后面叙述。
[0114]
此外，判定部120例如将判定出的结果作为判定信号向外部输出。此外，判定部120也可以将判定出的结果作为判定信号向第1认证部131及第2认证部132输出。
[0115]
第1认证部131基于由第1图像取得部111取得的可视光图像进行被摄体的个人认证。第1认证部131例如在判定部120判定为被摄体不是生物体的情况下不进行被摄体的个人认证。第1认证部131将进行了个人认证的结果向外部输出。
[0116]
第2认证部132基于由第2图像取得部112取得的第1红外图像进行被摄体的个人认证。第2认证部132将进行了个人认证的结果向外部输出。
[0117]
信息构建部140将与由第1认证部131进行的个人认证的结果有关的信息和与由第2认证部132进行的个人认证的结果有关的信息建立关联，保存到存储部200中。信息构建部140例如将在个人认证中使用的可视光图像及第1红外图像、以及个人认证的结果保存到存储部200中。
[0118]
存储部200是保存用来进行个人认证的信息的存储装置。存储部200中例如保存有将被摄体的个人信息与描绘有被摄体的图像建立了关联的个人认证数据库。存储部200例如由hdd(hard disc drive)等实现。存储部200也可以由半导体存储器实现。
[0119]
摄像部300拍摄要在生物体认证系统1中使用的图像。摄像部300具有第1摄像装置311和第2摄像装置312。
[0120]
第1摄像装置311拍摄描绘有被摄体的可视光图像。作为照射到被摄体并由被摄体
反射的可视光的反射光入射到第1摄像装置311。第1摄像装置311拍摄所入射的该反射光而生成可视光图像。第1摄像装置311输出所拍摄的可视光图像。第1摄像装置311由图像传感器、控制电路及透镜等构成，所述图像传感器例如是ccd(charge coupled device：电荷耦合器件)或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)等的图像传感器，对于可视光具有分光灵敏度。第1摄像装置311中例如可以使用公知的可视光拍摄用的摄像机。第1摄像装置311也可以是以多个像素的全部的曝光期间被统一的全局快门方式进行动作的摄像装置。
[0121]
第2摄像装置312拍摄描绘有被摄体的第1红外图像。作为照射到被摄体并由被摄体反射的红外线的、具有包含第1波长的波长域的反射光入射到第2摄像装置312。第2摄像装置312拍摄所入射的该反射光而生成第1红外图像。第2摄像装置312输出所拍摄的第1红外图像。第2摄像装置312由图像传感器、控制电路及透镜等构成，所述图像传感器例如是ccd或cmos等的图像传感器，对于红外线具有分光灵敏度。第2摄像装置312中例如可以使用公知的红外线拍摄用的摄像机。第2摄像装置312也可以是以多个像素的全部的曝光期间被统一的全局快门方式进行动作的摄像装置。
[0122]
第1照明部410是作为照射光而将包含第1波长在内的波长范围的红外线向被摄体照射的照明装置。作为由第1照明部410照射并由被摄体反射的红外线的反射光被第2摄像装置312拍摄。第1照明部410例如照射在第1波长附近具有发光峰值的红外线。通过具备这样的第1照明部410，第2摄像装置312拍摄的第1红外图像的画质提高，能够提高生物体认证系统1的认证精度。
[0123]
第1照明部410例如由光源、点亮电路及控制电路等构成。用于第1照明部410的光源没有特别限制，可根据使用目的而选择。作为用于第1照明部410的光源，例如可以举出卤化物光源、led(light emitting diode：发光二极管)光源及激光二极管光源等。例如，在照射宽范围的波长范围的红外线的情况下，作为光源使用卤化物光源。此外，例如为了抑制耗电及发热，作为光源使用led光源。此外，例如在使用后述的太阳光缺失波长的窄带的情况下、或者对于生物体认证系统1并用测距系统而进一步实现认证率的提高的情况下等，作为光源使用激光二极管光源。
[0124]
另外，第1照明部410也可以是照射除了包含第1波长在内的波长范围以外还包含可视光的波长范围的光的光源。此外，生物体认证系统1也可以还具备照射可视光的照明装置。
[0125]
定时控制部500对由摄像部300进行的拍摄的定时和由第1照明部410进行的照射的定时进行控制。定时控制部500例如对第2摄像装置312及第1照明部410输出第1同步信号。第2摄像装置312在基于第1同步信号的定时拍摄第1红外图像。第1照明部410在基于第1同步信号的定时照射红外线。由此，在使第1照明部410向被摄体照射红外线的期间，使第2摄像装置312进行拍摄。因此，仅在生物体认证所需要的时间段向被摄体照射红外线，所以能够削减耗电。
[0126]
此外，第2摄像装置312例如也可以在基于第1同步信号的定时进行全局快门动作。由此，能够取得抑制了被照射光的被摄体的运动的抖动的图像，能够提高生物体认证系统1的认证精度。
[0127]
定时控制部500例如由包括内置程序的1个以上的处理器的微控制器实现。定时控
制部500的功能既可以由通用的处理电路与软件的组合实现，也可以由为定时控制部500的处理特制的硬件实现。
[0128]
此外，定时控制部500也可以具有输入受理部，该输入受理部受理来自用户的第1同步信号的输出的指示等，由触摸面板或物理按钮等构成。
[0129]
另外，生物体认证系统1也可以不具备定时控制部500。例如，用户也可以直接操作摄像部300及第1照明部410。此外，第1照明部410也可以在生物体认证系统1运转时总是点亮。
[0130]
[原理]
[0131]
接着，对判定部120能够基于可视光图像和第1红外图像判定被摄体是否是生物体的原理进行说明。
[0132]
首先，对作为判定部120的比较的对象的可视光图像及第1红外图像进行说明。图3是表示作为判定部120的比较的对象的可视光图像及第1红外图像的例子的图。图3的部分(a)是由可视光拍摄用的摄像机直接拍摄人脸而得到的图像。即，在图3的部分(a)中表示了被摄体是生物体的情况下的可视光图像。图3的部分(b)是由红外线拍摄用的摄像机拍摄显示有该人脸的图像的显示器而得到的图像。即，在图3的部分(b)中表示了被摄体是人造物、进行了冒充的情况下的第1红外图像。图3的部分(c)是由红外线拍摄用的摄像机直接拍摄该人脸而得到的图像。即，在图3的部分(c)表示了被摄体是生物体的情况下的第1红外图像。作为红外线拍摄用的摄像机，使用了对于1450nm具有分光灵敏度的摄像机。此外，在红外线拍摄用的摄像机上安装使1450nm附近的波长范围透射的带通滤波器，用包括1450nm为中心波长的led光源的照明装置对人脸照射光，来进行了拍摄。另外，图3的部分(a)的图像实际上是彩色图像，但为了图示的方便而表示单色化的图像。
[0133]
对图3的部分(c)所示的被摄体是生物体的情况下的第1红外图像而言，皮肤因水分吸收而暗沉，与图3的部分(a)所示的被摄体是生物体的情况下的可视光图像相比，对比度及亮度大幅变化。另一方面，在图3的部分(b)所示的进行冒充的情况下的第1红外图像与图3的部分(a)所示的图像的比较中，亮度及对比度的差较小。例如，在被摄体是生物体的情况下，与被摄体是人造物的情况相比，第1红外图像的对比度值变大。因此，通过将这些图像进行比较，能够容易地进行被摄体是否是生物体、换言之是生物体还是人造物的冒充判定。
[0134]
接着，对如图3所示的对比度等的差呈现于可视光图像和第1红外图像中的原理详细地进行说明。
[0135]
图4是示意地表示生物体上的光的反射特性的图。在图4中表示了光向人的皮肤入射的情况。图5是表示入射到人的皮肤的可视光的反射比率的例子的图。图6是表示液体的水的nk光谱的图。在图6中表示了液体的水的折射率(n)及吸光度系数(k)的光的波长依赖性。
[0136]
如图4所示，向人的皮肤的入射光的反射光被分为来自皮肤表面的表面反射成分、以及入射到皮下组织中被散射并向外部射出来的扩散反射成分。如果将这样的反射成分等的比率用简单的数值表示，则例如如图5所示，当100％的光入射到生物体时，表面反射成分是5％左右，扩散反射成分是55％左右。入射光中的其余的40％左右被人的真皮等热吸收，不反射。因此，在可视光的波长域下进行拍摄的情况下，作为表面反射成分与扩散反射成分的合计的、入射光中的约60％的光作为反射光被观察到。
[0137]
另一方面，如图6所示，与可视光相比，在1400nm附近的波长等的swir区域的红外线中，吸光度系数高，基于水的吸收显著。因此，在红外线中，图4所示的扩散反射成分被皮肤中的水吸收而变少，表面反射占主导地位。如果以图5所示的比率进行说明，则扩散反射成分变少，入射光的5％的表面反射成分主要作为反射光被观察到。因此，如果拍摄红外线被生物体反射的反射光，则拍摄出被摄体看起来暗的图像。因此，通过可视光图像与第1红外图像的比较，能够简单地判别是生物体还是人造物。即，在本实施方式中着眼点是在可视光和红外线中不同的生物体的光的反射特性，特别是可视光和红外线中的表面反射成分和扩散反射成分的比率的变化。作为用于冒充的人造物的显示器、纸或硅橡胶几乎不含有水分，所以在可视光和红外线中，不发生由这样的波长的差异带来的表面反射成分和扩散反射成分的比率的变化。因此，能够取得如图3所示的可视光图像及第1红外图像，通过将可视光图像与第1红外图像进行比较，能够容易地进行冒充判定。
[0138]
此外，使用图6所示的nk光谱的数据，计算出以下的比率等。在550nm下，正反射光(即，上述的表面反射光)是扩散反射光的约1/10倍。此外，如果使用生物体内的扩散反射光的平均光路长度和550nm及1450nm的k值来概算扩散反射光的比率，则1450nm下的扩散反射光为550nm下的扩散反射光的约10
－3
倍。此外，如果根据水的折射率和空气的折射率使用550nm及1450nm的n值来概算正反射率，则1450nm下的正反射率和550nm下的正反射率是0.0189和0.0206，大致相同。因而，在1450nm下，正反射光为扩散反射光的约100倍。这样，在1450nm等的swir区域的红外线中，正反射光即表面反射光占主导地位，使作为空间分辨率的图像对比度下降的扩散反射成分大幅地变少，所以空间分辨率提高。
[0139]
这样，在可视光下的拍摄中，特别难以被水吸收的蓝色光扩散反射，容易拍摄出形状的轮廓模糊的图像。另一方面，通过拍摄红外线的波长域，皮肤及皱纹的表面形状容易作为特征点被检测到，增加特征点信息，从而能够提高冒充判定及个人认证的精度。水的吸光度系数k越高的波长则扩散反射光越减少，所以在水的吸光度系数特别高的1200nm以上的波长的红外线中，这样的空间分辨率的提高显著。此外，通过这样提高空间分辨率，能够提高人脸的认证精度。
[0140]
[红外线的波长范围]
[0141]
接着，对在第1红外图像的拍摄中使用的红外线的波长范围即第1波长的波长范围进行说明。另外，以下关于第1波长说明具体的数值，但在以下的说明中不是以1nm间距严密地需要该波长，而是以该波长附近、例如与该波长有50nm以下左右的差的波长这样的认识来记载。这是因为，生物体、光源及摄像装置的波长特性不是以几nm级别进行陡峭的响应。
[0142]
图7是表示在850nm、940nm、1050nm、1200nm、1300nm、1450nm及1550nm下拍摄人脸而得到的图像的图。图8是表示每个肤色的光的反射率的波长依赖性的图。在图8中使用非专利文献1所记载的数据。在图8中表示了按每个肤色改变线的种类的曲线图。
[0143]
第1波长例如是1100nm以下。由此，能够用包含便宜的硅传感器的摄像装置进行拍摄。此外，850nm及940nm的波长近年来多用于tof(time of flight：飞行时间)等的测距系统，所以包括光源的结构也能够便宜地实现。
[0144]
此外，如图7所示，850nm、940nm及1050nm等的波长是皮下血管等清晰可见的波长。因此，通过可视光图像与第1红外图像的比较，能够判别是生物体还是用纸或硅橡胶等模仿的人造物。
[0145]
此外，第1波长例如是1100nm以上。如图8所示，在1100nm以上的波长下，不论肤色如何，光的反射率都大致相同。因此，不容易出现因人种等带来的皮肤及头发的颜色等的影响，所以在考虑世界规模下的生物体认证系统时能够构建可靠的生物体认证系统1。
[0146]
此外，第1波长例如是1200nm以上。在1200nm以上的波长下，生物体的水分对于红外线的吸收变大，如图7所示，清晰地带有第1红外图像的对比度，所以能够更高精度地实现冒充判定。此外，入射到生物体的光的反射光的、表面反射成分相对于扩散反射成分的比率变高，第1红外图像的空间分辨率变高，所以也能够提高使用第1红外图像的个人认证的精度。关于这些的原理，如使用图4至图6在上面叙述的那样。
[0147]
此外，也可以从太阳光的缺失波长的观点来决定第1波长。图9是表示地上的太阳光光谱的图。图10是将图9的太阳光光谱的一部分放大的图。图11是将图9的太阳光光谱的另一部分放大的图。如图9所示，在地上，由于大气层及大气中的水分的光吸收，在一部分波长中存在太阳光的缺失波长。通过使用该缺失波长，在使用第1照明部410等的任意的有源照明装置的窄带波长下的拍摄等时，能够避免来自有源照明装置的照射光以外的不想要的环境光的拍摄。即，能够实现环境光噪声的影响少或没有的拍摄。因此，通过使用通过包含这样的第1波长的波长域的反射光的窄带波长下的拍摄而得到的第1红外图像，生物体认证系统1能够提高冒充判定及个人认证的精度。
[0148]
从太阳光的缺失波长的观点来看，第1波长例如是940nm附近，具体而言是920nm以上且980nm以下。如图9及图10所示，940nm附近的波长范围是地上的太阳光的波长成分少的波长范围。因此，由太阳光带来的影响比其他波长小，所以不易受到由太阳光带来的干扰，能够构建可靠的生物体认证系统1。此外，920nm以上且980nm以下的波长范围与后述的波长范围相比，向地上的放射量高，但由于大气中的光的吸收也少，所以第1照明部410等的有源照明装置的减光也少。此外，由于是1100nm以下，所以如上述那样能够实现便宜的结构。
[0149]
此外，从太阳光的缺失波长的观点来看，第1波长例如是1400nm附近，具体而言是1350nm以上且1450nm以下。如图9及图11所示，太阳光中的1350nm以上且1450nm以下、特别是1350nm以上且1400nm以下的波长范围与940nm附近的波长相比太阳光的缺失程度较为显著，环境光噪声的影响较小。此外，如上述那样，在1400nm附近的波长下，生物体的水分吸收变大，清晰地带有对比度，所以能够更高精度地实现冒充判定。此外，空间分辨率也提高，所以个人认证的精度也提高。例如，如使用图3说明那样，通过拍摄1450nm的红外线而得到的图像由于通过水的吸收而肤色看起来暗沉，所以通过进行可视光图像与第1红外图像的对比度值的比较或亮度的比较等，能够容易地判定被摄体是否是生物体。
[0150]
另一方面，在1400nm附近的波长下，第1照明部410等有源照明装置的照射光的大气中的吸收也大。因此，通过使第1照明部410的发光光谱中的最短的波长向比1350nm短波长侧移位、或使最长的波长向比1400nm长波长侧移位，能够实现在减少环境光噪声的同时抑制照射光的大气中的吸收的拍摄。
[0151]
此外，在使用940nm附近或1400nm附近的太阳光的缺失波长的情况下，例如通过将第2摄像装置312的分光灵敏度峰值的半值宽度设为200nm以下、或将作为该分光灵敏度峰值的最大分光灵敏度的10％的宽度设为200nm以下，能够进行使用希望的太阳光缺失波长的窄带波长下的拍摄。
[0152]
另外，上述的太阳光的缺失波长是一例，如图9所示，第1波长也可以是包含850nm、
1900nm或2700nm的波长域的波长，或者更长波长侧的波长。
[0153]
[动作]
[0154]
接着，对生物体认证系统1的动作进行说明。图12是表示有关本实施方式的生物体认证系统1的动作例的流程图。图12所示的动作例具体而言是生物体认证系统1中的处理部100执行的处理方法。
[0155]
首先，第1图像取得部111取得可视光图像(步骤s1)。例如，第1摄像装置311通过拍摄照射到被摄体的可视光的由被摄体反射的反射光，来拍摄可视光图像。接着，第1图像取得部111取得由第1摄像装置311拍摄的可视光图像。
[0156]
接着，第2图像取得部112取得第1红外图像(步骤s2)。例如，第1照明部410对被摄体照射包含第1波长的波长范围的红外线。第2摄像装置312通过拍摄从第1照明部410照射到被摄体并由被摄体反射的、包含第1波长的波长域的红外线的反射光，来拍摄第1红外图像。此时，例如定时控制部500向第2摄像装置312及第1照明部410输出第1同步信号，第2摄像装置312与由第1照明部410进行的红外线的照射同步地拍摄第1红外图像。接着，第2图像取得部112取得由第2摄像装置312拍摄的第1红外图像。
[0157]
另外，第2摄像装置312也可以拍摄多个第1红外图像。例如，第2摄像装置312通过定时控制部500的控制，在第1照明部410照射红外线的情况及第1照明部410没有照射红外线的情况下拍摄两个第1红外图像。根据这样拍摄的两个第1红外图像，判定部120等通过取差分而生成将环境光偏移后的图像，能够将所生成的图像用于冒充判定及个人认证。
[0158]
接着，判定部120关于由第1图像取得部111取得的可视光图像及由第2图像取得部112取得的第1红外图像，分别提取作为描绘有被摄体的区域的认证用区域(步骤s3)。在被摄体是人脸的情况下，判定部120例如对可视光图像及第1红外图像分别进行脸部检测，以矩形提取描绘有检测到的脸部的区域作为认证用区域。在脸部检测方法中，可以使用基于图像的特征的脸部检测等公知的方法。
[0159]
另外，提取的区域也可以不是描绘有脸部整体的区域，而是描绘有脸中的代表性的部位、例如眉、眼、脸颊及额头中的至少1个的区域。此外，也可以不进行步骤s3的处理，不提取认证用区域而进行以下的处理。
[0160]
接着，判定部120将在步骤s3中提取了认证用区域的可视光图像灰度化(步骤s4)。判定部120也可以对提取了认证用区域的第1红外图像也进行灰度化。在此情况下，例如将提取了认证用区域的可视光图像及提取了认证用区域的第1红外图像双方一齐灰度化为相同的灰阶(例如16灰阶)。由此，两图像的亮度标度一致，所以能够减轻其后的处理的负荷。以下，将进行到步骤s4为止的处理后的可视光图像及第1红外图像分别称作判定用可视光图像及判定用第1红外图像。
[0161]
另外，在可视光图像是灰度图像等的情况下，也可以不进行步骤s4的处理，而将可视光图像及第1红外图像原样用作判定用可视光图像及判定用第1红外图像。
[0162]
接着，判定部120根据判定用可视光图像及判定用第1红外图像分别计算对比度值(步骤s5)。具体而言，判定部120对判定用可视光图像的亮度值(换言之像素值)乘以系数a，对判定用第1红外图像的亮度值乘以系数b。系数a及系数b是为了使判定用可视光图像和判定用第1红外图像的明亮度等匹配而根据拍摄环境及第1波长等设定的系数。系数a例如设定为比系数b小的值。判定部120使用这样乘以系数后的判定用可视光图像及判定用第1红
外图像的亮度值，计算各个图像的对比度值。在设图像中的最大的亮度值为pmax，设最小的亮度值为pmin的情况下，通过对比度值＝(pmax-pmin)/(pmax+pmin)计算。
[0163]
接着，判定部120判定在步骤s5中计算出的判定用可视光图像的对比度值与判定用第1红外图像的对比度值的差是否是阈值以上(步骤s6)。步骤s6中的阈值根据拍摄环境、第1波长及被要求的冒充判定的目的等而设定。
[0164]
在判定用可视光图像的对比度值与判定用第1红外图像的对比度值的差为阈值以上的情况下(步骤s6中为“是”)，判定部120判定为被摄体是生物体，将判定的结果向第1认证部131、第2认证部132及外部输出(步骤s7)。如上述那样，在被摄体是生物体的情况下，因由水分进行的吸收等的影响而判定用第1红外图像的对比度值变大。因此，判定部120在判定用第1红外图像的对比度值比判定用可视光图像的对比度值大阈值以上的情况下判定为是生物体，换言之判定为不是冒充。
[0165]
另一方面，在判定用可视光图像的对比度值与判定用第1红外图像的对比度值的差不是阈值以上的情况下(步骤s6中为“否”)，判定部120判定为被摄体不是生物体，将判定的结果向第1认证部131、第2认证部132及外部输出(步骤s11)。如上述那样，在被摄体是人造物的情况下，与被摄体是生物体的情况相比，判定用第1红外图像的对比度值不呈现较大的值。因此，判定部120在判定用第1红外图像的对比度值不比判定用可视光图像的对比度值大阈值以上的情况下判定为不是生物体，换言之判定为是冒充。
[0166]
图13是用来说明不是冒充的情况下的由生物体认证系统1进行的冒充判定的图。如图13所示，生物体认证系统1在被摄体是生物体的情况下，取得对比度值大不相同的可视光图像和第1红外图像。接着，如上述那样，通过将可视光图像的亮度值进行系数a倍、将第1红外图像的亮度值进行系数b倍、将对比度值进行比较，来判定是否为冒充。在图13所示的情况下，由于被摄体是生物体，所以对比度值的差大阈值以上，输出是生物体即不是冒充的判定结果。这样，在生物体认证系统1中，能够使用能够简单地计算的对比度值进行精度高的冒充判定。
[0167]
再次参照图12，第1认证部131如果取得在步骤s7中由判定部120判定为被摄体是生物体的判定结果，则基于可视光图像进行被摄体的个人认证，将进行了个人认证的结果向外部输出(步骤s8)。第1认证部131例如通过将登记在存储部200的个人认证数据库中的描绘有被摄体的图像与可视光图像进行对照，进行是否认证的个人认证。作为个人认证的方法，可以使用利用机器学习等进行特征点的提取及分类等的公知的方法。在被摄体是人脸的情况下，例如通过提取眼、鼻及口等的脸部的特征点，并基于它们的位置及大小等进行对照来进行个人认证。这样，通过由第1认证部131基于可视光图像进行被摄体的个人认证，能够利用充实的可视光图像的数据库等，所以生物体认证系统1能够进行高精度的个人认证。
[0168]
接着，第2认证部132如果取得在步骤s7中由判定部120判定为被摄体是生物体的判定结果，则基于第1红外图像进行被摄体的个人认证，将进行了个人认证的结果向外部输出(步骤s9)。在第2认证部132进行的个人认证的方法中，例如使用与第1认证部131相同的方法。如上述那样，红外线与可视光相比，入射到生物体的光的反射光的表面反射成分相对于扩散反射成分的比率高，所以第1红外图像与可视光图像相比空间分辨率更高。因此，通过基于高空间分辨率的第1红外图像进行生物体认证，能够进行高精度的个人认证。
[0169]
接着，信息构建部140将与由第1认证部131进行了个人认证的结果有关的信息和与由第2认证部132进行了个人认证的结果有关的信息建立关联，保存到存储部200中(步骤s10)。信息构建部140例如将通过个人认证进行了认证的可视光图像与第1红外图像建立关联，登记到存储部200的个人认证数据库中。由信息构建部140保存的信息是与进行了不是冒充的可靠性高的个人认证的结果有关的信息。由此，能够将包含与可视光图像相比空间分辨率高但信息量少的红外图像的数据库进行扩充，通过使用这些信息进行机器学习等，能够构建能够进行精度更高的个人认证的生物体认证系统1。在步骤s10之后，生物体认证系统1的处理部100结束处理。
[0170]
另一方面，如果在步骤s11中由判定部120判定为被摄体不是生物体，则生物体认证系统1的处理部100结束处理。即，第1认证部131及第2认证部132在判定部120判定为被摄体不是生物体的情况下不进行被摄体的个人认证。这样，在被摄体不是冒充的情况下进行个人认证，而在被摄体是冒充的情况下不进行个人认证，所以减轻了处理部100的处理负荷。
[0171]
另外，第1认证部131及第2认证部132也可以不论由判定部120给出的判定结果如何都进行个人认证。在此情况下，不用等待判定部120的判定结果就能够进行个人认证。因此，能够并行地进行冒充判定和个人认证，处理部100的处理速度提高。
[0172]
如以上这样，生物体认证系统1基于可视光图像和第1红外图像，判定被摄体是否是生物体。由此，能够仅用两种图像进行冒充判定。因此，能够使生物体认证系统1小型化。此外，不论冒充的情况下的被摄体是平面形状还是立体形状，都能够根据可视光图像与第1红外图像的对比度等的差异来容易地进行冒充判定，所以能够高精度地进行冒充判定。因此，根据生物体认证系统1，认证精度高，能够实现装置的小型化。
[0173]
[变形例]
[0174]
接着，对有关实施方式1的变形例的生物体认证系统进行说明。在以下的本变形例的说明中，以与实施方式1的不同点为中心进行说明，将共同点的说明省略或简洁化。
[0175]
图14是表示有关本变形例的生物体认证系统2的功能结构的框图。
[0176]
如图14所示，有关本变形例的生物体认证系统2与有关实施方式1的生物体认证系统1相比，代替摄像部300而具备摄像部301这一点不同。
[0177]
摄像部301具有拍摄可视光图像及第1红外图像的第3摄像装置313。第3摄像装置313例如由后述的具备对于可视光和红外线具有分光灵敏度的光电变换层的摄像装置实现。此外，第3摄像装置313也可以是ingaas摄像机等的对于可视光和红外线双方具有分光灵敏度的摄像机。通过摄像部301具有第3摄像装置313，可用一个摄像装置拍摄可视光图像及第1红外图像双方，所以能够使生物体认证系统2小型化。此外，由于第3摄像装置313能够以同轴拍摄可视光图像及第1红外图像双方，所以在可视光图像和第1红外图像中能够抑制视差的影响，能够提高生物体认证系统2的认证精度。
[0178]
此外，在生物体认证系统2中，第1图像取得部111从第3摄像装置313取得可视光图像，第2图像取得部112从第3摄像装置313取得第1红外图像。
[0179]
此外，在生物体认证系统2中，定时控制部500对由摄像部301进行的拍摄的定时和由第1照明部410进行的照射的定时进行控制。定时控制部500例如对于第3摄像装置313及第1照明部410输出第1同步信号。第3摄像装置313在基于第1同步信号的定时拍摄第1红外
图像。第1照明部410在基于第1同步信号的定时照射红外线。由此，定时控制部500在使第1照明部410向被摄体照射红外线的期间，使第3摄像装置313拍摄第1红外图像。
[0180]
生物体认证系统2例如除了由第1图像取得部111及第2图像取得部112分别从第3摄像装置313取得可视光图像及第1红外图像以外，进行与上述的生物体认证系统1的动作同样的动作。
[0181]
接着，对第3摄像装置313的具体的结构例进行说明。
[0182]
图15是表示有关本变形例的第3摄像装置313的例示性的结构的图。图15所示的第3摄像装置313具有形成于半导体基板60的多个像素10及周边电路。在本变形例中，第3摄像装置313例如是层叠有光电变换层及电极等的层叠型的摄像装置。
[0183]
各像素10例如包括配置在半导体基板60的上方的后述的第1光电变换层12。第1光电变换层12是接受光的入射而产生正及负的电荷、例如空穴-电子对的光电变换部。另外，在图15中图示为各像素10在空间上相互分离，但这只不过是为了说明的方便，也可能有多个像素10相互不隔开间隔而连续地配置于半导体基板60的情况。此外，在各像素10中，也可以作为光电变换部而包含形成于半导体基板60的光电二极管。
[0184]
在图15所示的例子中，多个像素10排列为m行n列的多个行及多个列。这里，m、n独立地表示1以上的整数。像素10在半导体基板60上例如二维地排列，由此形成摄像区域r1。在摄像区域r1中，例如排列有具有透射波长范围相互不同的后述的光学滤波器22的、包含第1波长的波长范围的红外线用、蓝色光用、绿色光用及红色光用各自的像素10。由此，将基于包含第1波长的波长范围的红外线、蓝色光、绿色光及红色光各自的图像信号分离而读出。第3摄像装置313使用这些图像信号生成可视光图像及第1红外图像。
[0185]
多个像素10的数量及配置并不限定于图示的例子。在该例中，各像素10的中心位于正方格的格点上，但例如也可以以各像素10的中心位于三角格、六边格等的格点上的方式配置多个像素10。
[0186]
周边电路例如包括垂直扫描电路42、水平信号读出电路44、控制电路46、信号处理电路48及输出电路50。此外，周边电路例如也可以还包括对像素10等供给规定的电压的电压供给电路。
[0187]
垂直扫描电路42也被称作行扫描电路，具有与地址信号线34的连接，该地址信号线34对应于多个像素10的各行而设置。对应于多个像素10的各行而设置的信号线并不限定于地址信号线34，也可以在垂直扫描电路42上按多个像素10的每行连接多个种类的信号线。垂直扫描电路42通过对地址信号线34施加规定的电压，以行单位选择像素10，例如进行信号电压的读出及复位动作。
[0188]
水平信号读出电路44也被称作列扫描电路，具有与垂直信号线35的连接，该垂直信号线35对应于多个像素10的各列而设置。来自由垂直扫描电路42以行单位选择的像素10的输出信号经由垂直信号线35被水平信号读出电路44读出。水平信号读出电路44对从像素10读出的输出信号，进行以相关双采样为代表的噪声抑制信号处理及模拟-数字变换(ad变换)等。
[0189]
控制电路46接受从第3摄像装置313的例如外部给出的指令数据、时钟信号等，对第3摄像装置313的整体进行控制。控制电路46例如具有定时发生器，向垂直扫描电路42、水平信号读出电路44及电压供给电路等供给驱动信号。控制电路46例如由包括内置程序的1
个以上的处理器的微控制器实现。控制电路46的功能既可以由通用的处理电路与软件的组合实现，也可以由为这样的处理特制的硬件实现。
[0190]
信号处理电路48对从像素10取得的图像信号施以各种处理。在本说明书中，“图像信号”是指经由垂直信号线35读出的信号中的用于图像的形成的输出信号。信号处理电路48例如基于由水平信号读出电路44读出的图像信号生成图像。具体而言，信号处理电路48基于来自对可视光进行光电变换的多个像素10的图像信号生成可视光图像，基于来自对红外线进行光电变换的多个像素10的图像信号生成第1红外图像。信号处理电路48的输出经由输出电路50被读出至第3摄像装置313的外部。信号处理电路48例如由包括内置程序的1个以上的处理器的微控制器实现。信号处理电路48的功能既可以由通用的处理电路与软件的组合实现，也可以由为这样的处理特制的硬件实现。
[0191]
接着，对第3摄像装置313的像素10的截面构造进行说明。图16是表示有关本变形例的第3摄像装置313的像素10的截面构造的概略剖视图。多个像素10各自除了有光学滤波器22的透射波长不同的情况以外是相同的构造。另外，在多个像素10中也可以存在除了光学滤波器22以外还具有不同的构造的像素10。
[0192]
如图16所示，像素10具备：半导体基板60；像素电极11，位于半导体基板60的上方，分别与半导体基板60电连接；对置电极13，位于像素电极11的上方；第1光电变换层12，位于像素电极11与对置电极13之间；光学滤波器22，位于对置电极13的上方；以及电荷积蓄节点32，与像素电极11电连接，积蓄由第1光电变换层12生成的信号电荷。此外，像素10也可以具备位于对置电极13与光学滤波器22之间的封闭层21、以及夹着第1光电变换层12而与对置电极13对置的辅助电极14。光从半导体基板60的上方向像素10入射。
[0193]
半导体基板60例如是p型硅基板等的由硅构成的基板。半导体基板60并不限定于其整体为半导体的基板。在半导体基板60，虽然在图16中省略了图示，但设有用来检测由第1光电变换层12生成的信号电荷的晶体管等的信号检测电路。电荷积蓄节点32例如是信号检测电路的一部分，读出与积蓄在电荷积蓄节点32中的信号电荷的量相应的信号电压。
[0194]
在半导体基板60上配置有层间绝缘层70。层间绝缘层70例如由二氧化硅等的绝缘性材料形成。虽然省略了图示，但在层间绝缘层70中，在其一部分中可以包含例如上述的垂直信号线35等的信号线或电源线。此外，在层间绝缘层70中设有插塞31。插塞31使用导电性材料形成。
[0195]
像素电极11是用来捕集由第1光电变换层12生成的信号电荷的电极。像素电极11按每个像素10至少存在1个。像素电极11经由插塞31与电荷积蓄节点32电连接。由像素电极11捕集到的信号电荷被积蓄到电荷积蓄节点32。像素电极11使用导电性材料形成。导电性材料例如是铝、铜等的金属、金属氮化物、或通过掺杂杂质而带有导电性的多晶硅。
[0196]
第1光电变换层12是吸收可视光及包含第1波长的波长范围的红外线并产生光电荷的层。即，第1光电变换层12对于第1波长及可视光的波长范围具有分光灵敏度。具体而言，第1光电变换层12接受入射的光而产生空穴-电子对。信号电荷是空穴及电子中的某一方。信号电荷被像素电极11捕集。信号电荷的相反极性的电荷被对置电极13捕集。另外，在本说明书中，对于某个波长具有分光灵敏度，表示该波长的外部量子效率是1％以上。
[0197]
这样，通过第1光电变换层12对于第1波长及可视光的波长范围具有分光灵敏度，第3摄像装置313能够拍摄可视光图像及第1红外图像。第1光电变换层12例如对于第1波长
具有分光灵敏度峰值。
[0198]
第1光电变换层12包含将包含第1波长的波长范围及可视光的波长范围的光吸收而产生空穴-电子对的供体材料。第1光电变换层12中包含的供体材料例如是半导体性的无机材料或半导体性的有机材料。具体而言，作为第1光电变换层12中包含的供体材料，例如可以举出半导体量子点、半导体型碳纳米管及有机半导体材料等。在第1光电变换层12中既可以包含1种供体材料，也可以包含多种供体材料。在第1光电变换层12中包含多种供体材料的情况下，例如混合使用将包含第1波长的波长范围的红外线吸收的供体材料和将可视光吸收的供体材料。
[0199]
第1光电变换层12例如作为供体材料而包含半导体量子点。半导体量子点是呈现三维的量子限制效应的材料。半导体量子点是具有2nm至10nm左右的直径的纳米晶体，由几十个左右的原子构成。半导体量子点的材料例如是si或ge等的iv族半导体、pbs、pbse或pbte等的iv-vi族半导体、inas或insb等的iii-v族半导体、或hgcdte或pbsnte等的3元混晶。
[0200]
在第1光电变换层12中使用的半导体量子点例如具有将红外线的波长范围及可视光的波长范围的光吸收的特性。半导体量子点的吸光峰值波长来源于半导体量子点的能隙，能够以半导体量子点的材料及粒径进行控制。因此，通过使用半导体量子点，能够容易地调整第1光电变换层12具有分光灵敏度的波长。此外，半导体量子点的红外线的波长范围的吸光峰值是半值宽度为200nm以下的陡峭的峰值，通过使用半导体量子点，能够进行红外线的波长范围中的窄带波长下的拍摄。另外，由于半导体型碳纳米管等的材料也呈现量子限制效应，所以与半导体量子点同样，红外线的波长范围的吸光峰值较陡峭。通过使用呈现量子限制效应的材料，能够进行红外线的波长范围中的窄带波长下的拍摄。
[0201]
作为在红外线的波长范围中呈现吸光峰值的半导体量子点的材料，例如可以举出pbs、pbse、pbte、inas、insb、ag2s、ag2se、ag2te、cus、cuins2、cuinse2、agins2、aginse2、aginte2、znsnas2、znsnsb2、cdgeas2、cdsnas2、hgcdte及ingaas等。在第1光电变换层12中使用的半导体量子点例如对于第1波长具有吸光峰值。
[0202]
图17是表示像素10的分光灵敏度曲线的例子的示意图。在图17中表示了包含半导体量子点的第1光电变换层12的外部量子效率与光的波长的关系。如图17所示，第1光电变换层12对于与半导体量子点的吸光波长对应的可视光的波长范围及红外线的波长范围具有分光灵敏度。这样，通过第1光电变换层12包含半导体量子点，对于红外线的波长范围及可视光的波长范围具有分光灵敏度，所以第3摄像装置313仅通过作为光电变换层而具备1层的第1光电变换层12，就能够拍摄可视光图像及第1红外图像。
[0203]
另外，第1光电变换层12中也可以包含粒径不同的多种半导体量子点及/或材料不同的多种半导体量子点。
[0204]
此外，第1光电变换层12也可以还包含从供体材料接纳电子的受体材料。由此，从由供体材料产生的空穴-电子对中，电子移动到受体材料，所以空穴-电子对的再结合被抑制，第1光电变换层12的外部量子效率提高。作为受体材料，例如使用c60(富勒烯)及pcbm(苯基c
61
丁酸甲酯)，icba(茚c
60
双加成物)等的c60衍生物、以及tio2、zno及sno2等的氧化物半导体。
[0205]
对置电极13例如是由透明的导电性材料形成的透明电极。对置电极13在第1光电
变换层12中配置在光入射的一侧。因而，透射了对置电极13的光入射到第1光电变换层12。另外，本说明书中的“透明”，是指使要检测的波长范围的光的至少一部分透射，遍及可视光及红外线的波长范围整体使光透射并非必须的。
[0206]
对置电极13例如使用ito、izo、azo、fto、sno2、tio2、zno等的透明导电性氧化物(tco：transparent conducting oxide)形成。对于对置电极13，例如从电压供给电路施加电压。通过调整电压供给电路向对置电极13施加的电压，能够将对置电极13和像素电极11的电位差设定及维持为希望的电位差。
[0207]
此外，对置电极13例如跨多个像素10形成。因而，能够从电压供给电路将希望的大小的控制电压一起施加在多个像素10之间。另外，只要能够从电压供给电路施加希望的大小的控制电压，则对置电极13也可以按每个像素10分离而设置。
[0208]
这样，通过控制相对于像素电极11的电位的对置电极13的电位，能够由像素电极11捕集通过光电变换而在第1光电变换层12内产生的空穴-电子对中的空穴及电子的某一方作为信号电荷。例如在使用空穴作为信号电荷的情况下，通过使对置电极13的电位比像素电极11高，能够用像素电极11选择性地捕集空穴。以下，对使用空穴作为信号电荷的情况进行说明。另外，也可以使用电子作为信号电荷，在此情况下，只要使对置电极13的电位比像素电极11低即可。
[0209]
辅助电极14是与在图16中省略了图示的外部的电路等电连接，并捕集由第1光电变换层12生成的信号电荷的一部分的电极。例如，通过捕集由相邻的像素10间的第1光电变换层12生成的信号电荷，能够抑制相邻的像素10间的混色。由此，由第3摄像装置313拍摄的可视光图像及第1红外图像的画质提高，所以生物体认证系统2的认证精度提高。辅助电极14例如使用在像素电极11的说明中例示的导电性材料形成。
[0210]
光学滤波器22例如对应于各像素10而按每个像素10设置。例如，在各像素10中设有具有与各像素10对应的透射波长范围的光学滤波器22。在用于生成可视光图像的蓝色光用、绿色光用及红色光用的像素10中，光学滤波器22的透射波长范围是与各个光色对应的波长范围。在用于生成第1红外图像的像素10中，光学滤波器22的透射波长范围是包含红外线中的第1波长的波长范围。
[0211]
光学滤波器22例如既可以是将比某波长短的波长的光遮断、使比该波长长的波长的光透射的长通滤波器，也可以是仅使特定的波长范围的光透射、将比该波长范围短的波长的光及比其长的波长的光遮断的带通滤波器。此外，光学滤波器22也可以是使用带色玻璃等的吸光式的滤波器，也可以是将电介质多层膜层叠而成的反射式的滤波器。
[0212]
以上那样的第3摄像装置313例如可以使用通常的半导体制造工艺来制造。特别是，在作为半导体基板60而使用硅基板的情况下，可以通过使用各种硅半导体工艺来制造。
[0213]
另外，第3摄像装置313中的像素构造只要是能够拍摄可视光图像及第1红外图像的结构即可，并不限于上述的像素10。图18是表示有关本变形例的第3摄像装置313的其他像素10a的截面构造的概略剖视图。第3摄像装置313也可以代替多个像素10而具备多个像素10a。
[0214]
如图18所示，像素10a除了上述的像素10的结构以外，还具备空穴输送层15及空穴阻挡层16。
[0215]
空穴输送层15位于像素电极11与第1光电变换层12之间。空穴输送层15具有将作
为由第1光电变换层12生成的信号电荷的空穴向像素电极11输送的功能。此外，空穴输送层15也可以抑制从像素电极11向第1光电变换层12的电子的注入。
[0216]
空穴阻挡层16位于对置电极13与第1光电变换层12之间。空穴阻挡层16具有抑制从对置电极13向第1光电变换层12的空穴的注入的功能。此外，空穴阻挡层16将作为由第1光电变换层12生成的与信号电荷相反的电荷的电子向对置电极13输送。
[0217]
关于空穴输送层15及空穴阻挡层16各自的材料，例如考虑与相邻的层之间的接合强度、离子化电势的差及电子亲和力的差等而从公知的材料中选择。
[0218]
通过像素10a具备空穴输送层15及空穴阻挡层16，能够抑制暗电流的发生，所以由第3摄像装置313拍摄的可视光图像及第1红外图像的画质提高。因此，能够提高生物体认证系统2的认证精度。
[0219]
另外，在使用电子作为信号电荷的情况下，例如代替空穴输送层15及空穴阻挡层16而使用电子输送层及电子阻挡层。
[0220]
此外，第3摄像装置313的像素构造也可以是具备多个光电变换层的构造。图19是表示有关本变形例的第3摄像装置313的再另一像素10b的截面构造的概略剖视图。第3摄像装置313中也可以代替多个像素10而具备多个像素10b。
[0221]
如图19所示，像素10b除了上述的像素10的结构以外还具备第2光电变换层17。
[0222]
第2光电变换层17位于第1光电变换层12与像素电极11之间。第2光电变换层17是将可视光吸收而产生光电荷的层。第2光电变换层17例如遍及可视光的全波长范围具有分光灵敏度。另外，在本说明书中，可视光的整个波长范围只要是可视光的实质上的整个波长范围即可。具体而言，在该波长范围中也可以不包含在可视光图像的拍摄中不需要的波长，例如比用来输出蓝色的亮度值的波长短的波长以及比用来输出红色的亮度值的波长长的波长。
[0223]
第2光电变换层17包含将可视光的全波长范围的光吸收而产生空穴－电子对的供体材料。作为第2光电变换层17中包含的供体材料，例如使用对于可视光的波长范围具有较高的吸光度系数的p型半导体材料。例如，2-{[7-(5-n，n-二甲苯基氨基噻吩-2-基)-2，1，3-苯并噻二唑-4-基]亚甲基}丙二腈(dtdctb)在波长700nm附近具有吸光峰值，酞菁铜及亚酞菁分别在波长620nm附近及波长580nm附近具有吸光峰值，红荧烯在波长530nm附近具有吸光峰值，α-六噻吩在波长440nm附近具有吸光峰值。即，这些有机p型半导体材料的吸光峰值处于可视光的波长范围，例如可以使用它们作为第2光电变换层17的供体材料。此外，在使用有机p型半导体材料等的有机材料的情况下，通过使第1光电变换层12位于比第2光电变换层17靠光的入射侧的位置，第1光电变换层12将一部分的可视光也吸收，所以能抑制有机材料的劣化，提高第2光电变换层17的耐久性。
[0224]
图20是表示像素10b的分光灵敏度曲线的例子的示意图。在图20的部分(a)中表示了第1光电变换层12的外部量子效率与光的波长的关系。此外，在图20的部分(b)中表示了第2光电变换层17的外部量子效率与光的波长的关系。此外，在图20的部分(c)中，表示了将第1光电变换层12与第2光电变换层17的灵敏度合成的情况即像素10b整体的外部量子效率与光的波长的关系。
[0225]
如图20的部分(a)所示，第1光电变换层12对于可视光及红外线的波长范围具有分光灵敏度，如图20的部分(b)所示，第2光电变换层17对于比第1光电变换层12具有分光灵敏
度的可视光的波长范围大的可视光的波长范围具有分光灵敏度。因此，如图20的部分(c)所示，作为像素10b整体，对于红外线的波长范围及可视光的整个波长范围具有分光灵敏度。这样，通过像素10b具备第1光电变换层12及第2光电变换层17，在宽范围的波长范围中分光灵敏度高，可视光图像及第1红外图像的画质提高。此外，与第1光电变换层12及第2光电变换层17各自的材料包含在1个光电变换层中的情况相比，能够抑制因材料彼此的干涉造成的灵敏度下降以及相邻的像素10b间的混色等。
[0226]
另外，第2光电变换层17也可以位于第1光电变换层12与对置电极13之间。在此情况下，由于由第2光电变换层17吸收可视光，所以能够减小第1光电变换层12的光电变换中的可视光的影响，所以拍摄的第1红外图像的画质提高。此外，由于像素10b具备对于可视光具有分光灵敏度的第2光电变换层17，所以第1光电变换层12对于可视光也可以不具有分光灵敏度。此外，像素10b也可以具备与像素10a同样的空穴输送层15及空穴阻挡层16。
[0227]
(实施方式2)
[0228]
接着，对有关实施方式2的变形例的生物体认证系统进行说明。在以下的实施方式2的说明中，以与实施方式1及实施方式1的变形例的不同点为中心进行说明，将共同点的说明省略或简略化。
[0229]
[结构]
[0230]
对有关本实施方式的生物体认证系统的结构进行说明。图21是表示有关本实施方式的生物体认证系统3的功能结构的框图。
[0231]
如图21所示，有关本实施方式的生物体认证系统3与有关实施方式1的生物体认证系统1相比，在代替处理部100及摄像部300而具备处理部102及摄像部302这一点以及还具备第2照明部420这一点上不同。
[0232]
处理部102除了上述的处理部100的结构以外，还具有包含在存储器600中的第3图像取得部113。
[0233]
第3图像取得部113取得被摄体的第2红外图像。第3图像取得部113暂时性地保存被摄体的第2红外图像。第2红外图像通过拍摄照射到被摄体的红外线由被摄体反射而产生的、具有包含与第1波长不同的第2波长的波长域的反射光来得到。第3图像取得部113例如从摄像部302、具体而言从摄像部302的第4摄像装置314取得第2红外图像。
[0234]
在生物体认证系统3中，判定部120基于由第1图像取得部111取得的可视光图像、由第2图像取得部112取得的第1红外图像和由第3图像取得部113取得的第2红外图像，判定被摄体是否是生物体。
[0235]
摄像部302除了上述的摄像部300的结构以外还具有第4摄像装置314。
[0236]
第4摄像装置314拍摄描绘有被摄体的第2红外图像。作为照射到被摄体并由被摄体反射的红外线的、具有包含第2波长的波长域的反射光入射到第4摄像装置314。第4摄像装置314拍摄所入射的该反射光而生成第2红外图像。第4摄像装置314输出所拍摄的第2红外图像。第4摄像装置314例如除了具有分光灵敏度的波长不同以外，是与第2摄像装置312同样的结构。选择第2波长的想法是与选择上述的第1波长的情况同样的想法。在第2波长中，例如在基于与选择第1波长的情况同样的想法的基础上，选择水的吸光度系数与第1波长不同的波长。此外，第4摄像装置314也可以是以多个像素的全部的曝光期间被统一的全局快门方式进行动作的摄像装置。
[0237]
第2照明部420是作为照射光而将包含第2波长的波长范围的红外线向被摄体照射的照明装置。作为由第2照明部420照射并由被摄体反射的红外线的反射光被第4摄像装置314拍摄。第2照明部420例如照射在第2波长附近具有发光峰值的红外线。第2照明部420例如除了照射光的波长不同以外，是与第1照明部410同样的结构。
[0238]
另外，生物体认证系统3也可以具备第1照明部410及第2照明部420的功能被一体化的1个照明装置。在此情况下，照明装置向被摄体照射包含第1波长及第2波长的波长范围的红外线。此外，该情况下的照明装置例如也可以是包括在第1波长附近具有发光峰值的led等的第1发光元件以及在第2波长附近具有发光峰值的led等的第2发光元件，使第1发光元件和第2发光元件切换而发光的结构。第1发光元件和第2发光元件例如配置为交错状。此外，该情况下的照明装置也可以是包括对于红外线的波长范围具有较宽的发光光谱的卤化物光源的结构。在具备这样的一体化的照明装置的情况下，由于将包含第1波长的波长范围的红外线和包含第2波长的波长范围的红外线同轴地向被摄体照射，所以能够减少由照射光带来的影子的形式等的差异。
[0239]
在生物体认证系统3中，定时控制部500对由摄像部302进行的拍摄的定时、由第1照明部410进行的照射的定时、以及由第2照明部420进行的照射的定时进行控制。定时控制部500例如对于第2摄像装置312及第1照明部410输出第1同步信号，对于第4摄像装置314及第2照明部420输出与第1同步信号不同的第2同步信号。第2摄像装置312在基于第1同步信号的定时拍摄第1红外图像。第1照明部410在基于第1同步信号的定时照射红外线。第4摄像装置314在基于第2同步信号的定时拍摄第2红外图像。第2照明部420在基于第2同步信号的定时照射红外线。由此，定时控制部500在使第1照明部410对被摄体照射红外线的期间使第2摄像装置312拍摄第1红外图像，在使第2照明部420对被摄体照射红外线的期间使第4摄像装置314拍摄第2红外图像。此外，定时控制部500例如在不同的定时、具体而言在第1照明部410和第2照明部420照射红外线的时间不重叠那样的定时输出第1同步信号和第2同步信号。由此，可拍摄降低了与目的不同的波长的红外线的影响的第1红外图像和第2红外图像。
[0240]
[动作]
[0241]
接着，对生物体认证系统3的动作进行说明。图22是表示有关本实施方式的生物体认证系统3的动作例的流程图。图22所示的动作例具体而言是生物体认证系统3的处理部102执行的处理方法。
[0242]
首先，第1图像取得部111取得可视光图像(步骤s21)。接着，第2图像取得部112取得第1红外图像(步骤s22)。在步骤s21及步骤s22中，进行与上述的步骤s1及步骤s2同样的动作。
[0243]
接着，第3图像取得部113取得第2红外图像(步骤s23)。例如，第2照明部420对于被摄体照射包含第2波长的波长范围的红外线。第4摄像装置314通过拍摄作为从第2照明部420照射到被摄体并由被摄体反射的红外线的、具有包含第2波长的波长域的反射光，来拍摄第2红外图像。此时，例如定时控制部500对第4摄像装置314及第2照明部420输出第2同步信号，第4摄像装置314与由第2照明部420进行的红外线的照射同步地拍摄第2红外图像。并且，第3图像取得部113取得由第4摄像装置314拍摄的第2红外图像。
[0244]
另外，第4摄像装置314也可以拍摄多个第2红外图像。例如，第4摄像装置314通过定时控制部500的控制，在第2照明部420照射红外线的情况下及第2照明部420不照射红外
线的情况下拍摄两个第2红外图像。根据这样拍摄的两个第2红外图像，判定部120等通过取差分而生成将环境光偏移后的图像，能够将所生成的图像用于冒充判定及个人认证。
[0245]
接着，判定部120根据第1红外图像和第2红外图像生成差分红外图像(步骤s24)。判定部120例如通过计算第1红外图像与第2红外图像的亮度值的差分或计算亮度值的比等，生成差分红外图像。
[0246]
在假设第1波长是太阳光的缺失波长并且是容易被水吸光的1400nm、第2波长是1550nm的情况下，发生拍摄了被摄体的第1红外图像因基于水的吸收而被拍摄得较暗、或因成为照射光的影子而被拍摄得较暗等难以进行判定的情况。因此，通过生成第1红外图像与第2红外图像的差分红外图像，能够除去被拍摄得较暗的原因为照射光的影子的情况下的影响，能够提高利用基于水的吸收的原理的冒充判定的精度。
[0247]
接着，判定部120关于由第1图像取得部111取得的可视光图像及所生成的差分红外图像，分别提取作为描绘有被摄体的区域的认证用区域(步骤s25)。在认证用区域的提取中，进行与上述的步骤s3同样的处理。
[0248]
接着，判定部120将在步骤s25中提取了认证用区域的可视光图像灰度化(步骤s26)。判定部120也可以对于提取了认证用区域的差分红外图像也进行灰度化。在此情况下，例如将提取了认证用区域的可视光图像及提取了认证用区域的差分红外图像双方一齐灰度化为相同的灰阶(例如16灰阶)。以下，将被进行到步骤s26为止的处理的可视光图像及差分红外图像分别称作判定用可视光图像及判定用差分红外图像。
[0249]
接着，判定部120根据判定用可视光图像及判定用差分红外图像分别计算对比度值(步骤s27)。由判定部120进行的对比度值的计算除了判定用第1红外图像变化为判定用差分红外图像以外，通过与上述的步骤s5同样的方法进行。
[0250]
接着，判定部120判定在步骤s27中计算出的判定用可视光图像的对比度值与判定用差分红外图像的对比度值的差是否是阈值以上(步骤s28)。在判定用可视光图像的对比度值与判定用差分红外图像的对比度值的差是阈值以上的情况下(步骤s28中为“是”)，判定部120判定为被摄体是生物体，将判定结果向第1认证部131、第2认证部132及外部输出(步骤s29)。此外，在判定用可视光图像的对比度值与判定用差分红外图像的对比度值的差不是阈值以上的情况下(步骤s28中为“否”)，判定部120判定为被摄体不是生物体，将判定结果向第1认证部131、第2认证部132及外部输出(步骤s33)。在步骤s28、步骤s29及步骤s33中，除了判定用第1红外图像变化为判定用差分红外图像以外，进行与上述的步骤s6、步骤s7及步骤s11同样的处理。此外，在步骤s33之后，与步骤s11同样，处理部102结束处理。
[0251]
第1认证部131如果取得在步骤s29中由判定部120判定为被摄体是生物体的判定结果，则基于可视光图像进行被摄体的个人认证，将个人认证的结果向外部输出(步骤s30)。接着，第2认证部132如果取得在步骤s29中由判定部120判定为被摄体是生物体的判定结果，则基于差分红外图像进行被摄体的个人认证，将个人认证的结果向外部输出(步骤s31)。第2认证部132例如从判定部120取得差分红外图像。在步骤s30及步骤s31中，除了第1红外图像变化为差分红外图像以外，进行与上述的步骤s8及步骤s9同样的处理。
[0252]
接着，信息构建部140将与由第1认证部131进行了个人认证的结果有关的信息和与由第2认证部132进行了个人认证的结果有关的信息建立关联，保存到存储部200中(步骤s32)。信息构建部140例如将由个人认证进行了认证的可视光图像与差分红外图像建立关
联，登记到存储部200的个人认证数据库中。此外，信息构建部140也可以将生成用于个人认证的差分红外图像之前的第1红外图像及第2红外图像与通过个人认证进行了认证的可视光图像建立关联，登记到存储部200的个人认证数据库中。在步骤s32之后，生物体认证系统3的处理部102结束处理。
[0253]
另外，与实施方式1同样，第1认证部131及第2认证部132也可以不论由判定部120得到的判定结果如何都进行个人认证。此外，判定部120也可以不生成差分红外图像而进行冒充判定。判定部120例如通过将分别基于可视光图像、第1红外图像及第2红外图像计算出的对比度值进行比较，判定被摄体是否是生物体。
[0254]
[变形例]
[0255]
接着，对有关实施方式2的变形例的生物体认证系统进行说明。在以下的本变形例的说明中，以与实施方式1、实施方式1的变形例及实施方式2的不同点为中心进行说明，将共同点的说明省略或简洁化。
[0256]
图23是表示有关本变形例的生物体认证系统4的功能结构的框图。
[0257]
如图23所示，有关本变形例的生物体认证系统4与有关实施方式2的生物体认证系统3相比，代替摄像部302而具备摄像部303这一点不同。
[0258]
摄像部303具有拍摄可视光图像、第1红外图像及第2红外图像的第5摄像装置315。第5摄像装置315例如由后述的具备对于可视光和两个波长域的红外线具有分光灵敏度的光电变换层的摄像装置实现。此外，第5摄像装置315也可以是ingaas摄像机等的对于可视光和红外线双方具有分光灵敏度的摄像机。通过摄像部303具有第5摄像装置315，可用1个摄像装置拍摄可视光图像、第1红外图像及第2红外图像的全部，所以能够使生物体认证系统4小型化。此外，由于第5摄像装置315能够将可视光图像、第1红外图像及第2红外图像的全部以同轴拍摄，所以在可视光图像、第1红外图像和第2红外图像中能够抑制视差的影响，所以能够提高生物体认证系统4的认证精度。此外，第5摄像装置315也可以是以多个像素的全部的曝光期间被统一的全局快门方式进行动作的摄像装置。
[0259]
此外，在生物体认证系统4中，第1图像取得部111从第5摄像装置315取得可视光图像，第2图像取得部112从第5摄像装置315取得第1红外图像，第3图像取得部113从第5摄像装置315取得第2红外图像。
[0260]
此外，在生物体认证系统4中，定时控制部500对由摄像部303进行的拍摄的定时、由第1照明部410进行的照射的定时以及由第2照明部420进行的照射的定时进行控制。定时控制部500例如对第5摄像装置315及第1照明部410输出第1同步信号，对第5摄像装置315及第2照明部420输出第2同步信号。第5摄像装置315在基于第1同步信号的定时拍摄第1红外图像，在基于第2同步信号的定时拍摄第2红外图像。由此，定时控制部500能够在使第1照明部410对被摄体照射红外线的期间使第5摄像装置315拍摄第1红外图像，在使第2照明部420对被摄体照射红外线的期间使第5摄像装置315拍摄第2红外图像。
[0261]
生物体认证系统4例如除了第1图像取得部111、第2图像取得部112及第3图像取得部113分别从第5摄像装置315取得可视光图像、第1红外图像及第2红外图像以外，进行与上述的生物体认证系统3的动作同样的动作。
[0262]
接着，对第5摄像装置315的具体的结构例进行说明。
[0263]
第5摄像装置315例如具有将图15所示的第3摄像装置313的多个像素10替换为以
下说明的多个像素10c的结构。在摄像区域r1中，例如排列有包括透射波长范围相互不同的光学滤波器22的包含第1波长的波长范围的红外线用、包含第2波长的波长范围的红外线用、蓝色光用、绿色光用及红色光用各自的像素10c。由此，将基于包含第1波长的波长范围的红外线、包含第2波长的波长范围的红外线、蓝色光、绿色光及红色光各自的图像信号分离而读出。第5摄像装置315使用这些图像信号，生成可视光图像、第1红外图像及第2红外图像。
[0264]
图24是表示有关本变形例的第5摄像装置315的像素10c的截面构造的概略剖视图。多个像素10c各自除了有光学滤波器22的透射波长不同的情况以外是相同的构造。另外，在多个像素10c中也可以存在除了光学滤波器22以外还具有不同的构造的像素10c。
[0265]
如图24所示，像素10c除了像素10b的结构以外还具备第3光电变换层18。即，像素10c除了像素10的结构以外还具备第2光电变换层17及第3光电变换层18。
[0266]
在像素10c中，第2光电变换层17位于第1光电变换层12与对置电极13之间。此外，第3光电变换层18位于第1光电变换层12与像素电极11之间。另外，只要第1光电变换层12、第2光电变换层17和第3光电变换层18位于像素电极11与对置电极13之间，则第1光电变换层12、第2光电变换层17和第3光电变换层18的层叠顺序没有特别限制，以怎样的顺序层叠都可以。
[0267]
第3光电变换层18是将可视光及包含第2波长的波长范围的红外线吸收并产生光电荷的层。即，第3光电变换层18对于红外线的第2波长及可视光的波长范围具有分光灵敏度。第3光电变换层18例如对于第2波长具有分光灵敏度的峰值。
[0268]
第3光电变换层18包含将红外线中的包含第2波长的波长范围及可视光的波长范围的光吸收并产生空穴-电子对的供体材料。第3光电变换层18中包含的供体材料可以从作为第1光电变换层12中包含的供体材料举出的材料中选择。第3光电变换层18例如包含半导体量子点作为供体材料。
[0269]
图25是表示像素10c的分光灵敏度曲线的例子的示意图。在图25的部分(a)中表示了第1光电变换层12的外部量子效率与光的波长的关系。此外，在图25的部分(b)中表示了第3光电变换层18的外部量子效率与光的波长的关系。此外，在图25的部分(c)中表示了第2光电变换层17的外部量子效率与光的波长的关系。此外，在图25的部分(d)中表示了将第1光电变换层12、第2光电变换层17和第3光电变换层18的灵敏度合成的情况即像素10c整体的外部量子效率与光的波长的关系。
[0270]
如图25的部分(a)及部分(b)所示，第1光电变换层12及第3光电变换层18对于可视光及红外线的波长范围具有分光灵敏度。此外，在红外线的波长范围中，第1光电变换层12的分光灵敏度峰值和第3光电变换层18的分光灵敏度峰值是不同的波长。此外，如图25的部分(c)所示，第2光电变换层17对于比第1光电变换层12及第3光电变换层18具有分光灵敏度的可视光的波长范围大的可视光的波长范围具有分光灵敏度。因此，如图25的部分(d)所示，作为像素10c整体，对于红外线的波长范围具有两个分光灵敏度峰值，并且对于可视光的整个波长范围具有分光灵敏度。通过像素10c具有这样的分光灵敏度特性，第5摄像装置315能够拍摄可视光图像、第1红外图像及第2红外图像全部。
[0271]
另外，由于像素10c具备对于可视光具有分光灵敏度的第2光电变换层17，所以也可以是第1光电变换层12及第3光电变换层18的至少一方对于可视光不具有分光灵敏度。此
外，像素10c只要具有图25的部分(d)所示那样的分光灵敏度曲线，则也可以不是具备3个光电变换层的结构，也可以通过在光电变换层中使用的材料的选择而由具备1个或两个光电变换层的结构实现。此外，像素10c也可以具备与像素10a同样的空穴输送层15及空穴阻挡层16。
[0272]
(其他的实施方式)
[0273]
以上，基于实施方式及变形例对有关本公开的生物体认证系统进行了说明，但本公开并不限定于这些实施方式及变形例。
[0274]
例如，在上述实施方式及变形例中，判定部将对比度值进行比较来判定是否是生物体，但并不限于此。判定部例如也可以通过进行基于相邻像素的亮度值的差或亮度值的直方图等的亮度值的平衡的差异的比较，来判定是否是生物体。
[0275]
此外，例如在上述实施方式及变形例中，生物体认证系统由多个装置实现，但也可以作为单一的装置实现。此外，在生物体认证系统由多个装置实现的情况下，在上述实施方式及变形例中说明的生物体认证系统具备的构成要素怎样分配给多个装置都可以。
[0276]
此外，生物体认证系统也可以不是具备在上述实施方式及变形例中说明的各构成要素的全部，也可以仅由用来进行目的动作的构成要素构成。例如，生物体认证系统也可以由具有处理部中的第1图像取得部、第2图像取得部以及判定部的功能的生物体认证装置实现。
[0277]
此外，例如也可以是，生物体认证系统具备通信部，存储部、摄像部、第1照明部、第2照明部及定时控制部中的至少1个是用户的智能电话或由用户拿入的专用设备等的外部的设备，通过生物体认证系统使用通信部与外部的设备进行通信来进行冒充判定及个人认证。
[0278]
此外，例如也可以是，生物体认证系统不具备第1照明部及第2照明部，利用太阳光或环境光作为照射光。
[0279]
此外，在上述实施方式中，也可以将特定的处理部执行的处理用其他的处理部执行。此外，也可以将多个处理的顺序变更，也可以并行地执行多个处理。
[0280]
此外，在上述实施方式中，各构成要素也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
[0281]
此外，各构成要素也可以由硬件实现。各构成要素也可以是电路(或集成电路)。这些电路既可以作为整体构成1个电路，也可以是分别不同的电路。此外，这些电路分别既可以是通用的电路，也可以是专用的电路。
[0282]
另外，这些全局性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的cd－rom等的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
[0283]
例如，本公开也可以作为上述实施方式的生物体认证系统实现，也可以作为用来使计算机执行处理部所进行的生物体认证方法的程序实现，也可以作为记录有这样的程序的计算机可读取的非暂时性的记录介质实现。
[0284]
除此以外，只要不脱离本公开的主旨，对实施方式及实施例施以本领域技术人员想到的各种变形后的形态以及将实施方式及实施例的一部分的构成要素组合而构建的其
他形态也包含在本公开的范围中。
[0285]
工业实用性
[0286]
有关本公开的生物体认证系统能够应用于移动电话用、医疗用、监视用、车载用、机器人用、金融用、电子结算用等各种各样的生物体认证系统。
[0287]
标号说明
[0288]
1、2、3、4生物体认证系统
[0289]
10、10a、10b、10c像素
[0290]
11像素电极
[0291]
12第1光电变换层
[0292]
13 对置电极
[0293]
14 辅助电极
[0294]
15 空穴输送层
[0295]
16 空穴阻挡层
[0296]
17第2光电变换层
[0297]
18第3光电变换层
[0298]
21 封闭层
[0299]
22 光学滤波器
[0300]
31 插塞
[0301]
32 电荷积蓄节点
[0302]
34 地址信号线
[0303]
35 垂直信号线
[0304]
42 垂直扫描电路
[0305]
44 水平信号读出电路
[0306]
46 控制电路
[0307]
48 信号处理电路
[0308]
50输出电路
[0309]
60半导体基板
[0310]
70层间绝缘层
[0311]
100、102 处理部
[0312]
111第1图像取得部
[0313]
112第2图像取得部
[0314]
113第3图像取得部
[0315]
120判定部
[0316]
131第1认证部
[0317]
132第2认证部
[0318]
140信息构建部
[0319]
200存储部
[0320]
300、301、302、303摄像部
[0321]
311第1摄像装置
[0322]
312第2摄像装置
[0323]
313第3摄像装置
[0324]
314第4摄像装置
[0325]
315第5摄像装置
[0326]
410第1照明部
[0327]
420第2照明部
[0328]
500定时控制部
[0329]
600存储器

技术特征：
1.一种生物体认证系统，其中，具备：第1图像取得部，取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；第2图像取得部，取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及判定部，基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。2.如权利要求1所述的生物体认证系统，其中，还具备第1认证部，该第1认证部基于上述可视光图像进行上述被摄体的第1个人认证，并输出上述第1个人认证的结果。3.如权利要求2所述的生物体认证系统，其中，在上述判定部判定为上述被摄体不是生物体的情况下，上述第1认证部不进行上述被摄体的上述第1个人认证。4.如权利要求2或3所述的生物体认证系统，其中，还具备第2认证部，该第2认证部基于上述第1红外图像进行上述被摄体的第2个人认证，并输出上述第2个人认证的结果。5.如权利要求4所述的生物体认证系统，其中，还具备：存储装置，保存用来进行上述第1个人认证及上述第2个人认证的信息；以及信息构建部，将与上述第1个人认证的上述结果有关的信息和与上述第2个人认证的上述结果有关的信息建立关联而保存到上述存储装置中。6.如权利要求1至5中任一项所述的生物体认证系统，其中，上述判定部通过对基于上述可视光图像的对比度值与基于上述第1红外图像的对比度值进行比较，判定上述被摄体是否是生物体。7.如权利要求1至6中任一项所述的生物体认证系统，其中，还具备摄像部，该摄像部包括拍摄上述可视光图像的第1摄像装置和拍摄上述第1红外图像的第2摄像装置；上述第1图像取得部从上述第1摄像装置取得上述可视光图像；上述第2图像取得部从上述第2摄像装置取得上述第1红外图像。8.如权利要求1至6中任一项所述的生物体认证系统，其中，还具备摄像部，该摄像部包括拍摄上述可视光图像及上述第1红外图像的第3摄像装置；上述第1图像取得部从上述第3摄像装置取得上述可视光图像；上述第2图像取得部从上述第3摄像装置取得上述第1红外图像。9.如权利要求8所述的生物体认证系统，其中，上述第3摄像装置包括对于上述可视光的波长范围及上述第1波长具有分光灵敏度的第1光电变换层。10.如权利要求9所述的生物体认证系统，其中，
上述第3摄像装置包括遍及可视光的整体波长范围具有分光灵敏度的第2光电变换层。11.如权利要求7至10中任一项所述的生物体认证系统，其中，还具备向上述被摄体照射上述第1红外线的照明装置。12.如权利要求11所述的生物体认证系统，其中，还具备定时控制部，该定时控制部对由上述摄像部进行的拍摄的定时和由上述照明装置进行的照射的定时进行控制。13.如权利要求1至12中任一项所述的生物体认证系统，其中，还具备取得第2红外图像的第3图像取得部，上述第2红外图像是通过拍摄照射到上述皮肤部的第2红外线被上述皮肤部反射而产生的、具有包含与上述第1波长不同的第2波长的波长域的第3反射光来得到的图像；上述判定部基于上述可视光图像、上述第1红外图像和上述第2红外图像，判定上述被摄体是否是生物体。14.如权利要求13所述的生物体认证系统，其中，上述判定部根据上述第1红外图像和上述第2红外图像生成差分红外图像，基于上述差分红外图像和上述可视光图像，判定上述被摄体是否是生物体。15.如权利要求1至14中任一项所述的生物体认证系统，其中，上述第1波长是1100nm以下。16.如权利要求1至14中任一项所述的生物体认证系统，其中，上述第1波长是1200nm以上。17.如权利要求1至14中任一项所述的生物体认证系统，其中，上述第1波长是1350nm以上且1450nm以下。18.如权利要求1至17中任一项所述的生物体认证系统，其中，上述被摄体是人脸。19.一种生物体认证方法，其中，包括以下处理：取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被上述皮肤部反射而产生的第1反射光来得到的图像；取得第1红外图像，该第1红外图像是通过拍摄照射到上述皮肤部的第1红外线被上述皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及基于上述可视光图像与上述第1红外图像的比较，判定上述被摄体是否是生物体，并输出判定的结果。

技术总结
生物体认证系统具备：第1图像取得部，取得可视光图像，该可视光图像是通过拍摄照射到被摄体的皮肤部的可视光被皮肤部反射而产生的第1反射光来得到的图像；第2图像取得部，取得第1红外图像，该第1红外图像是通过拍摄照射到皮肤部的第1红外线被皮肤部反射而产生的、具有包含第1波长的波长域的第2反射光来得到的图像；以及判定部，基于可视光图像与第1红外图像的比较，判定被摄体是否是生物体，并输出判定的结果。定的结果。定的结果。


技术研发人员：宍戸三四郎 町田真一
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：2021.12.03
技术公布日：2023/8/5