多光谱光学传感器和系统的制作方法

1.本公开涉及一种多光谱光学传感器、一种包括多光谱光学传感器的多光谱光学系统、一种包括多光谱光学系统的图像感测系统、以及一种使用多光谱光学传感器的方法，具体地但非排他地用于针对环境照明对场景的不同部分的影响来调整场景的捕获图像。


背景技术：

2.颜色恒定性是图像感测设备(诸如相机)的期望属性。颜色恒定性是指在不同照明下观察特征或对象具有相对恒定颜色的能力。也就是说，由相机捕获的图像的外观可能受到环境照明的影响。
3.作为示例，如果环境光源的色温相对较低，例如在3000开尔文的区域中，如白炽光源的情况，则暴露于环境光源的白色对象的图像将包括微红色调。与之相对比，对于具有高色温的环境光源，例如在6000开尔文的区域中，如阴天的日光的情况，白色对象的图像将包括轻微的蓝色色调。也就是说，对象将被相机观察为包括取决于环境光源对对象的照明的颜色。
4.已知通过使用多光谱环境光传感器(als)测量与场景相关的光谱信息来补偿这种效应。例如，首先参考图1a，示出了智能电话1，其包括多光谱als布置3、相机4和覆盖多光谱als布置3和相机4的盖玻璃8，其中多光谱als布置3被配置为测量从场景入射到相机4上的光的光谱分布。图1b示出了多光谱als布置3和相机4的详细截面图。多光谱als布置3包括具有多个光学检测器区域11的多光谱als传感器2。多光谱als 2被配置为使得每个光学检测器区域11检测不同范围的波长，例如因为多光谱als 2包括多个不同的光学滤波器(图1b中未明确示出)，其中每个光学滤波器被配置为仅将对应的不同范围的波长透射到光学检测器区域11中的对应一个上。为了清楚起见，图1b中仅示出了三个光学检测器区域11。然而，本领域普通技术人员将理解，多光谱als传感器2可以具有多于三个光学检测器区域11或少于三个光学检测器区域11。
5.多光谱als布置3包括容纳多光谱als传感器2的壳体20。多光谱als布置3还包括位于盖玻璃8和壳体20之间的漫射器30和ir截止滤波器32。
6.壳体20限定孔或窗口22，用于允许光经由盖玻璃8、漫射器30和ir截止滤波器32进入壳体20。多光谱als布置3具有垂直于多光谱als 2的前表面的光轴40。此外，如本领域普通技术人员将理解的，漫射器30的使用为多光谱als布置3提供视场(fov)42，该视场限定围绕光轴40的大立体角。每个光学检测器区域11检测从跨多光谱als布置3的整个fov 42的所有不同入射方向入射在光学检测器区域11上的不同波长范围。
7.相机4具有光轴50，光轴50垂直于相机4的图像传感器(未示出)的前表面并且平行于多光谱als布置3的光轴40。相机4具有fov 52，其限定围绕相机4的光轴50的立体角，其中相机4的fov 52的立体角与多光谱als布置3的fov 42的立体角相当或小于多光谱als布置3的fov 42的立体角。
8.智能电话1使用白平衡，并且优选地使用自动白平衡(awb)，以调整在不同照明下
捕获的图像的着色。例如，智能电话1可以具有用于典型照明条件(诸如日光、荧光照明或白炽照明)的预定义设置，其中在一些情况下，可以自动选择预定义设置。
9.用于白平衡的现有技术包括通过应用基于“灰色世界理论”或“白块理论”的算法的图像处理。灰色世界理论基于这样的假设，即捕获图像中的平均反射率是消色差的。也就是说，三个颜色通道：红色、绿色和蓝色的平均值应该大致相等。白块理论基于以下假设：捕获图像中的最亮像素对应于环境光源的反射，并且因此最亮像素可以对应于环境照明的光谱。两种方法都具有已知的局限性，并且值得注意的是，两种方法都倾向于产生实质上不同的结果。因此，期望能够针对环境照明对场景的影响来校正场景的捕获图像，而不会引起现有技术awb方法的缺点。
10.此外，场景的不同部分可能经受不同的环境照明条件。例如，根据均匀着色对象的不同部分的对应环境照明条件，场景中的均匀着色对象的不同部分甚至可以看起来不同。因此，期望能够针对不同环境照明条件对场景的不同部分的影响来校正场景的捕获图像，而不会引起现有技术awb方法的缺点。


技术实现要素：

11.根据本公开的一个方面，提供了一种多光谱光学传感器，包括：
12.单片半导体芯片，单片半导体芯片限定光学检测器区域的多个子阵列；
13.多个光学滤波器；以及
14.多个透镜元件，
15.其中光学检测器区域的每个子阵列包括对应的多个光学检测器区域，
16.其中光学检测器区域的每个子阵列具有与光学检测器区域的每个其他子阵列相同的光学检测器区域的相对空间布置，并且
17.其中每个光学滤波器在对应透镜元件和光学检测器区域的对应子阵列之间对准，使得沿着入射方向入射在透镜元件中的任何一个上的光通过对应光学滤波器会聚到光学检测器区域的对应子阵列的光学检测器区域中的对应一个上，光学检测器区域中的对应一个取决于入射方向。
18.这种多光谱光学传感器可以用于测量与由图像传感器或相机捕获的场景的不同部分或扇区相关的光谱信息。这可以允许使用梯度白平衡来调整场景图像的着色，例如以更准确地再现由场景的人类观察者感知的场景图像。在使用不同的环境光源照射场景的不同部分的情况下，这种多光谱光学传感器可能特别有用。
19.由于由光学检测器区域的每个子阵列检测到的光透射通过对应光学滤波器，因此光学检测器区域的每个子阵列可以被认为充当光学检测器区域的单色子阵列。多光谱光学传感器可以至少部分地使用实现晶圆级封装的片上集成来制造。每个子阵列的光学检测器区域、光学滤波器和透镜元件的空间布置限定多光谱光学传感器的视场的扇区化。由于单色子阵列和对应滤波器和透镜元件的对称设计，每个光学检测器区域检测来自场景的相同扇区的光，这是比色分析所必需的。这样的多光谱光学传感器可以用于为场景的每个不同区域(例如，场景的中心、场景的边界和场景的外部区域)生成扇区化的颜色和光谱信息。扇区化的颜色和光谱信息可以用于实现场景的捕获图像相对于同一场景中的不同环境光条件的梯度白平衡。
20.光学检测器区域的多个子阵列可以布置成子阵列的1d或2d阵列，诸如子阵列的均匀1d或2d阵列。
21.光学检测器区域的每个子阵列具有其自己的光学滤波器。光学滤波器可以在相同子阵列的所有光学检测器区域上处理，例如形成或沉积。因此，同一子阵列的光学检测器区域之间的间隙仅受单片半导体芯片的设计规则的限制。
22.光学检测器区域的每个子阵列的多个光学检测器区域可以布置成光学检测器区域的1d或2d阵列，诸如光学检测器区域的均匀1d或2d阵列。
23.光学检测器区域的每个子阵列的多个光学检测器区域可以包括中心光学检测器区域和围绕中心光学检测器区域布置的一个或多个外围光学检测器区域。
24.外围光学检测器区域中的一个或多个可以在形状上是弧形的，并且可以围绕中心光学检测器区域周向地布置。
25.外围光学检测器区域中的一个或多个可以在形状上是环形的，并且可以与中心光学检测器区域同心地布置。
26.多个光学滤波器可以设置或形成在单片半导体芯片的前表面上。
27.多个透镜元件可以包括微透镜阵列(mla)或微菲涅耳透镜阵列。
28.多个透镜元件可以由光学基板限定或形成在光学基板上。
29.多光谱光学传感器可以包括位于单片半导体芯片和光学基板之间的间隔件。
30.单片半导体芯片和光学基板可以附接到间隔件。
31.间隔件可以限定多个孔，其中每个孔与对应透镜元件、对应光学滤波器和光学检测器区域的对应子阵列对准。
32.间隔件可以限定一个或多个不透明分隔件或不透明壁，其中每个分隔件或壁分隔两个相邻的孔。这种间隔件可以阻挡光学检测器区域的不同子阵列之间的光学串扰。
33.孔可以通过垂直蚀刻、深光刻或注射成型中的至少一种形成。
34.间隔件可以包括不透明材料或由不透明材料形成。
35.间隔件可以包括塑料材料或由塑料材料形成，例如热固性聚合物材料或热塑性聚合物材料。
36.每个光学滤波器可以包括光学干涉滤波器或光学吸收滤波器。
37.多光谱光学传感器可以包括多个透射光学元件。每个透射光学元件可以在对应透镜元件和对应光学滤波器之间对准，使得入射在透镜元件中的任何一个上的光通过对应透射光学元件和对应光学滤波器会聚到光学检测器区域的对应子阵列的光学检测器区域中的一个上。每个透射光学元件可以接收来自对应透镜元件的沿着初始传播方向传播的会聚光，并且可以将接收到的会聚光转换成透射的会聚光，该透射的会聚光沿着最终传播方向远离透射光学元件传播，该最终传播方向平行于对应光学滤波器的光轴，或者相对于对应光学滤波器的光轴该最终传播方向比接收到的会聚光的初始传播方向限定更小的角度。
38.使用这样的多个透射光学元件可以用于确保由透射光学元件中的任何一个沿着相对于对应光学滤波器的光轴倾斜布置的初始传播方向接收的会聚光被透射光学元件转换，以便沿着平行于对应光学滤波器的光轴的方向朝向对应光学滤波器传播，或者沿着相对于对应光学滤波器的光轴比接收到的会聚光的初始传播方向限定更小的角度的方向朝向对应光学滤波器传播。这在光学滤波器的光学透射光谱取决于入射在光学滤波器上的光
的入射角的情况下(例如在光学滤波器是干涉滤波器的情况下)可以是有利的，以确保由光学滤波器接收的光经受光学滤波器的已知固定光学透射光谱，而不管对应透射光学元件接收会聚光所沿着的初始传播方向如何。
39.多个透射光学元件可以包括多个附加透镜元件
40.多个附加透镜元件可以包括微透镜阵列(mla)或微菲涅耳透镜阵列。
41.多个透射光学元件可以由附加光学基板限定或形成在附加光学基板上。
42.附加光学基板可以附接到单片半导体芯片的前表面。
43.间隔件可以附接到附加光学基板的前表面。
44.每个透射光学元件可以由对应光学滤波器限定或形成在对应光学滤波器上。
45.多个光学滤波器中的每个光学滤波器可以具有对应的光学透射光谱，诸如通带光学透射光谱。
46.多个光学滤波器的通带光学透射光谱可以跨越预定义波长范围。多个光学滤波器在预定义波长范围内的第一波长处的光学透射值的第一总和与多个光学滤波器在预定义波长范围内的第二波长处的光学透射值的第二总和之间的差可以小于预定阈值。
47.光学透射率值的第一总和可以等于光学透射率值的第二总和。
48.多个光学滤波器的光学透射值的总和在预定义波长范围内的所有波长处可以是相同的。
49.可以选择光学滤波器中的至少三个的光学透射光谱用于三色刺激检测。
50.光学滤波器中的至少三个的光学透射光谱可以对应于cie颜色空间的相应坐标。
51.光学滤波器中的至少三个的光学透射光谱可以对应于xyz颜色空间的相应分量。
52.单片半导体芯片可以包括ccd和/或cmos单片半导体芯片。
53.每个光学检测器区域可以包括ccd和/或cmos光学检测器区域。
54.根据本公开的一个方面，提供了一种多光谱光学系统，包括：
55.如上所述的多光谱光学传感器；以及
56.处理资源，
57.其中多光谱光学传感器和处理资源被配置用于彼此通信，
58.其中处理资源被配置为将由光学检测器区域的相同子阵列的不同光学检测器区域生成的不同电信号与沿着对应的不同入射方向从场景入射在多光谱光学传感器上的光相关联，以及将由光学检测器区域的不同子阵列的对应光学检测器区域生成的不同电信号与沿着相同入射方向从场景入射在多光谱光学传感器上的光相关联。
59.由光学检测器区域的不同子阵列的对应光学检测器区域测量的不同电信号值表示沿着与光学检测器区域的不同子阵列的对应光学检测器区域相关联的相同入射方向从场景入射在多光谱光学传感器上的光的光谱。
60.处理资源可以被配置为将由光学检测器区域生成的电信号与对应光学滤波器的光学透射光谱相关联。
61.处理资源可以被配置为基于对应于每个入射方向的电信号值与预定义光谱数据之间的比较来确定多个不同入射方向中的每个入射方向的环境光源分类。
62.预定义光谱数据可以包括多个离散光谱，每个光谱对应于不同的已知类型或已知种类的环境光源。
63.处理资源可以被配置为调整由光学检测器区域的每个子阵列的不同光学检测器区域生成的电信号值，以补偿由于会聚光沿着光学检测器区域的相同子阵列的不同光学检测器区域的不同传播方向传播通过对应光学滤波器而引起的对应光学滤波器的光学透射光谱的任何差异。在光学滤波器的光学透射光谱取决于入射在光学滤波器上的光的入射角的情况下，例如在光学滤波器是干涉滤波器的情况下，以这种方式补偿对应光学滤波器的光学透射光谱的任何差异可以是有利的。
64.根据本公开的一个方面，提供了一种图像感测系统，包括：
65.如上所述的多光谱光学系统；以及
66.具有相对于多光谱光学传感器的已知空间关系的图像传感器，
67.其中图像传感器和处理资源被配置用于彼此通信，并且
68.其中处理资源被配置为基于每个入射方向的环境光源分类来适配由图像传感器感测的图像。
69.处理资源可以被配置为通过基于每个入射方向的环境光源分类的一个或多个参数对图像进行白平衡来适配图像。
70.处理资源可以被配置为通过基于每个入射方向的环境光源分类的一个或多个参数对图像进行梯度白平衡来适配图像。
71.处理资源可以被配置为通过识别对应于每个入射方向的电信号值与预定义光谱数据之间的最接近匹配来确定每个方向的环境光源分类。
72.处理资源可以被配置为从对应于每个入射方向的电信号值重建每个入射方向的环境光源的光谱。
73.环境光源分类可以是色温或颜色坐标。
74.根据本公开的一个方面，提供了一种用于多光谱光学传感器的单片半导体芯片，其中单片半导体芯片限定光学检测器区域的多个子阵列，其中光学检测器区域的每个子阵列包括对应的多个光学检测器区域，并且其中光学检测器区域的每个子阵列的光学检测器区域具有与光学检测器区域的每个其他子阵列的光学检测器区域相同的空间布置。
75.单片半导体芯片可以包括多个光学滤波器，其中每个光学滤波器设置在光学检测器区域的对应子阵列的前面。
76.多个光学滤波器可以设置或形成在单片半导体芯片的前表面上。
77.根据本公开的一个方面，提供了一种电子设备，其包括以下中的至少一个：上述单片半导体芯片、上述多光谱光学传感器、上述多光谱光学系统或上述图像感测系统。
78.电子设备可以包括移动电子设备，诸如移动电话、蜂窝电话、智能电话、平板计算机或膝上型计算机。
79.根据本公开的一个方面，提供了一种使用如上所述的多光谱光学传感器的方法，该方法包括：
80.将由光学检测器区域的相同子阵列的不同光学检测器区域生成的不同电信号与沿着对应的不同入射方向从场景入射在多光谱光学传感器上的光相关联；以及
81.将由光学检测器区域的不同子阵列的对应光学检测器区域生成的不同电信号与沿着相同入射方向从场景入射在多光谱光学传感器上的光相关联。
82.该方法可以包括将由多光谱光学传感器的每个光学检测器区域生成的电信号与
对应光学滤波器的光学透射光谱相关联。
83.由光学检测器区域的不同子阵列的对应光学检测器区域测量的电信号值表示沿着与光学检测器区域的不同子阵列的对应光学检测器区域相关联的相同入射方向从场景入射在多光谱光学传感器上的光的光谱。
84.该方法可以包括基于对应于每个入射方向的电信号值与预定义光谱数据之间的比较来确定多个不同方向中的每个方向的环境光源分类。
85.预定义光谱数据可以包括多个离散光谱，每个光谱对应于不同类型或种类的环境光源。
86.该方法可以包括：
87.使用具有相对于多光谱光学传感器的已知空间关系的图像传感器来感测图像；以及
88.基于每个入射方向的环境光源分类来适配感测图像。
89.该方法可以包括通过基于每个入射方向的环境光源分类的一个或多个参数对图像进行白平衡来适配图像。该方法可以包括通过基于每个入射方向的环境光源分类的一个或多个参数对图像进行梯度白平衡来适配图像。
90.该方法可以包括通过识别对应于每个入射方向的电信号值与预定义光谱数据之间的最接近匹配来确定每个入射方向的环境光源分类。
91.该方法可以包括从对应于每个入射方向的电信号值重建每个入射方向的环境光源的光谱。
92.环境光源分类可以是色温或颜色坐标。
93.应当理解，本公开的前述方面中的任一个的任何一个或多个特征可以与本公开的其他前述方面中的任一个的任何一个或多个特征组合。
附图说明
94.现在将参考附图仅通过非限制性示例来描述多光谱光学传感器、多光谱光学系统、图像感测系统和相关联的方法，在附图中：
95.图1a是具有现有技术多光谱环境光传感器(als)布置和相机的现有技术智能电话形式的现有技术电子设备的后侧的示意图；
96.图1b是图1a的现有技术智能电话的现有技术多光谱als和相机的示意性横截面；
97.图2a是具有多光谱als布置和相机的智能电话形式的电子设备的后侧的示意图；
98.图2b是图2a的智能电话的多光谱als布置和相机的示意性横截面；
99.图3是图2a的多光谱als布置的多光谱als的示意图；
100.图4a是图3的多光谱环境光传感器(als)的单片多光谱als半导体芯片的示意图；
101.图4b是替代的单片多光谱als半导体芯片的示意图；
102.图5示出了图像感测系统的操作，该图像感测系统包括图2a的智能电话的多光谱als布置和相机；
103.图6a是第一替代多光谱als的示意图；以及
104.图6b是第二替代多光谱als的示意图。
具体实施方式
105.首先参考图2a，示出了智能电话101，其包括多光谱als布置103形式的多光谱光学传感器布置、具有相对于als布置103的已知空间关系的相机104、以及覆盖多光谱als布置103和相机104的盖玻璃108。
106.图2b示出了多光谱als布置103和相机104的详细横截面视图。多光谱als布置103包括具有多个光学检测器区域111的多光谱als 102。为了清楚起见，图2b中仅示出了三个光学检测器区域111。然而，如下面将更详细描述的，多光谱als 102实际上限定多于三个光学检测器区域111。
107.多光谱als布置103包括容纳多光谱als 102的壳体120。多光谱als布置103还包括位于盖玻璃108和壳体120之间的ir截止滤波器132。壳体120限定孔或窗口122，用于允许光经由盖玻璃108和ir截止滤波器132进入壳体120。多光谱als布置103具有垂直于多光谱als 102的前表面的光轴140。
108.如下面将描述的，多光谱als布置103被配置为区分沿着不同入射方向从场景入射到多光谱als布置103上的光，以及测量入射到多光谱als布置103上的光针对fov 142上的不同入射方向的光谱分布，fov 142限定围绕多光谱als布置103的光轴140的立体角。具体地，多光谱als布置103被配置为区分来自fov 142的不同扇区142a、142b、
……
142i的入射在多光谱als布置103上的光，以及测量来自每个扇区142a、142b、
……
142i的入射在多光谱als布置103上的光的光谱分布。相机104还具有光轴150，光轴150垂直于相机104的图像传感器芯片(未示出)的前表面并且平行于多光谱als布置103的光轴140。相机104具有fov 152，其限定围绕相机104的光轴150的立体角，其中相机104的fov 152的立体角与多光谱als布置103的fov 142的立体角相当。
109.如图3所示，多光谱als 102包括图4a中更详细示出的单片多光谱als半导体芯片110。单片多光谱als半导体芯片110限定光学检测器区域的多个子阵列112，其形式为以子阵列112的3
×
4阵列布置的十二个子阵列112，其中每个子阵列112的光学检测器区域具有与每个其他子阵列112的光学检测器区域相同的相对空间布置。具体地，子阵列112中的每一个限定光学检测器区域111a、111b、111c、
……
111i的3
×
3阵列。
110.单片多光谱als半导体芯片110包括多个光学滤波器160，每个光学滤波器160具有对应的光学透射光谱。每个光学滤波器160是通带光学干涉滤波器，其限定对应的光谱通带。光学滤波器160中的两个或更多个可以限定不同的光谱通带。此外，每个光学滤波器160在光学检测器区域111a、111b、111c、
……
111i的对应子阵列112前面形成在单片多光谱als半导体芯片110上或附接到单片多光谱als半导体芯片110。
111.多光谱als 102还包括由光学基板164限定或形成在光学基板164上的微透镜阵列(mla)形式的多个透镜元件162。多光谱als 102还包括位于单片半导体芯片110和mla的光学基板164之间的间隔件166。单片半导体芯片110和光学基板164附接到间隔件166的相对侧。此外，间隔件166限定多个孔168，其中每个孔168与对应透镜元件162、对应光学滤波器160和光学检测器区域111a、111b、111c、
……
111i的对应子阵列112对准。
112.每个光学滤波器160在对应透镜元件162和光学检测器区域111a、111b、111c、
……
111i的对应子阵列112之间对准，使得在使用中，沿着任何给定入射方向入射在透镜元件162中的任何一个上的任何光通过对应光学滤波器160会聚到光学检测器区域111a、111b、
111c、
……
111i的对应子阵列112的光学检测器区域111a、111b、111c、
……
111i中的对应一个上，该光学检测器区域111a、111b、111c、
……
111i中的对应一个取决于该给定入射方向。例如，沿着平行于多光谱als 102的光轴140的入射方向入射在透镜元件162中的任何一个上的光(如图4所示的实线所表示的)由透镜元件162通过对应光学滤波器160聚焦到对应子阵列112的中心光学检测器区域111e。类似地，沿着相对于多光谱als 102的光轴140倾斜的入射方向入射在透镜元件162中的任一个上的光(如由图4中所示的虚线或点划线表示的)由透镜元件162通过对应光学滤波器160聚焦到对应子阵列112的外围光学检测器区域111a、111b、111c、111d、111f、111g、111h、111i中的一个，其取决于特定的入射方向。
113.返回参考图2a，智能电话101包括处理资源180，其被配置为从多光谱als 102和相机104的图像传感器(未示出)接收数据。如图5所示，处理资源180被配置为将由光学检测器区域的相同子阵列112的不同光学检测器区域111a、111b、111c、
……
111i生成的不同电信号与沿着对应的不同入射方向184a、184b、184c、
……
184i从总体指定为182的场景的不同区域183a、183b、183c、
……
183i入射到多光谱als 102上的光相关联。
114.相反，处理资源180被配置为将由不同子阵列112的对应光学检测器区域生成的不同电信号与沿着相同入射方向从场景182的相同区域入射在多光谱als 102上的光相关联。例如，处理资源180被配置为将由不同子阵列112的对应光学检测器区域111a生成的不同电信号与沿着相同入射方向184a从场景182的区域183a入射在多光谱als 102上的光相关联。
115.此外，处理资源180被配置为将由任何给定子阵列112的任何光学检测器区域111a、111b、111c、
……
111i生成的电信号与对应光学滤波器160的光学透射光谱相关联。由于每个光学滤波器160具有不同的通带，因此由光学检测器区域的不同子阵列112的对应光学检测器区域测量的不同电信号值表示沿着与光学检测器区域的不同子阵列112的对应光学检测器区域相关联的相同入射方向从场景182入射在多光谱als 102上的光的光谱。例如，由光学检测器区域的不同子阵列112的对应光学检测器区域111a测量的不同电信号值表示沿着与光学检测器区域的不同子阵列112的对应光学检测器区域111a相关联的相同入射方向184a从场景的182入射在多光谱als 102上的光的光谱。
116.处理资源180被配置为基于对应于每个入射方向184a、184b、184c、
……
184i的电信号值与预定义光谱数据之间的比较来确定多个不同入射方向184a、184b、184c、
……
184i中的每个入射方向184a、184b、184c、
……
184i的环境光源分类。预定义光谱数据可以例如包括多个离散光谱，每个光谱对应于不同的已知类型或已知种类的环境光源。
117.另外，处理资源180被配置为基于每个入射方向184a、184b、184c、
……
、184i的环境光源分类来适配由相机104感测的图像。具体地，处理资源180被配置为通过基于每个方向的环境光源分类的一个或多个参数对图像进行白平衡来适配感测的图像，例如通过基于每个入射方向的环境光源分类的一个或多个参数对图像进行梯度白平衡。
118.本领域普通技术人员将理解，对上述多光谱als 102的各种修改是可能的。例如，图6a示出了用于与多光谱als布置103一起使用的第一替代多光谱als 202。类似于图3的多光谱als 102，图6a的第一替代多光谱als 202包括单片多光谱als半导体芯片210，其与多光谱als 102的单片多光谱als半导体芯片110相同。与图3的多光谱als 102类似，图6a的第一替代多光谱als 202还包括多个通带光学干涉滤波器260，其中每个光学滤波器260在光学检测器区域211a、211b、211c、
……
211i的对应子阵列212前面形成在单片多光谱als半导
体芯片210上或附接到单片多光谱als半导体芯片210。
119.多光谱als 202还包括由光学基板264限定或形成在光学基板264上的微透镜阵列(mla)形式的多个透镜元件262。多光谱als 202还包括位于单片半导体芯片210和mla的光学基板264之间的间隔件266。此外，间隔件266限定多个孔268，其中每个孔268与对应透镜元件262、对应光学滤波器260和光学检测器区域211a、211b、211c、
……
211i的对应子阵列212对准。
120.然而，与图3的多光谱als 102不同，图6a的第一替代多光谱als 202包括多个透射光学元件，其形式为多个附加透镜元件290，作为附加光学基板292上的附加微透镜阵列(mla)提供。附加光学基板292附接到单片多光谱als半导体芯片210的前表面。光学基板264的后表面附接到间隔件266的前侧，并且附加光学基板292的前表面附接到间隔件266的后侧。
121.每个附加透镜元件290在对应透镜元件262和对应光学滤波器260之间对准，使得入射在透镜元件262中的任何一个上的光通过对应的附加透镜元件290和对应的光学滤波器260会聚到光学检测器区域的对应子阵列212的光学检测器区域211a、211b、211c、
……
211i中的一个上。并且其中每个附加透镜元件290接收来自对应透镜元件262的沿着初始传播方向传播的会聚光，并且将接收到的会聚光转换成透射的会聚光，该透射的会聚光沿着最终传播方向远离附加透镜元件290传播，该最终传播方向平行于对应光学滤波器260的光轴，或者相对于对应光学滤波器260的光轴该最终传播方向比接收到的会聚光的初始传播方向限定更小的角度。
122.这种附加微透镜阵列(mla)的使用可以用于确保由附加透镜元件290中的任何一个沿着相对于对应光学滤波器260的光轴倾斜布置的初始传播方向接收的会聚光被附加透镜元件290转换，以便沿着平行于对应光学滤波器260的光轴的方向或者相对于对应光学滤波器260的光轴比接收到的会聚光的初始传播方向限定更小的角度的方向朝向对应光学滤波器260传播。在光学滤波器260的光学透射光谱取决于入射在光学滤波器260上的光的入射角的情况下，例如在光学滤波器260是干涉滤波器的情况下，这可以是有利的，以确保由光学滤波器260接收的光经受光学滤波器260的已知光学透射光谱，而不管对应的附加透镜元件290接收会聚光所沿着的初始传播方向如何。
123.在图6a的第一替代多光谱als 202的变型中，每个附加透镜元件可以由对应光学滤波器260限定或形成在对应光学滤波器260上。
124.图6b示出了用于与多光谱als布置103一起使用的第二替代多光谱als 302。除了图6b的第二替代多光谱als 302包括作为微菲涅耳透镜阵列提供的多个菲涅耳透镜元件390形式的多个透射光学元件、而不是包括作为附加光学基板292上的附加微透镜阵列(mla)提供的多个附加透镜元件290形式的多个透射光学元件之外，第二替代多光谱als 302在所有方面与图6a的第一替代多光谱als 202相同，其中每个菲涅耳透镜元件390由多光谱als 302的对应光学滤波器360限定或形成在多光谱als 302的对应光学滤波器360上。
125.在图6b的第二替代多光谱als 302的变型中，每个菲涅耳透镜元件390可以由附加光学基板限定或形成在附加光学基板上，其中附加光学基板附接到多光谱als 302的单片多光谱als半导体芯片310的前表面。
126.本领域普通技术人员将理解，在图6a的第一替代多光谱als 202和图6b的第二替
代多光谱als 302中，多个透射光学元件有效地意味着会聚光在平行于光学干涉滤波器的光轴的方向上或在几乎平行于光学干涉滤波器的光轴的方向上传播通过每个光学干涉滤波器，从而确保透射光在法向入射下经受光学干涉滤波器的已知光学透射光谱。作为使用多个透射光学元件(如图6a的第一替代多光谱als 202的透射光学元件290或图6b的第二替代多光谱als 302的透射光学元件390)的替代方案，智能电话101的处理资源180可以被配置为调整由光学检测器区域的相同子阵列112的不同光学检测器区域111a、111b、111c、
……
111i生成的电信号值，以补偿由于会聚光沿着光学检测器区域的相同子阵列112的不同光学检测器区域111a、111b、111c、
……
111i的不同传播方向传播通过对应光学滤波器160而引起的对应光学滤波器160的光学透射光谱的任何差异。
127.图4b示出了与图2b和图3的多光谱als 102、图6a的第一替代多光谱als 202或图6b的第二替代多光谱als 302一起使用的替代单片多光谱als半导体芯片410。替代单片多光谱als半导体芯片410限定了光学检测器区域的多个子阵列412，其形式为以子阵列412的3
×
4阵列布置的十二个子阵列412，其中每个子阵列412的光学检测器区域具有与每个其他子阵列412的光学检测器区域相同的相对空间布置。具体地，子阵列412中的每一个限定由四个弧形光学检测器区域411b、411c、411d和411e围绕的中心光学检测器区域411a。单片多光谱als半导体芯片410包括多个光学滤波器460，每个光学滤波器460具有对应的光学透射光谱。每个光学滤波器460可以是通带光学干涉滤波器，其限定对应的光谱通带。光学滤波器460中的两个或更多个可以限定不同的光谱通带。此外，每个光学滤波器460在光学检测器区域411a、411b、411c、411d和411e的对应子阵列412前面形成在单片多光谱als半导体芯片410上或附接到单片多光谱als半导体芯片410。
128.本领域普通技术人员将理解，光学检测器区域的其他布置在每个子阵列内是可能的。例如，每个子阵列可限定由一或多个同心布置的环形光学检测器区域围绕的中心光学检测器区域，其中每个环形光学检测器区域具有不同半径。每个子阵列可以限定任何尺寸的光学检测器区域的1d或2d阵列。每个子阵列的光学检测器区域可以布置成非矩形的2d阵列。
129.本领域普通技术人员还将理解，子阵列的其他布置是可能的。例如，子阵列可布置成任何尺寸的1d或2d阵列。子阵列可以布置成非矩形的2d图案。
130.尽管已经描述了用于与智能电话101的相机104一起使用的各种多光谱als 102、202、302，但是应当理解，多光谱als 102、202、302中的任何一个可以与任何种类的电子设备的相机一起使用。例如，多光谱als 102、202、302中的任何一个可以与移动电话、蜂窝电话、平板计算机或膝上型计算机的相机一起使用。
131.尽管已经根据如上所述的优选实施例描述了本公开，但是应当理解，这些实施例仅是说明性的，并且权利要求不限于这些实施例。鉴于本公开，本领域技术人员将能够对所描述的实施例进行修改和替代，这些修改和替代被认为落入所附权利要求的范围内。本说明书中公开或示出的每个特征可以并入任何实施例中，无论是单独的还是以与本文公开或示出的任何其他特征的任何适当组合。具体地，本领域普通技术人员将理解，上面参考附图描述的本公开的实施例的一个或多个特征，在与本公开的实施例的一个或多个其他特征分离使用时，可以产生效果或提供优点，并且除了上述本公开的实施例的特征的特定组合之外，特征的不同组合是可能的。
132.本领域技术人员将理解，在前述说明书和所附权利要求中，诸如“上方”、“沿着”、“侧面”等的位置术语是参考概念性图示(诸如附图中所示的那些概念性图示)来做出的。这些术语是为了便于参考而使用的，但不旨在具有限制性质。因此，这些术语应被理解为是指当处于如附图所示的取向时的对象。
133.当关于本公开的实施例的特征使用时，术语“包括”的使用不排除其他特征或步骤。当关于本公开的实施例的特征使用时，术语“一”或“一个”的使用不排除实施例可以包括多个这样的特征的可能性。
134.权利要求中的附图标记的使用不应被解释为限制权利要求的范围。
135.附图标记列表
136.1智能手机；
137.2多光谱als传感器；
138.3多光谱als布置；
139.4相机；
140.8盖玻璃；
141.11光学检测器区域；
142.20壳体；
143.22孔；
144.30漫射器；
145.32ir截止滤波器；
146.40多光谱als布置的光轴；
147.42多光谱als布置的视场；
148.50相机的光轴；
149.52相机的视场；
150.101智能手机；
151.102多光谱als传感器；
152.103多光谱als布置；
153.104相机；
154.108盖玻璃；
155.110单片多光谱als半导体芯片；
156.111光学检测器区域；
157.111a-111i光学检测器区域；
158.112光学检测器区域的子阵列；
159.120壳体；
160.122壳体孔；
161.132ir截止滤波器；
162.140多光谱als布置的光轴；
163.142多光谱als布置的视场；
164.142a-142i多光谱als布置的视场的扇区；
165.150相机的光轴；
166.152相机的视场；
167.160光学滤波器；
168.162透镜元件；
169.164光学基板；
170.166间隔件；
171.168间隔件孔；
172.182场景；
173.183a-183i场景的区域；
174.184a-184i入射方向；
175.202多光谱als传感器；
176.210单片多光谱als半导体芯片；
177.211a-211i光学检测器区域；
178.212光学检测器区域的子阵列；
179.260光学滤波器；
180.262透镜元件；
181.264光学基板；
182.266间隔件；
183.268间隔件孔；
184.290附加透镜元件；
185.292附加光学基板；
186.302多光谱als传感器；
187.310单片多光谱als半导体芯片；
188.360光学滤波器；
189.390附加透镜元件；
190.410单片多光谱als半导体芯片；
191.411a-411i光学检测器区域；
192.412光学检测器区域的子阵列；以及
193.460光学滤波器。

技术特征：
1.一种多光谱光学传感器，包括：单片半导体芯片，所述单片半导体芯片限定光学检测器区域的多个子阵列；多个光学滤波器；以及多个透镜元件，其中光学检测器区域的每个子阵列包括对应的多个光学检测器区域，其中光学检测器区域的每个子阵列具有与光学检测器区域的每个其他子阵列相同的光学检测器区域的相对空间布置，并且其中每个光学滤波器在对应透镜元件和光学检测器区域的对应子阵列之间对准，使得沿着入射方向入射在所述透镜元件中的任何一个上的光通过所述对应光学滤波器会聚到光学检测器区域的所述对应子阵列的所述光学检测器区域中的对应一个上，所述光学检测器区域中的对应一个取决于所述入射方向。2.根据权利要求1所述的多光谱光学传感器，其中光学检测器区域的所述多个子阵列被布置成子阵列的1d或2d阵列，诸如子阵列的均匀1d或2d阵列。3.根据权利要求1或2所述的多光谱光学传感器，其中光学检测器区域的每个子阵列的所述多个光学检测器区域被布置成光学检测器区域的1d或2d阵列，诸如光学检测器区域的均匀1d或2d阵列。4.根据权利要求1或2所述的多光谱光学传感器，其中光学检测器区域的每个子阵列的所述多个光学检测器区域包括中心光学检测器区域和围绕所述中心光学检测器区域布置的一个或多个外围光学检测器区域。5.根据权利要求4所述的多光谱光学传感器，其中所述外围光学检测器区域中的一个或多个在形状上是弧形的并且围绕所述中心光学检测器区域周向地布置，或者其中外围光学检测器区域中的一个或多个在形状上是环形的并且与所述中心光学检测器区域同心地布置。6.根据任一前述权利要求所述的多光谱光学传感器，其中所述多个光学滤波器设置或形成在所述单片半导体芯片的前表面上。7.根据任一前述权利要求所述的多光谱光学传感器，其中所述多个透镜元件包括微透镜阵列(mla)或微菲涅耳透镜阵列，并且可选地，其中所述多个透镜元件由光学基板限定或形成在光学基板上。8.根据任一前述权利要求所述的多光谱光学传感器，包括位于所述单片半导体芯片和所述光学基板之间的间隔件，并且可选地，其中所述单片半导体芯片和所述光学基板附接到所述间隔件。9.根据权利要求8所述的多光谱光学传感器，其中所述间隔件限定多个孔，其中每个孔与对应透镜元件、对应光学滤波器和光学检测器区域的对应子阵列对准。10.根据任一前述权利要求所述的多光谱光学传感器，包括多个透射光学元件，其中每个透射光学元件在对应透镜元件和对应光学滤波器之间对准，使得入射在所述透镜元件中的任何一个上的光通过对应透射光学元件和对应光学滤波器会聚到光学检测器区域的对应子阵列的所述光学检测器区域中的一个上，并且其中每个透射光学元件接收来自所述对应透镜元件的沿着初始传播方向传播的会聚光，并且将所接收的会聚光转换成透射的会聚光，所述透射的会聚光沿着最终传播方向远离所述透射光学元件传播，所述最终传播方向
平行于所述对应光学滤波器的光轴，或者相对于所述对应光学滤波器的光轴所述最终传播方向比所接收的会聚光的初始传播方向限定更小的角度。11.根据权利要求10所述的多光谱光学传感器，其中所述多个透射光学元件包括多个附加透镜元件，并且可选地，其中所述多个附加透镜元件包括微透镜阵列(mla)或微菲涅耳透镜阵列，并且可选地，其中所述多个透射光学元件由附加光学基板限定或形成在附加光学基板上，并且可选地，其中所述附加光学基板附接到所述单片半导体芯片的前表面，并且可选地，其中所述间隔件附接到所述附加光学基板的前表面，并且可选地，其中每个透射光学元件由对应光学滤波器限定或形成在对应光学滤波器上。12.根据任一前述权利要求所述的多光谱光学传感器，其中以下中的至少一个：每个光学滤波器包括光学干涉滤波器；所述多个光学滤波器中的每个光学滤波器具有对应的通带光学透射光谱；所述多个光学滤波器的所述光学透射值的总和在预定义波长范围内的所有波长处是相同的；选择所述光学滤波器中的至少三个的所述光学透射光谱用于三色刺激检测；所述光学滤波器中的至少三个的所述光学透射光谱对应于cie颜色空间的相应坐标；所述光学滤波器中的至少三个的所述光学透射光谱对应于xyz颜色空间的相应分量。13.一种多光谱光学系统，包括：根据任一前述权利要求所述的多光谱光学传感器；以及处理资源，其中所述多光谱光学传感器和所述处理资源被配置用于彼此通信，其中所述处理资源被配置为将由光学检测器区域的相同子阵列的不同光学检测器区域生成的不同电信号与沿着对应的不同入射方向从场景入射在所述多光谱光学传感器上的光相关联，并且将由光学检测器区域的不同子阵列的对应光学检测器区域生成的不同电信号与沿着相同入射方向从所述场景入射在所述多光谱光学传感器上的光相关联。14.根据权利要求13所述的多光谱光学系统，其中所述处理资源被配置为将由光学检测器区域生成的所述电信号与所述对应光学滤波器的所述光学透射光谱相关联。15.根据权利要求13或14所述的多光谱光学系统，其中所述处理资源被配置为基于对应于每个入射方向的所述电信号值与预定义光谱数据之间的比较来确定所述多个不同入射方向中的每个入射方向的环境光源分类，并且可选地，其中所述预定义光谱数据包括多个离散光谱，每个光谱对应于不同的已知类型或种类的环境光源。16.根据权利要求13至15中任一项所述的多光谱光学系统，其中所述处理资源被配置为调整由光学检测器区域的相同子阵列的所述不同光学检测器区域生成的所述电信号值，以补偿由于会聚光沿着光学检测器区域的相同子阵列的所述不同光学检测器区域的不同传播方向传播通过所述对应光学滤波器而引起的所述对应光学滤波器的所述光学透射光谱的任何差异。17.一种图像感测系统，包括：根据权利要求13至16中任一项所述的多光谱光学系统；以及具有相对于所述多光谱光学传感器的已知空间关系的图像传感器，其中所述图像传感器和所述处理资源被配置用于彼此通信，并且
其中所述处理资源被配置为基于每个入射方向的所述环境光源分类来调整由所述图像传感器感测的图像。18.根据权利要求17所述的图像感测系统，其中所述处理资源被配置为通过基于每个方向的所述环境光源分类的一个或多个参数对所述图像进行白平衡来适配所述图像，例如通过基于每个入射方向的所述环境光源分类的一个或多个参数对所述图像进行梯度白平衡来适配所述图像。19.一种用于多光谱光学传感器的单片半导体芯片，其中所述单片半导体芯片限定光学检测器区域的多个子阵列，其中光学检测器区域的每个子阵列包括对应的多个光学检测器区域，并且其中光学检测器区域的每个子阵列的所述光学检测器区域具有与光学检测器区域的每个其他子阵列的所述光学检测器区域相同的空间布置，并且可选地，其中所述单片半导体芯片包括多个光学滤波器，其中每个光学滤波器设置在光学检测器区域的对应子阵列的前面，并且可选地，其中多个光学滤波器设置或形成在单片半导体芯片的前表面上。20.一种电子设备，包括以下中的至少一个：根据权利要求1至12中任一项所述的多光谱光学传感器、根据权利要求13至16中任一项所述的多光谱光学系统、根据权利要求17或18所述的图像感测系统、或根据权利要求19所述的单片半导体芯片，例如其中所述电子设备包括移动电子设备，诸如移动电话、蜂窝电话、智能电话、平板计算机或膝上型计算机。

技术总结
单片半导体芯片限定光学检测器区域的多个子阵列，其中光学检测器区域的每个子阵列包括对应的多个光学检测器区域，并且其中光学检测器区域的每个子阵列具有与光学检测器区域的每个其他子阵列相同的光学检测器区域的相对空间布置。多光谱光学传感器包括单片半导体芯片、多个光学滤波器和多个透镜元件，其中每个光学滤波器在对应透镜元件和光学检测器区域的对应子阵列之间对准，使得沿着入射方向入射在透镜元件中的任何一个上的光通过对应光学滤波器会聚到光学检测器区域的对应子阵列的光学检测器区域中的对应一个上，该光学检测器区域中的对应一个取决于入射方向。这种多光谱光学传感器可以用于测量与由图像传感器或相机捕获的场景的不同部分或扇区相关的光谱信息。还公开了包括多光谱光学传感器的多光谱光学系统和图像感测系统。光学系统和图像感测系统。光学系统和图像感测系统。


技术研发人员：G
受保护的技术使用者：ams传感器德国有限公司
技术研发日：2021.10.06
技术公布日：2023/7/22