稀疏颜色图像传感器系统的制作方法

稀疏颜色图像传感器系统


背景技术：

1.为了捕获色彩信息并使能够创建颜色图像，移动和其他成像系统中的电子图像传感器通常包括颜色过滤器阵列(cfa)，诸如bayer cfa，其包括分离的波长特定过滤器，被设置在或形成在重复图案的电子图像传感器的单个像素上。然而，这样的色彩信息的捕获与光学效率的大量成本相关联，因为通过这样的波长特定过滤器接收的光量被显著减少。这些缺点在低光条件下加剧，这可能导致噪声增加、混叠增加、空间分辨率降低以及图像清晰度和质量的其他降低，包括可用于补偿光学低效率的后处理技术。


技术实现要素：

2.在一个示例中，一种方法可以包括经由包括多个子单元的颜色过滤器阵列cfa发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素；响应于发起，接收多个图像帧；处理多个图像帧中的每一个；以及至少部分地基于该处理生成图像。
3.因此，所提出的方法可以包括使用具有子单元的cfa，其中每个子单元包括多数全色像素和一个或多个用于对确定波长范围的光进行采样的相邻像素，并且每个子单元的大多数像素是全色像素。全色像素为捕获的图像帧提供亮度信息，而提供波长过滤像素以对确定的波长范围的光进行采样，例如对红光、绿光或蓝光进行采样。在示例性实施例中，所提供的少数波长过滤像素可以因此根据波长被过滤，以便对要处理的色彩数据进行欠采样，而cfa中的多数全色像素提供亮度数据但不提供颜色信息。因此，可以对突发捕获中捕获的每个(分量)图像帧的少数波长过滤像素的色彩数据和多数全色像素的亮度数据进行处理，以生成单个(完整)颜色图像。
4.构成子单元的像素中的少数的一个或多个波长过滤像素在本场境中是相邻的，特别地包括：根据波长过滤的两个或更多个像素在空间上排列使得子组中没有未被波长过滤的像素位于子组的两个或更多波长过滤像素之间。本文对具有单个“相邻”像素的子单元的引用指示所引用的子单元仅包括单个波长过滤像素，而子单元的剩余像素是全色的。
5.每个子单元的一个或多个相邻波长过滤像素可以包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
6.每个子单元中的一个或多个波长过滤相邻像素可以由单个波长过滤像素组成。
7.多个子单元中的每个子单元的一个或多个波长过滤相邻像素与多个子单元中的每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
8.处理多个图像帧中的每一个可以包括对齐多个图像帧的对应的多个子单元，以便补偿多个图像帧中的相应图像帧之间的一个或多个空间偏移。相应图像帧之间的空间偏移可以例如由包括图像传感器和耦合到图像传感器的cfa的设备的无意识移动引起，由此在突发中捕获的连续图像帧中描绘的至少一个对象是空间偏移的。
9.多个子单元中的每个子单元可以包括小于1:5的波长过滤像素与总像素的比率。
10.多个子单元中的每个子单元可以与小于百分之二十的颜色采样率相关联。
11.在另一示例中，成像系统可以包括图像传感器；cfa，使得cfa包括多个子单元，每个子单元可以包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；耦合到cfa的图像传感器；以及耦合到图像传感器的处理器，使得处理器可以经由cfa和图像传感器发起对多个图像帧的突发捕获，并且可以通过处理多个图像帧中的每一个来生成颜色图像。
12.每个子单元的一个或多个相邻波长过滤像素可以包括根据第一波长过滤的至少一个第一像素和根据另一第二波长过滤的至少一个第二像素的集群。例如，每个子单元的一个或多个波长过滤的相邻像素可以包括根据针对红色的第一波长过滤的至少一个第一像素和根据针对蓝色或绿色的另一第二波长过滤的至少一个第二像素的集群。在示例性实施例中，每个子单元包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
13.每个子单元的一个或多个波长过滤的相邻像素可以由单个波长过滤像素组成。
14.多个子单元中每个子单元的一个或多个波长过滤相邻像素可以与多个子单元中每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
15.处理多个图像帧中的每个图像帧可以包括通过对齐多个图像帧的对应多个子单元来补偿多个图像帧的相应图像帧之间的一个或多个空间偏移。
16.多个子单元中的每个子单元可以包括小于1:5的波长过滤像素与总像素的比率。
17.多个子单元中的每个子单元可以与小于百分之二十的颜色采样率相关联。
18.在另一示例中，计算设备可以包括图像传感器；cfa，使得cfa包括多个子单元，每个子单元可以包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；耦合到cfa的图像传感器；一个或多个镜头，其经由cfa将光引导到图像传感器上；以及被耦合到图像传感器的一个或多个处理器，使得所述一个或多个处理器可以发起经由cfa和图像传感器的多个图像帧的突发捕获，并且可以通过处理多个图像帧中的每一个来生成颜色图像。
19.每个子单元的一个或多个相邻波长过滤像素可以包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。
20.多个子单元中的每个子单元的一个或多个波长过滤相邻像素可以与多个子单元中的每个相邻子单元的一个或多个波长过滤相邻像素由至少两个全色像素分开。
21.生成颜色图像可以包括通过在空间上对齐多个图像帧的对应多个子单元来补偿多个图像帧的相应图像帧之间的一个或多个空间偏移。
22.多个子单元中的每个子单元可以提供小于百分之二十的颜色采样率。
23.计算设备可以进一步包括头戴式显示器(hwd)。
24.非固定成像系统，诸如手持式或安装在用户头上的相机，通常在捕获连续图像之间进行“自由运动”。本文描述的技术可以利用经由(“稀疏”)颜色过滤器阵列(cfa)的这样的连续图像的捕获突发，通过对具有小空间偏移——诸如可能持有或佩戴图像捕获设备的用户的无意识移动产生的那些——的未对齐图像帧的色彩信息进行欠采样来生成完整的rgb图像。在某些实施例中，在捕获具有这样的空间偏移和稀疏采样的色彩信息的多个图像帧的突发之后，捕获的图像帧随后用于“时间叠加”——每个图像帧被计算地处理以对齐和合并图像帧以形成将颜色值(例如，红色、绿色和蓝色值)分配给每个像素的单个图像。在其他实施例中，可以省略图像帧的这种时间叠加，诸如通过在大部分单色图像中利用部分(稀疏)颜色数据。
25.系统和技术被描述为通过计算地组合存在于经由稀疏颜色过滤器阵列捕获的多个分量图像帧中的色彩欠采样和移位信息来生成颜色图像，该稀疏颜色过滤器阵列包括少数波长过滤像素和剩余多数全色像素。可以经由包括多个子单元的颜色过滤器阵列发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素。然后可以处理多个图像帧中的每一个以生成所得的颜色图像。
附图说明
26.通过参考附图可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言是显而易见的。在不同的附图中使用相同的附图标记指示相似或相同的项目。
27.图1是根据一个或多个实施例的示例成像系统的框图。
28.图2图示了根据一个或多个实施例的与多个独特的图像帧相关联的图像数据的捕获的突发的计算处理。
29.图3描绘了根据一个或多个实施例的示例点采样颜色过滤器阵列(cfa)的一部分。
30.图4描绘了根据一个或多个实施例的示例集群采用cfa的一部分。
31.图5描绘了根据一个或多个实施例的替代示例集群采样cfa的一部分。
32.图6描绘了根据一个或多个实施例的另一替代示例集群采样cfa的一部分。
33.图7是示出根据一个或多个实施例的示例成像系统的操作的概览的框图。
具体实施方式
34.诸如智能手机或头戴式显示器的移动设备平台上的图像捕获设备通常具有：较小的传感器，这限制了这样的设备的空间分辨率；较小的孔径，这限制了它们的聚光能力；以及较小的像素，这降低了它们的信噪比。涉及使用颜色过滤器阵列(cfa)与设备传感器一起提供色彩信息的解决方案通常与光学效率低下相关联，这是由于可能进一步使分辨率劣化的大量波长过滤图像元素(像素)对入射光的显著阻挡而导致的。这样的滤光器阵列的每个波长过滤像素(例如，针对红色、绿色或蓝色波长中的一个而被过滤的像素)通过阻挡光的一部分穿过该像素来显著降低像素的光学效率。此外，通常需要措施来减少被错误赋予颜色值的像素之间的串扰(crosstalk)。
35.本文描述的技术的实施例经由“稀疏cfa”利用图像的捕获的突发来生成完整的rgb图像，诸如通过跨具有小空间偏移的未对齐图像来采样色彩数据，包括可能由可能是手持或佩戴图像捕获设备的用户的无意识移动导致的空间偏移。本文中对稀疏cfa的引用指示cfa中只有相对较小的少数像素根据波长被过滤，以便对色彩数据进行欠采样，而cfa中剩余的大多数像素包括提供亮度数据但不提供颜色信息的全色(有时称为“白色”)像素。在某些实施例中，在捕获具有这样的偏移和稀疏采样的色彩信息的多个图像帧的突发之后，捕获的图像帧然后经由计算处理(“时间叠加”)对齐和合并以形成具有分配给每个像素的颜色值(例如，红色、绿色和蓝色值)的单个图像。在某些实施例中，这样的技术提供比任何分量图像帧更高的有效分辨率和更多细节两者，其中与传统的非稀疏cfa配置(例如，拜耳cfa配置)相比，稀疏cfa阻挡显著更少的光。因此，在这样的实施例中，所描述的技术在计算上组合存在于多个分量图像帧中的色彩欠采样和移位信息以生成完整的颜色图像。
36.在某些实施例中，诸如通过在主要是单色的图像中利用部分颜色数据，可以避免
这种时间叠加。在这样的实施例中，大多数(单色)像素使光灵敏度最大化，而颜色告知的像素的稀疏子集提供附加信息，诸如以改进各种机器学习技术的结果。特别地，机器学习的某些阶段(例如，图像分类和/或对象检测)可以通常使用低分辨率(子采样)图像，其中来自本文所述的稀疏颜色cfa的颜色信息的可用性可能增加，因为对像素进行分类(“分箱”)以降低分辨率通常导致具有经分类的颜色信息的像素被包括在每个“分箱中”。相比之下，机器学习的后期阶段(例如，对象辨识)通常可以利用高分辨率图像，但不太依赖于详细颜色数据的存在。
37.通常，图像信号处理器(isp)可以执行计算以估计捕获图像中每个像素的三种原色的相应强度，即使每个像素与表示仅一种原色的强度的数据相关联。然而，如本文别处所讨论的，这样的原色过滤器可通过根据特定波长过滤每个像素而显著降低可用的光量，从而导致图像的噪声增加。相比之下，本文介绍的技术可以通过利用稀疏cfa作为主要单色传感器来显著改进强度信噪比，并且可以进一步利用减少的数据处理，以及对应减少的计算和功率要求来被执行。此外，通过将图像扩缩到较低分辨率(例如，用于机器学习目的)，高质量强度数据可以与可用的稀疏颜色数据组合以提供改进的强度数据和改进的色彩数据两者，以及减少的数据处理。
38.因此，虽然本文提供的示例可以讨论其中利用时间叠加来形成具有分配给每个像素的颜色值的单个图像的实施例，但是应当理解，在各个实施例中，对于没有这样的时间叠加的许多应用可以利用经由稀疏颜色cfa捕获的图像和信息。还应当理解，虽然本公开描述了考虑到红-绿-蓝rgb颜色模型的各种技术，但是这样的技术可以与各种附加颜色模型(例如，青-品红-黄或cmy)结合使用，而无需偏离所描述的实施例。
39.图1是根据一个或多个实施例的成像系统100的框图。在某些实施例中，成像系统100可以包括诸如智能电话、头戴式显示器(hwd)或其他设备的移动设备的一部分。成像系统包括镜头105、颜色过滤器阵列(cfa)110、图像传感器115、控制器125、耦合到系统存储器135的处理器130和显示器140。在所描绘的实施例中，成像系统100可以被利用于捕获和处理多个图像帧120的突发以便根据本文描述的技术生成完整图像，诸如用于经由显示器140呈现、存储以供稍后呈现或其他用途。在某些实施例中，本文所述组件中的一个或多个(诸如cfa 110、图像传感器115、控制器125、处理器130和系统存储器135中的一个或多个)可以被实例化为单个集成系统的元件，诸如片上系统(soc)或其他集成系统。此外，在各个实施例中，诸如如果cfa 110的图像元素(像素)被形成或设置在图像传感器115的表面上，cfa 110和图像传感器115可以被集成。
40.在操作中，光101穿过镜头105和cfa 110并被图像传感器115感测，图像传感器115利用接收到的光来生成表示多个图像帧120的信息。镜头105可以包括任何合适的镜头，并且作为非限制性示例可以包括直线镜头、宽视场(或“鱼眼”)镜头、固定焦距镜头、变焦镜头、固定孔径或可变孔径镜头等。在各个实施例中，图像传感器115可以包括互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件(ccd)图像传感器或其他合适的图像传感器。在所描绘的实施例中，控制器125可以调节与多个图像帧120中的每一个相关联的曝光时间，诸如在处理器130的指导下。此外，处理器130可以发起(自主地或响应于用户输入)捕获多个图像帧120中的一个或多个，诸如通过发起多个图像帧的“突发捕获”。
41.应当理解，在不偏离本公开的范围的情况下，可以利用图1中描绘的成像系统的许
多变化和特征，诸如以包括自动聚焦系统、机械或机电快门系统等的一个或多个元件。
42.图2图示了根据一个或多个实施例的与四个独特的图像帧(帧1210、帧2 220、帧3 230和帧4 240)相关联的捕获的图像数据的突发的计算处理。每个图像帧220、230、240在每个代表性像素(实际图像帧数据中不存在)的中心用说明性点描绘，并且由于诸如用户手持或佩戴相关成像系统的实施例(例如，图1的成像系统100)的用户的无意识运动从前一图像帧偏移实际随机化的空间偏移。在某些实施例中，帧1 210可用作“基本帧”，在其上对齐剩余图像帧240、230和240。计算处理被利用于检测每个分量图像帧的特征并对齐这些特征，以便生成合并图像250，其使用来自四个分量图像帧中的每一个的色彩采样数据和亮度数据提供增加的像素密度。
43.图3描绘了根据一个或多个实施例的示例点采样颜色过滤器阵列(cfa)300的一部分。cfa300的描绘部分呈现了256个像素的代表性网格，该网格被划分为各自是4x4像素的16个子单元。在所描绘的实施例中，cfa 300的子单元各自仅包括一个波长过滤像素。例如，最左上角的子单元305包括一个像素301，该像素301被波长过滤以对红(r)光进行采样，子单元的所有其他像素包括全色像素以提供亮度信息。类似地，子单元310包括单个像素306，其被波长过滤以对绿(g)光进行采样，子单元的所有其他像素包括全色像素以提供亮度信息。子单元315包括单个像素311，其被波长过滤以对蓝(b)光进行采样，同样，子单元的所有其他像素包括全色像素以提供亮度信息。为了清楚，描绘了cfa 300的剩余子单元但未分别描述，因为每个剩余子单元与所描述的子单元305、310和315中的一个相同。应当理解，点采样cfa 300的每个子单元仅包括子单元的相应16个像素中的一个波长过滤像素，使得每个子单元包括6.25％的颜色采样率。
44.图4描绘了根据一个或多个实施例的示例集群采样cfa 400的一部分。cfa 400的描绘部分以类似于图3的cfa 300呈现的方式呈现256个像素的另一代表性网格，该网格被划分为各自是4x4像素的16个子单元。在描绘的实施例中，cfa 400的每个子单元包括波长过滤相邻像素的集群，相应子单元的所有其他像素都是提供亮度信息的全色像素。代表cfa 400的所有16个子单元的示例子单元410包括波长过滤像素的集群，包括红色(r)像素412、绿色(g)像素414和蓝色(b)像素416。子单元410的所有其他像素是提供亮度信息的全色像素。在所描绘的实施例中，cfa 400的“集群间距”包括两个像素的距离418——即，每个波长过滤像素集群与对应的相邻子单元集群由两个全色像素分开。因此，集群采样cfa 400包括具有16个像素中的3个是波长过滤像素的子单元，使得每个子单元提供18.75％的颜色采样率。
45.图5描绘了根据一个或多个实施例的另一示例集群采样cfa 500的一部分。cfa 500的描绘部分以类似于图4的cfa 400呈现的方式呈现了被划分成子单元的256个像素的另一代表性网格。cfa 500的每个子单元再次包括单个波长过滤的相邻像素集群，相应子单元的所有其他像素是提供亮度信息的全色像素。代表cfa 500的其他子单元的示例子单元510包括波长过滤像素集群，其包括红色(r)像素512、绿色(g)像素514和蓝色(b)像素516。子单元510的所有其他像素是提供亮度信息的全色像素。然而，在所描绘的实施例中，并且与图4的cfa 400相反，cfa 500包括各自是25个像素(5x5)的子单元，在相邻子单元的对应波长过滤集群之间具有三个全色像素的集群间距518。因此，集群采样cfa 500包括具有25个像素中的3个是波长过滤像素的子单元，使得每个子单元提供仅12％的颜色采样率。
46.图6描绘了根据一个或多个实施例的另一示例集群采样cfa 600的一部分。cfa 600的描绘部分以类似于图4的cfa 400和图5的cfa 500呈现的方式呈现了被划分成子单元的256个像素的另一代表性网格。cfa 600的每个子单元再次包括单个波长过滤相邻像素集群，相应子单元的所有其他像素是提供亮度信息的全色像素。代表cfa 600的其他子单元的示例子单元610包括波长过滤像素集群，其包括红色(r)像素612、绿色(g)像素614和蓝色(b)像素616。子单元610的所有其他像素是提供亮度信息的全色像素。在所描绘的实施例中，并且分别与图4和5的cfa 400和cfa 500形成对比，cfa 600包括各自是36个像素(6
×
6)的子单元，在相邻子单元的对应波长过滤集群之间具有四个全色像素的集群间距618。因此，集群采样cfa 600包括具有36个像素中的3个是波长过滤像素的子单元，使得每个子单元提供仅8.33％的颜色采样率。
47.应当理解，在各个实施例中，波长过滤像素的色彩采样集群的布置在不偏离本文描述的技术的情况下可以以多种方式配置。具体地，在某些实施例中，颜色采样集群可以包括附加的波长过滤像素(例如，以包括一个或多个附加的绿色(g)或其他波长特定的过滤像素)，可以以除了相对于以上描绘的实施例等进行说明的方式以外的方式在空间上排列。
48.图7是示出根据一个或多个实施例的基于处理器的成像系统的操作例程700的概览的框图。该例程可以例如由图1的成像系统100的实施例或通过一些其他实施例执行。
49.该例程开始于框705，其中基于处理器的成像系统经由稀疏颜色过滤器阵列发起对多个图像帧的突发捕获。如本文别处所讨论的，突发捕获的发起可以由基于处理器的成像系统的处理器(诸如基于一个或多个定义的标准)响应于一个或多个用户输入或以其他一些方式来自主地执行。
50.例程进行到框710，其中代表多个图像帧的色彩采样图像数据由基于处理器的成像系统接收。然后例程进行到框715。
51.在框715，基于处理器的成像系统处理与多个图像帧相关联的色彩采样图像数据。在某些实施例中，这样的处理可以包括在空间上对齐多个图像帧中的每一个，以便补偿在多个图像帧的连续图像帧之间引入的空间偏移(例如，通过无意识的用户运动)。然后例程进行到框720。
52.在框720，基于处理器的成像系统基于多个经处理的图像帧生成单一颜色图像，诸如用于在显示设备上呈现、存储或其他目的。
53.在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器实现。该软件包括可执行指令的一个或多个集合，这些指令被存储在或以其他方式有形地体现在非暂时性计算机可读存储介质上。该软件可以包括指令和某些数据，当这些指令和数据由一个或多个处理器执行时，操纵所述一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储设备、固态存储设备诸如闪存、高速缓存、随机存取存储器(ram)或一个或多个其他非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其他方式执行的其他指令格式。
54.计算机可读存储介质可以包括任何存储介质或存储介质的组合，其在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如，致密盘(cd)、数字多功能盘(dvd)、蓝光光盘)、磁性介质(例如，软盘、磁
带或磁性硬驱动器)、易失性存储器(例如，随机存取存储器(ram)或高速缓存)、非易失性存储器(例如，只读存储器(rom)或闪存)、或基于微机电系统(mems)的存储介质。计算机可读存储介质可以被嵌入到计算系统中(例如，系统ram或rom)，固定地附接到计算系统(例如，磁性硬驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(usb)的闪存)，或经由有线或无线网络(例如，网络可访问存储(nas))被耦合到计算机系统。
55.请注意，并非上面一般描述中描述的所有活动或元素都是必需的，可能不需要特定活动或设备的一部分，并且除了描述的那些，可以执行一个或多个进一步的活动，或包括一个或多个进一步的元素。此外，列出活动的次序不一定是它们被执行的次序。此外，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员理解，在不脱离如所附权利要求所阐明的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。
56.已经在上面关于特定实施例描述了益处、其他优点和问题的解决方案。但是，益处、优点、问题的解决方案以及可能使任何益处、优点、问题的解决方案出现或变得更加明显的任何特征不应被解释为任何或所有权利要求的关键、所需或必要特征。此外，以上公开的特定实施例仅是说明性的，因为可以以对受益于本文教导的本领域技术人员来说是显而易见的、不同但等同的方式修改和实践公开的主题。除了下面的权利要求中描述的之外，不意图限制本文所示的构造或设计的细节。因此，很明显，上面公开的特定实施例可以被更改或修改，并且所有这样的变型都被认为在所公开的主题的范围内。因此，本文寻求的保护如所附权利要求中所述。

技术特征：
1.一种方法，包括：经由包括多个子单元的颜色过滤器阵列cfa发起对多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素；响应于所述发起，接收所述多个图像帧；处理所述多个图像帧中的每一个；以及基于所述处理生成图像。2.根据权利要求1所述的方法，其中，每个子单元的所述一个或多个波长过滤相邻像素包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。3.根据权利要求1所述的方法，其中，每个子单元的所述一个或多个波长过滤相邻像素由单个波长过滤像素组成。4.根据权利要求1至3中任一项所述的方法，其中，所述多个子单元中的每个子单元的所述一个或多个波长过滤相邻像素与所述多个子单元中的每个相邻子单元的所述一个或多个波长过滤相邻像素由至少两个全色像素分开。5.根据前述权利要求中任一项所述的方法，其中，处理所述多个图像帧中的每一个包括对齐所述多个图像帧的子单元以便补偿所述多个图像帧中的相应图像帧之间的一个或多个空间偏移。6.根据前述权利要求中任一项所述的方法，其中，所述多个子单元中的每个子单元包括小于1:5的波长过滤像素与所述cfa的总像素的比率。7.根据前述权利要求中任一项所述的方法，其中，所述多个子单元中的每个子单元与小于百分之二十的颜色采样率相关联。8.一种成像系统，包括：图像传感器；颜色过滤器阵列cfa，其中，所述cfa包括多个子单元，每个子单元包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；图像传感器，所述图像传感器被耦合到所述cfa；以及处理器，所述处理器被耦合到所述图像传感器，其中，所述处理器经由所述cfa和所述图像传感器发起对多个图像帧的突发捕获，并且通过处理所述多个图像帧中的每一个来生成颜色图像。9.根据权利要求8所述的成像系统，其中，每个子单元的一个或多个波长过滤相邻像素包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。10.根据权利要求8所述的成像系统，其中，每个子单元的一个或多个波长过滤相邻像素由单个波长过滤像素组成。11.根据权利要求8至10中任一项所述的成像系统，其中，所述多个子单元中的每个子单元的所述一个或多个波长过滤相邻像素与所述多个子单元中的每个相邻子单元的所述一个或多个波长过滤相邻像素由至少两个全色像素分开。12.根据权利要求8至11中任一项所述的成像系统，其中，处理所述多个图像帧中的每一个包括通过对齐所述多个图像帧的子单元以补偿所述多个图像帧中的相应图像帧之间
的一个或多个空间偏移。13.根据权利要求8至12中任一项所述的成像系统，其中，所述多个子单元中的每个子单元包括小于1:5的波长过滤像素与所述cfa的总像素的比率。14.根据权利要求8至13中任一项所述的成像系统，其中，所述多个子单元中的每个子单元与小于百分之二十的颜色采样率相关联。15.一种计算设备，包括：图像传感器；颜色过滤器阵列cfa，其中，所述cfa包括多个子单元，每个子单元包括少数一个或多个波长过滤相邻像素和剩余多数全色像素；图像传感器，所述图像传感器被耦合到所述cfa；一个或多个镜头，所述一个或多个镜头经由所述cfa将光引导到所述图像传感器上；以及一个或多个处理器，所述一个或多个处理器被耦合到所述图像传感器，其中，所述一个或多个处理器经由所述cfa和所述图像传感器发起对多个图像帧的突发捕获，并且通过处理所述多个图像帧中的每一个来生成颜色图像。16.根据权利要求15所述的计算装置，其中，每个子单元的所述一个或多个波长过滤相邻像素包括一个红色波长过滤像素、一个蓝色波长过滤像素和一个或多个绿色波长过滤像素的集群。17.根据权利要求15或16所述的计算装置，其中，所述多个子单元中的每个子单元的所述一个或多个波长过滤相邻像素与所述多个子单元中的每个相邻子单元的所述一个或多个波长过滤相邻像素由至少两个全色像素分开。18.根据权利要求15至17中任一项所述的计算设备，其中，生成所述颜色图像包括通过空间上对齐所述多个图像帧的子单元来补偿所述多个图像帧中的相应图像帧之间的一个或多个空间偏移。19.根据权利要求15至18中任一项所述的计算设备，其中，所述多个子单元中的每个子单元提供小于百分之二十的颜色采样率。20.根据权利要求15至19中任一项所述的计算设备，进一步包括头戴式显示器(hwd)。

技术总结
描述了用于通过计算地组合在经由稀疏颜色过滤器阵列捕获的多个分量图像帧中存在的色彩上欠采样和偏移的信息来生成颜色图像的系统和技术，该稀疏颜色过滤器阵列包括少数波长过滤的图像元素和剩余多数全色的图像元素。可以经由包括多个子单元的颜色过滤器阵列发起多个图像帧的突发捕获，每个子单元包括少数一个或多个波长过滤相邻像素和多数剩余全色像素。处理多个图像帧中的每一个以生成所得的颜色图像。颜色图像。颜色图像。


技术研发人员：斯图尔特
受保护的技术使用者：谷歌有限责任公司
技术研发日：2021.01.21
技术公布日：2023/8/16