利用自适应降噪的数字像素传感器的制作方法

利用自适应降噪的数字像素传感器
1.相关申请的交叉引用
2.本技术要求于2020年11月4日提交的、名称为“利用饱和时间(tts)和数字双采样(dds)量化的数字像素传感器(dps)”的第63/109,661号美国临时专利申请的优先权，该申请的全部内容通过引用明确地结合于此。


背景技术：

3.典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，该光电二极管通过将光子转换成电荷(例如，电子或空穴)来感测光。图像传感器还可以包括集成电路，该集成电路被配置为存储所生成的电荷、放大该电荷并将经放大的电荷发送到模数转换器(analog-to-digital converter，adc)。作为数字图像生成过程的一部分，adc将所存储的电荷转换为数字值(例如，“量化”该电荷)。像素单元阵列的每个像素单元可以包括像素专用集成电路，该像素专用集成电路用于存储和量化特定于该像素的电荷。


技术实现要素：

4.本公开涉及图像传感器。更具体地说，但不限于，本公开涉及一种数字图像传感器，该数字图像传感器结合了单个像素单元，该单个像素单元包括集成电路，该集成电路被配置为结合利用数字双采样(digital double sampling，dds)的双量化电路，以用于像素专用的固定模式噪声(fpn)降低。图像传感器可以在生成要从传感器导出的数字图像之前执行传感器上处理操作，以降低像素单元阵列的每个单个像素单元的fpn。
5.在一些示例中，提供了一种装置。该装置包括：1.一种传感器装置包括：像素单元，该像素单元被配置为生成电压，该像素单元包括一个或多个光电二极管、以及电荷存储器件，该一个或多个光电二极管被配置为响应于光而生成电荷该电荷存储器件将该电荷转换为电压；集成电路，该集成电路包括多个集成存储器电路，并且被配置为：基于从像素单元的电荷存储器件获得的第一电压，在第一时间段期间生成第一电压值；以及基于由来自像素单元和集成电路的固定模式噪声生成的第二电压，生成出现在第二时间段的第二电压值；一个或多个模数转换器(analog-to-digital converter，adc)，该一个或多个adc被配置为将第一电压值转换为第一数字像素值，并且将第二电压值转换为第二数字像素值；以及处理器，该处理器被配置为基于第一数字像素值和第二数字像素值生成第三数字像素值。
6.在一些方面中，该处理器还被配置为：确定阈值像素值，以及将第一数字像素值与阈值像素值进行比较，其中，该处理器被配置为基于该比较生成第三数字像素值。在一些进一步的方面中，将第一数字像素值与阈值像素值进行比较包括：确定出第一数字像素值大于或等于阈值像素值，以及第三数字像素值是第一数字像素值。
7.在一些替代方面中，将第一数字像素值与阈值像素值进行比较包括：确定出第一数字像素值小于阈值像素值，以及基于第一数字像素值和第二数字像素值之间的差生成第三数字像素值。在一些进一步的方面中，基于第一数字像素值与第二数字像素值之间的差
生成第三数字像素值包括：从表示第一数字像素值的二进制数中减去表示第二数字像素值的二进制数，以生成表示第三数字像素值的二进制数。
8.在一些方面中，阈值像素值基于第一时间段和像素单元的配置来确定。在一些方面中，阈值像素值是从外部应用程序接收的，该外部应用程序在通信耦接到传感器装置的计算设备上执行。
9.在一些方面，第一数字像素值存储在传感器装置的第一静态随机存取存储器上，第二数字像素值存储在传感器装置的第二静态随机存取存储器上，生成第三数字像素值包括：从第一静态随机存取存储器和第二静态随机存取存储器访问第一数字像素值和第二数字像素值。在一些进一步的方面中，集成电路包括：第一存储器开关，该第一存储器开关被配置为在第一时间段期间将第一电压值转存到第一静态随机存取存储器；第二存储器开关，该第二存储器开关被配置为在第一时间段期间将第二电压值转存到第一静态随机存取存储器；锁存器，该锁存器被配置为在第一时间段和第二时间段期间断开和闭合第一存储器开关和第二存储器开关。
10.在一些方面，电荷存储器件在第一时间段期间将来自一个或多个光电二极管的电荷转换为电压，并在第二时间段期间不转换来自一个或多个光电二极管的电荷。在一些进一步的方面中，像素单元包括开关，该开关用于在第一时间段期间将电荷存储器件连接到一个或多个光电二极管，并在第一时间段之后将电荷存储器件与一个或多个光电二极管断开连接。
11.在一些方面，像素单元还包括自适应距离门，并且像素单元被配置为在该自适应距离门断开时生成高增益格式的电荷，并在该自适应距离门闭合时生成中等增益格式的电荷。在一些进一步的方面中，电荷存储器件是第一电荷存储器件，像素单元还包括第二电荷存储器件，自适应距离门将一个或多个光电二极管连接到第二电荷存储器件，并且像素单元被配置为当自适应距离门闭合时生成低增益格式的电荷，以使第二电荷存储器件将来自一个或多个光电二极管的电荷转换为电压。
12.在一些方面，电荷存储器件是第一电荷存储器件，集成电路还包括第二电荷存储器件，该第二电荷存储器件被配置为将来自第一电荷存储器件的电荷转换为第三电压，并且生成该第二电压值至少基于由第二电荷存储器件转换的第三电压生成。
13.在一些方面，传感器装置还包括感测放大器，该感测放大器被配置为基于第三数字像素值生成经放大的数字像素值。在一些进一步的方面中，传感器装置还包括外围处理系统，该外围处理系统包括感测放大器和处理器；处理器还被配置为将经放大的数字像素值导出到外部处理系统。在一些进一步的方面中，处理器还被配置为将第一数字像素值、第二电压值和第三数字像素值导出到外部处理系统，并且外部处理系统还被配置为基于第一数字像素值、第一电压值、第二电压值和第三数字像素值生成第四数字像素值。
14.在一些方面，外围处理系统被配置为从一个或多个附加处理器接收一个或多个附加数字像素值，以及使用经放大的数字像素值和一个或多个附加数字像素值，生成数字图像数据。在一些进一步的方面中，外围处理系统还被配置为将数字图像数据导出到在外部处理系统中执行的外部应用程序，并且外部处理系统包括数字显示器，该数字显示器被配置为显示数字图像，该数字图像由外部应用程序基于从外围处理系统接收的数字图像数据生成。
15.在一些示例中，一种方法包括：通过转换在一个或多个光电二极管处接收的光的电荷，来生成第一电压；使用第一存储器电路并基于第一电压，在第一时间段期间生成第一电压值；基于固定模式噪声生成第二电压，该固定模式噪声存在于包括一个或多个光电二极管的电路中；使用第二存储器电路并基于第一电压，生成出现在第二时间段的第二电压值；将第一电压值转换为第一数字像素值，并将第二电压值转换为第二数字像素值；以及基于第一数字像素值和第二数字像素值，生成第一更改后的数字像素值。
附图说明
16.参考以下附图描述说明性实施例。
17.图1是包括近眼显示器的系统的实施例的框图。
18.图2a、图2b、图2c、图2d、图2e和图2f示出了图像传感器及其操作的示例。
19.图3示出了像素阵列的像素单元的示例内部部件。
20.图4a、图4b和图4c示出了图像传感器的外围电路和像素单元阵列的示例部件。
21.图5示出了用于像素专用的固定模式噪声降低的像素单元和集成电路的示例。
22.图6示出了描绘电荷捕获时间段期间部件活动的时间序列的时序图。
23.图7示出了数字像素传感器和用于接收光作为输入并输出数字数据的流程图。
24.图8示出了利用噪声校正阈值的像素专用的固定模式噪声降低的示例过程。
25.附图仅出于说明的目的描绘了本公开的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本公开的原理或所宣称的益处的情况下，可以采用所示结构和方法的替代实施例。
26.在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记后跟随连接号和在相似部件之间进行区分的第二标记，来区分相同类型的各种部件。如果说明书中仅使用了第一参考标记，则该描述适用于具有相同第一参考标记的相似部件中的任一者，而无论第二参考标记如何。
具体实施方式
27.在以下描述中，出于解释的目的，阐述了具体细节，以便提供对某些发明实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。这些附图和描述不旨在进行限制。
28.数字图像传感器包括像素单元阵列。每个像素单元包括光电二极管，该光电二极管通过将光子转换成电荷(例如，电子或空穴)来感测入射光。然后，由像素单元阵列的光电二极管生成的电荷可以由模数转换器(adc)量化成数字值。adc可以例如通过使用比较器将表示电荷的电压与一个或多个量化电平进行比较，来量化电荷，并且可以基于比较结果生成数字值。然后，数字值可以存储在存储器中，以生成数字图像。
29.数字图像数据可以支持各种可穿戴应用程序，例如对象识别和追踪、位置追踪、增强现实(augmented reality，ar)、虚拟现实(virtual reality，vr)等。这些和其他应用程序可以利用提取技术从数字图像的像素子集提取数字图像的方面(例如，亮度级别(light level)、布景(scenery)、语义区域)和/或数字图像的特征(例如，数字图像中所表示的对象和实体)。例如，应用程序可以识别所反射的结构光的像素(例如，点)，将从像素提取的图案
与透射的结构光进行比较，并基于该比较执行深度计算。
30.该应用程序还可以从提供所提取的结构光的图案的同一像素单元中识别2d像素数据，以执行2d感测和3d感测的融合。为了执行对象识别和追踪，应用程序还可以识别对象的图像特征的像素，从这些像素中提取图像特征，并基于提取结果执行识别和追踪。这些应用程序通常在主处理器上执行，该主处理器可以与图像传感器电连接，并经由互连来接收像素数据。主处理器、图像传感器和互连可以是可穿戴设备的一部分。
31.数字图像传感器是将光转换成数字图像数据的复杂装置。对于如何在各种设备和应用程序中集成和实现数字图像传感器而言，数字图像传感器的功率和精度是重要的因素。一些应用程序(例如，ar)受益于供显示的更宽范围的数字像素值，以更好地表示真实世界环境。高动态范围(high-dynamic-range，hdr)数字图像传感器(例如，能够从所捕获的光生成更宽范围的数字像素值的图像传感器)在亮环境或暗环境中特别有用。hdr数字图像传感器利用特别灵敏的像素单元来捕获电荷并将其转换为更宽范围的数字像素值，以更准确地表示环境中的光强度。
32.强大的数字像素传感器(例如，hdr传感器)也可以以像素专用集成电路为特征，该像素专用集成电路用于为数字图像的每个像素生成更准确的数字像素值。例如，hdr数字图像传感器可以包括单个(individual)像素单元的阵列，并且该阵列的每个单个像素单元可以包括用于捕获基于光的电荷的片上系统(system-on-chip，soc电路)。单个soc电路可以耦接到对应的像素专用集成电路(也称为专用集成电路，或asic)，该像素专用集成电路被配置为处理由soc电路为单个像素转换的电荷。在数字图像传感器上使每个单独的像素单元的占用空间尽可能小是有利的，以便更容易地将传感器集成到设备中而不牺牲hdr。
33.强大的传感器(包括hdr数字图像传感器)对固定模式噪声(fixed pattern noise，fpn)非常敏感。fpn是由数字像素传感器的部件之间的干扰和相对差异生成的一个或多个信号。例如，当不是源自在光电二极管处捕获的光的剩余电压电荷存储在电荷存储器件中时，可以生成固定模式噪声。因此，累积在电荷存储器件中的电荷、以及根据该电荷生成的量化数字像素值，将不会准确地反映由单个像素单元中的光电二极管捕获的光的强度。
34.fpn可能源自环境或内部源。例如，数字像素传感器从其捕获光的环境也可以投射除光之外的附加信号，例如来自其他源的电磁辐射。该辐射可能被电荷存储器件捕获，并污染(pollute)从光电二极管接收的信号。内部源(例如，近端部件)也可能生成信号，这将进一步污染存储的电荷。例如，如上所述，高度紧凑的电路包括许多非常接近的部件。来自像素单元或集成电路中的部件的辐射可能会从一个部件移动到另一个部件，从而改变所测量电荷的准确度。在部件已经放电和复位之后，剩余信号也可能残留在该部件中，导致下一个存储的电荷甚至在开始累积之前就发生偏离。
35.构成hdr数字像素传感器的高灵敏度部件通常在各单个像素域(例如，像素单元和相关的集成电路)中包括微小的差异。例如，hdr像素单元中的高灵敏度光电二极管可以以与其他像素域的其他光电二极管略微不同的速率响应于光而生成电荷。因此，即使由两个不同的光电二极管捕获的相同量的光，也可能导致生成两种不同的电荷。因此，各单个像素域可以基于多个底层部件的差异而生成不同的固定模式噪声。
36.降低固定模式噪声的方法包括利用adc的多重量化操作来确定所捕获的高电荷密
access memory，sram)完成对由电荷存储器件转换的电荷的存储时结束。在第一时间段期间生成的第一电压值可以表示在第一时间段期间在电荷存储器件中生成的综合(consolidated)电压值。该综合电压值包含当光电二极管连接到电荷存储器件时从光电二极管的光输入转换的电荷值以及由像素域和/或其环境固有地生成的任何附加的固定模式噪声。例如，可以基于从电荷存储器件获得的第一电压以及像素域潜在的固定模式噪声信号来生成第一电压值。
42.在第二时间段期间捕获的第二电压值可以是在像素域复位之后的时间段期间在电荷存储器件处捕获和转换的复位电压。例如，第二时间段可以是电荷存储器件未耦接到光电二极管的时间段，但是由于由电荷存储器件和/或像素域的其他部件捕获的潜在固定模式噪声，第二时间段可以生成基于电压信号的电荷。例如，第二电压值可以是在asic的复位脉冲之后由电荷存储器件和比较器生成的电压值。因此，可以基于由像素域自然生成的第二电压而不转换在第一时间段期间发生的来自光电二极管的电荷来生成第二电压值。
43.第二时间段可以在第一时间段之后且在像素域内的电路的复位脉冲之后的时间开始。可以启动像素域内电路的复位，以清除像素域中在任何先前第一时间段期间捕获的信号，并使像素域准备好用于另一个随后的曝光周期。在该第二时间段期间，电荷存储器件将不会连接到光电二极管，因此将不会累积和转换来自光电二极管捕获的光的电荷。因此，在第二时间段期间捕获的电荷将表示在曝光周期没有发生时的像素域内的潜在电压。这些潜在电压与测量它们的环境和像素专用域所固有的固定模式噪声相关联。一旦sram已经适当地存储了潜在电压信号，第二时间段可以在此后不久结束。
44.在一些示例中，传感器装置还包括一个或多个模数转换器(adc)，该一个或多个模数转换器被配置为将所捕获的电压转换为数字像素数据，该数字像素数据包括一个或多个数字像素值。具体地，adc可以将存储在电荷存储器件中的模拟电压信号转换成数字数据(称为“量化”模拟电压信号)，该数字数据包括表示在像素单元处捕获的入射光强度的数字像素值。例如，adc可以将第一电压值转换为第一数字像素值，并将第二电压值转换为第二数字像素值。在一些实施例中，取决于电压值被接收(并因此电压信号被发送到的sram)的时间段，第一电压值和第二电压值可以由一个或多个adc不同地转换。例如，第一电荷(信号电荷)可以在捕获的第一时间段期间被发送到第一sram，并被转换成9位数字值，该9位数字值足以表示在曝光周期期间捕获的光和fpn的强度。第二电压值可以被不同地转换以降低功耗，同时准确地表示所捕获的fpn的强度。例如，第二电荷(复位电荷)可以在第二时间段期间被发送到第二sram，并被转换成6位数字值，该6位数字值足以表示在曝光周期期间捕获的fpn的强度。应当理解，基于第一sram和第二sram的不同转换配置，第一sram和第二sram可以是不同的尺寸、不同的大小、包含不同的部件、由不同的材料制成等。
45.在一些示例中，传感器装置还包括一个或多个处理器，该一个或多个处理器被配置成更改由adc转换的数字像素值和/或生成新的数字像素值。例如，处理器可以被配置成基于由adc量化的第一数字像素值和第二数字像素值，来生成第三数字像素值。第三数字像素值的生成将允许传感器更准确地表示如下光：该光由像素单元阵列的像素单元捕获，并在从传感器导出之前通过减少来自第一数字像素值的fpn而在对应的asic处进行处理。例如，可以从第一数字像素值减去第二数字像素值，该第二数字像素值可能已根据特定像素域中生成的潜在电压信号转换为6位数值，该第一数字像素值可能已基于曝光周期期间在
特定像素域中生成的电压信号转换为9位数值。所得的第三数字像素值(表示第一数字像素值与第二数字像素值之间的差)可以近似于在不存在由特定像素域固有生成的fpn的情况下由光电二极管捕获的电荷。
46.在一些示例中，电荷存储器件在第一时间段期间将来自一个或多个光电二极管的电荷转换为电压，并且在第二时间段期间不转换来自一个或多个光电二极管的电荷。例如，像素单元可以包括开关，该开关用于在第一时间段期间将电荷存储器件连接到一个或多个光电二极管，并在第二时间段期间将电荷存储器件与一个或多个光电二极管断开连接。该开关可以将电荷存储器件与光电二极管分开，并且是soc像素的一部分，或者可以是位于soc像素外围的开关，以将soc像素连接到对应的集成电路，从而处理捕获和存储的电荷。
47.在某些情况下，与曝光期间生成的总信号电荷相比，像素域生成的fpn相对较小。例如，在高强度(例如，非常亮)光中，传感器和捕获光的对应像素域可以生成比像素域固有生成的fpn明显更大的电荷值。当传感器的处理器执行更改和任何相关联的计算时，根据第一数字像素值和第二数字像素值生成更改后的数字像素值会消耗能量。在某些情况下，从第一数字像素值去除固定模式噪声可能仅略微改善由数字图像传感器生成的数字图像。这种略微有益的操作仍然消耗能量，并且能量损失的损害会超过去除固定模式噪声的益处。
48.在一些示例中，集成电路还被配置成确定阈值像素值，该阈值像素值是与由adc量化的第一数字像素值相对应的阈值。大于(或在某些情况下等于)该阈值像素值的任何数字像素值在将数字像素值从传感器导出之前可以不经受更改操作。这是因为当捕获的光非常强(例如，非常亮的光)时，相对高强度的捕获电荷“淹没”了固定模式噪声。因此，小于(或在某些情况下等于)阈值像素值的任何数字像素值可以在将数字像素值从传感器导出之前经受更改操作。这是因为当信号电荷的强度接近fpn时，相对低强度的电荷被固定模式噪声“污染”。本质上，捕获的信号电荷的强度越低，由固定模式噪声组成的电荷的比例越高。这可以通过比较转换后的第一数字像素值和阈值像素值来确定。
49.在一些示例中，基于第一时间段和像素单元的配置，来确定阈值像素值。例如，用于更改的阈值像素值可以基于电荷存储器件将转换电荷的时间段(例如，曝光周期)和像素单元的配置类型，且可以通过将所存储的电压与阈值电压进行比较来建立。例如，更长的曝光周期和更灵敏的光电二极管通常使得在像素单元处捕获更高的电压信号。阈值像素值可以由数字图像传感器或与数字图像传感器通信的外部应用程序基于这些因素来确定和/或修改。在一些实施例中，基于在一个或多个像素域中检测到的fpn水平来设定阈值像素值。例如，阈值像素值可以与在数字像素传感器的先前帧捕获中量化的fpn的平均值、中值或模态值成比例地设定。在一些示例中，阈值像素值是基于从在通信耦接到传感器装置的计算设备上执行的外部应用程序接收的数据来确定的。例如，本文所描述的数字像素传感器可以耦接到vr或ar显示设备，以利用由数字像素传感器生成的数字图像向用户显示由数字像素传感器捕获的环境。基于运行的应用程序，该环境可能需要所生成的数字图像的更多或更少的准确度(例如，由于显示器的“穿透”特性，ar应用程序可能生成更低分辨率的伪像，而vr应用程序可能需要更高分辨率的图像来提高环境“沉浸感”。由于应用程序的性质，可以相应地设定阈值以保留功率或减少资源密集型通信。
50.在一些示例中，生成第一更改后的数字像素值包括：基于第一数字像素值和第二数字像素值确定差值；以及基于该差值更改第一数字像素值。这可以包括从第一数字像素
值的总信号电荷中减去表示经量化的像素域的固定模式噪声的第二数字像素值。所得的差值将表示在没有像素域生成的fpn的情况下由光电二极管从光中捕获的信号。
51.如上所述，在一些示例中，将第一数字像素值存储在传感器装置的第一静态随机存取存储器上，将第二数字像素值存储在传感器装置的第二静态随机存取存储器上，并且生成第三数字像素值包括从第一静态随机存取存储器和第二静态随机存取存储器访问第一数字像素值和第二数字像素值。例如，用于存储第一数字像素值的第一sram和用于存储第二数字像素值的第二sram可以将这两个值发送到传感器上的处理器，以执行与fpn降低相关的计算。在一些示例中，第一sram和第二sram两者经由开关耦接到asic的其余部分，这些开关被配置为在对应的时间段将像素域生成的相应电压值转存到sram。asic中的锁存器可以被配置为在这些时间段断开和闭合开关，以将电压转换为数字像素值。
52.在一些示例中，集成电路可以利用adc数字计数器来追踪曝光和复位的时间段，并在每个时间段向多个sram分别发送信号，而不是利用这些开关将sram连接到asic的其余部分。例如，集成电路还可以被配置成在第一时间段和第二时间段期间接收一系列adc计数信号，这些信号指示由数字像素传感器捕获的帧的当前时间段。因此，生成第一电压值和第二电压值是基于一系列adc计数信号的，并且当向对应的第一sram和第二sram发送第一电压信号和第二电压信号时，不需要使用物理部件开关。
53.在一些实例中，可以将自适应距离门和附加电荷存储器件集成到像素单元中，以增加可以由像素域转换的光强度的动态范围。例如，自适应距离门和/或经由自适应距离门连接到光电二极管的附加电容器可以允许像素单元生成高增益、中等增益或低增益或者介于它们之间的任何范围的光强度捕获。在一些示例中，asic可以包括在像素单元与asic之间的附加电荷存储器件。附加像素单元可以被配置为允许像素域针对第一电压值和/或第二电压值执行dds操作。例如，当生成第一电压和第二电压时，可以在像素单元与asic之间包括附加电容，以提高电压采样准确度。
54.在一些示例中，在数字像素传感器的外围处理系统中可以包括感测放大器。感测放大器可以被配置为在将从传感器导出数字像素值之前对经量化的数字像素值的信号进行放大。
55.在一些示例中，处理器还被配置为将第一更改后的数字像素值导出到外围处理系统。外围处理系统可以是传感器上的处理系统，该处理系统被配置为生成数字图像，该数字图像将用作传感器外应用程序或处理的一部分。例如，数字像素传感器的外围可以从数字图像传感器的每个像素域接收多个数字像素值，这些数字像素值将被用来编译数字像素值的阵列以形成数字图像。数字图像可以被导出到传感器外显示模块，该传感器外显示模块被配置为使用更改后的数字像素值的阵列来显示数字图像。
56.在一些示例中，处理器还被配置为将第一电压值和第二电压值导出到外部处理系统，该外部处理系统被配置为基于第三数字像素值、第一电压值和第二电压值生成第四数字像素值。外部处理系统可以进一步更改第三数字像素值，以作为在传感器外进行的辅助降噪操作的一部分，从而生成新的第四数字像素值。例如，除了由传感器上处理器执行的去除fpn的替代方案之外，第二传感器外处理器可以进一步更改数字图像的数字像素值，以供作为应用程序(例如，ar或vr应用程序)的一部分进行显示和交互。在这方面生成的数字图像可以由外部处理系统(例如，结合了应用程序的数字显示系统)使用，以显示包括由像素
域生成的第三数字像素值作为一部分的图像。因此，数字图像可以在帧捕获期间由许多像素域生成的许多数字像素值组成。
57.在一些示例中，一种方法包括上面关于应用程序系统和传感器装置所描述的过程。所公开的技术可以包括人工现实系统(artificial reality system)、或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该现实形式例如可以包括，虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)，或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与所捕获的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上中的任何一种都可以在单通道或多通道(例如，给观看者带来三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或以其他方式用于人工现实中(例如，在人工现实中执行动作)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display，hmd)、独立hmd、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。
58.图1是包括近眼显示器100的系统的实施例的框图。该系统包括近眼显示器100、成像设备160、输入/输出接口180以及均耦接到控制电路170的图像传感器120a至120d和150a至150b。系统100可以被配置为头戴式设备、可穿戴设备等。
59.近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体的示例包括一幅或多幅图像、视频和/或音频。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备接收来自近眼显示器100和/或控制电路170的音频信息，并且基于该音频信息，将音频数据呈现给用户。在一些实施例中，近眼显示器100还可以充当ar镜片。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理的真实世界的环境的视图。
60.近眼显示器100包括波导显示组件110、一个或多个位置传感器130和/或惯性测量单元(inertial measurement unit，imu)140。波导显示组件110包括源组件、输出波导和控制器。
61.imu 140是基于从一个或多个位置传感器130接收到的测量信号而生成快速校准数据的电子设备，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
62.成像设备160可以生成用于各种应用程序的图像数据。例如，成像设备160可以根据从控制电路170接收到的校准参数来生成图像数据，以提供慢速校准数据。成像设备160例如可以包括用于生成用户所处物理环境的图像数据的图像传感器120a至120d，以便执行用户的位置追踪。成像设备160例如还可以包括用于生成用于确定用户的注视点的图像数据的图像传感器150a至150b，以识别用户感兴趣的对象。
63.输入/输出接口180是允许用户向控制电路170发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是启动或结束应用程序或执行应用程序内的特定动作。
64.控制电路170根据从成像设备160、近眼显示器100和输入/输出接口180中的一者或多者接收到的信息，向近眼显示器100提供用于呈现给用户的媒体。在一些示例中，控制电路170可以容纳在被配置作为头戴式设备的系统100内。在一些示例中，控制电路170可以是与系统100中的其他部件通信耦接的独立控制台设备。在图1示出的示例中，控制电路170包括应用程序商店172、追踪模块174和引擎176。
65.应用程序商店172存储了供控制电路170执行的一个或多个应用程序。应用程序是一组指令，该组指令在被处理器执行时，生成用于呈现给用户的内容。应用程序的示例包括：游戏应用程序、会议应用程序、视频播放应用程序或其他合适的应用程序。
66.追踪模块174使用一个或多个校准参数来校准系统100，并且可以调整一个或多个校准参数以减小确定近眼显示器100的位置时的误差。
67.追踪模块174使用来自成像设备160的慢速校准信息，来追踪近眼显示器100的运动。追踪模块174还使用来自快速校准信息的位置信息，来确定近眼显示器100的参考点的位置。
68.引擎176执行系统100内的应用程序，并且从追踪模块174接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎176接收到的信息可以用于生成到波导显示组件110的信号(例如，显示指令)，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎176可以基于用户的位置(例如，由追踪模块174提供)或用户的注视点(例如，基于由成像设备160提供的图像数据)、对象与用户之间的距离(例如，基于由成像设备160提供的图像数据)，来确定待呈现给用户的内容。
69.图2a、图2b、图2c、图2d、图2e和图2f示出了图像传感器200(例如，数字图像传感器)及其操作的示例。如图2a所示，图像传感器200可以包括像素单元阵列(该像素单元阵列包括像素单元201)，并且可以生成与图像中的像素相对应的数字强度数据。像素单元201可以是图像传感器200中的像素单元阵列的一部分。如图2a所示，像素单元201可以包括一个或多个光电二极管202、电子快门开关203、转移开关204、复位开关205、电荷存储器件206和量化器207。量化器207可以是仅可由像素单元201访问的像素级adc。光电二极管202例如可以包括p-n二极管、p-i-n二极管、或钉扎二极管(pinned diode)，而电荷存储器件206可以是转移开关204的浮置扩散节点。光电二极管202可以在曝光周期内接收到光时生成并累积电荷，并且在曝光周期内生成的电荷量可以与光的强度成比例。
70.可以基于对控制电子快门开关203的ab信号的定时、以及基于对控制转移开关204的tx信号的定时，来定义曝光周期，该电子快门开关在被启用时可以将光电二极管202生成的电荷引导走，该转移开关在被启用时可以将光电二极管202生成的电荷转移到电荷存储器件206。例如，参考图2b，可以在时间t0处使ab信号无效(de-assert)，以允许光电二极管202生成电荷并且累积这些电荷中的至少一些电荷作为剩余电荷，直到光电二极管202饱和为止。t0可以标记曝光周期的开始。tx信号可以将转移开关204设定为处于部分开启状态，以将光电二极管202在饱和之后生成的附加电荷(例如，溢出电荷)转移到电荷存储器件206。在时间t1处，可以使tg信号有效(assert)，以将剩余电荷转移到电荷存储器件206，使得电荷存储器件206可以存储光电二极管202自从在时间t0处开始的曝光周期以来生成的所有电荷。
71.在时间t2处，可以使tx信号无效以将电荷存储器件206与光电二极管202隔离开，
而可以使ab信号有效以将光电二极管202生成的电荷引导走。时间t2可以标记曝光周期的结束。在时间t2处电荷存储器件206两端的模拟电压可以表示存储在电荷存储器件206中的电荷总量，该电荷总量可以与光电二极管202在曝光周期内生成的电荷总量相对应。tx信号和ab信号两者可以由控制器(图2a中未示出)生成，该控制器可以是像素单元201的一部分。在对模拟电压进行量化之后，可通过rst信号启用复位开关205来去除电荷存储器件206中的电荷，以准备好用于下一次测量。
72.图2c示出了像素单元201中的附加元件。如图2c所示，像素单元201可以包括源极跟随器210，该源极跟随器可以对电荷存储器件206处的电压进行缓冲，并且将该电压输出到量化器207。电荷存储器件206和源极跟随器210可以形成电荷测量电路212。源极跟随器210可以包括由偏置电压v
bias
控制的电流源211，该电流源设定流经源极跟随器210的电流。量化器207可以包括比较器。电荷测量电路212和量化器207可以一起形成处理电路214。比较器还与存储器216耦接，以存储量化输出来作为像素值208。存储器216可以包括一组存储器件，例如静态随机存取存储器(sram)器件，其中，每个存储器件被配置作为位单元。该组中的存储器件的数量可以基于量化输出的分辨率。例如，如果量化输出具有10位分辨率，则存储器216可以包括一组十个sram位单元。在像素单元201包括用于检测不同波长通道的光的多个光电二极管的情况下，存储器216可以包括多组sram位单元。
73.量化器207可以被控制器控制，以在时间t2之后对模拟电压进行量化，从而生成像素值208。图2d示出了由量化器207执行的示例量化操作。如图2d所示，量化器207可以将源极跟随器210输出的模拟电压与斜坡参考电压(在图2c和图2d中被标记为“vref”)进行比较，以生成比较决定(在图2c和图2d中被标记为“锁存”)。决定跳闸(trip)所花费的时间可以由计数器测量，以表示模拟电压的量化结果。在一些示例中，该时间可以由自由运行的计数器测量，该自由运行的计数器在斜坡参考电压处于起始点时开始计数。自由运行的计数器可以基于时钟信号(在图2d中被标记为“时钟”)并且随着斜坡参考电压上升(或下降)而周期性地更新其计数值。当斜坡参考电压达到模拟电压时，比较器输出跳闸。比较器输出的跳闸可以使计数值存储在存储器216中。计数值可以表示模拟电压的量化输出。返回参考图2c，存储在存储器216中的计数值可以被读出作为像素值208。
74.在图2a和图2c中，像素单元201被示出为包括处理电路214(包括电荷测量电路212和量化器207)和存储器216。在一些示例中，处理电路214和存储器216可以位于像素单元201的外部。例如，像素单元块可以共享和依次访问处理电路214和存储器216，以对每个像素单元中的光电二极管生成的电荷进行量化并存储量化结果。
75.图2e示出了图像传感器200中的附加部件。如图2e所示，图像传感器200包括以多行和多列排列的像素单元201，例如像素单元201a0至201a3、201a4至201a7、201b0至201b3、或201b4至201b7。每个像素单元可以包括一个或多个光电二极管202。图像传感器200还包括多个量化电路220(例如，量化电路220a0、220a1、220b0、220b1)，量化电路220包括处理电路214(例如，电荷测量电路212和比较器/量化器207)和存储器216。在图2e的示例中，四个像素单元的块可以经由多路复用器(图2e中未示出)共享块级量化电路220，该块级量化电路220包括块级adc(例如，比较器/量化器207)和块级存储器216，其中，各个像素单元依次访问量化电路220以量化电荷。例如，像素单元201a0至201a3共享量化电路220a0，像素单元201a4至201a7共享量化电路221a1，像素单元201b0至201b3共享量化电路220b0，而像素单
元201b4至201b7共享量化电路220b1。在一些示例中，每个像素单元可以包括或具有其专用的量化电路。
76.此外，图像传感器200还包括其他电路，例如计数器240和数模转换器(digital-to-analog，dac)242。计数器240可以被配置作为数字斜坡电路，以向存储器216供应计数值。这些计数值也可以供应给dac 242以生成模拟斜坡，例如图2c和图2d中vref，vref可以供应给量化器207以执行量化操作。图像传感器200还包括缓冲器网络230，该缓冲器网络包括缓冲器230a、230b、230c、230d等，以将表示计数器值的数字斜坡信号和模拟斜坡信号分配给不同像素单元块的处理电路214，使得每个处理电路214在任何给定时间接收相同的模拟斜坡电压和相同的数字斜坡计数器值。这是为了确保不同像素单元输出的数字值的任何差异都是由于像素单元接收的光强度的差异，而不是由于像素单元接收的数字斜坡信号/计数器值和模拟斜坡信号的不匹配。
77.可以将来自图像传感器200的图像数据发送到主处理器(图2a至图2e中未示出)以支持不同的应用程序，例如识别和追踪对象252或关于图2f中描绘的图像传感器200执行对对象252的深度感测。对于所有这些应用程序，仅像素单元的子集提供相关信息(例如，对象252的像素数据)，而该像素单元的其余部分不提供相关信息。例如，参考图2f，在时间t0处，图像传感器200的一组像素单元250接收对象252反射的光，而在时间t6处，对象252可能已经移位(例如，由于对象252的运动、图像传感器200的运动、或这两者)，并且图像传感器200的一组像素单元270接收对象252反射的光。在时间t0和t6这两者处，图像传感器200可以仅将来自该组像素单元260和该组像素单元270的像素数据作为稀疏图像帧发送到主处理器，以减少正在发送的像素数据的量。这种设置可以允许以更高的帧率来发送更高分辨率的图像。例如，可以使用包括更多像素单元的更大像素单元阵列来对对象252进行成像，以提高图像分辨率，同时，在仅像素单元的子集(包括提供对象252的像素数据的像素单元)向主处理器发送像素数据时，可以减小提供提高的图像分辨率所需的带宽和功率。类似地，图像传感器200可以被操作为以更高的帧率生成图像，但当每个图像仅包括该像素单元的子集输出的像素值时，可以降低带宽增加和功率增加。在3d感测的情况下，图像传感器200可以采用类似的技术。
78.在3d感测的情况下，也可以减少像素数据发送的量。例如，照明器可以将结构光的图案投射到对象上。该结构光可以在对象的表面上被反射，并且反射光的图案可以被图像传感器200捕获以生成图像。主处理器可以将图案与对象图案进行匹配，并基于图像中对象图案的配置来确定对象相对于图像传感器200的深度。对于3d感测，只有多组像素单元包含相关信息(例如，图案252的像素数据)。为了减少被发送的像素数据的量，图像传感器200可以被配置为仅将来自多组像素单元的像素数据或来自图像中图案的图像位置的像素数据发送到主处理器。
79.图3示出了像素单元阵列中的像素单元300的示例内部部件，这些内部部件可以包括图2a的像素单元201的至少一些部件。像素单元300可以包括一个或多个光电二极管，该一个或多个光电二极管包括光电二极管310a和310b等，每个光电二极管都可以被配置为检测不同频率范围的光。例如，光电二极管310a可以检测可见光(例如，单色、或者红色、绿色或蓝色中的一种)，而光电二极管310b可以检测红外光。像素单元300还包括开关320(例如，晶体管、控制器阻挡层)，该开关用于控制哪个光电二极管输出电荷以用于像素数据生成。
80.此外，像素单元300还包括电子快门开关203、转移开关204、电荷存储器件205、缓冲器206、量化器207，如图2a所示，以及存储器380。电荷存储器件205可以具有可配置的电容，以设定电荷-电压转换增益。在一些示例中，可以增加电荷存储器件205的电容以存储用于中等光强度的fd adc操作的溢出电荷，从而降低通过溢出电荷使电荷存储器件205饱和的可能性。还可以减小电荷存储器件205的电容，以增加用于低光强度的pd adc操作的电荷-电压转换增益。电荷-电压转换增益的增加可以减小量化误差并提高量化分辨率。在一些示例中，电荷存储器件205的电容也可在fd adc操作期间减小，以增加量化分辨率。缓冲器206包括电流源340和功率门330，电流源的电流可以由偏置信号bias1设定，功率门可以由pwr_gate信号控制以接通/关断缓冲器206。可以关断缓冲器206以作为禁用像素单元300的一部分。
81.此外，量化器207包括比较器360和输出逻辑370。比较器207可以将缓冲器的输出与参考电压(vref)进行比较，以生成输出。取决于量化操作(例如，饱和时间(time to saturation，tts)、fd adc操作和pd adc操作)，比较器360可以将缓冲电压与不同的vref电压进行比较以生成输出，并且该输出由输出逻辑370进一步处理以使存储器380将来自自由运行的计数器的值存储作为像素输出。比较器360的偏置电流可以由偏置信号bias2控制，该偏置信号bias2可以设定比较器360的带宽，该带宽可以基于像素单元300支持的帧率来设定。此外，比较器360的增益可以由增益控制信号gain控制。可以基于像素单元300支持的量化分辨率来设定比较器360的增益。比较器360还包括电源开关350，该电源开关也可以由pwr_gate信号控制以接通/关断比较器360。可以关断比较器360以作为禁用像素单元300的一部分。
82.此外，输出逻辑370可以选择tts、fd adc操作或pd adc操作中的一者的输出，并且基于该选择，确定是否将比较器360的输出转发到存储器380以存储来自计数器的值。输出逻辑370可以包括内部存储器，该内部存储器用于基于比较器360的输出来存储如下指示：是否通过剩余电荷使光电二极管310(例如，光电二极管310a)饱和、以及是否通过溢出电荷使电荷存储器件205饱和。如果通过溢出电荷使电荷存储器件205饱和，则输出逻辑370可以选择将tts输出存储在存储器380中，并阻止存储器380通过fd adc/pd adc输出重写tts输出。如果电荷存储器件205未饱和但光电二极管310饱和，则输出逻辑370可以选择将fd adc输出存储在存储器380中；否则，输出逻辑370可以选择将pd adc输出存储在存储器380中。在一些示例中，代替计数器值，可以将是否通过剩余电荷使光电二极管310饱和、以及是否通过溢出电荷使电荷存储器件205饱和的指示存储在存储器380中，以提供最低精度的像素数据。
83.此外，像素单元300可以包括像素单元控制器390，该像素单元控制器可以包括逻辑电路，该逻辑电路用于生成诸如ab、tg、bias1、bias2、gain、vref、pwr_gate等控制信号。也可以通过像素级编程信号395对像素单元控制器390进行编程。例如，为了禁用像素单元300，可以通过像素级编程信号395对像素单元控制器390进行编程，以使pwr_gate无效，从而关闭缓冲器206和比较器360。此外，为了提高量化分辨率，可以通过像素级编程信号395对像素单元控制器390进行编程，以减小电荷存储器件205的电容，以经由gain信号增加比较器360的增益等。为了增加帧率，可以通过像素级编程信号395对像素单元控制器390进行编程，以增加bias1信号和bias2信号，从而分别增加缓冲器206和比较器360的带宽。此外，
为了控制像素单元300输出的像素数据的精度，可以通过像素级编程信号395对像素单元控制器390进行编程，以例如仅将计数器的多个位的子集(例如，最高有效位)连接到存储器380，使得存储器380仅存储该多个位的子集，或者将存储在输出逻辑370中的指示作为像素数据存储到存储器380。此外，可以通过像素级编程信号395对像素单元控制器390进行编程，以控制ab信号和tg信号的顺序和定时，从而例如基于操作条件调整曝光周期和/或选择特定的量化操作(例如，tts、fd adc或pd adc中的一者)，同时跳过其他操作，如上所述。
84.图4a、图4b和图4c示出了图像传感器(例如，图像传感器200)的外围电路和像素单元阵列的多个示例部件。如图4a所示，图像传感器可以包括编程映射解析器402、列控制电路404、行控制电路406和像素数据输出电路407。编程映射解析器402可以对像素阵列编程映射400(其可以为串行数据流的形式)进行解析，以识别用于每个像素单元(或像素单元块)的编程数据。对编程数据的识别例如可以基于：二维像素阵列编程映射被转换为串行格式所使用的预定扫描模式、以及编程映射解析器402从串行数据流接收编程数据的顺序。编程映射解析器402可以基于针对像素单元的编程数据，来创建像素单元的行地址、像素单元的列地址、以及一个或多个配置信号之间的映射。基于该映射，编程映射解析器402可以向列控制电路404发送包括列地址和配置信号的控制信号408，以及向行控制电路406发送包括配置信号以及映射到列地址的行地址的控制信号410。在一些示例中，配置信号也可以在控制信号408与控制信号410之间被划分，或作为控制信号410的一部分被发送到行控制电路406。
85.列控制电路404和行控制电路406被配置为将从编程映射解析器402接收到的配置信号转发到像素单元阵列318的各个像素单元中的配置存储器。在图4a中，标记为p
ij
(例如，p
00
、p
01
、p
10
、p
11
)的各个框可以表示像素单元或像素单元块(例如，2
×
2像素单元阵列、4
×
4像素单元阵列)，并且可以包括图2e中的量化电路220(包括处理电路214和存储器216)或可以与该量化电路相关联。如图4a所示，列控制电路404驱动多组列总线c0、c1、
……
、ci。每组列总线包括一条或多条总线，并且可以用于将控制信号(其可以包括列选择信号和/或其它配置信号)发送到列像素单元。例如，一条或多条列总线c0可以发送列选择信号408a，以选择列像素单元(或列像素单元块)p
00
、p
01
、
……
、p
0j
，一条或多条列总线c1可以发送列选择信号408b，以选择列像素单元(或列像素单元块)p
10
、p
11
、
……
、p
1j
等。
86.此外，行控制电路406驱动被标记为r0、r1、
……
、rj的多组行总线。每组行总线也包括一条或多条总线，并且可以用于将控制信号(其可以包括行选择信号和/或其它配置信号)发送到行像素单元或行像素单元块。例如，一条或多条行总线r0可以发送行选择信号410a，以选择行像素单元(或行像素单元块)p
00
、p
10
、
……
、p
i0
，一条或多条行总线r1可以发送行选择信号410b，以选择行像素单元(或行像素单元块)p
01
、p
11
、
……
、p
1i
等。可以基于行选择信号与列信号的组合来选择像素单元阵列318内的任何像素单元(或像素单元块)，以接收配置信号。如上所述，行选择信号、列选择信号和配置信号(如果存在)基于来自编程映射解析器402的控制信号408和控制信号410而同步。每列像素单元可以共享一组输出总线，以将像素数据发送到像素数据输出电路407。例如，列像素单元(或列像素单元块)p
00
、p
01
、
……
、p
0j
可以共享输出总线d0，列像素单元(或列像素单元块)p
10
、p
11
、
……
、p
1j
可以共享输出总线d1等。
87.像素数据输出电路407可以接收来自多条总线的像素数据，将像素数据转换为一
个或多个串行数据流(例如，使用移位寄存器)，并且在诸如mipi等预定协议下将数据流发送到主设备435。数据流可以来自于与每个像素单元(或像素单元块)相关联的量化电路220(例如，处理电路214和存储器216)，以作为稀疏图像帧的一部分。另外，像素数据输出电路407还可以接收来自编程映射解析器402的控制信号408和控制信号410，以例如确定哪个像素单元不输出像素数据、或每个像素单元输出的像素数据的位宽度，并且随后，相应地调整对串行数据流的生成。例如，像素数据输出电路407可以控制移位寄存器在生成串行数据流时跳过多个位，以例如考虑像素单元之间的输出像素数据的可变位宽、或者在某些像素单元处禁用像素数据输出等。
88.另外，像素单元阵列控制电路还包括全局功率状态控制电路(例如，全局功率状态控制电路420)、列功率状态控制电路422、行功率状态控制电路424、以及在每个像素单元或每个像素单元块处的局部功率状态控制电路430(图4a中未示出)，从而形成层级功率状态控制电路。全局功率状态控制电路420可以是层级中的最高级别，接着是行功率状态控制电路424/列功率状态控制电路422，而局部功率状态控制电路430处于层级中的最低级别。
89.层级功率状态控制电路可以在控制图像传感器(例如，图像传感器200)的功率状态时，提供不同粒度。例如，全局功率状态控制电路420可以控制图像传感器中的所有电路的全局功率状态，这些电路包括所有像素单元的处理电路214和存储器216、图2e中的dac 242和计数器240等。行功率状态控制电路424可以单独控制每行像素单元(或每行像素单元块)的处理电路214的功率状态和存储器216的功率状态，而列功率状态控制电路422可以单独控制每列像素单元(或每列像素单元块)的处理电路214的功率状态和存储器216的功率状态。一些示例可以包括行功率状态控制电路424而不包括列功率状态控制电路422，或者反之亦然。另外，局部功率状态控制电路430可以是像素单元的一部分或像素单元块的一部分，并且可以控制像素单元或像素单元块的处理电路214的功率状态和存储器216的功率状态。
90.图4b示出了层级功率状态控制电路的内部部件及其操作的示例。具体地，全局功率状态控制电路420可以输出全局功率状态信号432，该全局功率状态信号可以是设定图像传感器的全局功率状态的偏置电压、偏置电流、电源电压或编程数据的形式。此外，列功率状态控制电路422(或行功率状态控制电路424)可以输出列/行功率状态信号434，该列/行功率状态信号设定图像传感器中的列/行像素单元(或列/行像素单元块)的功率状态。列/行功率状态信号434可以作为列信号408和行信号410被发送到像素单元。此外，局部功率状态控制电路430可以输出局部功率状态信号436，该局部功率状态信号设定像素单元(或像素单元块)的功率状态，该像素单元(或像素单元块)包括相关联的处理电路214和存储器216。局部功率状态信号436可以被输出到像素单元的处理电路214和存储器216，以控制它们的功率状态。
91.在层级功率状态控制电路中，上级功率状态信号可以设定下级功率状态信号的上限。例如，全局功率状态信号432可以是列/行功率状态信号434的上级功率状态信号，并且可以设定列/行功率状态信号434的上限。此外，列/行功率状态信号434可以是局部功率状态信号436的上级功率状态信号，并且可以设定局部功率状态信号436的上限。例如，如果全局功率状态信号432指示低功率状态，则列/行功率状态信号434和局部功率状态信号436也可以指示低功率状态。
92.全局功率状态控制电路420、列功率状态控制电路422/行功率状态控制电路424和局部功率状态控制电路430中的每个功率状态控制电路可以包括功率状态信号发生器，而列功率状态控制电路422/行功率状态控制电路424和局部功率状态控制电路430可以包括门控逻辑，以强制执行由上级功率状态信号所施加的上限。具体地，全局功率状态控制电路420可以包括生成全局功率状态信号432的全局功率状态信号发生器421。全局功率状态信号发生器421可以例如基于外部配置信号440(例如，来自主设备702)或全局功率状态的预定时间序列，来生成全局功率状态信号432。
93.另外，列功率状态控制电路422/行功率状态控制电路424可以包括列/行功率状态信号发生器423和门控逻辑425。列/行功率状态信号发生器423可以例如基于外部配置信号442(例如，来自主设备)或行/列功率状态的预定时间序列，来生成中间列/行功率状态信号433。门控逻辑425可以选择全局功率状态信号432或中间列/行功率状态信号433中表示更低功率状态的一者作为列/行功率状态信号434。
94.此外，局部功率状态控制电路430可以包括局部功率状态信号发生器427和门控逻辑429。局部功率状态信号发生器427可以例如基于外部配置信号444(其可以来自像素阵列编程映射)、行/列功率状态的预定时间序列等来生成中间局部功率状态信号435。门控逻辑429可以选择中间局部功率状态信号435或列/行功率状态信号434中表示更低功率状态的一者作为局部功率状态信号436。
95.图4c示出了像素单元阵列的附加细节，这些附加细节包括每个像素单元(或每个像素单元块)中的局部功率状态控制电路430(例如，在图4c中被标记为“pwr”的430a、430b、430c和430d)和配置存储器450(例如，在图4c中被标记为“配置(config)”的450a、450b、450c和450d)。配置存储器450可以存储第一编程数据，以控制像素单元(或像素单元块)的光测量操作(例如，曝光周期持续时间、量化分辨率)。此外，配置存储器450还可以存储第二编程数据，该第二编程数据可以被局部功率状态控制电路430用来设定处理电路214和存储器216的功率状态。配置存储器450可以被实现为静态随机存取存储器(static random-access memory，sram)。尽管图4c示出了局部功率状态控制电路430和配置存储器450位于每个像素单元的内部，但是将理解的是，配置存储器450也可以位于每个像素单元的外部，例如在局部功率状态控制电路430和配置存储器450被用于像素单元块时。
96.如图4c所示，每个像素单元中的配置存储器450经由晶体管s(例如，s
00
、s
10
、s
10
、s
11
等)与列总线c和行总线r耦接。在一些示例中，每组列总线(例如，c0、c1等)和每组行总线(例如，r0、r1等)可以包括多个位。例如，在图4c中，每组列总线和每组行总线可以携带n+1位。将理解的是，在一些示例中，每组列总线和每组行总线也可以携带单个数据位。每个像素单元还与晶体管t(例如，t
00
、t
10
、t
10
或t
11
)电连接，以控制配置信号发送到像素单元(或像素单元块)。每个像素单元中的晶体管s可以被行选择信号和列选择信号驱动，以启用(或禁用)对应的晶体管t，从而将配置信号发送到像素单元。在一些示例中，列控制电路404和行控制电路406可以由单个写入指令(例如，来自主设备)编程，以同时写入到多个像素单元中的配置存储器450。然后，列控制电路404和行控制电路406可以控制行总线和列总线，以写入到像素单元中的配置存储器。
97.在一些示例中，局部功率状态控制电路430也可以直接接收来自晶体管t的配置信号，而不将配置信号存储在配置存储器450中。例如，如上所述，局部功率状态控制电路430
可以接收行/列功率状态信号434，以控制像素单元的功率状态和像素单元所使用的处理电路和/或存储器的功率状态，该行/列功率状态信号可以是诸如电压偏置信号或电源电压等模拟信号。
98.另外，每个像素单元还包括晶体管o(例如，o
00
、o
10
、o
10
或o
11
)，以控制输出总线d在一列像素单元之间的共享。每行中的晶体管o可以由读取信号(例如，read_r0、read_r1等)控制，以实现对像素数据的逐行读出，使得一行像素单元通过输出总线d0、d1、
……
、di输出像素数据，接着是下一行像素单元。
99.在一些示例中，可以将像素单元阵列中的电路部件(包括处理电路214和存储器216、计数器240、dac 242、包括缓冲器230的缓冲网络等)组织成由层级功率状态控制电路管理的层级功率域。该层级功率域可以包括多个功率域及功率子域的层级。层级功率状态控制电路可以单个地设定每个功率域的功率状态、以及每个功率域下的每个功率子域的功率状态。这种布置方式允许对图像传感器304的功耗进行细粒度控制，并且支持各种空间和时间功率状态控制操作，从而进一步提高图像传感器的功率效率。
100.尽管稀疏图像感测操作可以降低功率和带宽要求，但是使用像素级adc(例如，如图6c所示)或块级adc(例如，如图2e所示)来执行稀疏图像感测操作的量化操作仍然会导致功率的低效使用。具体地，尽管一些像素级adc或块级adc被禁用，但是诸如时钟、模拟斜坡信号或数字斜坡信号等的高速控制信号仍然可以经由缓冲网络630被发送到每个像素级adc或块级adc，这可能消耗大量的功率并增加生成每个像素的平均功耗。当图像帧的稀疏性增加(例如，包含更少的像素)但高速控制信号仍然被发送到每个像素单元时，低效率会进一步加剧，使得发送高速控制信号的功耗保持不变，但由于生成的像素更少，所以用于生成每个像素的平均功耗增加。
101.图5示出了用于像素专用固定模式噪声降低的像素单元和集成电路的示例。具体地，图5描绘了用于执行本文所描述的实施例的数字图像传感器装置的示例。soc像素500可以是被配置为在光电二极管中生成电荷的像素单元，类似于图2a和图2c中描绘的像素单元201。例如，soc像素500包括像素单元201的部件，例如部件201至206和其它部件。
102.图5中描绘的像素单元包括soc像素500和asic 510，该soc像素和asic耦接在一起作为像素域的一部分。soc像素500和asic 510可以被配置为协同操作，以将由捕获的光和fpn生成的电荷转换为多个数字像素值。例如，光电二极管(描绘为pd)首先接收到光并输出生成的电荷，这些电荷累积到一个或多个电容器或其他电荷存储器件。由电容器存储的电荷随后由asic 510转换成像素值，并存储在asic 510中的多个sram中。
103.图5所示的配置将使像素域能够减少由像素域生成的像素模式噪声，该噪声将更改由在光电二极管处所捕获的光生成的信号。例如，由电容器捕获的电荷将被传递到比较器，该比较器将该电荷与参考电压进行比较，以确定对应的数字像素值。该数字像素值将被发送到asic 510中的第一sram。因为捕获的电压值固有地包含由环境、soc像素500、asic 510和任何其他部件/部件中的潜在缺陷生成的fpn，所以存储在sram中的第一数字像素值对应于由光电二极管和fpn两者生成的电荷。
104.一旦确定了第一数字像素值，复位信号可以在像素域中“发出脉冲(pulse)”，从而清除电路中先前累积的电荷。例如，soc像素500和asic 510中的电荷存储器件以及asic 510中的比较器可以被复位到原始状态。尽管复位已经清除了像素域中的大部分电荷，但由
于环境噪声、剩余电荷和单个部件中的缺陷导致的潜在的电压信号继续存在于电路中。因此，这种潜在的fpn噪声可以被捕获并作为第二数字像素值存储在第二sram中。然后，第一数字像素值与第二数字像素值之间的差将接近地表示在不存在fpn的情况下由光电二极管生成的电荷。
105.像素单元(例如，soc像素500)可以包含附加电荷存储器件，以实现像素单元中的低增益电荷转换。例如，如图5所描绘的，soc像素500包括cext电容器502。cext电容器502可以结合诸如双转换门(dual conversion gate，dcg)504等附加门来操作。cext电容器502可以是配置在soc像素内的电容器或其他电荷存储器件，以使soc像素能够在高增益(当dcg门504断开时)电荷生成操作配置与低增益(当dcg门504闭合时)电荷生成操作配置之间切换。例如，在高增益电荷生成操作配置中，dcg门504可以断开，从而中断从光电二极管到cext电容器502的信号。在该配置中，soc像素500类似于像素单元201操作。当dcg门504闭合时，来自光电二极管的信号经由闭合电路到达cext电容器502，并且cext电容器502可以在低转换增益配置中存储电荷。
106.尽管cext电容器502改善了高亮度光(或低增益光)收集，但是附加电容器可能占据压缩电路上的宝贵空间，并且可能生成噪声，该噪声将增加电路的fpn。在一些实施例中，cext电容器502从soc像素500中去除，并且dcg门504保留在soc像素中。在这种配置中，dcg门504可以继续在断开状态与闭合状态之间切换，但是将不会存在针对低功率操作的转换和存储电荷的电容器。这允许soc像素在高增益(当dcg门504断开时)电荷生成操作配置与中等增益(当dcg门504闭合时)电荷生成操作配置之间切换。因此，当dcg门504断开时，soc像素继续像以前一样在高增益模式下操作，但是当dcg门504闭合时，soc像素500现在将使用中等增益配置来转换和存储电荷。
107.像cext 502一样，dcg门504可以从soc像素500中去除，以增加压缩电路可用的空间量，并降低dcg门504生成的噪声。在该配置中，soc像素500将仅在高增益电荷生成操作配置中生成电荷。然而，soc像素可用的空间量增加，并且由soc像素500的部件生成的fpn量减少。应当理解，像素阵列中的任何像素子集可以使用任何上述配置来满足数字图像传感器的需要。
108.asic 510是耦接到soc像素500的专用集成电路，以形成对应于数字图像传感器的像素的像素域。如图5所示，asic 510可以包括辅助电荷存储器件和比较器，该辅助电荷存储器件例如为执行相关双采样的电容器，该比较器被配置为将来自soc像素(和/或辅助电荷存储器件)的存储电荷与参考电压斜坡进行比较。比较器包括用于复位比较器的开关，并且该比较器耦接到1位状态存储器512。1位状态存储器512可以是逻辑电路，该逻辑电路被配置为从比较器接收输出信号并确定是否将存储的电荷转发到asic 510内的一个或多个sram或其他存储器电路。例如，如图5所描绘的，1位状态存储器512可以接收比较器的输出，并输出状态信号来控制一个或多个存储器开关。
109.如图5所描绘的，第一sram(信号sram 514)经由信号开关耦接到asic 510的其余部分。可以根据1位状态存储器512的输出状态来激活信号开关。例如，1位状态存储器512可以输出指示soc像素当前正在经历曝光周期的状态。1位状态存储器512可以发送信号以闭合信号开关，并闭合信号sram 514与asic 510的其余部分之间的电路。因此，由像素域存储和转换的电荷可以被发送到信号sram 514，以存储并随后输出所存储的电荷作为数字像素
值。
110.如图5中进一步所描绘的，第二sram(复位sram 516)经由复位开关耦接到asic 510的其余部分。可以根据1位状态存储器512的输出状态来激活复位开关。例如，1位状态存储器512可以输出指示soc像素已经经历复位并且像素域当前正在从潜在的固定模式噪声生成电荷的状态。1位状态存储器512可以发送信号以闭合复位开关，并闭合复位sram 516与asic 510的其余部分之间的电路。因此，由像素域潜在生成的作为fpn的电荷可以被发送到复位sram 516，以存储并随后输出作为数字像素值。
111.图6示出了描绘电荷捕获时间段期间部件活动的时间序列的时序图。具体地，图6描绘了在本文所描述的自适应降噪技术期间，数字图像传感器中的像素域的部件的定时信号。图6中所示的时序图描绘了在整个帧捕获时间段内单个像素域中的电路的时序。
112.如图6所描绘的，时序图的开始可以跟随在像素域处触发的复位状态，以将soc像素500和asic 510准备好用于新的帧捕获。因此，soc像素500的门复位当前处于高状态。在电荷存储器件曝光(在图6中描绘为t
exp
)一段时间之后不久，复位门进入低状态。在曝光的时间段已经结束之后，可以对复位门施加脉冲以复位像素域，以便生成和存储对应于像素域固有的fpn的电荷。然后，复位门可被复位为高，以用于下一帧捕获(图6未描绘出)。在曝光的时间段之前，电子快门开关(例如，电子快门开关203)和转移开关(例如，转移开关204)处于高状态，并且在曝光周期期间转变到低状态。转移开关将仅在曝光周期结束前发出脉冲，以发出周期结束的信号。
113.在实现dcg门(例如，dcg门504)的实施例中，门可以在曝光时间段期间被设定为高状态或低状态。例如，在期望中等增益(或在进一步实施cext电容器502的实施例中为低增益)电荷存储配置的实施例中，可将dcg门504设定为闭合配置状态，使得电荷可穿过dcg门504以启用更低增益配置。
114.曝光周期开始后不久，信号sram 514的信号开关将进入高功率状态，以使电荷能够开始流向sram。sram可以包含用于存储电荷的电路，在该时间段期间，比较器将模拟电压与参考斜坡电压值进行比较之后将该电荷发送到信号sram 514。曝光周期结束后，开关不久将重新进入低功率状态。
115.如图6所描绘的，例如，作为tts操作的一部分，在第一时间段期间，像素单元可以捕获光并将光转换成电荷。在第一时间段期间，soc像素可以暴露于光，以便生成和量化电荷(由t
exp
表示)。例如，1023-512的dramp-sig值表示9位分辨率模数转换，其中一个标志位用于量化tts操作。在曝光周期结束时，tg门可以被施加脉冲以将光电二极管中的电荷转移到电荷存储器件(例如，cext 502、fd、cc等)并开始信号转换。例如，0-511的dramp-sig值表示存储电荷的标准9位模数转换。
116.在曝光周期结束并且信号开关断开之后不久，复位门将发出脉冲信号通知复位sram 516的复位开关进入高功率状态。在这时期期间，复位sram 516将接收由环境和像素域潜在生成的fpn转换和存储的电荷。在此时间期间，电荷存储器件没有耦接到光电二极管，并且来自光的电荷将不会被转换和存储。这将向复位sram 516提供由比较器基于参考斜坡电压量化的隔离fpn信号。例如，0-63的dramp-rst值表示fpn信号到数字像素值的标准6位模数转换。该值被存储在复位sram 516中，作为表示由像素域潜在生成的数字fpn的数字像素值。
117.如图6所描绘的，供应给asic 510的比较器的vramp电压可以在曝光的时间段期间从高功率状态切换到中等功率状态，并且可以在adc转换模拟电压值期间发出脉冲和斜降。比较器复位可与复位门发出脉冲一起发生，以便复位比较器，从而测量fpn。比较器通常是asic内的fpn源，并且在第二时间段内复位比较器对于生成可靠的fpn信号是重要的。
118.即将转换所生成的电荷值的adc在曝光时间段处于非活动状态。在曝光的第一个时间段之后，adc将开始将生成的信号电压值转换成数字值。该数字值可以基于dramp信号配置，该dramp信号配置将该值转换成9位数字。在adc将所生成的信号量值转换成数字值之后，adc接着将所生成的复位电压值转换成数字值。该数字值可以基于dramp复位配置，该配置将该值转换为6位数字。在这些操作之后，像素单元可以再次被复位，并且新的帧捕获将开始。
119.图7示出了数字像素传感器和用于接收光作为输入并输出数字数据的流程图。更具体地，图7描绘了通过数字像素传感器700的部件从光输入到数字数据输出的数据信号流。数字像素传感器包含soc像素500和asic 510。asic 510连接到或包含信号sram 514和复位sram 516。soc像素500、asic 510和sram存储器514和516构成数字像素传感器700的像素域710。
120.在流程的开始，光720例如通过光电二极管(例如，光电二极管202)进入soc像素500。光电二极管被配置为响应于光而生成电荷，并且电荷存储器件(例如，电荷存储器件206)被配置为基于所生成的电荷来转换和存储电荷。电荷存储器件可以将该电荷发送到asic 510，例如作为电荷730的一部分。asic 510可以接收电荷730并量化电荷，根据接收电荷的时间段，这些电荷可以被存储在信号sram 514或复位sram 516中的任何一者。例如，如果在曝光周期期间接收电荷730，则电荷730将被接收、量化，然后由信号sram 514存储。如果在复位周期(在此期间测量潜在fpn)期间接收电荷730，则该电荷将被接收、量化，然后由复位sram 516存储。
121.信号sram 514和复位sram 516的输出分别是数字像素值信号数字像素值740和复位数字像素值750。信号数字像素值740例如可以是由比较器确定并在曝光时间段期间存储在信号sram 514的存储器电路中的数字像素值，并且该信号数字像素值表示从接收的光720和由像素域710生成的附加fpn转换的电荷。复位电压750例如可以是由比较器确定并在复位周期期间存储在复位sram 516的存储器电路中的数字像素值，并且该复位电压表示在复位周期期间由电路内的潜在信号生成的fpn电压值。
122.信号数字像素值740和复位数字像素值750中的每一者被发送到处理器760，以用于在量化和存储之后进一步处理数字像素值。处理器例如可以包括多个逻辑指令，这些逻辑指令被配置为确定从像素域710接收的值是作为初始tts或类似操作的一部分生成的，还是在后续时间段期间生成的。例如，如果信号数字像素值740是作为tts操作的一部分生成的(例如，在对tg门发出脉冲之前)，则处理器760可以转发该信号数字像素值740。然而，如本文所述，当在下游应用程序中使用时，来自tts操作的量化数字像素值可能不足以充分“淹没”来自像素域710的潜在fpn。因此，处理器760可以基于单独的信号确定执行数字像素值转换，并且在执行tts操作之后复位接收到的数字像素值。例如，处理器760可以确定信号数字像素值740不是基于tts的值(例如，在tg门发出脉冲之后、但在rst门发出脉冲之前经量化的值)，并且响应地对信号值执行数字像素值转换(例如，基于经量化的信号值与经量
516)可以从像素域接收潜在电压信号，该像素域用于在像素域复位之后在802中生成第一电压信号。在复位操作之后生成的第二电压信号可以表示由像素域和数字图像传感器操作的环境固有生成的fpn信号。例如，复位门和比较器复位开关可以触发，从而清除用于生成第一电压信号的像素域电路的电荷。在清除之后和下一个曝光周期之前生成的任何所得信号可以对应于像素域内的潜在fpn。
128.在808处，例如由adc量化第二电压。例如，adc可以接收由像素域潜在生成的复位电压，并量化该复位电压以生成数字像素值。由量化操作生成的数字像素值可以基于复位sram 516中的基于数字位的转换方案。例如，如图6所示，adc可以使用dramp信号将第二电压信号转换为6位数字值。所得到的数字像素值是由像素域生成的潜在fpn的数字表示。
129.在810处，确定经量化的第一电压信号是否大于噪声校正阈值。该确定可以由数字像素传感器(例如，处理器760)的处理电路或子系统来执行。例如，处理器760可以从adc接收在806处由adc量化的数字像素数据。处理器760还可以接收噪声校正阈值(阈值像素值)或在其上存储噪声校正阈值。该阈值可以与表示所捕获电荷的强度的数字像素值相对应，对于该数字像素值，考虑到在804中对生成的第二电压信号的量化和通过确定两个数字像素值的差来去除fpn的更改操作所消耗的功率，fpn校正将不是优选的。例如，高强度的光在对应的数字像素值中将仅包含小部分的fpn，并且从信号中去除fpn在消耗固定量的功率的同时将仅在所得到的像素中引起可忽略的变化。因此，如果经量化的第一电压信号大于设定的噪声校正阈值，则在从传感器导出之前，不需要从数字像素值中去除fpn。
130.在各种实施例中，处理器780或数字像素传感器700的相关部件可以接收、确定或以其他方式生成噪声校正阈值。可以基于环境的状态和数字图像传感器中的像素单元阵列中的像素单元的配置，来生成噪声校正阈值。例如，明亮的环境(由传感器测量)和高灵敏度的数字像素传感器可以使处理器生成相对低的噪声校正阈值，以减少量化操作的次数和数字像素值更改的次数，从而节省功率。在一些实施例中，可以基于由数字像素传感器的部件确定的平均值、中值、模态值或其他值，来确定噪声校正阈值。例如，处理器可以使用数字像素值(该数字像素值使用在复位周期之后生成的经量化的第二电压信号)来确定前一帧期间的fpn的平均值。
131.如果经量化的信号超过噪声校正阈值，则该方法进行到框814，否则，进行到框812。
132.在814处，如果确定经量化的第一电压信号大于噪声校正阈值，则输出该经量化的第一电压信号。在这种情况下，处理器或数字像素传感器的另一部件可以输出经量化的第一电压信号作为数字像素数据而无需任何更改，因为对经量化的数字像素值的更改将消耗比值得转换更多的功率。
133.替代地，在812处，如果确定经量化的第一电压信号不大于噪声校正阈值，则从第一电压信号中减去经量化的第二电压信号以更改该第一电压值。减去表示第二电压信号(例如，像素域固有的fpn信号)的数字像素值将使得表示第一电压信号(例如，所捕获的光电荷以及fpn)的数字像素值更接近地近似于所捕获的光电荷，而没有噪声干扰。在从经量化的第一电压信号中减去经量化的第二电压信号之后，在814处输出第一电压信号。在像素域电路的另一次复位之后，过程800可以从802开始再次重复，以开始处理新的像素帧。
134.本描述的某些部分在对信息操作的算法和符号表示方面描述了本公开的实施例。
这些算法描述和表示通常被数据处理领域的技术人员用来向本领域的其他技术人员有效地传达其工作的实质内容。尽管在功能上、计算上或逻辑上对这些操作进行了描述，但这些操作应当被理解为由计算机程序或等效电路、或微代码等实现。此外，事实证明，在不失一般性的情况下，有时将这些操作的布置结构称为模块也很方便。所描述的操作和它们的相关联的模块可以被实施在软件、固件和/或硬件中。
135.所描述的步骤、操作或过程可以使用一个或多个硬件或软件模块单独或者与其他设备结合来执行或实现。在一些实施例中，使用包括计算机可读介质的计算机程序产品实现软件模块，该计算机可读介质包含计算机程序代码，计算机程序代码可以被计算机处理器执行，以执行所描述的步骤、操作或过程中的任何或全部。
136.本公开的实施例还可以涉及一种用于执行所描述的操作的装置。该装置可以针对所需目的而专门构造，和/或该装置可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在可以耦接到计算机系统总线的非暂态有形计算机可读存储介质、或者适合于存储电子指令的任何类型的介质中。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是使用多个处理器设计以增加计算能力的架构。
137.本公开的实施例还可以涉及一种由本文所描述的计算过程生成的产品。这种产品可以包括从计算过程中生成的信息，其中，该信息存储在非暂态有形计算机可读存储介质上并且可以包括计算机程序产品或本文所描述的其它数据组合的任何实施例。
138.本说明书中所使用的语言主要是出于可读性和指导目的而选择的，并且该语言可能不是为了划定或限制本发明主题而选择的。因此，旨在本公开的范围不受该详细描述的限制，而应受基于本文的申请公布的任何权利要求的限制。因此，实施例的公开旨在对本公开的范围进行说明而不是限制，本公开的范围在所附权利要求中得到阐述。

技术特征：
1.一种传感器装置，包括：像素单元，所述像素单元被配置为生成电压，所述像素单元包括一个或多个光电二极管、以及电荷存储器件，所述一个或多个光电二极管被配置为响应于光而生成电荷，所述电荷存储器件用于将所述电荷转换为电压；集成电路，所述集成电路包括多个集成存储器电路，并且被配置为：基于从所述像素单元的所述电荷存储器件获得的第一电压，在第一时间段期间生成第一电压值；以及基于由来自所述像素单元和所述集成电路的固定模式噪声生成的第二电压，生成出现在第二时间段的第二电压值；一个或多个模数转换器(adc)，所述一个或多个adc被配置为：将所述第一电压值转换为第一数字像素值，并且将所述第二电压值转换为第二数字像素值；以及处理器，所述处理器被配置为基于所述第一数字像素值和所述第二数字像素值生成第三数字像素值。2.根据权利要求1所述的装置，其中，所述处理器还被配置为：确定阈值像素值；将所述第一数字像素值与所述阈值像素值进行比较，其中，所述处理器被配置为基于所述比较生成所述第三数字像素值。3.根据权利要求2所述的装置，其中，将所述第一数字像素值与所述阈值像素值进行比较包括：确定出所述第一数字像素值大于或等于所述阈值像素值；所述第三数字像素值是所述第一数字像素值。4.根据权利要求2所述的装置，其中，将所述第一数字像素值与所述阈值像素值进行比较包括：确定出所述第一数字像素值小于所述阈值像素值；所述第三数字像素值基于所述第一数字像素值与所述第二数字像素值之间的差生成。5.根据权利要求4所述的装置，其中，基于所述第一数字像素值与所述第二数字像素值之间的差生成所述第三数字像素值包括：从表示所述第一数字像素值的二进制数中减去表示所述第二数字像素值的二进制数，以生成表示所述第三数字像素值的二进制数。6.根据权利要求2所述的装置，其中，所述阈值像素值基于所述第一时间段和所述像素单元的配置来确定。7.根据权利要求2所述的装置，其中，所述阈值像素值是从外部应用程序接收的，所述外部应用程序在通信耦接到所述传感器装置的计算设备上执行。8.根据权利要求1所述的装置，其中，所述第一数字像素值存储在所述传感器装置的第一静态随机存取存储器上；所述第二数字像素值存储在所述传感器装置的第二静态随机存取存储器上；生成所述第三数字像素值包括：从所述第一静态随机存取存储器和所述第二静态随机存取存储器，访问所述第一数字像素值和所述第二数字像素值。9.根据权利要求8所述的装置，其中，所述集成电路包括：第一存储器开关，所述第一存储器开关被配置为在所述第一时间段期间将所述第一电
压值转存到所述第一静态随机存取存储器；第二存储器开关，所述第二存储器开关被配置为在所述第一时间段期间将所述第二电压值转存到所述第一静态随机存取存储器；锁存器，所述锁存器被配置为在所述第一时间段和所述第二时间段期间断开和闭合所述第一存储器开关和所述第二存储器开关。10.根据权利要求1所述的装置，其中，所述电荷存储器件在所述第一时间段期间将来自所述一个或多个光电二极管的电荷转换为电压，并在所述第二时间段期间不转换来自所述一个或多个光电二极管的电荷。11.根据权利要求10所述的装置，其中，所述像素单元包括开关，所述开关用于在所述第一时间段期间将所述电荷存储器件连接到所述一个或多个光电二极管，并在所述第一时间段之后将所述电荷存储器件与所述一个或多个光电二极管断开连接。12.根据权利要求1所述的装置，其中，所述像素单元还包括自适应距离门；所述像素单元被配置为，在所述自适应距离门断开时生成高增益格式的电荷，并在所述自适应距离门闭合时生成中等增益格式的电荷。13.根据权利要求12所述的装置，其中，所述电荷存储器件是第一电荷存储器件；所述像素单元还包括第二电荷存储器件，所述自适应距离门将所述一个或多个光电二极管连接到所述第二电荷存储器件；所述像素单元被配置为，当所述自适应距离门闭合时生成低增益格式的电荷，以使所述第二电荷存储器件将来自所述一个或多个光电二极管的电荷转换为电压。14.根据权利要求1所述的装置，其中，所述电荷存储器件是第一电荷存储器件；所述集成电路还包括第二电荷存储器件，所述第二电荷存储器件被配置为将来自所述第一电荷存储器件的电荷转换为第三电压；生成所述第二电压值至少基于由所述第二电荷存储器件转换的所述第三电压生成。15.根据权利要求1所述的装置，其中，所述传感器装置还包括感测放大器，所述感测放大器被配置为基于所述第三数字像素值生成经放大的数字像素值。16.根据权利要求15所述的装置，其中，所述传感器装置还包括外围处理系统，所述外围处理系统包括所述感测放大器和所述处理器；所述处理器还被配置为将所述经放大的数字像素值导出到外部处理系统。17.根据权利要求16所述的装置，其中，所述处理器还被配置为将所述第一数字像素值、所述第二电压值和所述第三数字像素值导出到所述外部处理系统；所述外部处理系统还被配置为，基于所述第一数字像素值、所述第一电压值、所述第二电压值和所述第三数字像素值，生成第四数字像素值。18.根据权利要求16所述的装置，其中，所述外围处理系统被配置为：接收来自一个或多个附加处理器的一个或多个附加数字像素值；以及
使用所述经放大的数字像素值和所述一个或多个附加数字像素值，生成数字图像数据。19.根据权利要求18所述的装置，其中，所述外围处理系统还被配置为，将所述数字图像数据导出到在所述外部处理系统中执行的外部应用程序；所述外部处理系统包括数字显示器，所述数字显示器被配置为显示数字图像，所述数字图像由所述外部应用程序基于从所述外围处理系统接收的所述数字图像数据生成。20.一种方法，包括：通过转换在一个或多个光电二极管处接收的光的电荷，来生成第一电压；使用第一存储器电路并基于所述第一电压，在第一时间段期间生成第一电压值；基于固定模式噪声生成第二电压，所述固定模式噪声存在于包括所述一个或多个光电二极管的电路中；使用第二存储器电路并基于所述第一电压，生成出现在第二时间段的第二电压值；将所述第一电压值转换为第一数字像素值，并将所述第二电压值转换为第二数字像素值；以及基于所述第一数字像素值和所述第二数字像素值，生成第一更改后的数字像素值。

技术总结
一种传感器装置包括：像素单元，该像素单元被配置为生成电压，该像素单元包括一个或多个光电二极管、以及电荷存储器件，该一个或多个光电二极管被配置为响应于光而生成电荷，该电荷存储器件用于将电荷转换为电压；集成电路，该集成电路包括多个集成存储器电路且被配置为：基于从像素单元的电荷存储器件获得的第一电压，在第一时间段期间生成第一电压值；以及基于由来自像素单元和集成电路的固定模式噪声生成的第二电压，生成出现在第二时间段的第二电压值；以及一个或多个模数转换器(ADC)，该一个或多个ADC被配置为将第一电压值转换为第一数字像素值并将第二电压值转换为第二数字像素值；以及处理器，该处理器被配置为，在第二数字值小于阈值的情况下，基于第一数字像素值和第二数字像素值生成第一更改后的数字像素值。素值。素值。


技术研发人员：莱尔
受保护的技术使用者：元平台技术有限公司
技术研发日：2021.11.04
技术公布日：2023/8/1