像素级空间差分获取电路、方法及图像传感器阵列

1.本技术涉及图像信号处理技术领域，具体涉及一种像素级空间差分获取电路、方法及图像传感器阵列。


背景技术：

2.在物联网技术不断发展的背景下，在传感器内部进行的感内计算或近感计算被认为是未来物联网设备的发展方向。相关技术的图像传感与处理系统将完整的图像信号进行量化转化为数字信号后再送入到数字处理芯片中进行计算，其中存在大量的计算所不需要的冗余数据，这些冗余数据会占用额外的带宽消耗不必要的功耗。


技术实现要素：

3.本技术的目的是提供一种像素级空间差分获取电路、方法及图像传感器阵列，以缓解相关技术中存在的冗余数据占用额外带宽、消耗不必要的功耗的状况。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
4.根据本技术实施例的一个方面，提供一种像素级空间差分获取电路，包括比较器以及多个电流型乘法运算单元；每一所述电流型乘法运算单元的正电流输出端连接所述比较器的第一输入端；每一所述电流型乘法运算单元的负电流输出端连接所述比较器的第二输入端。
5.在本技术的一些实施例中，所述电流型乘法运算单元包括依次连接的运算放大器、共源共栅晶体管、第一电流镜和第二电流镜。
6.在本技术的一些实施例中，所述第一电流镜包括第一pmos管、第二pmos管和第三pmos管；所述第一pmos管的源极、所述第二pmos管的源极和所述第三pmos管的源极互相连接；所述第一pmos管的栅极、所述第二pmos管的栅极和所述第三pmos管的栅极互相连接；所述第三pmos管的漏极与所述共源共栅晶体管的漏极相连接；所述第二pmos管的漏极连接所述第二电流镜。
7.在本技术的一些实施例中，所述第二电流镜包括第一nmos管和第二nmos管；所述第一nmos管的栅极连接所述第二nmos管的栅极；所述第一nmos管的源极连接所述第二nmos管的源极；所述第一nmos管的漏极分别连接所述第一nmos管的栅极以及所述第一电流镜。
8.在本技术的一些实施例中，所述第一电流镜包括共源共栅电流镜或威尔逊电流镜，所述第二电流镜包括共源共栅电流镜或威尔逊电流镜。
9.在本技术的一些实施例中，所述第三pmos管的漏极与源极之间连接有一个开关。
10.在本技术的一些实施例中，所述第一nmos管的源极与漏极之间连接有一个开关。
11.根据本技术实施例的另一个方面，提供一种图像传感器阵列，包括依次连接的电流型像素阵列、开关阵列、空间差分计算单元和模数转换单元，所述空间差分计算单元包括
权利要求1至7中任一项所述的像素级空间差分获取电路；每一所述电流型乘法运算单元的正电流输出端和负电流输出端均连接所述模数转换单元。
12.在本技术的一些实施例中，所述电流型像素阵列包括多个互相并联的电流型像素单元；每一所述电流型像素单元包括一个光电二极管、一个复位管、一个源放大器和一个行选晶体管；所述光电二极管的正极端以及所述复位管的一端分别与所述源放大器的栅极相连接；所述源极放大器的漏极连接所述行选晶体管的一端。
13.根据本技术实施例的另一个方面，提供一种像素级空间差分获取方法，通过上述任一项所述的像素级空间差分获取电路实现；所述获取方法包括：
14.将像素电流信号输入到对应的电流型乘法运算单元，根据权重完成1比特权重计算，将输出的正电流和负电流短接在一起，实现电流的加法运算；
15.所述比较器对所述电流型乘法运算单元的正电流输出端输出信号和负电流输出端输出信号进行比较，确定符号位；
16.根据所述加法运算的结果和所述符号位获取像素级空间差分计算结果。
17.本技术实施例的其中一个方面提供的技术方案可以包括以下有益效果：
18.本技术实施例提供的像素级空间差分获取电路，包括比较器以及多个电流型乘法运算单元，每一所述电流型乘法运算单元的正电流输出端连接所述比较器的第一输入端，每一所述电流型乘法运算单元的负电流输出端连接所述比较器的第二输入端，能够通过像素级电流读出和列级的电流型空间差分计算电路实现对像素信号的空间差分计算，可以应用在边缘检测等空间信息压缩算法中，减小图像传感器不必要的数据搬移带来的带宽和功耗的消耗。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1示出了本技术一个实施例的电流型乘法运算单元电路图。
21.图2示出了本技术一个实施例的像素级空间差分获取电路的结构图。
22.图3示出了本技术一个示例中的权重与控制信号的关系示意图。
23.图4示出了本技术一个示例中的阵列水平移位计算示意图。
24.图5示出了本技术一个示例中的计算模块与行列控制时序图。
25.图6示出了本技术一个实施例的图像传感器阵列结构框图。
26.图7示出了本技术一个示例中的像素结构电路图。
具体实施方式
27.为了使本技术的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本技术做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
29.相关技术中，图像传感与处理系统通过cmos有源像素完成光电转换，再通过模拟数字转换模块实现数字化，最后将数字信号送出到数字图像处理芯片中进行进一步的人脸识别、运动检测等功能。相关技术的图像传感与处理系统将完整的图像信号进行量化转化为数字信号后再送入到数字处理芯片中进行计算，这其中有大量的冗余数据，这些冗余数据会占用额外的带宽消耗不必要的功耗。对于智能识别系统来说，原始的数据中存在大量与计算无关的数据，这些数据占用额外的带宽，消耗不必要的功耗。在模数转换器前端，通过对像素产生的模拟信号进行特征提取和数据压缩，可以减小系统整体数据搬移量，提高系统的整体能效。
30.本技术的一个实施例提供了一种像素级空间差分获取电路，包括比较器以及多个电流型乘法运算单元；每一所述电流型乘法运算单元的正电流输出端连接所述比较器的第一输入端；每一所述电流型乘法运算单元的负电流输出端连接所述比较器的第二输入端。
31.示例性地，所述电流型乘法运算单元包括依次连接的运算放大器、共源共栅晶体管、第一电流镜和第二电流镜。
32.示例性地，所述第一电流镜包括第一pmos管、第二pmos管和第三pmos管；所述第一pmos管的源极、所述第二pmos管的源极和所述第三pmos管的源极互相连接；所述第一pmos管的栅极、所述第二pmos管的栅极和所述第三pmos管的栅极互相连接；所述第三pmos管的漏极与所述共源共栅晶体管的漏极相连接；所述第二pmos管的漏极连接所述第二电流镜。
33.示例性地，所述第二电流镜包括第一nmos管和第二nmos管；所述第一nmos管的栅极连接所述第二nmos管的栅极；所述第一nmos管的源极连接所述第二nmos管的源极；所述第一nmos管的漏极分别连接所述第一nmos管的栅极以及所述第一电流镜。
34.示例性地，所述第一电流镜包括共源共栅电流镜或威尔逊电流镜，所述第二电流镜包括共源共栅电流镜或威尔逊电流镜。所述第三pmos管的漏极与源极之间连接有一个开关，所述第一nmos管的源极与漏极之间连接有一个开关。
35.图1示出的是本技术一个实施例中实现空间差分算法的1比特(bit)电流型乘法电路结构图，主要包括一个运算放大器、1个共源共栅晶体管、5个电流镜功能的晶体管和4个开关功能的晶体管。其中，nm标注的为nmos，pm标注的为pmos，所有的开关都为nmos开关。像素产生的电流信号i
pix
连在运算放大器amp的负输入端，流经共源共栅晶体管nm0，进入到由pm0、pm1和pm2构成的第一电流镜结构和由nm1和nm2构成的第二电流镜结构中，其中每个电流镜的晶体管的宽长比都分别相同。4个开关分别由sp、sn和sz信号控制，其中sp信号和sn信号由权重决定，分别代表权重为1和-1，而sz代表权重为0，当sp和sn都为0时，sz才会为0。当权重为1时，sp闭合，像素电流通过pm0和pm1输出到i
p
节点，输出正电流，而nm1和nm2支路由于栅端被复位至vss，电流为0；而当权重为-1时，sn闭合，像素电流通过pm0、pm2及nm1、nm2输出到in节点，输出负电流；当权重为0时，sz闭合，钳制pm1和pm2栅端电压为vdd，从而支路上没有电流，实现了功耗管理的功能。
36.图2所示为一个具体示例中实现3
×
3卷积的空间差分计算电路，其中每个pe由图1所示的电路实现，该模块输入3
×
3像素的电流信号分别到对应的乘法运算单元，根据权重完成1比特(bit)权重计算，输出的正电流和负电流分别短接在一起，实现电流的加法运算，3
×
3模块总的正电流和负电流分别对应图中ip和in。
37.在符号位决定阶段，s_comp闭合，s_sample断开，正电流和负电流送入到电流比较器中进行比较，产生1bit符号位sign；当正电流大于负电流时sign＝1，当负电流大于正电流时sign＝0。
38.在采样阶段，s_sample闭合，s_comp断开，若符号位sign为1，则无需改变控制信号便直接送入adc中进行量化和后续操作；若符号位sign为0，则通过数字控制翻转控制信号，使得adc的输入信号为正信号。例如输入权重为1时，在采样阶段有sp＝1，sn＝0，sz＝0，当sign＝0时，在计算阶段调整开关为sp＝0，sn＝1，sz＝0。这样可以保证adc接收到的信号都为正信号，这个控制部分也是在状态机实现的，通过数字电路可以实现。
39.控制信号可以通过芯片内的状态机实现，以实现可重构的权重，通过控制sp闭合以实现权重1，控制sn闭合以实现权重-1，控制sz闭合实现权重0。
40.图3所示为一个具体示例中的权重与控制信号的对应关系示意图，例如当卷积核为如图所示的prewitts算子时，对应的处于工作状态的控制开关如图中关系，卷积核中为1的位置对应sp＝1，为-1的位置对应sn＝1，为0的位置对应sz＝1。
41.图4所示为阵列计算的示意图，图5所示为计算模块与行列控制时序图。在计算步长为1时，每次水平移位1位，经过三个周期便可以完成三行的空间差分计算，在列宽位n时，需要个空间差分计算模块。控制信号包括计算流程控制信号和权重信号，其中，计算流程控制信号包括s_sample、s_comp和s_cal1、s_cal2、s_cal3的控制信号。计算流程控制信号是由状态机实现的。权重信号包括sn、sp和sz，为了实现可配置的权重，这部分通常为芯片外送入状态机缓存再提供给计算模块。状态机可以由数字电路实现，状态机工作方式参考图5所示的时序图。
42.本技术另一个实施例提供了一种像素级空间差分获取方法，通过上述任一实施方式的像素级空间差分获取电路实现；该获取方法包括：
43.将像素电流信号输入到对应的电流型乘法运算单元，根据权重完成1比特权重计算，将输出的正电流和负电流短接在一起，实现电流的加法运算；
44.所述比较器对所述电流型乘法运算单元的正电流输出端输出信号和负电流输出端输出信号进行比较，确定符号位；
45.根据所述加法运算的结果和所述符号位获取像素级空间差分计算结果。
46.在一些示例中，像素级空间差分例如还可以通过开关电容电路实现，控制开关改变电路的连接关系，通过电容上电荷的转移实现电压的乘加运算，完成梯度特征的提取。空间差分可以实现对空间信息的特征提取和冗余信息的压缩，是实现感内计算或近感计算的主要方法。
47.本技术实施例提出了一种像素级空间差分获取电路，能够通过像素级电流读出和列级的电流型空间差分计算电路实现对像素信号的空间差分计算，可以应用在边缘检测等空间信息压缩算法中，减小图像传感器不必要的数据搬移带来的带宽和功耗的消耗。空间差分能够提取梯度特征，例如提取出中心像素的一些梯度特征。
48.本技术另一实施例提供了一种图像传感器阵列，包括依次连接的电流型像素阵列、开关阵列、空间差分计算单元和模数转换单元，所述空间差分计算单元包括上述任一实施方式所述的像素级空间差分获取电路；每一所述电流型乘法运算单元的正电流输出端和负电流输出端均连接所述模数转换单元。
49.在一种实施方式中，所述电流型像素阵列包括多个互相并联的电流型像素单元；每一所述电流型像素单元包括一个光电二极管、一个复位管、一个源放大器和一个行选晶体管；所述光电二极管的正极端以及所述复位管的一端分别与所述源放大器的栅极相连接；所述源极放大器的漏极连接所述行选晶体管的一端。
50.图6所示为一个示例中基于空间差分电路实现的图像传感器阵列。为了最大限度发挥电流型计算的优势，像素结构采用图7中所示的3晶体管电流型像素，其中包含一个光电二极管、一个复位管、一个源放大器和一个行选晶体管。
51.在一种实施方式中，该图像传感器阵列的运行方法，包括：所述电流型乘法运算单元将选通的电流型像素单元中的源放大器的源端钳制在低电平，使所述选通的电流型像素单元中的源放大器工作在线性区；所述光电二极管将光电压线性转化为电流信号，并将所述电流信号输入到开关阵列中；所述开关阵列根据外部输入的控制信号分别选通对应的电流信号输入到所述空间差分计算电路；所述空间差分计算电路进行空间差分计算，将计算得到的结果通过所述模数转换模块量化为数字信号输出。
52.在图6所示的结构中，运算放大器将选通像素的源放大器的源端钳制在低电平(10mv),使源放大器工作在线性区，光电二极管将光电压线性转化为电流信号，并将该电流信号输入到开关阵列中，根据阵列控制信号分别选通对应的电流信号输入到空间差分计算电路，空间差分计算电路完成计算后，将计算后的结果通过模数转换模块量化为数字信号送出到片外。于是在图像传感器内部实现了空间差分，减少了数据搬移量，提高了系统的整体能效。阵列控制信号包括时序图中示出的s_cal1、s_cal2和s_cal3的控制信号，用于控制开关阵列，以将像素中不同的列接入到空间差分计算电路中。阵列控制信号也是在状态机中实现的。
53.本技术实施例采用的基本电流镜结构可以替换为其他电流镜结构，如共源共栅电流镜结构、威尔逊电流镜结构。本技术实施例实现的是1比特(bit)权重，通过电流镜的按比例复制可以实现多比特(bit)权重。本技术实施例实现的是3
×
3的空间差分计算，可以拓展到其他大小的卷积核计算中，如2
×
2、4
×
4等。
54.相比于电压型的阵列计算，电流型计算无电压裕度的限制，可以实现更高的精度。电流型计算的实现方式更加简单，无高增益运放和电容，占用面积更小。通过设计合适的电源电压和晶体管尺寸，可以使得电流镜工作在亚阈值区域，在保证精度的同时实现低功耗。本技术实施例实现空间差分的权重是可重构的，通过数字逻辑控制每个乘法单元的开关控制信号可以实现权重的重构，因此可以实现不同卷积核的空间差分计算。
55.需要说明的是：
56.以上实施例仅表达了本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种像素级空间差分获取电路，其特征在于，包括比较器以及多个电流型乘法运算单元；每一所述电流型乘法运算单元的正电流输出端连接所述比较器的第一输入端；每一所述电流型乘法运算单元的负电流输出端连接所述比较器的第二输入端。2.根据权利要求1所述的像素级空间差分获取电路，其特征在于，所述电流型乘法运算单元包括依次连接的运算放大器、共源共栅晶体管、第一电流镜和第二电流镜。3.根据权利要求2所述的像素级空间差分获取电路，其特征在于，所述第一电流镜包括第一pmos管、第二pmos管和第三pmos管；所述第一pmos管的源极、所述第二pmos管的源极和所述第三pmos管的源极互相连接；所述第一pmos管的栅极、所述第二pmos管的栅极和所述第三pmos管的栅极互相连接；所述第三pmos管的漏极与所述共源共栅晶体管的漏极相连接；所述第二pmos管的漏极连接所述第二电流镜。4.根据权利要求2所述的像素级空间差分获取电路，其特征在于，所述第二电流镜包括第一nmos管和第二nmos管；所述第一nmos管的栅极连接所述第二nmos管的栅极；所述第一nmos管的源极连接所述第二nmos管的源极；所述第一nmos管的漏极分别连接所述第一nmos管的栅极以及所述第一电流镜。5.根据权利要求2所述的像素级空间差分获取电路，其特征在于，所述第一电流镜包括共源共栅电流镜或威尔逊电流镜，所述第二电流镜包括共源共栅电流镜或威尔逊电流镜。6.根据权利要求3所述的像素级空间差分获取电路，其特征在于，所述第三pmos管的漏极与源极之间连接有一个开关。7.根据权利要求4所述的像素级空间差分获取电路，其特征在于，所述第一nmos管的源极与漏极之间连接有一个开关。8.一种图像传感器阵列，其特征在于，包括依次连接的电流型像素阵列、开关阵列、空间差分计算单元和模数转换单元，所述空间差分计算单元包括权利要求1至7中任一项所述的像素级空间差分获取电路；每一所述电流型乘法运算单元的正电流输出端和负电流输出端均连接所述模数转换单元。9.根据权利要求8所述的图像传感器阵列，其特征在于，所述电流型像素阵列包括多个互相并联的电流型像素单元；每一所述电流型像素单元包括一个光电二极管、一个复位管、一个源放大器和一个行选晶体管；所述光电二极管的正极端以及所述复位管的一端分别与所述源放大器的栅极相连接；所述源极放大器的漏极连接所述行选晶体管的一端。10.一种像素级空间差分获取方法，其特征在于，通过权利要求1-7中任一项所述的像素级空间差分获取电路实现；所述获取方法包括：将像素电流信号输入到对应的电流型乘法运算单元，根据权重完成1比特权重计算，将输出的正电流和负电流短接在一起，实现电流的加法运算；所述比较器对所述电流型乘法运算单元的正电流输出端输出信号和负电流输出端输出信号进行比较，确定符号位；根据所述加法运算的结果和所述符号位获取像素级空间差分计算结果。

技术总结
本申请公开了一种像素级空间差分获取电路、方法及图像传感器阵列。本申请实施例提供的像素级空间差分获取电路，包括比较器以及多个电流型乘法运算单元，每一所述电流型乘法运算单元的正电流输出端连接所述比较器的第一输入端，每一所述电流型乘法运算单元的负电流输出端连接所述比较器的第二输入端，能够通过像素级电流读出和列级的电流型空间差分计算电路实现对像素信号的空间差分计算，可以应用在边缘检测等空间信息压缩算法中，减小图像传感器不必要的数据搬移带来的带宽和功耗的消耗。耗。耗。


技术研发人员：杜刚 任旭 刘力桥 何燕冬
受保护的技术使用者：北京大学
技术研发日：2023.03.23
技术公布日：2023/7/17