一种图像采集与处理芯片的制作方法

1.本发明涉及一种图像采集与处理芯片。


背景技术：

2.vps4114a是一款高质量、高性能图像采集与处理芯片。该芯片背后的技术涉及到以下方面：
3.1、高像素传感器技术：vps4114a采用了先进的10亿像素传感器技术，可以捕捉到极其丰富的图像细节，并通过mipi接口以高带宽输出。
4.2、mipi接口技术：mipi接口是一种专门用于移动设备和嵌入式系统的高速串行接口技术。vps4114a采用了mipi接口技术，可以以高速、稳定的方式输出高清图像。
5.3、图像处理技术：vps4114a内部集成了多种先进的图像处理技术，包括噪声滤波、颜色校正、锐化、白平衡、智能补光等。这些技术可以帮助用户快速、准确地处理和分析图像数据。
6.4、高速数据传输技术：vps4114a的输出速率高达48gbps，需要采用高速、稳定的数据传输技术，以确保数据能够在短时间内准确地传输到目标设备。
7.综合这些技术，vps4114a可以实现高质量、高性能的图像采集与处理，广泛应用于高端摄像头、工业视觉、医疗影像等领域。
8.但是现有vps4114a芯片只能进口，价格较高，而且有泄密风险。
9.因此，需要一种新的图像采集与处理芯片以解决上述问题。


技术实现要素：

10.本发明的目的在于，克服现有技术中存在的问题，提供一种图像采集与处理芯片。
11.本发明的图像采集与处理芯片，包括图像传感器像素阵列、数字控制电路、外围模拟电路和数据输出接口，所述图像传感器像素阵列的两侧均设置有240列的假像素，所述图像传感器像素阵列的有效像素阵列大小为30720x34048，所述图像传感器像素阵列包括像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_4、像素子阵列subarray_5、像素子阵列subarray_6和像素子阵列subarray_7，所述像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_4、像素子阵列subarray_5、像素子阵列subarray_6和像素子阵列subarray_7均包括7800x17024个像素，所述数据输出接口包括mipi接口mipi0、mipi接口mipi1、mipi接口mipi2、mipi接口mipi3、mipi接口mipi4、mipi接口mipi5、mipi接口mipi6和mipi接口mipi7，所述mipi接口mipi0对应所述像素子阵列subarray_0,所述mipi接口mipi1对应所述像素子阵列subarray_1, 所述mipi接口mipi2对应所述像素子阵列subarray_2, 所述mipi接口mipi3对应所述像素子阵列subarray_3，所述mipi接口mipi4对应所述像素子阵列subarray_4，所述mipi接口mipi5对应所述像素子阵列subarray_5，所述mipi接口mipi6对应所述像素子阵列subarray_6，所述mipi接口
mipi7对应所述像素子阵列subarray_7，芯片的工作模式包括全采样模式、抽采样模式和开窗模式。
12.更进一步的，所述数字控制电路包括时序控制模块、数据读取模块、数据传输模块、数据处理模块、数据存储模块和通信接口。
13.更进一步的，所述模拟电路包括像素测量与数据生成模块、开关物理实现模块、温度检测模块、电压转换模块和时钟生成模块。
14.更进一步的，所述像素子阵列subarray_2和像素子阵列subarray_0上下镜像对称，所述像素子阵列subarray_3和像素子阵列subarray_1上下镜像对称，所述像素子阵列subarray_6和像素子阵列subarray_4上下镜像对称，所述像素子阵列subarray_7和像素子阵列subarray_5上下镜像对称。
15.更进一步的，当工作模式为全采样模式时，所述像素子阵列subarray_1、像素子阵列subarray_4和像素子阵列subarray_5与所述像素子阵列subarray_0的每行像素读取顺序一致，所述像素子阵列subarray_3、像素子阵列subarray_6和像素子阵列subarray_7与所述像素子阵列subarray_2的每行像素读取顺序一致。
16.更进一步的，当工作模式为全采样模式时，所述像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_4和像素子阵列subarray_5均从第0行向第17023行读取像素，所述像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_6和像素子阵列subarray_7均从第34047行向第17024行读取像素。
17.更进一步的，当工作模式为抽采样模式时，对整个所述图像传感器像素阵列的行和列进行抽采样，只输出抽采样的像素。
18.更进一步的，当工作模式为开窗模式时，在整个所述图像传感器像素阵列里随机开1到16个窗，每个窗的大小为512x512像素。
19.更进一步的，每个像素输出的数据为10bit。
20.更进一步的，所述mipi接口mipi0、mipi接口mipi1、mipi接口mipi2和mipi接口mipi3的数据位宽是64位，芯片内部数据字的位宽是256位，所述芯片内部数据字转换成4个64位串行并通过mipi接口mipi0、mipi接口mipi1、mipi接口mipi2或mipi接口mipi3发送。
21.有益效果：本发明的图像采集与处理芯片将图像传感器的像素阵列分为八个像素子阵列，并在可以在实现10亿像素并通过mipi接口输出48gbps高清图像的高质量、高性能图像采集与处理芯片。
附图说明
22.图1为图像采集与处理芯片的芯片功能框图；
23.图2为图像传感器像素阵列的结构图；
24.图3为有效像素阵列和假像素列的示意图；
25.图4为数据字并串转换示意图；
26.图5为包含25个像素数据的数据字示意图；
27.图6为包含少于25个像素数据的数据字示意图；
28.图7为帧结构-全采样模式示意图；
29.图8为帧结构-2倍抽采样示意图；
30.图9为开窗示意图；
31.图10开窗数据分布示意图；
32.图11为开窗模式下mipi0输出数据帧格式；
33.图12为开窗模式下mipi1输出数据帧格式
34.图13为开窗模式下mipi2输出数据帧格式；
35.图14为开窗模式下mipi3输出数据帧格式；
36.图15为开窗模式下mipi4输出数据帧格式；
37.图16为开窗模式下mipi5输出数据帧格式；
38.图17为开窗模式下mipi6输出数据帧格式；
39.图18为开窗模式下mipi7输出数据帧格式。
具体实施方式
40.现在结合附图对本发明作进一步详细的说明。
41.实施例1：
42.请参阅图1所示，本发明的图像采集与处理芯片，包括图像传感器像素阵列、外围模拟电路、数字控制电路和数据输出接口。
43.数字控制电路包括时序控制模块、数据读取模块、数据传输模块、数据处理模块、数据存储模块和通信接口。
44.模拟电路包括像素测量与数据生成模块、开关物理实现模块、温度检测模块、电压转换模块和时钟生成模块。
45.请参阅图1所示，芯片功能框图：芯片主要包括三个部分：图像传感器像素阵列，外围模拟电路，数字控制电路以及数据输出接口。数字电路负责时序控制、数据读取、数据传输、数据处理、数据存储，接口通信等；模拟电路负责像素测量与数据生成、开关物理实现、温度检测、电压转换、时钟生成等。
46.图像传感器像素阵列结构：
47.请参阅图2所示，像素阵列由34048行组成，每一行有31200个像素，整个阵列的大小为31200x34048。整个像素阵列被划分为八个子阵列（subarray），每个子阵列的大小为7800x17024。图中p_xx表示每行的第xx个像素。如下图2所示。
48.请参与图3所示，每个像素输出的数据为10bit。整个像素阵列的数据通过8个mipi接口输出，每个mipi接口对应一个像素子阵列。例如mipi0对应subarray_0，mipi1对应subarray_1，以此类推。在像素阵列左右两边各有240列的假像素，如图2-3所示。它们不是真实的图像数据，需要从最后的图片中丢弃掉。所以最终的有效像素阵列大小为30720x34048。
49.请参与图4所示，由于芯片内部mipi接口的数据位宽是64位，而芯片的内部数据字（word）的位宽是256位。因此数据字需要从256位转换成4个64位串行才能通过mipi发送。其中最高的64位最先发送，最低的64位最后发送。
50.请参阅图5-图6所示，每一帧由若干个数据字（word）构成，每一个数据字为256bit。每个数据字最多可存储25个像素，每个像素是10bit，一共是250bit，存储在数据字的低250bit。若不足25个像素，则每个像素从数据字最低位开始依次排列，高位补0。
51.每个数据字的高6bit用来存储一些控制信息，控制字定义如下：
52.ubit[252:250]：帧标识（frame_id）。当该数据字为这一帧的第一个数据字时，这三bit数据为该帧的frame_id。否则为全0。帧标识从0开始，每多一帧加1，不断循环。
[0053]
ubit[254:253]：保留位，全0。
[0054]
ubit[255]：数据满标识（full_flag），指示该数据字中是否包含25个像素数据。
[0055]
0：该数据字中包含25个像素数据（图5）。
[0056]
1：该数据字中包含少于25个像素数据（图6）。
[0057]
若full_flag为1，则该数据字的bit [249:245]表示该数据字中有多少个像素值。
[0058]
在不同工作模式下，每个图像的数据量会由于采样和开窗的不同而不同，所以数据帧的大小也是不同的。在全采样模式和抽采样模式下，8个子阵列同时工作，同时输出8个数据帧，通过8个mipi接口同时输出到芯片外部。每个数据帧的大小和格式都是相同的，每幅图像由这8帧构成。在开窗模式下，由于窗的位置是随机的，所以每个子阵列对应的数据量也不是固定的，造成每个mipi的帧的大小也是不同的。
[0059]
全采样模式帧结构
[0060]
当芯片在全采样模式工作时，芯片对整个阵列全部像素采样，输出全部像素。以第一个子阵列为例（subarray_0），数据帧的格式如图7所示。
[0061]
帧长度5311488个数据字（word），共包含17024行像素，每行像素由312个数据字（word）组成，包含7800个像素。由于整个阵列上下镜像对称，因此第三个子阵列（subarray_2）输出的帧与上图所示类似，但是最先输出的是第34047行，然后是第34046行，直到第17024行。subarray_1、subarray_4和subarray_5像素数据输出顺序和subarray_0一致，subarray_2、subarray_6和subarray_7像素数据输出顺序和subarray_2一致。
[0062]
抽采样模式帧结构
[0063]
抽采样模式下，芯片对整个阵列的行和列进行抽采样，只输出抽采样的像素。数据帧的格式和全采样工作模式相似，只是图像数据部分的大小不同。以2倍抽采样为例，两倍抽采样对行和列分别进行2倍的抽采样，图像数据长度是全采样工作模式下的四分之一，第一个子阵列的帧结构如下图8所示。图像数据：长度1327872个数据字（word），共包含8512行像素，每行像素由156个数据字（word）组成，包含3900个像素。不同抽采样模式下帧的大小如图8所示。
[0064]
开窗模式帧结构
[0065]
在开窗模式下，上位机发指令把开窗的位置和开窗的数量发送给芯片，芯片支持在整个像素阵列里随机开1到16个窗，每个窗的大小为512x512像素，窗和窗之间可以重叠。拍摄照片时，每次拍摄前更新坐标；拍摄视频时，帧与帧之间开窗的数目不可以变动，但是开窗的位置可以更新，芯片会在下一帧开始时使用新开窗坐标。
[0066]
如图9所示，每一帧获取开窗坐标后，蓝色部分为目标窗口有效像素区域，黄色为无效像素区域，mipi会将蓝色有效数据与黄色无效数据一起输出。
[0067]
芯片数据被分为8个部分，如图10所示，其中，上半部分左边分别输出至mipi0和mipi1，右半部分输出至mipi4和mipi5；下半部分左半部分输出至mipi2和mipi3，右半部分输出至mipi6和mipi7。上半部分读出顺序为从上至下，下半部分读出顺序为从下至上，在每一帧开始获取新的坐标后，上半部分和下半部分的四个mipi读出的行数量分别是一致的，
但每个mipi输出的数据量由开窗位置所决定：
①
若mipi对应的像素区域存在图9中蓝色或黄色数据，则按读出顺序，每一行每25个像素为一组，从左向右顺序输出，最后一组若存在无效像素，则最高位置1，bit[249:245]输出有效像素个数，每一行以同样的方式输出，直至输出至最后一行；
②
若mipi对应的像素区域不存蓝色或黄色数据，则mipi处于空闲状态，不输出数据。
[0068]
以四个窗为例，如图10所示，窗口1的起始坐标为（100，7299），窗口2的起始坐标为（17124，15089），窗口3的起始坐标为（300，22889），窗口4的起始坐标为（611，22914），窗3和窗4有重叠。开窗的坐标取值范围为：x坐标：[0:33536],y坐标：[240:30448]。在开窗模式下，芯片输出为图10中所有蓝色和黄色的像素数据，其中蓝色为目标窗口的有效数据，黄色部分不在目标窗口内为无效数据。像素阵列分为8个子阵列，其中上半部分分别输出至mipi0、mipi1、mipi4和mipi5，下半部分分别输出至mipi2、mipi3、mipi6和mipi7，上下部分对称输出，如图10中箭头所示，8个子阵列会分别同时输出每个子阵列中的有效和无效数据。
[0069]
其中，
[0070]
mipi0输出数据帧结构如图11所示。
[0071]
mipi1输出数据帧结构如图12所示。
[0072]
mipi2输出数据帧结构如图13所示。
[0073]
mipi3输出数据帧结构如图14所示。
[0074]
mipi4输出数据帧结构如图15所示。
[0075]
mipi5输出数据帧结构如图16所示。
[0076]
mipi6输出数据帧结构如图17所示。
[0077]
mipi7输出数据帧结构如图18所示。
[0078]
mipi(mobile industry processor interface)联盟是2003年由arm、nokia、st、ti等公司成立的一个联盟，mipi（移动行业处理器接口）是mipi联盟发起的为移动应用处理器制定的开放标准。目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。mipi并不是一个单一的接口或协议，而是包含了一套协议和标准，以满足各种子系统独特的要求。常见协议包括摄像头接口csi、显示接口dsi、射频接口digrf、麦克风/喇叭接口slimbus等。目前比较成熟的接口应用有dsi((display serial interface)和csi（camera serial interface）。dsi定义了一个位于处理器和显示模组之间的高速串行接口；csi定义了一个位于处理器和摄像模组之间的高速串行接口。
[0079]
本发明的图像采集与处理芯片将图像传感器的像素阵列分为八个像素子阵列，具有10亿像素并通过mipi接口输出48gbps高清图像的高质量、高性能图像采集与处理芯片。该芯片具有上电自动校准功能，校准完成后快门模式包括全局曝光和正常滚动曝光。采样模式包括全采样、抽采样和开窗模式，芯片内部会根据不同的工作模式对采集的数据采用不同的处理方式。

技术特征：
1.一种图像采集与处理芯片，包括图像传感器像素阵列、数字控制电路、外围模拟电路和数据输出接口，其特征在于，所述图像传感器像素阵列的两侧均设置有240列的假像素，所述图像传感器像素阵列的有效像素阵列大小为30720x34048，所述图像传感器像素阵列包括像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_4、像素子阵列subarray_5、像素子阵列subarray_6和像素子阵列subarray_7，所述像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_4、像素子阵列subarray_5、像素子阵列subarray_6和像素子阵列subarray_7均包括7800x17024个像素，所述数据输出接口包括mipi接口mipi0、mipi接口mipi1、mipi接口mipi2、mipi接口mipi3、mipi接口mipi4、mipi接口mipi5、mipi接口mipi6和mipi接口mipi7，所述mipi接口mipi0对应所述像素子阵列subarray_0,所述mipi接口mipi1对应所述像素子阵列subarray_1, 所述mipi接口mipi2对应所述像素子阵列subarray_2, 所述mipi接口mipi3对应所述像素子阵列subarray_3，所述mipi接口mipi4对应所述像素子阵列subarray_4，所述mipi接口mipi5对应所述像素子阵列subarray_5，所述mipi接口mipi6对应所述像素子阵列subarray_6，所述mipi接口mipi7对应所述像素子阵列subarray_7，芯片的工作模式包括全采样模式、抽采样模式和开窗模式。2.如权利要求1所述图像采集与处理芯片，其特征在于，包括时序控制模块、数据读取模块、数据传输模块、数据处理模块、数据存储模块和通信接口。3.如权利要求1所述图像采集与处理芯片，其特征在于，所述模拟电路包括像素测量与数据生成模块、开关物理实现模块、温度检测模块、电压转换模块和时钟生成模块。4.如权利要求1所述图像采集与处理芯片，其特征在于，所述像素子阵列subarray_2和像素子阵列subarray_0上下镜像对称，所述像素子阵列subarray_3和像素子阵列subarray_1上下镜像对称，所述像素子阵列subarray_6和像素子阵列subarray_4上下镜像对称，所述像素子阵列subarray_7和像素子阵列subarray_5上下镜像对称。5.如权利要求1所述图像采集与处理芯片，其特征在于，当工作模式为全采样模式时，所述像素子阵列subarray_1、像素子阵列subarray_4和像素子阵列subarray_5与所述像素子阵列subarray_0的每行像素读取顺序一致，所述像素子阵列subarray_3、像素子阵列subarray_6和像素子阵列subarray_7与所述像素子阵列subarray_2的每行像素读取顺序一致。6.如权利要求1所述图像采集与处理芯片，其特征在于，当工作模式为全采样模式时，所述像素子阵列subarray_0、像素子阵列subarray_1、像素子阵列subarray_4和像素子阵列subarray_5均从第0行向第17023行读取像素，所述像素子阵列subarray_2、像素子阵列subarray_3、像素子阵列subarray_6和像素子阵列subarray_7均从第34047行向第17024行读取像素。7.如权利要求1所述图像采集与处理芯片，其特征在于，当工作模式为抽采样模式时，对整个所述图像传感器像素阵列的行和列进行抽采样，只输出抽采样的像素。8.如权利要求1所述图像采集与处理芯片，其特征在于，当工作模式为开窗模式时，在整个所述图像传感器像素阵列里随机开1到16个窗，每个窗的大小为512x512像素。9.如权利要求1所述图像采集与处理芯片，其特征在于，每个像素输出的数据为10bit。

技术总结
本发明公开了一种图像采集与处理芯片，包括图像传感器像素阵列、数字控制电路、外围模拟电路和数据输出接口，所述图像传感器像素阵列的有效像素阵列大小为30720x34048，所述图像传感器像素阵列包括八个像素子阵列，八个像素子阵列分别对应八个MIPI接口。本发明的图像采集与处理芯片将图像传感器的像素阵列分为八个像素子阵列，并在可以在实现10亿像素并通过mipi接口输出48Gbps高清图像的高质量、高性能图像采集与处理芯片。能图像采集与处理芯片。能图像采集与处理芯片。


技术研发人员：黄敏红
受保护的技术使用者：南京威派视半导体技术有限公司
技术研发日：2023.04.10
技术公布日：2023/7/22