一种多图像信号处理器的主从控制方法及相关装置与流程

1.本发明是关于图像处理领域，特别是关于一种多图像信号处理器的主从控制方法及相关装置。


背景技术：

2.随着社会的发展、技术的进步，图像处理越来越重要，应用于诸如医学、军事、工业、科研、自动驾驶等的方方面面。由于存在各种多变的因素，获得图像往往不尽如人意。为了取得更好的图像效果，满足人们观测需求，必须经过专门的图像处理。isp(image signal processor，图像信号处理器)通过运行各种算法程序，实时处理图像信号。
3.在现有技术avm(around view monito，全景监控系统)中，需要把多个相机拍摄的图像拼接融合成一幅图像，在相机中，每一个图像传感器对应一个图像信号处理器，各个图像信号处理器独立调节图像。但是存在以下问题：
4.由于各个相机的拍摄环境不同，图像的亮度或色彩有差异，导致各个图像信号处理器处理后的图像有差异，图像拼接难以保证均匀性。
5.因此，寻找一种能够使多个图像信号处理器同时对图像传感器中的图像进行处理，保证同时出图以及图像的亮度以及色彩均匀的处理方法，是本领域技术人员亟待解决的技术问题。


技术实现要素：

6.本发明的目的在于提供一种多图像信号处理器的主从控制方法，其能够使多个图像处理器同时对图像进行处理，保证图像亮度或色彩的均匀。
7.为实现上述目的，本发明提供了一种多图像信号处理器的主从控制方法，包括：
8.主控制器获取主图像信号处理器的图像参数；
9.所述主控制器将主图像信号处理器的图像参数发送至从图像信号处理器中；
10.所述主控制器向主图像信号处理器和从图像信号处理器发送控制指令，使所述主图像信号处理器和从图像信号处理器对图像同时进行处理。
11.在本发明的一实施方式中，所述主图像信号处理器根据当前行车环境确定。
12.在本发明的一实施方式中，所述主图像信号处理器根据当前行车环境确定的步骤包括：
13.确定车辆的行驶方向；
14.分别计算图像处理器对应的图像传感器与行驶方向之间的夹角；
15.根据所述夹角的大小确定主图像信号处理器。
16.在本发明的一实施方式中，所述主图像信号处理器根据当前行车环境确定的步骤还包括：
17.检测车辆到障碍物的距离；
18.分别计算图像处理器对应的图像传感器与障碍物之间的距离；
19.根据所述传感器与障碍物之间的距离确定主图像信号处理器。
20.在本发明的一实施方式中，所述主控制器获取主图像信号处理器的图像参数具体包括：
21.所述主图像信号处理器从图像传感器得到原始图像，计算所述原始图像的实际统计值；
22.将所述实际统计值与目标统计值进行对比，判断其是否一致，若不一致，则对所述主图像信号处理器的图像参数进行调整。
23.在本发明的一实施方式中，所述统计值包括曝光时间和曝光增益，所述曝光时间和曝光增益根据原始图像的亮度信息和直方图信息计算得出。
24.在本发明的一实施方式中，所述主控制器获取主图像信号处理器的图像参数还包括：
25.所述主图像信号处理器保留上一帧的图像参数；
26.当所述主图像信号处理器对当前帧图像进行处理时，将所述上一帧的图像参数与当前帧的图像参数进行对比，得到图像参数的变化值；
27.所述主控制器将变化值发送至从图像信号处理器中。
28.本技术还提供一种多图像信号处理器的主从控制装置，包括：
29.图像传感器，用于采集原始图像并同时出图；
30.图像信号处理器，用于对所述原始图像进行图像处理，其中所述图像信号处理器包括主图像信号处理器和从图像信号处理器；
31.主控制器，用于将所述主图像信号处理器的图像参数发送至从图像信号处理器中，使图像信号处理器的图像参数一致。
32.本技术还提供一种车辆，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述任一项所述的多图像信号处理器的主从控制方法。
33.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述任一项所述的多图像信号处理器的主从控制方法的步骤。
34.与现有技术相比，本技术具有以下有益效果：
35.本技术通过主控制器将主图像信号处理器的图像参数分别发送给从图像信号处理器，使所有图像信号处理器的图像参数保持一致，主控制器向主图像信号处理器和从图像信号处理器发送控制指令，保证图像参数可以同时生效，从而保证图像调节的一致性。
36.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是根据本发明一实施方式的多图像信号处理器的主从控制方法的流程图；
39.图2是根据本发明一实施方式的多图像信号处理器的主从控制装置的框图。
具体实施方式
40.下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
41.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
42.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
43.作为本领域技术人员可以理解的，avm(around view monito，全景监控系统)主要是由图像传感器(sensor)、图像信号处理器(isp)和主控制器构成，其中图像传感器(sensor)用于采集图像，图像信号处理器(isp)用于对图像传感器采集的图像进行处理，主控制器用于负责将图像信号处理器处理后的图像进行拼接融合。
44.图像传感器和图像信号处理器可以集成于相机内部，图像信号处理器可以是独立设置，也可以是集成于图像传感器中。每个传感器对应一个图像信号处理器，每个图像信号处理器都可以独立对图像进行处理。
45.图像信号处理器(isp)可以执行各种图像处理操作，例如黑电平校正、镜头阴影校正、坏点校正、颜色插值、去除噪声、自动白平衡、颜色校正、gamma校正、色彩空间转换、高动态范围、降噪和锐化、自动曝光以及af自动对焦等操作。通过图像信号处理器对图像进行处理，能够有效提高图像的质量，使图像效果达到最优。
46.如图1所示，本技术提供一种多图像信号处理器的主从控制方法，包括：
47.主控制器获取主图像信号处理器的图像参数；
48.所述主控制器将主图像信号处理器的图像参数发送至从图像信号处理器中；
49.所述主控制器向主图像信号处理器和从图像信号处理器发送控制指令，使所述主图像信号处理器和从图像信号处理器对图像同时进行处理。
50.本技术通过主控制器将主图像信号处理器中的图像参数发送至从图像信号处理器中，保证主图像信号器的图像参数和从图像信号处理器的图像参数一致，从图像信号处理器对于从主图像信号处理器同步过来的图像参数不需要进行计算分析，当主图像信号处理器和从图像信号处理器接收到主控制器发出的控制指令时，主图像信号处理器和从图像信号处理器中的图像参数同时生效，即同时反应到各自图像传感器采集的原始图像上，同
时对图像传感器采集的原始图像进行处理，保证图像调节一致性。
51.可以理解的，多个相机通过各自的图像传感器分别采集原始图像，为使多个图像传感器能够同时出图，则需要保证多个图像传感器同步触发。每个相机中的图像传感器上都有触发信号引脚，当信号电位从低电平变为高电平时上升沿触发图像传感器产生一帧图像，比如，图像传感器的帧率为30fps，则上升沿触发信号也为30hz，通过上升沿同步触发图像传感器，通过同步触发多个图像传感器的信号引脚保证多个图像传感器能够同步触发出图。
52.其中图像信号处理器中的图像参数包括自动曝光(ae)、自动白平衡参数(awb)、颜色校正矩阵(ccm)、色彩映射(tone mapping)以及校正灰度系数(gamma)等。主控制器通过i2c或spi等接口读取主图像信号处理器中寄存器内保存的图像参数，并将主图像信号处理器中的图像参数发送给从图像信号处理器。
53.其中，所述主图像信号处理器根据当前行车环境确定，当行车环境发生变化时，主图像信号处理器也会随之改变，则剩下的图像信号处理器为从图像信号处理器。如，车辆有四个相机，即前方相机、后方相机、左方相机以及右方相机，当车辆行驶在道路上时，此时车辆前端的图像效果最重要，则车辆前方相机对应的图像信号处理器为主图像信号处理器，后方相机、左方相机以及右方相机对应的图像信号处理器均为从图像信号处理器；当车辆在倒车时，此时车辆后端的图像效果更重要，则此时车辆后方相机对应的图像信号处理器为主图像信号处理器，前方相机、左方相机和右方相机对应的图像信号处理器均为从图像信号处理器。主控制器可以根据车辆的当前行车环境确定主图像信号处理器，本技术并不对主图像信号处理器做具体限制。
54.在本技术的一实施方式中，所述主图像信号处理器根据当前行车环境确定的步骤包括：
55.确定车辆的行驶方向；
56.分别计算图像处理器对应的图像传感器与行驶方向之间的夹角；
57.根据所述夹角的大小确定主图像信号处理器。
58.可以理解的，当车辆只有四个相机，即前方相机、后方相机、左方相机和右方相机，车辆在后退时，此时后方相机的图像传感器与车辆行驶方向的夹角最小，则后方相机对应的图像信号处理器是主图像信号处理器，前方相机、左方相机以及右方相机所对应的图像信号处理器均是从图像信号处理器。
59.具体的，以车辆的行驶方向为中轴，取90
°
视场角a，判断各个相机hfov(水平视场角)和视场角a的重叠区域，取重叠区域最大的一个相机所对应的图像信号处理器为主图像信号处理器，则剩余的图像信号处理器为从图像信号处理器。
60.在本技术的一实施方式中，所述主图像信号处理器根据当前行车环境确定的步骤还包括：
61.检测车辆到障碍物的距离；
62.分别计算图像处理器对应的图像传感器与障碍物之间的距离；
63.根据所述传感器与障碍物之间的距离确定主图像信号处理器。
64.可以理解的，通过根据车辆距离障碍物的远近确定不同的主图像信号处理器，如，当车辆有四个相机，即前方相机、后方相机、左方相机和右方相机，当超声波或毫米波传感
器检测到车辆附近有障碍物，分别计算四个相机对应的传感器与障碍物之间的距离，若检测到后方相机对应的传感器与障碍物之间的距离最小，则后方相机对应的图像信号处理器为主图像信号处理器，前方相机、左方相机和右方相机所对应的图像信号处理器均为从图像信号处理器。
65.在本技术一实施例中，当车辆有四个相机，即前方相机、后方相机、左方相机和右方相机，在车辆行驶过程中，超声波或毫米波传感器还检测到车辆附近有障碍物，此时计算出各图像传感器与障碍物之间的距离，若至少一个与障碍物之间的距离小于预设距离，则与障碍物之间的距离小于预设距离的图像传感器所对应的图像信号处理器为主图像信号处理器；若各图像传感器与障碍物之间的距离均大于预设距离，则根据车辆的行驶方向确定主图像信号处理器。其中，预设距离可以根据实际需求进行设置，本技术并不对预设距离做进行具体限定。
66.可以理解的，相机对应的图像传感器与车辆行驶方向的夹角以及障碍物之间的距离可以设置误差范围，即当夹角或与障碍物之间的距离处于误差范围内时不影响主图像信号处理器的确定：当夹角或与障碍物之间的距离处于临界状态时，为了避免主图像信号处理器来回切换，在误差范围内保持之前的设置，当超出误差范围后，改变主图像信号处理器。
67.在本技术的进一步实施例中，当车辆只有四个相机，即前方相机、后方相机、左方相机和右方相机，车辆在后退时，此时后方相机对应的图像信号处理器为主图像信号处理器，若此时车辆的左前方出现了障碍物且障碍物与前方相机对应的图像传感器的距离过近(小于预设距离)，则此时将前方相机对应的图像信号处理器设置为主图像信号处理器。
68.在本技术一实施例中，主控制器一般通过can协议接收车辆的行驶方向和与障碍物之间的距离，根据车辆的行驶方向和障碍物之间的距离确定主图像信号处理器。当相机对应的图像传感器与行驶方向之间的夹角相同，且到障碍物之间的距离也相同时，以距离优先，确定主图像信号处理器，剩余相机对应的图像信号处理器均为从图像信号处理器，避免车辆发生碰撞。
69.作为本领域技术人员可以理解的，can(controller area network，控制器局域网络)协议，是一种用于实时应用的串行通讯协议数据总线，可以使用双绞线来传输信号，检错能力强，可在高噪声干扰环境中工作。其中，can协议数据传递更安全可靠、能够高速实时传递且适用于各种汽车。本技术主控制器通过采用can协议能够实时接收车辆的行驶方向和与障碍物之间的距离，确保主控制器能够实时对车辆周边的环境进行感知，并通过主图像信号处理器和从图像信号处理器对图像传感器采集到的原始图像进行处理，保证在图像处处理解图像调节的一致性，便于主控制器对处理后的图像进行拼接融合。
70.作为本技术的进一步实施例，所述主控制器获取主图像信号处理器的图像参数具体包括：
71.所述主图像信号处理器从图像传感器得到原始图像，计算所述原始图像的实际统计值；
72.将所述实际统计值与目标统计值进行对比，判断其是否一致，若不一致，则对所述主图像信号处理器的图像参数进行调整。
73.其中，所述统计值包括曝光时间和曝光增益，所述曝光时间和曝光增益根据原始
图像的亮度信息和直方图信息计算得出。
74.可以理解的，根据不同的行车环境，主图像信号处理器设置不同的目标统计值，主图像信号处理器根据原始图像的亮度信息和直方图信息计算出实际统计值，将实际统计值与目标统计值进行比较，若实际统计值与目标统计值不相同，则说明主图像信号处理器中的图像参数需要进行调整，即调整曝光时间或曝光增益。如，当目标统计值的亮度为10，原始图像的实际统计值的亮度为8，则需要对原始图像的曝光时间或曝光增益进行调整，将原始图像的实际统计值的亮度弥补至10。
75.具体的，将图像传感器采集的原始图像进行分区，分别计算各个区块的亮度信息和直方图信息，进而得到原始图像的实际统计值的亮度，其中直方图信息为亮度直方图。可以理解的，在车辆行驶过程中，提高车辆前进方向90
°
视场角区域图像的亮度统计权重，可以使得前进方向的图像亮度达到最优。
76.作为本技术的进一步实施例，所述主控制器获取主图像信号处理器的图像参数还包括：
77.所述主图像信号处理器保留上一帧的图像参数；
78.当所述主图像信号处理器对当前帧图像进行处理时，将所述上一帧的图像参数与当前帧的图像参数进行对比，得到图像参数的变化值；
79.所述主控制器将变化值发送至从图像信号处理器中。
80.可以理解的，当车辆有四个相机，即前方相机、后方相机、左方相机以及右方相机，当车辆的行车环境发生变化，则主图像信号处理器发生变化，若上一帧图像是前方相机对应的图像信号处理器为主图像信号处理器，主图像信号处理器保存上一帧主图像信号处理器的图像参数，若当前帧图像是后方相机对应的图像信号处理器为主图像信号处理器，则将当前帧的主图像信号处理器图像参数与上一帧主图像信号处理器的图像参数进行对比，得到图像参数的变化值，主控制器将变化值分别发送给前方相机、左方相机和右方相机对应的图像信号处理器中。
81.本技术还提供一种多图像信号处理器的主从控制装置，包括图像传感器、图像信号处理器和主控制器，图像传感器用于采集原始图像并同时出图；图像信号处理器用于对所述原始图像进行图像处理，其中所述图像信号处理器包括主图像信号处理器和从图像信号处理器；主控制器用于将所述主图像信号处理器的图像参数发送至从图像信号处理器中，使图像信号处理器的图像参数一致。
82.如图2所示，在本技术一实施例中，多图像信号处理器的主从控制装置包括4个图像信号处理器(isp)、4个图像传感器(sensor)和一个主控制器，4个相机分别通过4个图像传感器采集原始图像，主控制器根据车辆的当前行驶环境确定主图像信号处理器，并将主图像信号处理器的图像参数发送至从图像信号处理器中，主控制器发送控制指令至主图像信号处理器和从图像信号处理器中，保证主图像信号处理和从图像信号处理器能够同时对图像进行处理，并同时出图，保证多个图像处理的色彩和亮度均匀。
83.在本技术一实施方式中，当车辆有四个相机，即前方相机、后方相机、左方相机和右方相机，当车辆的左侧经过一辆红色的大卡车，由于大面积纯色影响了相机的白平衡，此时4个相机对应的图像信号处理器的图像参数并不相同，由于左方相机对应的图像传感器与大卡车之间的距离最近，则左方相机对应的图像信号处理器为主图像信号处理器，前方
相机、后方相机以及右方相机对应的图像信号处理器为从图像信号处理器。计算出左方相机对应的图像传感器采集的原始图像的实际统计值，将实际统计值与目标统计值对比，调整主图像信号处理器的图像参数，主控制器将主图像信号处理器的参数发送至从图像信号处理器中，则从图像信号处理器中的图像参数被强制设置成了与主图像信号处理器相同的白平衡参数，主控制器发送控制指令至主图像信号处理器和从图像信号处理器中，保证图像信号处理器的图像参数一致，保证处理后的图像亮度或色彩均匀，便于拼接融合。
84.本技术还提供一种车辆，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述任一项所述的多图像信号处理器的主从控制方法。
85.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述任一项所述的多图像信号处理器的主从控制方法的步骤。
86.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
87.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
88.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
89.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
90.前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

技术特征：
1.一种多图像信号处理器的主从控制方法，其特征在于，包括：主控制器获取主图像信号处理器的图像参数；所述主控制器将主图像信号处理器的图像参数发送至从图像信号处理器中；所述主控制器向主图像信号处理器和从图像信号处理器发送控制指令，使所述主图像信号处理器和从图像信号处理器对图像同时进行处理。2.如权利要求1所述的一种多图像信号处理器的主从控制方法，其特征在于，所述主图像信号处理器根据当前行车环境确定。3.如权利要求2所述的一种多图像信号处理器的主从控制方法，其特征在于，所述主图像信号处理器根据当前行车环境确定的步骤包括：确定车辆的行驶方向；分别计算图像处理器对应的图像传感器与行驶方向之间的夹角；根据所述夹角的大小确定主图像信号处理器。4.如权利要求2所述的一种多图像信号处理器的主从控制方法，其特征在于，所述主图像信号处理器根据当前行车环境确定的步骤还包括：检测车辆到障碍物的距离；分别计算图像处理器对应的图像传感器与障碍物之间的距离；根据所述传感器与障碍物之间的距离确定主图像信号处理器。5.如权利要求1所述的一种多图像信号处理器的主从控制方法，其特征在于，所述主控制器获取主图像信号处理器的图像参数具体包括：所述主图像信号处理器从图像传感器得到原始图像，计算所述原始图像的实际统计值；将所述实际统计值与目标统计值进行对比，判断其是否一致，若不一致，则对所述主图像信号处理器的图像参数进行调整。6.如权利要求5所述的一种多图像信号处理器的主从控制方法，其特征在于，所述统计值包括曝光时间和曝光增益，所述曝光时间和曝光增益根据原始图像的亮度信息和直方图信息计算得出。7.如权利要求1所述的一种多图像信号处理器的主从控制方法，其特征在于，所述主控制器获取主图像信号处理器的图像参数还包括：所述主图像信号处理器保留上一帧的图像参数；当所述主图像信号处理器对当前帧图像进行处理时，将所述上一帧的图像参数与当前帧的图像参数进行对比，得到图像参数的变化值；所述主控制器将变化值发送至从图像信号处理器中。8.一种多图像信号处理器的主从控制装置，其特征在于，包括：图像传感器，用于采集原始图像并同时出图；图像信号处理器，用于对所述原始图像进行图像处理，其中所述图像信号处理器包括主图像信号处理器和从图像信号处理器；主控制器，用于将所述主图像信号处理器的图像参数发送至从图像信号处理器中，使图像信号处理器的图像参数一致。9.一种车辆，其特征在于，包括：存储器、处理器以及存储在所述存储器上并可在所述
处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的多图像信号处理器的主从控制方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的多图像信号处理器的主从控制方法的步骤。

技术总结
本发明公开了一种多图像信号处理器的主从控制方法及相关装置，包括：主控制器获取主图像信号处理器的图像参数；所述主控制器将主图像信号处理器的图像参数发送至从图像信号处理器中；所述主控制器向主图像信号处理器和从图像信号处理器发送控制指令，使所述主图像信号处理器和从图像信号处理器对图像同时进行处理。本申请通过主控制器将主图像信号处理器和从图像信号处理器的图像参数保持一致，并对采集的原始图像进行同步处理，保证处理后图像的亮度或色彩均匀，便于进行拼接融合。便于进行拼接融合。便于进行拼接融合。


技术研发人员：杨超
受保护的技术使用者：深圳元戎启行科技有限公司
技术研发日：2023.03.10
技术公布日：2023/7/21