图像处理装置及方法、移动体控制装置、以及存储介质与流程

1.本发明涉及图像处理装置、移动体控制装置、图像处理方法及存储介质。


背景技术：

2.以往，已知使用由搭载于车辆的相机拍摄到的图像来识别车辆的周围，并将识别结果利用于驾驶支援等控制中的技术。另外，以往，已知为了扩大周围的检测范围而使用利用了鱼眼镜头的鱼眼相机的技术(例如，日本特开2021-004017号公报)。


技术实现要素：

3.然而，在以往技术中，由鱼眼相机拍摄到的图像有时因鱼眼镜头等的影响而失真大，若直接采用拍摄图像则不能高精度地识别图像中的物体目标的形状、大小等。也考虑对由鱼眼相机拍摄到的图像进行失真修正而使用于物体识别的情况，但拍摄的图像范围为广范围，因此图像处理的负荷变大，有时在需要迅速地检测周边的物体目标的状况下鱼眼相机的图像不恰当而不适合。
4.本发明的方案是考虑这样的情况而完成的，其目的之一在于提供能够对相机图像进行更恰当的图像处理的图像处理装置、移动体控制装置、图像处理方法及存储介质。
5.本发明的图像处理装置、移动体控制装置、图像处理方法及存储介质采用了以下的结构。
6.(1)：本发明的一方案的图像处理装置具备：取得部，其取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定部，其设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；变换部，其将基于由所述设定部设定出的着眼位置而设定的局部图像变换为第二图像；以及物体目标检测部，其基于由所述变换部变换得到的第二图像来检测所述移动体的周围的物体目标，所述设定部基于由所述物体目标检测部检测的检测结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。
7.(2)：在上述(1)的方案中，所述设定部在基于由所述摄像部拍摄到的过去的第一图像而得到的所述第二图像中未检测到规定的物体目标的情况下，将所述着眼位置变更为比根据所述第二图像检测到物体目标的情况下的着眼位置向远方规定距离以上的位置。
8.(3)：在上述(1)的方案中，所述设定部在基于由所述摄像部拍摄到的过去的第一图像而得到的所述第二图像中检测到规定的物体目标的情况下，不变更所述着眼位置。
9.(4)：在上述(3)的方案中，所述规定的物体目标包括与所述移动体相向行驶的相向移动体。
10.(5)：在上述(1)的方案中，所述设定部在所述移动体的角速度为规定角度以上的情况下，使所述着眼位置根据所述角速度而沿水平方向移动。
11.(6)：在上述(2)的方案中，所述向远方规定距离以上的位置包括距与所述移动体行驶的行车道相邻的行车道规定距离以内的位置。
12.(7)：在上述(2)的方案中，所述向远方规定距离以上的位置包括相对于由所述物
体目标检测部能够检测到的行车道中的距所述移动体最远的行车道而处于规定距离以内的位置。
13.(8)：在上述(1)的方案中，所述物体目标是存在使所述移动体脱离行驶中的行车道的可能性的物体目标。
14.(9)：本发明的一方案的移动体控制装置具备：权利要求1所述的图像处理装置；以及驾驶控制部，其基于由所述图像处理装置处理的处理结果，来控制所述移动体的转向及速度中的一方或双方。
15.(10)：本发明的一方案的移动体控制方法使计算机进行如下处理：取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；将基于所设定出的所述着眼位置而设定的局部图像变换为第二图像；基于所变换得到的所述第二图像来检测所述移动体的周围的物体目标；基于所检测到的结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。
16.(11)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；将基于所设定出的所述着眼位置而设定的局部图像变换为第二图像；基于所变换得到的所述第二图像来检测所述移动体的周围的物体目标；基于所检测到的结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。
17.根据上述(1)～(11)的方案，能够进行更恰当的移动体控制。
附图说明
18.图1是包括实施方式的图像处理装置的车辆系统的结构图。
19.图2是用于说明相机的拍摄范围的图。
20.图3是用于说明图像处理部的功能的图。
21.图4是用于说明变更着眼位置的图。
22.图5是用于说明检测到相向车辆的情况下的变换中心位置的设定的图。
23.图6是表示由车辆控制装置执行的处理的流程的一例的流程图。
24.图7是表示实施方式的图像处理的流程的一例的流程图。
25.图8是表示着眼位置的设定处理的一例的流程图。
具体实施方式
26.以下，参照附图，来说明本发明的图像处理装置、移动体控制装置、图像处理方法及存储介质的实施方式。在以下的说明中，说明图像处理装置搭载于移动体的例子。所谓移动体，例如是指车辆、微型移动体(micro-mobility)、自主移动机器人、船舶、无人机等能够通过自身所具备的驱动机构移动的构造体。在以下的说明中，以移动体是在地上移动的车辆为前提，说明用于专门使车辆在地上移动的结构及功能。所谓“控制移动体”，例如是指以手动驾驶为主，通过声音、显示等对驾驶操作提出建议、进行某种程度的干涉控制。控制移动体至少包括暂时控制移动体的转向及速度中的一方或双方而使移动体自主移动，可以包括对保护移动体的乘员的保护装置的工作进行控制这一情况。
27.[整体结构]
[0028]
图1是包括实施方式的图像处理装置的车辆系统1的结构图。搭载车辆系统1的车辆(以下称作本车辆m)例如是二轮、三轮、四轮等的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
[0029]
车辆系统1例如具备相机10、hmi(human machine interface)30、车辆传感器40、驾驶操作件80、车辆控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。这些装置、设备通过can(controller area network)通信线等多路通信线、串行通信线、无线通信网等互相连接。图1所示的结构只是一例，可以省略结构的一部分，也可以还追加别的结构。相机10是“摄像部(图像传感器)”的一例。hmi30是“输出部”的一例。车辆控制装置100是“移动体控制装置”的一例。
[0030]
相机10拍摄本车辆m的周边。相机10例如是能够以广角(例如以360度)拍摄本车辆m的周边的相机。相机10例如是设置有广角镜头、鱼眼镜头的相机，称作所谓的广角相机或鱼眼相机。相机10例如安装于移动体m的上部，并在水平方向上对移动体m的周边广角拍摄。相机10可以将多个相机(在水平方向上对约60～180度程度的范围进行拍摄的多个相机)组合来实现，也可以具有标准相机。
[0031]
图2是用于说明相机10的拍摄范围的图。在图2的例子中，示出了安装于本车辆m的前后左右的鱼眼相机、以及用于拍摄本车辆m的前方的安装于任意的位置(例如，本车辆m的前部中央)的标准相机的水平方向的拍摄范围。安装于本车辆m的前方的鱼眼相机例如对拍摄范围ir1所包含的风景进行拍摄。拍摄范围ir1的中心c1面向本车辆m的正前方。安装于本车辆m的右侧的鱼眼相机对拍摄范围ir2所包含的风景进行拍摄。拍摄范围ir2的中心c2面向本车辆m的右方的正侧方。安装于本车辆m的后方的鱼眼相机对拍摄范围ir3所包含的风景进行拍摄。拍摄范围ir3的中心c3面向本车辆m的正后方。安装于本车辆m的左侧的鱼眼相机对拍摄范围ir4所包含的风景进行拍摄。拍摄范围ir4的中心c4面向本车辆m的左方的正侧方。在图2的例子中各鱼眼相机的水平方向的视角是约180度，但不限定于此。标准相机对拍摄范围ir5所包含的风景进行拍摄。拍摄范围ir5的中心200c面向本车辆m的正前方。标准相机的水平方向的视角是约30度程度，但不限定于此。
[0032]
本车辆m除了上述的相机10之外还可以具备检测物体目标的雷达装置、lidar(light detection and ranging)、声呐等。相机10、雷达装置、lidar及声呐是识别本车辆m的周边状况的外界传感器的一例。由相机10周期性地反复对本车辆m的周边进行拍摄，由此拍摄时间序列的图像。包括由相机10按时间序列拍摄到的多个图像帧在内的图像数据向车辆控制装置100输出。
[0033]
hmi30通过hmi控制部180的控制对本车辆m的乘员提示各种信息，并且接受由乘员进行的输入操作。hmi30例如包括各种显示装置、扬声器、开关、话筒、蜂鸣器、触摸面板、按键等。各种显示装置例如是lcd(liquid crystal display)、有机el(electro luminescence)显示装置等。显示装置例如设置于仪表板中的驾驶员座(距转向盘最近的座位)的正面附近，设置于乘员能够从转向盘的间隙或者越过转向盘视觉辨认的位置。显示装置也可以设置于仪表板的中央。显示装置也可以是hud(head up display)。hud通过向驾驶员座前方的前风窗玻璃的一部分投影图像，使就座于驾驶员座的乘员的眼睛视觉辨认虚
像。显示装置显示由后述的hmi控制部180生成的图像。
[0034]
车辆传感器40包括检测本车辆m的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂的角速度的横摆角速度传感器、检测本车辆m的朝向的方位传感器等。车辆传感器40可以包括检测本车辆m的转向角(可以是转向轮的角度，也可以是转向盘的操作角度)的转向角传感器。车辆传感器40可以包括取得本车辆m的位置的位置传感器。位置传感器例如是从gps(global positioning system)装置取得位置信息(经度、纬度信息)的传感器。位置传感器例如也可以是使用搭载于本车辆m的导航装置(未图示)的gnss(global navigation satellite system)接收机来取得位置信息的传感器。
[0035]
驾驶操作件80例如包括转向盘、油门踏板、制动踏板、换挡杆、以及其他操作件。操作件无需一定为环状，也可以异形转向盘、操纵杆、按钮等形态。在驾驶操作件80安装有检测操作量或者操作的有无的传感器，其检测结果向车辆控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
[0036]
车辆控制装置100例如具备图像处理部120、判定部140、驾驶控制部160、hmi控制部180及存储部190。图像处理部120、驾驶控制部160及hmi控制部180分别例如通过cpu(central processing unit)等硬件处理豁执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过lsi(large scale integration)、asic(application specific integrated circuit)、fpga(field-programmable gate array)、gpu(graphics processing unit)等硬件(包括电路部：circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序可以预先保存于车辆控制装置100的hdd、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于dvd、cd-rom等能够装卸的存储介质，并通过存储介质(非暂时性的存储介质)装配于驱动装置而安装于车辆控制装置100的hdd、闪存器。图像处理部120是“图像处理装置”的一例。hmi控制部180是“输出控制部”的一例。
[0037]
存储部190也可以通过上述的各种存储装置、或者ssd(solid state drive)、eeprom(electrically erasable programmable read only memory)、rom(read only memory)、或ram(random access memory)等来实现。存储部190例如保存由相机10拍摄到的图像(时间序列周边图像)、地图信息、程序、以及其他各种信息等。地图信息例如也可以包括道路形状(道路宽度、曲率、坡度)、车道数、交叉路口、车道(行车道)的中央的信息或者车道的边界(划分线)的信息等。地图信息也可以包括poi(point ofinterest)信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。
[0038]
图像处理部120对由相机10拍摄到的图像(以下，称作相机图像)进行规定的图像处理等。相机图像是“第一图像”的一例。包含于相机图像的拍摄范围是图2所示的拍摄范围ir1～ir5中的至少一个。图像处理部120例如具备取得部122、设定部124、变换部126及物体目标检测部128。
[0039]
取得部122取得由相机10按时间序列拍摄到的相机图像。取得部122可以使所取得的相机图像存储于存储部190等。
[0040]
设定部124设定由取得部122取得的相机图像中的一个以上的着眼位置。着眼位置是指，针对由例如鱼眼相机拍摄到的图像而由变换部126进行图像变换的情况下的变换中心点。变换中心点例如是指，与相机图像上的从本车辆m起的方向及距本车辆m的距离建立对应关系的点。变换中心点例如可以根据本车辆m的状况(例如，本车辆m的位置、速度、角速
度等行为)、本车辆m行驶的道路的形状等来设定。
[0041]
设定部124设定相机图像中的一个以上的着眼位置，并设定针对所设定的各着眼位置的一个以上的局部图像。局部图像的形状例如是矩形，但也可以是其他形状(例如圆形等)。局部图像区域的大小可以固定，也可以根据所设定的着眼位置的位置、方向而可变设定。在根据所设定的着眼位置的位置、方向而设定局部图像区域的大小的情况下，例如，设定部124基于在假定为在所设定的着眼位置附近检测出其他车辆的情况下所设想的其他车辆的大小，来设定局部图像区域的大小。
[0042]
设定部124基于由物体目标检测部128对与过去的时刻拍摄到的相机图像对应的局部图像进行检测的检测结果、以及本车辆m的状况中的至少一方来变更着眼位置。
[0043]
变换部126例如针对基于由取得部122取得的相机图像中的由设定部124设定的变换中心点而得到的局部图像，进行失真修正处理等规定的图像处理，变换为使失真减轻而进行了正规化的正规化图像。正规化图像是“第二图像”的一例。变换部126例如可以通过使用预先准备的校准数据、失真模型数据等进行坐标变换、插补运算等来进行失真修正，也可以使用其他已知的失真修正算法来进行局部图像的失真修正。通过失真修正处理，越是距变换中心点近的位置则越减轻失真，越是远离变换中心点的位置则越不减轻失真、或者越增大失真。因此，在设定部124中，通过在相机图像中的特别想要着眼的地点(例如，本车辆m的前方、侧方、后方的道路上的地点)设定变换中心点，关于该区域生成失真减轻了的修正图像。
[0044]
变换部126也可以将针对与多个着眼位置建立了对应关系的局部图像而言的多个正规化图像合成。在该情况下，各局部图像(各着眼位置)的距拍摄范围的中心的距离、角度(换言之，距本车辆m的距离、从本车辆m的正面方向起的角度)不同，因此有时在修正结果中产生差异。因此，变换部126也可以进行用于调整这些误差的变换(例如，用于进行与图像尺寸、分辨率、距离相应的扩大、缩小等调整的变换)。由此，能够生成更适于物体目标检测的正规化图像。
[0045]
物体目标检测部128使用由变换部126变换得到的正规化图像，来检测本车辆m的周边(周围)的物体目标。例如，物体目标检测部128识别包含于正规化图像的本车辆m的周边的物体目标的位置(相对位置)、速度(相对速度)等。物体目标中，例如包括其他车辆(例如，存在于距本车辆m规定距离以内的周边车辆)、行人、自行车、道路构造物等物体。道路构造物中，例如包括道路标识、交通信号机、缘石、中央隔离带、护栏、围栏、壁、交叉道口等。物体目标的位置例如被识别为以本车辆m的代表点(重心、驱动轴中心等)为原点的绝对坐标上的位置，并使用于控制。物体目标的位置可以由该物体目标的重心、角部等代表点表示，也可以由表现出的区域表示。所谓物体目标的“状态”，在例如物体目标为其他车辆的情况下，也可以包括其他车辆的加速度、加加速度、或者“行动状态”(例如是否正在进行或正要进行车道变更)。物体目标中，可以包括将本车辆m行驶的道路所包含的各车道划分的道路划分线(以下，称作划分线)、本车辆m的行驶车道。物体目标检测部128也可以基于本车辆m及其他车辆的行为来判定其他车辆是否为相向车辆(相向移动体的一例)。
[0046]
例如，物体目标检测部128对正规化图像进行图像解析，并取得图像所包含的每个物体目标的特征信息(例如，基于颜色、大小、形状等的特征信息)，并通过所取得的特征信息和预先决定的物体目标的特征信息的匹配处理，来检测图像所包含的物体目标。物体目
标的检测中，例如也可以包括基于人工智能(ai)、机器学习进行的判定处理等。这样，使用减轻了失真的正规化图像来进行物体目标检测，因此能够更加精度良好地检测各种物体、标识等。实施方式中，进行针对局部图像的变换处理、物体目标检测，因此与使用鱼眼相机的拍摄范围整体的情况相比，能够进行更迅速的物体目标检测。
[0047]
判定部140基于图像处理部120的处理结果，来判定在本车辆m的周边是否存在需要进行本车辆m的驾驶控制(驾驶支援)的物体目标。例如，判定部140基于由图像处理部120检测到的物体目标的位置及速度、以及从车辆传感器40得到的本车辆m的位置及速度等，来导出物体目标与本车辆m的相对距离、相对速度，并基于所导出的信息来判定是否存在本车辆m与物体目标将来接触的可能性。以下，作为一例，说明物体目标为其他车辆这一情况。
[0048]
例如，判定部140基于由车辆传感器40等检测的本车辆m的位置、速度、以及由物体目标检测部128检测的其他车辆的其他车辆的位置、速度，来取得本车辆m与其他车辆的相对位置、相对速度。而且，判定部140使用本车辆m与在车道l2上行驶的其他车辆m1之间的相对位置(相对距离)及相对速度来导出接触富余时间ttc(time to collision)，并判定所导出的接触富余时间ttc是否小于阈值。接触富余时间ttc例如是通过相对距离除以相对速度而算出的值。接触富余时间ttc例如可以是固定值，也可以是根据本车辆m的速度vm、其他车辆的速度、道路状况等而设定的可变值。
[0049]
在接触富余时间ttc小于阈值的情况下，判定部140判定为存在本车辆m与其他车辆接触的可能性，在接触富余时间ttc为阈值以上的情况下判定为不存在接触的可能性。
[0050]
驾驶控制部160在由判定部140判定为存在本车辆m与其他车辆接触的可能性的情况下，控制本车辆m的转向及速度中的一方或双方，为了躲避接触而控制本车辆m的行驶。例如，驾驶控制部160执行如下控制：控制制动装置210而使本车辆m急停止的控制、或者控制行驶驱动力输出装置200而使本车辆m急加速的控制等躲避控制。驾驶控制部160也可以代替急停止或急加速(或除此之外还)执行控制转向装置220而通过转向控制使本车辆m向远离其他车辆的方向移动的躲避控制。
[0051]
驾驶控制部160也可以除了上述的控制之外还基于由物体目标检测部128检测的检测结果，进行例如acc(adaptive cruise control)、lkas(lane keeping assist system)、alc(auto lane changing)等这样的对在驾驶员使本车辆m行驶时进行的驾驶操作进行支援的驾驶支援控制。
[0052]
hmi控制部180通过hmi30向乘员通知规定的信息、取得通过乘员的操作而由hmi30接受到的信息。例如，向乘员通知的规定的信息中，例如包括与本车辆m的状态相关的信息、与驾驶控制相关的信息等与本车辆m的行驶存在关联的信息。与本车辆m的状态相关的信息中，例如包括本车辆m的速度、发动机转速、挡位等。规定的信息中，也可以包括用于警告存在与物体目标接触的可能性的信息、催促用于躲避接触的驾驶操作的信息。规定的信息中，也可以包括电视节目、存储于dvd等存储介质的条目(例如，电影)等与本车辆m的驾驶控制无关的信息。
[0053]
例如，hmi控制部180也可以生成包括上述的规定的信息的图像，并使所生成的图像显示于hmi30的显示装置，也可以生成表示规定的信息的声音，并使所生成的声音从hmi30的扬声器输出。
[0054]
行驶驱动力输出装置200将用于车辆行驶的行驶驱动力(转矩)向驱动轮输出。行
驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及控制它们的ecu(electronic control unit)。ecu按照从驾驶控制部160输入的信息、或从驾驶操作件80输入的信息，来控制上述的结构。
[0055]
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ecu。制动ecu按照从驾驶控制部160输入的信息或从驾驶操作件80输入的信息来控制电动马达，以使与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构作为备用。制动装置210不限于上述说明的结构，也可以是按照从驾驶控制部160输入的信息来控制致动器而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
[0056]
转向装置220例如具备转向ecu和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ecu按照从驾驶控制部160输入的信息或从驾驶操作件80输入的信息，来驱动电动马达，使转向轮的朝向变更。
[0057]
[图像处理部的功能]
[0058]
以下，具体说明图像处理部120的功能。图3是用于说明图像处理部120的功能的图。在图3的例子中，示出了由车道(行车道)l1～l4构成的道路rd1。车道l1、l2是能够沿同一方向(图中x轴方向)行驶的车道，车道l3、l4是车道l1、l2的相向车道。在图3中，车道l1由划分线rl1及划分线rl2划分，车道l2由划分线rl2及划分线rl3划分，车道l3由划分线rl3及划分线rl4划分，车道l4由划分线rl4及划分线rl5划分。在图3的例子中，设为本车辆m沿着车道l2的延伸方向以速度vm行驶，本车辆m的基准位置(例如，前端部)到达了地点p1。
[0059]
取得部122取得由相机10拍摄到的相机图像。设定部124设定由取得部122取得的图像中的由变换部126进行图像变换的一个以上的着眼位置。以下，为了便于说明，以由安装于本车辆m的右侧的鱼眼相机拍摄到的拍摄范围ir2为基准进行说明。设定部124如图3所示那样针对拍摄范围ir2设定在从本车辆m观察时右前方、右侧方、右后方这3个着眼位置tp10～tp30。关于着眼位置的数量、角度，不限定于此。着眼位置例如也可以基于从车辆传感器40得到的本车辆m的行为(例如，速度、角速度)来设定，可以代替于此(或除此之外还)基于本车辆m行驶的道路的形状来设定，该本车辆m行驶的道路的形状基于从车辆传感器40得到的本车辆m的位置信息参照存储于存储部190的地图信息而得到。在图3的例子中，在比本车辆m的行驶车道l2靠右侧的车道上设定有着眼位置tp10～tp30。
[0060]
设定部124以着眼位置tp10～tp30为中心来设定局部图像a10～a30。
[0061]
变换部126针对由设定部124设定的局部图像a10～a30，进行图像的失真修正处理等规定的图像处理而变换为正规化图像。由鱼眼相机拍摄到的相机图像中，距拍摄范围ir2的中心c2的距离越远，则失真越大，因此各局部图像a10～a30的失真程度也根据距中心c2的距离及方向(角度)的不同而不同。因此，变换部126也可以根据距拍摄范围ir2的中心c2的距离及方向来调整失真的修正程度。变换部126将针对局部图像a10～a30进行了失真修正处理的图像合成而变换为正规化图像。
[0062]
物体目标检测部128使用由变换部126变换得到的正规化图像，来检测存在于图像内的物体目标。物体目标检测部128也可以在检测到物体目标的情况下，判定该物体目标是否为存在本车辆m从行驶中的车道l2脱离的可能性的物体目标。存在本车辆m脱离车道l2的
可能性的物体目标是指，例如正向本车辆m接近的其他车辆。这是由于：在其他车辆正向本车辆m接近的情况下，本车辆m为了躲避与其他车辆的接触，存在通过车道变更等而脱离车道的可能性。存在发生本车辆m脱离车道l2的可能性的物体目标中，例如包括向本车辆m的前方的行驶车道进入过来的物体等。物体目标检测部128在从正规化图像中检测到物体目标的情况下，检测物体目标的状况(例如，位置、速度、行进方向等)的行为。
[0063]
设定部124基于物体目标检测部128对从过去的图像帧(例如，时间序列的紧之前或数帧前的图像帧)中得到的正规化图像进行检测的检测结果、以及本车辆m的状况中的至少一方，来变更着眼位置。
[0064]
图4是用于说明变更着眼位置的图。以下，使用着眼位置tp10来进行说明，但可以是，关于其他着眼位置也进行同样的处理。例如，在物体目标检测部128未检测到物体目标的情况下，设定部124如图4所示那样，将与过去的着眼位置tp10相比从本车辆m观察时远离规定距离d1以上的着眼位置tp11设定为新的着眼位置。着眼位置tp11例如是本车辆m的行驶车道l2的相邻车道l3附近(距车道l3规定距离以内)的位置。着眼位置tp11可以是例如由相机图像拍摄的拍摄范围所包含的车道中的距本车辆m最远的车道(例如，车道l4)附近的位置，也可以是由物体目标检测部128能够检测的车道中的最远的车道附近的位置。例如，在上次的着眼位置tp10为车道(例如车道l3)上的位置的情况下，设定部124在同一车道上或比该车道远离本车辆m的车道上，从本车辆m观察时比该位置靠远方的位置设定着眼位置tp11。所谓远方的位置，例如当以相机图像为基准时，是比上次的位置靠上方侧的位置。规定距离d1可以基于本车辆m的状况、道路形状等而可变设定，也可以是固定值。规定的距离d1也可以设定为根据由物体目标检测部128进行的检测处理的次数而距离阶段性地变长。设定部124设定以着眼位置tp11为中心的局部图像a11。
[0065]
设定部124也可以不根据过去的着眼位置tp10来变更着眼位置tp11而追加着眼位置tp11。由此，变换部126通过在下次变换时，从上次的局部图像a10变更为局部图像a11而进行图像变换，能够使远方的失真修正的精度提高，更早期地检测远方的物体目标。
[0066]
设定部124在由物体目标检测部128检测到规定的物体目标的情况下，不进行着眼位置的变更。所谓规定的物体目标，例如是接近本车辆m的车辆，更具体而言，是相向车辆。相向车辆是正向本车辆m接近的其他车辆的一例，且是由于其行为而存在本车辆m脱离行驶车道的可能性的物体目标的一例。图5是用于说明在检测出相向车辆的情况下的变换中心位置的设定的图。在图5的例子中，与图4相比不同点在于存在其他车辆m1，该其他车辆m1在作为本车辆m行驶的车道l2的相向车道的车道l4上朝向延伸方向以速度vm1行驶。
[0067]
物体目标检测部128从与局部图像a10对应的正规化图像中检测出其他车辆m1。因此，设定部124在下一着眼位置的设定中，不进行着眼位置tp10的变更。由此，能够在下次的物体目标检测时也使用通过相同的着眼位置tp10变换得到的图像来检测其他车辆m1，能够更可靠地追踪其他车辆m1。在与其他着眼位置tp20、tp30对应的局部图像中未检测到物体目标，因此设定部124可以针对着眼位置tp20、tp30，进行变更为比当前位置靠远方的位置的处理。
[0068]
设定部124也可以根据本车辆m的状况(位置、行为)、其他车辆m1的状况(位置、行为)，使着眼位置沿水平方向移动、接近。在该情况下，设定部124根据本车辆m和其他车辆m1的将来的位置和行为，以其他车辆m1成为局部图像的中心的方式设定着眼位置。由此，能够
更可靠地检测其他车辆m1。设定部124在通过本车辆m的右转弯或左转弯动作、其他车道变更等方位变更动作而本车辆m的角速度为规定角度以上的情况下，可以使着眼位置根据本车辆m的角速度而沿水平方向移动。在该情况下，设定部124以若本车辆m右转弯则在右转弯目的地的道路附近定位着眼位置的方式根据角速度来变更着眼位置(使着眼位置水平移动)。由此，能够更迅速且可靠地检测左右转弯目的地的道路上的物体目标。
[0069]
这样，设定部124通过将根据过去的相机图像而设定的局部图像中未检测到规定的物体目标的情况下的着眼位置设定于比从根据过去的相机图像而设定的局部图像中检测到物体目标的情况下的着眼位置远离规定距离以上的位置，能够更迅速且可靠地检测远方的物体目标。设定部124在基于远方的着眼位置而得到的局部图像中检测到物体目标的情况，可以使着眼位置返回原来的位置(初始位置)，也可以基于本车辆m、其他车辆的行为使着眼位置阶段性地接近本车辆m附近。
[0070]
驾驶控制部160执行行驶控制，在该行驶控制中，基于由图像处理部120处理的处理结果，来控制本车辆m的转向及速度中的一方或双方，以免本车辆m与物体目标接触。
[0071]
hmi控制部180例如使与着眼区域、局部图像区域相关的信息、与物体目标检测结果、驾驶控制相关的信息等向hmi30输出。由此，能够更准确地使乘员掌握由本车辆m控制的控制内容。
[0072]
[处理流程]
[0073]
接着，说明由实施方式的车辆控制装置100执行的处理的流程。以下的流程图的处理包括由车辆系统1执行的处理，可以在规定的时机反复执行。
[0074]
图6是表示由车辆控制装置100执行的处理的流程的一例的流程图。在图6的例子中，车辆系统1由包含鱼眼相机的相机10来拍摄本车辆m的周边(步骤s100)。接着，车辆控制装置100的图像处理部120取得所拍摄到的图像并执行规定的图像处理(步骤s200)。接着，判定部140基于图像处理部120的处理结果，来判定在本车辆m的周边是否存在需要本车辆m的驾驶控制(驾驶支援)的物体目标(步骤s300)。在判定为存在需要驾驶控制的物体目标的情况下，驾驶控制部160例如执行基于物体目标的状况和本车辆m的状况而进行的驾驶控制(例如，躲避接触控制等)(步骤s400)。由此，本流程图的处理结束。在步骤s300的处理中判定为不存在需要驾驶控制的物体目标的情况下，本流程图的处理结束。
[0075]
图7是表示实施方式的图像处理的流程的一例的流程图。图7的例子相当于上述的步骤s200的处理。在图7的例子中，取得部122取得由鱼眼相机拍摄到的相机图像(步骤s210)。接着，设定部124根据相机图像设定一个以上的着眼位置(步骤s220)。接着，设定部124以所设定的着眼位置为基准来设定局部图像(步骤s230)。接着，变换部126针对所设定的局部图像进行失真修正等图像处理，并图像变换为正规化图像(步骤s240)。接着，物体目标检测部128基于正规化图像来进行物体目标检测处理(步骤s250)。由此，本流程图的处理结束。
[0076]
图8是表示着眼位置的设定处理的一例的流程图。图8的例子相当于上述的步骤s220的处理。在图8的例子中，设为通过处理的最初的着眼位置的设定而已经设定了基准的着眼位置。在图8的例子中，设定部124判定在上次的图像帧中的物体目标检测处理中是否检测到物体目标(步骤s222)。在判定为检测到物体目标的情况下，设定部124判定所检测到的物体目标是否为相向车辆(步骤s224)。在判定为是相向车辆的情况下，不变更当前的着
眼位置(设定相同的着眼位置)(步骤s226)。在步骤s222的处理中判定为没有检测到物体目标的情况、或者在步骤s224的处理中判定为不是相向车辆的情况下，设定部124在比当前的着眼位置向远方规定距离以上的位置设定着眼位置(步骤s228)。由此，结束本流程图的处理。
[0077]
根据如以上那样说明的实施方式，在图像处理部120(图像处理装置的一例)中具备：取得部122，其取得由搭载于移动体的相机(摄像部的一例)按时间序列拍摄到的第一图像；设定部124，其设定第一图像中的以移动体的位置为基准的一个以上的着眼位置；变换部126，其将基于由设定部124设定的着眼位置而设定的局部图像变换为第二图像；以及物体目标检测部128，其基于由变换部126变换得到的第二图像来检测移动体的周围的物体目标，设定部124基于由物体目标检测部128检测的检测结果、以及移动体的状况中的至少一方来变更着眼位置，由此能够针对相机图像进行更恰当的图像处理。
[0078]
根据实施方式，即便是由鱼眼相机拍摄的广范围的拍摄图像，由于基于着眼位置来提取局部图像，并进行图像变换(例如，失真修正)、物体目标检测，因此也能够更迅速且高精度地进行物体目标检测。因此，能够将从鱼眼相机得到的广范围的拍摄图像有效活用在用于驾驶支援、自动驾驶等驾驶控制的物体目标检测处理、接触判定处理等中，能够使处理的可靠性更加提高。
[0079]
上述说明的实施方式能够如以下这样表现。
[0080]
一种图像处理装置，其中，
[0081]
所述图像处理装置具备：
[0082]
存储介质，其保存能够由计算机读入的命令；以及
[0083]
处理器，其连接于所述存储介质，
[0084]
所述处理器通过执行能够由所述计算机读入的命令来进行如下处理：
[0085]
取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；
[0086]
设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；
[0087]
将基于所设定的所述着眼位置而设定的局部图像变换为第二图像；
[0088]
基于变换得到的所述第二图像来检测所述移动体的周围的物体目标；
[0089]
基于所检测到的结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。
[0090]
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

技术特征：
1.一种图像处理装置，其中，所述图像处理装置具备：取得部，其取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定部，其设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；变换部，其将基于由所述设定部设定出的着眼位置而设定的局部图像变换为第二图像；以及物体目标检测部，其基于由所述变换部变换得到的第二图像来检测所述移动体的周围的物体目标，所述设定部基于由所述物体目标检测部检测的检测结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。2.根据权利要求1所述的图像处理装置，其中，所述设定部在基于由所述摄像部拍摄到的过去的第一图像而得到的所述第二图像中未检测到规定的物体目标的情况下，将所述着眼位置变更为比根据所述第二图像检测到物体目标的情况下的着眼位置向远方规定距离以上的位置。3.根据权利要求1所述的图像处理装置，其中，所述设定部在基于由所述摄像部拍摄到的过去的第一图像而得到的所述第二图像中检测到规定的物体目标的情况下，不变更所述着眼位置。4.根据权利要求3所述的图像处理装置，其中，所述规定的物体目标包括与所述移动体相向行驶的相向移动体。5.根据权利要求1所述的图像处理装置，其中，所述设定部在所述移动体的角速度为规定角度以上的情况下，使所述着眼位置根据所述角速度而沿水平方向移动。6.根据权利要求2所述的图像处理装置，其中，所述向远方规定距离以上的位置包括距与所述移动体行驶的行车道相邻的行车道规定距离以内的位置。7.根据权利要求2所述的图像处理装置，其中，所述向远方规定距离以上的位置包括相对于由所述物体目标检测部能够检测到的行车道中的距所述移动体最远的行车道而处于规定距离以内的位置。8.根据权利要求1所述的图像处理装置，其中，所述物体目标是存在使所述移动体脱离行驶中的行车道的可能性的物体目标。9.一种移动体控制装置，其中，所述移动体控制装置具备：权利要求1所述的图像处理装置；以及驾驶控制部，其基于由所述图像处理装置处理的处理结果，来控制所述移动体的转向及速度中的一方或双方。10.一种图像处理方法，其中，所述图像处理方法使计算机进行如下处理：取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；
设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；将基于所设定出的所述着眼位置而设定的局部图像变换为第二图像；基于所变换得到的所述第二图像来检测所述移动体的周围的物体目标；基于所检测到的结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。11.一种存储介质，其存储有程序，其中，所述程序使计算机进行如下处理：取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；将基于所设定出的所述着眼位置而设定的局部图像变换为第二图像；基于所变换得到的所述第二图像来检测所述移动体的周围的物体目标；基于所检测到的结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。

技术总结
本发明提供能够对相机图像进行更恰当的图像处理的图像处理装置及方法、移动体控制装置、以及存储介质。实施方式的图像处理装置具备：取得部，其取得由搭载于移动体的摄像部按时间序列拍摄到的第一图像；设定部，其设定所述第一图像中的以所述移动体的位置为基准的一个以上的着眼位置；变换部，其将基于由所述设定部设定出的着眼位置而设定的局部图像变换为第二图像；以及物体目标检测部，其基于由所述变换部变换得到的第二图像来检测所述移动体的周围的物体目标，所述设定部基于由所述物体目标检测部检测的检测结果、以及所述移动体的状况中的至少一方来变更所述着眼位置。体的状况中的至少一方来变更所述着眼位置。体的状况中的至少一方来变更所述着眼位置。


技术研发人员：土屋成光
受保护的技术使用者：本田技研工业株式会社
技术研发日：2023.01.19
技术公布日：2023/8/2