车辆辅助方法及车辆辅助装置与流程

1.本发明涉及一种车辆辅助方法及车辆辅助装置。


背景技术：

2.以往，已知有使用摄像机图像的道路标识识别技术(专利文献1)。专利文献1所记载的发明对摄像机图像进行模板匹配来识别作为道路结构物的道路标识。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2015－191281号公报
6.发明要解决的课题
7.但是，在远离本车辆的区域那样图像的析像度低的区域中，通过模板匹配无法得到期望的结果。


技术实现要素：

8.本发明是鉴于上述问题而完成的，其目的在于提供一种能够在图像的析像度低的区域中提高道路结构物的识别精度的车辆辅助方法以及车辆辅助装置。
9.本发明的一方式的车辆辅助方法，从在不同的时刻拍摄到的多个图像的各自中分别提取与静止物对应的区域即静止物区域，基于静止物区域中的静止物在图像上的移动量，进行多个图像的对位，使用进行了对位的多个图像进行超解像处理，生成超过由摄像机拍摄到的图像的析像度的超解像图像，基于超解像图像识别道路结构物。
10.发明效果
11.根据本发明，能够在图像的析像度低的区域中提高道路结构物的识别精度。
附图说明
12.图1是本发明的第一实施方式的车辆辅助装置1的结构图。
13.图2是说明静止物区域的一例的图。
14.图3是说明车辆辅助装置1的一动作例的流程图。
15.图4是本发明的第二实施方式的车辆辅助装置2的结构图。
16.图5是说明静止物区域的划分方法的图。
17.图6是说明静止物区域的划分方法的图。
18.图7a是说明车辆辅助装置2的一动作例的流程图。
19.图7b是说明车辆辅助装置2的一动作例的流程图。
20.图8是本发明的第三实施方式的车辆辅助装置3的结构图。
21.图9是说明关注区域70的一例的图。
22.图10是说明超解像处理的一例的图。
23.图11是说明车辆辅助装置3的一动作例的流程图。
具体实施方式
24.以下，参照附图对本发明的实施方式进行说明。在附图的记载中，对相同部分标注相同符号并省略说明。
25.参照图1说明车辆辅助装置1的构成例。如图1所示，车辆辅助装置1具备：摄像机10、存储装置11、控制器20、转向器促动器12、加速器踏板促动器13、制动器促动器14。
26.车辆辅助装置1可以搭载于具有自动驾驶功能的车辆上，也可以搭载于不具有自动驾驶功能的车辆上。另外，车辆辅助装置1也可以搭载于能够切换自动驾驶和手动驾驶的车辆上。另外，自动驾驶功能也可以是仅自动控制操舵控制、制动力控制、驱动力控制等车辆控制功能中的一部分功能来辅助驾驶员驾驶的驾驶辅助功能。在本实施方式中，对车辆辅助装置1搭载于具有自动驾驶功能的车辆上的情况进行说明。
27.摄像机10具有ccd(charge-coupled device)、cmos(complementary metal oxide semiconductor)等摄像元件。摄像机10的设置场所没有特别限定，作为一例，摄像机10设置在本车辆的前方、侧方、后方。摄像机10以规定的周期连续拍摄本车辆的周围。即，摄像机10获取在不同的时刻拍摄的多个图像。摄像机10检测存在于本车辆周围的物体(行人、自行车、摩托车、其他车辆等)的状况以及本车辆前方的信息(划分线、信号机、标识、人行横道、交叉路口等)。由摄像机10拍摄的图像存储于存储装置11中。
28.存储装置11主要存储由摄像机10拍摄的图像。作为一例，存储装置11由hdd(hard disk drive)、ssd(solid state drive)构成。
29.控制器20是具备cpu(中央处理装置)、存储器以及输入输出部的通用的微型计算机。在微型计算机中安装有用于作为车辆辅助装置1发挥功能的计算机程序。通过执行计算机程序，微型计算机作为车辆辅助装置1所具备的多个信息处理电路发挥功能。另外，在此，示出了通过软件实现车辆辅助装置1所具备的多个信息处理电路的例子，但当然也可以准备用于执行以下所示的各信息处理的专用硬件来构成信息处理电路。另外，多个信息处理电路也可以由单独的硬件构成。控制器20作为多个信息处理电路的一例，具备：光流计算部21、距离计算部22、行为计算部23、静止物区域判定部24、图像移动部25、超解像处理部26、道路结构物识别部27、车辆控制部28。
30.光流计算部21使用过去的图像和当前的图像，计算图像中的物体移动了何种程度。光流用矢量表示图像中的物体的运动。对计算方法的一例进行说明。将在时刻t1拍摄的图像设为图像i1，将在时刻t2拍摄的图像设为图像i2。设时刻t1《时刻t2。光流计算部21将图像i1划分为任意大小。任意的大小没有特别限定，在此将图像的横方向的大小设为n像素，将图像的纵方向的大小设为m像素。任意的大小为n
×
m。光流计算部21比较图像i1的区域(n
×
m)和图像i2的区域(n
×
m)。作为比较方法，已知有ssd(sum of squared difference)、sad(sum of absolute difference)、zncc(zero-mean normalized cross-correlation)等。这些方法是公知技术，因此省略说明。光流计算部21检测出与对应于过去图像上的特征点的实际空间中的对象相同的对象相对应的当前图像上的特征点，作为相关特征点。光流计算部21计算出相互关联的过去图像上的特征点和当前图像上的特征点的组合作为光流。
31.距离计算部22根据相互关联的过去的图像上的特征点和当前的图像上的特征点的视觉差(偏移量)，计算出从摄像机10到与特征点对应的物体的距离。换言之，距离计算部
22计算出从本车辆到与特征点对应的物体的距离。距离计算部22根据相互关联的过去的图像上的特征点和当前的图像上的特征点的视觉差，计算出与这些特征点对应的实际空间中的三维坐标。另外，距离计算部22也可以将雷达或激光雷达与摄像机10组合来计算距物体的距离。
32.行为计算部23计算本车辆的三轴平移运动及三轴旋转运动。三轴平移运动是本车辆的前后方向、车宽方向、上下方向的运动。三轴旋转运动是绕包括侧倾轴、俯仰轴和横摆轴的三轴的旋转运动。这些运动使用车轮速度传感器、加速度传感器、旋转传感器等来计算。或者，使用图像来计算这些运动。作为使用图像的计算方法，已知有非专利文献1“kitt,bernd；g eiger,andreas；lategahn,henning.visual odometry based on stereo image sequences with ransac-based outlier rejection scheme.in:2010ieee intelligent vehicles symposium.ieee,2010.p.486－492.”。
33.静止物区域判定部24对光流计算部21的计算出的光流、距离计算部22的计算结果和行为计算部23的计算结果进行组合，计算出排除了本车辆的行为的三维移动量(三维运动矢量)。静止物区域判定部24对计算出的绝对移动量和阈值进行比较。若移动量为阈值以下，则判定为是在该区域中不存在其他车辆等移动物体的区域。即，若移动量在阈值以下，则判定为该区域是静止物区域。
34.图像移动部25计算出图像间的移动量，并使图像移动仅计算出的移动量的量而进行对位。图像的移动量是两个图像之间的移动量。在这样的移动量计算中与光流同样地使用ssd、sad、zncc等。具体而言，图像移动部25在搜索范围内在上下左右方向上一个像素一个像素地错开而计算出类似度，计算出向类似度最高的场所移动的量作为移动量。为了比较两个图像，需要用作基准的图像。于是，将在时刻t1拍摄的图像i1用作基准图像。以下，将图像i1称为参照图像r1。参照图像r1在横方向上具有a像素，在纵方向上具有b像素。作为参照图像r1的代表性的坐标，将中心的坐标设为(x1，y1)。
35.接着，在与时刻t1不同的时刻即时刻t2拍摄的图像i2中，以坐标(x1，y1)为基准设定规定的搜索范围。例如，如果在上下左右设定s像素，则搜索范围成为从(x1－s，y1－s)到(x1+s，y1+s)的范围。图像i2的中心的坐标为(a，b)。比较参照图像r1和图像i2，像素的类似度最高的中心坐标(am，bm)成为(x1，y1)的移动目的地。将(x1，y1)的移动目的地称为(x2，y2)。
36.同样，在与时刻t1及t2不同的时刻即时刻t3拍摄的图像i3中，以(x2，y2)为基准设定搜索范围。比较参照图像r1和图像i3，设定作为(x2，y2)的移动目的地的(x3，y3)。此时，图像移动部25也可以使用规定的帧数，将该时刻的图像更新为参照图像r1。在类似度计算中，使用参照图像r1的全部像素即a
×
b像素，比较参照图像r1和比较图像的同一坐标的亮度值。比较图像是指图像i2、图像i3。
37.如果是sad，则计算出亮度差的绝对值的总和，如果是ssd，则计算出亮度差的平方的总和。另外，如果类似度在搜索范围内的任何中心像素中都比阈值低，则中止移动量计算。在本实施方式中，为了计算作为静止物的道路结构物的移动量，排除存在移动物体的区域来计算类似度。即，仅在静止物区域中计算类似度。在此，将在参照图像r1中由静止物区域判定部24判定的静止物区域定义为参照区域。另外，将在各比较图像中由静止物区域判定部24判定的静止物区域定义为比较区域。参照区域和比较区域重叠的像素用于相似度计
算。其结果是，得到的移动量是像素单位。为了计算小数点以下的像素的移动量，进行使用了类似度计算结果的近似计算。在这样的近似计算中例如使用非专利文献2的方法。非专利文献2“新井元基、鹫见和彦和松山隆司，图像的块匹配中的相关函数和子像素推定方式的最佳化，信息处理学会研究报告计算机视觉和图像介质(cvim)2004.40(2004－cvim－144)，(2004)：33－40。”38.将期望的放大倍率设为n。在该情况下，图像移动部25将移动量圆整为n分之一像素。图像移动部25在各时刻t2
……
tn设定从时刻t1的中心坐标(x1，y1)起的移动量(mx2，my2)
……
(mxn，myn)。然后，图像移动部25将以各时刻的中心坐标(x1，y1)和x2，y2)
……
(xn，yn)为中心的、具有横方向a像素、纵方向b像素的大小的图像j1、j2
……
jn近似放大为n倍。由此，生成图像k1、k2
……
kn。作为近似放大的方法，可以例举：最近邻插值(nearest neighbor)、双一次插值(bilinear)、双三次插值(bicubic)等。将作为n分之一个像素单位的移动量乘以n倍后返回近似放大后的图像。图像移动部25以使中心坐标一致的方式使比较图像相对于参照图像移动而进行对位。
39.超解像处理部26使用由图像移动部25进行了对位的图像进行超解像处理，生成具有高析像度的图像。在此，将进行超解像处理所需的图像张数设为z。超解像处理部26对通过图像移动部25放大为n倍且中心坐标一致的图像k1、k2
……
kz，通过加法平均来计算各像素的亮度值。但是，超解像处理部26在未收集到z张的状态下无法从参照图像r1进行追踪的情况下、或者进行超解像处理的区域全部被移动物体填满的情况下，中止超解像处理。超解像处理是指参照多个图像生成析像度高的图像的技术。在本实施方式中，通过以在参照图像r1上重叠比较图像的方式进行对位，使参照图像r1的析像度变高。换言之，生成超过由摄像机10拍摄的图像的析像度的图像。由超解像处理部26生成的图像被输出给道路结构物识别部27。
40.道路结构物识别部27使用从超解像处理部26输入的图像来识别道路结构物。在本实施方式中，道路结构物被定义为静止的物体。具体而言，道路结构物包括车道、停车道、人行横道、箭头等路面标示、路边带、路缘石、标识、信号机等结构物。作为道路结构物的识别方法的一例，使用识别各像素是什么样的物体的语义分割(sementic segmentation)。道路结构物识别部27将识别结果输出给车辆控制部28。
41.车辆控制部28利用由道路结构物识别部27识别出的道路结构物来控制转向器促动器12、加速器踏板促动器13以及制动器促动器14。通过超解像处理，静止物区域变得鲜明。由此，道路结构物的识别精度提高。
42.接着，参照图2说明静止物区域的一例。
43.图2所示的图像40是在本车辆行驶时由摄像机10拍摄的图像。在图2所示的场景中，本车辆正在通过交叉路口。从本车辆观察，在左前方存在其他车辆42。在其他车辆42的前方存在其他车辆43。在对向车道中存在其他车辆44、45。从本车辆观察，左后方存在行人41。
44.静止物区域判定部24用上述方法判定静止物区域。在图2所示的例子中，静止物区域是指除了其他车辆42～45、行人41以外的区域。在判定为存在静止物区域的情况下，将该图像作为参照图像r1进行处理。即，图2所示的图像40被设定为参照图像r1。在假定图像40是在时刻t1拍摄的图像的情况下，在时刻t1以后，即在时刻t2
……
tn拍摄的图像被设定为
比较图像。
45.接着，参照图3所示的流程图说明车辆辅助装置1的一动作例。
46.在步骤s101中，通过搭载于本车辆的摄像机10拍摄本车辆的周围。处理进入步骤s103，在设定了参照图像r1的情况下(步骤s103中“是”)，处理进入步骤s111。另一方面，在没有设定参照图像r1的情况下(步骤s103中“否”)，处理进入步骤s105。
47.在步骤s105中，静止物区域判定部24判定图像中是否包含不存在移动物体的区域。在该判定中使用光流等。移动物体的一例是图2所示的其他车辆42～45、行人41。在图像中包含不存在移动物体的区域的情况下(步骤s107中“是”)，将该图像设定为参照图像r1(步骤s109)。另一方面，在图像中不包含不存在移动物体的区域的情况下(步骤s107中“否”)，结束处理。另外，在步骤s109中，将静止图像区域设置为参照区域。
48.在步骤s111中，图像移动部25计算参照图像r1和在与参照图像r1不同的时刻拍摄的参照图像的类似度。如上所述，图像移动部25计算在规定范围内参照区域和比较区域重复的区域的类似度。比较区域是指各比较图像中的静止物区域。比较参照区域和比较区域的同一坐标的亮度值作为类似度。在类似度为阈值以上的情况下(步骤s113中“是”)，处理进入步骤s115。另一方面，在类似度小于阈值的情况下(步骤s113中“否”)，结束处理。
49.在步骤s115中，图像移动部25如上述那样计算出图像间的移动量，并使图像移动仅计算出的移动量的量而进行对位。在步骤s117中，超解像处理部26使用由图像移动部25进行了对位的图像来生成具有高析像度的图像。在步骤s119中，由超解像处理部26生成的图像被输出给道路结构物识别部27。在步骤s121中，道路结构物识别部27使用从超解像处理部26输入的图像来识别道路结构物。在步骤s123中，车辆控制部28使用由道路结构物识别部27识别出的道路结构物来控制转向器促动器12、加速器踏板促动器13以及制动器促动器14。通过超解像处理，使静止物区域变得鲜明。由此，道路结构物的识别精度提高。
50.(作用效果)
51.如上所述，根据第一实施方式的车辆辅助装置1，能够得到以下的作用效果。
52.车辆辅助装置1具备：摄像机10，其在不同的时刻对本车辆的周围进行多次拍摄；控制器20，其对由摄像机10在不同的时刻拍摄的多个图像进行处理。控制器20从多个图像的各自中提取与静止物对应的区域即静止物区域。控制器20基于静止物区域中的静止物在图像上的移动量进行多个图像的对位。控制器20使用进行了对位的多个图像进行超解像处理，生成超过由摄像机10拍摄的图像的析像度的超解像图像。控制器20基于超解像图像识别道路结构物。由此，在图像中的移动物体被排除的状态下计算图像间的移动量。在存在作为静止物的道路结构物的背景中，生成超过由摄像机10拍摄的图像的析像度的超解像图像。由此，能够在图像的析像度低的区域中提高道路结构物的识别精度。
53.在上述的现有技术中，考虑为了检测出通过模板匹配无法检测出的远方的道路结构物而进行超解像处理。在移动物体存在于进行超解像处理的区域中的情况下，移动物体被跟踪。由此，无法对想要识别的道路结构物进行超解像处理，存在背景模糊的可能性。根据第一实施方式，由于排除了移动物体，所以能够对道路结构物进行超解像处理，背景变得鲜明。由此，道路结构物的识别精度提高。
54.另外，控制器20从多个图像中设定成为进行超解像处理时的基准的参照图像。控制器20计算参照图像与参照图像以外的图像重复的区域的类似度，使用基于类似度的移动
量进行对位。由此，在参照图像和各时刻的图像双方中仅使用静止物区域来计算类似度。由此，即使被移动物体遮挡的静止物区域根据时刻而不同，也能够计算出类似度。
55.另外，控制器20针对每个被划分的区域用超解像图像置换图像而生成一张的图像。然后，控制器20基于所生成的一张图像来识别道路结构物。由此，如果仅一部分生成超解像图像，则在该部分中道路结构物的识别精度提高。另外，成为置换对象的图像没有特别限定，例如是参照图像。
56.另外，控制器20从划分的多个区域中选择具有特定移动量的区域。由此，超解像处理所需的运算负荷减轻。具有特定的移动量的区域例如是从本车辆观察为右侧一半的区域。
57.另外，控制器20基于由摄像机10、激光雷达和雷达中的至少一个测量的特征点的三维运动矢量和车辆的传感器运动来提取静止物区域。通过从测量出的三维运动矢量中减去本车辆的行为，能够提取出存在移动物体的区域。排除存在移动物体的区域，即可提取出静止物区域。另外，本车辆的传感器运动是指由车轮速度传感器、加速度传感器、旋转传感器等检测出的本车辆的行为。
58.另外，控制器20设定用于超解像处理的图像的张数z。由此，能够确保期望的放大倍率的必要的张数。控制器20在由摄像机10拍摄的图像的张数为设定的张数z以上的情况下，进行超解像处理。
59.另外，控制器20基于识别出的道路结构物对本车辆的行驶进行控制。由此，基于远离本车辆的路面标示、信号机、标识等来控制行驶，因此实现高精度的自动驾驶。
60.(第二实施方式)
61.接着，参照图4说明本发明的第二实施方式的车辆辅助装置2。第二实施方式与第一实施方式的不同之处在于，控制器20还具备特征点计算部29和划分部30。对于与第一实施方式重复的结构，引用符号并省略其说明。以下，以不同点为中心进行说明。
62.特征点计算部29计算静止物区域中的特征点的移动量。特征点是指在任意的图像中具有能够与周围的像素区别的特征的像素。
63.划分部30基于由特征点计算部29计算出的移动量来划分静止物区域。在所有的静止对象区域中，特征点的移动量可能不是恒定的。将期望的放大倍率设为n。与第一实施方式相同，以n分之一个单位移动仅移动量的量而对准中心坐标。划分部30将移动量为0的区域划分为a0，将移动量为n分之一的区域划分为a1，将移动量为n分之二的区域划分为a2
……
最大移动量的n分之m的区域划分为am。图像移动部25在被划分的a0、a1
……
am中，指定一个或多个区域，以中心坐标一致的方式进行图像的对位。超解像处理部26使用由图像移动部25进行了对位的图像，生成具有高析像度的图像。在超解像处理中，在所划分的各个区域中生成超解像图像，用所生成的超解像图像进行置换，生成一张图像。
64.接着，参照图5～6说明静止物区域的划分方法。为了便于说明，使用图5所示的图像40的一部分的图像50进行说明。当然，也可以用以下说明的方法划分图像40整体。另外，图5所示的图像40与图2所示的图像40相同。
65.如图6所示，在图像50中提取出静止物区域。静止物区域是指除了其他车辆43、44、46以外的区域。静止物区域的提取方法与第一实施方式相同。在图6的下侧，符号60表示其他车辆43的特征点的集合。符号61表示其他车辆44的特征点的集合。符号62表示其他车辆
46的特征点的集合。符号63、64表示人行横道的特征点的集合。符号65表示除了符号60～64以外的区域的特征点的集合。如上所述，由于在静止物区域的判定中除去了符号60、61、62，所以在图像50中残留的特征点为符号63、64、65。
66.在相同的道路结构物的特征点，移动量大致相同。划分部30使用由特征点计算部29计算出的移动量相同的特征点来划分静止物区域。由此，静止物区域被划分为符号63所示的区域、符号64所示的区域、符号65所示的区域。即，在图像50中，静止物区域被划分为3个区域。在所划分的各个区域中进行图像移动部25的对位。之后的处理与第一实施方式相同。
67.接着，参照图7a～7b所示的流程图说明车辆辅助装置2的一动作例。其中，步骤s201～s209、s219～s225、s233～s237的处理与图3所示的步骤s101～s123所示的处理相同，因此省略说明。
68.在s211中，特征点计算部29计算出静止物区域的小区域中的特征点的移动量。作为一例，小区域是包含数个特征点的小的区域。将期望的放大倍率为设n。在移动量的最小值与最大值之差为倍率的倒数(1/n)以上的情况下(在步骤s213中“是”)，划分部30按移动量的每1/n划分区域。所划分的各个区域被设定为参照图像。另外，设定所设定的参照图像的代表坐标(中心坐标)(步骤s215)。图6中符号63、64、65所示的区域相当于被划分的区域。在图6中，将符号63、64、65所示的区域设定为参照图像。另一方面，在步骤s213中为“否”的情况下，将所有参照区域设定为参照图像(步骤s217)。
69.在步骤s221中为“否”的情况下，删除所划分的区域和参照图像。在步骤s227中，在所划分的各个区域中生成超解像图像，用所生成的超解像图像进行置换，生成一张图像。若在步骤s231中为“是”，则处理进入步骤s233。若在步骤s231中为“否”，则处理返回到步骤s219。
70.(作用效果)
71.如上所述，根据第二实施方式的车辆辅助装置2，能够得到以下的作用效果。
72.控制器20在以不同的时刻拍摄的多个图像的各自的静止物区域中，计算出图像上的特征点的移动量，并按特征点的移动量类似的每个区域划分图像。然后，控制器20对每个划分的区域执行超解像处理。在超解像图像的生成中，图像整体具有相同的移动量的情况下精度最好地生成。但是，多数情况下每个部分的动作不同。于是，控制器20按照运动相同的部分来划分图像并执行超解像处理。由此，作为整体生成高析像度的图像。
73.在将期望的放大倍率定义为n的情况下，控制器20在图像的上下左右方向上将n分之一的像素设定为移动量的阈值，在移动量为阈值以上的情况下划分区域。因此，对于期望的放大倍率，以必要的分辨率单位划分区域，从而生成具有期望的放大倍率的超解像图像。
74.(第三实施方式)
75.接着，参照图8说明本发明的第三实施方式的车辆辅助装置3。第三实施方式与第一实施方式的不同之处在于，控制器20还具备关注区域设定部31。对于与第一实施方式重复的结构，引用符号并省略其说明。以下，以不同点为中心进行说明。
76.关注区域设定部31设定关注区域。关注区域是进行超解像处理的区域。
77.接着，参照图9说明关注区域的一例。图9所示的图像40与图2所示的图像40相同。图9所示的符号70表示关注区域。从图9可知，关注区域70比图像40小。在第一实施方式中，
对图像40整体的静止物区域进行超解像处理，但在第三实施方式中，对关注区域70的静止物区域进行超解像处理。由此，与第一实施方式相比，减轻了运算负荷。
78.关注区域70的设定方法没有特别限定，例如将远离本车辆的区域设定为关注区域70。如图10所示，通过超解像处理，使这样的远方的区域变得鲜明。图10的上侧是进行超解像处理前的图，下侧是进行超解像处理后的图。通过超解像处理提高远离本车辆的路面标示、信号机、标识等的识别精度(在图10中表示路面标示变得鲜明)。由此，车辆控制部28能够快速地进行适合于路面标示、信号机、标识的控制。由此实现高精度的自动驾驶。另外，关注区域70也可以设定在图像40的上半侧部分。图像40的上半侧部分意味着与下半侧部分相比远离本车辆的区域。
79.接着，参照图11所示的流程图说明车辆辅助装置3的一动作例。其中，步骤s301、s305～s325的处理与图3所示的步骤s101～s123所示的处理相同，因此省略说明。
80.在步骤s303中，关注区域设定部31设定比图像40小的关注区域70(参照图9)。
81.(作用效果)
82.如上所述，根据第三实施方式的车辆辅助装置3，能够得到以下的作用效果。
83.控制器20在远离本车辆的区域设定关注区域70，提取出关注区域70中的静止物区域。由此，能够仅使图像中想要关注的区域(例如远离本车辆的区域)成为高析像度。
84.在关注区域70中至少包含表示本车辆行驶的车道的行驶划分线、本车辆行驶的方向的信号机、本车辆行驶的方向的标识中的任意一个。这样，通过将关注区域70设定在本车辆行驶的方向的远方，提高远离本车辆的行驶划分线、信号机、标识等的识别精度。
85.上述实施方式中记载的各功能可以通过一个或多个处理电路来安装。处理电路包括包含电路的处理装置等被编程的处理装置。处理电路还包括配置成执行所记载的功能的面向特定用途的集成电路(asic)或电路部件等装置。
86.如上所述，记载了本发明的实施方式，但不应该理解为构成该公开的一部分的论述以及附图限定本发明。根据该公开，本领域技术人员能够明确各种代替实施方式、实施例以及运用技术。
87.如上所述，在将进行超解像处理所需的张数设定为z的情况下，在z帧期间，存储对齐了中心像素的图像，进行超解像处理。但是，在由摄像机10拍摄的图像的张数不满足设定的张数z的情况下，并且在与参照图像不同的时刻的图像中在计算移动量的搜索范围内不存在具有阈值以上的类似度的区域的情况下，超解像处理部26也可以使用直至该时刻为止进行了对位的图像来进行超解像处理。由此，能够提高道路结构物的识别精度。
88.另外，在由摄像机10拍摄的图像的张数不满足设定的张数z的情况下、并且在与参照图像不同的时刻的图像中，在计算移动量的搜索范围内没有具有阈值以上的类似度的区域的情况下，超解像处理部26也可以等待规定时间的超解像处理，直至收集到设定的张数z为止。由此，即使移动物体通过关注区域70整体，也不会中途中断而进行超解像处理。
89.符号说明
90.1、2、3：车辆辅助装置
91.10：摄像机
92.11：存储装置
93.12：转向器促动器
94.13：加速器踏板促动器
95.14：制动器促动器
96.20：控制器
97.21：光流计算部
98.22：距离计算部
99.23：行为计算部
100.24：静止物区域判定部
101.25：图像移动部
102.26：超解像处理部
103.27：道路结构物识别部
104.28：车辆控制部
105.29：特征点计算部
106.30：划分部
107.31：关注区域设定部
108.70：关注区域

技术特征：
1.一种车辆辅助方法，具备：摄像机，其在不同的时刻对本车辆的周围进行多次拍摄；控制器，其对由所述摄像机在不同的时刻拍摄的多个图像进行处理，其特征在于，所述控制器执行如下处理：从所述多个图像的各自中提取与静止物对应的区域即静止物区域，基于所述静止物区域中的所述静止物在图像上的移动量，进行所述多个图像的对位，使用进行了所述对位的多个图像进行超解像处理，生成超过由所述摄像机拍摄的图像的析像度的超解像图像，基于所述超解像图像识别道路结构物。2.如权利要求1所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：计算出在所述多个图像的各自的所述静止物区域中、图像上的特征点的移动量，对所述特征点的移动量类似的每个区域划分图像，对每个被划分的区域进行所述超解像处理。3.如权利要求1或2所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：在远离所述本车辆的区域设定关注区域，提取所述关注区域中的静止物区域。4.如权利要求1所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：设定成为从所述多个图像中进行所述超解像处理时的基准的参照图像，计算出所述参照图像与多个图像中的所述参照图像以外的图像重复的区域的类似度，并使用基于所述类似度的移动量进行所述对位。5.如权利要求2所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：对每个被划分的区域以所述超解像图像置换所述图像而生成一张的图像，基于所述一张的图像识别所述道路结构物。6.如权利要求2所述的车辆辅助方法，其特征在于，所述控制器从所划分的多个区域中选择具有特定的移动量的区域。7.如权利要求3所述的车辆辅助方法，其特征在于，在所述关注区域中至少包含表示所述本车辆行驶的车道的行驶划分线、信号机、标识中的任意一个。8.如权利要求1所述的车辆辅助方法，其特征在于，所述控制器基于由所述摄像机、激光雷达和雷达中的至少一个测量的特征点的三维运动矢量和所述本车辆的传感器运动提取所述静止物区域。9.如权利要求2所述的车辆辅助方法，其特征在于，在将期望的放大倍率定义为n的情况下，所述控制器在所述图像的上下左右方向上将n分之一的像素设定为所述移动量的阈值，在所述移动量为所述阈值以上的情况下划分区域。10.如权利要求1所述的车辆辅助方法，其特征在于，
所述控制器执行如下处理：设定在所述超解像处理中使用的图像的张数，在由所述摄像机拍摄的图像的张数为设定的张数以上的情况下，进行所述超解像处理。11.如权利要求4所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：设定在所述超解像处理中使用的图像的张数，在由所述摄像机拍摄的图像的张数不满足设定的张数的情况下，并且在与所述参照图像不同的时刻的图像中、在计算所述移动量的搜索范围内没有具有阈值以上的类似度的区域的情况下，使用直至该时刻为止进行了所述对位的图像进行所述超解像处理。12.如权利要求4所述的车辆辅助方法，其特征在于，所述控制器执行如下处理：设定在所述超解像处理中使用的图像的张数，在由所述摄像机拍摄的图像的张数不满足设定的张数的情况下，并且在与所述参照图像不同的时刻的图像中、在计算所述移动量的搜索范围内没有具有阈值以上的类似度的区域的情况下，等待规定时间的所述超解像处理，直至收集到设定的张数为止。13.如权利要求1～12中任一项所述的车辆辅助方法，其特征在于，所述控制器基于识别出的道路结构物，控制所述本车辆的行驶。14.一种车辆辅助装置，其特征在于，具备：摄像机，其在不同的时刻对本车辆的周围进行多次拍摄；控制器，其对由所述摄像机拍摄的多个图像进行处理，所述控制器执行如下处理：从所述多个图像的各自中提取与静止物对应的区域即静止物区域，基于所述静止物区域中的所述静止物在图像上的移动量，进行所述多个图像的对位，使用进行了所述对位的多个图像进行超解像处理，生成超过由所述摄像机拍摄的图像的析像度的超解像图像，基于所述超解像图像识别道路结构物。

技术总结
本发明的车辆辅助装置(1)具备：摄像机(10)，其在不同的时刻对本车辆的周围进行多次拍摄；控制器(20)，其对由摄像机(10)在不同的时刻拍摄的多个图像进行处理。控制器(20)从多个图像的各自中提取与静止物对应的区域、即静止物区域，基于静止物区域中的静止物在图像上的移动量，进行多个图像的对位，使用进行了对位的多个图像进行超解像处理，生成超过由摄像机(10)拍摄的图像的析像度的超解像图像，基于超解像图像识别道路结构物。超解像图像识别道路结构物。超解像图像识别道路结构物。


技术研发人员：曹亨诚 佐藤宏
受保护的技术使用者：雷诺公司
技术研发日：2020.11.27
技术公布日：2023/8/14