停车辅助方法及停车辅助装置与流程

1.本发明涉及一种停车辅助方法及停车辅助装置。


背景技术：

2.公知有如下的停车辅助装置，即：对于利用频率比较高的停车场，预先登记其停车位的位置信息等，在下次以后向其停车位停车时，从存储器读出停车位的位置信息等，执行停车辅助控制(专利文献1)。在该停车辅助装置中，使用分别设置在车辆的前保险杠、后尾灯、左右车门后视镜上的4个摄像机，生成从1个虚拟视点观察车辆和车辆的周边区域的视点图像，例如，从车辆的正上方位置俯视车辆那样的俯瞰图像，将映射在该图像中的停车位登记到存储器中、或者与登记在存储器中的模板图像进行对照。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019－202697号公报
6.发明要解决的课题
7.但是，在上述现有技术中，生成一个俯瞰图像，将其作为在当前的停止位置拍摄的车辆周围的图像、或者作为模板图像进行存储。因此，如果当前的车辆周围的图像或预先登记在存储器中的模板图像本身是不存在容易对照的特征点等不适合识别处理的图像，则存在此后应停车的目标停车位的识别精度降低的问题。


技术实现要素：

8.本发明要解决的课题是提供一种目标停车位的识别精度高的停车辅助方法以及停车辅助装置。
9.用于解决课题的手段
10.本发明通过以下方式解决上述课题，即：预先存储使用对本车辆的周围进行拍摄的摄像装置生成的、包含目标停车位的不同的多个基准图像，在之后使本车辆停车至所述目标停车位的情况下，将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照来识别所述目标停车位。
11.发明效果
12.根据本发明，由于使用不同的多个基准图像来执行目标停车位的对照处理，因此，能够提供目标停车位的识别精度高的停车辅助方法以及停车辅助装置。
附图说明
13.图1是表示应用了本发明的停车辅助方法及停车辅助装置的停车辅助系统的一实施方式的块图。
14.图2是表示图1的停车辅助系统的摄像装置的立体图。
15.图3是表示由图1的停车辅助系统的图像处理装置生成的俯瞰图像的显示器的显
示图像的一例。
16.图4是表示图1的停车辅助系统的测距装置的平面图。
17.图5是表示本发明的实施方式的规定停车位的线的图案的例子的平面图。
18.图6是表示停车位的一例的平面图。
19.图7a是表示登记在图1的停车辅助装置中的第一基准图像的一例的图。
20.图7b是表示登记在图1的停车辅助装置中的第二基准图像的一例的图。
21.图8是表示由图1的停车辅助装置执行的停车控制顺序的一例的流程图。
22.图9是表示图6的步骤s6的子程序的一例的流程图。
23.图10是表示图6的步骤s6的子程序的其他例的流程图。
具体实施方式
24.以下，参照附图说明用于实施本发明的实施例。图1是表示应用了本发明的停车辅助方法以及停车辅助装置的停车辅助系统1的一实施方式的块图。以下说明的停车辅助系统1没有特别限定，例如在停车辅助系统1中预先登记如自己家住宅的停车场或工作单位的停车场那样比较频繁地利用的停车场的停车位，之后，在使本车辆停车至该登记的停车位的情况下，使用预先登记的停车位的信息和自主行驶控制来辅助停车操作。
25.本实施方式的停车辅助系统1具备：停车辅助装置10、摄像装置20、图像处理装置30、测距装置40、车辆控制器50、驱动系统60、车速传感器70以及操舵角传感器80。这些装置为了相互进行信息的接收发送而通过can(controller area network)等车载lan连接。
26.本实施方式的停车辅助装置10具备控制装置11和输出装置12。控制装置11是具备存储有停车辅助程序的rom(read only memory)111、执行存储在rom111中的程序的cpu(central processing unit)112、作为可访问的存储装置发挥功能的ram(random access memory)113的计算机。在本实施方式的rom111中存储有停车辅助程序，该停车辅助程序例如检测本车辆可停车的停车位，将该停车位显示在显示器121上，运算用于将本车辆停车至由驾驶员设定的目标停车位的停车路径，并使本车辆沿着该停车路径执行自主行驶等。另外，在代替检测本车辆可停车的停车位而存在预先登记的停车位的情况下，则存储有如下的停车辅助程序、即当驾驶员进行了在该停车位停车的设定时，运算(或者在预先登记的情况下从存储器读出)用于使本车辆停车至该登记的停车位的停车路径，并使本车辆沿着该停车路径执行自主行驶等。输出装置12具备：显示器121，其用于向驾驶员提示作为本车辆的停车候选的停车位等图像信息；扬声器122，其用于以声音输出对驾驶员的指示内容等。
27.本实施方式的停车辅助装置10除了自主操作转向器、加速器、制动器的全部的自主停车以外，还能够适用于手动操作转向器、加速器、制动器中的至少任一个，而自主控制剩余的操作的半自主停车。另外，本实施方式的停车辅助装置10也能够应用于向驾驶员提示停车路径，驾驶员通过手动操作转向器、加速器以及制动器来使本车辆停车至目标停车位的停车辅助。另外，在执行自主停车和半自主停车的情况下，更优选使用安全开关等自动复位型开关。这是因为，在使用安全开关的停车辅助装置10中，仅在安全开关被按下的情况下，执行本车辆的自主行驶控制，当解除安全开关的按下时，则中止本车辆的自主行驶控制和半自主行驶控制。
28.另外，停车辅助装置10也可以通过从能够与该停车辅助装置10进行信息的接收发
送的便携式终端装置(智能手机、pda等设备)发送来的信号进行远程操作。例如，本实施方式的停车辅助装置10也能够适用于驾驶员从车外操作本车辆来进行停车的远程停车。
29.本实施方式的摄像装置20、图像处理装置30以及测距装置40是用于检测本车辆的前方、侧方以及后方这样的本车辆的整个周围等、位于本车辆周围的包含表示停车位的白线、成为停车位的标记的路缘石、台阶或墙壁、位于本车辆周围的障碍物等与行驶环境相关的信息以及其他的本车辆周围的状况的装置。
30.本实施方式的摄像装置20是用于通过图像识别与本车辆周围的行驶环境相关的信息的车载装置。摄像装置20对本车辆的周围进行拍摄，获取包含本车辆周围存在的表示停车位的白线、作为停车位的标记的路缘石、台阶或墙壁、本车辆周围存在的障碍物的图像数据，由此获取与本车辆周围的行驶环境相关的信息。另外，摄像装置20包括具备ccd等摄像元件的摄像机、超声波摄像机、红外线摄像机及其他摄像机。由摄像装置20获取的与本车辆周围的行驶环境相关的信息被输出给控制装置11。
31.图2是表示本实施方式的停车辅助系统1的摄像装置20的立体图，表示搭载于本车辆v1的摄像装置20的配置例。在图2所示的配置例中，在本车辆v1的前格栅部配置摄像装置20a，在左车门后视镜的下部配置摄像装置20b，在右车门后视镜的下部配置摄像装置20c，在后保险杠上部配置摄像装置20d。摄像装置20a～20d也可以是具备视角大的广角透镜的摄像机。如图2所示，摄像装置20a主要对本车辆v1的右前方到左前方进行拍摄，摄像装置20b主要对本车辆v1的左前方到左后方进行拍摄，摄像装置20c主要对本车辆v1的左后方到右后方进行拍摄，摄像装置20d主要对本车辆v1的右后方到右前方进行拍摄。通过这样配置摄像装置20，在获取本车辆v1周围的环境信息的情况下，能够减少无法获取信息的死角。另外，在由摄像装置20进行的障碍物的检测中，也可以使用利用了摄像装置20a～20d的运动立体技术。
32.本实施方式的图像处理装置30是用于在从上方的虚拟视点观察本车辆v1的情况下生成表示本车辆v1周围状况的俯瞰图像的装置。虚拟视点例如是图2所示的虚拟视点vp1。图像处理装置30使用利用摄像装置20获取的多个摄像图像来生成俯瞰图像。在图像处理装置30中，为了生成俯瞰图像而进行的图像处理没有特别限定，例如是“铃木政康
·
知野见聪
·
高野照久，俯瞰视图系统的开发，汽车技术会学术演讲会前刷集，116－07(2007－10)，17－22”中记载的处理方法。由图像处理装置30生成的俯瞰图像被输出给控制装置11，并通过图2和图3所示的显示器121提示给驾驶员。另外，图2所示的显示器121配置在仪表板上部的、驾驶席与副驾驶席之间，但显示器121的设置位置没有特别限定，可以设置在驾驶员能够观察的适当的位置。另外，在显示器121上显示的图像是来自虚拟视点vp1的俯瞰图像，但从其他虚拟视点vp2观察水平方向的图像等也可以用同样的图像变换方法生成，用于后述的停车位的登记。详细情况将在后面叙述。
33.图3是表示由图像处理装置30生成的俯瞰图像的一例的显示器121的显示画面。图3表示本车辆v1为了找到适当的停车位p而在停车场慢行的场景。在图3所示的显示器121的显示画面的左侧显示由图像处理装置30生成的俯瞰图像im1，在右侧显示用于监控本车辆v1周围的监控图像im2。在俯瞰图像im1的中心显示本车辆v1，在本车辆v1的左右显示由白线划分的停车位。在这些停车位中，在检测出其他车辆v2的停车位上显示其他车辆v2。另一方面，在没有检测到其他车辆v2等障碍物的停车位上，作为本车辆v1可停车的空间，显示表
示停车位p的虚线框。而且，在由驾驶员从停车位p中选择的目标停车位pt上显示粗实线的框。与此相对，为了提示本车辆v1的当前行驶方向即前方的周边环境信息，在监控图像im2中显示从配置在本车辆v1的前格栅部的摄像装置20a获取的图像。在监控图像im2中，除了用白线划分的停车位之外，还显示例如其他车辆v2那样的障碍物。
34.本实施方式的测距装置40是用于运算本车辆v1与对象物之间的相对距离及相对速度的装置。测距装置40例如是激光雷达、毫米波雷达(lrf)或lidar单元(light detection and ranging unit：光探测和测距单元)或超声波雷达等雷达装置或声纳。测距装置40基于雷达装置或声纳的接收信号检测是否存在对象物、对象物的位置、到对象物的距离。对象物例如是本车辆v1周围的障碍物、行人、自行车、其他车辆。由测距装置40检测出的对象物的信息被输出给控制装置11。在停车辅助中，当本车辆v1要与由测距装置40检测出的对象物接触时，控制装置11使本车辆v1停止，通过显示器121或扬声器122向驾驶员通知对象物与本车辆v1正在接近的旨意。
35.图4是表示本实施方式的停车辅助系统1的测距装置40的平面图，表示将测距装置40搭载于本车辆v1时的配置例。在图4所示的本车辆v1中，设置有：用于检测本车辆v1前方的对象物的4个前方测距装置40a、用于检测本车辆v1右侧的对象物的2个右侧方测距装置40b、用于检测本车辆v1左侧的对象物的2个左侧方测距装置40c、用于检测本车辆v1后方的对象物的4个后方测距装置40d。这些测距装置40a～40d例如能够设置在本车辆v1的前保险杠及后保险杠上。通过这样配置测距装置40，能够正确地运算与本车辆v1周围的对象物之间的相对距离及相对速度。
36.返回图1，本实施方式的车辆控制器50是用于电子控制使本车辆v1的驾驶自主的驱动系统60的电子控制单元(ecu：electronic control unit)等车载计算机。车辆控制器50控制包含在驱动系统60中的驱动装置、制动装置以及操舵装置，在执行停车辅助程序的情况下，辅助用于使本车辆v1从当前位置移动到目标停车位pt并停车的行驶动作。车辆控制器50从停车辅助装置10接收基于预先计算出的停车路径、目标车速以及目标舵角的控制命令。关于这些停车路径、目标车速以及目标舵角的细节在后面叙述。
37.本实施方式的驱动系统60包括：作为行驶驱动源的内燃机和/或电动机；将来自这些行驶驱动源的输出传递给驱动轮的包含驱动轴及变速器的动力传递装置；控制该动力传递装置的驱动装置；对车轮进行制动的制动装置；以及根据转向器盘(所谓的方向盘)的操舵角来控制操舵轮的操舵装置等各种装置。在执行停车辅助程序的情况下，车辆控制器50从停车辅助装置10接收基于预先计算出的停车路径和目标车速的控制命令。然后，车辆控制器50基于来自停车辅助装置10的控制命令，生成对驱动系统60的驱动装置及制动装置的控制信号，执行包括车辆的加减速在内的驾驶行为的控制。驱动系统60通过接收来自车辆控制器50的控制信号，能够自主地控制本车辆v1的车速。
38.另外，驱动系统60具有操舵装置。操舵装置具备转向器促动器，转向器促动器包括安装在转向器的柱轴上的电动机等。在执行停车辅助程序的情况下，驱动系统60的操舵装置由车辆控制器50控制为，维持本车辆相对于预先计算出的停车路径的规定的横向位置(车辆的左右方向的位置)的同时而行驶。另外，车辆控制器50使用由摄像装置20获取的本车辆v1周围的环境信息、图像处理装置30生成的俯瞰图像im1、由测距装置40检测出的本车辆v1周围的障碍物、行人、其他车辆的信息中的至少一个以上，进行操舵装置的控制。该情
况下，停车辅助装置10向车辆控制器50发送基于预先计算出的停车路径和目标舵角的控制命令。然后，车辆控制器50基于来自停车辅助装置10的控制命令，生成对驱动系统60的操舵装置的控制信号，执行本车辆v1的操舵控制。驱动系统60通过接收来自车辆控制器50的控制信号，能够自主地控制本车辆v1的操舵。
39.本实施方式的车速传感器70是驱动系统60的驱动装置所具备的用于检测本车辆v1的车速的传感器。另外，本实施方式的操舵角传感器80是驱动系统60的操舵装置所具备的用于检测本车辆v1的舵角的传感器。由车速传感器70检测出的本车辆v1的车速以及由操舵角传感器80检测出的本车辆v1的舵角经由车辆控制器50输出给控制装置11。
40.本实施方式的控制装置11实现如下功能：通过由cpu112执行存储在rom111中的停车辅助程序，而获取本车辆v1周边的环境信息的环境信息获取功能；检测本车辆v1可停车的停车区域的停车位检测功能；将检测出的停车位p作为俯瞰图像im1显示在显示器121上的停车位显示功能；计算用于使本车辆v1从当前位置移动到目标停车位pt并停车的停车路径的停车路径计算功能；和计划用于使本车辆v1沿着计算出的停车路径停车的行驶动作的行驶动作计划功能。
41.本实施方式的控制装置11通过环境信息获取功能，获取与包含位于本车辆v1周边的障碍物的存在的周边环境相关的信息。例如，控制装置11通过环境信息获取功能，获取由车速传感器70检测出的本车辆v1的车速信息和由操舵角传感器80检测出的本车辆v1的舵角信息，作为与周边环境相关的信息。另外，例如，控制装置11通过环境信息获取功能，获取由具备gps单元以及陀螺仪传感器等的本车位置检测装置检测出的本车辆v1的位置信息、或者由存储在rom111中的三维高精度地图(包含各种设施、特定地点的位置信息)检测出的本车辆v1的位置信息，作为与周边环境相关的信息。另外，也可以使用这些与周边环境相关的信息，通过控制装置11的环境信息获取功能，自动地判定本车辆v1的行驶状况是否是将本车辆v1停车至目标停车位pt的场景。
42.停车位检测功能是用于使用由环境信息获取功能获取的本车辆v1的周边的环境信息来检测本车辆v1可停车的停车区域的功能。在停车位p的检测中，控制装置11使用由摄像装置20获取的摄像图像，通过图像处理装置30生成俯瞰图像im1。控制装置11通过停车位检测功能，从生成的俯瞰图像im1中检测出规定区域的边界的线，从检测出的线中确定规定停车区域的线的候补。然后，控制装置11通过停车位检测功能，判定所确定的线的候补是否规定停车区域，在判定为所确定的线的候补规定停车区域的情况下，判定本车辆v1可否停车到检测出的停车区域。
43.为了从俯瞰图像im1中检测出规定区域的边界的线，控制装置11通过停车位检测功能对俯瞰图像im1进行边缘检测，计算出亮度差(对比度)。然后，控制装置11通过停车位检测功能，从俯瞰图像im1中确定亮度差为规定值以上的像素列，计算出线的粗细和线的长度。检测出的线的颜色不一定必须是白色，也可以是红色、黄色及其他颜色。
44.为了从检测出的线中确定规定停车区域的线的候补，控制装置11使用图案匹配(pattern matching)等公知的图像处理技术。用于图案匹配的图案预先存储在控制装置11的rom111中。例如，图5a表示本车辆v1要停车至位于其他车辆v2a与其他车辆v2b之间的、本车辆v1可停车的目标停车位pt1的场景。在图5a的场景中，规定与目标停车位pt1对应的停车位的线是构成目标停车位pt1的长方形的边中的三个边即线l1、线l2以及线l3。控制装置
11的rom111将规定停车位的线l1、线l2以及线l3的组合作为与图5a的场景对应的图案进行存储。
45.另外，图5b表示本车辆v1要纵向停车至位于其他车辆v2c与其他车辆v2d之间的目标停车位pt2的场景。在图5b的场景中，控制装置11使用摄像装置20检测出线l4作为规定与目标停车位pt2对应的停车位的线，进一步检测出位于其他车辆v2c和其他车辆v2d的左侧的路缘石或墙壁等(未图示)。但是，仅通过线l4和路缘石，控制装置11无法识别停车位。因此，在图5b的场景中，控制装置11在其他车辆v2c的后方设定虚拟的线l5，在其他车辆v2d的前方设定虚拟的线l6。然后，在通过对由摄像装置20检测出的线l4上加上虚拟的线l5和线l6后能够识别出停车位的情况下，判断为线l4是规定停车位的线。控制装置11的rom111将线l4、配置在其他车辆v2c后方的虚拟的线l5、以及配置在其他车辆v2d前方的虚拟的线l6的组合作为与图5b的场景对应的图案进行存储。
46.进而，图5c表示本车辆v1要以倾斜姿势停车至位于其他车辆v2e与其他车辆v2f之间的本车辆v1可停车的目标停车位pt3的场景。在图5c的场景中，规定与目标停车位pt3对应的停车区域的线为构成目标停车位pt3的平行四边形的边即线l7、线l8、线l9以及线l10。控制装置11的rom111将规定停车区域的线l7、线l8、线l9以及线l10的组合作为与图5c的场景对应的图案进行存储。而且，通过停车位检测功能检测出的停车位p通过停车位显示功能提示给驾驶员。
47.如上所述，本实施方式的控制装置11的停车位检测功能检测在任意场所是否存在本车辆可停车的空间，除此之外，在将如自己家住宅的停车场或工作单位的停车场那样比较频繁利用的停车场的停车位已预先登记在停车辅助系统1中的情况下，还具备检测该预先登记的停车位的功能。
48.在此，对特定的停车位的登记处理及其对照处理进行说明。在除了自己家住宅的停车场、工作单位的停车场之外，还有驾驶员在下一次停车时想要利用自主停车控制的停车位的情况下，例如将本车辆停车到该停车位，在该状态下，按下设置在停车辅助装置10上的停车位登记按钮。由此，通过控制装置11所具备的gps单元以及陀螺仪传感器等本车位置检测装置(环境信息获取功能)，将该停车位的经纬度存储到该控制装置11的存储器中。与此同时，使用摄像装置20对本车辆的周围进行拍摄，并将其作为基准图像存储到控制装置11的存储器中。通过该操作，该停车位的位置信息与基准图像相关联地存储，特定的停车位的登记处理结束。然后，在之后要接近该停车位进行停车的情况下，能够设定为自主停车控制的目标停车位之一。
49.预先存储在本实施方式的控制装置11中的基准图像是用于确定该目标停车位的图像，但不是存储一个，而是存储不同的多个基准图像。这里所说的不同的多个基准图像是指，包含视点位置不同的多个基准图像、视线方向不同的多个基准图像以及变换方法不同的多个基准图像中的至少任意一个基准图像。
50.视点位置不同的多个基准图像与参照图2说明的使用图像处理装置30的图像处理同样，能够使用由摄像装置20拍摄的图像数据来生成。例如，即使视线方向是相同的从上向下方向，也可以将从高度(z坐标)或平面上的位置(x－y坐标)不同的视点位置开始的图像作为基准图像。同样地，视线方向不同的多个基准图像也能够通过图像处理装置30使用由摄像装置20拍摄的图像数据来生成。例如，即使在视点位置相同的本车辆的上部，也能够将
如铅直向下的视线和水平方向的视线那样不同视线方向的图像作为基准图像。另外，变换方法不同的多个基准图像也能够通过图像处理装置30使用由摄像装置20拍摄的图像数据来生成，例如是实施了鱼眼转换的图像和未实施鱼眼转换的图像。另外，除此之外，也可以生成并存储视点位置和视线方向的双方、视点位置和变换方法的双方、视线方向和变换方法的双方、或者这3个全部不同的多个基准图像。
51.另外，作为在基准图像的生成中使用的由摄像装置20拍摄的图像数据，可以仅使用由一个摄像机拍摄的图像数据来生成基准图像，也可以使用由多个摄像机拍摄的多个图像数据来生成基准图像。
52.这样的基准图像通过按下设置在本实施方式的停车辅助装置10上的登记按钮等而生成，并存储到控制装置11的存储器中。即，当按下登记按钮时，由摄像装置20拍摄本车辆周围的图像，通过由图像处理装置30对其进行图像处理来生成基准图像。此时，存储的不同的多个基准图像可以自动存储视点位置、视线方向或变换方法等预先设定为规定形式的图像，也可以将一部分或全部形式提示给驾驶员，由该驾驶员进行选择。另外，在作为基准图像的情况下，可以将由图像处理装置30生成的图像整体作为基准图像，也可以自动地提取由图像处理装置30生成的图像中应该成为特征部分的部分，也可以由驾驶员选择。
53.图6是表示预先登记的停车位的一例的平面图。该图所示的停车位是驾驶员的自己家住宅的停车位，在驾驶员的自己家住宅具有房屋h1、院子h2、院子的通路h3、在院子h2的旁边具有目标停车位pt。h4表示立设在通路h3的端部的杆，rd表示自己家住宅前的道路。在本实施方式的停车辅助装置10中，在将本车辆v1停车在目标停车位pt的状态下、即在停车结束的状态下，使用由摄像装置20的安装在左车门后视镜上的摄像装置20b拍摄的图像数据，通过图像处理装置30生成图2所示的从虚拟视点vp1观察正下方的图像im3和从虚拟视点vp2观察水平方向外侧的图像im4。
54.图7a是表示登记在停车辅助装置10中的第一基准图像im31的一例的图，图7b是表示同样登记在停车辅助装置10中的第二基准图像im41、im42的一例的图。图7a所示的图像im3是从虚拟视点vp1向正下方观察停在目标停车位pt的本车辆v1的左侧的景色的平面图像。因此，院子h2与通路h3的边界线l11、院子h2与停车位pt的边界线l12成为适于对照的特征点。与此相对，院子h2本身色彩一样，没有图案等，没有特征点，因此不适于对照。因此，在本实施方式中，将包含边界线l11、l12的部分的图像im31作为第一基准图像。
55.图7b所示的图像im4是从虚拟视点vp2向水平方向的房屋h1观察停在目标停车位pt的本车辆v1的左侧的景色的正面图像。因此，房屋h1的入口墙壁的纵线l13、通路h3的端部的杆h4成为适于对照的特征点。与此相对，院子h2和通路h3虽然具有边界线l11、l12，但在水平观察的正面图像中特征并不那么明显，因此不适于对照。因此，在本实施方式中，将包含纵线l13的部分的图像im41和包含杆h4的部分的图像im42的至少一方作为第二基准图像。
56.这些存储在控制装置11的存储器中的不同的多个基准图像、即第一基准图像im31及第二基准图像im41、im42，在之后驾驶员将该自己家住宅的停车位设定为目标停车位pt的情况下，从控制装置11的存储器中读出，成为用于对照处理的基准图像。另外，如图7a和图7b所示，存储在控制装置11的存储器中的基准图像是在整体的图像im3、im4中特别切出成为特征点的一部分的图像im31、im41、im42，但也可以取而代之，将整体的图像im3和图像
im4作为基准图像。
57.另外，在本实施方式中，也可以对不同的多个基准图像的每一个设定进行对照时的拟合度，并将所设定的拟合度用于目标停车位pt的位置信息的计算中。本实施方式的拟合度是基准图像的被推定为对照概率高的似然度、相关系数及其他程度，是将全部基准图像的拟合度合计为1或100％的特性值。例如，如果包含容易与其他图像识别的特征点、或者包含多个不同的特征点，则拟合度变高。而且，例如在登记有设定了40％和60％的拟合度的两个基准图像的情况下，当针对当前的本车辆周围的图像能够识别这两个基准图像双方时，也可以对基于拟合度为60％的基准图像计算出的目标车位的位置信息进行60％的加权，对基于拟合度为40％的基准图像计算出的目标车位的位置信息进行40％的加权，对它们进行加权而计算出最终的目标停车位的位置信息。
58.另外，在本实施方式中，如图6所示，在登记自己家住宅等所希望的目标停车位pt的情况下，也可以与其相关联地，对从道路rd的规定的停车开始位置p0到目标停车位pt的行驶路径r进行跟踪，并预先存储到控制装置11的存储器中。然后，在之后使本车辆v1停车至目标停车位pt的情况下，当通过对照处理识别出目标停车位pt时，可以沿着所存储的行驶路径r自主控制本车辆的行驶动作。
59.另外，在本实施方式中，在控制装置11的存储器中存储了不同的多个基准图像之后，使本车辆停车至该停车位的情况下，使用摄像装置20拍摄本车辆周围的图像，通过比较该图像和基准图像，计算出由基准图像确定的目标停车位的位置信息。此时，将当前的本车辆周围的图像变换为与不同的多个基准图像分别对应的图像形式。例如，在一个基准图像是从图7a所示的虚拟视点vp1向正下方观察的平面图像即第一基准图像im31的情况下，在进行与该第一基准图像im31的对照时，使用图像处理装置30，将由摄像装置20拍摄的图像数据变换为从虚拟视点vp1向正下方观察的平面图像。同样地，在另一个基准图像是从图7b所示的虚拟视点vp2向水平方向观察的正面图像即第二基准图像im41和im42的情况下，在进行与该第二基准图像im41和im42的对照时，使用图像处理装置30，将由摄像装置20拍摄的图像数据变换为从虚拟视点vp2向水平方向观察的正面图像。
60.另外，在本实施方式中，在对当前的本车辆周围的图像和不同的多个基准图像进行对照处理的情况下，可以对当前的本车辆周围的图像与全部的不同的多个基准图像进行对照处理，也可以与不同的多个基准图像的一部分基准图像进行对照处理。而且，在对当前的本车辆周围的图像与全部的不同的多个基准图像进行对照处理的情况下，根据能够识别的基准图像的全部，以上述的拟合度进行加权等来计算出目标停车位pt的位置信息。另外，在对当前的本车辆周围的图像和不同的多个基准图像的一部分的基准图像进行对照处理的情况下，依次对不同的多个基准图像进行对照处理，在存在能够识别出的基准图像时，即使存在剩余的基准图像，也在此结束对照处理，并基于该能够识别出的基准图像计算出目标停车位pt的位置信息。
61.返回图1，本实施方式的控制装置11的停车位显示功能是为了向驾驶员提示停车位p而将控制装置11检测出的停车位p或预先登记的停车位(图6的pt等)显示到显示器121上的功能。例如，如图3所示，控制装置11以虚线框向驾驶员提示停车位p。驾驶员从图3所示的停车位p中选择使本车辆v1停车的目标停车位pt。目标停车位pt的选择例如可以通过触摸由触摸面板构成的显示器121的画面来进行。通过驾驶员这样设定目标停车位pt，控制装
置11能够通过停车路径计算功能计算出停车路径。
62.本实施方式的控制装置11的停车路径计算功能是为了使本车辆v1停车到所设定的目标停车位pt而计算出到达目标停车位pt的停车路径的功能。
63.接着，参照图8～图10，对本实施方式的控制装置11中的停车辅助处理进行说明。图8是表示本实施方式的停车辅助处理的基本处理的流程图的一例，图9是表示图8的步骤s6的子程序的一例的流程图，图10是表示图8的步骤s6的子程序的另一例的流程图。另外，以下说明的停车辅助处理由控制装置11以规定时间间隔执行。
64.在图8的步骤s1中，控制装置11判定是否按下了自主停车开始按钮。例如，当驾驶员进入停车场并按下自主停车按钮时，则本实施方式的停车辅助处理开始。或者，也可以取而代之，通过环境信息获取功能自动地判定是否开始自主停车。在判定为开始自主停车的情况下，进入步骤s2，否则重复该步骤s1。
65.在步骤s2中，判定驾驶员是否选择了预先登记在控制装置11的存储器中的登记停车位。在选择了登记停车位的情况下，进入步骤s6，否则进入步骤s3。
66.在没有选择登记停车位的情况下，在步骤s3中，控制装置11通过停车位检测功能，使用通过摄像装置200获取的图像，通过图像处理装置30生成俯瞰图像im1。然后，从俯瞰图像im1中检测出停车区域，使用摄像装置200和测距装置40从停车区域中检测出停车位p。
67.在接着的步骤s4中，控制装置11通过停车位显示功能，使用显示器121向驾驶员提示停车位p。驾驶员从所显示的停车位p中选择所希望的停车位，并将其设定为目标停车位。在步骤s5中，控制装置11判定是否从停车位p中设定了使本车辆v1停车的目标停车位pt。在判定为驾驶员没有从停车位p中选择使本车辆v1停车的目标停车位pt的情况下，返回步骤s4，继续向驾驶员提示停车位p直至驾驶员选择目标停车位pt为止。与此相对，在判定为驾驶员从停车位p中选择了使本车辆v1停车的目标停车位pt的情况下，进入步骤s7。
68.返回步骤s2，在步骤s2中驾驶员选择了登记停车位的情况下进入步骤s6。图9是表示步骤s6的子程序的流程图，在驾驶员选择了登记停车位的情况下，对由摄像装置20拍摄的当前的本车辆周围的图像与预先登记的不同的多个基准图像进行对照，识别出目标停车位pt，计算出该目标停车位pt的位置信息。
69.具体而言，在图9的步骤s611中，将由摄像装置20拍摄的当前的本车辆周围的图像按照第一基准图像im31的形式进行变换，并与第一基准图像im31进行对照。在本实施方式中，第一基准图像im31是从虚拟视点vp1向正下方观察的平面图像，因此将由摄像装置20拍摄的当前的本车辆周围的图像变换为从虚拟视点vp1向正下方观察的平面图像。然后，使用以往公知的基于模板图像的匹配方法、特征点对照方法及其他对照方法，识别当前的本车辆周围的图像中的第一基准图像im31。
70.在接着的步骤s612中，将由摄像装置20拍摄的当前的本车辆周围的图像按照第二基准图像im41、im42的形式进行变换，并与第二基准图像im41、im42进行对照。在本实施方式中，由于第二基准图像im41、im42是从虚拟视点vp2向水平方向观察的正面图像，所以将由摄像装置20拍摄的当前的本车辆周围的图像变换为从虚拟视点vp2向水平方向观察的正面图像。然后，使用以往公知的基于模板图像的匹配方法、特征点对照方法及其他对照方法，识别当前的本车辆周围的图像中的第二基准图像im41、im42。
71.在接着的步骤s613中，判定在步骤s611中执行的对照的结果、在当前的本车辆周
围的图像中是否存在与第一基准图像im31一致的部分，在判定为存在一致的部分的情况下进入步骤s614，在判定为不存在一致的部分的情况下进入步骤s617。
72.在步骤s614中，判定在步骤s612中执行的对照的结果、在当前的本车辆周围的图像中是否存在与第二基准图像im41、im42一致的部分，在判定为存在一致的部分的情况下进入步骤s615，在判定为不存在一致的部分的情况下进入步骤s616。另一方面，在步骤s613中，在判定为在当前的本车辆周围的图像中不存在与第一基准图像im31一致的部分的情况下，在步骤s617中，判定在步骤s612中执行的对照的结果、在当前的本车辆周围的图像中是否存在与第二基准图像im41、im42一致的部分，在判定为存在一致的部分的情况下进入步骤s618，在判定为不存在一致的部分的情况下进入步骤s619。
73.在步骤s615中，由于在步骤s613中判定为存在与第一基准图像im31一致的部分，进而又在步骤s614中判定为存在与第二基准图像im41、im42一致的部分，因此基于第一基准图像im31以及第二基准图像im41、im42的检测位置来计算目标停车位pt的位置。此时，在对第一基准图像im31和第二基准图像im41、im42设定了拟合度的情况下，通过使用了该拟合度的加权平均来计算目标停车位pt的位置。
74.在步骤s616中，由于在步骤s613中判定为存在与第一基准图像im31一致的部分，在步骤s614中判定为不存在与第二基准图像im41、im42一致的部分，因此基于第一基准图像im31的检测位置来计算目标停车位pt的位置。在这种情况下，第二基准图像im41、im42不用于计算目标停车位pt的位置。
75.在步骤s618中，由于在步骤s613中判定为不存在与第一基准图像im31一致的部分，在步骤s614中判定为存在与第二基准图像im41、im42一致的部分，因此基于第二基准图像im41、im42的检测位置来计算目标停车位pt的位置。在这种情况下，第一基准图像im31不用于计算目标停车位pt的位置。
76.在步骤s619中，由于在步骤s613中判定为不存在与第一基准图像im31一致的部分，进而又在步骤s614中判定为不存在与第二基准图像im41、im42一致的部分，因此不计算目标停车位pt的位置，而结束停车辅助处理。
77.在执行了步骤s615、s616、s618的各处理后，进入图8的步骤s7。
78.在步骤s7中，控制装置11通过停车路径计算功能，计算例如使本车辆v1从当前位置、或者从变更了行驶方向后的位置移动至所设定的目标停车位pt的停车路径r。在步骤s8中，控制装置11通过行驶动作计划功能，计划用于使本车辆v1沿着计算出的停车路径r停车的行驶动作，根据计算出的停车路径r和计划的行驶动作，使用车辆控制器50、驱动系统60、车速传感器70以及操舵角传感器80执行本车辆v1的停车辅助。另外，在步骤s2中，在选择了登记停车位的情况下，当存储有与该登记的目标停车位pt的位置信息相关联的停车路径r时，在步骤s7中将其读出。
79.另外，控制装置11在步骤s8的停车辅助的执行中，通过环境信息获取功能，使用摄像装置200和测距装置40来检测本车辆v1周围的障碍物，避免与障碍物的干涉的同时执行停车辅助。
80.在步骤s9中，判定本车辆v1是否停车至目标停车位pt并已结束，继续步骤s8的停车辅助，直至本车辆v1停车结束为止。
81.在图9所示的停车位的识别处理中，进行了与登记在控制装置11的存储器中的基
准图像的全部、即与第一基准图像im31和第二基准图像im41、im42的对照，但也可以如图10所示，执行与登记在控制装置11的存储器中的基准图像的一部分的对照。图10是表示图8的步骤s6的子程序的其他例的流程图。
82.具体而言，在图9的步骤s621中，将由摄像装置20拍摄的当前的本车辆周围的图像按照第一基准图像im31的形式进行变换，并与第一基准图像im31进行对照。在本实施方式中，第一基准图像im31是从虚拟视点vp1向正下方观察的平面图像，因此将由摄像装置20拍摄的当前的本车辆周围的图像变换为从虚拟视点vp1向正下方观察的平面图像。然后，使用以往公知的基于模板图像的匹配方法、特征点对照方法及其他对照方法，识别当前的本车辆周围的图像中的第一基准图像im31。
83.在接着的步骤s622中，判定在步骤s621中执行的对照的结果、在当前的本车辆周围的图像中是否存在与第一基准图像im31一致的部分，在判定为存在一致的部分的情况下进入步骤s623，在判定为不存在一致的部分的情况下进入步骤s624。
84.在步骤s623中，由于在步骤s622中判定为存在与第一基准图像im31一致的部分，所以基于第一基准图像im31的检测位置来计算目标停车位pt的位置。在这种情况下，第二基准图像im41、im42不用于计算目标停车位pt的位置。
85.另一方面，在步骤s624中，将由摄像装置20拍摄的当前的本车辆周围的图像按照第二基准图像im41、im42的形式进行变换，并与第二基准图像im41、im42进行对照。在本实施方式中，由于第二基准图像im41、im42是从虚拟视点vp2向水平方向观察的正面图像，所以将由摄像装置20拍摄的当前的本车辆周围的图像变换为从虚拟视点vp2向水平方向观察的正面图像。然后，使用以往公知的基于模板图像的匹配方法、特征点对照方法及其他对照方法，识别当前的本车辆周围的图像中的第二基准图像im41、im42。
86.在接着的步骤s625中，判定在步骤s624中执行的对照的结果、在当前的本车辆周围的图像中是否存在与第二基准图像im41、im42一致的部分，在判定为存在一致的部分的情况下进入步骤s626，在判定为不存在一致的部分的情况下进入步骤s627。
87.在步骤s626中，由于在步骤s622中判定为不存在与第一基准图像im31一致的部分，在步骤s624中判定为存在与第二基准图像im41、im42一致的部分，所以基于第二基准图像im41、im42的检测位置来计算目标停车位pt的位置。在这种情况下，第一基准图像im31不用于计算目标停车位pt的位置。
88.在步骤s627中，由于在步骤s622中判定为不存在与第一基准图像im31一致的部分，进而又在步骤s625中判定为不存在与第二基准图像im41、im42一致的部分，所以不计算目标停车位pt的位置而结束停车辅助处理。
89.如上所述，根据本实施方式的停车辅助装置10以及停车辅助方法，预先存储使用对本车辆v1的周围进行拍摄的摄像装置20生成的、确定目标停车位pt的不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)，之后在使本车辆v1停车至目标停车位pt的情况下，将当前的本车辆v1的周围的图像与不同的多个基准图像中的至少一个基准图像进行对照来识别目标停车位pt，因此能够提高目标停车位pt的识别精度。
90.另外，根据本实施方式的停车辅助装置10和停车辅助方法，基于识别出的目标停车位pt的位置信息，自主控制本车辆v1沿着到达目标停车位pt的行驶路径r的行驶动作，因此能够进一步可靠地自主控制本车辆v1。
91.另外，根据本实施方式的停车辅助装置10和停车辅助方法，将当前的本车辆v1周围的图像与不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)的全部进行对照来识别目标停车位pt，因此目标停车位pt的识别精度进一步提高。
92.另外，根据本实施方式的停车辅助装置10和停车辅助方法，将当前的本车辆v1的周围的图像与不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)的一部分进行对照来识别目标停车位pt，因此目标停车位pt的识别处理时间缩短，识别处理负荷也减轻。
93.另外，根据本实施方式的停车辅助装置10以及停车辅助方法，由于不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)包括视点位置不同的多个基准图像、视线方向不同的多个基准图像以及变换方法不同的多个基准图像中的至少任意一个基准图像，因此目标停车位pt的识别精度进一步提高。
94.另外，根据本实施方式的停车辅助装置10以及停车辅助方法，在将当前的本车辆v1的周围的图像与不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)中的至少一个基准图像进行对照的情况下，将当前的本车辆的周围的图像变换为与不同的多个基准图像分别对应的图像形式，因此对照处理被简化，对照精度也变高。
95.另外，根据本实施方式所涉及的停车辅助装置10以及停车辅助方法，对不同的多个基准图像(第一基准图像im31、第二基准图像im41、im42)的每一个设定进行对照时的拟合度，在对当前的本车辆v1的周围的图像与不同的多个基准图像中的至少一个基准图像进行对照时，通过使用了所设定的拟合度的加权来识别目标停车位pt，因此，能够根据预先登记的目标停车位pt的环境提高对照的拟合性，进一步提高目标停车位pt的识别精度。
96.另外，根据本实施方式的停车辅助装置10以及停车辅助方法，在预先存储多个基准图像(第一基准图像im31、第二基准图像im41、im42)时，预先存储从规定的停车开始位置到目标停车位pt的行驶路径r，之后在使本车辆v1停车至目标停车位pt的情况下，当识别出目标停车位pt时，沿着存储的行驶路径r自主控制本车辆v1的行驶动作，所以能够减轻行驶路径的计算负荷，同时能够缩短直至停车辅助开始之前的时间。
97.符号说明
98.1：停车辅助系统
99.10：停车辅助装置
100.11：控制装置
101.111：rom
102.112：cpu
103.113：ram
104.12：输出装置
105.121：显示器
106.122：扬声器
107.20：摄像装置
108.2a：配置在车辆的前格栅部的摄像装置
109.2b：配置在车辆的左车门后视镜的下部的摄像装置
110.2c：配置在车辆的右车门后视镜的下部的摄像装置
111.2d：配置在车辆的后保险杠附近的摄像装置
112.30：图像处理装置
113.40：测距装置
114.4a：前方测距装置
115.4b：右侧方测距装置
116.4c：左侧方测距装置
117.4d：后方测距装置
118.50：车辆控制器
119.60：驱动系统
120.70：车速传感器
121.im1：俯瞰图像
122.im2：监控图像
123.im31：第一基准图像
124.im41、im42：第二基准图像
125.l1～l10：线
126.p：停车位
127.pt、pt1、pt2、pt3：目标停车位
128.v1：本车辆
129.v2、v2a、v2b、v2c、v2d、v2e：其他车辆
130.vp1、vp2：虚拟视点

技术特征：
1.一种停车辅助方法，其中，预先存储使用对本车辆的周围进行拍摄的摄像装置生成的、确定目标停车位的不同的多个基准图像，在之后使本车辆停车至所述目标停车位的情况下，将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照来识别所述目标停车位。2.如权利要求1所述的停车辅助方法，其中，基于识别出的所述目标停车位的位置信息，自主控制到达所述目标停车位的本车辆的行驶动作。3.如权利要求1或2所述的停车辅助方法，其中，将所述当前的本车辆周围的图像与所述不同的多个基准图像的全部基准图像进行对照来识别所述目标停车位。4.如权利要求1或2所述的停车辅助方法，其中，将所述当前的本车辆周围的图像与所述不同的多个基准图像中的一部分基准图像进行对照来识别所述目标停车位。5.如权利要求1～4中任一项所述的停车辅助方法，其中，所述不同的多个基准图像包含视点位置不同的多个基准图像、视线方向不同的多个基准图像以及变换方法不同的多个基准图像中的至少任意一个基准图像。6.如权利要求1～5中任一项所述的停车辅助方法，其中，在将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照的情况下，将所述当前的本车辆周围的图像变换为与所述不同的多个基准图像分别对应的图像形式。7.如权利要求1～6中任一项所述的停车辅助方法，其中，对所述不同的多个基准图像的每一个设定进行对照时的拟合度，在将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照的情况下，通过使用了所设定的拟合度的加权来识别目标停车位。8.如权利要求1～7中任一项所述的停车辅助方法，其中，在预先存储所述多个基准图像时，预先存储从规定的停车开始位置到所述目标停车位的行驶路径，在之后使本车辆停车至所述目标停车位的情况下，如果识别出所述目标停车位，则沿着所存储的行驶路径自主控制本车辆的行驶动作。9.一种停车辅助装置，其中，具备：存储器，其预先存储使用对本车辆的周围进行拍摄的摄像装置生成的、包含目标停车位的不同的多个基准图像；控制器，其在之后使本车辆停车至所述目标停车位的情况下，将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照来识别所述目标停车位。

技术总结
预先存储使用对本车辆(V1)的周围进行拍摄的摄像装置(20)生成的、用于确定目标停车位(Pt)的不同的多个基准图像(IM31、IM41、IM42)，在之后使本车辆(V1)停车至所述目标停车位(Pt)的情况下，将当前的本车辆周围的图像与所述不同的多个基准图像中的至少一个基准图像进行对照来识别所述目标停车位，基于识别出的目标停车位的位置信息，自主控制到达所述目标停车位的本车辆的行驶动作。停车位的本车辆的行驶动作。停车位的本车辆的行驶动作。


技术研发人员：铃木康启 竹田椋
受保护的技术使用者：雷诺公司
技术研发日：2020.11.02
技术公布日：2023/8/1