学习方法、学习装置、移动体控制及其方法、存储介质与流程

1.本发明涉及学习方法、学习装置、移动体控制装置、移动体控制方法及存储介质。


背景技术：

2.以往，已知使用搭载于移动体的传感器来检测存在于该移动体的周边的障碍物的技术。例如，在日本特开2021-162926号公报中，公开了基于由搭载于移动体的多个测距传感器取得的信息来检测存在于该移动体的周边的障碍物的技术。
3.专利文献1所述的技术是使用超声波传感器、lidar等多个测距传感器来检测存在于移动体的周边的障碍物的技术。然而，在采用使用了多个测距传感器的结构的情况下，用于感测的硬件结构变得复杂，因此存在系统的成本增加的倾向。另一方面，为了抑制系统的成本，也考虑采用仅使用了相机的单纯的硬件结构，但在该情况下，为了确保应对各种各样的场景的耐用性，需要用于感测的庞大的学习数据。


技术实现要素：

4.本发明是考虑这样的情况而完成的，其目的之一在于提供不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间的学习方法、学习装置、移动体控制装置、移动体控制方法及存储介质。
5.本发明的学习方法、学习装置、移动体控制装置、移动体控制方法及存储介质采用了以下的结构。
6.(1)：本发明的一方案的学习方法具备如下步骤：针对鸟瞰图图像中的延伸区域，与表示所述延伸区域为立体物的注释建立对应关系；以及基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。
7.(2)：本发明的一方案的学习装置具备：接受部，其接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；以及学习部，其基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。
8.(3)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。
9.(4)：本发明的一方案的移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰
图坐标系变换而得到；立体物检测部，其通过将所述对象鸟瞰图图像输入(1)至(3)中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。
10.(5)：本发明的一方案的移动体控制方法进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入(1)至(3)中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。
11.(6)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入(1)至(3)中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。
12.(7)：本发明的一方案的学习方法具备如下步骤：针对鸟瞰图图像中的延伸区域，与表示所述延伸区域为立体物的注释建立对应关系；以及基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。
13.(8)：本发明的一方案的学习装置具备：接受部，其接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；以及学习部，其基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。
14.(9)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。
15.(10)：本发明的一方案的移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；立体物检测部，其通过将所述对象图像及所述对象鸟瞰图图像输
入(7)至(9)中任一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。
16.(11)：本发明的一方案的移动体控制方法进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象图像及所述对象鸟瞰图图像输入(7)至(9)中任一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。
17.(12)：本发明的一方案的存储介质存储有程序，其中，所述程序进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象图像及所述对象鸟瞰图图像输入(7)至(9)中任一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。
18.根据(1)～(12)，不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间。
附图说明
19.图1是表示具备本发明的实施方式的移动体控制装置的本车辆m的结构的一例的图。
20.图2是表示由鸟瞰图图像取得部取得的鸟瞰图图像的一例的图。
21.图3是表示由立体物检测部检测的立体物的检测结果的一例的图。
22.图4是表示由空间检知部检知到的可行驶空间fs的一例的图。
23.图5是表示由移动体控制装置执行的处理的流程的一例的流程图。
24.图6是表示学习装置的结构的一例的图。
25.图7是用于说明由学习部执行的机器学习的详细情况的图。
26.图8是用于说明由本变形例的学习部执行的机器学习的详细情况的图。
27.图9是表示由本变形例的立体物检测部检测的立体物的检测结果的一例的图。
28.图10是表示由本变形例的移动体控制装置执行的处理的流程的一例的流程图。
具体实施方式
29.以下，参照附图，来说明本发明的学习方法、学习装置、移动体控制装置、移动体控制方法及存储介质的实施方式。移动体控制装置是控制移动体的移动动作的装置。所谓移动体，包括三轮或四轮等的车辆、二轮车、微型移动体(micro-mobility)等，也可以包括能够在路面上移动的所有移动体。在以下的说明中，设为移动体是四轮车辆，将搭载有驾驶支援装置的车辆称作本车辆m。
30.[移动体控制装置]
[0031]
图1是表示具备本发明的实施方式的移动体控制装置100的本车辆m的结构的一例的图。如图1所示那样，本车辆m具备相机10和移动体控制装置100。相机10和移动体控制装
置100通过can(controller area network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是，图1所示的结构只是一例，也可以还追加别的结构。
[0032]
相机10例如是利用了ccd(charge coupled device)、cmos(complementary metal oxide semiconductor)等固体摄像元件的数码相机。在图1中，相机10设置于本车辆m的前保险杠，但相机10设置于例如本车辆m的车室内等一般情况下能够对本车辆m的前方能够拍摄的任意部位即可。相机10例如周期性地反复对本车辆m的周边进行拍摄。相机10也可以是立体相机。
[0033]
移动体控制装置100例如具备鸟瞰图图像取得部110、立体物检测部120、空间检知部130、行驶控制部140及存储部150。存储部150例如存储学习完毕模型152。鸟瞰图图像取得部110、立体物检测部120、空间检知部130及行驶控制部140例如通过cpu(central processing unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过lsi(large scale integration)、asic(application specific integratedcircuit)、fpga(field-programmable gate array)、gpu(graphics processing unit)等硬件(包括电路部：circuitry)来实现，也可以通过软件与硬件的协同配合来实现。程序可以预先保存于hdd(hard disk drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于dvd、cd-rom等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装。存储部150例如由rom(read only memory)、闪存器、sd卡、ram(random access memory)、hdd(hard disk drive)、寄存器等来实现。
[0034]
鸟瞰图图像取得部110通过将由相机10对本车辆m的周边状况拍摄到的图像向鸟瞰图坐标系变换来取得鸟瞰图图像。图2是表示由鸟瞰图图像取得部110取得的鸟瞰图图像的一例的图。图2的左部表示由相机10拍摄到的图像，图2的中央部表示通过将由相机10拍摄到的图像向鸟瞰图坐标系变换而得到的鸟瞰图图像。如图2所示那样，在2d图像中映出的立体物与路面等不同，通过变换为鸟瞰图图像而被映成沿上下方向或左右方向延伸的延伸区域。如后述那样，学习完毕模型152的制作者如图2的右部所示的那样，使用学习装置200事先针对映到鸟瞰图图像中的延伸区域，与表示该延伸区域为立体物的注释建立对应关系，由此制作用于由学习装置200进行学习的教示数据252。
[0035]
立体物检测部120通过将变换到的鸟瞰图图像输入以当输入鸟瞰图图像时输出该鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型152，来检测变换出的鸟瞰图图像中的立体物。图3是表示由立体物检测部120检测的立体物的检测结果的一例的图。如图3所示那样，当立体物检测部120将变换出的鸟瞰图图像向学习完毕模型152输入时，学习完毕模型152以能够识别包含于鸟瞰图图像的立体物的形式输出该鸟瞰图图像(即，输出立体物)。立体物检测部120通过参照由学习完毕模型152输出的鸟瞰图图像，能够检测映到该鸟瞰图图像中的立体物。
[0036]
空间检知部130对由学习完毕模型152输出的鸟瞰图图像实施逆鸟瞰图变换，得到以能够识别立体物的形式显示出的2d图像。空间检知部130通过从得到的2d图像中将识别出的立体物除外，来检知在2d图像中本车辆m能够行驶的空间(以下，称作可行驶空间fs)。
[0037]
图4是表示由空间检知部130检知到的可行驶空间fs的一例的图。在图4中，作为一例，将可行驶空间fs示出为长方体区域。行驶控制部140以本车辆m通过可行驶空间fs的方
式生成目标轨道tt，并使本车辆m沿着目标轨道tt行驶。目标轨道tt例如包含速度要素。例如，目标轨道表现为将本车辆m应该到达的地点(轨道点)依次排列而得到目标轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如几[m]程度)的本车辆m应该到达的地点，有别于此，每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。另外，轨道点也可以是每隔规定的采样时间的在该采样时刻下本车辆m应该到达的位置。在该情况下，目标速度、目标加速度的信息由轨道点的间隔表现。需要说明的是，在本实施方式中，作为一例，说明了使本发明适用于自动驾驶的情况，但本发明不限定于这样的结构，也可以适用于使本车辆m的导航装置显示不存在立体物的可行驶空间fs、以在可行驶空间fs行驶的方式辅助转向盘的转向等驾驶支援。
[0038]
接着，参照图5，来说明由移动体控制装置100执行的处理的流程。图5是表示由移动体控制装置100执行的处理的流程的一例的流程图。首先，移动体控制装置100取得由相机10对本车辆m的周边状况拍摄到的相机图像(步骤s100)。接着，鸟瞰图图像取得部110通过将取得的相机图像向鸟瞰图坐标系变换来取得鸟瞰图图像(步骤s102)。
[0039]
接着，立体物检测部120通过将取得的鸟瞰图图像向学习完毕模型152输入，来检测该鸟瞰图图像中的立体物(步骤s104)。接着，空间检知部130对检测到立体物的鸟瞰图图像实施逆鸟瞰图变换，得到立体物以能够识别的形式显示出的2d图像(步骤s106)。
[0040]
接着，空间检知部130通过从得到的2d图像中将识别到的立体物除外，来检知2d图像中的可行驶空间fs(步骤s108)。接着，空间检知部130以本车辆m通过可行驶空间fs的方式生成目标轨道tt，并使本车辆m沿着目标轨道tt行驶(步骤s110)。由此，本流程图的处理结束。
[0041]
[学习装置]
[0042]
接着，参照图6，来说明生成本实施方式的学习完毕模型152的学习装置200。图6是表示学习装置200的结构的一例的图。如图6所示那样，学习装置200例如具备通信部210、取得部220、接受部230、学习部240及存储部250。存储部250例如存储教示数据252。取得部220、接受部230及学习部240例如通过cpu等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过lsi、asic、fpga、gpu等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于hdd、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于dvd、cd-rom等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装。存储部250例如由rom、闪存器、sd卡、ram、hdd、寄存器等来实现。
[0043]
通信部210是经由网络nw而与本车辆m的移动体控制装置100通信的接口。通信部210例如具备nic、无线通信用的天线等。
[0044]
取得部220例如经由通信部210从车辆取得鸟瞰图图像。在该情况下，图像的提供源的车辆也可以是仅是用于专门收集图像的车辆。另外，学习装置200无需一定经由nw而与车辆通信，也可以将由车辆收集到的数据保存于可移动型存储介质，并由人的手搬运过来而使用于学习。而且，代替性地也可以是，取得部220从车辆取得相机图像，并学习装置200将所取得的相机图像变换为鸟瞰图图像。
[0045]
接受部230接受针对鸟瞰图图像中的延伸区域而与表示该延伸区域为立体物的注释建立的对应关系，并作为鸟瞰图图像中的延伸区域与注释建立了对应关系的教示数据
252而存储于存储部250。换言之，所谓教示数据252，是指针对鸟瞰图图像，与对该鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系的数据集。具体而言，例如，接受部230也可以将用于在鸟瞰图图像上对立体物赋予注释的接口画面向学习完毕模型152的制作者提供，并接受来自该制作者的操作，由此作为教示数据252而接受鸟瞰图图像与带注释的鸟瞰图图像的组合。另外，例如，也可以是，接受部230与作为该带注释的鸟瞰图图像的原始数据的鸟瞰图图像对照而从该制作者的终端装置接收由学习完毕模型152的制作者制作出的带注释的鸟瞰图图像。
[0046]
学习部240基于教示数据252，以当输入鸟瞰图图像时输出该鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型152。学习部240经由网络nw向移动体控制装置100发送制作出的学习完毕模型152，移动体控制装置100将接收到的学习完毕模型152存储于存储部150。
[0047]
图7是用于说明由学习部240执行的机器学习的详细情况的图。如图7所示那样，学习部240更新dnn的参数，以便减小误差函数的值，该误差函数的值表示作为对cnn(convolutional neural network)等dnn(deep neural network)输入了鸟瞰图图像的结果而输出的输出图像、和与该鸟瞰图图像对应的带注释的鸟瞰图图像之间的差量。作为学习部240更新dnn的参数的方法，例如可以利用误差反向传播法(backpropagation)、最陡下降法(steepest descent)、随机梯度下降法(stochastic gradient descent)等任意的方法。误差函数例如是平方和误差、交叉熵等任意的函数。学习部240通过将参数的更新处理执行与保存于教示数据252的数据集的数量相应的量，来确定dnn的参数，得到学习完毕模型152。
[0048]
根据如以上那样说明的实施方式，学习装置200生成以当输入鸟瞰图图像时输出该鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型152，移动体控制装置100将由相机10拍摄到的图像变换为鸟瞰图图像，并将变换出的鸟瞰图图像向生成的学习完毕模型152输入，由此辨识立体物。由此，不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间。
[0049]
[变形例]
[0050]
在上述的实施方式中，学习装置200生成以当输入鸟瞰图图像时输出该鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型152，移动体控制装置100使用所生成的学习完毕模型152来检测存在于本车辆m的前方的立体物。然而，本发明不限定于这样的结构。在本变形例中，学习装置200生成以当输入图像、及通过将该图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出该图像中的立体物的方式进行了学习的学习完毕模型152，移动体控制装置100使用所生成的学习完毕模型152，来检测存在于本车辆m的前方的立体物。移动体控制装置100及学习装置200的结构与上述的实施方式同样，因此省略说明。
[0051]
图8是用于说明由本变形例的学习部240执行的机器学习的详细情况的图。如图8所示那样，学习部240更新dnn的参数，以便减小误差函数的值，该误差函数的值表示作为对cnn(convolutional neural network)等dnn(deep neural network)输入了图像及通过将该图像向鸟瞰图坐标系变换而得到的鸟瞰图图像的结果输出的输出图像、以及通过对与该鸟瞰图图像对应的带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像之间的差量。dnn的参数的更新方法及误差函数的种类与上述的实施方式同样。学习部240通过将参数的更
新处理执行与保存于教示数据252的数据集的数量相应的量，来确定dnn的参数，得到学习完毕模型152。
[0052]
图9是表示由本变形例的立体物检测部120检测的立体物的检测结果的一例的图。如图9所示那样，当立体物检测部120向学习完毕模型152输入由相机10拍摄到的图像、以及通过将该图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时，学习完毕模型152以能够识别立体物的形式输出2d图像(即，输出立体物)。立体物检测部120通过参照由学习完毕模型152输出的2d图像，来检测映到该图像中的立体物。
[0053]
接着，参照图10，来说明由本变形例的移动体控制装置100执行的处理的流程。图10是表示由本变形例的移动体控制装置100执行的处理的流程的一例的流程图。首先，移动体控制装置100取得由相机10对本车辆m的周边状况拍摄到的相机图像(步骤s200)。接着，鸟瞰图图像取得部110通过将所取得的相机图像向鸟瞰图坐标系变换来取得鸟瞰图图像(步骤s202)。
[0054]
接着，立体物检测部120通过将所取得的相机图像及鸟瞰图图像向学习完毕模型152输入，来检测2d图像中的立体物(步骤s204)。接着，空间检知部130通过从所得到的2d图像中将识别出的立体物除外，来检知2d图像中的可行驶空间fs(步骤s206)。接着，空间检知部130以本车辆m通过可行驶空间fs的方式生成目标轨道tt，并使本车辆m沿着目标轨道tt行驶(步骤s208)。由此，本流程图的处理结束。
[0055]
根据如以上那样说明的本变形例，学习装置200生成以当输入2d图像及通过将该2d图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出该2d图像中的立体物的方式进行了学习的学习完毕模型152，移动体控制装置100向所生成的学习完毕模型152输入由相机10拍摄到的相机图像、以及通过将该相机图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，由此辨识相机图像中的立体物。由此，不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间。
[0056]
而且，在上述的实施方式中，移动体控制装置100对由学习完毕模型152输出的鸟瞰图图像实施了逆鸟瞰图变换。然而，在本变形例中，移动体控制装置100通过向学习完毕模型152输入由相机10拍摄到的相机图像、以及与该相机图像对应的鸟瞰图图像，不执行逆鸟瞰图变换而能够取得相机图像中的立体物检测的结果。由此，与上述的实施方式相比，能够减轻移动体控制装置100的处理负荷。
[0057]
上述说明的实施方式能够如以下这样表现。
[0058]
一种学习装置，其具备：
[0059]
存储装置，其存储有程序；以及
[0060]
硬件处理器，
[0061]
通过所述硬件处理器执行存储于所述存储装置的程序来进行如下处理：
[0062]
接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；
[0063]
基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。
[0064]
而且，上述说明的实施方式也能够如以下这样表现。
[0065]
一种学习装置，其具备：
[0066]
存储装置，其存储有程序；以及
[0067]
硬件处理器，
[0068]
接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；
[0069]
基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。
[0070]
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

技术特征：
1.一种学习方法，其中，所述学习方法具备如下步骤：针对鸟瞰图图像中的延伸区域，与表示所述延伸区域为立体物的注释建立对应关系；以及基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。2.一种学习装置，其中，所述学习装置具备：接受部，其接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；以及学习部，其基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。3.一种存储介质，其存储有程序，其中，所述程序使计算机进行如下处理：接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。4.一种移动体控制装置，其中，所述移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；立体物检测部，其通过将所述对象鸟瞰图图像输入权利要求1至3中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。5.一种移动体控制方法，其中，所述移动体控制方法使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入权利要求1至3中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。6.一种存储介质，其存储有程序，其中，
所述程序使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入权利要求1至3中任一项所记载的所述学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。7.一种学习方法，其中，所述学习方法具备如下步骤：针对鸟瞰图图像中的延伸区域，与表示所述延伸区域为立体物的注释建立对应关系；以及基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。8.一种学习装置，其中，所述学习装置具备：接受部，其接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；以及学习部，其基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。9.一种存储介质，其存储有程序，其中，所述程序使计算机进行如下处理：接受针对鸟瞰图图像中的延伸区域而与表示所述延伸区域为立体物的注释建立的对应关系；基于教示数据，以当输入图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像时输出所述图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对图像及通过将所述图像向鸟瞰图坐标系变换而得到的鸟瞰图图像，与通过对带注释的鸟瞰图图像进行逆鸟瞰图变换而得到的图像建立了对应关系，在该带注释的鸟瞰图图像中，对所述鸟瞰图图像中的立体物赋予了注释。10.一种移动体控制装置，其中，所述移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；立体物检测部，其通过将所述对象图像及所述对象鸟瞰图图像输入权利要求7至9中任
一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。11.一种移动体控制方法，其中，所述移动体控制方法使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象图像及所述对象鸟瞰图图像输入权利要求7至9中任一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。12.一种存储介质，其存储有程序，其中，所述程序使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象图像及所述对象鸟瞰图图像输入权利要求7至9中任一项所记载的所述学习完毕模型，来检测所述对象图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及使所述移动体以通过所述可行驶空间的方式行驶。

技术总结
本发明提供不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间的学习方法、学习装置、移动体控制及其方法、存储介质。学习方法具备如下步骤：针对鸟瞰图图像中的延伸区域，与表示所述延伸区域为立体物的注释建立对应关系；以及基于教示数据，以当输入鸟瞰图图像时输出所述鸟瞰图图像中的立体物的方式对机器学习模型的参数进行学习，由此生成学习完毕模型，在该教示数据中，针对鸟瞰图图像，与对所述鸟瞰图图像中的立体物赋予了注释的带注释的鸟瞰图图像建立了对应关系。像建立了对应关系。像建立了对应关系。


技术研发人员：安井裕司 松永英树 松本隆志 藤元岳洋
受保护的技术使用者：本田技研工业株式会社
技术研发日：2023.02.06
技术公布日：2023/8/14