路径导航方法、作业控制方法及相关装置与流程

1.本发明涉及导航技术领域，具体而言，涉及一种路径导航方法、作业控制方法及相关装置。


背景技术：

2.在农业自动化领域，无人设备通常会采用定点导航技术实现自动化作业。实际的作业场景是复杂多样的，例如在种植大棚中，不仅存在种植行之间的种植小道，还存在包围种植行的主干道，无人设备在进行作业时如何准确高效地实现主干道与种植小道间的道路切换是需要思考的。
3.因此，在这种道路复杂的特殊场景下，如何准确高效地实现无人设备导航时的道路切换问题是本领域技术人员亟需解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种路径导航方法、作业控制方法及相关装置，能够准确高效地实现当前路径与目标路径之间的道路切换。
5.本发明的实施例可以这样实现：
6.第一方面，本发明提供一种路径导航方法，包括：
7.沿当前路径对机体进行导航；
8.当确定所述机体进入待转弯区域时，基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径；
9.其中，所述转弯路径用于指引所述机体从所述当前路径转弯至目标路径。
10.可选的，所述沿当前路径对机体进行导航的步骤之后，所述方法还包括：
11.当识别到设定参照物，或者，所述机体在所述当前路径上的累计行驶长度达到设定长度，或者，所述机体行驶至所述当前路径的终点时，确定所述当前位置与所述路径交点之间的距离；
12.若所述当前位置与所述路径交点之间的距离小于或等于设定距离，则确定所述机体进入待转弯区域。
13.可选的，所述当前路径为目标场景的主干道路径，所述目标路径为所述目标场景的种植小道路径；
14.所述基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径的步骤，包括：
15.以所述机体的转弯内侧区域的第一设定点为圆心、以所述当前位置与所述路径交点之间的距离为半径，生成从所述主干道路径到所述种植小道路径的转弯路径；
16.其中，所述第一设定点与所述当前位置的连线垂直于所述主干道路径。
17.在可选的实施方式中，所述当前路径为目标场景的种植小道路径，所述目标路径为所述目标场景的主干道路径；
18.所述基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径的步骤，包括：
19.以所述机体的转弯内侧区域的第二设定点为圆心、以所述当前位置与所述路径交点之间的距离为半径，生成从所述种植小道路径到所述主干道路径的转弯路径；
20.其中，所述第二设定点与所述当前位置的连线垂直于所述种植小道路径。
21.可选的，所述方法还包括：
22.当所述机体从所述种植小道路径进入所述主干道路径时，基于所述目标场景的三维地图进行重定位，以使通过所述机体的视觉惯性里程计获得的位姿信息与所述三维地图处于同一坐标系。
23.可选的，所述当前路径为目标场景的种植小道路径，所述目标路径为所述目标场景的主干道路径；
24.所述沿当前路径对机体进行导航的步骤，包括：
25.获取所述机体的视觉惯性里程计采集的小道场景图像；所述小道场景图像是所述机体进入所述目标场景的种植小道时采集的；
26.基于所述小道场景图像，生成目标直线；
27.从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径；
28.按照所述种植小道路径对所述机体进行导航。可选的，所述基于所述小道场景图像，生成目标直线的步骤，包括：
29.基于所述小道场景图像进行三维重构，得到三维重构图；
30.从所述三维重构图中提取种植小道两侧的三维点信息；
31.基于所述种植小道两侧的三维点信息，拟合得到所述目标直线。
32.可选的，所述基于所述小道场景图像，生成目标直线的步骤，包括：
33.从所述小道场景图像中识别出种植支架信息和种植行信息；
34.基于所述种植支架信息确定出种植支架中心线，以及基于所述种植行信息确定出作物边缘拟合中心线；
35.计算所述种植支架中心线和所述作物边缘拟合中心线之间的目标拟合中心线，并将所述目标拟合中心线转换为所述目标直线。
36.可选的，所述基于所述小道场景图像，生成目标直线的步骤，包括：
37.基于所述机体的设备中轴线，获得所述小道场景图像的局部图像；
38.对所述局部图像进行转换，得到目标鸟瞰图；
39.对所述目标鸟瞰图进行农作物识别，确定出种植小道两侧的第一种植行区域和第二种植行区域；
40.根据所述第一种植行区域和所述第二种植行区域的中心线及预设尺度因子，获得所述目标直线，其中，所述预设尺度因子用于表示所述目标鸟瞰图中像素之间的距离与实际距离之间的关系。
41.可选的，所述从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径的步骤，包括：
42.以所述种植小道的入口点为起点，每隔预设长度从所述目标直线中提取一个点并将该点转换至设备机体坐标系，直至从所述目标直线中提取到所述种植小道的出口点，得
到多个所述小道导航路径点，以生成所述种植小道路径。
43.可选的，所述当前路径为目标场景的主干道路径，所述目标路径为所述目标场景的种植小道路径；
44.在所述沿当前路径对机体进行导航的步骤之前，所述方法还包括：
45.获取所述目标场景的三维地图以及所述三维地图中的主干道路径；所述三维地图是通过所述机体的视觉惯性里程计对所述目标场景进行建图得到的；
46.基于所述三维地图进行重定位，以使通过所述视觉惯性里程计获得的位姿信息与所述三维地图处于同一坐标系。
47.可选的，所述沿当前路径对机体进行导航的步骤，包括：
48.基于所述视觉惯性里程计实时采集的图像，获得所述机体相对于初始化完成时刻或者上一次定位融合时刻的运行信息；
49.当所述运行信息满足预设条件时，根据所述视觉惯性里程计获得的当前位姿信息从所述三维地图中确定匹配地图区域；
50.对所述当前位姿信息和通过所述匹配地图区域进行重定位获得的重定位位姿信息进行定位融合处理，得到融合定位信息；
51.根据所述融合定位信息、所述三维地图及所述主干道路径对所述机体进行导航。
52.第二方面，本发明提供一种作业控制方法，包括：
53.接收作业指令；
54.基于作业指令，从目标场景中确定出当前需要作业的待作业区域；
55.按照前述实施方式任一项所述的路径导航方法，对无人设备进行路径导航，以辅助无人设备对所述待作业区域进行作业。
56.可选的，所述作业指令包括指定作业起点和指定作业终点；所述目标场景包括若干种植行；
57.所述基于作业指令，从目标场景中确定出当前需要作业的待作业区域的步骤，包括：
58.从所述目标场景中找出所述指定作业起点至所述指定作业终点之间的至少一列目标种植行；
59.将全部目标种植行所在区域作为所述待作业区域。
60.可选的，所述作业指令包括指定作业类型；所述目标场景包括若干种植行；
61.所述基于作业指令，从目标场景中确定出当前需要作业的待作业区域的步骤，包括：
62.获得所述目标场景中各种植行的作物生长信息；
63.从所述目标场景中查找所述作物生长信息与所述指定作业类型相匹配的至少一列目标种植行；
64.将全部所述目标种植行所在区域作为所述待作业区域。
65.第三方面，本发明提供一种路径导航装置，包括：
66.路径导航模块，用于沿当前路径对机体进行导航；
67.转弯控制模块，用于当确定所述机体进入待转弯区域时，基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径；其中，所述转弯路径用于指引所
述机体从所述当前路径转弯至目标路径。
68.第四方面，本发明提供一种作业控制装置，包括：
69.指令接收模块，用于接收作业指令；
70.作业控制模块，用于基于作业指令，从目标场景中确定出当前需要作业的待作业区域；
71.所述作业控制模块，还用于按照前述实施方式任一项所述的路径导航方法，对无人设备进行路径导航，以辅助无人设备对所述待作业区域进行作业。
72.第五方面，本发明提供一种无人设备，包括：机体、设置于所述机体的存储器和处理器，所述存储器用于存储程序，所述处理器在执行所述程序时，根据上述第一方面中的路径导航方法实现所述机体的导航，和/或，根据上述第二方面中的作业控制方法控制所述机体的作业。
73.第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：上述第一方面中的路径导航方法，和/或，上述第二方面中的作业控制方法。
74.与现有技术相比，本发明实施例提供了一种路径导航方法、作业控制方法及相关装置，在沿当前路径对机体进行导航的情况下，当确定机体进入待转弯区域时，能够基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径，该转弯路径可以用于指引机体从当前路径转弯至目标路径。如此，在确定机体进入待转弯区域时及时的生成转弯路径，并且转弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径能够准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换。
附图说明
75.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
76.图1为本发明实施例提供的一种种植大棚的场景示意图一。
77.图2为本发明实施例提供的一种路径导航方法的流程示意图一。
78.图3为本发明实施例提供的一种种植大棚中路径的示意图。
79.图4为本发明实施例提供的一种种植大棚中待转弯区域的示意图。
80.图5为本发明实施例提供的一种路径导航方法的流程示意图二。
81.图6为本发明实施例提供的一种种植大棚中设定参照物的示意图。
82.图7为本发明实施例提供的一种种植大棚的场景示意图二。
83.图8为本发明实施例提供的一种路径导航方法的流程示意图三。
84.图9为本发明实施例提供的一种种植大棚中转弯路径的示意图。
85.图10为本发明实施例提供的一种路径导航方法的流程示意图四。
86.图11为本发明实施例提供的一种种植大棚中提取种植小道路径的场景示意图。
87.图12为本发明实施例提供的一种种植大棚中提取目标直线的场景示意图。
88.图13为本发明实施例提供的一种作业控制方法的流程示意图。
89.图14为本发明实施例提供的一种路径导航装置的结构示意图。
90.图15为本发明实施例提供的一种作业控制装置的结构示意图。
91.图16为本发明实施例提供的一种无人设备的结构示意图。
具体实施方式
92.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述。
93.在农业自动化领域，无人设备通常会采用定点导航技术实现自动化作业。实际的作业场景是复杂多样的，例如，请参照图1，在图1所示的种植大棚中包括多列种植行(种植行1～n)，相邻种植行之间为可供无人设备通行的种植小道，包围种植行1～n的为可供无人设备通行的主干道。
94.无人设备在进行作业时通常需要从主干道拐入种植小道对种植行进行农药喷洒或者果实采摘等，完成对种植小道两侧种植行的作业任务后再拐出种植小道回到主干道。例如，假设无人设备为无人车，图1中的无人车由于作业任务需要进入种植行1与种植行2之间的种植小道进行作业，对该种植小道两侧的种植行1、种植行2作业完毕后回到主干道。在这种场景下，需要考虑到如何使得无人车能够行驶在道路中央而尽量不触及两侧种植行的农作物、如何准确高效的实现无人车导航时的道路切换。
95.为了解决上述技术问题，本发明实施例提供一种路径导航方法，在确定机体进入待转弯区域时及时的生成转弯路径，并且转弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径能够准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换。以下通过实施例，并配合所附附图，进行详细说明。
96.本发明实施例提供的路径导航方法，可以应用于无人设备。该无人设备可以是无人车、无人船等等，也可以是无人机(例如农业无人机、林业无人机、航测无人机等)，还可以是机器人(农用机器人、扫地机器人等)，无人设备可以包括机体，例如无人车主体、无人机主体、机器人主体。无人设备的设备种类可以根据实际应用场景而定，本发明实施例对此不做任何限制。
97.以无人设备为无人车为例，以下对本发明实施例提供的路径导航方法进行说明介绍。
98.请参见图2，图2为本发明实施例提供的一种路径导航方法的流程示意图，该方法的执行主体可以是上述无人设备，该方法包括以下步骤：
99.s101、沿当前路径对机体进行导航。
100.在本实施例中，需要进行导航的目标场景可以是室外或室内场景，例如，需要无人车进行管理作业或者运输作业的室外区域(例如果园)、或者需要无人车进行管理作业的室内区域(如在种植大棚)等。
101.以目标场景为种植大棚为例，结合图3，本发明实施例的路径导航可以分为以下两种场景：
102.场景一：无人车行驶在主干道时，例如，图3中无人车行驶至位置一，当前路径为目
标场景中主干道的主干道路径，目标路径为目标场景中种植小道的种植小道路径；
103.场景二：无人车行驶在种植小道时，例如，图3中无人车行驶至位置二，当前路径为目标场景中种植小道的种植小道路径，目标路径为目标场景中主干道的主干道路径。
104.s104、当确定机体进入待转弯区域时，基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径。
105.在本实施例中，在确定机体进入待转弯区域时生成转弯路径，可以保证机体能够从当前路径准确的切入目标路径而不出现偏差。无人车可以预先存储有每条种植小道的种植小道路径与主干道路径的两个路径交点的位置坐标。
106.一种可选的实现方式中，为了保证导航的效果，主干道路径、种植小道路径可以是预先对目标场景进行建图得到的，在完成建图得到主干道路径和每条种植小道的种植小道路径后，可以计算出主干道路径与每条种植小道的种植小道路径的延长线之间的两个路径交点并进行存储。
107.另一种可选的实现方式中，为了缓解无人车的存储压力，主干道路径可以是预先对目标场景进行建图得到的，而种植小道路径可以是无人车在由主干道转弯进入种植小道时实时生成的。在完成建图得到主干道路径后，无人车行驶至种植小道可以基于采集的图像可以计算出种植小道的小道中心线，然后计算小道中心线的延长线与主干道路径之间的两个交点并将之作为主干道路径与后续的种植小道路径的两个路径交点进行存储。
108.在实际应用中，可采用上述两种实现方式中的任意一种得到主干道路径和种植小道路径，在此不做限定。
109.在本实施例中，当前路径和目标路径的路径交点为一种相对概念，需要结合无人车在目标场景中的位置而定。例如，结合图3，当无人车位于位置一，并且需要行驶至种植行1与种植行2之间的种植小道时，此时，当前路径和目标路径的路径交点即为k1；当无人车位于位置二，并且需要从种植行1与种植行2之间的种植小道驶回主干道时，此时，当前路径和目标路径的路径交点即为k2。
110.本发明实施例提供的路径导航方法，在沿当前路径对机体进行导航的情况下，在确定机体进入待转弯区域时及时的生成转弯路径，并且转弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换，且无需依赖卫星定位装置，可以保证机体在无卫星定位数据的情况下的准确导航。
111.在可选的实施方式中，待转弯区域可以取决于种植小道的入口中心点或者出口中心点与种植小道路径和主干道路径的路径交点之间的距离d，待转弯区域可以是以种植小道路径和主干道路径之间的路径交点为圆心、以d为半径的圆形区域，或者，待转弯区域也可以是以种植小道路径和主干道路径之间的路径交点为中心、以2d为边长的正方形区域。
112.假设待转弯区域为圆形区域，结合图3和4，当无人车位于位置一(朝着k1行驶时)，需要进入种植行1与种植行2之间的种植小道时，该种植小道的入口中心点为m1，当前路径和目标路径的路径交点即为k1，m1、k1之间距离为d，待转弯区域即为以k1为圆心、以d为半径的圆形区域。
113.结合图4，当无人车朝着m2行驶时，需要从种植行1与种植行2之间的种植小道回到主干道时，该种植小道的出口中心点为m2，当前路径和目标路径的路径交点即为k2，m2、k2
之间的距离为d(假设与m1、k1之间的距离相等)，待转弯区域即为以k2为圆心、以d为半径的圆形区域。
114.需要说明的是，上述举例仅为示例，待转弯区域的形状在此不做限定。
115.可选的，该机体上可以安装有vio(visual-inertial odometry，视觉惯性里程计)。vio是一种融合相机和imu(inertial measurement unit，惯性测量单元)数据，计算设备在空间中位姿的算法，这里的相机可以是双目摄像装置、深度摄像装置等，在此不做任何限制。vio技术融合了视觉定位和惯导定位，具有更新速率快、漂移小、鲁棒性高等优点，广泛的应用于定位导航系统之中。
116.在将vio安装于机体时，可以通过显示器进行辅助安装与角度调整，保证相机能采集到前方的清晰图片。该显示器可以是与无人设备自身搭载的显示器，也可以是与无人设备通信连接的其他设备的显示屏，例如，用户的移动终端(个人计算机、智能手机、平板电脑、设备控制器等)的显示屏，在此不做限定。
117.在无人车行驶的过程中，视觉惯性里程计可以每隔设定时长或者每隔预设行驶长度对当前场景进行图像采集，或者实时采集。在实际应用中，结合实际需求可以在不同的场景下采用不同的图像获得方式。例如，可以每隔2s视觉惯性里程计进行一次图像采集或者每次无人车的行驶长度达到0.5m视觉惯性里程计进行一次图像采集等，在此不做限定。
118.在可选的实施方式中，为了保证机体能够及时转弯并直接准确到达目标路径，可以在确定机体进入待转弯区域后生成转弯路径，以进行转弯。对应地，在图2的基础上，请参照图5，本发明实施例提供的路径导航方法，在上述步骤s101之后，还可以包括步骤s102～s103：
119.s102、当识别到设定参照物，或者，机体在当前路径上的累计行驶长度达到设定长度，或者，机体行驶至当前路径的终点时，确定机体的当前位置与当前路径和目标路径的路径交点之间的距离。
120.s103、若当前位置与路径交点之间的距离小于或等于设定距离，则确定机体进入待转弯区域。
121.在本实施例中，在场景一(无人车行驶在主干道)，需要判断何时转弯进入种植小道；在场景二(无人车行驶在种植小道)，需要判断何时转弯回到主干道。随着无人车的行驶，在接近需要进入的种植小道时或者在接近种植小道末端时，无人车可以开始实时检测机体的当前位置与当前路径和目标路径的路径交点之间的距离，只要当前位置与路径交点之间的距离小于或等于设定距离，则可以确定机体进入待转弯区域。
122.可选的，设定距离可以取决于种植小道的入口中心点或者出口中心点与种植小道路和主干道路径的路径交点之间的距离。结合图4，设定距离可设置为d，d可以为1m或者1.5m等，该举例仅为示例，具体设定距离的大小以实际目标场景中种植行与主干道路径的实际间隔距离而定，在此不作限定。
123.在第一种可能的实现方式中，在种植行的两端位置均可以设置有设定参照物(例如种植支架)。在无人车行驶的过程中，可以对采集的图像(每隔设定时长采集、每隔预设行驶长度采集或者实时采集)进行图像识别，以根据是否识别到设定参照物来确定是否接近种植小道或者是否接近种植小道末端。图像识别可以采用预先训练的目标检测算法或者特征识别算法等。
124.结合图6，在种植行1、种植行2两端均设有设定参照物(设定参照物1～4)的情形下，当无人车在种植行1外朝着k1点行驶时，若从采集的图像中识别到设定参照物3和/或设定参照物4，则认为已经接近种植小道，可以开始检测机体的当前位置与当前路径和目标路径的路径交点(图6中的k1)之间的距离s，当s小于或等于设定距离时，即可确定机体已进入待转弯区域。
125.结合图6，当无人车在种植行1、种植行2之间的种植小道中朝着m2点行驶时，当从采集的图像中识别到设定参照物1、设定参照物2时，即认为无人车已经接近种植小道的末端，可以开始检测机体的当前位置与当前路径和目标路径的路径交点(图6中的k2)之间的距离s，当s小于或等于设定距离时，即可确定机体已进入待转弯区域。
126.在第二种可能的实现方式中，无人车在行驶时可以通过判断机体在当前路径上的累计行驶长度是否达到设定长度，来确定机体是否接近需要进入的种植小道或者接近种植小道末端。
127.无人车行驶在主干道时，设定长度可以代表无人车预先存储的从目标场景的补给点对应的进入点到达第一个种植小道的待转弯区域的距离。结合图7，补给点对应的进入点为s1，假设无人车进入主干道逆时针行驶，设定长度即为进入点s1与待转弯区域的s2之间的主干道路径的长度。需要说明的是，在无人车实际行驶过程中可能存在刚从一条种植小道回到主干道就需要马上转弯进入另一种植小道的情况，所以在无人车刚进入主干道可以采用本方式确定是否接近种植小道，后续需要进入其余种植小道时可以采用上述第一种实现方式的方式来确定是否接近种植小道。
128.无人车行驶在种植小道时，设定长度可以是预先存储的种植行的长度，结合图7，种植行的长度即为m1、m2之间的距离。当无人车在该种植小道的累计行驶长度达到该设定长度时，即需要检测机体的当前位置与k2点的距离，以判断是否进入待转弯区域。
129.在第三种可能的实现方式中，当无人车行驶在种植小道时，当无人车行驶的长度等于种植行的长度时，或者当基于采集的小道场景图像无法提取出小道中心线时，即可认为到达了种植小道路径的终点。需要检测机体的当前位置与种植小道路径和主干道路径交点之间的距离，以判断是否进入待转弯区域。
130.需要说明的是，在应用过程中，可以单独使用上述确定机体接近种植小道或者种植小道末端的三种实现方式中的一种，也可以互相结合使用，具体应用以实际情况为准，在此不做限定。
131.可以理解，在上述步骤s103中检测机体的当前位置与当前路径和目标路径的路径交点之间的距离d1，可能会出现d1》d、d1＝d、d1《d这三种情况，当d1》d时，无人车需要继续行驶直至满足d1＝d，此时机体刚好进入带转弯区域就可以生成转弯路径；当d1＝d或者d1《d时，此时机体刚好进入待转弯区域或者已进入待转弯区域，就可以直接生成转弯路径。
132.在一种可能的实现方式中，当无人车行驶在主干道，需要转弯进入种植小道时，当前路径为主干道路径，目标路径为种植小道路径。对应的，在图2的基础上，请参照图8，步骤s101可以包括子步骤s101a，步骤s104可以包括子步骤s104a：
133.s101a、基于三维地图，沿主干道路径对机体进行导航。
134.s104a、当确定机体进入待转弯区域时，以机体的转弯内侧区域的第一设定点为圆心、以当前位置与路径交点之间的距离为半径，生成从主干道路径到种植小道路径的转弯
路径。
135.在本实施例中，第一设定点与当前位置的连线垂直于主干道路径。即，当前位置与路径交点之间的距离为d1，第一设定点为转弯内侧区域中与机体的当前位置之间垂直距离为d1的点。
136.例如，假设待转弯区域为圆心区域，结合图9中的图(a)，无人车在主干道上朝着k1点行驶，在确定机体进入待转弯区域时存在以下两种情况：
137.第一种情况，当无人车确定出机体进入待转弯区域时，机体的当前位置为s2(刚好接触待转弯区域)时，那么此时生成的转弯路径刚好是以s2为起点、以m1为终点、半径为d的四分之一圆弧，此时第一设定点为o1。然后无人车即可从s2开始经转弯路径直接由m1点进入种植小道，这样可以保证无人车按照转弯路径能够准确地进入种植小道的入口中心点；
138.第二种情况，当无人车确定出机体进入待转弯区域时，机体的当前位置为s3(实际机体已进入待转弯区域)时，那么此时s3与k1之间相距为d2，此时生成的转弯路径是以s3为起点、以s4为终点、半径为d2的四分之一圆弧，此时第一设定点为o2。然后无人车即可从s3开始经转弯路径到达s4，然后继续行驶至m1即可进入种植小道。这样可以保证无人车按照转弯路径能够准确地进入种植小道的中心线，由s4行驶至m1的过程中无人车还可以及时的进行姿态调整以使前进方式与种植小道中心线一致。
139.在另一种可能的实现方式中，当无人车行驶在种植小道，需要转弯回到主干道时，当前路径为种植小道路径，目标路径为主干道路径。对应的，在图2的基础上，请参照图10，步骤s101可以包括子步骤s101a，步骤s104可以包括子步骤s104a：
140.s101a、沿种植小道路径对机体进行导航。
141.s104a、当确定机体进入待转弯区域时，以机体的转弯内侧区域的第二设定点为圆心、以当前位置与路径交点之间的距离为半径，生成从种植小道路径到主干道路径的转弯路径。
142.在本实施例中，第二设定点与当前位置的连线垂直于种植小道路径。即，当前位置与路径交点之间的距离为d2，第二设定点为转弯内侧区域中与机体的当前位置之间垂直距离为d2的点。
143.例如结合图9，在图9中，无人车从图(a)中的位置行驶到图(b)中的位置后，无人车继续行驶，在图9的图(b)中，当确定出机体进入待转弯区域时，机体的当前位置为m2(机体刚进入待转弯区域)时，那么此时生成的转弯路径是以m2为起点、以s5为终点、半径为d的四分之一圆弧，此时第二设定点为o3。然后无人车即可从m2开始经转弯路径到达s5，这样可以保证无人车按照转弯路径能够准确地回到主干道的主干道路径。
144.以上介绍了无人车在主干道如何转弯进入种植小道、在种植小道如何转弯回到主干道的两种场景。接下来分别对无人车在主干道、种植小道上进行导航的过程进行介绍。
145.可选的实施方式中，无人车沿主干道路径对机体进行导航可以依赖于三维地图。对应的，请继续参照图8，当无人车行驶在主干道时，本发明实施例提供的路径导航方法，在步骤s101a之前，还可以包括步骤s001、s002。
146.s001、获取目标场景的三维地图以及三维地图中的主干道路径。
147.在本实施例中，三维地图是通过机体的视觉惯性里程计对目标场景的主干道进行建图得到的。该三维地图可以包括多个三维点和与每个三维点关联的关键帧信息和位姿信
息。一种情况下，该主干道路径可以是三维地图的建图路径，包括全部的三维点；另一种情况下，为了提高定点导航的效率，主干道路径可以包括从建图路径中提取的多个主干道导航路径点。
148.需要说明的是，利用视觉惯性里程计框架生成三维地图和对应的轨迹信息以及提取主干道导航路径点的过程，属于现有的算法框架，在此不再赘述。
149.s002、基于三维地图进行重定位，以使通过视觉惯性里程计获得的位姿信息与三维地图处于同一坐标系。
150.在本实施例中，无人车需要在主干道进行定点导航时，首先就需要根据三维地图对机体进行重定位，在对机体重定位成功后，通过视觉惯性里程计获得的位姿信息将与三维地图处于同一坐标系，接着从重定位成功处沿主干道路径对机体进行导航。
151.可以理解，针对无人车行驶在种植小道，需要转弯回到主干道的场景，在执行上述步骤s104a之后，机体可以即可以按照转弯路径从种植小道路径进入主干道路径，转弯完成后，无人车也需要基于目标场景的三维地图进行重定位，以使通过机体的视觉惯性里程计获得的位姿信息与三维地图处于同一坐标系，然后继续沿主干道路径对机体进行导航。具体对机体进行重定位的过程为现有技术，在此不做赘述。
152.在一种可选的实施方式中，对机体重定位成功后，通过视觉惯性里程计获得的位姿信息将与三维地图处于同一坐标系，此时进入导航模式，导航模式下，通过vio实时获得机体的位姿信息，就可根据机体的位姿信息、三维地图和主干道路径对机体进行导航。
153.在导航模式下，通过vio获得无人车的实时位姿信息，该实时位姿信息包括实时定位点；然后，基于三维地图，生成该实时定位点与主干道路径点之间的调整规划路径，并控制无人车按照调整规划路径行驶；以此循环，使得无人车的行驶轨迹越来越接近主干道路径点，并最终按照主干道路径点行驶。
154.定点导航技术大致可分为室外定点导航和室内定点导航。其中，室外定点导航主要采用卫星定位导航技术，即，依靠卫星信号实现定点导航，在无卫星信号的区域定点导航难度极大。
155.现有技术中，室内定点导航主要采用slam(simultaneous localization and mapping，同步定位和建图)技术，slam技术包括采用激光雷达的激光slam和采用视觉里程计(例如，相机)的视觉slam，激光slam由于设备要求较高，不利于大规模推广使用，视觉slam对场景的要求过于苛刻，在纹理性弱、光照复杂等场景下定位偏差较大。
156.因此，在另一种可选的实施方式中，在主干道上进行导航还可以通过三维地图进行重定位，并对vio定位信息和重定位信息进行定位融合，以此来进一步提高定位精度。对应的，上述步骤s101a可以包括子步骤s101a-1～s101a-4：
157.s101a-1、基于视觉惯性里程计实时采集的图像，获得机体相对于初始化完成时刻或者上一次定位融合时刻的运行信息。
158.在本实施例中，初始化完成时刻可以是指：当次定点导航时vio进行初始化的时刻。上一次定位融合时刻可以是指：上一次对vio定位信息和重定位信息进行定位融合的时刻。
159.可选地，运行信息可以包括运行时长、运行距离和转弯曲率中的至少一种，本发明实施例对此不做任何限制。
160.可选地，可以根据vio当前采集主干道场景图像的时刻和初始化完成时刻或者上一次定位融合时刻，计算运行时长；以及，根据vio当前采集的主干道场景图像和初始化完成时刻采集的主干道场景图像或者上一次定位融合时刻采集的主干道场景图像，计算运行距离；以及，根据vio当前采集的主干道场景图像和该主干道场景图像的前面几帧主干道场景图像中的同一特征点，计算转弯曲率。
161.s101a-2、当运行信息满足预设条件时，根据视觉惯性里程计获得的当前位姿信息从三维地图中确定匹配地图区域。
162.在本实施例中，预设条件可以包括：运行时长大于设定时间阈值、运行距离大于设定距离阈值和转弯曲率大于设定曲率阈值中的至少一种。
163.可选地，设定时间阈值可以为5s，设定距离阈值可以为3m，设定曲率阈值可以为0.01，具体数值可以由用户根据实际需求灵活设置，本发明实施例对此不做任何限制。
164.也就是，如果运行时长大于设定时间阈值(例如，5s)、运行距离大于设定距离阈值(例如，3m)和转弯曲率大于设定曲率阈值(例如，0.01)中的任意一个成立，则确定运行信息满足预设条件。
165.在本实施例中，当运行信息满足预设条件时，根据vio获得的当前位姿信息，可以从三维地图中确定出当前位姿信息对应的三维点，接着获取该三维点设定距离范围(例如，周围1m以内)内的地图区域，并将之作为匹配地图区域。
166.s101a-3、对当前位姿信息和通过匹配地图区域进行重定位获得的重定位位姿信息进行定位融合处理，得到融合定位信息。
167.在本实施例中，从三维地图中确定出匹配地图区域后，通过匹配地图区域进行重定位即可获得重定位位姿信息，即，通过vio获取无人车的当前位置点，并根据当前位置点，从匹配地图区域中获得与该当前位置点关联的位姿信息，即为重定位位姿信息。
168.可选的，s101a-3的子步骤可以包括s101a-31～s101a-33：
169.s101a-31、确定当前位姿信息和重定位位姿信息之间的距离l；
170.s101a-32、若该距离l小于预设距离阈值，则将当前位姿信息作为融合定位信息；
171.s101a-33、若该距离l大于或者等于预设距离阈值，则获得视觉惯性里程计采集的主干道场景图像与三维地图的匹配结果，并根据匹配结果确定融合定位信息。
172.可选地，预设距离阈值可以由用户根据实际需求灵活设置，例如预设距离阈值可以为0.3m，举例仅为示例，在此不做限制。
173.也就是，如果当前位姿信息和重定位位姿信息之间的距离l小于预设距离阈值(例如，0.3m)，则说明vio定位精度较高，可以直接将当前位姿信息作为融合定位信息。如果当前位姿信息和重定位位姿信息之间的距离l大于或者等于预设距离阈值(例如，0.3m)，则说明vio定位精度较低，需要结合三维地图确定融合定位信息。
174.在一种可能的实现方式中，步骤s101a-33中获得视觉惯性里程计采集的主干道场景图像与三维地图的匹配结果的过程，可以包括子步骤s101a-33a～s101a-33c。
175.s101a-33a、从三维地图中，确定与当前位姿信息匹配的目标位姿信息。
176.s101a-33b、获取与目标位姿信息关联的目标关键帧信息。
177.s101a-33c、确定视觉惯性里程计当前采集的主干道场景图像与目标关键帧信息之间的匹配特征点数量和平均重投影误差，得到匹配结果，即，匹配结果包括匹配特征点数
量和平均重投影误差。
178.需要指出的是，计算vio当前采集的主干道场景图像与目标关键帧信息之间的匹配特征点数量和平均重投影误差的方式为现有技术，在此不做赘述。
179.在另一种可能的实现方式中，步骤s101a-33中根据匹配结果确定融合定位信息的过程，可以包括子步骤s101a-33a～s101a-33b。
180.s101a-33a、若匹配特征点数量大于设定数量阈值且平均重投影误差小于初始平均重投影误差，则将重定位位姿信息作为融合定位信息。
181.s101a-33b、若匹配特征点数量不大于设定数量阈值，或者，平均重投影误差不小于初始平均重投影误差，则将当前位姿信息作为融合定位信息。
182.其中，初始平均重投影误差是在视觉惯性里程计初始化时，将采集的主干道场景图像与三维地图进行匹配得到的。此处的初始化，是指当次定点导航时vio进行初始化。可选地，设定数量阈值可以为50，具体数值可以由用户根据实际需求灵活设置，在此不作限定。
183.s101a-4、根据融合定位信息、三维地图及主干道路径对机体进行导航。
184.在本实施例中，按照步骤s101a-1～s101a-3得到的融合定位信息，是对vio获得的位姿信息和通过部分地图信息获得的重定位位姿信息进行定位融合处理得到的，能够弥补vio定位在某些场景(例如，复杂光照)下精度不高的缺陷，进一步提高了定位精度。
185.可选地，对vio定位信息和重定位信息进行定位融合，得到融合定位信息之后，无人车即可根据融合定位信息、三维地图和主干道路径对机体进行导航。即，基于三维地图，生成融合定位信息与主干道路径之间的调整规划路径，并控制无人车按照调整规划路径行驶，使得无人车的行驶轨迹越来越接近主干道路径，并最终按照主干道路径行驶。
186.可选的实施方式中，当机体按照转弯路径从主干道路径转弯进入种植小道时，为减轻建图负担，无人车可以基于采集的小道场景图像实时生成种植小道路径，以按照种植小道路径进行导航。对应地，上述步骤s101a可以包括子步骤s101a-1～s101a-4：
187.s101a-1、获取机体的视觉惯性里程计采集的小道场景图像。
188.在本实施例中，小道场景图像可以是机体按照转弯路径从主干道路径转弯进入种植小道时采集的。
189.s101a-2、基于小道场景图像，生成目标直线。
190.在本实施例中，目标直线为实际场景坐标下的直线。可选的，可以通过以下三种实现方式得到目标直线：
191.第一种、当相机采用双目相机时，无人车在进入种植小道时，可以基于三维重构技术对小道场景图像进行处理，以生成目标直线。
192.第二种、在无人车进入种植小道时，可以基于图像识别技术对小道场景图像进行处理，以得到目标直线。
193.第三种、在上面两种方式中，需要对小道场景图像整体进行处理，但是在小道场景图像中，种植小道每一侧可能不止一列种植行，但是仅仅需要种植行两侧的各一列种植行即可提取得到目标直线。即在小道场景图像中，除了种植小道及两侧的两列种植行之外的其他图像区域，都算是冗余部分。因此，为了可避免其他种植行对导航的干扰，同时减少数据处理量，可以对小道场景图像进行区域截取，然后再进一步处理得到目标直线。
194.s101a-3、从目标直线中提取多个小道导航路径点，得到种植小道路径。
195.可选的，基于该目标直线得到种植小道路径的过程可以是：以种植小道的入口点为起点，每隔预设长度从目标直线中提取一个点并将该点转换至设备机体坐标系，直至从目标直线中提取到种植小道的出口点，得到多个小道导航路径点，以生成种植小道路径。
196.结合图11，目标直线中种植小道的入口点为n1，出口点为n2，从n1开始，每隔预设长度s可以从目标直线中提取一个点并将该点转换至设备机体坐标系即为一个小道导航路径点，直至从目标直线中提取到种植小道的出口点n2，得到多个小道导航路径点。种植小道路径即可以包括从n1到n2的所有小道导航路径点。
197.需要说明的是，预设长度的设置可根据实际应用需求而定，例如，若需要导航控制较为精准，预设长度可以设置为0.5m。该举例仅为示例，在此不作限定。
198.s101a-4、按照种植小道路径对所述机体进行导航。
199.在本实施例中，无人车完成转弯进入种植小道后，先生成种植小道路径，接着就可以按照种植小道路径对机体进行导航以行驶于种植小道内。
200.接下来对分别对得到目标直线的三种实现方式进行介绍。
201.在第一种可选的实现方式中，当相机采用双目相机时，无人车在进入种植小道时基于三维重构技术对小道场景图像进行处理，以生成目标直线。对应地，步骤s101a-2可以包括子步骤s101a-2～s101a-23：
202.s101a-21、基于小道场景图像进行三维重构，得到三维重构图。
203.在本实施例中，小道场景图像可以为双目图像，具体基于小道场景图像进行三维重构得到三维重构图的过程为现有技术，在此不做赘述。
204.s101a-22、从三维重构图中提取种植小道两侧的三维点信息。
205.在本实施例中，三维点信息可以包括种植小道左侧的多个三维点的位置坐标和种植小道右侧的多个三维点的位置坐标。
206.s101a-23、基于种植小道两侧的三维点信息，拟合得到目标直线。
207.在本实施例中，基于种植小道左侧的多个三维点的位置坐标进行直线拟合，可以得到第一直线；基于种植小道右侧的多个三维点的位置坐标进行直线拟合，可以得到第二直线，然后生成第一直线与第二直线之间的拟合中线，将该拟合中线转换至实际场景坐标下即可得到目标直线。
208.在第二种可选的实现方式中，在无人车进入种植小道时，可以基于图像识别技术对小道场景图像进行处理，以生成目标直线。对应地，步骤s101a-2可以包括s101a-2a～s101a-2c：
209.s101a-2a、从小道场景图像中识别出种植支架信息和种植行信息。
210.在本实施例中，种植支架信息可以包括种植小道两侧种植行中的种植支架区域，种植行信息可以包括种植小道两侧种植行中的农作物区域。可选的，可以采用视觉识别算法(例如预先训练的神经网络模型或者目标识别算法)对小道场景图像进行识别，来得到种植支架信息和种植行信息。
211.s101a-2b、基于种植支架信息确定出种植支架中心线，以及基于种植行信息确定出作物边缘拟合中心线。
212.s101a-2c、计算种植支架中心线和作物边缘拟合中心线之间的目标拟合中心线，
并将目标拟合中心线转换为目标直线。
213.例如，如图12所示，基于种植支架信息可以确定出种植支架中心线l1，基于种植行信息可以确定出作物边缘拟合中心线l2。然后可以计算出种植支架中心线l1和作物边缘拟合中心线l2之间的目标拟合中心线l3。将该目标拟合中心线l3转换至实际场景坐标下即可得到目标直线。需要说明的是，图12所示仅为示例，在此不做限定。
214.在第三种可选的实现方式中，为了可避免其他农作物行对导航的干扰，同时减少数据处理量，可以对小道场景图像进行区域截取，然后再进一步得到目标直线。对应地，对应地，步骤s101a-2可以包括s101a-2a～s101a-2d：
215.s101a-2a、基于机体的设备中轴线，获得小道场景图像的局部图像。
216.可以理解，在无人车正对车身正前方行驶不拐弯的情况下，机体的中轴线方向可以是无人车两个后轮之间轮轴的中垂线方向，也就是无人车的中心航线方向。
217.在本实施例中，可以基于预先得到的视场标定信息从小道场景图像中截取得到局部图像。视场标定信息可以包括预先标定得到的四个视场图像坐标。这四个视场图像坐标在图像中所围成的矩形区域(即视场区域)中可以包括两行种植行及一条种植小道(无人车所处的种植小道)。
218.也就是，局部图像为小道场景图像中预先标定的视场所在区域的图像，该部分图像是路径规划实际需要的图像，如此能够避免图像中其他种植行对求取种植小道路径的干扰，同时减少数据处理量。
219.s101a-2b、对局部图像进行转换，得到目标鸟瞰图。
220.在本实施例中，可以利用预先设置好的转换矩阵或其他视场转换算法，将局部图像转换到鸟瞰图视场，得到目标鸟瞰图。
221.s101a-2c、对目标鸟瞰图进行农作物识别，确定出种植小道两侧的第一种植行区域和第二种植行区域。
222.在本实施例中，第一种植行区域为种植小道左侧的至少一列种植行所在的区域，第二种植行区域为种植小道右侧的至少一列种植行所在的区域。
223.可选的示例中，可以对目标鸟瞰图进行自适应阈值分割，以确定出目标鸟瞰图中包括的第一种植行区域和第二种植行区域。另一种可选的示例中，可以利用预先训练的识别模型对目标鸟瞰图进行农作物识别，从而获得第一种植行区域和第二种植行区域。具体识别得到第一种植行区域和第二种植行区域的方式以实际应用为准，在此不做限定。
224.s101a-2d、根据第一种植行区域和第二种植行区域的中心线及预设尺度因子，获得目标直线。
225.在本实施例中，预设尺度因子用于表示目标鸟瞰图中像素之间的距离与实际距离之间的关系。结合目标鸟瞰图中的横纵像素点数量及视场区域的实际大小，得到该视场区域的范围尺度因子(即预设尺度因子)。利用预设尺度因子，即可将第一种植行区域和第二种植行区域的中心线转换到实际场景坐标中，即获得了目标直线。
226.可选的，预设尺度因子可以包括横向尺度因子和纵向尺度因子。以垂直于机体的中轴线方向为x方向，以机体的中轴线方向为y方向，那么横向尺度因子为：纵向尺度因子为：i
x
、iy分别为目标鸟瞰图的横向像素距离、纵向像素距离，l
x
、ly分别为视
场区域的实际横向长度、实际纵向长度。
227.需要说明的是，上述三种方式均可生成种植小道路径，具体采用何种方式可以应用需求而定。
228.以上以无人车为例对路径导航方法进行了介绍，以下对无人设备的作业控制方法进行介绍。
229.基于上述路径导航方法，本发明还提供一种作业控制方法，能够实现辅助控制无人设备对目标场景中的指定种植行区域进行作业。请参照图13，该作业控制方法可以包括s201～s203。
230.s201、接收作业指令。
231.在本实施例中，作业指令可以是无人设备自身基于用户操作生成的，也可以是与无人设备从通信连接的控制设备发送的。
232.一种可选的实现方式中，用户可以通过无人设备自身搭载的输入设备(触控显示屏、键盘鼠标等)输入指定作业起点、指定作业终点、指定作业类型中的至少一个或组合，从而无人设备可以生成作业指令。或者，当无人设备上安装有语音解析模块是，用户可以对无人设备发出作业语音(作业语音可以包括输入指定作业起点、指定作业终点、指定作业类型中的至少一个或组合)，无人设备利用语音解析模块对作业语音进行节后可以生成作业指令。
233.另一种可选的实现方式中，用户还可以通过移动终端与无人设备进行交互，移动终端可以通过网络与无人设备通信连接，且移动终端上可以安装有用于控制无人设备的app(application，应用程序)，app的作业控制界面可以显示目标场景的地图，用户可以在此选择指定作业起点、指定作业终点、指定作业类型中的至少一个或组合，从而app可以生成作业指令并发送给无人设备。
234.s202、基于作业指令，从目标场景中确定出当前需要作业的待作业区域。
235.可以理解，无人设备可以直接对目标场景中的所有种植行进行作业，而在一些特殊情形下，需要对目标场景中的指定种植行区域进行作业，例如用户指定需对病虫害区域喷洒农药或者用户直接指定对作物成熟的种植行区域进行采摘作业。
236.s203、按照路径导航方法，对无人设备进行路径导航，以辅助无人设备对待作业区域进行作业。
237.在确定出待作业区域后，即可按照上述提供的路径导航方法，对无人设备进行路径导航，以辅助控制无人设备对待作业区域按照指定作业类型进行作业。
238.在一种可能的实现方式中，当需要无人设备对目标场景中用户指定的种植行区域进行作业时，作业指令可以包括指定作业起点、指定作业终点和指定作业类型。此时，步骤s202可以包括子步骤s202-a～s202～b：
239.s202-a、从目标场景中找出指定作业起点至指定作业终点之间的至少一列目标种植行。
240.s202-b、将全部目标种植行所在区域作为待作业区域。
241.在本实施例中，基于指定作业起点、指定作业终点可以直接从目标场景确定出需要按照指定作业类型进行作业的待作业区域。
242.例如，结合图1，假设n为10，种植行中的作物为番茄，若经过用户查看，发现种植行
1～3的番茄都变红成熟了，而种植行4～10的番茄大多还是绿色未成熟状态。那么用户即可指定无人设备对种植行1～3中的成熟番茄进行采摘作业。那么指定作业起点至指定作业终点之间即为种植行1～3，指定作业类型即可为成熟番茄采摘。该举例仅为示例，在此不做限定。
243.在另一种可能的实现方式中，当需要无人设备对目标场景中存在病虫害的特定种植行区域进行作业时，作业指令可以只包括指定作业类型。此时，步骤s202可以包括子步骤s202-a～s202-c：
244.s202-a、获得目标场景中各种植行的作物生长信息。
245.在本实施例中，作物生长信息可以包括种植行中农作物的生长状况，该生长状况包括以下至少之一：病虫害情况(如是否存在病虫害、和/或病虫害严重程度)、病虫害类型、生长情况(如缺失何种营养、和/或何种营养过剩)。
246.可选的，在对目标场景的主干道进行建图的过程中，可以同时解析得到各种植行的作物生长信息进行存储。或者，为减轻建图负担，各种植行的作物生长信息也可以预先由用户手动输入至无人设备进行存储，或用户预先手动输入至app，无人设备从app处获取得到。
247.s202-b、从目标场景中查找作物生长信息与指定作业类型相匹配的至少一列目标种植行。
248.可选的，指定作业类型可以是除害、施肥、灌溉等作业类型中的一种。无人设备可以预先存储作业类型与农作物的病虫害情况和/或生长状况的映射关系，例如，存在虫害对应需要除害(喷洒某种农药)、叶片发黄对应需要施肥、叶片萎缩对应需要灌溉等。该举例仅为示例，具体作业类型与农作物的生长状况的映射关系以实际目标场景中农作物的类型而定，在此不做限定。
249.然后，基于作业类型与农作物的生长状况的映射关系，即可从目标场景中查找出作物生长信息与指定作业类型相匹配的至少一列目标种植行。
250.s202-c、将全部目标种植行所在区域作为待作业区域。
251.在本实施例中，全部的目标种植行均为需要按照指定作业类型进行作业。
252.可选的，无人设备可通过下述步骤控制机体行驶至待作业区域开始作业：
253.a.首先进行无人车在行驶进入主干道路径时，进行重定位，重定位成功后沿主干道路径对机体进行导航；
254.b.当即将行驶至待作业区域(例如距离待作业区域中第一个种植小道的入口相距3m处)时，开启小道识别模式(即检测当前位置与路径交点的距离)；
255.c.当确定进入待转弯区域时，将识别到的目标像素转换到已标定好的俯视图图像中，计算出种植小道的入口位置相对于设备机体坐标系下的位置关系，生成转弯路径，按照转弯路径进入待作业区域的第一个种植小道对两侧种植行进行作业。
256.需要说明的是，上述方法实施例中各个步骤的执行顺序不以附图所示为限制，各步骤的执行顺序以实际应用情况为准。
257.与现有技术相比，本发明实施例具有以下有益效果：
258.第一，在道路复杂的种植大棚中对机体进行导航行驶，本发明能够及时判断出无人设备是否进入待转弯区域，并在确定进入时及时生成转弯路径以进行道路切换。并且转
弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径能够准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换。
259.第二，无人设备沿主干道路径对机体进行导航时，可以对vio获得的位姿信息和通过部分地图信息获得的重定位位姿信息进行定位融合处理，能够弥补vio定位在某些场景(例如，复杂光照)下精度不高的缺陷，进一步提高了定位精度。
260.第三，在基于三维重构生成种植小道路径的过程中，能够摒弃小道场景图像除无人设备所在种植小道两侧的农作物行对导航的干扰，只关注种植小道两侧边缘，提高在种植小道上的导航精度。
261.第四，在基于图像识别技术对小道场景图像进行处理生成种植小道路径的过程中，可以融合种植支架中心线和作物边缘拟合中心线，得到目标拟合中心线，基于目标拟合中心线转换的目标直线来生成种植小道路径，考虑较为全面，能够得到准确的种植小道路径。
262.第五，在对小道场景图像进行区域截取处理以生成种植小道路径的过程中，对小道场景图像进行区域截取，然后再进一步得到种植小道路径，如此避免了其他农作物行对导航的干扰，同时减少数据处理量。
263.为了执行上述方法实施例及各个可能的实施方式中的相应步骤，下面分别给出一种路径导航装置以及作业控制装置的实现方式。
264.请参见图14，图14示出了本发明实施例提供的路径导航装置的结构示意图。该路径导航装置200包括：路径导航模块210和转弯控制模块220。
265.路径导航模块210，用于沿当前路径对机体进行导航；
266.转弯控制模块220，用于当确定机体进入待转弯区域时，基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径；其中，转弯路径用于指引机体从当前路径转弯至目标路径。
267.可选的，路径导航模块210在用于沿当前路径对机体进行导航之后，还可以用于：当识别到设定参照物，或者，机体在当前路径上的累计行驶长度达到设定长度，或者，机体行驶至当前路径的终点时，确定当前位置与路径交点之间的距离；若当前位置与路径交点之间的距离小于或等于设定距离，则确定机体进入待转弯区域。
268.可选的，当前路径为目标场景的主干道路径，目标路径为目标场景的种植小道路径。路径导航模块210具体可以用于：基于三维地图，沿主干道路径对机体进行导航。转弯控制模块220用于基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径时，具体可以用于：以机体的转弯内侧区域的第一设定点为圆心、以当前位置与路径交点之间的距离为半径，生成从主干道路径到种植小道路径的转弯路径；其中，第一设定点与当前位置的连线垂直于主干道路径。
269.可选的，当前路径为目标场景的种植小道路径，目标路径为目标场景的主干道路径。路径导航模块210具体可以用于：沿种植小道路径对机体进行导航。转弯控制模块220用于基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径时，具体可以用于：以机体的转弯内侧区域的第二设定点为圆心、以当前位置与路径交点之间的距离为半径，生成从种植小道路径到主干道路径的转弯路径；其中，第二设定点与当前位置的连线垂
直于种植小道路径。
270.可选的，路径导航模块210还可以用于：当机体从种植小道路径进入主干道路径时，基于目标场景的三维地图进行重定位，以使通过机体的视觉惯性里程计获得的位姿信息与三维地图处于同一坐标系。
271.可选的，路径导航模块210用于沿种植小道路径对机体进行导航时，具体可以用于：获取所述机体的视觉惯性里程计采集的小道场景图像，所述小道场景图像是所述机体进入所述目标场景的种植小道时采集的；基于所述小道场景图像，生成目标直线；从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径；按照所述种植小道路径对所述机体进行导航。
272.可选的，路径导航模块210用于基于所述小道场景图像，生成目标直线时，具体可以用于：基于所述小道场景图像进行三维重构，得到三维重构图；从所述三维重构图中提取种植小道两侧的三维点信息；基于所述种植小道两侧的三维点信息，拟合得到所述目标直线。
273.可选的，路径导航模块210用于基于所述小道场景图像，生成目标直线时，具体可以用于：从所述小道场景图像中识别出种植支架信息和种植行信息；基于所述种植支架信息确定出种植支架中心线，以及基于所述种植行信息确定出作物边缘拟合中心线；计算所述种植支架中心线和所述作物边缘拟合中心线之间的目标拟合中心线，并将所述目标拟合中心线转换为所述目标直线。
274.可选的，路径导航模块210用于基于所述小道场景图像，生成目标直线时，具体可以用于：基于所述机体的设备中轴线，获得所述小道场景图像的局部图像；对所述局部图像进行转换，得到目标鸟瞰图；对所述目标鸟瞰图进行农作物识别，确定出种植小道两侧的第一种植行区域和第二种植行区域；根据所述第一种植行区域和所述第二种植行区域的中心线及预设尺度因子，获得所述目标直线，其中，所述预设尺度因子用于表示所述目标鸟瞰图中像素之间的距离与实际距离之间的关系。
275.可选的，路径导航模块210用于从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径时，具体可以用于：以所述种植小道的入口点为起点，每隔预设长度从所述目标直线中提取一个点并将该点转换至设备机体坐标系，直至从所述目标直线中提取到所述种植小道的出口点，得到多个所述小道导航路径点，以生成所述种植小道路径。
276.可选的，当前路径为目标场景的主干道路径，目标路径为目标场景的种植小道路径。路径导航模块210在用于基于三维地图，沿主干道路径对机体进行导航之前，还可以用于：获取目标场景的三维地图以及三维地图中的主干道路径；三维地图是通过机体的视觉惯性里程计对目标场景进行建图得到的；基于三维地图进行重定位，以使通过视觉惯性里程计获得的位姿信息与三维地图处于同一坐标系。
277.路径导航模块210用于基于三维地图，沿主干道路径对机体进行导航时，具体可以用于：基于视觉惯性里程计实时采集的图像，获得机体相对于初始化完成时刻或者上一次定位融合时刻的运行信息；当运行信息满足预设条件时，根据视觉惯性里程计获得的当前位姿信息从三维地图中确定匹配地图区域；对当前位姿信息和通过匹配地图区域进行重定位获得的重定位位姿信息进行定位融合处理，得到融合定位信息；根据融合定位信息、三维地图及主干道路径对机体进行导航。
278.请参见图15，图15示出了本发明实施例提供的作业控制装置的结构示意图。该作业控制装置300包括：指令接收模块310和作业控制模块320。
279.指令接收模块310，用于接收作业指令。
280.作业控制模块320，用于基于作业指令，从目标场景中确定出当前需要作业的待作业区域；按照上述实施例提供的路径导航方法，对无人设备进行路径导航，以辅助无人设备对待作业区域进行作业。
281.可选的，作业指令可以包括指定作业起点和指定作业终点，目标场景包括若干种植行。作业控制模块320用于基于作业指令，从目标场景中确定出当前需要作业的待作业区域时，具体可以用于：从目标场景中找出指定作业起点至指定作业终点之间的至少一列目标种植行；将全部目标种植行所在区域作为待作业区域。
282.可选的，作业指令包括指定作业类型，目标场景包括若干种植行。作业控制模块320用于基于作业指令，从目标场景中确定出当前需要作业的待作业区域时，具体可以用于：获得目标场景中各种植行的作物生长信息；从目标场景中查找作物生长信息与指定作业类型相匹配的至少一列目标种植行；将全部目标种植行所在区域作为待作业区域。
283.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的路径导航装置200、作业控制装置300的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
284.请参见图16，图16为本发明实施例提供的一种无人设备的结构示意图。该无人设备100可以包括：设置于机体的处理器110、存储器120和总线130，处理器110通过总线130与存储器120连接。
285.存储器120可用于存储程序，例如，本发明实施例所提供的路径导航装置200，和/或，本发明实施例所提供的作业控制装置300。处理器110通过运行存储在存储器120内的程序，从而执行各种功能应用以及数据处理。当处理器110运行存储器120中的程序时，根据上述的路径导航方法实现机体的导航，和/或，根据上述的作业控制方法控制机体的作业。
286.其中，存储器120可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，闪存存储器(flash)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
287.处理器110可以是一种集成电路芯片，具有信号处理能力。该处理器110可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
288.可以理解，图16所示的结构仅为示意，无人设备100还可以包括比图16中所示更多或者更少的组件，或者具有与图16所示不同的配置。图16中所示的各组件可以采用硬件、软件或其组合实现。
289.本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有
计算机程序，该计算机程序被处理器运行时实现：上述实施例揭示的路径导航方法，和/或，上述实施例揭示的作业控制方法。该计算机可读存储介质可以是但不限于：u盘、移动硬盘、rom、ram、prom、eprom、eeprom、flash磁碟或者光盘等各种可以存储程序代码的介质。
290.综上，本发明实施例提供了一种路径导航方法、作业控制方法及相关装置，在沿当前路径对机体进行导航的情况下，当确定机体进入待转弯区域时，能够基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径，该转弯路径可以用于指引机体从当前路径转弯至目标路径。如此，在确定机体进入待转弯区域时及时的生成转弯路径，并且转弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径能够准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换。
291.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种路径导航方法，其特征在于，包括：沿当前路径对机体进行导航；当确定所述机体进入待转弯区域时，基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径；其中，所述转弯路径用于指引所述机体从所述当前路径转弯至目标路径。2.根据权利要求1所述的方法，其特征在于，所述沿当前路径对机体进行导航的步骤之后，所述方法还包括：当识别到设定参照物，或者，所述机体在所述当前路径上的累计行驶长度达到设定长度，或者，所述机体行驶至所述当前路径的终点时，确定所述当前位置与所述路径交点之间的距离；若所述当前位置与所述路径交点之间的距离小于或等于设定距离，则确定所述机体进入待转弯区域。3.根据权利要求1所述的方法，其特征在于，所述当前路径为目标场景的主干道路径，所述目标路径为所述目标场景的种植小道路径；所述基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径的步骤，包括：以所述机体的转弯内侧区域的第一设定点为圆心、以所述当前位置与所述路径交点之间的距离为半径，生成从所述主干道路径到所述种植小道路径的转弯路径；其中，所述第一设定点与所述当前位置的连线垂直于所述主干道路径。4.根据权利要求1所述的方法，其特征在于，所述当前路径为目标场景的种植小道路径，所述目标路径为所述目标场景的主干道路径；所述基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径的步骤，包括：以所述机体的转弯内侧区域的第二设定点为圆心、以所述当前位置与所述路径交点之间的距离为半径，生成从所述种植小道路径到所述主干道路径的转弯路径；其中，所述第二设定点与所述当前位置的连线垂直于所述种植小道路径。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当所述机体从所述种植小道路径进入所述主干道路径时，基于所述目标场景的三维地图进行重定位，以使通过所述机体的视觉惯性里程计获得的位姿信息与所述三维地图处于同一坐标系。6.根据权利要求1所述的方法，其特征在于，所述当前路径为目标场景的种植小道路径，所述目标路径为所述目标场景的主干道路径；所述沿当前路径对机体进行导航的步骤，包括：获取所述机体的视觉惯性里程计采集的小道场景图像；所述小道场景图像是所述机体进入所述目标场景的种植小道时采集的；基于所述小道场景图像，生成目标直线；从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径；按照所述种植小道路径对所述机体进行导航。7.根据权利要求6所述的方法，其特征在于，所述基于所述小道场景图像，生成目标直
线的步骤，包括：基于所述小道场景图像进行三维重构，得到三维重构图；从所述三维重构图中提取种植小道两侧的三维点信息；基于所述种植小道两侧的三维点信息，拟合得到所述目标直线。8.根据权利要求6所述的方法，其特征在于，所述基于所述小道场景图像，生成目标直线的步骤，包括：从所述小道场景图像中识别出种植支架信息和种植行信息；基于所述种植支架信息确定出种植支架中心线，以及基于所述种植行信息确定出作物边缘拟合中心线；计算所述种植支架中心线和所述作物边缘拟合中心线之间的目标拟合中心线，并将所述目标拟合中心线转换为所述目标直线。9.根据权利要求6所述的方法，其特征在于，所述基于所述小道场景图像，生成目标直线的步骤，包括：基于所述机体的设备中轴线，获得所述小道场景图像的局部图像；对所述局部图像进行转换，得到目标鸟瞰图；对所述目标鸟瞰图进行农作物识别，确定出种植小道两侧的第一种植行区域和第二种植行区域；根据所述第一种植行区域和所述第二种植行区域的中心线及预设尺度因子，获得所述目标直线，其中，所述预设尺度因子用于表示所述目标鸟瞰图中像素之间的距离与实际距离之间的关系。10.根据权利要求6-9任一所述的方法，其特征在于，所述从所述目标直线中提取多个小道导航路径点，得到所述种植小道路径的步骤，包括：以所述种植小道的入口点为起点，每隔预设长度从所述目标直线中提取一个点并将该点转换至设备机体坐标系，直至从所述目标直线中提取到所述种植小道的出口点，得到多个所述小道导航路径点，以生成所述种植小道路径。11.根据权利要求1所述的方法，其特征在于，所述当前路径为目标场景的主干道路径，所述目标路径为所述目标场景的种植小道路径；在所述沿当前路径对机体进行导航的步骤之前，所述方法还包括：获取所述目标场景的三维地图以及所述三维地图中的主干道路径；所述三维地图是通过所述机体的视觉惯性里程计对所述目标场景进行建图得到的；基于所述三维地图进行重定位，以使通过所述视觉惯性里程计获得的位姿信息与所述三维地图处于同一坐标系。12.根据权利要求11所述的方法，其特征在于，所述沿当前路径对机体进行导航的步骤，包括：基于所述视觉惯性里程计实时采集的图像，获得所述机体相对于初始化完成时刻或者上一次定位融合时刻的运行信息；当所述运行信息满足预设条件时，根据所述视觉惯性里程计获得的当前位姿信息从所述三维地图中确定匹配地图区域；对所述当前位姿信息和通过所述匹配地图区域进行重定位获得的重定位位姿信息进
行定位融合处理，得到融合定位信息；根据所述融合定位信息、所述三维地图及所述主干道路径对所述机体进行导航。13.一种作业控制方法，其特征在于，包括：接收作业指令；基于作业指令，从目标场景中确定出当前需要作业的待作业区域；按照权利要求1-12任一项所述的路径导航方法，对无人设备进行路径导航，以辅助无人设备对所述待作业区域进行作业。14.根据权利要求13所述的方法，其特征在于，所述作业指令包括指定作业起点和指定作业终点；所述目标场景包括若干种植行；所述基于作业指令，从目标场景中确定出当前需要作业的待作业区域的步骤，包括：从所述目标场景中找出所述指定作业起点至所述指定作业终点之间的至少一列目标种植行；将全部目标种植行所在区域作为所述待作业区域。15.根据权利要求13所述的方法，其特征在于，所述作业指令包括指定作业类型；所述目标场景包括若干种植行；所述基于作业指令，从目标场景中确定出当前需要作业的待作业区域的步骤，包括：获得所述目标场景中各种植行的作物生长信息；从所述目标场景中查找所述作物生长信息与所述指定作业类型相匹配的至少一列目标种植行；将全部所述目标种植行所在区域作为所述待作业区域。16.一种路径导航装置，其特征在于，包括：路径导航模块，用于沿当前路径对机体进行导航；转弯控制模块，用于当确定所述机体进入待转弯区域时，基于所述机体的当前位置与所述当前路径和目标路径的路径交点，生成转弯路径；其中，所述转弯路径用于指引所述机体从所述当前路径转弯至目标路径。17.一种作业控制装置，其特征在于，包括：指令接收模块，用于接收作业指令；作业控制模块，用于基于作业指令，从目标场景中确定出当前需要作业的待作业区域；所述作业控制模块，还用于按照权利要求1-12任一项所述的路径导航方法，对无人设备进行路径导航，以辅助无人设备对所述待作业区域进行作业。18.一种无人设备，其特征在于，包括：机体、设置于所述机体的存储器和处理器，所述存储器用于存储程序，所述处理器在执行所述程序时，根据权利要求1-12中任一项所述的路径导航方法实现所述机体的导航，和/或，根据权利要求13-15中任一项所述的作业控制方法控制所述机体的作业。19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：权利要求1-12中任一项所述的路径导航方法，和/或，权利要求13-15中任一项所述的作业控制方法。

技术总结
本发明提供了一种路径导航方法、作业控制方法及相关装置，涉及导航技术领域。在沿当前路径对机体进行导航的情况下，当确定机体进入待转弯区域时，能够基于机体的当前位置与当前路径和目标路径的路径交点，生成转弯路径，该转弯路径可以用于指引机体从当前路径转弯至目标路径。如此，在确定机体进入待转弯区域时及时的生成转弯路径，并且转弯路径是基于机体的当前位置与当前路径和目标路径的路径交点生成，保证机体按照转弯路径能够准确地转弯至目标路径而不出现偏差，从而准确高效地实现了当前路径与目标路径之间的道路切换。当前路径与目标路径之间的道路切换。当前路径与目标路径之间的道路切换。


技术研发人员：李龙喜 黄志鑫 李扬
受保护的技术使用者：广州极飞科技股份有限公司
技术研发日：2023.04.21
技术公布日：2023/8/13