飞行器运动状态决策方法、装置、电子设备及存储介质与流程

1.本技术涉及控制方法领域，尤其涉及一种飞行器运动状态决策方法、装置、电子设备及存储介质。


背景技术：

2.随着电动技术的发展，构建以轻型的电动垂直起降(electric vertical takeoff and landing，简称evtol)飞行器为核心的城市空中交通网络，成为开发城市新维度空间的有力路径。evtol飞行器以其垂直起降的优势，不需要搭建跑道，因此可以适应多种环境，例如城市环境。
3.随着自动驾驶技术的发展，应用自动驾驶技术可以有效提升evtol飞行器的运行效率并且减少用户的操作。用户仅需要向evtol飞行器输入目标位置信息，evtol飞行器可以自动对环境进行观测，根据观测结果以及目标位置信息确定飞行路线，以及按照飞行路线向目标位置飞行。
4.实际应用中，evtol飞行器的运动状态包括：在起飞阶段，evtol飞行器从地面垂直飞行到预设高度，在巡航阶段，evtol飞行器以预设高度飞行，在降落阶段，evtol飞行器从预设高度飞行到地面。
5.与此同时，evtol飞行器完全依靠自动驾驶的安全性是需要关注的重点。


技术实现要素：

6.本技术提供一种飞行器运动状态决策方法、装置、电子设备及存储介质，用于提升飞行器的安全性。
7.第一方面，本技术提供一种飞行器运动状态决策方法，包括：获取飞行器的当前运动状态以及障碍物的障碍物位置；根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。
8.在一种可能的实施方式中，根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，包括：获取所述飞行器的目标位置以及多个预设时刻；根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划。
9.在一种可能的实施方式中，所述当前运动状态包括如下至少一种：当前位置、当前速度或当前偏航角；根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划，包括：根据所述当前位置、所述障碍物位置以及所述目标位置，生成所述飞行器的飞行路线；根据所述当前速度、所述当前偏航角、所述飞行路线以及所述多个预设时刻，生成所述飞行器在每个所述预设时刻下在所述飞行路线中的
所述轨迹点；根据所述飞行路线以及所述轨迹点，确定所述飞行器的路由规划。
10.在一种可能的实施方式中，通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量，包括：获取所述飞行器的当前电量；将所述当前运动状态以及所述路由规划输入所述模拟器，得到所述飞行器在每个所述轨迹点的模拟运动状态；将所述当前运动状态、所述模拟运动状态以及所述当前电量输入所述模拟器，得到所述模拟运动状态对应的所述轨迹点所对应的所述模拟电量。
11.在一种可能的实施方式中，根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，包括：根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立每个所述轨迹点对应的价值函数；基于强化学习算法，对初始的运动状态决策模型进行更新处理，直至所述模拟运动状态对应的轨迹点所对应的价值函数收敛时，得到更新后的运动状态决策模型；通过所述更新后的运动状态决策模型确定所述目标运动状态。
12.在一种可能的实施方式中，针对任意一个轨迹点；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立所述轨迹点对应的价值函数，包括：获取所述飞行器的功率信息；根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量；根据所述轨迹点对应的所述模拟电量与所述模拟消耗电量的差值，建立所述轨迹点的电量奖励函数；从所述轨迹点中确定巡航飞行状态的轨迹点；根据所述障碍物位置，建立所述巡航飞行状态的轨迹点的障碍物奖励函数；根据所述电量奖励函数以及所述障碍物奖励函数，建立所述轨迹点对应的价值函数。
13.在一种可能的实施方式中，根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述模拟运动状态，确定所述飞行器从所述轨迹点飞行到所述目标位置的飞行时长，所述飞行时长包括巡航飞行状态的第一时长以及垂直飞行状态的第二时长；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量。
14.在一种可能的实施方式中，所述功率信息包括巡航飞行功率以及垂直飞行功率；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述巡航飞行功率以及所述第一时长，确定所述飞行器的巡航消耗电量；根据所述垂直飞行功率以及所述第二时长，确定所述飞行器的垂直消耗电量；将所述巡航消耗电量以及所述垂直消耗电量，确定为所述模拟消耗电量。
15.在一种可能的实施方式中，根据所述障碍物位置，确定所述巡航飞行状态的轨迹点的障碍物奖励函数，包括：根据所述障碍物位置，确定所述巡航飞行状态的轨迹点与所述障碍物的第一距离；根据所述第一距离，建立所述巡航飞行状态的轨迹点的障碍物奖励函数。
16.在一种可能的实施方式中，通过所述更新后的运动状态决策模型确定所述目标运动状态，包括：获取所述飞行器在任意位置的观测运动状态以及观测电量；将所述观测运动状态、所述观测电量以及所述障碍物位置输入所述更新后的运动状态决策模型，得到所述目标运动状态。
17.第二方面，本技术提供一种飞行器运动状态决策装置，包括：获取模块，用于获取飞行器的当前运动状态以及障碍物的障碍物位置；生成模块，用于根据所述当前运动状态
以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；模拟模块，用于通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；确定模块，用于根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。
18.在一种可能的实施方式中，所述生成模块，具体用于获取所述飞行器的目标位置以及多个预设时刻；所述生成模块，具体还用于根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划。
19.在一种可能的实施方式中，所述当前运动状态包括如下至少一种：当前位置、当前速度或当前偏航角；所述生成模块，具体用于根据所述当前位置、所述障碍物位置以及所述目标位置，生成所述飞行器的飞行路线；所述生成模块，具体还用于根据所述当前速度、所述当前偏航角、所述飞行路线以及所述多个预设时刻，生成所述飞行器在每个所述预设时刻下在所述飞行路线中的所述轨迹点；所述生成模块，具体还用于根据所述飞行路线以及所述轨迹点，确定所述飞行器的路由规划。
20.在一种可能的实施方式中，所述装置还包括：仿真模块，用于获取所述飞行器的当前电量；所述仿真模块，还用于将所述当前运动状态以及所述路由规划输入所述模拟器，得到所述飞行器在每个所述轨迹点的模拟运动状态；所述仿真模块，还用于将所述当前运动状态、所述模拟运动状态以及所述当前电量输入所述模拟器，得到所述模拟运动状态对应的所述轨迹点所对应的所述模拟电量。
21.在一种可能的实施方式中，所述装置还包括：决策模块，用于根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立每个所述轨迹点对应的价值函数；所述决策模块，还用于基于强化学习算法，对初始的运动状态决策模型进行更新处理，直至所述模拟运动状态对应的轨迹点所对应的价值函数收敛时，得到更新后的运动状态决策模型；所述决策模块，还用于通过所述更新后的运动状态决策模型确定所述目标运动状态。
22.在一种可能的实施方式中，针对任意一个轨迹点；所述决策模块，具体用于获取所述飞行器的功率信息；所述决策模块，具体还用于根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量；所述决策模块，具体还用于根据所述轨迹点对应的所述模拟电量与所述模拟消耗电量的差值，建立所述轨迹点的电量奖励函数；所述决策模块，具体还用于从所述轨迹点中确定巡航飞行状态的轨迹点；所述决策模块，具体还用于根据所述障碍物位置，建立所述巡航飞行状态的轨迹点的障碍物奖励函数；所述决策模块，具体还用于根据所述电量奖励函数以及所述障碍物奖励函数，建立所述轨迹点对应的价值函数。
23.在一种可能的实施方式中，所述决策模块，具体用于根据所述模拟运动状态，确定所述飞行器从所述轨迹点飞行到所述目标位置的飞行时长，所述飞行时长包括巡航飞行状态的第一时长以及垂直飞行状态的第二时长；所述决策模块，具体还用于根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量。
24.在一种可能的实施方式中，所述功率信息包括巡航飞行功率以及垂直飞行功率；所述决策模块，具体用于根据所述巡航飞行功率以及所述第一时长，确定所述飞行器的巡航消耗电量；所述决策模块，具体还用于根据所述垂直飞行功率以及所述第二时长，确定所述飞行器的垂直消耗电量；所述决策模块，具体还用于将所述巡航消耗电量以及所述垂直
消耗电量，确定为所述模拟消耗电量。
25.在一种可能的实施方式中，所述决策模块，具体用于根据所述障碍物位置，确定所述巡航飞行状态的轨迹点与所述障碍物的第一距离；所述决策模块，具体还用于根据所述第一距离，建立所述巡航飞行状态的轨迹点的障碍物奖励函数。
26.在一种可能的实施方式中，所述决策模块，具体用于获取所述飞行器在任意位置的观测运动状态以及观测电量；所述决策模块，具体还用于将所述观测运动状态、所述观测电量以及所述障碍物位置输入所述更新后的运动状态决策模型，得到所述目标运动状态。
27.第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面中任一项所述的方法。
28.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行如第一方面中任一项所述的方法。
29.本技术提供的飞行器运动状态决策方法、装置、电子设备及存储介质，包括：获取飞行器的当前运动状态以及障碍物的障碍物位置；根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。以上方案，以电量和障碍物位置为依据确定的目标运动状态，可以保证飞行器既不发生碰撞又能有足够电量到达目标位置，从而提升飞行器的安全性。
附图说明
30.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
31.图1为本技术实施例提供的一种飞行器运动状态决策方法的应用场景示意图；
32.图2为本技术实施例提供的一种飞行器运动状态决策方法的流程示意图；
33.图3为本技术实施例提供的生成路由规划示意图；
34.图4为本技术实施例提供的一种飞行器运动状态决策方法的流程示意图；
35.图5为本技术实施例提供的飞行状态示意图；
36.图6为本技术实施例提供的运动状态决策模型训练示意图；
37.图7为本技术实施例提供的一种飞行器运动状态决策装置的结构示意图；
38.图8为本技术实施例提供的一种飞行器运动状态决策装置的结构示意图；
39.图9为本技术实施例提供的一种电子设备的结构示意图。
40.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
42.图1为本技术实施例提供的一种飞行器运动状态决策方法的应用场景示意图，结合图示的场景进行举例：用户指定目标位置，飞行器确定从当前位置飞到目标位置的初始路由规划，若由于障碍或者电量不足等原因导致初始路由规划无法实现，则飞行器确定实际位置以及从当前位置飞到实际位置的修改路由规划，按照修改路由规划进行飞行可以保证飞行器的安全性。
43.下面以具体的实施例对本技术的技术方案以及本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。在本技术的描述中，除非另有明确的规定和限定，各术语应在本领域内做广义理解。下面将结合附图，对本技术的实施例进行描述。
44.图2为本技术实施例提供的一种飞行器运动状态决策方法的流程示意图，该方法包括以下步骤：
45.s201、获取飞行器的当前运动状态以及障碍物的障碍物位置。
46.作为示例，该实施例的执行主体可以为飞行器运动状态决策装置，该飞行器运动状态决策装置的实现有多种。例如，可以为程序软件，也可以为存储有相关计算机程序的介质，例如，u盘等；或者，该装置还可以为集成或安装有相关计算机程序的实体设备，例如，芯片、智能终端、电脑、服务器等。
47.其中，当前运动状态为对飞行器的实际状态进行实际检测得到的，随着飞行器的当前飞行规划的变化而变化，本技术中的障碍物飞行器当前位置与目标位置之间的范围内的固定障碍物，障碍物位置不发生变化。
48.可选的，当前运动状态包括如下至少一种：当前位置、当前速度或当前偏航角等。
49.需要说明的是，本技术的障碍物针对飞行器在巡航飞行状态下需要躲避的障碍物。
50.s202、根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点。
51.举例来说，若飞行器的飞行高度有限，则可能在飞行高度上遇到障碍物，路由规划应避开障碍物。
52.下面，结合图3对生成路由规划进行说明。
53.图3为本技术实施例提供的生成路由规划示意图。如图3所示，飞行器的当前位置和目标位置之间存在障碍物，生成的路由规划避开了障碍物，飞行器按照路由规划飞行过程中不会与障碍物发生碰撞，飞行器按照路由规划飞行过程中经过的多个位置为轨迹点。
54.s203、通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量。
55.其中，模拟运动状态和模拟电量为模拟器根据飞行器当前运动状态进行预测得到的，模拟器预测飞行器在未来飞行到每个轨迹点时对应的模拟运动状态以及对应的模拟电
量。
56.可选的，模拟器通过仿真计算得到飞行器在每个轨迹点的模拟运动状态以及对应的模拟电量。
57.s204、根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。
58.其中，模拟电量为模拟器预测得到的，模拟器根据飞行器的功率预测飞行器在未来飞行到每个轨迹点时的剩余电量。
59.可选的，若飞行器的模拟电量不足够飞行到目标位置，则调整目标位置，调整后的目标位置为飞行器的模拟电量足够飞行到的位置。
60.再可选的，目标位置与障碍物之间存在预设的安全距离。
61.可以理解，结合电量和障碍物位置确定的目标运动状态，既可以保证飞行器不发生碰撞，又可以避免飞行器电量不足而发生坠落，从而提升飞行器的安全性。
62.本技术实施例提供的飞行器运动状态决策方法，包括：获取飞行器的当前运动状态以及障碍物的障碍物位置；根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。以上方案，以电量和障碍物位置为依据确定的目标运动状态，可以保证飞行器既不发生碰撞又能有足够电量到达目标位置，从而提升飞行器的安全性。
63.在上述任意一个实施例的基础上，下面，结合图4，对飞行器运动状态决策的详细过程进行说明。
64.图4为本技术实施例提供的一种飞行器运动状态决策方法的流程示意图。如图4所示，该方法包括：
65.s401、获取飞行器的当前运动状态以及障碍物的障碍物位置。
66.需要说明的是，s401的执行过程参见s201，此处不再赘述。
67.s402、获取所述飞行器的目标位置以及多个预设时刻。
68.其中，预设时刻的获取方法包括但不限于：由工程师指定、随机生成以及根据固定时间间隔生成等
69.s403、根据所述当前位置、所述障碍物位置以及所述目标位置，生成所述飞行器的飞行路线。
70.可选的，飞行器的飞行路线为连接当前位置与目标位置，并且避开每个障碍物位置的路线。
71.s404、根据所述当前速度、所述当前偏航角、所述飞行路线以及所述多个预设时刻，生成所述飞行器在每个所述预设时刻下在所述飞行路线中的所述轨迹点。
72.可选的，轨迹点为飞行器沿着飞行路线飞行过程中在每个预设时刻所到达的位置，轨迹点为计算得到。
73.s405、根据所述飞行路线以及所述轨迹点，确定所述飞行器的路由规划。
74.可选的，将飞行路线和轨迹点组合，得到路由规划。
75.s406、获取所述飞行器的当前电量。
76.可选的，通过飞行器的电量检测功能获取当前电量。
77.s407、将所述当前运动状态以及所述路由规划输入所述模拟器，得到所述飞行器在每个所述轨迹点的模拟运动状态。
78.其中，模拟器中提供模拟环境，模拟器可以获取飞行器的高维抽象信息，根据高维抽象信息模拟飞行器的状态。
79.结合场景示例来说，为了避开障碍物，飞行器的飞行路线为曲线，飞行器沿曲线飞行过程中位置、速度以及偏航角均发生变化，通过模拟器可以计算出飞行器在每个所述轨迹点的模拟运动状态。
80.s408、将所述当前运动状态、所述模拟运动状态以及所述当前电量输入所述模拟器，得到所述模拟运动状态对应的所述轨迹点所对应的所述模拟电量。
81.结合场景示例来说，飞行器的飞行过程中会消耗电量，通过模拟器可以计算出飞行器每经过一个轨迹点时的剩余电量，将剩余电量确定为模拟电量。
82.s409、根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立每个所述轨迹点对应的价值函数。
83.一种可行的实现方式，建立所述轨迹点对应的价值函数，包括：获取所述飞行器的功率信息；根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量；根据所述轨迹点对应的所述模拟电量与所述模拟消耗电量的差值，建立所述轨迹点的电量奖励函数；根据所述障碍物位置，建立所述轨迹点的障碍物奖励函数；根据所述轨迹点对应的所述电量奖励函数以及所述障碍物奖励函数，建立所述轨迹点对应的价值函数。
84.可选的，建立价值函数r为：
85.r＝a1r1+a2r2+a3r3+a4r486.其中，r为价值函数，r1为到达中间点奖励函数，r2为到达目标位置奖励函数，r3为碰撞惩罚函数，r4为电量惩罚函数，a1、a2、a3以及a4为权重系数。
87.结合场景示例来说，根据飞行器的路由规划确定多个中间点，中间点位于起始位置与目标位置之间，飞行器每经过一个中间点，增加对应的中间点奖励函数值。飞行器到达目标位置，增加目标位置奖励函数值。若飞行器飞行中发生碰撞，则扣除对应的碰撞惩罚函数值。若飞行器电量不足以飞行到目标位置，则扣除对应的电量惩罚函数值。可以理解，a1以及a2大于0，a1以及a2小于0。
88.再可选的，确定所述轨迹点的障碍物奖励函数，包括：根据所述障碍物位置，确定所述轨迹点与所述障碍物的第一距离；根据所述第一距离，建立所述轨迹点的障碍物奖励函数。
89.结合场景示例来说，第一距离越远，说明飞行器与障碍物越原理，则飞行器越安全，则奖励函数的值越高。
90.再可选的，价值函数还包括飞行器到达每个轨迹点的奖励函数以及飞行器到达目标位置的奖励函数。
91.具体的，一种可行的实现方式，根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述模拟运动状态，确定所述飞行器从所述轨迹点飞行到所述目标位置的飞行时长，所述飞行时长包括巡航飞行
状态的第一时长以及垂直飞行状态的第二时长；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量。
92.下面，结合图5对飞行状态进行说明。
93.图5为本技术实施例提供的飞行状态示意图。如图5所示，飞行器从起始位置以垂直飞行的飞行状态上升到过渡点1，从过渡点1以巡航飞行的飞行状态水平飞行到过渡点2，从过渡点2以垂直飞行的飞行状态下降到目标位置。
94.在该种可行的实现方式中，由于巡航飞行和垂直飞行的工况不同，因此分别计算巡航消耗电量以及垂直消耗电量而得到模拟消耗电量，计算结果更准确。
95.进一步的，一种可行的实现方式，所述功率信息包括巡航飞行功率以及垂直飞行功率；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述巡航飞行功率以及所述第一时长，确定所述飞行器的巡航消耗电量；根据所述垂直飞行功率以及所述第二时长，确定所述飞行器的垂直消耗电量；将所述巡航消耗电量以及所述垂直消耗电量，确定为所述模拟消耗电量。
96.可选的，通过功率和时间计算消耗电量。
97.举例来说，计算巡航飞行功率p1的公式为：
[0098][0099]
其中，w为飞行器重量，vv为飞行器垂直方向的速度分量，v为飞行器前进的速度，l/d为飞行器的提升阻力，η1为飞行器巡航飞行的能量转化效率。
[0100]
计算巡航飞行电量e1的公式为：
[0101][0102]
其中，t为第一时长。
[0103]
结合场景示例来说，对飞行器巡航飞行的每个时刻的功率进行积分处理，得到飞行器巡航飞行消耗的电量
[0104]
举例来说，计算垂直飞行功率p2的公式为：
[0105][0106]
其中，f为飞行器自身的干扰的校正因子，fom为理想转子功率与实际转子功率的比率，a为桨盘面积，ρ为空气密度，v
climb,v
为飞行器的爬升率，η2为飞行器垂直飞行的能量转化效率。
[0107]
同理，可以根据垂直飞行功率p2计算垂直飞行的消耗电量。
[0108]
s410、基于强化学习算法，对初始的运动状态决策模型进行更新处理，直至所述模拟运动状态对应的轨迹点所对应的价值函数收敛时，得到更新后的运动状态决策模型。
[0109]
结合场景示例来说，通过每个轨迹点的模拟运动状态对初始的运动状态决策模型进行训练，直至对应的轨迹点所对应的价值函数收敛，则停止训练。
[0110]
可选的，设置最大训练轮数，若达到最大训练轮数，则停止训练。
[0111]
下面，结合图6对运动状态决策模型训练进行说明。
[0112]
图6为本技术实施例提供的运动状态决策模型训练示意图。如图6所示，确定轨迹点对应的模拟运动状态，根据对应的模拟运动状态对初始模型进行训练，建立轨迹点对应的价值函数，若价值函数收敛或者训练达到最大轮数则停止训练，否则确定下一个轨迹点执行上述操作。
[0113]
再可选的，计算强化学习算法的评价参数，通过评价参数评价训练后的运动状态决策模型。
[0114]
s411、获取所述飞行器在任意位置的观测运动状态以及观测电量。
[0115]
结合场景示例来说，观测运动状态以及观测电量为飞行器飞行到任意位置实际测量得到的。
[0116]
s412、将所述观测运动状态、所述观测电量以及所述障碍物位置输入所述更新后的运动状态决策模型，得到所述目标运动状态。
[0117]
可选的，将观测运动状态、观测电量以及障碍物位置输入更新后的运动状态决策模型，得到更新后的运动状态决策模型输出的飞行器的目标速度以及目标偏航角，飞行器按照目标速度以及目标偏航角调整控制进行飞行。
[0118]
图7为本技术实施例提供的一种飞行器运动状态决策装置的结构示意图。如图7所示，该飞行器运动状态决策装置70可以包括：获取模块71、生成模块72、模拟模块73以及确定模块74，其中，
[0119]
所述获取模块71，用于获取飞行器的当前运动状态以及障碍物的障碍物位置。
[0120]
所述生成模块72，用于根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；
[0121]
所述模拟模块73，用于通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；
[0122]
所述确定模块74，用于根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。
[0123]
可选的，获取模块71可以执行图2实施例中的s201。
[0124]
可选的，生成模块72可以执行图2实施例中的s202。
[0125]
可选的，模拟模块73可以执行图2实施例中的s203。
[0126]
可选的，确定模块74可以执行图2实施例中的s204。
[0127]
需要说明的是，本技术实施例所示的飞行器运动状态决策装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。
[0128]
在一种可能的实施方式中，所述生成模块72，具体用于：
[0129]
获取所述飞行器的目标位置以及多个预设时刻；
[0130]
根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划。
[0131]
在一种可能的实施方式中，所述当前运动状态包括如下至少一种：当前位置、当前速度或当前偏航角；所述生成模块72，具体用于：
[0132]
根据所述当前位置、所述障碍物位置以及所述目标位置，生成所述飞行器的飞行
路线；
[0133]
根据所述当前速度、所述当前偏航角、所述飞行路线以及所述多个预设时刻，生成所述飞行器在每个所述预设时刻下在所述飞行路线中的所述轨迹点；
[0134]
根据所述飞行路线以及所述轨迹点，确定所述飞行器的路由规划。
[0135]
图8为本技术实施例提供的一种飞行器运动状态决策装置的结构示意图。在图7所示实施例的基础上，如图8所示，该飞行器运动状态决策装置80还包括：仿真模块75以及决策模块76，其中：
[0136]
所述仿真模块75，用于：
[0137]
获取所述飞行器的当前电量；
[0138]
将所述当前运动状态以及所述路由规划输入所述模拟器，得到所述飞行器在每个所述轨迹点的模拟运动状态；
[0139]
将所述当前运动状态、所述模拟运动状态以及所述当前电量输入所述模拟器，得到所述模拟运动状态对应的所述轨迹点所对应的所述模拟电量。
[0140]
所述决策模块76，用于：
[0141]
根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立每个所述轨迹点对应的价值函数；
[0142]
基于强化学习算法，对初始的运动状态决策模型进行更新处理，直至所述模拟运动状态对应的轨迹点所对应的价值函数收敛时，得到更新后的运动状态决策模型；
[0143]
通过所述更新后的运动状态决策模型确定所述目标运动状态。
[0144]
在一种可能的实施方式中，所述决策模块76，具体用于：
[0145]
获取所述飞行器的功率信息；
[0146]
根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量；
[0147]
根据所述轨迹点对应的所述模拟电量与所述模拟消耗电量的差值，建立所述轨迹点的电量奖励函数；
[0148]
从所述轨迹点中确定巡航飞行状态的轨迹点；
[0149]
根据所述障碍物位置，建立所述轨迹点的障碍物奖励函数；
[0150]
根据所述轨迹点对应的所述电量奖励函数以及所述障碍物奖励函数，建立所述轨迹点对应的价值函数。
[0151]
在一种可能的实施方式中，所述决策模块76，具体用于：
[0152]
根据所述模拟运动状态，确定所述飞行器从所述轨迹点飞行到所述目标位置的飞行时长，所述飞行时长包括巡航飞行状态的第一时长以及垂直飞行状态的第二时长；
[0153]
根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量。
[0154]
在一种可能的实施方式中，所述功率信息包括巡航飞行功率以及垂直飞行功率；所述决策模块76，具体用于：
[0155]
根据所述巡航飞行功率以及所述第一时长，确定所述飞行器的巡航消耗电量；
[0156]
根据所述垂直飞行功率以及所述第二时长，确定所述飞行器的垂直消耗电量；
[0157]
将所述巡航消耗电量以及所述垂直消耗电量，确定为所述模拟消耗电量。
[0158]
在一种可能的实施方式中，所述决策模块76，具体用于：
[0159]
根据所述障碍物位置，确定所述巡航飞行状态的轨迹点与所述障碍物的第一距离；
[0160]
根据所述第一距离，建立所述巡航飞行状态的轨迹点的障碍物奖励函数。
[0161]
在一种可能的实施方式中，所述决策模块76，具体用于：
[0162]
获取所述飞行器在任意位置的观测运动状态以及观测电量；
[0163]
将所述观测运动状态、所述观测电量以及所述障碍物位置输入所述更新后的运动状态决策模型，得到所述目标运动状态。
[0164]
图9为本技术实施例中提供的一种电子设备的结构示意图，如图9所示，该电子设备包括：
[0165]
处理器(processor)291，电子设备还包括了存储器(memory)292；还可以包括通信接口(communication interface)293和总线294。其中，处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器292中的逻辑指令，以执行上述实施例的方法。
[0166]
此外，上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0167]
存储器292作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本技术实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。
[0168]
存储器292可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器292可以包括高速随机存取存储器，还可以包括非易失性存储器。
[0169]
本技术实施例提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述实施例所述的方法。
[0170]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0171]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0172]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种飞行器运动状态决策方法，其特征在于，包括：获取飞行器的当前运动状态以及障碍物的障碍物位置；根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。2.根据权利要求1所述的方法，其特征在于，根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，包括：获取所述飞行器的目标位置以及多个预设时刻；根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划。3.根据权利要求2所述的方法，其特征在于，所述当前运动状态包括如下至少一种：当前位置、当前速度或当前偏航角；根据所述当前运动状态、所述障碍物位置、所述目标位置以及所述多个预设时刻，生成所述飞行器的路由规划，包括：根据所述当前位置、所述障碍物位置以及所述目标位置，生成所述飞行器的飞行路线；根据所述当前速度、所述当前偏航角、所述飞行路线以及所述多个预设时刻，生成所述飞行器在每个所述预设时刻下在所述飞行路线中的所述轨迹点；根据所述飞行路线以及所述轨迹点，确定所述飞行器的路由规划。4.根据权利要求1-3中任一项所述的方法，其特征在于，通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量，包括：获取所述飞行器的当前电量；将所述当前运动状态以及所述路由规划输入所述模拟器，得到所述飞行器在每个所述轨迹点的模拟运动状态；将所述当前运动状态、所述模拟运动状态以及所述当前电量输入所述模拟器，得到所述模拟运动状态对应的所述轨迹点所对应的所述模拟电量。5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，包括：根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立每个所述轨迹点对应的价值函数；基于强化学习算法，对初始的运动状态决策模型进行更新处理，直至所述模拟运动状态对应的轨迹点所对应的价值函数收敛时，得到更新后的运动状态决策模型；通过所述更新后的运动状态决策模型确定所述目标运动状态。6.根据权利要求5所述的方法，其特征在于，针对任意一个轨迹点；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，建立所述轨迹点对应的价值函数，包括：获取所述飞行器的功率信息；根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量；
根据所述轨迹点对应的所述模拟电量与所述模拟消耗电量的差值，建立所述轨迹点的电量奖励函数；从所述轨迹点中确定巡航飞行状态的轨迹点；根据所述障碍物位置，建立所述巡航飞行状态的轨迹点的障碍物奖励函数；根据所述电量奖励函数以及所述障碍物奖励函数，建立所述轨迹点对应的价值函数。7.根据权利要求6所述的方法，其特征在于，根据所述模拟运动状态以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述模拟运动状态，确定所述飞行器从所述轨迹点飞行到所述目标位置的飞行时长，所述飞行时长包括巡航飞行状态的第一时长以及垂直飞行状态的第二时长；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量。8.根据权利要求7所述的方法，其特征在于，所述功率信息包括巡航飞行功率以及垂直飞行功率；根据所述飞行时长以及所述功率信息，确定所述飞行器从所述轨迹点飞行到目标位置的模拟消耗电量，包括：根据所述巡航飞行功率以及所述第一时长，确定所述飞行器的巡航消耗电量；根据所述垂直飞行功率以及所述第二时长，确定所述飞行器的垂直消耗电量；将所述巡航消耗电量以及所述垂直消耗电量，确定为所述模拟消耗电量。9.根据权利要求6所述的方法，其特征在于，根据所述障碍物位置，建立所述巡航飞行状态的轨迹点的障碍物奖励函数，包括：根据所述障碍物位置，确定所述巡航飞行状态的轨迹点与所述障碍物的第一距离；根据所述第一距离，建立所述巡航飞行状态的轨迹点的障碍物奖励函数。10.根据权利要求5所述的方法，其特征在于，通过所述更新后的运动状态决策模型确定所述目标运动状态，包括：获取所述飞行器在任意位置的观测运动状态以及观测电量；将所述观测运动状态、所述观测电量以及所述障碍物位置输入所述更新后的运动状态决策模型，得到所述目标运动状态。11.一种飞行器运动状态决策装置，其特征在于，包括：获取模块，用于获取飞行器的当前运动状态以及障碍物的障碍物位置；生成模块，用于根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；模拟模块，用于通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；确定模块，用于根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。12.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-10中任一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机
执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-10中任一项所述的方法。

技术总结
本申请提供一种飞行器运动状态决策方法、装置、电子设备及存储介质，方法包括：获取飞行器的当前运动状态以及障碍物的障碍物位置；根据所述当前运动状态以及所述障碍物位置，生成所述飞行器的路由规划，所述路由规划包括多个轨迹点；通过模拟器，确定所述飞行器在每个所述轨迹点的模拟运动状态以及对应的模拟电量；根据所述模拟运动状态、所述模拟电量以及所述障碍物位置，确定所述飞行器的目标运动状态，所述目标运动状态包括如下至少一种：目标速度或目标偏航角。以上方案，以电量和障碍物位置为依据确定的目标运动状态，可以保证飞行器既不发生碰撞又能有足够电量到达目标位置，从而提升飞行器的安全性。提升飞行器的安全性。提升飞行器的安全性。


技术研发人员：田瑜 赵佳宜
受保护的技术使用者：峰飞航空科技（昆山）有限公司
技术研发日：2023.06.19
技术公布日：2023/10/15