海洋能驱动机器人节能避障方法

1.本发明涉及一种海洋能驱动机器人节能避障方法，属于海洋机器人技术领域。


背景技术：

2.海洋能驱动机器人作为新型的海洋机器人，可以通过装载的驱动装备，直接利用海洋能作为推力获得动力，或者是利用搭载的海洋能捕获设备，将海洋能转换为化学能储存在电池中。海洋能驱动机器人有效地利用海洋能源，实现了长时间海上作业，在军事和民用领域有着广泛的应用前景。
3.局部避碰技术作为海洋能驱动机器人的关键技术之一，保证了海洋能驱动机器人在未知环境中航行时航行器的安全性以及工作的高效性。相比于常规动力海洋机器人，海洋能驱动机器人在航行过程中能够不断地捕获海洋能，在进行避障任务时，有效捕获海洋能，减少能量消耗有助于提高海洋能驱动机器人的续航能力。现有基于强化学习的避障方法专利，设计的目标是安全可行且路程最短，往往忽略了海洋能机器人对周围能源的利用，对于长航时工作的海洋能驱动机器人，这种思维方式和解决问题的方法不够完善。


技术实现要素：

4.针对如何提高海洋能驱动机器人的续航力的问题，本发明提供一种海洋能驱动机器人节能避障方法。
5.本发明的一种海洋能驱动机器人节能避障方法，
6.本发明的一种基于i-u-net的被动雷达信号智能检测方法，包括：
7.s1、确定海洋能驱动机器人在海洋环境下的状态空间s；
8.s2、确定趋近目标奖励函数、避障奖励函数和节能奖励函数；
9.s3、利用确定的趋近目标奖励函数、避障奖励函数和节能奖励函数对海洋能驱动机器人避障网络进行训练，得到训练完成的海洋能驱动机器人避障网络；
10.海洋能驱动机器人避障网络的输入为海洋能驱动机器人在海洋环境下的状态空间s，输出为最优策略，包括海洋能驱动机器人由初始点到目标点的安全、可行、节能的路径；
11.s4、获取海洋能驱动机器人初始点、目标点和障碍物的位置信息，采用训练好的海洋能驱动机器人避障网络完成海洋能驱动机器人节能避障任务。
12.作为优选，节能奖励函数r
energy
：
[0013][0014]
式中，k为惩罚系数，α为海流阻力拟合系数，β为海风阻力拟合系数，e(t)为δt时
间内的能源消耗量，对其求和可以得到累计能源消耗量v
nsv
表示海洋能驱动机器人的航速矢量，u
cur
(t)为t时刻海流在大地坐标系下x轴方向的速度分量，v
cur
(t)为t时刻海流在大地坐标系下y轴方向的速度分量，u
wind
(t)为t时刻海风在大地坐标系下x轴方向的速度分量，v
wind
(t)为t时刻海风在大地坐标系下y轴方向的速度分量，ψ
nsv
(t)为t时刻海洋能驱动机器人的艏向角，；p1表示控制系统的总功率，p2表示舵机的功率，p4表示风机的发电功率，p5表示光伏电池板的发电功率。
[0015]
作为优选，避障奖励函数r
obs
：
[0016][0017]dsafe
＝0.002893l2+0.303744l
[0018]
式中，dk(t)＝d
obs
(t)-d
obs
(t-1)，dis_obs为避障距离，d
obs
(t)表示t时刻海洋能驱动机器人距离障碍物的最短距离，d
max
为海洋能驱动机器人距离障碍物的最大距离，用来进行归一化处理，d
safe
为海洋能驱动机器人的安全距离，l为海洋能驱动机器人船长。
[0019]
作为优选，趋近目标奖励函数r
goal
：
[0020][0021]
式中，dis_goal为到达距离，d
max
为最大距离，(x
start
,y
start
)表示航行起始点的横纵坐标，x
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下x轴方向的位置坐标，y
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下y轴方向的位置坐标。
[0022]
作为优选，状态空间s为：
[0023]
s＝[x
nsv
,y
nsv
,ψ
nsv
,d
obs
,θ
obs
,u
cur
,v
cur
,u
wind
,v
wind
,s
solar
]
[0024]
式中，ψ
nsv
表示海洋能驱动机器人的艏向角；(x
nsv
,y
nsv
)表示海洋能驱动机器人的位置；d
obs
表示海洋能驱动机器人距离障碍物的最短距离，θ
obs
为海洋能驱动机器人与障碍物之间的相对方位角；u
cur
、v
cur
表示在当前时刻海流在x轴和y轴上投影大小；u
wind
、v
wind
表示在当前时刻海风在x轴和y轴上投影大小；s
solar
表示光照强度。
[0025]
作为优选，s3中采用a3c算法对海洋能驱动机器人避障网络进行训练。
[0026]
作为优选，s3包括：
[0027]
s31、初始化海洋能驱动机器人避障网络的结构和参数，栅格化海洋环境地图，在训练过程中，保持海洋能驱动机器人的起始点和目标点不变，每个训练回合随机生成不同的状态空间对海洋能驱动机器人避障网络进行训练；
[0028]
s32：根据海洋能驱动机器人当前的状态，根据趋近目标点奖励函数、避障奖励函数，节能奖励函数执行航行动作，完成状态转移，得到即时奖励和下一时刻状态；
[0029]
s33：如果迭代步数达到最大步数或者海洋能驱动机器人处于终止状态，更新公共网络参数并共享给其他线程内的训练网络；否则转入s32；
[0030]
s34：判断海洋能驱动机器人是否到达终止状态，没有达到终止状态，转入s32；否则回合数加一，进行下一回合网络训练，转入s31；
[0031]
s35：海洋能驱动机器人避障网络训练回合数达到最大回合数，保存海洋能驱动机器人避障网络。
[0032]
本发明的有益效果，本发明根据海洋能驱动机器人的能源消耗和海洋能捕获，依据海洋环境因素设计出奖励函数，对海洋能驱动机器人路径规划进行网络训练，规划出安全、可行、节能的避障路径。
附图说明
[0033]
图1是a3c算法训练框架图；
[0034]
图2是海洋能驱动机器人航行状态图；
[0035]
图3是海洋能驱动机器人避障网络的原理图；
[0036]
图4是海洋能驱动机器人节能a3c避障算法流程图；
[0037]
图5是训练过程累计奖励图；
[0038]
图6是节能避障规划图；
[0039]
图7是节能a3c避障算法迭代步数图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0042]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0043]
本实施方式的海洋能驱动机器人节能避障方法，包括：
[0044]
步骤1、如图2所示，确定海洋能驱动机器人在海洋环境下的状态空间s：
[0045]
s＝[x
nsv
,y
nsv
,ψ
nsv
,d
obs
,θ
obs
,u
cur
,v
cur
,u
wind
,v
wind
,s
solar
]
[0046]
式中，ψ
nsv
表示海洋能驱动机器人的艏向角；(x
nsv
,y
nsv
)表示海洋能驱动机器人的位置；d
obs
表示海洋能驱动机器人距离障碍物的最短距离，θ
obs
为海洋能驱动机器人与障碍物之间的相对方位角；u
cur
、v
cur
表示在当前时刻海流在x轴和y轴上投影大小；u
wind
、v
wind
表示在当前时刻海风在x轴和y轴上投影大小；s
solar
表示光照强度。
[0047]
步骤2、确定趋近目标奖励函数、避障奖励函数和节能奖励函数；
[0048]
步骤3、利用确定的趋近目标奖励函数、避障奖励函数和节能奖励函数对海洋能驱动机器人避障网络进行训练，得到训练完成的海洋能驱动机器人避障网络；
[0049]
海洋能驱动机器人避障网络的输入为海洋能驱动机器人在海洋环境下的状态空间s，输出为最优策略，包括海洋能驱动机器人由初始点到目标点的安全、可行、节能的路
径；
[0050]
步骤4、获取海洋能驱动机器人初始点、目标点和障碍物的位置信息，采用训练好的海洋能驱动机器人避障网络完成海洋能驱动机器人节能避障任务。
[0051]
本发明考虑海洋能捕获解决未知环境下海洋能驱动机器人的节能避障问题，通过搭载的视觉模块获取障碍物信息，通过组合导航模块获取自身的位置、航速、艏向信息，通过流速计、气象站、光辐射等传感器模块获得海流的流速流向、风的流速流向以及光照强度等信息，综合解算出一条安全、可行、节能的路径方案用于海洋能驱动机器人躲避未知障碍物，有效利用海洋信息，提高海洋能驱动机器人的续航力。
[0052]
本实施方式的节能奖励函数r
energy
：
[0053][0054]
式中，k为惩罚系数，α为海流阻力拟合系数，β为海风阻力拟合系数，e(t)为δt时间内的能源消耗量，对其求和可以得到累计能源消耗量v
nsv
表示海洋能驱动机器人的航速矢量，u
cur
(t)为t时刻海流在大地坐标系下x轴方向的速度分量，v
cur
(t)为t时刻海流在大地坐标系下y轴方向的速度分量，u
wind
(t)为t时刻海风在大地坐标系下x轴方向的速度分量，v
wind
(t)为t时刻海风在大地坐标系下y轴方向的速度分量，ψ
nsv
(t)为t时刻海洋能驱动机器人的艏向角，；p1表示控制系统的总功率，p2表示舵机的功率，p4表示风机的发电功率，p5表示光伏电池板的发电功率。
[0055]
本实施方式的避障奖励函数r
obs
：
[0056][0057]dsafe
＝0.002893l2+0.303744l
[0058]
式中，dk(t)＝d
obs
(t)-d
obs
(t-1)，dis_obs为避障距离，当d
obs
(t)＜＝dis_obs时，认为海洋能驱动机器人与障碍物发生碰撞，d
obs
(t)表示t时刻海洋能驱动机器人距离障碍物的最短距离，d
max
为海洋能驱动机器人距离障碍物的最大距离，用来进行归一化处理，d
safe
为海洋能驱动机器人的安全距离，l为海洋能驱动机器人船长。
[0059]
本实施方式的趋近目标奖励函数r
goal
：
[0060][0061]
式中，dis_goal为到达距离，当d(t)＜
＝dis_goal时，认为海洋能驱动机器人到达了目标点，d
max
为最大距离，(x
start
,y
start
)表示航行起始点的横纵坐标，x
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下x轴方向的位置坐标，y
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下y轴方向的位置坐标。
[0062]
本实施方式步骤3中采用a3c算法对海洋能驱动机器人避障网络进行训练。
[0063]
a3c算法的训练过程包括多个线程同步训练的网络和不需要训练的公共网络，多个线程同步训练的网络和公共网络的结构相同，多个并行训练的网络训练得到的参数更新给公共网络，公共网络再将更新的参数共享给其他线程内的训练网络，本实施方式，如图1所示，a3c创建多个并行的环境(环境1、环境2、环境3、环境4),让多个拥有训练网络的海洋能驱动机器人同时在这些并行环境上更新公共网络中的参数。a3c解决ac不收敛问题：并行中的海洋能驱动机器人互不干扰,而公共网络的参数更新受到副结构提交更新的不连续性干扰,所以更新的相关性被降低,收敛性提高。如图4所示，本实施方式的步骤3包括：
[0064]
步骤31、初始化海洋能驱动机器人避障网络的结构和参数，栅格化海洋环境地图，在训练过程中，保持海洋能驱动机器人的起始点和目标点不变，每个训练回合随机生成不同的状态空间对海洋能驱动机器人避障网络进行训练；训练过程中，海洋能驱动机器人的位置更新为：
[0065][0066]
其中，x
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下x轴方向的位置坐标，y
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下y轴方向的位置坐标，ψ
nsv
(t)为t时刻海洋能驱动机器人的艏向角，v
nsv
表示海洋能驱动机器人的航速矢量，a表示ψ
nsv
(t)被离散化后的动作。
[0067]
步骤32：如图3所示，根据海洋能驱动机器人当前的状态，根据趋近目标点奖励函数、避障奖励函数，节能奖励函数执行航行动作，完成状态转移，得到即时奖励和下一时刻状态；
[0068]
步骤33：如果迭代步数达到最大步数或者海洋能驱动机器人处于终止状态，更新公共网络参数并共享给其他线程内的训练网络；否则转入步骤32；
[0069]
步骤34：判断海洋能驱动机器人是否到达终止状态，没有达到终止状态，转入步骤32；否则回合数加一，进行下一回合网络训练，转入步骤31；
[0070]
步骤35：海洋能驱动机器人避障网络训练回合数达到最大回合数，保存海洋能驱动机器人避障网络。
[0071]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.海洋能驱动机器人节能避障方法，其特征在于，所述方法包括：s1、确定海洋能驱动机器人在海洋环境下的状态空间s；s2、确定趋近目标奖励函数、避障奖励函数和节能奖励函数；s3、利用确定的趋近目标奖励函数、避障奖励函数和节能奖励函数对海洋能驱动机器人避障网络进行训练，得到训练完成的海洋能驱动机器人避障网络；海洋能驱动机器人避障网络的输入为海洋能驱动机器人在海洋环境下的状态空间s，输出为最优策略，包括海洋能驱动机器人由初始点到目标点的安全、可行、节能的路径；s4、获取海洋能驱动机器人初始点、目标点和障碍物的位置信息，采用训练好的海洋能驱动机器人避障网络完成海洋能驱动机器人节能避障任务。2.根据权利要求1所述的海洋能驱动机器人节能避障方法，其特征在于，节能奖励函数r
energy
：式中，k为惩罚系数，α为海流阻力拟合系数，β为海风阻力拟合系数，e(t)为δt时间内的能源消耗量，对其求和可以得到累计能源消耗量v
nsv
表示海洋能驱动机器人的航速矢量，u
cur
(t)为t时刻海流在大地坐标系下x轴方向的速度分量，v
cur
(t)为t时刻海流在大地坐标系下y轴方向的速度分量，u
wind
(t)为t时刻海风在大地坐标系下x轴方向的速度分量，v
wind
(t)为t时刻海风在大地坐标系下y轴方向的速度分量，ψ
nsv
(t)为t时刻海洋能驱动机器人的艏向角，p1表示控制系统的总功率，p2表示舵机的功率，p4表示风机的发电功率，p5表示光伏电池板的发电功率。3.根据权利要求1所述的海洋能驱动机器人节能避障方法，其特征在于，避障奖励函数r
obs
：d
safe
＝0.002893l2+0.303744l式中，d
k
(t)＝d
obs
(t)-d
obs
(t-1)，dis_obs为避障距离，d
obs
(t)表示t时刻海洋能驱动机器人距离障碍物的最短距离，d
max
为海洋能驱动机器人距离障碍物的最大距离，用来进行归一化处理，d
safe
为海洋能驱动机器人的安全距离，l为海洋能驱动机器人船长。4.根据权利要求1所述的海洋能驱动机器人节能避障方法，其特征在于，趋近目标奖励函数r
goal
：
式中，dis_goal为到达距离，d
max
为最大距离，(x
start
,y
start
)表示航行起始点在大地坐标系下x轴方向和y轴方向的坐标，x
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下x轴方向的位置坐标，y
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下y轴方向的位置坐标。5.根据权利要求1所述的海洋能驱动机器人节能避障方法，其特征在于，状态空间s为：s＝[x
nsv
,y
nsv
,ψ
nsv
,d
obs
,θ
obs
,u
cur
,v
cur
,u
wind
,v
wind
,s
solar
]式中，ψ
nsv
表示海洋能驱动机器人的艏向角；(x
nsv
,y
nsv
)表示海洋能驱动机器人的位置；d
obs
表示海洋能驱动机器人距离障碍物的最短距离，θ
obs
为海洋能驱动机器人与障碍物之间的相对方位角；u
cur
、v
cur
表示在当前时刻海流在x轴和y轴上投影大小；u
wind
、v
wind
表示在当前时刻海风在x轴和y轴上投影大小；s
solar
表示光照强度。6.根据权利要求1所述的海洋能驱动机器人节能避障方法，其特征在于，s3中采用a3c算法对海洋能驱动机器人避障网络进行训练。7.根据权利要求6所述的海洋能驱动机器人节能避障方法，其特征在于，s3包括：s31、初始化海洋能驱动机器人避障网络的结构和参数，栅格化海洋环境地图，在训练过程中，保持海洋能驱动机器人的起始点和目标点不变，每个训练回合随机生成不同的状态空间对海洋能驱动机器人避障网络进行训练；s32：根据海洋能驱动机器人当前的状态，根据趋近目标点奖励函数、避障奖励函数，节能奖励函数执行航行动作，完成状态转移，得到即时奖励和下一时刻状态；s33：如果迭代步数达到最大步数或者海洋能驱动机器人处于终止状态，更新公共网络参数并共享给其他线程内的训练网络；否则转入s32；s34：判断海洋能驱动机器人是否到达终止状态，没有达到终止状态，转入s32；否则回合数加一，进行下一回合网络训练，转入s31；s35：海洋能驱动机器人避障网络训练回合数达到最大回合数，保存海洋能驱动机器人避障网络。8.根据权利要求6所述的海洋能驱动机器人节能避障方法，其特征在于，训练过程中，海洋能驱动机器人的位置更新为：其中，x
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下x轴方向的位置坐标，y
nsv
(t)表示海洋能驱动机器人t时刻在大地坐标系下y轴方向的位置坐标，ψ
nsv
(t)为t时刻海洋能驱动机器人的艏向角，v
nsv
表示海洋能驱动机器人的航速矢量，a表示ψ
nsv
(t)被离散化后
的动作。9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述海洋能驱动机器人节能避障方法。10.一种海洋能驱动机器人节能避障装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述海洋能驱动机器人节能避障方法。

技术总结
海洋能驱动机器人节能避障方法，解决了如何提高海洋能驱动机器人的续航力的问题，属于海洋机器人技术领域。本发明包括：确定海洋能驱动机器人在海洋环境下的状态空间S、趋近目标奖励函数、避障奖励函数和节能奖励函数；利用确定的奖励函数对海洋能驱动机器人避障网络进行训练，得到训练完成的海洋能驱动机器人避障网络；获取海洋能驱动机器人初始点、目标点和障碍物的位置信息，采用训练好的海洋能驱动机器人避障网络完成海洋能驱动机器人节能避障任务。本发明根据海洋能驱动机器人的能源消耗和海洋能捕获，依据海洋环境因素设计出奖励函数，对海洋能驱动机器人路径规划进行网络训练，规划出安全、可行、节能的避障路径。节能的避障路径。节能的避障路径。


技术研发人员：廖煜雷 李可 赵永波 刘骁锋 李晔 史健 王博 张强
受保护的技术使用者：哈尔滨工程大学
技术研发日：2023.06.09
技术公布日：2023/8/13