一种基于卷积神经网络的速度估计方法和装置

1.本发明实施例涉及室内外导航定位技术领域，尤其涉及一种基于卷积神经网络的速度估计方法和装置。


背景技术：

2.现有手机、平板等移动载体在全球导航卫星系统(global navigation satellite system，gnss)拒止环境下，借助于imu元件实现速度估计时，当前方案一般依赖于传统运动模型进行速度估计，难以适应设备姿态的变化，因此无法利用速度对惯导或行人行位等算法进行有效约束。
3.目前，车辆、机器人等载体需要依赖于轮速计等硬件方法用于速度估计以辅助惯导算法；同时，传统方案的实施依赖于imu和车载坐标系外参的准确估计。
4.此外，传统利用运动模型的速度估计方案，需要事先对传感器噪声水平进行建模，该方法无法估计设备的差异性，并且未考虑车辆载荷、路况等实时因素对速度估计的影响。


技术实现要素：

5.本发明提供一种基于卷积神经网络的速度估计方法和装置，能够从单一惯性测量单元数据中估计载体速度，利用估计的速度构建惯性导航算法误差约束，从而降低误差累积问题，本发明对于不同设备载荷、设备状态、imu差异性条件下，具有更强的速度估计鲁棒性，可作为速度计、轮速计等硬件设备的替代方案。
6.第一方面，本发明实施例提供一种基于卷积神经网络的速度估计方法，包括：
7.s1、对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集；
8.s2、将所述s1中得到的训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；
9.s3、将imu检测到的待估计数据输入所述s2中得到的目标速度估计神经网络，以得到移动载体的速度估计结果。
10.可选的，在所述s3之后，还包括：
11.s4、基于加速度约束对所述s3中的速度估计结果进行平滑，以得到优化后的速度估计结果。
12.可选的，在所述s4之后，还包括：
13.s5：根据所述s4中优化后的速度估计结果，构建观测方程，以约束惯性导航系统的误差累积。
14.所述观测方程具体为：
15.16.其中，δz表示速度观测残差；表示惯性系统推算的速度；nv表示观测噪声；δx表示系统残差；表示imu坐标系相对于车辆坐标系的安装角度计算的方向旋转矩阵；表示导航坐标系和imu坐标系间的方向旋转矩阵；vn表示载体坐标系下的速度；
×
表示反对称矩阵；i表示单位矩阵；表示imu坐标系中心和车辆坐标系中心的杠杆臂矢量；表示在载体坐标系下陀螺仪的观测。
17.可选的，所述s1包括：
18.s11、根据imu的采样频率，将加速度、陀螺仪测量值以及速度参考值按照一定的窗口大小整理为如下格式：
19.(acce,gyro,v)n×620.其中，acce表示加速度数据，gyro表示陀螺仪数据，v表示参考速度；n表示窗口长度，6表示3轴加速度和3轴陀螺仪组成的6维测量值；
21.s12、给s11中得到的窗口内的加速度数据以及陀螺仪数据分别添加不同类型的随机噪声。
22.可选的，所述s3包括：
23.通过最小化损失函数和反向传播对所述待训练的速度估计神经网络模型进行训练，以得到训练后的目标速度估计神经网络。
24.第二方面，本发明实施例还提供一种基于卷积神经网络的速度估计装置，包括：
25.预处理模块，用于对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集；
26.训练模块，用于将所述训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；
27.估计模块，用于将imu检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。
28.可选的，还包括：
29.优化模块，用于基于加速度约束对固定窗口的速度进行平滑，以得到优化后的速度估计结果。
30.可选的，还包括：
31.速度约束模块，用于根据目标速度估计神经网络的速度估计结果，构建观测方程，以约束惯性导航系统的误差累积。
32.可选的，所述预处理模块具体用于：
33.s11、根据imu的采样频率，将加速度、陀螺仪测量值以及速度参考值按照一定的窗口大小整理为如下格式：
34.(acce,gyro,v)n×635.其中，acce表示加速度数据，gyro表示陀螺仪数据，v表示参考速度；n表示窗口长度，6表示3轴加速度和3轴陀螺仪组成的6维测量值；
36.s12、给s11中得到的窗口内的加速度数据以及陀螺仪数据分别添加不同类型的随机噪声。
37.可选的，所述估计模块具体用于：
38.通过最小化损失函数和反向传播对所述待训练的速度估计神经网络模型进行训练，以得到训练后的目标速度估计神经网络。
39.本发明通过对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，得到训练数据集之后，基于待训练数据集对待训练的速度估计神经网络进行训练，以得到训练后的目标速度估计神经网络，将imu检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。本发明实施例通过采用卷积神经网络，提供了一种从单一惯性测量单元数据中估计载体速度的方法，基于深度学习强大的学习能力，该方案相比传统依赖于运动模型的方案，对于不同设备载荷、设备状态、imu差异性条件下，具有更强的速度估计鲁棒性，可作为速度计、轮速计等硬件设备的替代方案。
40.本发明的有益效果：
41.1.针对平板、手机等移动设备执行惯性导航系统(inertial navigation system，ins)或行人航位推算等算法时，缺少速度约束；传统运动模型难以适应多模态下速度估计的问题，本发明提出一种基于卷积神经神经网络的速度估计方法，为ins或行人航位推算等算法提供了适应多模态的速度约束，从而为相关算法提供了额外的观测量。
42.2.针对车辆、机器人等应用平台进行导航定位时依赖于硬件(轮速计或gnss等)估计的速度实现完整性约束的问题，本发明提出一种不依赖额外硬件的卷积神经神经网络的速度估计模型，节省了轮速计成本，且避免了不准确的imu外参估计对约束的影响；该方法的实施能够有效地顾及数据的实时性特征，削弱车辆载荷、路况等实时因素对速度估计的影响，实现一种鲁棒的速度估计方案。
附图说明
43.图1为本发明实施例提供的一种基于卷积神经网络的速度估计方法的流程图；
44.图2为本发明实施例提供的一种速度估计神经网络的结构图；
45.图3为本发明实施例提供的速度估计与参考速度示意图；
46.图4为本发明实施例提供的优化后速度与参考速度示意图。
具体实施方式
47.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
48.实施例
49.图1为本发明实施例提供的一种基于卷积神经网络的速度估计方法的流程图，本实施例可适用于对移动载体速度进行估计的情况。典型的，本实施例中的移动载体可以包括智能手机、平板、汽车、机器人等平台。
50.具体的，该方法包括如下步骤：
51.s1、对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集。
52.具体的，上述s1包括以下步骤：
53.s11：根据imu工作频率，将加速度、陀螺仪测量值以及速度参考值按照一定的窗口
大小整理为如下格式：
54.(acce,gyro,v)n×6(1)
55.其中，acce表示加速度数据，gyro表示陀螺仪数据，v表示参考速度；n表示窗口长度，一般情况下，可以选取1秒的数据构建窗口；6表示3轴加速度和3轴陀螺仪组成的6维测量值。
56.具体的，手机、平板等移动设备参考速度可由移动测量机器人或动捕系统按照指定频率测量或计算得到；车辆或机器人由于相对姿态相对固定的特点，参考速度可由高精度gnss/惯导组合导航系统或测量机器人按照指定频率测量或计算得到。
57.s12：给s11中得到的窗口内的加速度数据以及陀螺仪数据分别添加不同类型的随机噪声。
58.在后续进行模型训练的过程中，速度估计神经网络(虚拟里程计网络)将归一化的加速度和陀螺仪观测量连接到六个通道作为网络的输入。惯性器件由于自身特性，包含丰富的噪声，这些噪声一定程度上降低了虚拟里程计网络最终的回归精度，因此，本实施例在观测数据中加入随机噪声以提升网络在训练阶段检测和识别噪声的能力，提高网络对噪声的适应性。对不同的信道输入，添加不同的方差，即分别给加速度数据和陀螺仪数据添加不同类型的随机噪声。
59.示例性的，本实施例对数据随机添加高斯噪声，具体公式如下：
[0060][0061][0062]
其中，σa和σg表示加速度计和陀螺仪服从的高斯噪声，可以利用allan方差分析或由imu提供商提供的imu参数数据表中查得。
[0063]
s2、将所述s1中得到的训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络。
[0064]
示例性的，参见图2，本实施例中的虚拟里程计网络基于深度残差模型，其主要特征在于包括卷积层、激活函数、恒等跳跃连接(identity shortcut,is)和注意力模块。其中，恒等跳跃连接组成，用于学习该模块输入和输出特征之间的映射。
[0065]
通常情况下，imu观测通常受到各种干扰特征的影响，例如与噪声相关的特征和与路况相关的特征，导致虚拟里程计精度降低。恒等跳跃连接和注意力模块的作用在于引导网络学习与车辆运动强相关的特征，同时消除干扰特征。深度学习常采用relu激活函数，将小于某个阈值区间的特征设置为0，从而删除部分特征/信息。相较于relu激活函数，软阈值可以更加灵活的设置网络关注的数据特征区间。因此本技术进一步引入基于注意力的软阈值模块输出一组基于样本的阈值，用于数据特征的自适应选择，通过引入注意力机制挖掘与载体强相关的运动特征，实现速度估计。
[0066]
具体的，本实施例的模型训练中采用了0.2-0.5的do(dropout，随机丢弃)，以避免训练过拟合，提高网络泛化能力。
[0067]
引入注意力机制，通过一组卷积层学习一组系数，对不同的信道赋予不同的权重:
[0068]
ξi′
＝average(|ξ
i,h,1
|)
ꢀꢀ
(4)
[0069]
ηi＝θ(wi·
ξi′
+bi) (5)
[0070]
式中，θ表示一个分数函数，该函数用于在给定的通道向量时评估每个通道的重要性；h表示窗口大小；ηi表示注意力机制估计的通道权重；ξ表示高维特征向量；w和b表示网络学习的权重和偏置。从而实现一种载体强关联特征的权重增强策略，提升虚拟里程计网络的泛化能力和速度回归精度。
[0071]
然后，根据参考速度和网络输出，设置损失函数通过最小化损失函数和反向传播对模型进行训练。
[0072]
上述损失函数为式(6)或者式(7)：
[0073][0074]
l(v∣g(accen×3,gyron×3))＝[mean(v
i＝1,2,..,n
)-mean(g
i＝1,2,..,n
(accen×3,gyron×3))]2ꢀꢀꢀꢀ
(7)
[0075]
式中gi(
·
)表示神经网络回归函数，gi(
·
)的结果为网络估计的速度，vi表示第i个样本的参考速度。
[0076]
图2给出了6种用于移动载体速度估计的网络结构，包括sdonet-1、sdonet-2、sdonet-3、sdonet-4、sdonet-5和sdonet-6。示例性的，一般对于平板、手机等活动相对剧烈的场景一般建议使用sdonet4、sdonet5、sdonet6深度较大的网络结构，对于车载、机器人等相对imu与载体相对关系相对确定、运动模式简单的场景建议使用sdonet1、sdonet2、sdonet3深度较小的网络结构。
[0077]
此处所描述的网络结构，仅仅用于解释本发明，而非对本发明的限定，窗口数据的长度、网络结构可以根据实际应用调整。以6@100为例，该符号的表示通道数为6，序列长度为100；cl@39表示卷积层，卷积核大小为39；mp@2表示最大值池化层，池化尺寸(pooling size)为2；fc@n表示长度为n的全连接层；do@0.5表示随机失活50％的神经网络节点。网络输入为6@100，各个卷积神经网络的结构如下表：
[0078][0079]
[0080]
s3、将imu检测到的待估计数据输入所述s2中得到的目标速度估计神经网络，以得到移动载体的速度估计结果。
[0081]
本发明实施例通过将imu数据输入已训练的模型，无需轮速计等额外硬件，即可实现一种无硬件的虚拟里程计估计和完整性约束。
[0082]
s4、基于加速度约束对所述s3中得到的速度估计结果构建窗口内速度估计约束，对估计速度进行平滑，以得到优化后的速度估计结果。
[0083]
如图3所示，灰色曲线表示直接由目标速度估计神经网络输出的估计速度，黑色曲线为参考速度，可以看出估计的速度在参考速度上下波动，因此本实施例在估计速度时，通过设置较大的窗口重叠度，从而提高单位时间的速度输出频率，然后选择一定大小的窗口n，如0.5秒的窗口数据，构建加速度残差以约束速度(此处假设，在极短的时间内载体的加速度为0)，式8为加速度残差，式9为构建的优化问题，求解这一优化问题，从而得到一种平滑的速度估计：
[0084][0085][0086]
式中，δ表示速度残差，也可称为损失函数；λ表示速度平滑系数；δt表示两次观测的时间间隔。
[0087]
levenberg-marquardt(lm)算法是一种介于牛顿法和梯度法之间的非线性优化方法，该方法对过度参数化不敏感，显著降低了损失函数被捕获的可能性变成局部最小值。因此，利用lm算法求解这一问题，损失函数的二阶泰勒函数如下：
[0088][0089]
式中，χ表示待优化变量，j和μ分别表示jacobi矩阵和阻尼项；χ0表示在该处进行泰勒展开；δ
χ
表示残差。第k步迭代可表示为：
[0090][0091]
信任域算法可以控制χ的状态，在观测值附近寻找最优估计，避免出现偏差较大的最优中间值。因此，对优化值的控制信任域半径设置上下界：
[0092][0093]
式中，和vi分别表示优化后和优化前的速度；ξv表示速度优化阈值。此外，速度数据包含许多异常值，这些异常值可能是由硬件特性、动态环境等引起的。这些异常值可能导致算法陷入局部最优，甚至难以收敛。使用“cauchloss”残差块对这些异常值进行处理，提高模型的鲁棒性，其表达式为：
[0094][0095]
式中，b为可调参数；a＝||fi||2；通过对所有残差的损失函数，减少了异常项的权重。然后，大的离群值被降权，并且不会通过对所有残差执行损失函数来过度影响优化问题。
[0096]
优化后的结果如图4所示，可以看出优化后的速度更加接近参考速度，并且极大的减少了速度的波动。
[0097]
step 5：利用s4中优化后的速度估计结果，可以构建如下观测方程，从而约束惯性导航系统的误差累积。
[0098][0099]
式中，δz表示速度观测残差；表示惯性系统推算的速度；nv表示观测噪声；δx表示系统残差；表示imu坐标系相对于车辆坐标系的安装角度计算的方向旋转矩阵；表示导航坐标系和imu坐标系间的方向旋转矩阵；vn表示载体坐标系下的速度；
×
表示反对称矩阵；i表示单位矩阵；表示imu坐标系中心和车辆坐标系中心的杠杆臂矢量；表示在载体坐标系下陀螺仪的观测。通过应用估计的前向速度构建约束模型，能够降低惯性导航误差累积。
[0100]
本实施例还提供一种基于卷积神经网络的速度估计装置，包括：
[0101]
预处理模块，用于对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集；
[0102]
训练模块，用于将所述训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；
[0103]
估计模块，用于将imu检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。
[0104]
可选的，该装置还包括：优化模块，用于基于加速度约束对固定窗口的速度进行平滑，以得到优化后的速度估计结果。
[0105]
速度约束模块，用于根据目标速度估计神经网络的速度估计结果，构建观测方程，以约束惯性导航系统的误差累积。
[0106]
所述观测方程具体为：
[0107][0108]
其中，δz表示速度观测残差；表示惯性系统推算的速度；nv表示观测噪声；δx表示系统残差；表示imu坐标系相对于车辆坐标系的安装角度计算的方向旋转矩阵；表示导航坐标系和imu坐标系间的方向旋转矩阵；vn表示载体坐标系下的速度；
×
表示反对称矩阵；i表示单位矩阵；表示imu坐标系中心和车辆坐标系中心的杠杆臂矢量；表示在载体坐标系下陀螺仪的观测。
[0109]
具体的，所述速度估计神经网络包括卷积层、激活函数、和注意力模块。其中，所述预处理模块具体用于：
[0110]
s11、根据imu的采样频率，将加速度、陀螺仪测量值以及速度参考值按照一定的窗口大小整理为如下格式：
[0111]
(acce,gyro,v)n×6[0112]
其中，acce表示加速度数据，gyro表示陀螺仪数据，v表示参考速度；n表示窗口长度，6表示3轴加速度和3轴陀螺仪组成的6维测量值；
[0113]
s12、给s11中得到的窗口内的加速度数据以及陀螺仪数据分别添加不同类型的随机噪声。
[0114]
所述估计模块具体用于：
[0115]
通过最小化损失函数和反向传播对所述待训练的速度估计神经网络模型进行训练，以得到训练后的目标速度估计神经网络。
[0116]
本发明实施例所提供的一种基于卷积神经网络的速度估计装置可执行本发明任意实施例所提供的一种基于卷积神经网络的速度估计方法，具备执行方法相应的功能模块和有益效果，不再进行赘述。
[0117]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代方案而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种基于卷积神经网络的速度估计方法，其特征在于，包括：s1、对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集；s2、将所述训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；s3、将imu检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。2.根据权利要求1所述的方法，其特征在于，在所述s3之后，还包括：s4、基于加速度约束对所述速度估计结果进行平滑，以得到优化后的速度估计结果。3.根据权利要求2所述的方法，其特征在于，在所述s4之后，还包括：s5：根据优化后的速度估计结果，构建观测方程，以约束惯性导航系统的误差累积。4.根据权利要求1所述的方法，其特征在于，所述速度估计神经网络包括卷积层、激活函数、和注意力模块。5.根据权利要求1所述的方法，其特征在于，所述s1包括：s11、根据imu的采样频率，将加速度、陀螺仪测量值以及速度参考值按照一定的窗口大小整理为如下格式：(acce,gyro,v)
n
×6其中，acce表示加速度数据，gyro表示陀螺仪数据，v表示参考速度；n表示窗口长度，6表示3轴加速度和3轴陀螺仪组成的6维测量值；s12、给窗口内的加速度数据以及陀螺仪数据分别添加不同类型的随机噪声。6.根据权利要求1所述的方法，其特征在于，所述s3包括：通过最小化损失函数和反向传播对所述待训练的速度估计神经网络模型进行训练，以得到训练后的目标速度估计神经网络。7.一种基于卷积神经网络的速度估计装置，其特征在于，包括：预处理模块，用于对设置在移动载体上的惯性测量单元imu采集的数据进行预处理，以得到训练数据集；训练模块，用于将所述训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；估计模块，用于将imu检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。8.根据权利要求7所述的装置，其特征在于，还包括：优化模块，用于基于加速度对所述速度估计结果进行平滑，以得到优化后的速度估计结果。9.根据权利要求7所述的装置，其特征在于，还包括：速度约束模块，用于根据优化后的速度估计结果，构建观测方程，以约束惯性导航系统的误差累积。

技术总结
本发明公开了一种基于卷积神经网络的速度估计方法和装置。其中，该方法包括：对设置在移动载体上的惯性测量单元IMU采集的数据进行预处理；将所述训练数据集输入待训练的速度估计神经网络，以得到训练后的目标速度估计神经网络；将IMU检测到的待估计数据输入所述目标速度估计神经网络，以得到移动载体的速度估计结果。本发明实施例通过采用卷积神经网络，提供了一种从单一惯性测量单元数据中估计载体速度的方法，利用估计的速度构建惯性导航算法误差约束，从而降低误差累积问题；基于深度学习强大的学习能力，该方案在不同设备载荷、设备状态、IMU差异性条件下，具有更强的速度估计鲁棒性，可作为速度计、轮速计等硬件设备的替代方案。代方案。代方案。


技术研发人员：马天兵 庄园 王轩
受保护的技术使用者：武汉大学深圳研究院
技术研发日：2023.04.27
技术公布日：2023/8/9