一种基于深度学习及超声微阵列的机械臂标定方法

1.本发明属于波达方向估计领域，尤其一种基于深度学习及超声微阵列的机械臂标定方法。


背景技术：

2.目前，在航天航空器件的装配，精密器械的工业化生产中，虽然可以实现自动化的生产与装配，但是对于生产器件，例如机械臂、机器人，由于机械臂本身具有较大的重量，机械臂中零件与零件的相互摩擦，环境的温度变化，都会导致机械臂产生一定的损耗，使得在生产加工装配的过程中产生不可避免的误差，生产加工出来的成品质量也随之下降。
3.机器人精度主要包括重复定位精度及绝对定位精度，它是评价机器人综合性能的重要指标之一。目前国内外研制的工业机器人重复定位精度较高，可以达到0.01mm，但是由于机器人受机械加工误差、装配误差、零部件磨损、末端负载变化以及温度影响的共同作用，绝对定位精度较低。这给测量机器人的应用、机械臂卫星高精度装配及飞机集成装配产生了不利的影响。尤其是机械臂在狭小空间中由于运动不精确，使得末端装配零件与周围高精密零件发生碰撞，导致高精密零件损坏，造成不必要的损失。随着工业机器人的不断应用与发展，对运动精度也提出了越来越高的要求。
4.现如今，国内外都研究出了一系列数学模型对机械臂的调试进行优化，例如svd分解，投影约束的方式，虽然能够提高一定的精度，但仍然不能消除人工测量的误差。还有基于双目视觉以及摄像机的方式对机械臂进行标定，但是设备的成本过高，不适合普及。
5.因此，深入研究机械臂绝对定位精度对于工业机器人的发展具有十分重要的意义。


技术实现要素：

6.针对现有技术不足，本发明提供了一种基于深度学习及超声微阵列的机械臂标定方法。
7.根据本发明实施例的第一方面，提供了一种基于深度学习及超声微阵列的机械臂标定方法，所述方法包括以下步骤：
8.步骤s1，设定方波信号，通过音频功放模块发射方波信号，并通过麦克风阵列接收；
9.步骤s2，对麦克风阵列接收的超声信号进行ad采样，得到数字信号；
10.步骤s3，构建机械臂方位角与俯仰角获取模型，将数字信号输入至机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角；
11.步骤s4，基于步骤s3得到的声源的方位角与俯仰角，对麦克风阵列建立坐标系获取得到声源在三维空间中的位置，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。
12.根据本发明实施例的第二方面，提供了一种电子设备，包括存储器和处理器，所述
存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于深度学习及超声微阵列的机械臂标定方法。
13.根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于深度学习及超声微阵列的机械臂标定方法。
14.与现有技术相比，本发明的有益效果为：本发明提供了一种基于深度学习及超声微阵列的机械臂标定方法，只需要在机械臂上安装的发射器，就可以通过麦克风阵列进行声源的采集与定位，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。本发明方法便携，降低成本，且提高了标定精度。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的基于深度学习及超声微阵列的机械臂标定方法的流程图；
17.图2为本发明实施例提供的机械臂标定装置的示意图；
18.图3为本发明实施例提供的机械臂方位角与俯仰角获取模型的结构图；
19.图4为本发明实施例提供的一种电子设备的示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
22.如图1和图2所示，本发明实施例提供了一种基于深度学习及超声微阵列的机械臂标定方法，所述方法包括：
23.步骤s1，设定方波信号，通过音频功放模块发射方波信号，并通过麦克风阵列接收。
24.具体地，由信号发生器产生频率为40khz，幅度为3v，占空比为50％的正弦信号，经由sw-m221场效应管模块连接至lm386音频功放模块。在本实例中，sw-m221场效应管模块与lm386分别和树莓派连接，树莓派提供pwm信号，并且占空比可调，高电平的时候sw-m221场效应管打开，低电平时关闭，实现lm386音频功放模块的正弦信号能够在一定周期内的开启与关闭，达到方波的效果。在本实例中，按照0.1s为一帧数据，因此方波的频率为10hz，树莓派产生的pwm信号也为10hz，且占空比为50％。
25.需要说明的是，采用方波的形式是为了使得混响更加明显，由于混响的表现形式
为主路径信号在时间上的偏移与幅度上的衰减，因此在lm386音频功放模块发射信号被屏蔽的时候，此时麦克风接受到的信号必定为混响以及噪声，该数据对于神经网络能够较好的学习到数据的特征，便于神经网络的拟合。
26.lm386芯片发射出生成的方波信号，并由麦克阵列接收，所述麦克风阵列为两个4元十字超声阵列，总共8个麦克风，十字超声阵列的半径为2mm，如图2所示，麦克阵列接收的超声波信号在当前场景下视为远场信号。
27.步骤s2，对麦克风阵列接收的超声信号进行ad采样，得到数字信号。
28.具体地，在本实例中，通过树莓派驱动ad7606芯片，所述ad7606芯片的八个通道分别与麦克风阵列连接，即对八个麦克风收到的超声信号进行ad采样，并做到八通道并行模数转换。将转化后的数字信号记录并保存在树莓派中，便于后面深度学习的读取。
29.步骤s3，构建机械臂方位角与俯仰角获取模型，将数字信号输入至机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角。
30.需要说明的是，深度学习的方式对数字信号所携带的噪声以及混响有极佳的鲁棒性，理论上在数据集足够大的情况下，深度学习的方式可以在混响和噪声环境下对实现高精度的定位，但是实际上收到gpu资源和时间的限制，这里无法采用这样的方式。但仍然可以利用深度学习对噪声和混响的高度鲁棒性，即训练一种机械臂方位角与俯仰角获取模型，能够对携带噪声和混响的数据进行主路径提取，再利用music算法，对提取出来的信号做doa估计，实现0.1
°
精度的定位。由于一方面树莓派计算资源有限，另一方面要求设备达到一定的实时性，于是在本实例中采用英特尔神经计算棒帮助模型的推理。
31.具体地，所述步骤s3具体包括以下子步骤：
32.步骤s301，生成包括主路径信号、混响与噪声的模拟数据。
33.模拟数据以0.1s为一帧数据，一个4元十字超声阵列包含了4个麦克风，采样频率为3khz，因此一组数据的大小为4*300。一帧数据由主路径信号、混响、高斯噪声组成。
34.主路径信号s1为正弦信号与方波的组合，信号公式如下：
35.s1＝u(sin(ω2t+φ2))*sin(ω1t+φ1)
36.式中，u为阶跃函数，结合正弦函数后用于生成方波，φ1为声源信号的相位，φ2为方波信号的相位，ω1声源信号的频率，ω2为方波信号的频率，t为时间。
37.混响的信号表现的形式为空间中与麦克风距离远大于声源与麦克风距离的虚拟声源。混响来源于主路径信号在空间的反射，因此虚拟声源信号本质上是主路径信号在幅度上做了衰减，时间上做了延时，但其初相位与主路径信号保持一致，混响的公式如下：
38.s2＝u(sin(ω2(t-δt)+φ2))*a*sin(ω1(t-δt)+φ1)
39.其中，a为信号衰减后的幅度，δt为混响相对于主路径信号的时间偏移。在声音的球面传播中，信号能量与距离的平方成反比，然后这个是信号能量与幅度的平方成正比，因此最后信号幅度与距离成反比。这里假定，混响与主路径的时间差不能大于0.05s，由于0.05*340＝17m，即主路径信号经过0.05s后传播了17m的距离，幅度就会衰减到原先的1/17，可以忽略不计。
40.在整个信号的生成的过程中，需要按照一定的信噪比对信号加入高斯噪声，假令高斯噪声为n，那么最终模拟数据的函数为：
41.signal＝s1+s2+n
42.一帧数据中的虚拟声源数量随机指定，且虚拟声源的位置不同。每一帧之间的信号的信噪比都以随机数的形式产生。对每一种方位角与俯仰角的组合都生成一定数量的数据。
43.步骤s302，构建机械臂方位角与俯仰角获取模型，将模拟数据输入至机械臂方位角与俯仰角获取模型中进行训练。
44.如图3所示，在本实例中，所述机械臂方位角与俯仰角获取模型采用自编码结构，并借鉴u-net与resnet网络进行构建。
45.将步骤s301生成的模拟数据输入至机械臂方位角与俯仰角获取模型中，其中，模拟数据按照3帧数据为一组输入，一帧数据为4*300的矩阵，将三组方位角与俯仰角的相同但是初相位、混响不同的模拟数据作为机械臂方位角与俯仰角获取模型的输入，这样的形式一方面能够采用2d卷积的形式进行训练，另一方面三组数据的准确度往往比一组数据的准确度高，因此，最终机械臂方位角与俯仰角获取模型输入数据的格式为3*4*300。每组数据的标签即机械臂方位角与俯仰角获取模型的输出为每组数据下的主路径信号。
46.步骤s303，将数字信号输入至训练好的机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角。
47.步骤s4，基于步骤s3得到的声源的方位角与俯仰角，对麦克风阵列建立坐标系获取得到声源在三维空间中的位置，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。
48.具体地，对麦克风阵列建立坐标系获取得到声源在三维空间中的位置包括：根据空间中相对坐标的关系，对两组四元十字超声接收阵列分别建立坐标系，分别记为坐标系a、坐标系b，每组坐标系的原点为四个麦克风的中心点，每个麦克风距离麦克风中心的距离为2mm，两个原点之间的距离为2cm，另两个原点之间连线设为x轴，两个坐标系原点的中点设为最终坐标系的原点，于是就可以把问题转化为求空间中这个点在最终坐标系中的位置。
49.设声源在坐标系a中的方位角为θ1，俯仰角为在坐标系b中的方位角为θ2，俯仰角为声源在最终的坐标系中的坐标为(x,y,z)，则有以下的计算公式：
[0050][0051]
式中，r为声源距离麦克风阵列中心点的距离。
[0052]
由以上公式得到声源的三维空间位置，对机械臂的目标姿态进行预设，根据预设的机械臂目标位置与声源的空间坐标之差利用ros系统调整机械臂至目标位置。
[0053]
综上所述，本发明提供了一种基于深度学习及超声微阵列的机械臂标定方法，只需要在机械臂上装上的发射器，就可以通过超声波阵列进行声源的采集与定位，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。本发明方法便携，降低成本，且提高了标定精度。
[0054]
相应的，本技术还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储
一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于深度学习及超声微阵列的机械臂标定方法。如图4所示，为本发明实施例提供的基于深度学习及超声微阵列的机械臂标定方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0055]
相应的，本技术还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于深度学习及超声微阵列的机械臂标定方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0056]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于深度学习及超声微阵列的机械臂标定方法，其特征在于，所述方法包括以下步骤：步骤s1，设定方波信号，通过音频功放模块发射方波信号，并通过麦克风阵列接收；步骤s2，对麦克风阵列接收的超声信号进行ad采样，得到数字信号；步骤s3，构建机械臂方位角与俯仰角获取模型，将数字信号输入至机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角；步骤s4，基于步骤s3得到的声源的方位角与俯仰角，对麦克风阵列建立坐标系获取得到声源在三维空间中的位置，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。2.根据权利要求1所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，设定方波信号包括：由信号发生器产生频率为40khz，幅度为3v，占空比为50％的正弦信号，经由场效应管的一端连接至音频功放模块；场效应管的另一端与控制器连接；控制器用于提供占空比可调的pwm信号，使得高电平时场效应管打开，低电平时场效应管关闭；实现音频功放模块的正弦信号能够在周期内的开启与关闭，得到方波信号。3.根据权利要求1所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，所述麦克风阵列为两个4元十字超声阵列，总共8个麦克风。4.根据权利要求3所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，十字超声阵列的半径为2mm。5.根据权利要求1所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，所述步骤s3具体包括以下子步骤：步骤s301，生成包括主路径信号、混响与噪声的模拟数据；步骤s302，构建机械臂方位角与俯仰角获取模型，将模拟数据输入至机械臂方位角与俯仰角获取模型中进行训练；步骤s303，将数字信号输入至训练好的机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角。6.根据权利要求5所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，生成包括主路径信号、混响与噪声的模拟数据包括：主路径信号s1的表达式为：s1＝u(sin(ω2t+φ2))*sin(ω1t+φ1)式中，u为阶跃函数，用于产生方波信号包络，φ1为声源信号的相位，φ2为方波信号的相位，ω1为声源信号的频率，ω2为方波信号的频率，t为时间；混响信号s2的表达式为：s2＝u(sin(ω2(t-δt)+φ2))*a*sin(ω1(t-δt)+φ1)式中，a为信号衰减后的幅度，δt为混响信号相对于主路径信号的时间偏移；模拟数据的表达式为：signal＝s1+s2+n式中，n为高斯噪声。7.根据权利要求5所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，
所述步骤s302包括：机械臂方位角与俯仰角获取模型采用自编码结构，且包括u-net与resnet网络；采用2d卷积的形式对机械臂方位角与俯仰角获取模型进行训练。8.根据权利要求3所述的基于深度学习及超声微阵列的机械臂标定方法，其特征在于，所述步骤s4包括：根据空间中相对坐标的关系，对两组四元十字超声接收阵列分别建立坐标系，分别记为坐标系a、坐标系b，每组坐标系的原点为四个麦克风的中心点，另两个原点之间连线设为x轴，两个坐标系原点的中点设为最终坐标系的原点；设声源在坐标系a中的方位角为θ1，俯仰角为在坐标系b中的方位角为θ2，俯仰角为声源在最终的坐标系中的坐标为(x，y，z)，则声源在三维空间中的位置的表达式如下：9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-8任一项所述的基于深度学习及超声微阵列的机械臂标定方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的基于深度学习及超声微阵列的机械臂标定方法。

技术总结
本发明公开了一种基于深度学习及超声微阵列的机械臂标定方法，所述方法包括：步骤S1，设定方波信号，通过音频功放模块发射方波信号，并通过麦克风阵列接收；步骤S2，对麦克风阵列接收的超声信号进行AD采样，得到数字信号；步骤S3，构建机械臂方位角与俯仰角获取模型，将数字信号输入至机械臂方位角与俯仰角获取模型中，得到声源的方位角与俯仰角；步骤S4，基于步骤S3得到的声源的方位角与俯仰角，对麦克风阵列建立坐标系获取得到声源在三维空间中的位置，根据机械臂目标位置与声源的空间坐标之差调整机械臂至目标位置。之差调整机械臂至目标位置。之差调整机械臂至目标位置。


技术研发人员：陈翰墨 周乾伟 梁官宝 杨正一
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.24
技术公布日：2023/10/15