基于数字孪生技术的工业机器人机械臂实时避障方法

1.本发明涉及机械臂实时避障技术领域，具体来说是一种基于数字孪生技术的工业机器人机械臂实时避障方法。


背景技术：

2.近年来，机械臂技术快速发展，被广泛应用于医疗、制造、航天等各个领域。而机械臂被应用的各种多变工作环境中，障碍物位置和大小各有不同。要想实现机械臂在复杂环境中的自动控制，机械臂避障轨迹规划的研究必不可少。基于避障的路径规划要解决的首要问题是对环境模型进行合理描述，传统的环境模型表达方法有栅格表示法、空间图解法和最小多边形包围盒法。上述方法存在占用内存大、求解速度慢和求解效率低等缺点。
3.在路径规划中，国内外学者普遍采用神经网络对避障环境模型进行描述。神经网络是一种具有监督性的深度学习方法，能够不完全依赖经验值自主捕捉数据的性能与特征，从而赋予机器人以人的思维去做决策和智能化。
4.但在实际运行中，所获取的机器人机械臂的运行数据为小样本数据，常规神经网络模型难以进行有效拟合，极大降低了机器人机械臂避障的精准。通过g-tra算法进行数据处理可以增加数据的多样性和数量，从而提高机器人避障模型的泛化能力，能够更有效地解决如上诸类问题。引入数字孪生技术将机器人机械臂运行工况与避障情况进行实时表达，将更有利于实时反映机器人机械臂在工业环境下的状态特征，避免机器人执行工作任务造成的不必要财产损失与人员伤害。
5.因此，如何在小样本数据的基础上更好地利用数字孪生技术实现机器人机械臂的实时避障已经成为急需解决的技术问题。


技术实现要素：

6.本发明的目的是为了解决现有技术中难以针对小样本机械臂运行数据进行避障处理的缺陷，提供一种基于数字孪生技术的工业机器人机械臂实时避障方法来解决上述问题。
7.为了实现上述目的，本发明的技术方案如下：
8.基于数字孪生技术的工业机器人机械臂实时避障方法，所述的工业机器人机械臂包括往复运动关节组件，往复运动关节组件的关联部位安装有用于获取位置信息三维数值的传感器；工业机器人机械臂实时避障方法包括以下步骤：
9.工业机器人机械臂安全状态的监测：以障碍物为中心建立坐标系，设定一个安全距离s
p
，当机械臂接近安全距离时开始采集数据，进行机械臂安全状态的监测；
10.机械臂避障路径的计算：设定g-tra算法进行机械臂避障路径的计算，g-tra算法由gan算法和vit算法进行组合优化，其中，gan算法利用深度学习的优势生成增强样本，对小样本数据进行增强，vit算法利用深度学习在cv领域的优势对图像样本进行检测与分割，实现机器人机械臂对障碍物距离的图像检测与处理，对样本训练输出安全距离，最终获得
机械臂避障路径；
11.工业机器人机械臂的避障及数字孪生的实时交互：将得到的避障路径轨迹数据输入数字孪生平台，对工业机器人机械臂进行避障处理，同时虚拟平台的数字孪生模型同步更新，对机械臂避障状态在虚拟平台进行呈现。
12.所述工业机器人机械臂安全状态的监测包括以下步骤：
13.以障碍物为中心建立坐标系，设定一个安全距离s
p
；
14.当往复运动关节组件到达设定的安全距离s
p
时，开始近距离检测，
15.获取传感器测量n个原始值并给出对应类别标签，传感器读数以每秒n个样本的速率采样，其中包含n个传感器读数，这些距离数据则是所测方向读数最小的距离；
16.采用新的伪距离代替欧氏距离，利用超二次函数求解障碍物到机器人机械臂距离的问题，建立障碍物之间的距离模型；
17.用解析函数来表示多形状障碍物，建立以障碍物几何中心为原点的坐标系，用统一的超二次曲面解析方程描述障碍物：
[0018][0019]
其中，s(sa，qc)表示伪距离函数表达式，sa＝(h1，h2，h3，m，n，p)，其中参数h1，h2，h3和m，n，p分别为障碍物超曲面拟合的形状参数和体积参数；
[0020]
采用理想几何球体来描述不规则形状的障碍物，超二次曲面从空间点到障碍物的伪距离表达式：
[0021][0022]
其中，sp(
·
)为障碍物在坐标空间中的伪距离，rs为安全球半径，rs＝robs+ri，robs为障碍物指定半径，ri为拟合杆筒体的最大半径，x与x0等则为空间点与障碍物坐标；
[0023]
若s
p
(x，y，z)＝0，即机械臂连杆刚好接触障碍物包围球表面发生碰撞问题，处于碰撞与不碰撞之间的临界状态，机械臂处于不安全状态；开始用机器学习算法进行距离检测，确定其转向或者直行；
[0024]
若s
p
(x，y，z)＜0，则机械臂与障碍物发生碰撞，机械臂处于不安全状态；
[0025]
若s
p
(x，y，z)＞0，则不存在碰撞。
[0026]
所述机械臂避障路径的计算包括以下步骤：
[0027]
设定g-tra算法的第一部分为基于gan算法改进的gan-tra1模块、g-tra算法的第二部分为基于vit算法的g-tra2模块；
[0028]
设定gan-tra1模块：
[0029]
利用gan算法对传感器所获取的数据进行增强处理，构建数据集，其中算法模型增强样本η、原样本δ构成扩充增强样本γ，其表达式为
[0030]
γ＝aη+bδ，
[0031]
其中，a、b为权重；
[0032]
将扩充增强样本γ和原样本δ同时放入gan-tra1算法中的判别网络进判别数据真假，基于各部分损失函数利用误差进行反向传播优化参数不断进行对抗训练，其中对于数据进行增强样本gan-tra1中的生成网络的损失函数如下：
[0033]
lg＝h(1，d(g(z)))
[0034]
其中lg代表生成模型损失函数，g(z)代表增强样本，d(g(z))代表生成数据的概率，z是输入随机数据，h代表交叉熵损失函数，其公式为：
[0035]
h(p，q)＝-∑xp(x)log q(x)
[0036]
其中p为正确答案，q为预测答案，x为样本数据；
[0037]
设定gan-tra1模块中的判别网络的损失函数如下：
[0038]
ld＝h(1，d(x))+h(0，d(g(z)))
[0039]
其中ld代表判别模型损失函数，d(g(z))代表生成数据概率，d(x)代表传感器数据的概率，z是输入随机数据，x为传感器数据样本，h代表交叉熵损失函数，其公式为：
[0040]
h(p，q)＝-∑xp(x)log q(x)
[0041]
其中p为正确答案，q为预测答案，x为样本数据；
[0042]
生成模型部分与判别模型部分进行对抗训练，最后产生大量与原本数据一样数据，与原先数据构成一个完整的数据集；
[0043]
设定图像分类模型g-tra2模块：
[0044]
gan-tra2模块将gan-tra1模块处理好的数据中图像切分成n个大小相等的小图像patch，每个patch有d个元素，然后将这些patch向量组合成一个形状为(n，d)的序列x；
[0045]
使用一个全连接层对每个位置的patch向量进行线性变换以得到q、k和v向量，然后将这些向量作为输入传递给编码器；其表达式如下：
[0046]
q、k和v通过分别将x与三个权重矩阵wq、wk和wv相乘得到：
[0047]
q＝xwq
[0048]
k＝xwk
[0049]
v＝xwv
[0050]
其中，wq、wk和wv为权重，x为图片向量化序列，
[0051]
q为query：用于查询当前位置与其他位置之间的关系，
[0052]
k为key：用于表示所有位置的信息，以帮助回答查询，
[0053]
v为value：对于每个查询，值向量包含对所有位置的加权贡献，这些权重通过查询与密钥之间的相似性计算得出；
[0054]
对其结果进行缩放，然后通过softmax函数将其转换为权重矩阵，最后将这个矩阵与v相乘得到最终的输出z；其公式如下：
[0055]
attention(q，k，v)＝softmax(qk^t/sqrt(d_k))v
[0056]
z＝ln(x+attention(q，k，v))
[0057]
其中，ln表示归一化，q用于查询当前位置与其他位置之间的关系，k用于表示所有位置的信息，以帮助回答查询，v对于每个查询，值向量包含对所有位置的加权贡献，这些权重是通过查询与密钥之间的相似性计算得出，t代表了矩阵k的转置，attention(q，k，v)表示通过注意力机制计算得到的加权值向量，z表示通过残差连接和层归一化得到的向量，sqrt指代的是在计算点积注意力时使用的缩放因子，x指输入的某个向量或矩阵；
[0058]
设定图像分类模型g-tra2模块的输入为机器人机械臂当前位置状态数据，输出为通过全连接层和非线性激活函数产生的机械臂与障碍物之间距离的分类预测；
[0059]
根据实际的应用场景与机器人机械臂的运动性能设定阙值m，设定机器人机械臂
与障碍物的距离为ld；当ld＞m时机器人机械臂正常运动；当ld＜m时则开始结合奖惩机制开始转向进行避障；
[0060]
在训练好的模型基础上采用奖惩机制，其表达式为：
[0061]
r[s，a]＝(1-α)*r[s，a]+α*t
[0062]
其中r[s，a]是机器人在某距离状态下的动作矩阵，t为奖励常数，α是学习率；奖惩机制依靠r[s，a]值不断更新来实现避障策略；
[0063]
其定义机器人机械臂的可执行动作，包括前进、后退、左转或者右转；将每个状态和对应的动作初始化为一个初始值，通常为0，根据当前状态和q值表选择一个动作，执行所选的动作，得到下一个状态和相应的奖励值；
[0064]
通过调整学习率等超参数来影响q值的更新速度和学习效果，重复以上步骤，直到收敛或达到预设的迭代次数，获得机器人机械臂避障路径。
[0065]
所述工业机器人机械臂的避障及数字孪生的实时交互包括以下步骤：
[0066]
监测机器人机械臂运行状态，
[0067]
若s
p
(x，y，z)＝0，即机械臂连杆刚好接触障碍物包围球表面发生碰撞问题，采用g-tra算法首先对于数据预处理，用避障数据集去增强传感器获得机器人机械臂运行的数据集构成完整的数据集，用g-tra算法训练机器人机械臂避障数据集做分类，定义奖惩函数，用于评估模型在执行任务时的表现，并根据表现给予相应的奖励或惩罚；在训练过程中计算奖惩值，并根据奖惩值更新模型参数，得到机器人避障路径；
[0068]
实时交互与避障可视化呈现：使用虚拟引擎将虚拟模型与现场机器人进行实时状态同步，开展数据同步与通讯同步控制，服务器提供对外接口，客户端则通过api与服务器通信进行数据读取，当服务器接收到逻辑层的请求时，在数据库里进行查找，再反馈给服务端进行模型避障仿真，最终将避障结果进行可视化同步展示。
[0069]
有益效果
[0070]
本发明是基于数字孪生技术的工业机器人机械臂实时避障方法，利用了g-tra算法中的g-tra1对于小样本数据增强，将增强之后的数据放入g-tra2中，对于机器人机械臂与障碍物的安全距离进行避障判断与二次优化判别，通过深度学习算法的阙值自识别实现准确避障；在此基础上引入了数字孪生技术，将机器人机械臂运行过程与避障情况进行实时展示，避免了工业机器人在使用中带来的人员伤亡和造成的财产损失。
[0071]
本发明在处理机器人避障问题时，与传统技术相比采用神经网络算法建立避障模型具有更好的实施效果，如采用视觉传感器获取目标定位数据和图像场景数据输入到神经网络模型通过调节系数强化避障功能；如采用强化学习算法，优化中值函数并将信息输入到神经网络实施避障优化等。但是，以上神经网络算法的实施方法在机器人避障过程的处理中，当碰见特殊场景时，容易出现判断模糊化、无法正确识别环境、无法精准做出选择等问题，且实际运行中所获取的机器人机械臂运行数据是小样本数据。
[0072]
本发明为提升模型对实施场景在模糊区域的精准避障能力，创新使用g-tra算法，在g-tra1部分进行数据处理，增加数据的多样性和样本数量，从而提高机器人避障模型的泛化能力，有效解决以上所提到的问题。
附图说明
[0073]
图1为本发明的方法顺序图；
[0074]
图2为工业机器人机械臂实时避障处理流程图。
具体实施方式
[0075]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0076]
如图1所示，本发明所述的一种基于数字孪生技术的工业机器人机械臂实时避障方法，所述的工业机器人机械臂包括往复运动关节组件，往复运动关节组件的关联部位安装有用于获取位置信息三维数值的传感器。
[0077]
工业机器人机械臂实时避障方法包括以下步骤：
[0078]
第一步，工业机器人机械臂安全状态的监测：以障碍物为中心建立坐标系，设定一个安全距离s
p
，当机械臂接近安全距离时开始采集数据，进行机械臂安全状态的监测。
[0079]
(1)以障碍物为中心建立坐标系，设定一个安全距离s
p
。
[0080]
(2)当往复运动关节组件到达设定的安全距离s
p
时，开始近距离检测，
[0081]
获取传感器测量n个原始值并给出对应类别标签，传感器读数以每秒n个样本的速率采样，其中包含n个传感器读数，这些距离数据则是所测方向读数最小的距离。
[0082]
(3)采用新的伪距离代替欧氏距离，利用超二次函数求解障碍物到机器人机械臂距离的问题，建立障碍物之间的距离模型；
[0083]
用解析函数来表示多形状障碍物，建立以障碍物几何中心为原点的坐标系，用统一的超二次曲面解析方程描述障碍物：
[0084][0085]
其中，s(sa，qc)表示伪距离函数表达式，sa＝(h1，h2，h3，m，n，p)，其中参数h1，h2，h3和m，n，p分别为障碍物超曲面拟合的形状参数和体积参数；
[0086]
采用理想几何球体来描述不规则形状的障碍物，超二次曲面从空间点到障碍物的伪距离表达式：
[0087][0088]
其中，sp(
·
)为障碍物在坐标空间中的伪距离，rs为安全球半径，rs＝robs+ri，robs为障碍物指定半径，ri为拟合杆筒体的最大半径，x与x0等则为空间点与障碍物坐标。
[0089]
(4)若s
p
(x，y，z)＝0，即机械臂连杆刚好接触障碍物包围球表面，处于碰撞与不碰撞之间的临界状态，机械臂处于不安全状态；开始用机器学习算法进行距离检测，确定其转向或者直行；
[0090]
若s
p
(x，y，z)＜0，则机械臂与障碍物发生碰撞，机械臂处于不安全状态；
[0091]
若s
p
(x，y，z)＞0，则不存在碰撞。
[0092]
第二步，机械臂避障路径的计算：设定g-tra算法进行机械臂避障路径的计算，g-tra算法由gan算法和vit算法进行组合优化，其中，gan算法利用深度学习的优势生成增强样本，对小样本数据进行增强，vit算法是利用深度学习在cv领域的优势对图像样本进行检
测与分割，实现机器人机械臂对障碍物距离的图像检测与处理，对样本训练输出安全距离，最终获得机械臂避障路径。
[0093]
其技术难点在于：所述gan和vit的组合优化，在调参过程中的超参数与损失权重的自动获取较难以实现；针对机器人所处的复杂环境，数据提取、模型融合、特征提取已经不再是简单的流程性算法计算，数据分析处理的难度更大；机器人机械臂避障任务本身也具有较高的复杂性，需要考虑环境变化、传感器噪声、运动规划等多个方面的因素，同时还需保证机械臂的安全性和稳定性，这使得本方法的实现具有较大的实施难度。目前，相关方法理论少量应用于故障诊断数据的研究，还未拓展到机器人机械臂的避障分析领域。
[0094]
本发明推动深度学习辨别技术在工业智能分析领域的应用，有效提高机器人机械臂的避障精度和准确性，从而增加人机协作的安全性与工作效率；有效推动智能制造的数字化转型，促进机器人技术在数字化表征领域的推广与应用；通过多模型辨别与对抗技术在机器人避障领域的应用，为深度学习算法的深入研究和机器人智能化发展提供新的思路和方向。
[0095]
所述机械臂避障路径的计算包括以下步骤：
[0096]
(1)设定g-tra算法的第一部分为基于gan算法改进的gan-tra1模块、g-tra算法的第二部分为基于vit算法的g-tra2模块。
[0097]
(2)设定gan-tra1模块：
[0098]
a1)利用gan算法对传感器所获取的数据进行增强处理，构建数据集，其中算法模型增强样本η、原样本δ构成扩充增强样本γ，其表达式为
[0099]
γ＝aη+bδ，
[0100]
其中，a、b为权重；
[0101]
a2)将扩充增强样本γ和原样本δ同时放入gan-tra1算法中的判别网络进判别数据真假，基于各部分损失函数利用误差进行反向传播优化参数不断进行对抗训练，其中对于数据进行增强样本gan-tra1中的生成网络的损失函数如下：
[0102]
lg＝h(1，d(g(z)))
[0103]
其中lg代表生成模型损失函数，g(z)代表增强样本，d(g(z))代表生成数据的概率，z是输入随机数据，h代表交叉熵损失函数，其公式为：
[0104]
h(p，q)＝-∑xp(x)log q(x)
[0105]
其中p为正确答案，q为预测答案，x为样本数据；
[0106]
a3)设定gan-tra1模块中的判别网络的损失函数如下：
[0107]
ld＝h(1，d(x))+h(0，d(g(z)))
[0108]
其中ld代表判别模型损失函数，d(g(z))代表生成数据概率，d(x)代表传感器数据的概率，z是输入随机数据，x为传感器数据样本，h代表交叉熵损失函数，其公式为：
[0109]
h(p，q)＝-∑xp(x)log q(x)
[0110]
其中p为正确答案，q为预测答案，x为样本数据；
[0111]
a4)生成模型部分与判别模型部分进行对抗训练，最后产生大量与原本数据一样数据，与原先数据构成一个完整的数据集。
[0112]
(3)设定图像分类模型g-tra2模块：
[0113]
b1)gan-tra2模块将gan-tra1模块处理好的数据中图像切分成n个大小相等的小
图像patch，每个patch有d个元素，然后将这些patch向量组合成一个形状为(n，d)的序列x；
[0114]
b2)使用一个全连接层对每个位置的patch向量进行线性变换以得到q、k和v向量，然后将这些向量作为输入传递给编码器；其表达式如下：
[0115]
q、k和v通过分别将x与三个权重矩阵wq、wk和wv相乘得到的：
[0116]
q＝xwq
[0117]
k＝xwk
[0118]
v＝xwv
[0119]
其中，wq、wk和wv为权重，x为图片向量化序列，
[0120]
q(query)：用于查询当前位置与其他位置之间的关系，
[0121]
k(key)：用于表示所有位置的信息，以帮助回答查询，
[0122]
v(value)：对于每个查询，值向量包含对所有位置的加权贡献，这些权重是通过查询与密钥之间的相似性计算得出；
[0123]
b3)对其结果进行缩放，然后通过softmax函数将其转换为权重矩阵，最后将这个矩阵与v相乘得到最终的输出z；其公式如下：
[0124]
attention(q，k，v)＝softmax(qk^t/sqrt(d_k))v
[0125]
z＝ln(x+attention(q，k，v))
[0126]
其中，ln表示归一化，q(query)：用于查询当前位置与其他位置之间的关系，k(key)：用于表示所有位置的信息，以帮助回答查询，v(value)：对于每个查询，值向量包含对所有位置的加权贡献，这些权重是通过查询与密钥之间的相似性计算得出，t代表了矩阵k的转置，attention(q，k，v)表示通过注意力机制计算得到的加权值向量，z表示通过残差连接和层归一化得到的向量，sqrt指代的是在计算点积注意力时使用的缩放因子，x指输入的某个向量或矩阵；
[0127]
b4)设定图像分类模型g-tra2模块的输入为机器人机械臂当前位置状态数据，输出为通过全连接层和非线性激活函数产生的机械臂与障碍物之间距离的分类预测；
[0128]
b5)根据实际的应用场景与机器人机械臂的运动性能设定阙值m，设定机器人机械臂与障碍物的距离为ld；当ld＞m时机器人机械臂正常运动；当ld＜m时则开始结合奖惩机制开始转向进行避障。
[0129]
(4)在训练好的模型基础上采用奖惩机制，其表达式为：
[0130]
r[s，a]＝(1-α)*r[s，a]+α*t
[0131]
其中r[s，a]是机器人在某距离状态下的动作矩阵，t为奖励常数，α是学习率；奖惩机制依靠r[s，a]值不断更新来实现避障策略；
[0132]
其定义机器人机械臂的可执行动作，包括前进、后退、左转或者右转；将每个状态和对应的动作初始化为一个初始值，通常为0，根据当前状态和q值表选择一个动作，执行所选的动作，得到下一个状态和相应的奖励值；
[0133]
通过调整学习率等超参数来影响q值的更新速度和学习效果，重复以上步骤，直到收敛或达到预设的迭代次数，获得机器人机械臂避障路径。
[0134]
第三步，工业机器人机械臂的避障及数字孪生的实时交互：如图2所示，将得到的避障路径轨迹数据输入数字孪生平台，对工业机器人机械臂进行避障处理，同时虚拟平台的数字孪生模型同步更新，对机械臂避障状态在虚拟平台进行呈现。
[0135]
(1)监测机器人机械臂运行状态，
[0136]
若s
p
(x，y，z)＝0，即机械臂连杆刚好接触障碍物表面发生碰撞问题，采用g-tra算法首先对于数据预处理，用避障数据集去增强传感器获得机器人机械臂运行的数据集构成完整的数据集，用g-tra算法训练机器人机械臂避障数据集做分类，定义奖惩函数，用于评估模型在执行任务时的表现，并根据表现给予相应的奖励或惩罚；在训练过程中计算奖惩值，并根据奖惩值更新模型参数，得到机器人避障路径。
[0137]
(2)实时交互与避障可视化呈现：使用虚拟引擎将虚拟模型与现场机器人进行实时状态同步，开展数据同步与通讯同步控制，服务器提供对外接口，客户端则通过api与服务器通信进行数据读取，当服务器接收到逻辑层的请求时，在数据库里进行查找，再反馈给服务端进行模型避障仿真，最终将避障结果进行可视化同步展示。
[0138]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征：
1.一种基于数字孪生技术的工业机器人机械臂实时避障方法，所述的工业机器人机械臂包括往复运动关节组件，往复运动关节组件的关联部位安装有用于获取位置信息三维数值的传感器；其特征在于，工业机器人机械臂实时避障方法包括以下步骤：11)工业机器人机械臂安全状态的监测：以障碍物为中心建立坐标系，设定一个安全距离s
p
，当机械臂接近安全距离时开始采集数据，进行机械臂安全状态的监测；12)机械臂避障路径的计算：设定g-tra算法进行机械臂避障路径的计算，g-tra算法由gan算法和vit算法进行组合优化，其中，gan算法利用深度学习的优势生成增强样本，对小样本数据进行增强，vit算法利用深度学习在cv领域的优势对图像样本进行检测与分割，实现机器人机械臂对障碍物距离的图像检测与处理，对样本训练输出安全距离，最终获得机械臂避障路径；13)工业机器人机械臂的避障及数字孪生的实时交互：将得到的避障路径轨迹数据输入数字孪生平台，对工业机器人机械臂进行避障处理，同时虚拟平台的数字孪生模型同步更新，对机械臂避障状态在虚拟平台进行呈现。2.根据权利要求1所述的基于数字孪生技术的工业机器人机械臂实时避障方法，其特征在于，所述工业机器人机械臂安全状态的监测包括以下步骤：21)以障碍物为中心建立坐标系，设定一个安全距离s
p
；22)当往复运动关节组件到达设定的安全距离s
p
时，开始近距离检测，获取传感器测量n个原始值并给出对应类别标签，传感器读数以每秒n个样本的速率采样，其中包含n个传感器读数，这些距离数据则是所测方向读数最小的距离；23)采用新的伪距离代替欧氏距离，利用超二次函数求解障碍物到机器人机械臂距离的问题，建立障碍物之间的距离模型；用解析函数来表示多形状障碍物，建立以障碍物几何中心为原点的坐标系，用统一的超二次曲面解析方程描述障碍物：其中，s(s
a
,q
c
)表示伪距离函数表达式，s
a
＝(h1,h2,h3,m,n,p)，其中参数h1,h2,h3和m,n,p分别为障碍物超曲面拟合的形状参数和体积参数；采用理想几何球体来描述不规则形状的障碍物，超二次曲面从空间点到障碍物的伪距离表达式：其中，sp(
·
)为障碍物在坐标空间中的伪距离，rs为安全球半径，rs＝robs+ri，robs为障碍物指定半径，ri为拟合杆筒体的最大半径，x与x0等则为空间点与障碍物坐标；24)若s
p
(x,y,z)＝0，即机械臂连杆刚好接触障碍物表面，处于碰撞与不碰撞之间的临界状态，机械臂处于不安全状态；开始用机器学习算法进行距离检测，确定其转向或者直行；若s
p
(x,y,z)<0，则机械臂与障碍物发生碰撞，机械臂处于不安全状态；若s
p
(x,y,z)>0，则不存在碰撞。
3.根据权利要求1所述的基于数字孪生技术的工业机器人机械臂实时避障方法，其特征在于，所述机械臂避障路径的计算包括以下步骤：31)设定g-tra算法的第一部分为基于gan算法改进的gan-tra1模块、g-tra算法的第二部分为基于vit算法的g-tra2模块；32)设定gan-tra1模块：321)利用gan算法对传感器所获取的数据进行增强处理，构建数据集，其中算法模型增强样本η、原样本δ构成扩充增强样本γ，其表达式为γ＝aη+bδ，其中，a、b为权重；322)将扩充增强样本γ和原样本δ同时放入gan-tra1算法中的判别网络进判别数据真假，基于各部分损失函数利用误差进行反向传播优化参数不断进行对抗训练，其中对于数据进行增强样本gan-tra1中的生成网络的损失函数如下：l
g
＝h(1,d(g(z)))其中l
g
代表生成模型损失函数，g(z)代表增强样本，d(g(z))代表生成数据的概率，z是输入随机数据，h代表交叉熵损失函数，其公式为：h(p,q)＝-∑xp(x)logq(x)其中p为正确答案，q为预测答案，x为样本数据；323)设定gan-tra1模块中的判别网络的损失函数如下：l
d
＝h(1,d(x))+h(0,d(g(z)))其中l
d
代表判别模型损失函数，d(g(z))代表生成数据概率，d(x)代表传感器数据的概率，z是输入随机数据,x为传感器数据样本，h代表交叉熵损失函数，其公式为：h(p,q)＝-∑xp(x)logq(x)其中p为正确答案，q为预测答案，x为样本数据；324)生成模型部分与判别模型部分进行对抗训练，最后产生大量与原本数据一样数据，与原先数据构成一个完整的数据集；33)设定图像分类模型g-tra2模块：331)gan-tra2模块将gan-tra1模块处理好的数据中图像切分成n个大小相等的小图像patch，每个patch有d个元素，然后将这些patch向量组合成一个形状为(n,d)的序列x；332)使用一个全连接层对每个位置的patch向量进行线性变换以得到q、k和v向量，然后将这些向量作为输入传递给编码器；其表达式如下：q、k和v通过分别将x与三个权重矩阵wq、wk和wv相乘得到：q＝xwqk＝xwkv＝xwv其中，wq、wk和wv为权重，x为图片向量化序列，q为query：用于查询当前位置与其他位置之间的关系，k为key：用于表示所有位置的信息，以帮助回答查询，v为value：对于每个查询，值向量包含对所有位置的加权贡献，这些权重通过查询与密钥之间的相似性计算得出；333)对其结果进行缩放，然后通过softmax函数将其转换为权重矩阵，最后将这个矩阵
与v相乘得到最终的输出z；其公式如下：attention(q,k,v)＝softmax(qk^t/sqrt(d_k))vz＝ln(x+attention(q,k,v))其中，ln表示归一化，q用于查询当前位置与其他位置之间的关系，k用于表示所有位置的信息，以帮助回答查询，v对于每个查询，值向量包含对所有位置的加权贡献，这些权重是通过查询与密钥之间的相似性计算得出，t代表了矩阵k的转置，attention(q,k,v)表示通过注意力机制计算得到的加权值向量，z表示通过残差连接和层归一化得到的向量，sqrt指代的是在计算点积注意力时使用的缩放因子，x指输入的某个向量或矩阵；334)设定图像分类模型g-tra2模块的输入为机器人机械臂当前位置状态数据，输出为通过全连接层和非线性激活函数产生的机械臂与障碍物之间距离的分类预测；335)根据实际的应用场景与机器人机械臂的运动性能设定阙值m，设定机器人机械臂与障碍物的距离为l
d
；当l
d
>m时机器人机械臂正常运动；当l
d
<m时则开始结合奖惩机制开始转向进行避障；34)在训练好的模型基础上采用奖惩机制，其表达式为：r[s,a＝(1-α)*r[s,a+α*t其中r[s,a]是机器人在某距离状态下的动作矩阵，t为奖励常数，α是学习率；奖惩机制依靠r[s,a]值不断更新来实现避障策略；其定义机器人机械臂的可执行动作，包括前进、后退、左转或者右转；将每个状态和对应的动作初始化为一个初始值，通常为0，根据当前状态和q值表选择一个动作，执行所选的动作，得到下一个状态和相应的奖励值；通过调整学习率等超参数来影响q值的更新速度和学习效果，重复以上步骤，直到收敛或达到预设的迭代次数，获得机器人机械臂避障路径。4.根据权利要求1所述的基于数字孪生技术的工业机器人机械臂实时避障方法，其特征在于，所述工业机器人机械臂的避障及数字孪生的实时交互包括以下步骤：41)监测机器人机械臂运行状态，若s
p
(x,y,z)＝0，即机械臂连杆刚好接触障碍物包围球表面发生碰撞问题，采用g-tra算法首先对于数据预处理，用避障数据集去增强传感器获得机器人机械臂运行的数据集构成完整的数据集，用g-tra算法训练机器人机械臂避障数据集做分类，定义奖惩函数，用于评估模型在执行任务时的表现，并根据表现给予相应的奖励或惩罚；在训练过程中计算奖惩值，并根据奖惩值更新模型参数，得到机器人避障路径；42)实时交互与避障可视化呈现：使用虚拟引擎将虚拟模型与现场机器人进行实时状态同步，开展数据同步与通讯同步控制，服务器提供对外接口，客户端则通过api与服务器通信进行数据读取，当服务器接收到逻辑层的请求时，在数据库里进行查找，再反馈给服务端进行模型避障仿真，最终将避障结果进行可视化同步展示。

技术总结
本发明涉及基于数字孪生技术的工业机器人机械臂实时避障方法，与现有技术相比解决了难以针对小样本机械臂运行数据进行避障处理的缺陷。本发明包括以下步骤：工业机器人机械臂安全状态的监测；机械臂避障路径的计算；工业机器人机械臂的避障及数字孪生的实时交互。本发明利用了G-TRA算法中的G-TRA1对于小样本数据增强，将增强之后的数据放入G-TRA2中，对于机器人机械臂与障碍物的安全距离进行避障判断与二次优化判别，通过深度学习算法的阙值自识别实现准确避障；在此基础上引入了数字孪生技术，将机器人机械臂运行过程与避障情况进行实时展示，避免了工业机器人在使用中带来的人员伤亡和造成的财产损失。人员伤亡和造成的财产损失。人员伤亡和造成的财产损失。


技术研发人员：柏莹 唐玉虎 王子筵 陈坤鹏 程思源 张子明 盛浩文
受保护的技术使用者：合肥学院
技术研发日：2023.05.17
技术公布日：2023/7/20