复现人工铺放二维织物的信息采集系统及复现方法

1.本发明属于二维织物铺放的技术领域，具体涉及一种复现人工铺放二维织物的信息采集系统及复现方法。


背景技术：

2.二维碳纤维织物由经纱和纬纱交错构成，在贴附零件的模具表面过程中，经纱和纬纱之间角度的变化可以适应零件模具表面的几何形状。目前对于大尺寸几何特征(如平面、可展曲面、非可展曲面、斜面等)复杂的二维碳纤维织物零件，如含有非可展曲面的汽车座椅和雷达天线罩、陡峭斜面的蜂窝夹层、含有多个几何特征的舰艇壳体等，普遍由人手工铺放完成，铺放过程复杂，但人工铺放质量均一性较差且效率低。因此，需要对人手铺放过程信号采集并建立技能表达模型，并设计相应的控制器，便于机器人根据人工铺放技能模型进行自动化铺放。


技术实现要素：

3.本发明的目的在于针对现有技术的不足之处，提供一种复现人工铺放二维织物的信息采集系统，该系统可以对人工铺放一系列复杂操作技能和对应织物状态进行采集并通过机器人复现。
4.为解决上述技术问题，本发明采用如下技术方案：
5.一种复现人工铺放二维织物的信息采集系统，包括：
6.零件模具，其用于二维织物的铺放；
7.压辊，人工手持压辊对铺放在零件模具上的二维织物进行压实；
8.第一六维力/力矩传感器，其设置在压辊上，用于对压实过程中的压实力/力矩进行检测；
9.夹爪，人工手持夹爪对二维进行拉伸；
10.第二六维力/力矩传感器，其设置在夹爪上，用于对拉伸过程中的拉伸力/力矩进行检测；
11.多个动捕追踪定位球，其分别设置在第一六维力/力矩传感器和第二六维力/力矩传感器上；
12.多个动作捕捉相机，其用于记录动捕追踪定位球在人工铺放过程中的运动轨迹；
13.深度相机，其朝向零件模具设置，用于对人工铺放过程中零件模具表面的深度数据进行采集；以及
14.数据处理装置，其与第一六维力/力矩传感器、第二六维力/力矩传感器、多个动作捕捉相机以及深度相机电气连接。
15.本发明的另一个目的是提供一种根据上述的复现人工铺放二维织物的信息采集系统及复现方法，包括如下步骤：
16.人工对相同零件模具上的二维织物进行多次铺放，在每次铺放过程中采用第一六
维力/力矩传感器采集压辊压实过程中的压实力/力矩、采用第二六维力/力矩传感器采集夹爪拉伸过程中的拉伸力/力矩、采用多个动作捕捉相机记录动捕追踪定位球在人工铺放过程中的运动轨迹和位姿、采用深度相机采集零件模具表面的点云信息；
17.数据处理装置根据采集的信息构建各元件的坐标系，并通过不同元件间构建的坐标系之间的变换矩阵得到相关坐标系下多个动捕追踪定位球的运动轨迹数据以及第一六维力/力矩传感器、第二六维力/力矩传感器的力/力矩信息；
18.在单次铺放过程中，将压辊操作任务作为主任务，夹爪操作任务为辅助任务，数据处理装置根据采集的压实力/力矩采用基于压实力阈值的方法对不同区域的子任务数据进行分割，将压实力大于阈值的各条轨迹的铺放过程作为各个子动作，根据各个子任务开始和结束的时间信息，获得子动作时间内包含的压辊和夹爪操作中对应的位姿和力/力矩信息；
19.数据处理装置根据零件模具表面点云深度信息的变化来判别人工是否完成预先根据经验划分的不同铺放区域，并根据完成各个区域铺放完成时不同的时间信息来获得不同的子任务完成过程中的信息；
20.数据处理装置根据采集的拉伸过程中拉伸力/力矩构建示教过程中夹爪与织物的接触模型，并通过第二六维力/力矩数据获取示教过程中夹爪与织物的接触刚度；
21.数据处理装置对多次人工重复铺放的相同任务的各个子动作数据进行编码，提取各个动作的本质特征，并对提取各个动作的本质特征进行重构，得到泛化输出的各动作模型，再按照动作和任务顺序得到各个子任务中子动作的压辊位姿、力以及夹爪的位姿、力以及接触刚度；
22.根据各个子任务中子动作的压辊位姿、力以及夹爪的位姿、力以及接触刚度对机器人的导纳控制器进行设计从而对对机器人操作时的压辊的法向力控制器和夹爪的六维力/力矩控制器进行设计和控制，最终实现对机器人复现人工操作技能过程的控制。
23.进一步地，构建各元件的坐标系包括：
24.构建多个动作捕捉相机组成动作捕捉系统的坐标系{o}、安装在压辊上方的第一六维力/力矩传感器的坐标系{a}、压辊末端的坐标系{b}、安装在夹爪上方的第二六维力/力矩传感器的坐标系{c}、夹爪末端的坐标系{d}、在第一六维力/力矩传感上的动捕追踪定位球构建的刚体坐标系{e}、在第二六维力/力矩传感上的动捕追踪定位球构建的刚体坐标系{f}；
25.根据构建的坐标系，获得坐标系{a}下的值到坐标系{e}的齐次变换矩阵、坐标系{e}下的值到坐标系{b}的齐次变换矩阵，坐标系{c}下的值到坐标系{f}的齐次变换矩阵、坐标系{d}下的值到坐标系{f}的齐次变换矩阵以及坐标系{a}下的值、坐标系{b}下的值、坐标系{c}下的值、坐标系{d}下的值、坐标系{e}下的值、坐标系{f}下的值分别到坐标系{o}的齐次变换矩阵。
26.进一步地，在铺放过程中，动作捕捉相机对第一六维力/力矩传感器上的动捕追踪定位球构成的刚体坐标系{e}在坐标系{o}下的位姿ξe＝(pe,qe)
t
和第二六维力/力矩传感器上的动捕追踪定位球构成坐标系{f}在坐标系{o}下的位姿ξf＝(pf,θf)
t
进行运动捕捉，其中pe和pf分别为位置信息，θe和θf分别为姿态，并根据齐次变换矩阵获得压辊坐标系{b}、夹爪坐标系{d}在坐标系{o}下的位姿分别为ξb＝(pb,θb)
t
、ξd＝(pd,θd)
t
，pb和pd分别为位置
信息，θb和θd分别为姿态；此外，获得第一六维力/力矩传感器在坐标系{a}下的数值fa＝(fa,τa)
t
，第二六维力/力矩传感器在坐标系{a}下的数值fc＝(fc,τc)
t
，其中fa和fc分别为力信息，τa和τc分别为力矩信息。
27.进一步地，在建立模型前，需要对第一六维力/力矩传感器、第二六维力/力矩传感器获得的数值进行滤波处理，方法为：
28.对采集的单条轨迹的第一六维力/力矩传感器信息fa和第二六维力/力矩传感器信息fc进行滑动窗口滤波，滑动窗口长度取值为n，计算每一个窗口中包含数据的平均值作为最终示教的力/力矩信息；对每一维度值，取滑动窗口长度为n，邻近值分别为xi，x
i-1
...x
i-n+1
，计算每个窗口的平均值为yi＝(xi+x
i-1
+...+x
i-n+1
)/n，进而获得滤波后的第一六维力/力矩传感器数值fa'＝(fa',τa')
t
与第二六维力/力矩传感器数值fc'＝(fc',τc')
t
，其中fa'和fc'分别为力数据，τa'和τc'分别为力矩数据。
29.进一步地，获得夹爪与织物的接触刚度的方法为：
30.在坐标系中将夹爪的夹取过程等效为二阶质量弹簧模型：其中，x＝ξ
fo'
分别对应为夹爪的位姿加速度、位姿速度、位姿，在该模型中将m等效为单位对角矩阵，阻尼系数c根据经验选定，并根据滤波处理后的夹爪拉力/力矩数值fc'、夹爪对应位姿ξd和时间t计算得到各个时刻对应的刚度系数k。
31.进一步地，对单次铺放所采集的数据进行分割方法为：
32.将二维织物铺放任务划分为二层，上层为人工根据经验对零件模具铺放的区域的先后顺序划分为m1铺放区域，将各个铺放区域作为i个不同的子任务{c1,...,ci}，ci为上层第i个子任务，底层为将各个铺放任务划分为i个单条铺放轨迹完成的子动作{c1,...,cj}，cj为底层第j个子任务；在示教过程中按照铺放区域的先后，对各个任务进行示教，并在单个任务示教过程中连续采集第一六维力/力矩传感器、第二六维力/力矩传感器的信息与各坐标系在坐标系{o}下的位姿；
33.将人工示教铺放过程中压实力作为各个子任务示教数据的进一步分割判别依据，在压实力小于阈值fz时，完成当前单条轨迹的示教，进而得到完成各个子任务的示教数据。
34.进一步地，建模重构获得各个子任务中子动作中包含的压辊和夹爪信息的方法为：
35.在每次示教过程各个区域的子动作的数目m2保持一致，在获得各个区域对应的各个子动作的多次示教数据，并通过处理获得最终子动作包含压辊处对应的轨迹ξe'和力fz，夹爪处的轨迹ξd、刚度k、力/力矩fc；
36.对上述获得的各个子动作的多次示教数据进行重新采样，将数据的各个维度放置在自变量0～1的范围内，并拟合出新的曲线，然后按照相同的间隔对这些数据进行重新离散，最终乘以期望的工作时间t
exp
，获得相同离散点数目的数据；
37.根据上述最终获得的离散点数目相同的单个子动作的数次示教数据采用高斯混合模型gmm进行聚类处理获得提取各个动作的本质特征；并采用高斯混合回归模型grm对提取的各个动作本质特征进行重构获得各个子任务中子动作中包含的压辊位姿数据ξ
bo
′
′
＝(p
bo
′
′
,θ
bo
′
′
)
t
、沿着曲面法向的期望力fz'以及夹爪的位姿数据ξ
do
′
′
＝(p
do
′
′
,θ
do
′
′
)
t
、力/力矩f
do
′
′
＝(f
do
′
′
,τ
do
′
′
)
t
和刚度系数k'，其中p
bo
′
′
和θ
bo
′
′
分别为压辊的位置和姿态，p
do
′
′
和θ
do
′
′
为夹爪的位置和姿态，f
do
′
′
为夹爪力，τ
do
′
′
为夹爪的力矩；
38.将获得的压辊位姿数据转换成机器人作业时曲面法向坐标系下的压辊的位姿为ξ
bo
′
″
＝(p
bo
′
″
,θ
bo
′
″
)
t
，其中p
bo
′
″
和θ
bo
′
″
分别为最终压辊位置和姿态。
39.进一步地，设计压辊的法向力控制器的方法为：
40.构建机器人复现人工示教操作时的基坐标系{o'}，将各个子任务中子动作的压辊位姿转换成基坐标系{o'}下的压辊位姿；
41.在压辊坐标系{b}处设计单向导纳控制器为其中期望力fd＝fz，z向外力f
ext
，e为位置误差，为速度误差，为加速度误差，m为质量；b为阻尼，k为刚度；
42.通过单向导纳控制器获得压辊末端z向的加速度调节量进一步获得位置调节量为其中δt'为控制周期的时间，为当前压辊z向的速度；在获得坐标系{b}下的z向位置调节量xe，将其变换到机器人基坐标系{o'}下的调节量，具体为并加上机器人的下一时刻的参考位姿ξ
bo
′
″
＝(p
bo
′
″
,θ
bo
′
″
)
t
，得到机器人的实际控制位姿为ξ
eo'c
＝(p
bo
′
″
+δx,θ
bo
′
″
)
t
。
43.进一步地，设计夹爪的六维力/力矩控制器的方法为：
44.针对夹取操作的机器人，构建机器人复现人工示教操作时的基坐标系{o'}，将各个子任务中子动作的夹爪位姿转换成基坐标系{o'}下的夹爪位姿；采用六自由度导纳控器其中，e＝ξ
fc-ξ
ext
，ξ
ext
为实际机器人执行任务过程中{d}相对于{o'}的位姿，ξ
fc
为{d}相对于{o'}的位姿控制位姿，结合控制周期δt可进一步获得速度和加速度m1为六维度对角单位质量矩阵，b1为六维对角矩阵，k1＝k'；f
ext
＝(f
ext
,τ
ext
)
t
为实际的夹爪末端第二六维力/力矩传感器真实数据；
45.由上可得，坐标系{d}相对于坐标系{o'}的位姿加速度调节量为进一步获得位姿调节量为其中ξe的位置和姿态调节量分别为δx
do'
和δθ
do'
，其中和分别为当前{d}相对于{o'}的位姿速度和加速度调节量；在获得相对于夹爪坐标系{d}的位姿调节量ξe＝{δx
do'
,δθ
do'
}后，进而获得下一时刻夹爪的位姿控制量为ξ
fc
＝(δx
do'
+p
do
′
′
,δθ
do'
+θ
do
′
′
)
t
。
46.与现有技术相比，本发明的有益效果为：
47.本发明实现了对人工铺放二维织物的技能信息采集，获得了人工铺放过程中技能的数据，并且对复杂模具的铺放任务和动作分割，根据分割结果建立了人工铺放技能表达模型，最后设计了基于导纳力控制器可以用于商业化的位置控制类机器人，从而实现机器人根据人工铺放技能模型进行自动化铺放来替换，极大提高了生产效率和铺放质量的均一性。
附图说明
48.图1为本发明实施例复现人工铺放二维织物的信息采集统的结构示意图；
49.图2为本发明实施例构建的各元件坐标系示意图；
50.图3为本发明实施例复现人工铺放二维织物的信息采集系统的复现方法的流程图。
具体实施方式
51.下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
53.下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
54.本发明实施例公开了一种复现人工铺放二维织物的信息采集系统，如图1所示，其包括将二维碳纤维织物压实在零件模具1上的压辊2、安装在压辊2上的第一六维力/力矩传感器3、用于在铺放过程中牵拉二维碳纤维织物的夹爪4、安装在夹爪4上的第二六维力/力矩传感器5、安装在第一六维力/力矩传感器3表面的动捕追踪定位球6、粘贴在第二六维力/力矩传感器5上的动捕追踪定位球7、通过支撑架8沿零件模具四周间隔设置的多个动作捕捉相机9、通过固定支架10朝向零件模具设置的深度相机11以及与第一六维力/力矩传感器3、第二六维力/力矩传感器5、多个动作捕捉相机9以及深度相机11均电气连接的数据处理装置12，在本实施例中，数据处理装置12为计算机。其中，为了便于握持，在压辊2和夹爪4上均设置有手柄。
55.如图2所示，构建各元件的坐标系，具体为：多个动作捕捉相机组成动作捕捉系统的坐标系{o}、安装在压辊3上方的第一六维力/力矩传感器3的坐标系{a}、压辊2末端的坐标系{b}、安装在夹爪4上方的第二六维力/力矩传感器5的坐标系{c}、夹爪4末端坐标系{d}、在压辊2上的第一六维力/力矩传感3上动捕追踪定位球6构建的刚体坐标系{e}、在夹爪4上的第二六维力/力矩传感5上的动捕追踪定位球7构建的刚体坐标系{f}。
56.如式子(1)所示：坐标系{a}原点相对于坐标系{e}的位置矢量为epa，坐标系{a}相对于坐标系{e}方位为坐标系{a}下的值到坐标系{e}的齐次变换矩阵为坐标系{b}原点相对于坐标系{e}的位置矢量为epb，坐标系{b}相对于坐标系{e}方位为坐标系{b}下的值到坐标系{e}的齐次变换矩阵为坐标系{e}原点相对于坐标系{o}的位置矢量为ope，坐标系{e}相对于坐标系{o}方位为坐标系{e}下的值到坐标系{o}的齐次变换矩阵为
[0057][0058]
如式(2)所示：坐标系{c}原点相对于坐标系{f}的位置矢量为fpc，坐标系{c}相对
于坐标系{f}方位为坐标系{c}下的值到坐标系{f}的齐次变换矩阵为坐标系{d}原点相对于坐标系{f}的位置矢量为fpd，坐标系{d}相对于坐标系{f}方位为坐标系{d}下的值到坐标系{f}的齐次变换矩阵为坐标系{f}原点相对于坐标系{o}的位置矢量为opf，坐标系相对于坐标系{o}方位为坐标系{f}下的值到坐标系{o}的齐次变换矩阵为
[0059][0060]
如式(3)所示，坐标系{a}下的值到坐标系{o}的变换矩阵为坐标系{b}下的值到坐标系{o}的变换矩阵为
[0061][0062]
如式(4)所示坐标系{c}下的值到坐标系{o}的变换矩阵为坐标系{d}下的值到坐标系{o}的变换矩阵为
[0063][0064]
如图3所示，首先对人工铺放过程中的数据进行采集。在人工示教过程中，同一人或不同的人分别手持压辊2上对应的手柄和夹爪4上对应的手柄，动作捕捉相机9对刚体坐标系{e}和{f}的位置和姿态。人手通过手柄对压辊2施加压力将织物按压在零件模具1的表面，通过夹爪4使得铺放过程中避免织物与零件模具1提前接触，并且对织物施加一定的张力，使得织物适应曲面贴合需求。动作捕捉相机9对压辊2上的第一六维力/力矩传感器3和夹爪4对应的第二六维力/力矩传感器5上的动捕追踪定位球6、7构成的刚体坐标系{e}在坐标系{o}下位姿ξe＝(pe,θe)
t
和坐标系{f}的位姿ξf＝(pf,θf)
t
进行运动捕捉，其中pe和pf分别为位置信息，θe和θf分别为姿态。通过式(3)和式(4)从而获得坐标系{b}、坐标系{d}在坐标系{o}下位姿分别为ξb＝(pb,θb)
t
、ξd＝(pd,θd)
t
，其中pb和pd分别为位置信息，θb和θd分别为姿态。同时，压辊2上的第一六维力/力矩传感器3在坐标系{a}下的数值为fa＝(fa,τa)
t
，夹爪4上的第二六维力/力矩传感器5在坐标系{c}下的数值为fc＝(fc,τc)
t
，其中fa和fc分别为力，τa和τc分别为力矩信息。
[0065]
通过计算机12对上述连续完成模具单次铺放所采集的数据进行分割。计算机将织物铺放任务划分为二层，上层为人工根据经验对零件模具1铺放的区域的先后顺序划分为m1铺放区域，将各个铺放区域作为i个不同的子任务{c1,...,ci}，ci为上层第i个子任务，底层为将各个铺放任务划分为j个单条铺放轨迹完成的子动作{c1,...,cj}，cj为底层第j个子
任务。在示教过程中按照铺放区域的先后，对各个任务进行示教，并在单个任务示教过程中连续采集两个六维力/力矩传感器信息与各坐标系在坐标系{o}下的位姿。
[0066]
采用深度相机11对人工铺放过程中零件模具1的表面信息进行实时采集，最终可获得时间序列相关的模具表面深度信息d。零件模具表面在铺放织物后，表面深度信息变为d
′
，计算机通过对比铺放过程中随着时间的深度信息变化δd＝d'-d，获得铺放区域随着时间的深度信息变化，进而得到人工划分铺放区域是否完成，并获得各个区域完成时的时间索引t1，实现对整个模具铺放过程的对应区域的采集数据分割。
[0067]
将人工示教铺放过程中压实力作为各个区域(子任务)示教数据的进一步分割判别依据，在压实力小于阈值f
thod
＝5n时，完成当前单条轨迹的示教，进而得到完成单条轨迹(子动作)的示教数据。
[0068]
由于六维力/力矩传感器获得的数据存在噪声，对数学建模带来一定困难，为此首先对齐进行滤波处理，具体地：对上述采集的单条轨迹的第一六维力/力矩信息fa和第二六维力/力矩信息fc进行滑动窗口滤波，滑动窗口长度取值为n，计算每一个窗口中包含数据的平均值作为最终示教的力/力矩信息。对每一维度值，取滑动窗口长度为n，邻近值分别为xi，x
i-1
...x
i-n+1
，计算每个窗口的平均值为yi＝(xi+x
i-1
+...+x
i-n+1
)/n，进而获得滤波后的压辊力/力矩数值fa'＝(fa',τa')
t
与夹爪拉力/力矩数值fc'＝(fc',τc')
t
，其中，fa'和fc'分别为力数据，τa'和τc'分别为力矩数据。
[0069]
由于机器人在接触任务作业中，一般压力沿着曲面法向。计算机通过模具表面stl(stereolithography)在坐标系{o}下的信息，搜索压辊在坐标系{o}下的位置pe搜索得到对应曲面上对应位置的三角面片中心的法向向量作为z方向，将前进方向做为x方向，进而获得新y方向为进而得新x方向为并通过旋转矩阵与四元数的变换关系将旋转矩阵{x,y,n}变换得到四元数qe'，最终沿着模具法向的轨迹为ξe'＝(pe,θe')
t
，其中pe和θe'分别为位置和姿态。{a}和{b}的各坐标轴方向平行，沿着z轴的力值相同，因此可将压辊上方的六维力/力矩传感器采集的力数据的z向力fz＝fa'
·
n，其中n＝[0,0,1]，并将其作为机器人作业时的压辊的期望力。在压辊2压实过程中，夹爪4需要同步辅助完成任务，将对应压辊子任务和子动作的时间段的夹爪的动作分别分割为夹爪的子任务和子动作。
[0070]
上述获得的位置与姿态数据在坐标系{o}下，而在机器人复现人工示教操作时，机器人的控制是相当于机器人的基坐标系{o'}。从坐标系{o}变换到坐标系{o'}的齐次变换矩阵为其中为旋转矩阵，
o'
po为坐标系{o}原点相对于坐标系{o'}的位置矢量，进而将上述的获得的位姿数据ξb和ξd变换到机器人的基坐标系{o'}下。在坐标系{o'}下压辊的位姿为ξ
bo'
＝(p
bo'
,θ
bo'
)
t
，其中p
bo'
为位置；θ
bo'
为姿态，夹爪的位姿为ξ
do'
＝(p
do'
,θ
do'
)
t
，其中p
do'
为位置，θ
do'
为姿态。
[0071]
由于碳纤维织物的变形过程为非线性变形，在铺放过程中夹取力会一方面便于铺放，另一方面导致其变形适应铺放，而变形过程中人手臂是变刚度的工作过程，为保证机器人的复现效果，让机器人复现该变刚度夹取过程。在坐标系{o'}中将夹爪的夹取过程等效为二阶质量弹簧模型：其中，x＝ξ
fo'
分别对应为夹爪的位姿加速度、位姿速度、位姿，为各个子动作对应的示教数据，f为力/力矩，在该模型中将m等效
为单位对角矩阵，阻尼系数b根据经验选定，进而可以计算获得刚度系数k。在坐标系{o'}下的力/力矩其中d为向量
o'
pd的反对称矩阵，
o'
pd为坐标系{d}原点相对于坐标系{o'}的位置矢量；为从{d}到{o'}的旋转变换矩阵；d1为向量dpc的反对称矩阵，dpc为坐标系{c}原点相对于坐标系{d}的位置矢量，为从{c}到{d}的旋转变换矩阵。
[0072]
通过上述的操作可以完成一次示教信息的采集与处理，通常为避免示教的偶然性，需要对同一模具的铺放过程进行数次示教。在每次示教过程各个区域的子动作的数目m2保持一致，便于对多次示教数据的建模。在获得各个区域对应的各个子动作的多次示教数据，并通过上述的处理过程获得最终子动作包含压辊处对应的轨迹ξe'和力fz，夹爪处的轨迹ξ
do'
、刚度k、力/力矩f
do'
。对上述获得的各个子动作的多次示教数据进行重新采样，将数据的各个维度放置在自变量0～1的范围内，并拟合出新的曲线，然后按照相同的间隔对这些数据进行重新离散，最终乘以期望的工作时间t
exp
，获得相同离散点数目的数据。
[0073]
对上述最终获得离散点数目相同的单个子动作的数次示教数据分别采用k个高斯混合模型(gaussian mixture model，gmm)进行聚类处理，获得示教数据的k个高斯聚类分布，其中k为正整数。k个高斯混合模型的参数为αk表示第k个高斯分布的权重，μk、σk分别为第k个子模型的均值和方差。通过贝叶斯信息(bayesian information criterion，bic)准则确定高斯分量个数k。bic准则的表达式子为s
bic
＝-2ln(l)+kln(n)，其中l为高斯混合模型的似然函数的最大值，n为示教样本的数量。在取得不同的k值时分别计算s
bic
的值，当s
bic
的值最小时所对应的k值即为所期望的k值。
[0074]
对于k个高斯分布线性相加的gmm，第k个高斯分布的权重为αk，且满足且0≤αk≤1，第j个观测数据ξj＝(ξ
t
,ξs),i＝1,2,3,
…
,n，ξs是示教数据中的轨迹或力/力矩变量，ξ
t
是时间变量。在总体数据中的单个数据点的概率分布为其中，第k个高斯模型的分布为μk、σk分别为第k个子模型的均值和方差；αk是先验概率。使用期望最大化算法(expectation maximization，em)来迭代计算gmm模型参数进一步，μk和σk用输入时间和输出分量可以分别表示为μk＝{μ
t,k
,μ
s,k
}和其中μ
t,k
为输入时间数据均值，μ
s,k
为输
出数据的均值，σ
tt,k
为时间的方差，σ
ts,k
和σ
ts,k
为时间数据和输出数据的协方差。在对示教轨迹复现过程中，每个迭代时间步t，给定时间变量值ξ
t
，期望的轨迹ξs的条件分布为其中第k个高斯模型的概率为n(ξ
t
；μ
t,i
,σ
tt,i
)是以μ
t,i
和σ
tt,i
分别为均值和方差的高斯分布；给定输入ξ
t
，条件分布p(ξs|ξ
t
)的预测均值为预测方差根据高斯分布的线性特性，利用总期望和方差来将p(ξs|ξ
t
)近似为高斯分布，将p(ξs|ξ
t
)分布定义为其中均值为方差为将称为指数为k的高斯混合回归模型(gaussian mixture regression，(gmr))。在机器人复现人工操作时，机器人复现的轨迹为p(ξs|ξ
t
)的期望值e(ξs|ξ
t
)。
[0075]
通过gmm/gmr对各个子任务中包含的子动作的多次采集数据进行处理，采用gmr输出各个子任务中子动作中包含的压辊的位姿数据ξ
bo
′
′
＝(p
bo
′
′
,θ
bo
′
′
)
t
、沿着曲面法向的期望力fz'、夹爪的位姿数据ξ
do
′
′
＝(p
do
′
′
,θ
do
′
′
)
t
、夹爪的力/力矩f
do
′
′
＝(f
do
′
′
,τ
do
′
′
)
t
以及夹爪执行任务过程中刚度系数k'，其中，p
bo
′
′
和θ
bo
′
′
分别为压辊的位置和姿态，p
do
′
′
和θ
do
′
′
分为夹爪的位置和姿态，f
do
′
′
为夹爪的力、τ
do
′
′
为夹爪的力矩。但此时p
bo
′
′
包含的位置点可能不在模具表面，θ
bo
′
′
包含的姿态也不垂直于模具表面。为获得尽可能沿着模具表面的法向，首先搜索模具上距离p
bo
′
′
最近的三角面片中心点作为新的压辊位置点p
bo
′
″
，并按照前述方法获得沿着模具表面法向运动的新的压辊姿态θ
bo
′
″
，最终获得压辊的位姿为ξ
bo
′
″
＝(p
bo
′
″
,θ
bo
′
″
)
t
，其中p
bo
′
″
和θ
bo
′
″
分别为最终压辊位置和姿态。
[0076]
由于在商业中位置控制的机器人应用相比于力矩控制机器人使用更为广泛，为此在将人工铺放织物的操作迁移到机器人上时，采用位置控制的机器人，并对机器人末端的操作采用导纳控制器，保证力/力矩的复现效果。在机器人复现任务的时候，采用单向导纳控制器对法向力进行跟踪，并且让机器人在运动过程中末端z向沿着曲面法向。机器人末端关节姿态与压辊姿态相同，因此机器人末端z向力与压辊z向力值大小相同。采用机器人末端的六维力/力矩传感器对z向力进行检测，并采用导纳力控制进行力反馈调节。在压辊坐标系{b}处设计z向的单向导纳控制器为其中期望力fd＝fz；z向实际外力f
ext
；e＝x
dz-x
ez
为位置误差，为速度误差，为加速度误差，其中p
bo
′
″′
为机器人执行任务中{b}在{o'}中的实际位置；m为质量，b为阻尼，kf为刚度。机器人基坐标系与压辊末端坐标系{b}的齐次变换矩阵其中为从{o'}变换到{b}的旋转矩阵；bp
o'
为坐标系{o'}原点相对于坐标系{b}的位置矢量。
[0077]
通过单向导纳控制器获得压辊末端z向的加速度调节量进一步获得位置调节量为其中δt为控制周期的时间，为当前压辊z向的速度。在获得坐标系{b}下的z向位置调节量xe，进一步将其变换到机械臂的基坐标系{o'}下，得到机器人的基坐标系下的位置调节量为并加上机器人的下一时刻的参考位姿ξ
bo
′
″
＝(p
bo
′
″
,θ
bo
′
″
)
t
，得到机器人的实际控制位姿为ξ
eo'c
＝(p
bo
′
″
+δx,θ
bo
′
″
)
t
。
[0078]
针对夹取操作的机器人，在坐标系{o'}中采用六自由度导纳控器其中，e＝ξ
fc-ξ
ext
，ξ
ext
为实际机器人执行任务过程中{d}相对于{o'}的位姿，ξ
fc
为{d}相对于{o'}的位姿控制位姿，结合控制周期δt可进一步获得速度和加速度m1为六维度对角单位质量矩阵；b1为六维对角矩阵；b1值需要根据实际力跟踪效果调节；k1＝k'；f
ext
＝(f
ext
,τ
ext
)
t
为实际的夹爪末端第二六维力/力矩传感器真实数据，在坐标系{o'}下的力/力矩d2为坐标系{c}原点相对于坐标系{o'}的位置矢量
o'
pc的反对称矩阵。坐标系{d}相对于坐标系{o'}的位姿加速度调节量为进一步获得位姿调节量为其中ξe的位置和姿态调节量分别为δx
do'
和δθ
do'
，其中和分别为当前{d}相对于{o'}的位姿速度和加速度调节量。在获得相对于夹爪坐标系{d}的位姿调节量ξe＝{δx
do'
,δθ
do'
}后，进而获得下一时刻夹爪的位姿控制量为ξ
fc
＝(δx
do'
+p
do
′
′
,δθ
do'
+θ
do
′
′
)
t
。采用六自由度导纳控器对夹取操作的机器人的位置和姿态调节，实现对示教位姿和力/力矩的复现。
[0079]
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.一种复现人工铺放二维织物的信息采集系统，其特征在于，包括：零件模具，其用于二维织物的铺放；压辊，人工手持压辊对铺放在零件模具上的二维织物进行压实；第一六维力/力矩传感器，其设置在压辊上，用于对压实过程中的压实力/力矩进行检测；夹爪，人工手持夹爪对二维进行拉伸；第二六维力/力矩传感器，其设置在夹爪上，用于对拉伸过程中的拉伸力/力矩进行检测；多个动捕追踪定位球，其分别设置在第一六维力/力矩传感器和第二六维力/力矩传感器上；多个动作捕捉相机，其用于记录动捕追踪定位球在人工铺放过程中的运动轨迹；深度相机，其朝向零件模具设置，用于对人工铺放过程中零件模具表面的深度数据进行采集；以及数据处理装置，其与第一六维力/力矩传感器、第二六维力/力矩传感器、多个动作捕捉相机以及深度相机电气连接。2.一种根据权利要求1任意一项所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，包括如下步骤：人工对相同零件模具上的二维织物进行多次铺放，在每次铺放过程中采用第一六维力/力矩传感器采集压辊压实过程中的压实力/力矩、采用第二六维力/力矩传感器采集夹爪拉伸过程中的拉伸力/力矩、采用多个动作捕捉相机记录动捕追踪定位球在人工铺放过程中的运动轨迹和位姿、采用深度相机采集零件模具表面的点云信息；数据处理装置根据采集的信息构建各元件的坐标系，并通过不同元件间构建的坐标系之间的变换矩阵得到相关坐标系下多个动捕追踪定位球的运动轨迹数据以及第一六维力/力矩传感器、第二六维力/力矩传感器的力/力矩信息；在单次铺放过程中，将压辊操作任务作为主任务，夹爪操作任务为辅助任务，数据处理装置根据采集的压实力/力矩采用基于压实力阈值的方法对不同区域的子任务数据进行分割，将压实力大于阈值的各条轨迹的铺放过程作为各个子动作，根据各个子任务开始和结束的时间信息，获得子动作时间内包含的压辊和夹爪操作中对应的位姿和力/力矩信息；数据处理装置根据零件模具表面点云深度信息的变化来判别人工是否完成预先根据经验划分的不同铺放区域，并根据完成各个区域铺放完成时不同的时间信息来获得不同的子任务完成过程中的信息；数据处理装置根据采集的拉伸过程中拉伸力/力矩构建示教过程中夹爪与织物的接触模型，并通过第二六维力/力矩数据获取示教过程中夹爪与织物的接触刚度；数据处理装置对多次人工重复铺放的相同任务的各个子动作数据进行编码，提取各个动作的本质特征，并对提取各个动作的本质特征进行重构，得到泛化输出的各动作模型，再按照动作和任务顺序得到各个子任务中子动作的压辊位姿、力以及夹爪的位姿、力以及接触刚度；根据各个子任务中子动作的压辊位姿、力以及夹爪的位姿、力以及接触刚度对机器人的导纳控制器进行设计从而对对机器人操作时的压辊的法向力控制器和夹爪的六维力/力
矩控制器进行设计和控制，最终实现对机器人复现人工操作技能过程的控制。3.根据权利要求2所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，构建各元件的坐标系包括：构建多个动作捕捉相机组成动作捕捉系统的坐标系{o}、安装在压辊上方的第一六维力/力矩传感器的坐标系{a}、压辊末端的坐标系{b}、安装在夹爪上方的第二六维力/力矩传感器的坐标系{c}、夹爪末端的坐标系{d}、在第一六维力/力矩传感上的动捕追踪定位球构建的刚体坐标系{e}、在第二六维力/力矩传感上的动捕追踪定位球构建的刚体坐标系{f}；根据构建的坐标系，获得坐标系{a}下的值到坐标系{e}的齐次变换矩阵、坐标系{e}下的值到坐标系{b}的齐次变换矩阵，坐标系{c}下的值到坐标系{f}的齐次变换矩阵、坐标系{d}下的值到坐标系{f}的齐次变换矩阵以及坐标系{a}下的值、坐标系{b}下的值、坐标系{c}下的值、坐标系{d}下的值、坐标系{e}下的值、坐标系{f}下的值分别到坐标系{o}的齐次变换矩阵。4.根据权利要求3所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，在铺放过程中，动作捕捉相机对第一六维力/力矩传感器上的动捕追踪定位球构成的刚体坐标系{e}在坐标系{o}下的位姿ξ
e
＝(p
e
,q
e
)
t
和第二六维力/力矩传感器上的动捕追踪定位球构成的坐标系{f}在坐标系{o}下的位姿ξ
f
＝(p
f
,θ
f
)
t
进行运动捕捉，其中p
e
和p
f
分别为位置信息，θ
e
和θ
f
分别为姿态，并根据齐次变换矩阵获得压辊坐标系{b}、夹爪坐标系{d}在坐标系{o}下的位姿分别为ξ
b
＝(p
b
,θ
b
)
t
、ξ
d
＝(p
d
,θ
d
)
t
，p
b
和p
d
分别为位置信息，θ
e
和θ
f
分别为姿态；此外，获得第一六维力/力矩传感器在坐标系{a}f
c
下的数值f
a
＝(f
a
,τ
a
)
t
，第二六维力/力矩传感器在坐标系{a}下的数值f
c
＝(f
c
,τ
c
)
t
，其中f
a
和f
c
分别为力，τ
a
和τ
c
分别为力矩信息。5.根据权利要求4所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，在建立模型前，需要对第一六维力/力矩传感器、第二六维力/力矩传感器获得的数值进行滤波处理，方法为：对采集的单条轨迹的第一六维力/力矩传感器信息f
a
和第二六维力/力矩传感器信息f
c
进行滑动窗口滤波，滑动窗口长度取值为n，计算每一个窗口中包含数据的平均值作为最终示教的力/力矩信息；对每一维度值，取滑动窗口长度为n，邻近值分别为x
i
，x
i-1
...x
i-n+1
，计算每个窗口的平均值为y
i
＝(x
i
+x
i-1
+...+x
i-n+1
)/n，进而获得滤波后的第一六维力/力矩传感器数值f
a
'＝(f
a
',τ
a
')
t
与第二六维力/力矩传感器数值f
c
'＝(f
c
',τ
c
')
t
，其中f
a
'和f
c
'分别为力数据，τ
a
'和τ
c
'分别为力矩数据。6.根据权利要求5所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，获得夹爪与织物的接触刚度的方法为：在机器人坐标系中将夹爪的夹取过程等效为二阶质量弹簧模型：其中，x分别对应为夹爪的位姿加速度、位姿速度、位姿，为各个子动作对应的示教数据，f为力/力矩，在该模型中将m等效为单位对角矩阵，b为阻尼系数，进而计算获得刚度系数k。7.根据权利要求3所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，对单次铺放所采集的数据进行分割方法为：
将二维织物铺放任务划分为二层，上层为人工根据经验对零件模具铺放的区域的先后顺序划分为m1铺放区域，将各个铺放区域作为i个不同的子任务{c1,...,c
i
}，c
i
为上层第i个子任务，底层为将各个铺放任务划分为i个单条铺放轨迹完成的子动作{c1,...,c
j
}，c
j
为底层第j个子任务；在示教过程中按照铺放区域的先后，对各个任务进行示教，并在单个任务示教过程中连续采集第一六维力/力矩传感器、第二六维力/力矩传感器的信息与各坐标系在坐标系{o}下的位姿；将人工示教铺放过程中压实力作为各个子任务示教数据的进一步分割判别依据，在压实力小于阈值f
z
时，完成当前单条轨迹的示教，进而得到完成各个子任务的示教数据。8.根据权利要求7所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，建模重构获得各个子任务中子动作中包含的压辊和夹爪信息的方法为：在每次示教过程各个区域的子动作的数目m2保持一致，在获得各个区域对应的各个子动作的多次示教数据，并通过处理获得最终子动作包含压辊处对应的轨迹ξ
e
'和力f
z
，夹爪处的轨迹ξ
d
、刚度k、力/力矩f
c
；对上述获得的各个子动作的多次示教数据进行重新采样，将数据的各个维度放置在自变量0～1的范围内，并拟合出新的曲线，然后按照相同的间隔对这些数据进行重新离散，最终乘以期望的工作时间t
exp
，获得相同离散点数目的数据；根据上述最终获得的离散点数目相同的单个子动作的数次示教数据采用高斯混合模型gmm进行聚类处理获得提取各个动作的本质特征；并采用高斯混合回归模型grm对提取的各个动作本质特征进行重构获得各个子任务中子动作中包含的压辊位姿数据ξ
bo
′
′
＝(p
bo
′
′
,θ
bo
′
′
)
t
、沿着曲面法向的期望力f
z
'以及夹爪的位姿数据ξ
do
′
′
＝(p
do
′
′
,θ
do
′
′
)
t
、力/力矩f
do
′
′
＝(f
do
′
′
,τ
do
′
′
)
t
和刚度系数k'，其中p
bo
′
′
和θ
bo
′
′
分别为压辊的位置和姿态，p
do
′
′
和θ
do
′
′
为夹爪的位置和姿态，f
do
′
′
为夹爪力，τ
do
′
′
为夹爪的力矩；将获得的压辊位姿数据转换成机器人作业时曲面法向坐标系下的压辊的位姿为ξ
bo
′”＝(p
bo
′”,θ
bo
′”)
t
，其中p
bo
′”和θ
bo
′”分别为最终压辊位置和姿态。9.根据权利要求8所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征在于，设计压辊的法向力控制器的方法为：构建机器人复现人工示教操作时的基坐标系{o'}，将各个子任务中子动作的压辊位姿转换成基坐标系{o'}下的压辊位姿；在压辊坐标系{b}处设计单向导纳控制器为其中期望力f
d
＝f
z
，z向外力f
ext
，e为位置误差，为速度误差，为加速度误差，m为质量；b为阻尼，k为刚度；通过单向导纳控制器获得压辊末端z向的加速度调节量进一步获得位置调节量为其中δt为控制周期的时间，为当前压辊z向的速度；在获得坐标系{b}下的z向位置调节量x
e
，将其变换到机器人基坐标系{o'}下的调节量，具体为并加上机器人的下一时刻的参考位姿ξ
bo
′”＝(p
bo
′”,θ
bo
′”)
t
，得到机器人的实际控制位姿为ξ
eo'c
＝(p
bo
′”+δx,θ
bo
′”)
t
。10.根据权利要求8所述的复现人工铺放二维织物的信息采集系统的复现方法，其特征
在于，设计夹爪的六维力/力矩控制器的方法为：针对夹取操作的机器人，构建机器人复现人工示教操作时的基坐标系{o'}，将各个子任务中子动作的夹爪位姿转换成基坐标系{o'}下的夹爪位姿；采用六自由度导纳控器其中，e＝ξ
fc-ξ
ext
，ξ
ext
为实际机器人执行任务过程中{d}相对于{o'}的位姿，ξ
fc
为{d}相对于{o'}的位姿控制位姿，结合控制周期δt可进一步获得速度和加速度m1为六维度对角单位质量矩阵，b1为六维对角矩阵，k1＝k'；f
ext
＝(f
ext
,τ
ext
)
t
为实际的夹爪末端第二六维力/力矩传感器真实数据；由上可得，坐标系{d}相对于坐标系{o'}的位姿加速度调节量为进一步获得位姿调节量为其中ξ
e
的位置和姿态调节量分别为δx
do'
和δθ
do'
，其中和分别为当前{d}相对于{o'}的位姿速度和加速度调节量；在获得相对于夹爪坐标系{d}的位姿调节量ξ
e
＝{δx
do'
,δθ
do'
}后，进而获得下一时刻夹爪的位姿控制量为ξ
fc
＝(δx
do'
+p
do
′
′
,δθ
do'
+θ
do
′
′
)
t
。

技术总结
本发明涉及一种复现人工铺放二维织物的信息采集系统及复现方法，系统包括将织物压实在模具表面的压辊、对织物进行拉伸变形的夹爪、在压辊和夹爪上方分别装有六维力/力矩传感器对压实和拉伸的力/力矩检测、动作捕捉系统对压辊和夹爪的运动轨迹检测、深度相机对织物在零件模具表面的状态检测。复现方法基于复现系统获得的信息对零件模具的铺放过程进行任务和动作分割，获取基本的动作数据，并采用数据编码和数据泛化的方法建立数学模型，根据建立的数据模型采用导纳控制器分别设计压辊的法向力控制器和夹爪的六维力/力矩控制器，实现对机器人复现人工操作技能过程的控制。本发明可以用于机器人自动化铺放，从而实现高质高效的铺放。高效的铺放。高效的铺放。


技术研发人员：肖晓晖 杨尚尚 张晓晖 罗国相
受保护的技术使用者：武汉大学
技术研发日：2023.05.24
技术公布日：2023/8/13