视觉与电磁融合式位置检测方法及力触觉再现系统

1.本发明属于人机交互中的位置检测技术领域，尤其涉及一种面向力触觉人机交互的视觉与电磁融合式位置检测系统和方法。


背景技术：

2.无论是在生活中，还是在人机交互中，人手的运动都是人类向外界输出最频繁和最有效的手段。在多模态人机交互中，人手运动不但是视觉再现的必要输入多模态人机交互的第一步，研究人员从不同物理规律出发，已经发展出多种追踪人手运动的成熟方法；人手运动追踪技术从基于的物理法则可以被分为：光学追踪方法、惯性追踪方法、磁学追踪方法以及声波追踪方法等等。
3.其中，光学追踪方法的精度能高达到毫米级，检测范围广，但是有环境光污染和光线遮挡这两个问题，其中后一个问题非常致命；惯性追踪方法结构小巧简单，可以安装在任意位置，但是因为其对时间积分计算的性质，有漂移问题，误差会随着时间越来越大；声波追踪方法也有物体遮挡问题，且能量发散，精度不高；磁学追踪方法具有精度高，没有物体遮挡问题，面向自然等优势，但空间中一点的磁场强度大小会随距离磁源越远而快速衰减，因而磁学追踪方法的检测范围较短。
4.光学追踪作为一种成熟的技术，广泛应用于人手追踪领域。leap motion采用了一种全新的姿态和位置跟踪系统[8]，实现高精度的双手位置跟踪，每个指尖位置的检测精度约为0.01mm，帧率高达300fps。印度的kuma等使用kinect和leap motion传感器捕获手指和手掌位置，通过两个传感器的数据融合，提高人手位置检测精度。中国台湾的qin等使用一个发光二极管光源、两个透镜阵列和两个光传感器，设计并实现了一个被称为“虚拟鼠标”的手指定位设备,其系统紧凑且分辨率高，可以代替触摸板、触摸屏、甚至鼠标。li等开发了一种用于便携式设备的裸指三维空中触摸交互技术，在相机模组上使用定向光学设计，交互范围为整个显示器表面上方1.5cm到50cm范围内，并提出了不同于肤色检测的视觉计算算法来确定指尖的位置，实现了位置平均误差小于1cm的空中触摸功能。
[0005]
近年来，研究人员们也已经开发出许多基于磁学的人手追踪方法，它们可以从磁场角度被分为直流磁场追踪方法和交流磁场追踪方法。由于永磁铁产生的磁场强度比同体积的电磁铁相对大，并且不会产生涡流效应，现有的力触觉设备一般采用永磁铁作为力传导终端。基于永磁铁制造的直流磁场的运动追踪方法主要是布设磁传感器阵列(如霍尔效应传感器、磁阻传感器等等)来追踪作为标记的永磁铁。
[0006]
丹麦哥本哈根大学的mcintosh等设计了一款空中触摸的智能手表，由手表、指尖永磁铁、手表下方的磁传感器阵列和一个激励线圈组成。其中磁传感器阵列获得该位置永磁铁的磁场强度并计算通过非线性优化算法转换成指尖的位置，从而完成点击手表特定区域的任务，在点击完成后，可以交变地驱动激励线圈从而使永磁铁振动达到力反馈的效果。使用更多的传感器可以跟踪更多的永磁铁，
[0007]
哈尔滨工业大学的song等设计了一个立体的磁传感器阵列，一共包括36个传感
器，通过收集每个传感器的数据并使用非线性优化算法，可在30cm*50cm*40cm的范围内以毫米级的精度跟踪3个永磁铁。相比于永磁铁，电磁铁具有更丰富的可操控参数和更大磁场强度上限，在多点追踪和的追踪距离超过1米的应用场合具有较大潜力。和永磁铁不同的是，因为电磁铁往往需要一个较大的电源模块供电，不适合传戴在身上，所以一般在追踪系统中电磁铁作为基座固定在地面来追踪佩戴在用户身上的一个或多个传感器。
[0008]
目前比较成熟的基于磁学的商业运动追踪产品都基于电磁铁，如polhemus、stem、razer等公司下的系列产品。其中polhemus公司下viper系列可在3m到6m的距离内全姿态跟踪多达16个传感器，其刷新率最高可达960hz。在算法层面，不论永磁铁还是电磁铁系统，一般会采取将磁铁看作一个磁偶极子，并基于磁偶极子模型设计优化算法或其他算法。对于不能将磁铁视为磁偶极子的情况，如距离磁铁离传感器距离太近、磁铁形状和磁偶极子模型不适应等，可以采取查表法或神经网络算法。
[0009]
基于磁偶极子模型的优化算法主要缺点是计算耗时较长，这主要由代价函数待求解参量数目、优化方法、初始猜测的选择有关。基于人手运动学构建人手指尖相对手掌中心位置和姿态的约束关系式，可以减少代价函数的待求解参量数目，减少优化函数计算的时间。ma等人开发了一套穿戴式的手势识别系统，该系统在手腕处穿戴含有磁场传感器的手环，在指尖安装永磁铁，基于人手运动学和磁场传感器的输出，可以获得指尖的6d位姿并进而重构出手指每个关节的弯曲角度，进而完成手势识别。


技术实现要素：

[0010]
针对上述技术问题，本发明的目的在于提出一种面向力触觉人机交互的视觉与电磁融合式位置检测系统和方法，实现在力触觉应用中功能复用的、面向自然的、无遮挡的、更快更准确的位置检测。
[0011]
本发明提出的面向力触觉人机交互的视觉与电磁融合式位置检测方法，所述方法包含：
[0012]
步骤一，建立包括虚拟手和虚拟物体模型的虚拟场景，并建立背景电磁铁模块内部真实操作空间与虚拟场景的空间映射关系，以及指尖电磁铁模块与虚拟手的三维位置映射关系；
[0013]
步骤二，基于电磁感应原理获得指尖电磁铁子模块6d位姿与各背景电磁铁子模块感应电压之间的关系；基于人手正运动学获得指尖相对手掌中心的3d位置和3d姿态的约束关系，构建指尖位姿数据表；
[0014]
步骤三，仿真得到指尖电磁铁模块的6d位姿、驱动电流和背景电磁铁模块驱动电流对于指尖电磁铁模块各个磁矩分量的作用力的映射关系，获取其离线仿真数据；
[0015]
步骤四，基于光学方法获得待检测指尖的数目和初始6d位姿；
[0016]
步骤五，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，电压传感模块获得背景电磁铁两端电压，经滤波后获得各指尖电磁铁子模块的感应电压；根据光学方法获得手掌中心的6d位姿，结合指尖电磁铁模块上一次或初始的3d位置，查询指尖位姿数据表获得指尖电磁铁模块的3d姿态；
[0017]
基于所述指尖电磁铁模块的3d姿态和背景电磁铁的感应电压，建立代价函数并使用迭代的方法求解，最终获得指尖电磁铁模块的6d位姿；
[0018]
步骤六，基于指尖与虚拟物体在虚拟场景的力触觉交互模型，计算当前时刻指尖电磁铁模块目标3d反馈力；指尖电磁铁模块和背景电磁铁模块切换为力触觉再现模式，根据离线仿真数据和给定的指尖电磁铁模块6d位姿和目标三维反馈力，得到指尖电磁铁模块和背景电磁铁模块需要的驱动电流。
[0019]
进一步的，所述背景电磁铁模块由3对互相平行的空心圆柱形电磁铁子模块正交放置组成，每对电磁铁子模块的间距相同且等于各自的外径，每对中轴线的中心点重合；以所述背景电磁铁模块几何中心作为原点，设定任意一个子模块中轴线为x轴，设定任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{g}；
[0020]
所述背景电磁铁子模块是1个由多层均匀密绕圆形线圈密绕而成的空心圆柱线圈，匝数为n1，6个子模块emx1,emx2，emy1,emy2，emz1,emz2的物理参数完全相同；每个背景电磁铁子模块两端都和电压传感模块相接；
[0021]
所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构；对所有指尖电磁铁模块，以指尖电磁铁模块几何中心作为原点，设定任意一个子模块中轴线为x轴，设定任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{si}；编号为i的指尖电磁铁模块的6d位姿为(xi，yi，zi，αi，βi，γi),其中(xi，yi，zi)为指尖电磁铁模块在空间坐标系{g}中的位置坐标，(αi，βi，γi)分别为指尖电磁铁模块绕坐标系{si}中x,y,z轴旋转的角度；编号为i的指尖电磁铁模块命名为em
fti
，其x,y,z方向上的指尖电磁铁子模块分别被命名为em
ftix
，em
ftiy
，em
ftiz
，各指尖电磁铁子模块物理参数完全相同，匝数为n2，所述指尖电磁铁子模块由两个位于同一方向的圆形线圈串联而成，在空间上呈重叠状。
[0022]
进一步的，基于人手正运动学，将人手骨骼作为一个连杆结构，当人手掌水平放置时，获得指尖位置和姿态的确定关系，并构建指尖位姿数据表，所述指尖位置和姿态的确定关系表达式为：
[0023]
[αi，βi，γi]＝f(xi，yi，zi，l)
[0024]
其中l＝[l1，l2，l3，...ln]是手掌各指骨和掌骨的长度的集合。
[0025]
进一步的，所述步骤四具体为，在系统开启时，人手水平放置于操作空间中，所有手指伸开。此时进行第一次进行位置检测，以基于光学的方法获得待检测指尖数目，和对应的各指骨和各掌骨的长度集合l，以及各待测指尖的初始6d位姿。
[0026]
进一步的，所述步骤五包括：
[0027]
步骤5.1，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，所述位置检测模式，以幅值为u
sigmax
的正弦波驱动电流激励所有指尖电磁铁子模块，各指尖电磁铁子模块的频率分别为f
1x
，f
1y
，f
1z
，f
2x
，
…fnz
，最小信号频率f
min
和最大信号频率f
max
之间呈等量递增关系；
[0028]
关闭所有背景电磁铁子模块的驱动通道，开启电压传感模块；位置检测模式的持续时间ts大于指尖电磁铁子模块的时间常数τ
ft
；
[0029]
步骤5.2，以定位em
ft1
为例，基于上一次的定位结果，选择距离em
ft1
较远的三个背景电磁铁子模块，设定为emx1，emy1，emz1，电压传感模块获得对应的背景电磁铁两端电压u
x1
，u
y1
，u
z1
；测得的感应电压经数字滤波后分离出属于各指尖电磁铁子模块的电压分量；
[0030]
对于emx1，根据感应电压理论计算值和实际测量值，建立代价函数：
[0031][0032]
其中m
x1
＝(o
x1x
，o
x1y
，o
x1z
，m
x1
，n
x1
，p
x1
)代表背景电磁铁子模块emx1的几何中心的位置和朝向；该代价函数所解出的指尖电磁铁位置为(x
1_x1
，y
1_x1
，z
1_x1
)；
[0033]
以相同的方式构建emy1和emz1关于em
ft1
的代价函数，解出的指尖电磁铁位置分别为(x
1_y1
，y
1_y1
，z
1_y1
)，(x
1_z1
，y
1_z1
，z
1_z1
)；指尖电磁铁子模块em
ft1
的位置表示为：
[0034][0035][0036][0037]
用相同的方法构建其余指尖电磁铁定位所需的代价函数；
[0038]
步骤5.3，使用光学方法获得手掌掌心的6d位姿，结合手掌掌心的6d位姿和上一次的指尖位置，查询指尖位姿数据表，获得待检测指尖的3d姿态。
[0039]
进一步的，将指尖的3d姿态结合已建立的代价函数，使用优化算法得到每个代价函数三个位置变量的数值解，从而获得所有指尖电磁铁模块的6d位姿。
[0040]
本技术还提供非接触式力触觉再现系统，所述触觉再现系统包含背景电磁铁模块、指尖电磁铁模块、摄像头模块、电压传感模块、电磁铁驱动模块、电源模块和中央控制模块；
[0041]
所述背景电磁铁模块包含3对空间上正交的6个背景电磁铁子模块，每个方向上两个电磁铁子模块；
[0042]
所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构；
[0043]
所述电压传感模块包含限压模块和电压传感器，所述限压模块限制电压传感器输入信号不超过最大值，所述电压传感器将模拟信号转换成数字信号；
[0044]
所述电磁铁驱动模块包含电磁铁控制子模块和电磁铁驱动子模块，所述电磁铁控制子模块用于接收来自中央控制模块的控制信息，并生成pwm信号来控制电磁铁驱动子模块输出所需电信号；
[0045]
所述中央控制模块根据如权利要求1所述的位置检测方法得到指尖6d位置位姿，计算指尖代理在虚拟环境之中的交互力，并输出驱动信号。
[0046]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0047]
(1)基于视觉和电磁融合式位置检测方法可以加快磁场位置检测算法的速度，从而提高了动态精度和整体沉浸感。
[0048]
(2)基于视觉和电磁融合式位置检测方法可以大大降低光线遮挡、光线污染
[0049]
等情况的干扰，提高了位置检测的精度和鲁棒性。
[0050]
(3)功能复用的背景电磁铁模块和指尖电磁铁模块使得力触觉人机交互系统更加紧凑，降低了整体成本，扩大了操作空间。
附图说明
[0051]
图1是背景电磁铁模块与指尖电磁铁模块的结构示意图；
[0052]
图2是一种面向力触觉再现的视觉和电磁融合式位置检测系统的结构示意图。
具体实施方式
[0053]
对本发明的控制方法进行清晰、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0054]
实施例1
[0055]
本实施例提供非接触式力触觉再现系统，所述面向力触觉人机交互的视觉与电磁融合式位置检测系统如图2所示，面向力触觉再现人机交互的视觉与电磁融合式系统，包含背景电磁铁模块1、指尖电磁铁模块2、电压传感模块3、摄像头模块4、电磁铁驱动控制模块5、和中央控制模块6。
[0056]
所述背景电磁铁模块包含3对空间上正交的6个背景电磁铁子模块，每个方向上两个电磁铁子模块；
[0057]
所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构；
[0058]
所述电压传感模块包含限压模块和电压传感器，所述限压模块限制电压传感器输入信号不超过最大值，所述电压传感器将模拟电压信号转换成数字信号。
[0059]
所述电磁铁驱动模块包含电磁铁子模块和电磁铁驱动子模块，所述电磁铁子模块用于接收来自中央控制模块的控制信息，并生成pwm信号来控制电磁铁驱动子模块输出所需电信号；
[0060]
所述中央控制模块根据指尖位置信息与虚拟环境之间的交互，得到三维反馈力，并根据多点交互触觉再现控制算法，来实现从力到电磁铁激励电流的映射。
[0061]
进一步的，所述背景电磁铁模块通入特定激励电流以产生需要的背景电磁铁。背景电磁铁模块由3对互相平行的空心圆柱形电磁铁子模块正交放置组成，每对电磁铁子模块的间距相同且等于各自的外径，每对中轴线的中心点是重合的。以所述背景电磁铁模块几何中心作为原点，选取任意一个子模块中轴线为x轴，选取任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{g}；
[0062]
所述背景电磁铁子模块是1个由多层均匀密绕圆形线圈密绕而成的空心圆柱线圈，匝数为n1，6个子模块emx1,emx2，emy1,emy2，emz1,emz2的物理参数完全相同。每个背景电磁铁子模块两端都和电压传感模块相接。
[0063]
所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构，编号为i的指尖电磁铁模块的x,y,z方向上的指尖电磁铁子模块分别被命名为emftix，emftiy，em
ftiz
，分别对应3个力触觉再现模式驱动电流i
ftix
、u+i
ftiy
、i
ftiz
和位置检测模式驱动电流子模块最大安全电流为i
ftmax
；所述指尖电磁铁子模块由两个位于同一方向的圆形线圈串联而成，在空间上呈重叠状；
[0064]
所述电压传感模块包含限压模块和电压传感器，所述限压模块限制电压传感器输入信号不超过最大值，所述电压传感器将模拟电压信号转换成数字信号。
[0065]
所述电磁铁驱动模块由电磁铁子模块和电磁铁驱动子模块组成；所述电磁铁子模
块用于接收来自中央控制模块的控制信息，并生成pwm信号来控制电磁铁驱动子模块输出所需电信号；
[0066]
所述中央控制模块根据背景电磁铁的感应电压计算得到指尖6d位置位姿，计算指尖代理在虚拟环境之中的交互力，并输出驱动信号。
[0067]
进一步的，所述的三维背景电磁铁模块的每一个子模块，其内外径长度分别为r1、r2，高度为l，最大安全电流为i
max
；
[0068]
进一步的，指尖电磁铁模块由3个正交放置的圆心在同一点的圆柱形空心线圈子模块组成，每个子模块由两个线圈串联而成，在空间上是内外重叠的。
[0069]
实施例2
[0070]
本实施例为面向力触觉人机交互的视觉与电磁融合式位置检测方法，所述力触觉人机交互基于背景电磁铁和指尖电磁铁模块的电磁力作用实现，所述方法包含：
[0071]
步骤一，建立包括虚拟手和虚拟物体模型的虚拟场景，并建立背景电磁铁模块内部真实操作空间与虚拟场景的空间映射关系，以及指尖电磁铁模块与虚拟手的三维位置映射关系；
[0072]
步骤二，基于电磁感应原理，获得指尖电磁铁子模块6d位姿与各背景电磁铁子模块感应电压之间的关系。基于人手正运动学，获得指尖相对手掌中心的3d位置和3d姿态的约束关系，并构建指尖位姿数据表；
[0073]
步骤三，使用有限元方法，仿真得到指尖电磁铁模块的6d位姿、驱动电流和背景电磁铁模块驱动电流对于指尖电磁铁模块各个磁矩分量的作用力的映射关系，获取其离线仿真数据；
[0074]
步骤四，基于光学方法获得待检测指尖的数目和初始6d位姿；
[0075]
步骤五，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，电压传感模块获得背景电磁铁两端电压，经滤波后获得各指尖电磁铁子模块的感应电压；根据光学方法获得手掌中心的6d位姿，结合指尖电磁铁上一次或初始的3d位置，查询指尖位姿数据表获得指尖电磁铁模块的3d姿态；
[0076]
基于指尖电磁铁模块的3d姿态和背景电磁铁的感应电压，中央控制模块建立代价函数并使用迭代的方法求解，最终获得指尖电磁铁模块的6d位姿；
[0077]
步骤六，基于指尖与虚拟物体在虚拟场景的力触觉交互模型，中央控制模块计算当前时刻指尖电磁铁模块目标三维反馈力。指尖电磁铁模块和背景电磁铁模块切换为力触觉再现模式，根据离线仿真数据和给定的指尖电磁铁模块6d位姿和目标三维反馈力，控制驱动板输出指尖电磁铁模块和背景电磁铁模块需要的驱动电流。
[0078]
所述步骤一中，背景电磁铁模块由3对互相平行的空心圆柱形电磁铁子模块正交放置组成，每对电磁铁子模块的间距相同且等于各自的外径，每对中轴线的中心点是重合的。以所述背景电磁铁模块几何中心作为原点，选取任意一个子模块中轴线为x轴，选取任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{g}；
[0079]
所述背景电磁铁子模块是1个由多层均匀密绕圆形线圈密绕而成的空心圆柱线圈，匝数为n1，6个子模块emx1,emx2，emy1,emy2，emz1,emz2的物理参数完全相同。每个背景电磁铁子模块两端都和电压传感模块相接。
[0080]
所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球
形结构。对所有指尖电磁铁模块，以指尖电磁铁模块几何中心作为原点,选取任意一个子模块中轴线为x轴，选取任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{si}。编号为i的指尖电磁铁模块的6d位姿为(xi，yi，zi，αi，βi，γi),其中(xi，yi，zi)为指尖电磁铁模块在空间坐标系{g}中的位置坐标，(αi，βi，γi)分别为指尖电磁铁模块绕坐标系{si}中x,y,z轴旋转的角度。编号为i的指尖电磁铁模块的x,y,z方向上的指尖电磁铁子模块分别被命名为em
ftix
，em
ftiy
，em
ftiz
，子模块物理参数完全相同，匝数为n2，且分别对应3个驱动电流i
ftix
、i
ftiy
、i
ftiz
；所述指尖电磁铁子模块由两个位于同一方向的圆形线圈串联而成，在空间上呈重叠状；
[0081]
进一步的，所述步骤二包含：
[0082]
步骤2.1，基于电磁学理论，指尖电磁铁子模块em
ftix
可以视为磁偶极子，在背景电磁铁子模块emx1上产生的感应电压u
′
x1_x
可以表示为
[0083][0084]
其中，ω
1x
为em
ftix
的正弦波电流频率，是一个常数，其中μ0是空气中磁导率，m是em
ftix
的磁矩幅值；r＝f(αi，βi，γi)是em
ftix
的旋转矩阵,是em
ftix
的磁矩单位方向矢量，r代表从em
ftix
指向emx1圆环上某点的空间矢量。
[0085]
进一步的，可以获得指尖电磁铁子模块em
ftiy
、em
ftiz
在背景电磁铁子模块emx1上产生的感应电压u
′
x1_y
和u
′
x1_y
的表达式。
[0086]
进一步的，可以将上述表达式推广到其余背景电磁铁子模块。
[0087]
步骤2.2，，基于人手正运动学，将人手骨骼视作一个连杆结构，当人手掌水平放置时，可以获得指尖位置和姿态唯一确定的关系，并构建指尖位姿数据表，具体关系表达式为：
[0088]
[αi，βi，γi]＝f(xi，yi，zi，l)
[0089]
其中l＝[l1，l2，l3，...ln]是手掌各指骨和掌骨的长度集合。
[0090]
所述步骤三中包含：
[0091]
步骤3.1，对背景电磁铁子模块emx1进行仿真，使其电流在-i
max
到i
max
之间递增，在x轴上取0到l+2r1，在y轴上取-r1到r1，r1为背景电磁铁的内径，l为三维背景电磁铁模块的高度，在z轴上取-r1到r1为仿真空间，r1为背电磁铁模块的子模块的内径长度；
[0092]
使用有限元方法，获得该空间内背景磁场分布，计算指尖电磁铁子模块emft1x的受力情况，具体关系表达为：
[0093]
f＝f(xi，yi，zi，αi，βi，γi，i
x1
，i
ft1x
，i
ft1y
，i
ft1z
)
[0094]
步骤3.2，将所得到的emx1对emft1x的离线仿真数据推广到emft1y和emft1z，从而得到emx1对整个指尖电磁铁emft1的离线仿真数据；
[0095]
步骤3.3，将所得到的emx1对指尖电磁铁emft1的离线仿真数据推广到其余背景电磁铁emx2、emy1
…
emz2，从而得到整个三维背景电磁铁对emft1的离线仿真数据将的其他所有背景电磁铁子模块，从而得到整个背景电磁铁模块的离线仿真数据。
[0096]
所述步骤四具体为，在系统开启时，人手水平放置于操作空间中，所有手指伸开。此时进行第一次位置检测，以基于光学的方法获得待检测指尖数目，和对应的各指骨和各
掌骨的长度，以及各待测指尖的初始6d位姿。
[0097]
所述步骤五包含以下步骤：
[0098]
步骤5.1，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，所述位置检测模式，指的是以幅值为u
sigmax
的正弦波驱动电流激励所有指尖电磁铁子模块em
ft1x
，em
ft1y
，em
ft1z
，em
ft2x
…
em
ftnz
，频率分别为f
1x
，f
1y
，f
1z
，f
2x
，
…fnz
，它们在最小信号频率f
min
和最大信号频率f
max
之间呈等量递增关系；同时，关闭所有背景电磁铁子模块的驱动通道，开启电压传感模块。位置检测模式的持续时间ts大于指尖电磁铁子模块的时间常数τ
ft
。
[0099]
步骤5.2，以定位em
ft1
为例，为了保证磁偶极子模型的有效性，基于上一次的定位结果，选择距离em
ft1
较远的三个背景电磁铁子模块，假设为emx1,emy1,emz1,电压传感模块获得对应的背景电磁铁两端电压u
x1
，u
y1
，u
z1
。测得的感应电压经数字滤波后分离出属于各指尖电磁铁子模块的电压分量。
[0100]
对于emx1，根据感应电压理论计算值和实际测量值，建立代价函数：
[0101][0102]
其中m
x1
＝(o
x1x
，o
x1y
，o
x1z
，m
x1
，n
x1
，p
x1
)代表背景电磁铁子模块emx1的几何中心的位置和朝向。该代价函数所解出的指尖电磁铁位置为(x
1_x1
，y
1_x1
，z
1_x1
)
[0103]
以相同的方式构建emy1和emz1关于em
ft1
的代价函数，解出的指尖电磁铁位置分别为(x
1_y1
，y
1_y1
，z
1_y1
)，(x
1_z1
，y
1_z1
，z
1_z1
)。指尖电磁铁子模块em
ft1
的位置可以表示为：
[0104][0105][0106][0107]
用相同的方法构建其余指尖电磁铁定位所需的代价函数。
[0108]
步骤5.3，使用光学方法获得手掌掌心的6d位姿。基于指尖相对位置和相对姿态关系式，结合手掌掌心的6d位姿和上一次的指尖位置，获得待检测指尖的3d姿态。
[0109]
进一步的，将指尖的3d姿态结合已建立的代价函数，使用优化算法得到每个代价函数三个位置变量的数值解，从而获得所有指尖电磁铁模块的6d位姿。
[0110]
所述步骤六包含以下步骤
[0111]
步骤6.1，基于人手指与虚拟物体在虚拟场景的力触觉交互模型，中央控制模块计算当前时刻指尖电磁铁模块目标三维反馈力。指尖电磁铁模块和背景电磁铁模块切换为力触觉再现模式；
[0112]
步骤6.2，根据离线仿真数据和给定的指尖电磁铁模块6d位姿和目标三维反馈力，中央控制模块计算所有背景电磁铁和指尖电磁铁驱动电流，并输出pwm信号控制驱动模块调整指尖电磁铁模块和背景电磁铁模块驱动电流。
[0113]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明
的保护范围之内。

技术特征：
1.面向力触觉人机交互的视觉与电磁融合式位置检测方法，其特征在于，所述方法包含：步骤一，建立包括虚拟手和虚拟物体模型的虚拟场景，并建立背景电磁铁模块内部真实操作空间与虚拟场景的空间映射关系，以及指尖电磁铁模块与虚拟手的三维位置映射关系；步骤二，基于电磁感应原理获得指尖电磁铁子模块6d位姿与各背景电磁铁子模块感应电压之间的关系；基于人手正运动学获得指尖相对手掌中心的3d位置和3d姿态的约束关系，构建指尖位姿数据表；步骤三，仿真得到指尖电磁铁模块的6d位姿、驱动电流和背景电磁铁模块驱动电流对于指尖电磁铁模块各个磁矩分量的作用力的映射关系，获取其离线仿真数据；步骤四，基于光学方法获得待检测指尖的数目和初始6d位姿；步骤五，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，电压传感模块获得背景电磁铁两端电压，经滤波后获得各指尖电磁铁子模块的感应电压；根据光学方法获得手掌中心的6d位姿，结合指尖电磁铁模块上一次或初始的3d位置，查询指尖位姿数据表获得指尖电磁铁模块的3d姿态；基于所述指尖电磁铁模块的3d姿态和背景电磁铁的感应电压，建立代价函数并使用迭代的方法求解，最终获得指尖电磁铁模块的6d位姿；步骤六，基于指尖与虚拟物体在虚拟场景的力触觉交互模型，计算当前时刻指尖电磁铁模块目标3d反馈力；指尖电磁铁模块和背景电磁铁模块切换为力触觉再现模式，根据离线仿真数据和给定的指尖电磁铁模块6d位姿和目标三维反馈力，得到指尖电磁铁模块和背景电磁铁模块需要的驱动电流。2.根据权利要求1所述的视觉与电磁融合式位置检测方法，其特征在于，所述背景电磁铁模块由3对互相平行的空心圆柱形电磁铁子模块正交放置组成，每对电磁铁子模块的间距相同且等于各自的外径，每对中轴线的中心点重合；以所述背景电磁铁模块几何中心作为原点，设定任意一个子模块中轴线为x轴，设定任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{g}；所述背景电磁铁子模块是1个由多层均匀密绕圆形线圈密绕而成的空心圆柱线圈，匝数为n1，6个子模块emx1,emx2，emy1,emy2，emz1,emz2的物理参数完全相同；每个背景电磁铁子模块两端都和电压传感模块相接；所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构；对所有指尖电磁铁模块，以指尖电磁铁模块几何中心作为原点，设定任意一个子模块中轴线为x轴，设定任意一个其他方向的子模块中轴线为y轴，根据右手法则确定z轴，建立空间坐标系{s
i
}；编号为i的指尖电磁铁模块的6d位姿为(x
i
，y
i
，z
i
，α
i
，β
i
，γ
i
),其中(x
i
，y
i
，z
i
)为指尖电磁铁模块在空间坐标系{g}中的位置坐标，(α
i
，β
i
，γ
i
)分别为指尖电磁铁模块绕坐标系{s
i
}中x,y,z轴旋转的角度；编号为i的指尖电磁铁模块命名为em
fti
，其x,y,z方向上的指尖电磁铁子模块分别被命名为em
ftix
，em
ftiy
，em
ftiz
，各指尖电磁铁子模块物理参数完全相同，匝数为n2，所述指尖电磁铁子模块由两个位于同一方向的圆形线圈串联而成，在空间上呈重叠状。3.根据权利要求2所述的视觉与电磁融合式位置检测方法，其特征在于，基于人手正运
动学，将人手骨骼作为一个连杆结构，当人手掌水平放置时，获得指尖位置和姿态的确定关系，并构建指尖位姿数据表，所述指尖位置和姿态的确定关系表达式为：[α
i
，β
i
，γ
i
]＝f(x
i
，y
i
，z
i
，l)其中l＝[l1，l2，l3，...l
n
]是手掌各指骨和掌骨的长度的集合。4.根据权利要求3所述的视觉与电磁融合式位置检测方法，其特征在于，所述步骤四具体为，在系统开启时，人手水平放置于操作空间中，所有手指伸开。此时进行第一次进行位置检测，以基于光学的方法获得待检测指尖数目，和对应的各指骨和各掌骨的长度集合l，以及各待测指尖的初始6d位姿。5.根据权利要求3所述的视觉与电磁融合式位置检测方法，其特征在于，所述步骤五包括：步骤5.1，指尖电磁铁模块和背景电磁铁模块切换为位置检测模式，所述位置检测模式，以幅值为u
sigmax
的正弦波驱动电流激励所有指尖电磁铁子模块，各指尖电磁铁子模块的频率分别为f
1x
，f
1y
，f
1z
，f
2x
，
…
f
nz
，最小信号频率f
min
和最大信号频率f
max
之间呈等量递增关系；关闭所有背景电磁铁子模块的驱动通道，开启电压传感模块；位置检测模式的持续时间t
s
大于指尖电磁铁子模块的时间常数τ
ft
；步骤5.2，以定位em
ft1
为例，基于上一次的定位结果，选择距离em
ft1
较远的三个背景电磁铁子模块，设定为emx1，emy1，emz1，电压传感模块获得对应的背景电磁铁两端电压u
x1
，u
y1
，u
z1
；测得的感应电压经数字滤波后分离出属于各指尖电磁铁子模块的电压分量；对于emx1，根据感应电压理论计算值和实际测量值，建立代价函数：其中m
x1
＝(o
x1x
，o
x1y
，o
x1z
，m
x1
，n
x1
，p
x1
)代表背景电磁铁子模块emx1的几何中心的位置和朝向；该代价函数所解出的指尖电磁铁位置为(x
1_x1
，y
1_x1
，z
1_x1
)；以相同的方式构建emy1和emz1关于em
ft1
的代价函数，解出的指尖电磁铁位置分别为(x
1_y1
，y
1_y1
，z
1_y1
)，(x
1_z1
，y
1_z1
，z
1_z1
)；指尖电磁铁子模块em
ft1
的位置表示为：的位置表示为：的位置表示为：用相同的方法构建其余指尖电磁铁定位所需的代价函数；步骤5.3，使用光学方法获得手掌掌心的6d位姿，结合手掌掌心的6d位姿和上一次的指尖位置，查询指尖位姿数据表，获得待检测指尖的3d姿态。6.根据权利要求3所述的视觉与电磁融合式位置检测方法，其特征在于，将指尖的3d姿态结合已建立的代价函数，使用优化算法得到每个代价函数三个位置变量的数值解，从而获得所有指尖电磁铁模块的6d位姿。7.非接触式力触觉再现系统，其特征在于，所述触觉再现系统包含背景电磁铁模块、指尖电磁铁模块、摄像头模块、电压传感模块、电磁铁驱动模块、电源模块和中央控制模块；
所述背景电磁铁模块包含3对空间上正交的6个背景电磁铁子模块，每个方向上两个电磁铁子模块；所述指尖电磁铁模块采用3个指尖电磁铁子模块对称放置于3个正交方向上的球形结构；所述电压传感模块包含限压模块和电压传感器，所述限压模块限制电压传感器输入信号不超过最大值，所述电压传感器将模拟信号转换成数字信号；所述电磁铁驱动模块包含电磁铁控制子模块和电磁铁驱动子模块，所述电磁铁控制子模块用于接收来自中央控制模块的控制信息，并生成pwm信号来控制电磁铁驱动子模块输出所需电信号；所述中央控制模块根据如权利要求1所述的位置检测方法得到指尖6d位置位姿，计算指尖代理在虚拟环境之中的交互力，并输出驱动信号。

技术总结
本发明公开一种视觉与电磁融合式位置检测方法及力触觉再现系统，该系统包括背景电磁铁模块、指尖电磁铁模块、摄像头模块、电压传感模块、电磁铁驱动模块、电源模块和中央控制模块。基于电磁感应原理获得指尖电磁铁模块6D位姿与背景电磁铁模块理论感应电压之间的关系；基于人手正运动学获得指尖相对手掌中心的3D位置和3D姿态关系式；根据测量感应电压和理论感应电压建立代价函数；使用光学方法和指尖位姿数据表减少代价函数的参数，在中央控制模块通过迭代方式计算代价函数，获得指尖电磁铁6D位姿基于指尖电磁铁模块的6D位姿，中央控制模块计算虚拟手在虚拟交互环境中受到的交互力，并输出控制信号给电磁铁驱动模块，以实现力触觉再现。觉再现。觉再现。


技术研发人员：易家文 陆熊 章传龙
受保护的技术使用者：南京航空航天大学
技术研发日：2023.05.30
技术公布日：2023/10/7