一种光学运动捕捉中的多目视觉系统主相机选择方法

1.本发明属于计算机视觉领域，具体涉及一种光学运动捕捉中的多目视觉系统主相机选择方法。


背景技术：

2.基于光学动捕原理构建的运动测量系统可以将摄像机视野范围内目标的运动“冻结”在图像上；之后经过三维重建方法可计算目标物体的空间坐标和对运动进行六个自由度的分解来准确获取目标物体的运动信息。该技术由于具有无干扰、高精度、大场景等方面的优势，在海工模型实验中发挥了巨大的作用。
3.光学运动捕捉系统基于多台摄像机组成一个摄像机网络(又称为多目视觉系统)，通过对此视觉系统的标定来获得各个摄像机的参数；之后，利用摄像机参数和捕获目标的图像坐标对所测物体的空间坐标进行重构，并进行六自由度运动分解来获得运动信息。标定的精度直接影响到运动测量的数据质量，因此对该过程的优化十分重要。
4.在多目视觉系统的标定过程中，不仅要获得各个摄像机的内参数，还要准确计算摄像机之间的空间位置关系(外参数)，因此需要选择一台摄像机作为主相机，并将其摄像机坐标系作为摄像机网络的全局坐标系，而其他摄像机的坐标将统一到这个全局坐标系中(李同彬,董帅.多相机全局三维测量中相机分布形式研究[j].光电技术应用,2019,34(2):11-16.)。目前，使用运动捕捉系统时，完成摄像机编号后，这个主相机常常将布置摄像机时人工设置编号为“1”的相机作为主相机(张贵阳,霍炬,杨明,等.多相机网络联合约束优化的高精度三维变形全场测量[j].光学精密工程,2021,29(07):1653-1666.)。这种选择方法较为方便，但缺少多视几何理论上的支撑，所以系统的整体误差控制方面存在很大的提升空间。而在实际中，由多目视觉系统组成的网络中各个摄像机节点标定误差不同，因此进行外参数全局统一分析时，会因主相机的位置不同而导致标定后整个视觉系统的重构误差出现较大的变化，因此如何选择出最优的主相机对光学运动捕捉系统的测量精度是至关重要的，设计一种光学运动捕捉中的多目视觉系统主相机选择方法是具有很大的应用价值。


技术实现要素：

[0005]
针对光学运动捕捉应用时多目视觉系统的系统标定优化问题，本发明聚焦主相机的选择方法设计，将多台摄像机组成的网络作为有权无向图进行误差传递分析，并在此基础上提出了一种光学运动捕捉中的多目视觉系统主相机选择方法。该方法运用有权无向图获得相机结点之间的最短连通路径，利用反投影误差和均方差的加权平均值来构建评价函数，从而评估参考相机选择的合理性。本发明所提方法为多目视觉系统主相机的选择提供了有效的技术方案，可大幅度提高运动捕捉系统的整体标定精度。
[0006]
本发明的技术方案：
[0007]
一种光学运动捕捉中的多目视觉系统主相机选择方法，包括步骤如下：
[0008]
步骤a：按照运动测量实验需求，在被测目标上安装marker标志点，并完成m台摄像
机(运动捕捉系统中一般采用网络接口的高速工业摄像机)的布置，同时对摄像机进行编号(编号仅需满足不重复的要求)，如：1，2，3
…
m；之后，将摄像机连接到poe交换机上，交换机也同样通过网线与用户pc机的网口相连；
[0009]
步骤b：基于多视图几何原理，采用一维标定杆或二维标定板对两两相机进行内外参数计算，将每台摄像机作为节点并基于反投影误差构建有权无向图；
[0010]
步骤c：选择一台摄像机作为主相机，并在无向图中将该相机结点作为主结点；
[0011]
步骤d：在无向图中寻找其他摄像机结点到主相机结点的最短路径；
[0012]
步骤e：计算每一条路径上权值的均值和各条路径权值的均方差
[0013]
步骤f：基于设定的两个权重值ω1和ω2，根据式(1)计算该台摄像机作为主相机的qj值；
[0014][0015]
步骤g：反复执行步骤c-步骤f，直到计算完毕每台摄像机作为主相机的qj值；
[0016]
步骤h：比较各个摄像机的qj值，选择qj值最小的所对应的摄像机作为主相机。根据qj值选择的主相机，不仅控制了总体误差，而且还考虑了各个相机误差分布的均衡性，可为平差过程提供更好的初值。
[0017]
一种光学运动捕捉中的多目视觉系统主相机选择方法，包括用于标识目标用的marker点、若干台工业摄像机、poe网络交换机、pc机以及标定摄像机参数所使用的标定板或标定杆；各台摄像机和pc机均通过网线连接到网络交换机；摄像机的布置需根据测量目标的运动范围来合理安排，以使得目标物始终处于摄像机网络的视区范围内。在安装完毕设备，进行运动捕捉系统标定时，首先通过poe网络交换机，在pc机中对参与运动捕捉的摄像机所采集的图像进行抓取，并对摄像机进行两两组合；再基于多视图几何原理，使用二维标定板或一维标定杆进行摄像机内外参数的计算，同时根据反投影误差构建摄像机网络的有权无向图；然后在无向图上逐次选择摄像机作为主相机进行评估值q的计算；最后选择具有最小q值的摄像机作为主相机。
[0018]
本发明的有益效果：运动捕捉系统标定过程中充分考虑了摄像机网络的误差分布因素，尤其针对多台摄像机(数量上超过4台)组成的多目视觉系统的主相机选择问题，通过构建有权无向图来优化误差传递的路径，并采用路径均值与方差来构建主相机选择评估函数。本发明不仅使得运动捕捉系统标定过程中主相机的选择更加科学合理，误差控制更加有效，而且整个过程均在pc机中自动完成，无需人工操作，效率和易用性更高。
附图说明
[0019]
图1是光学运动捕捉系统的结构示意图。
[0020]
图2是工业摄像机布置位置关系示意图。
[0021]
图3是用于测试的样本数据，其中，(a)为样本分布；(b)为共视关系。
[0022]
图4是相机各个节点的有权无向图。
[0023]
图5是反投影误差变化曲线。
[0024]
图中：1marker标识点；2工业摄像机；3poe网络交换机；4pc机；5二维标定板；6一维标定杆。
具体实施方式
[0025]
以下结合附图对本发明的实施方式作进一步描述。
[0026]
一种光学运动捕捉中的多目视觉系统主相机选择方法，其结构示意如附图1所示：
[0027]
一种光学运动捕捉中的多目视觉系统主相机选择方法，由用于标识目标用的marker点1、若干台工业摄像机2、poe网络交换机3、pc机4以及标定摄像机参数所使用的标定板5或标定杆；各台工业摄像机2和pc机4均通过网线连接到网络交换机3；工业摄像机2的布置需根据测量目标的运动范围来合理安排，以使得目标物始终处于工业摄像机2网络的视区范围内。在安装完毕设备，进行运动捕捉系统标定时，首先通过poe网络交换机3，在pc机4中对参与运动捕捉的工业摄像机2所采集的图像进行抓取，并对工业摄像机2进行两两组合；再基于多视图几何原理，使用二维标定板5或一维标定杆6进行工业摄像机2内外参数的计算，同时根据反投影误差构建工业摄像机2网络的有权无向图；然后在无向图上逐次选择工业摄像机2作为主相机进行评估值q的计算；最后选择具有最小q值的工业摄像机2作为主相机。具体方法描述如下：
[0028]
步骤a：按照运动测量实验需求，在被测目标上安装marker标志点1，并完成m台工业摄像机2(运动捕捉系统中一般采用网络接口的高速工业摄像机)的布置，同时对摄像机进行编号(编号仅需满足不重复的要求)，如：1，2，3
…
m；之后，将摄像机连接到poe交换机3上，交换机3也同样通过网线与用户pc机4的网口相连；
[0029]
步骤b：基于多视图几何原理，采用一维标定杆6或二维标定板5对两两相机进行参数计算，将每台工业摄像机2作为节点并基于反投影误差构建有权无向图；
[0030]
步骤c：选择一台工业摄像机2作为主相机，并在无向图中将该相机结点作为主结点；
[0031]
步骤d：在无向图中寻找其他工业摄像机2结点到主相机结点的最短路径；
[0032]
步骤e：计算每一条路径上权值的均值和各条路径权值的均方差
[0033]
步骤f：基于设定的两个权重值ω1和ω2，ω1＝0.4，ω2＝0.6；根据式(1)计算该台工业摄像机2作为主相机的qj值；
[0034][0035]
步骤g：反复执行步骤c-步骤f，直到计算完毕每台工业摄像机2作为主相机的qj值；
[0036]
步骤h：比较各个工业摄像机2的qj值，选择qj值最小的所对应的工业摄像机2作为主相机。根据qj值选择的主相机，不仅控制了总体误差，而且还考虑了各个相机误差分布的均衡性，可为平差过程提供更好的初值。
[0037]
实施例
[0038]
为了验证本发明所提参考相机选择方法的效果和对相机布置的适应性，在测试场地的上方环形摆放(非等间距布置)了14台运动捕捉工业摄像机2，构成一个多目视觉系统。同时因工业摄像机2是随机选择，所以其id编号(来自于上电后各相机的数码管显示)较为随机，从而确保工业摄像机2id与空间位置不存在相关性，如图2所示。在这14台相机中，第3、7、8、9四台工业摄像机2像素分辨率为1664
×
1088，配备6mm f#1.8镜头；而其他工业摄像机2的像素分辨率均为2048
×
2048，配备12mm f#1.8镜头。与此同时，为了测试参考工业摄
像机2的选择对系统定标误差的影响，采用了已知尺寸的一维标定杆6，一维标定杆6上有共线三个球形标识物abc(又称为marker点)，反光球的直径为15.9mm，其中ab两点距离为325mm，bc两点距离为175mm。
[0039]
在工业摄像机2阵列下方区域挥动一维标定杆6(挥动范围大致为5m
×
5m)获取一维标定杆6上三个marker点的图像。在本方法中选取了935个标准杆位置进行计算分析，该每台工业摄像机2的数据个数和共视关系如图3所示，图3b中x、y轴均为工业摄像机2的编号，z轴用不同颜色表示数据样本在不同工业摄像机2公共视区中出现的数量。
[0040]
基于数据样本对工业摄像机2参数进行计算，并采用工业摄像机2结点有权无向图，如图4所示。
[0041]
从图4中可以看出，工业摄像机2参数恢复后的误差分布是不同。在图4中依次以每一台工业摄像机2作为参考相机，进行最短路径分析，其分析结果如表1和表2所示，表中cam为参考相机的相机编号，为所有路径上所有相机节点反投影误差的平均值，为路径上各个相机节点反投影误差的均方根误差。
[0042]
表1：工业摄像机节点无向图路径分析(工业摄像机1～7)
[0043][0044]
表2：工业摄像机节点无向图路径分析(工业摄像机8～14)
[0045][0046]
经过计算10号工业摄像机2的q＝0.338值在所有数据中最小，因此推测10号工业摄像机2作为参考相机时，误差控制较为理想，此时迭代过程反投影误差变化如图5所示。

技术特征：
1.一种光学运动捕捉中的多目视觉系统主相机选择方法，该方法所用的装置主要由用于标识目标用的marker点(1)、若干台工业摄像机(2)、poe网络交换机(3)、pc机(4)以及标定摄像机参数所使用的二维标定板(5)或一维标定杆(6)；工业摄像机(2)和pc机(4)均通过网线与poe网络交换机(3)连接；工业摄像机(2)的布置需根据测量目标的运动范围确定，以使得目标物始终处于工业摄像机(2)网络的视区范围内；其特征在于，进行运动捕捉系统标定时，首先通过poe网络交换机(3)在pc机(4)中对参与运动捕捉的工业摄像机(2)所采集的图像进行抓取，并对工业摄像机(2)进行两两组合；再基于多视图几何原理，使用二维标定板(5)或一维标定杆(6)进行工业摄像机(2)内、外参数的计算，同时根据反投影误差构建工业摄像机(2)网络的有权无向图；然后在有权无向图上逐次选择工业摄像机(2)作为主相机进行评估值q的计算；最后选择具有最小评估值q的工业摄像机(2)作为主相机；具体步骤如下：步骤a：按照运动测量需求，在被测目标上安装marker标志点1，并完成m台工业摄像机(2)的布置，同时对工业摄像机(2)进行编号；之后，将工业摄像机(2)连接到poe网络交换机(3)上，poe网络交换机(3)也通过网线与pc机(4)的网口相连；步骤b：基于多视图几何原理，采用一维标定杆(6)或二维标定板(5)对两两相机进行参数计算，将每台工业摄像机(2)作为节点并基于反投影误差构建有权无向图；步骤c：选择一台工业摄像机(2)作为主相机，并在有权无向图中将该工业摄像机(2)结点作为主结点；步骤d：在有权无向图中寻找其他工业摄像机(2)结点到主相机结点的最短路径；步骤e：计算每一条路径上权值的均值和各条路径权值的均方差步骤f：基于设定的两个权重值ω1和ω2，根据式(1)计算该台工业摄像机(2)作为主相机的q
j
值；步骤g：反复执行步骤c-步骤f，直到计算完毕每台工业摄像机(2)作为主相机的q
j
值；步骤h：比较各个工业摄像机(2)的q
j
值，选择q
j
值最小的所对应的工业摄像机(2)作为主相机。2.根据权利要求1所述的光学运动捕捉中的多目视觉系统主相机选择方法，其特征在于，ω1＝0.6，ω2＝0.4。

技术总结
本发明属于计算机视觉领域，提出一种光学运动捕捉中的多目视觉系统主相机选择方法，涉及的装置包括用于标识目标用的Marker点、工业摄像机、POE网络交换机、PC机以及标定摄像机参数用的二维标定板或一维标定杆。本发明在运动捕捉系统标定过程中充分考虑了摄像机网络的误差分布因素，尤其针对多台摄像机组成的多目视觉系统的主相机选择问题，运用有权无向图获得相机结点之间的最短连通路径，利用反投影误差和均方差的加权平均值来构建评价函数，从而评估参考相机选择的合理性。本发明不仅使得运动捕捉系统标定过程中主相机的选择更加科学合理，误差控制更加有效，而且整个过程均在PC机中自动完成，无需人工操作，效率和易用性更高。高。高。


技术研发人员：杜海 孟娟 张群 王静 杨洪齐
受保护的技术使用者：大连理工大学
技术研发日：2023.06.28
技术公布日：2023/10/15