一种跨视角多目标实时轨迹跟踪方法与系统

1.本发明属于计算机视觉与计算机控制领域，具体涉及分布式传感网络、多目标轨迹跟踪技术、实时视频采集处理技术，是一种跨视角多目标实时轨迹跟踪方法。


背景技术：

2.公开号为cn113283279a的专利申请，公开了一种基于深度学习的视频中多目标跟踪方法，该方法使用基于预置摄像头采集当前环境中的跟踪目标视频信息进行分帧处理，分离目标前景和背景信息并输入目标轨迹跟踪网络中，输出所述跟踪目标的跟踪预测运动轨迹。但是基于深度学习方法的目标跟踪技术，存在模型精度不高、耗费大量算力以及实时性不强的问题；同时跟踪预测容易受到实际场景中突发因素影响，容易跟丢目标。
3.公开号为cn115423846a的专利申请，公开了一种多目标轨迹跟踪方法以及装置，通过当前帧获取多个第一跟踪目标与前一帧图像进行对比处理，得到多个第一跟踪目标分别对应的第一预测框，采用卡尔曼滤波算法对多个第一跟踪目标进行处理。相比较基于深度学习的目标跟踪方法，该方法虽然能够解决多目标场景下跟踪效率低以及识别精度差的问题，但是仍停留在二维轨迹跟踪技术层面，无法获取目标在三维空间中的真实坐标随时间推移的运动状态，因此实际应用层面不高。
4.跨视角多目标实时轨迹跟踪技术可以有效解决基于深度学习模型的目标轨迹跟踪方法带来的较大定位误差以及轨迹跟踪实时性不足等问题，同时降低了多目标场景下互相遮挡导致的目标识别无效的影响。


技术实现要素：

5.针对现有技术的缺陷，本发明提供一种大场景跨视角多目标实时轨迹跟踪方法及系统，用以解决现有技术存在的应用范围小、定位精度低以及实时性不强等问题。
6.为了实现上述目的，第一方面，本发明提供一种大场景跨视角多目标实时轨迹跟踪方法，包括以下步骤。
7.s1、相机内参标定；对不少于四台的相机使用张正友标定法获取每台相机的内参矩阵，减小镜头畸变带来的负面影响，同时内参标定的准确性直接影响下一阶段外参标定是否能够达到所需定位精度。
8.s2、相机外参标定；在采集区域内选定包括但不限于4个标志点，使用全站仪测定标志点在空间坐标系下的三维坐标，每台相机捕捉到这些标志点获得像素坐标，使用pnp标定方法，利用标志点的二维像素坐标-三维空间坐标点对可获得外参中的旋转矩阵r以及平移矩阵t，即解算相机位姿参数，通过计算获得相机坐标系的原点在空间坐标系下的三维坐标。
9.s3、单目相机无法通过图像上像素坐标直接求取空间坐标系下目标的三维坐标，但根据公式
[0010][0011]
能够得到目标三维坐标的相互关系，设置采集场地平面为空间坐标系下的z＝0平面，在上述相机模型的基础上加入空间约束z＝0，可解算出该目标在z＝0平面的投影点坐标；因此目标在空间坐标系下的真实坐标在相机坐标系原点在空间坐标系下的三维坐标和投影点坐标的连线上。
[0012]
s4、跨视角不同相机对同一目标采集可获得不少于四组相机原点坐标-投影点坐标点对，通过迭代法求解距离几组点对欧氏距离之和最短的三维坐标点，即为目标的空间坐标。
[0013]
s5、当场上存在多个运动目标时，使用k-means聚类算法将不同相机采集同一个目标的相机坐标-投影点坐标点对进行归类操作；各相机两两配对，以相机坐标系原点在空间坐标系下的三维坐标与投影点坐标连接线段作为数据源，求解距离两相机不同线段欧氏距离最短的点作为聚类空间的初始点，目标数量即为分类数量，通过聚类算法将初始点分为目标数量的类，每个类趋于一个空间坐标值。同一类的点代表的线段可以认为是不同相机采集的同一目标，最终将该类点对进行下一步数据分析。
[0014]
第二方面，本发明提供一种跨视角多目标实时轨迹跟踪系统设计，包括：
[0015]
数量包括但不限于四套的视频采集系统，该系统负责实时采集视频并解算目标在z＝0平面上的投影点；同时，系统中的相机镜头均配备红外滤光片，减少环境光干扰带来的影响。
[0016]
主控系统由两部分组成，分别为采集系统控制端以及信息接收和处理端；
[0017]
采集系统控制端人机交互界面搭配信号发生器能够自主选择开始或停止相机采集工作，信号发生器通过同步信号线同时向各台外部触发式相机发送一定频率的方波，实现同时、同帧采集，保证主机处理各采集系统传来的数据点为同一时间节点。
[0018]
信息接收和处理端由高性能主机构成，负责实时接收多路视频及点信息并进行处理，最终将采集视频及解算目标点反馈到人机交互界面。
[0019]
分布式信息传输系统，骨干部分由多套视频采集系统以及主控系统构成，视频采集系统通过socket通信向主控系统实时传输经下采样后的视频以及点坐标信息，主控系统由信号发生器通过同步信号线传递信号脉冲控制相机采集。
[0020]
自主设计一款运动员专用头盔，具备保护作用的同时，该头盔配置850nm红外发射模块以及一枚外置电池供电，搭配采集系统(工作波段为红外)，能够有效将目标从环境背景中分离出来。
[0021]
本发明与现有技术相比具有如下有益效果：
[0022]
(1)本发明提供了一种跨视角多目标实时轨迹跟踪方法及系统，针对目前基于深度学习的目标轨迹跟踪方法存在定位精度差，多目标定位处理帧率低以及硬件配置要求较高等缺点，将目标轨迹跟踪从可见光波段更变为红外波段；从信息源角度考虑，减少环境信息的同时增强目标信息，大幅降低计算机因处理丰富信息源图像所需的算力，实现大视场条件下高帧率、多目标的轨迹跟踪。这项技术目前可以用于解决大空间虚拟现实的空间目
标定位问题，为大视场动态定位提供了一种可能。
[0023]
(2)本发明提供了一种跨视角多目标实时轨迹跟踪方法及系统，在大空间下布置多台视频采集系统形成交叉视场，解决了单目相机无法解算目标三维坐标的问题，通过不同视角的相机对同一目标采集实现目标实际三维坐标的联合求解，有效克服多目标场景下互相遮挡的问题。
[0024]
(3)本发明提供了一种跨视角多目标实时轨迹跟踪方法及系统，硬件级和软件级控帧技术保障主控平台实时接收不同采集系统传回的同帧数据；相机采集模式更变为外部触发配合同步信号线与主控平台的信号发生器连接，信号发生器通过发射固定频率脉冲直接控制所有相机的采集周期及帧率；同时在软件层面，为每帧图像和数据配置采集时间戳，经主控系统校验后进入数据处理阶段。这一技术有效保障了针对高速运动目标的实时轨迹跟踪准确性。
[0025]
(4)本发明提供了一种跨视角多目标实时轨迹跟踪方法及系统，通过k-means聚类思想区分不同采集系统捕捉的同一目标。每个相机采集并解算得到不同目标的相机原点-投影点连线，不同相机两两进行连线匹配，计算得到距离两线段欧氏距离最短的点记为聚类空间的初始质心；在已知场上目标数量时，通过聚类算法将所有质心分配给距其最近的簇；最终确定不同相机同一目标的相机原点-投影点连线组，并进行下一步数据分析。
附图说明
[0026]
图1为本发明实施例1提供的系统架构分层设计示意图；
[0027]
图2为本发明实施例1提供的大视场下采集系统布置示意图；
[0028]
图3为本发明实施例1提供的单目相机目标定位理论示意图；
[0029]
图4为本发明实施例1提供的跨视角多相机联合定位理论示意图；
[0030]
图5为本发明实施例1提供的基于k-means聚类算法实现多目标分类示意图；
[0031]
图6为本发明实施例1提供的跨视角多目标实时轨迹跟踪系统硬件框架设计示意图；
[0032]
图7为本发明实施例1提供的跨视角多目标实时轨迹跟踪系统软件框架设计示意图。
具体实施方式
[0033]
下面结合附图和具体实施例对本发明进行详细说明。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的，附图所展示的结构是实际结构的一部分。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0034]
实施例1、
[0035]
一种跨视角多目标实时轨迹跟踪方法及系统，适用于大场景高速运动目标的轨迹跟踪与复现，系统架构分层设计示意图如图1所示，包括以下步骤：
[0036]
s1、大场景下跨视角采集系统布置如图2所示，四个及以上的大视角高速相机布置在场地周围四个角并且视场交叉区域覆盖整个场地，首先详细介绍多目标实时轨迹跟踪方
法的基本原理；
[0037]
针对单目相机，根据经典相机模型公式
[0038][0039]
可得知，获取较为准确的相机内参和外参矩阵直接决定了由像素坐标到世界坐标的精确程度，相机内参通过张正友标定法获取；在场地内选取不少于四个采样点，使用全站仪测量采样点的空间坐标(xw,yw,zw)，相机捕获采样点获得在图像上的像素坐标(u,v)，相机外参求解使用视觉slam中的pnp算法，输入多组采样点的像素坐标-空间坐标点对得到相机在世界坐标系下的旋转矩阵r和平移矩阵t。
[0040]
已知目标在图像上的像素坐标(u,v)，通过上述公式发现，存在尺度不变量zc为未知量，无法求解目标的真实坐标(xw,yw,zw)；在相机模型公式的基础上，为其添加空间约束z＝0，得到目标相对于相机在z＝0平面上的投影点，且目标的真实坐标在相机坐标系原点在世界坐标系中的坐标与投影点连线上，如图3所示。
[0041]
将不少于四台相机分布式排列在场地四周，且相机视场互相重叠。当目标被所有相机捕捉时，计算得到多组相机坐标-投影点坐标点对。从理论角度考虑，这些点对连线的交点即为目标在空间坐标系中的真实坐标，如图4所示。然而实际场景存在诸多误差导致空间线段不存在交点，因此使用迭代法求解空间中与所有点对连线欧氏距离之和最短的点即为真实坐标，具体公式如下：
[0042][0043]
多目标识别问题的核心在于，对不同相机同一目标的相机坐标-投影点对进行归类操作。通过k-means聚类思想将不同视角的两台相机配对，以距离两线段欧氏距离之和最短的点记为聚类空间的初始质心并放置于观测场内，已知被测目标的数量作为聚类算法类别数量(簇数)，通过该算法将所有质心分配给距离最近的簇，如图5所示。任务结束可以获取不同相机同一目标形成的线对簇，最终传递至数据处理部分。
[0044]
s2、跨视角多目标实时轨迹跟踪系统硬件框架设计如图6所示，系统由不少于四套视频采集模块以及主控平台构成。视频采集模块由大视场高速工业相机搭配高性能计算机对场上目标实时拍摄，每帧图像由高性能计算机进行处理，计算机将下采样图像以及解算点数据发送至主控平台；主控平台由多网口高并发并行计算机和信号发生器组成，计算机能够接收不少于四路采集模块传输的视频和数据信息，信号发生器向所有相机同步发射一定频率的脉冲信号控制相机采集工作。视频采集模块与主控平台通过以太网实现控制及数据传输，通过同步信号线实现对相机采集周期控制。
[0045]
s3、跨视角多目标实时轨迹跟踪系统软件框架设计如图7所示，这里设置八套视频采集系统配合主控平台举例说明；由于该系统对实时性要求较高，因此采集系统使用c++语言进行开发，采集系统的主要任务是采集图像经环境背景噪声去除等预处理后，进行亮点检测获取多个目标的像素坐标，经解算后获得相机坐标系原点在空间坐标系下的三维坐标
以及目标的投影点坐标；将下采样图像信息和点信息分别打包通过socket通信发送至主控平台。主控平台具备控制采集系统以及人机交互等功能，由python语言进行开发；布置八个图像接收、处理与显示线程，八个点数据接收线程，一个单帧多相机点数据处理及显示线程，线程之间采用队列传递信息保证帧的连续性，同时每帧图像和点数据携带时间戳作为校验码，确保实时性同帧数据处理。
[0046]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种跨视角多目标轨迹实时跟踪方法及系统，其特征在于：包括如下步骤：1)采用大视场高帧率工业相机，与下位机组成实时视频采集系统，使用不少于四套视频采集系统通过socket通信与主控平台连接，同时主控平台中的信号发生器直接控制视频采集系统的采集工作，实现多台相机同帧采集。从而达到视频画面与数据的实时共享以及精确到每一帧的数据同步能力。2)分布式视频采集系统在场地内分散布置，使得系统采集范围覆盖整个场地，同时保证场地内的任何位置能满足两套及以上系统的采集重叠区域要求。每套系统通过高速运动相机拍摄实时图像并粗略计算目标在三维空间中的投影点坐标，并将图像与点坐标数据发送至主控平台。3)为了减少环境噪声等其他因素对目标信息造成的干扰，自行设计一套运动员专用头盔，该头盔不仅具备基础保护功能，同时配置波长850nm的红外发射模块；而且所有视频采集系统中的镜头部分加装红外滤光片，将工作波段由可见光调整至红外，大幅降低外界环境带来的负面影响。4)主控平台实时获取所有视频采集系统传输的同一帧图像和投影点坐标信息，进行相应解算后获得目标在三维空间中的真实坐标，最终形成目标的运动轨迹曲线。2.如权利要求1所述的一种跨视角多目标实时轨迹跟踪方法及系统，其特征在于，使用特殊定制的低畸变大视场定焦镜头以及高分辨率工业相机，配合张正友内参标定法、pnp外参计算精确地获取相机模型中的重要参数，在标准体育场馆内理论上能达到厘米级甚至是亚厘米级的分辨率以及定位精度。3.如权利要求1所述的一种跨视角多目标实时轨迹跟踪方法及系统，其特征在于，相比基于可见光环境下的目标定位方法，所述方法直接将被测目标与周围环境分离；所有相机镜头都配置了红外滤光片，而且目标需佩戴具有红外发射模块的安全头盔，这样采集到的实时图像中去除环境背景噪声而保留目标信息，与传统方法相比对于图像处理的速度更快，从而实现较高帧率。4.如权利要求1所述的一种跨视角多目标实时轨迹跟踪方法及系统，其特征在于，通过跨视角多相机分布式拍摄解决了单目相机无法解算空间三维坐标点的问题。根据经典相机模型公式已知目标的像素坐标点求解目标在空间坐标系下的三维点是病态问题，但是能够获取目标空间三维点x
w
,y
w
,z
w
之间的关系。在此基础上设置采集场地平面为空间坐标系下z＝0平面，添加z＝0平面作为约束方程，联立两方程可解出目标在空间坐标系下在z＝0平面上的投影点坐标；根据视觉slam中的pnp算法，通过外参标定得到的多组像素坐标-空间三维坐标点对计算得到相机坐标系的原点在空间坐标系下的三维坐标，因此目标在空间坐标系下的三维坐标点在相机原点三维坐标和目标的投影点坐标连线上。使用多组相机拍摄同一目标即可获得多组空间连线，利用迭代思想求解距离多组连线最短欧式距离的坐标点即为
目标在空间坐标系下的三维点坐标。5.如权利要求1所述的一种跨视角多目标实时轨迹跟踪方法及系统，其特征在于，从硬件级与软件级两方面控制多台分布式视频采集系统向主控单元实时传入同一帧目标点数据。当目标处于运动状态时，由于采集帧率较高，主控平台必须接收各视频采集系统发送的当前同帧目标投影点数据才能进行下一步数据处理。针对相机采集时序要求较高的要求，因此相机采集触发模式更变为外部触发采集，即主控平台布置的信号发生器产生一定频率的方波触发场上所有相机同时开始或停止采集，实现硬件级的采集时间同步。同时在软件层面上，为每帧的图像和点数据匹配时间戳，针对不同相机同帧数据联合处理时需进行校验工作。6.如权利要求1所述的一种跨视角多目标实时轨迹跟踪方法及系统，其特征在于，利用k-means聚类思想对不同相机采集到同一目标的相机坐标-投影点对进行归类操作，实现对不同目标的信息分离。通过聚类算法将不同视角的两台相机采集数据进行配对，以距离两条线段欧氏距离之和最短作为评估标准，符合标准的点记为聚类空间的初始质心并添加至观测区域，以被测目标数量作为类别数，当空间中所有质心分配到各自类别后，将同一类别对应的相机坐标-投影点对传递至数据处理部分。

技术总结
本发明公开了一种跨视角多目标实时轨迹跟踪方法及系统，将机器视觉图像采集系统与主控平台结合实现分布式采集，集中式处理系统架构，通过四套及以上大视场高速相机实现大场景下针对多目标多视角实时图像采集，实现多目标运动轨迹跟踪。本发明使用不少于四套采集系统实现全场景视角覆盖，解决了单一视角采集方式存在的目标定位精度差且存在因互相遮挡导致的目标位置信息丢失等问题。相比基于深度学习模型的目标定位方法，通过多相机联合解算目标位置能够实现更高的定位精度、更好的定位鲁棒性以及更高的帧率。性以及更高的帧率。


技术研发人员：尤天顺 刘明 杨鹏 董立泉 褚旭红 赵跃进 孔令琴 惠梅
受保护的技术使用者：北京理工大学长三角研究院（嘉兴）
技术研发日：2023.05.08
技术公布日：2023/8/14