一种基于相邻帧特征复用网络的乒乓球轨迹检测系统

1.本发明涉及人工智能技术领域，尤其是涉及一种基于相邻帧特征复用网络的乒乓球轨迹检测系统。


背景技术：

2.在乒乓球比赛中实时记录乒乓球的运动轨迹能够分析出对手的进攻特色及弱势。目前对于球路的分析主要依靠人眼观看，缺乏一定的数据理论支撑。
3.将人工智能技术应用于乒乓球轨迹检测是目前研究的新方向，不仅能够帮助节省人力成本，且检测精度更高，能够给予丰富的理论支持。如中国申请专利cn115457083a公开了一种乒乓球运动参数检测方法、系统及装置，属于乒乓球技术领域。所述方法包括步骤：通过设于乒乓球桌上方的第一摄像机和设于乒乓球桌侧面上方的第二摄像机拍摄乒乓球在运动过程中的图像；构建三维坐标系并获得乒乓球的坐标值；通过坐标值获取乒乓球的运动轨迹；判定乒乓球是否击中反弹板，若是，计算乒乓球击中反弹板的击球角度；预设多个基准点，选取乒乓球通过所述基准点的若干帧图像，并根据前述图像获得该图像之间的相隔时间；根据预设的基准点和相隔时间，计算乒乓球在运动过程中的平均速率。该申请适用于单人训练用乒乓球桌，能够收集球运动过程中的运动参数，具有追踪精度好与准确性高的优点。该申请的缺陷在于：网络模型结构复杂，导致计算速度缓慢；需人为预设基准点，前期工作成本高。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于相邻帧特征复用网络的乒乓球轨迹检测系统。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，包括主控设备、水平摄像头、俯视摄像头、视频数据处理模块及电源模块；
7.所述电源模块用于给所述主控设备进行供电；所述主控设备分别与水平摄像头、俯视摄像头及视频数据处理模块相连；
8.所述水平摄像头用于在水平方向采集乒乓球视频数据，并将采集到的视频数据传输给主控设备进行处理；
9.所述俯视摄像头用于在乒乓球桌的俯视视角采集乒乓球视频数据，并将采集到的视频数据传输给主控设备进行处理；
10.所述视频数据处理模块用于与主控设备进行视频数据传输及进行轨迹记录分析；
11.所述主控设备中搭载有相邻帧特征复用网络，网络基于摄像头采集到的乒乓球视频数据进行乒乓球轨迹检测；
12.所述相邻帧特征复用网络包括特征存储回传模块，该模块在当前时刻能够存储网络层的输出，并在下一时刻将该特征传递至网络层的输入端，实现特征的高效复用。
13.进一步地，所述的相邻帧特征复用网络包括六个网络层，用于进行特征提取。
14.进一步地，所述的相邻帧特征复用网络中每层网络完成特征提取工作后，将提取到的特征传递至下一个网络层，同时传递至特征存储回传模块将当前时刻所提取到的特征信息进行保存；
15.第一层网络的输入为乒乓球视频帧数据，输出为提取到的特征，后续各层网络的输入为上层网络的输出及特征存储回传模块内所保存的上一时刻特征信息。
16.进一步地，所述特征存储回传模块用于实现特征复用，特征存储回传模块中包括transformer模型，transformer模型中融合有tokenlearner机制，仅从特征图中转化生成少量tokens，以减少transformer模型的计算量。
17.进一步地，所述tokenlearner机制的计算过程包括以下步骤：
18.记输入到transformer模块中的特征图大小为x∈rh×w×c，使用tokenlearner机制采用n组空间注意力机制分别与输入的特征图计算得到相应的空间注意力权值热图，再将权值热图与输入的特征图进行相乘完成赋值操作，得到n个经过加权后的特征向量z∈rh×w×c，该计算过程表示为：
[0019][0020]
其中，x表示输入的特征图，αi(x)表示第i个注意力权重，wi表示第i个权重矩阵；
[0021]
采用空间池化将加权后的z∈rh×w×c转化为z
′
∈r1×1×c，即为tokens。
[0022]
进一步地，每个transformer模块设置了六组空间注意力机制提取网络，即每个transformer模块所输入的tokens数量为4。
[0023]
进一步地，所述特征存储回传模块将上一时刻的特征回传至当前时刻时，首先采用3x3卷积层对特征做进一步的提取，之后采用transformer模块获取全局特征信息。
[0024]
进一步地，所述特征存储回传模块采用transformer模块获取全局特征信息后，将全局特征信息回传至主干网络中时采用dropout层，防止由于帧序列中特征相似度较高造成过拟合。
[0025]
进一步地，所述相邻帧特征复用网络的检测器包括分类器及位置回归器，用于判定目标的正负类别与位置信息；
[0026]
在相邻帧特征复用网络中将乒乓球视频数据当前帧所检测到目标位置信息进行存储，在下一帧画面进行检测时，将存储的位置信息通过卡尔曼滤波器进行预测修正，并将得到的位置映射在特征图中，传入到位置回归器中对当前帧的目标进行预测；
[0027]
对于回传的位置信息参数采用进行表示，(u,v)表示上一时刻目标的中心点，h为上一时刻位置预测框的高，γ上一时刻位置预测框的长宽比；而分别表示为(u,v,γ,h)的速度分量，使用匀速模型和线性观测模型的卡尔曼滤波器对当前时刻的(u,v,γ,h)进行预测。
[0028]
进一步地，对于位置回归器所输出的的位置信息，配置有位置坐标存储模块进行存储，在下一时刻的位置判别时，所存储的位置坐标信息会由卡尔曼滤波器进行预判，并将预判位置映射至特征图中，回归器基于该位置信息以进行更精确的位置判断。
[0029]
与现有技术相比，本发明具有以下有益效果：
[0030]
1、本发明通过提高特征复用率以达到网络轻量化及提升检测精度效果。网络的核
心为特征存储回传模块，该模块在当前时刻能够存储网络层的输出，并在下一时刻将该特征传递至网络层的输入端，实现特征的高效复用；在该模块中采用了transformer模型，对特征进行二次加工，构建全局关联信息，提升特征图的特征丰富度。经实验测试，该网络对于乒乓球的检测精度高达96.8％，对于目标的定位精度高达89.1％，且模型的参数大小仅有7.68mb，具有较高的实用性。
[0031]
2、本发明通过加入特征存储回传模块，使得特征提取网络能够充分利用特征信息，且随着检测次数的增加，所存储复用的特征信息越丰富，即在时间维度上通过特征的叠加融合达到深度网络的提取效果，以较小的模型参数实现高检测精度。
附图说明
[0032]
图1为本发明的系统硬件结构设计图；
[0033]
图2为本发明实施例中的采集场景示意图；
[0034]
图3为本发明的时序特征复用网络结构示意图；
[0035]
图4为本发明实施例中的tokenlearner机制计算过程示意图；
[0036]
图5为本发明实施例中的特征存储回传模块结构示意图；
[0037]
图6为本发明实施例中的网络详解结构示意图；
[0038]
图7为本发明实施例中实验数据集图例；
[0039]
图8为本发明实施例中球体运动的x坐标轨迹图；
[0040]
图9为本发明实施例中球体运动的y坐标轨迹图；
[0041]
图10为本发明实施例中球体运动的z坐标轨迹图。
具体实施方式
[0042]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0043]
在乒乓球比赛中实时记录乒乓球的运动轨迹能够分析出对手的进攻特色及弱势。目前对于球路的分析主要依靠人眼观看，缺乏一定的数据理论支撑。故本发明提出了一种基于目标检测算法的乒乓球运动轨迹提取网络，对视频中乒乓球运动的轨迹进行记录。利用两个120fps高清摄像头分别从水平、俯视角度采集乒乓球运动轨迹视频，树莓派4b作为传输设备，通过usb接口接收视频信息，再使用wifi模块将其传输到pc端进行视频数据处理及轨迹记录分析。
[0044]
其中基于目标检测算法的乒乓球运动轨迹提取网络通过提高特征复用率以达到网络轻量化及提升检测精度效果。网络的核心为“特征存储&回传”模块，该模块在当前时刻能够存储网络层的输出，并在下一时刻将该特征传递至网络层的输入端，实现特征的高效复用；在该模块中采用了transformer模型，对特征进行二次加工，构建全局关联信息，提升特征图的特征丰富度。经实验测试，该网络对于乒乓球的检测精度高达96.8％，对于目标的定位精度高达89.1％，且模型的参数大小仅有7.68mb，具有较高的实用性。
[0045]
系统硬件结构设计
[0046]
具体的，如图1所示，为本发明的系统硬件结构设计图，由于在该系统的实际应用
场景中，使用有线信号传输可能会产生安全隐患，因此采用无线通信方式将采集的视频信号传输到pc端设备，进行下一步处理。如图1所示，将两个120fps的高清摄像头通过usb 3.0接口连接到树莓派4b，usb-c电源适配器给整体硬件系统供以5v稳定电压，配置树莓派4b网络，使其连接到无线网络，同时在pc端连接到树莓派4b相同网络，完成信号传输的硬件基础搭建。
[0047]
在本系统的硬件方案中，采用树莓派4b作为通信传输主体硬件设备。其搭载四核cortex-a72(arm v8)64位处理器，可提供更好的数据处理性能，以满足高速传输的需求；具有内置双频2.4ghz和5.0ghz无线网卡，支持ieee 802.11b/g/n/ac标准，使得能够与pc端建立无线连接，完成视频数据的传输。同时树莓派4b配备了usb 3.0接口，可以实现与高清摄像头的高速数据传输，对于120fps高清摄像头采集的乒乓球视频数据传输产生关键性作用。树莓派4b相关参数信息如下表1所示：
[0048]
表1树莓派4b相关参数表
[0049][0050]
在此通信主控硬件基础上，采用无线局域网(wlan)模式，即树莓派4b与pc连接至同一个无线路由器，形成无线局域网络。在局域网络模式中，树莓派4b和pc端之间的通信皆基于tcp/ip协议栈实现，并处于同一子网中，由此完成相互通信关系。
[0051]
本文提及的轨迹检测网络对视频信息的帧率要求较高，因此该硬件系统中采用与树莓派4b相兼容的e-con systems see3cam_130高帧率摄像头作为信息采集设备。该摄像头在720p分辨率下，支持高达120fps的视频流，提供高质量的图像和高动态范围。并且具有优秀的低光环境性能，在光线不足的情况下同样能够提供高质量视频图像，以满足不同场景的需求。相关硬件参数信息如下表2所示：
[0052]
表2e-con systems see3cam_130相关参数表
[0053][0054]
在硬件供电方面，使用树莓派官方usb-c电源适配器，供给5.1v/3a稳定电流，确保树莓派4b获得足够的稳定电源，在连接多个外设(如see3cam_130摄像头)情况下能正常工作。e-con systems see3cam_130通过usb接口连接树莓派4b主板可直接获取电源，不需要额外使用电池供电。
[0055]
基于上述硬件基础，已具备本文乒乓球轨迹检测网络的视频信息采集需求，按如图2所示搭建采集场景。
[0056]
网络主体结构设计
[0057]
在本文中网络主体结构中通过提高特征的利用率以减少网络层的使用，因此在本文的网络设计中将上一个时刻的特征传递复用至当前时刻中，根据这一特性将网络命名为相邻帧特征复用网络，网络结构如图3所示。
[0058]
如图3所示，整体网络共使用了6个网络层，对于每个网络层的输出，当其完成特征提取工作后，其提取到的特征除了传递至下一个网络层之外，同时传递至特征存储回传模块将当前时刻所提取到的特征信息进行保存。而对于网络层的输入，除了常规的上层网络传递输出外，同时包括特征存储回传模块内所保存的上一时刻特征信息。加入存储模块后使得特征提取网络能够充分利用特征信息，且随着检测次数的增加，所存储复用的特征信息越丰富，即在时间维度上通过特征的叠加融合达到深度网络的提取效果。
[0059]
特征存储回传模块设计
[0060]
由于在主干网络中的网络层数较少，仅进行三次下采样操作，使得卷积网络所提取到的特征信息主要为局部特征信息。为实现有效的特征复用，本文在特征存储回传模块中加入transformer模型以对回传的特征进行全局注意力计算，构建特征图中特征的长距离特征关系，以对卷积网络进行功能性补充。但由于transformer模型的计算量较大，在每个模块内加入transformer模型会导致网络的参数量激增，失去轻量化的优势。因此，本文在transformer模型内融合入tokenlearner机制，仅从特征图中转化生成少量tokens，以减少transformer的计算量。所采用的tokenlearner机制计算过程如图4所示。
[0061]
输入到transformer模块中特征图大小为x∈rh×w×c，不同于对特征图划分特征块转换为一维token的操作，使用tokenlearner机制采用n组空间注意力机制分别与输入的特征图计算得到相应的空间注意力权值热图，再将权值热图与输入进行相乘完成赋值操作得到n个经过加权后的特征向量z∈rh×w×c，该计算过程可表示为：
[0062][0063]
其中，x表示输入的特征图，wi表示第i个权重矩阵，用于将输入特征图x转换为特定的输出特征图zi。权重矩阵是神经网络中的一个关键组成部分，用于学习输入到输出的映射关系；αi(x)表示第i个注意力权重，在某些计算过程中，我们可能希望根据某种注意力机制对输入特征图x进行加权，以便关注特定的部分或者区域。注意力权重αi可以根据自注意力或其他注意力方法计算得出，将这些权重应用到输入特征图x上，可以得到加权后的输出特征图zi。
[0064]
之后采用空间池化将加权后的z∈rh×w×c转化为z
′
∈r1×1×c，即为tokens。相比于标准的tokens获取方式，采用tokenlearner能够通过设定空间注意力计算组的个数决定生成tokens的数量，避免了采用对特征图划分生成的tokens数量过多，计算序列过长的情况.且由于采用了空间注意力机制，使得模型能够自适应提取出图片的重要区域，且不同于划分特征图造成数据关联性差的弊端，通过空间池化无需分割即可将特征图直接转换为tokens，有效保证了特征信息的一致性。在本文中，对于每个transformer模块设置了六组空间注意力机制提取网络，即每个transformer模块所输入的tokens数量为4。特征存储回传模块的详细结构如图5所示。
[0065]
特征存储回传模块
[0066]
将上一时刻的特征回传至当前时刻时，首先采用3x3卷积层对特征做进一步的提取，之后采用transformer模块获取全局特征信息，最后在将特征回传至主干网络中时采用dropout层防止由于帧序列中特征相似度较高造成过拟合。
[0067]
位置信息回传模块设计
[0068]
另外对于网络的检测器，其由分类器与位置回归器两部分组成。在视频画面中乒乓球运动轨迹为连续、规律的，即对视频抽帧后，当前帧画面中的乒乓球与上一帧画面中的乒乓球在图片位置中仅有微小偏移(摄像机固定不动)。
[0069]
因此在网络中将当前帧所检测到目标位置信息进行存储，在下一帧画面进行检测时，将存储的位置信息通过卡尔曼滤波器进行预测修正，并将得到的位置映射在特征图中，传入到回归器中对当前帧的目标进行预测。
[0070]
对于回传的位置信息参数采用进行表示，(u,v)表示上一时刻目标的中心点，h为上一时刻位置预测框的高，γ上一时刻位置预测框的长宽比；而则表示为上述四个元素的速度分量，使用匀速模型和线性观测模型的卡尔曼滤波器对当前时刻的(u,v,γ,h)进行预测；
[0071]
综上所述，各优化模块组合后的单元网络结构图如图6所示。
[0072]
网络详解结构
[0073]
如图6所示以最后一个维度模块为例，在卷积模块2接收到卷积模块1所输出的特征图后，经其完成特征提取操作后特征会传递至存储单元将所提取到的特征信息进行保留，在对下一时刻的帧画面检测时该存储的特征由轻量化transformer模块进行全局特征关系的构建，提升目标在画面中的显性度。在这一操作中所存储的上一时刻特征图先由3x3卷积进行特征过渡操作，之后设置了四个空间注意力子模块计算相关热力图，在将计算所得的空间热力权值图分别赋值予特征图得到四个子特征图并将其转化为tokens进行多头
自注意力计算，最后将所得到的特征图与卷积模块1的输入进行融合，提升输入信息的丰富度。
[0074]
如卷积模块2为最后一个特征提取模块时，其所输出的特征会传递至分类器与回归器去判定目标的正负类别与位置信息。并且对于回归器所输出的的位置信息，其同样配有位置坐标存储模块进行存储，在下一时刻的位置判别时，所存储的位置坐标信息会由卡尔曼滤波器进行预判，并将预判位置映射至特征图中，回归器可以基于该位置信息以进行更精确的位置判断。
[0075]
数据集制作及实验环境介绍
[0076]
由于检测所获取到的位置信息是相对于画面中的并非实际位置信息，因此本文通过相对于球桌水平拍摄与垂直俯拍以获取球相对于球桌的位置信息，使得可通过后期换算得到真实位置信息。基于该原则本文从两个角度分别拍摄了50段每段长度为5分钟的乒乓球对打视频，通过抽帧的方式制作为数据集，图例如图7所示。
[0077]
在本次实验中所采用的实验环境及网络超参数设置分别为：在硬件环境中中央处理器采用了inter i7 11700，图形处理器采用了nvidia rtx 3070拥有5888个cuda核心与184个tensfor核心。在软件方面，采用了pytorch 1.11.0作为深度学习框架api，cuda运算平台版本为11.3，cudnn计算加速库版本为8.2.1。对于实验环境中主要的超参数经过多次训练得到以下超参数设置组，epoch迭代次数为200次，learn rate初始学习率设置为0.001经训练逐渐收敛至0.00001，动量参数momentum设置为0.954，权重衰减率weight decay设置为0.0013。
[0078]
对于网络模型的性能评估本文主要从识别精度、定位精度与模型复杂度这三个方面进行。并采用以下客观指标对模型进行分析：
[0079]
识别精确率：
[0080][0081]
识别召回率：
[0082][0083]
识别精度：
[0084][0085]
定位精度：
[0086][0087]
模型复杂度：
[0088]
parameter＝(c
in
×
k2+1)c
out
[0089]
(*注:tp为将正类预测为正类的个数；fp为将负类预测为正类的个数；fn为将正类预测为负类的个数；groundtruthbox为标记的位置框；predictionbox为模型预测输出的位置框；c
in
、c
out
分别为特征图输入前与输入后的通道数；k为卷积核的大小)。
[0090]
消融实验
[0091]
在实验环节中本实施例首先采用了消融实验，将本文网络模型拆解为六个网络，通过数据对比以判定本文所设计的各网络模块在整体网络的中的作用性。在实验中设置了五组不同的超参数对进行消融实验中的六个模型进行多次训练，并取平均值作为各模型最优的参数性能指标值，所设置的超参数对照组如下所示：
[0092]
表1超参数设置
[0093] epochlearning rate(lr)momentumweight_decay13000.00010.90.000523000.00010.950.000535000.0010.90.000545000.00010.950.000557000.0010.90.000567000.00010.950.0005
[0094]
综合上述所有训练数据，加入回传模块及transformer特征二次处理模块后，模型整体训练迭代次数在500次即可完成，过多的迭代导致网络在后续训练中出现震荡，使得精度有一定的下降。而对于只由残差模块所构成的主干网络，由于网络结构简单对于特征的学习能力较弱，则需要较多的迭代次数，确保模型能够收敛。综上，提取出各个网络模型的最优评估参数结果进行对比测试.
[0095]
表2消融实验对比结果表
[0096][0097]
对于网络1与网络2的数据对比主要对加入特征存储单元后，是否能提升网络性能进行评估，在网络一中只包含了主干网络，整体的网络层数仅有六层卷积层对特征进行提取，由于无法充分提取到特征信息使得模型在识别精度与定位精度上均表现较差，且召回率指标较低，说明存在有漏检的情况，无法完整获取到目标运动轨迹坐标，定位精度差也使得获取到的坐标信息不具有参考性。在网络二中加入了存储模块，将上一帧提取到的特征信息进行复用，在时间维度上增加了网络的深度，使得随着检测帧数的增加，网络所提取到特征信息也更加丰富，在识别精度与定位精度上有明显的提升，且在网络复杂度上仅有小幅度的增加。网络3与网络4均在回传模块中加入了transformer模型，二者差别在于网络3采用了标准的transformer模块、网络4采用了轻量化transformer模块。网络3、网络4与网
络2对比可以看出加入transformer模块对存储的特征进行二次处理，提取出全局长距离依赖特征与主干网络中的局部特征进行互补，能够有效提升网络性能；但由于加入了transformer模块，使得在网络复杂度上网络3、网络4相比于网络2有一定的增加；而对于网络3、网络4的复杂度对比，由于网络4采用了轻量化的transformer模块设计，其复杂度仅有网络3的1/2，并且在检测精度上也略高于网络3。网络5与网络6二者在位置信息的回传中加入了卡尔曼滤波器，可根据前序帧画面中球体的运动轨迹预测当前帧球体的位置信息。二者分别与网络3、网络4对比，对比结果表明加入卡尔曼滤波能够有效提升位置信息的判定精度。
[0098]
经过对比可以知道六个网络模型对于目标位置的判定结果有较大差异，网络一所预测的位置区域与目标实际位置区域有大幅度偏移，网络二增加了回传模块后能大致框选出目标；网络三及网络四加入了transformer模型二次处理后在检测精度上相比于网络二有进一步提升；而在网络五及网络六中加入卡尔曼滤波器对位置进行判定，所预测输出的位置信息则与groundtruth有较高的吻合度。
[0099]
其次是对水平拍摄于垂直拍摄后得到的位置信息进行空间建模，以判断球体运动轨迹。在此对照实验中ground truth样本通过深度照相机拍摄以获得，其余运动轨迹则通过本文所述方法获取，对比情况分别如图8所示。
[0100]
从图8-图10的四幅图中直观反映出了消融实验中各个模型对于球体运动轨迹的检测准确性。从整体维度及各个坐标维度上的运动轨迹描绘情况，可得出与消融实验结果相同结论，经优化后的网络模型6能够更准确的检测出球体位置，其所得到的轨迹图也更加逼近球体真实运动轨迹。
[0101]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，包括主控设备、水平摄像头、俯视摄像头、视频数据处理模块及电源模块；所述电源模块用于给所述主控设备进行供电；所述主控设备分别与水平摄像头、俯视摄像头及视频数据处理模块相连；所述水平摄像头用于在水平方向采集乒乓球视频数据，并将采集到的视频数据传输给主控设备进行处理；所述俯视摄像头用于在乒乓球桌的俯视视角采集乒乓球视频数据，并将采集到的视频数据传输给主控设备进行处理；所述视频数据处理模块用于与主控设备进行视频数据传输及进行轨迹记录分析；所述主控设备中搭载有相邻帧特征复用网络，网络基于摄像头采集到的乒乓球视频数据进行乒乓球轨迹检测；所述相邻帧特征复用网络包括特征存储回传模块，该模块在当前时刻能够存储网络层的输出，并在下一时刻将该特征传递至网络层的输入端，实现特征的高效复用。2.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述的相邻帧特征复用网络包括六个网络层，用于进行特征提取。3.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述的相邻帧特征复用网络中每层网络完成特征提取工作后，将提取到的特征传递至下一个网络层，同时传递至特征存储回传模块将当前时刻所提取到的特征信息进行保存；第一层网络的输入为乒乓球视频帧数据，输出为提取到的特征，后续各层网络的输入为上层网络的输出及特征存储回传模块内所保存的上一时刻特征信息。4.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述特征存储回传模块用于实现特征复用，特征存储回传模块中包括transformer模型，transformer模型中融合有tokenlearner机制，仅从特征图中转化生成少量tokens，以减少transformer模型的计算量。5.根据权利要求4所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述tokenlearner机制的计算过程包括以下步骤：记输入到transformer模块中的特征图大小为x∈r
h
×
w
×
c
，使用tokenlearner机制采用n组空间注意力机制分别与输入的特征图计算得到相应的空间注意力权值热图，再将权值热图与输入的特征图进行相乘完成赋值操作，得到n个经过加权后的特征向量z∈r
h
×
w
×
c
，该计算过程表示为：其中，x表示输入的特征图，α
i
(x)表示第i个注意力权重，w
i
表示第i个权重矩阵；采用空间池化将加权后的z∈r
h
×
w
×
c
转化为z
′
∈r1×1×
c
，即为tokens。6.根据权利要求4所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，每个transformer模块设置了六组空间注意力机制提取网络，即每个transformer模块所输入的tokens数量为4。7.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特
征在于，所述特征存储回传模块将上一时刻的特征回传至当前时刻时，首先采用3x3卷积层对特征做进一步的提取，之后采用transformer模块获取全局特征信息。8.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述特征存储回传模块采用transformer模块获取全局特征信息后，将全局特征信息回传至主干网络中时采用dropout层，防止由于帧序列中特征相似度较高造成过拟合。9.根据权利要求1所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，所述相邻帧特征复用网络的检测器包括分类器及位置回归器，用于判定目标的正负类别与位置信息；在相邻帧特征复用网络中将乒乓球视频数据当前帧所检测到目标位置信息进行存储，在下一帧画面进行检测时，将存储的位置信息通过卡尔曼滤波器进行预测修正，并将得到的位置映射在特征图中，传入到位置回归器中对当前帧的目标进行预测；对于回传的位置信息参数采用进行表示，(u,v)表示上一时刻目标的中心点，h为上一时刻位置预测框的高，γ上一时刻位置预测框的长宽比；而分别表示为(u,v,γ,h)的速度分量，使用匀速模型和线性观测模型的卡尔曼滤波器对当前时刻的(u,v,γ,h)进行预测。10.根据权利要求9所述的一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，其特征在于，对于位置回归器所输出的的位置信息，配置有位置坐标存储模块进行存储，在下一时刻的位置判别时，所存储的位置坐标信息会由卡尔曼滤波器进行预判，并将预判位置映射至特征图中，回归器基于该位置信息以进行更精确的位置判断。

技术总结
本发明涉及一种基于相邻帧特征复用网络的乒乓球轨迹检测系统，包括主控设备、水平摄像头、俯视摄像头、视频数据处理模块等；摄像头用于在水平方向及乒乓球桌的俯视视角采集乒乓球视频数据，并将采集到的视频数据传输给主控设备进行处理；视频数据处理模块用于与主控设备进行视频数据传输及进行轨迹记录分析；主控设备中搭载有相邻帧特征复用网络，网络基于摄像头采集到的乒乓球视频数据进行乒乓球轨迹检测；其中相邻帧特征复用网络包括特征存储回传模块，该模块在当前时刻能够存储网络层的输出，并在下一时刻将该特征传递至网络层的输入端，实现特征的高效复用。与现有技术相比，本发明具有检测精度高、目标定位准确及模型参数小等优点。小等优点。小等优点。


技术研发人员：李文杰 陈振宇 王丹宁 林世奕 张晨浩 安东 刘翔鹏 安康 张相芬 李一染
受保护的技术使用者：上海师范大学
技术研发日：2023.03.31
技术公布日：2023/7/22