基于异构模态数据融合的检测模型训练方法及检测方法与流程

1.本发明涉及计算机视觉技术领域，具体涉及基于异构模态数据融合的检测模型训练方法及检测方法。


背景技术：

2.移动目标检测是计算机视觉的基础研究方向之一，目的是在大量的视频序列信息中剔除长期不变的背景信息保留运动物体信息。虽然目标检测在计算机视觉领域已经得到广泛的应用，并取得了一定的成果。但目标检测只能对预设类别的目标进行检测，一旦更换使用场景的便需要重新训练以获得更好的检测效果。此外，现有目标检测算法只能区分出特定目标在图像中的位置，无法判断目标的运动状态，即静止或运动，使得目标检测算法在一些特殊的应用场景下无法使用，如区域入侵检测等智慧安防场景。
3.现有技术已经有一些移动目标检测方法，但还存在一些问题，视频背景复杂性的情况下，会导致检测出移动目标困难。经典的运动目标检测方法难以应对情况复杂的监控环境，比如光照变化、遮挡、相机抖动、阴影等影响，会造成大量的误报和漏报。


技术实现要素：

4.针对现有技术中存在的上述问题，本发明提供基于异构模态数据融合的检测模型训练方法及检测方法，能够摒弃传统背景建模的方法，以深度学习为技术基础，融合视频和相机位姿参数等异构模态数据，实现移动目标检测，提高移动目标检测模型的鲁棒性和准确率。
5.一种基于异构模态数据融合的检测模型训练方法，包括步骤：
6.a，获取训练视频集并存储为标签文件；
7.b，通过图像特征提取器提取训练视频中图像特征，以得到第一融合特征，通过文本特征提取器提取训练视频中相机位姿参数特征，以得到第二融合特征；
8.c，通过异构模态数据融合器，实现第一融合特征和第二融合特征的融合，以得到输出向量；
9.d，根据获取的训练视频集、标签文件和输出向量，对图像特征提取器、文本特征提取器和异构模态数据融合器进行训练，计算损失函数，重复迭代执行步骤b至步骤c，直至损失函数收敛至预设值，以得到包含训练后的图像特征提取器、文本特征提取器和异构模态数据融合器的检测模型。
10.作为一种优选的实施方式，步骤a中，存储为标签文件具体为：对获取的训练视频进行处理，抽取训练视频中的连续两帧图像作为图像对，在每一帧标注多个关键特征点，根据特征点计算得到图像对之间的单应性变换矩阵，以得到标签文件，所述标签文件包括多个关键特征点和单应性变换矩阵。
11.作为一种优选的实施方式，步骤b中，所述图像特征提取器包括第一卷积块、第二卷积块、第三卷积块以及特征融合块，特征融合块分别与第一卷积块、第二卷积块以及第三
[0032][0033][0034]
其中，hi表示单应性矩阵中位置元素的真实值，hi表示单应性矩阵中位置元素的预测值，i表示位置元素，x表示移动目标的中心点横坐标的真实值，x表示移动目标的中心点横坐标的预测值，y表示移动目标的中心点纵坐标的真实值，y表示移动目标的中心点横坐标的预测值，w表示移动目标宽的真实值，w表示移动目标宽的预测值，h表示移动目标高的真实值，h表示移动目标高的预测值。λ1表示姿态损失的权重，λ2表示位置损失的权重。
[0035]
一种移动目标检测方法，使用上述的训练方法训练好的检测模型对移动目标进行检测，包括步骤：
[0036]
s1，获取待检测视频，选取视频相邻帧图像，将相邻帧的第一帧记为第一图像，将相邻帧的第二帧记为第二图像，并得到对应的相机位姿参数；
[0037]
s2，将第一图像和第二图像进行组合得到第三图像；
[0038]
s3，将第一图像、第二图像、第三图像以及对应的相机位姿参数输入到检测模型中，以得到移动目标的位置信息。
[0039]
本发明的有益技术效果包括：
[0040]
通过视频图像数据与相机位姿参数信息两种异构模态数据融合，实现移动目标检测，能有效解决现有移动目标检测方法容易受环境影响，造成大量的误报和漏报的问题，可以适用于不同背景下，即静态背景和动态背景下的移动目标检测场景。对比现有技术中的移动目标检测方法，本发明提出的一种异构模态数据融合的移动目标检测方法，虚警率低，检测率高，检测结果更准确，模型的有效性高，鲁棒性好。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本发明中一种基于异构模态数据融合的检测模型训练方法流程图；
[0043]
图2为实施例中一种基于异构模态数据融合的检测模型框图；
[0044]
图3为本发明中一种移动目标检测方法流程图。
具体实施方式
[0045]
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0046]
实施例一：
[0047]
参照图1，一种基于异构模态数据融合的检测模型训练方法，包括步骤：
[0048]
步骤a，获取训练视频集并存储为标签文件，所述训练视频集包括仿真视频集和真实视频集。步骤a具体包括：
[0049]
步骤a1，建立仿真视频集，仿真视频集包括不同场景视频和对应的虚拟相机位姿信息，每个场景通过调整虚拟相机位置和拍摄角度渲染生成仿真视频。不同场景的数量为100个，每个场景的视频数量为100段，仿真视频集中总计采集了10000段视频，每段视频时长为5分钟，视频的分辨率为1920*1080像素，虚拟相机位姿信息包括相机位置和相机姿态。其中，相机位置为三维坐标，表示为(x,y,z),相机姿态为生成场景视频时相机绕三个坐标轴的旋转，表示为(dx,dy,dz)。
[0050]
建立真实视频集，通过真实相机对应用场景进行拍摄获取真实视频和对应的真实相机位姿信息，真实相机位姿信息包括相机位置和相机姿态。
[0051]
步骤a2，在仿真视频中，随机生成五种不同的几何图形，且满足几何图形在仿真视频中发生均匀的位置变化，从而模拟视频中移动目标的运动。其中，几何图形包括三角形、矩形、五边形以及随机的不规则四边形，单个几何图形面积的尺寸大小为25*25像素至270*150像素，单个几何图形面积占图像面积比例满足0.0002≤s≤0.02，s表示单个几何图形面积占图像面积比例。
[0052]
获取仿真视频集后还对其进行预处理，抽取仿真视频中的连续帧，将相邻两帧作为一个图像对，分别标注相邻两帧的第一关键特征点，记为(x1,y1,w1,h1)，其中，x1表示移动目标的中心点在图像坐标系中的x轴横坐标，y1表示移动目标的中心点在图像坐标系中的y轴纵坐标，w1表示移动目标宽，h1表示移动目标高，根据第一关键特征点计算连续两帧之间的第一单应性变换矩阵。
[0053]
在真实视频中，获取真实视频集后还对其进行预处理，抽取真实视频中的连续帧，将相邻两帧作为一个图像对，分别标注相邻两帧的第二关键特征点，记为(x2,y2,w2,h2)，其中，x2表示移动目标的中心点在图像坐标系中的x轴横坐标，y2表示移动目标的中心点在图像坐标系中的y轴纵坐标，w1表示移动目标宽，h1表示移动目标高，根据第二关键特征点计算连续两帧之间的第二单应性变换矩阵。
[0054]
步骤a3，在仿真视频中，将第一关键特征点和第一单应性变换矩阵存储为标签文件，在真实视频中，将第二关键特征点和第二单应性变换矩阵存储为标签文件。
[0055]
步骤b，通过图像特征提取器提取训练视频中图像特征，以得到第一融合特征，通过文本特征提取器提取训练视频中相机位姿参数高级特征，以得到第二融合特征。
[0056]
图像特征提取器包括第一卷积块、第二卷积块、第三卷积块以及特征融合块，特征融合块分别与第一卷积块、第二卷积块以及第三卷积块连接。
[0057]
第一卷积块：用于对训练视频中的连续两帧图像中的第一帧进行卷积处理；
[0058]
第二卷积块：用于对训练视频中的连续两帧图像中的第二帧进行卷积处理；
[0059]
第三卷积块：用于对训练视频中的连续两帧图像的组合图像进行卷积处理。
[0060]
第一卷积块和第二卷积块为3通道输入的resnet101网络结构，在网络最后一层连接有128维输出的全连接层，通过第一卷积块和第二卷积块对训练视频进行特征提取，以得到第一特征输出和第二特征输出。第三卷积块为6通道输入的resnet50网络结构，在网络最
后一层连接有256维输出的全连接层，通过第三卷积块对训练视频进行特征提取，以得到第三特征输出。并对第一特征输出、第二特征输出和第三特征输出进行特征融合，特征融合方式为特征向量拼接，得到第一融合特征。
[0061]
文本特征提取器包括依次连接的六个结构相同的编码器模块以及第一多层感知机，编码器模块包括依次连接的多头自注意力单元、第一残差单元、前向推理单元以及第二残差单元，第一残差单元和第二残差单元均包括向量相加和归一化。第一多层感知机为包含1个隐藏层的全连接神经网络，隐藏层神经元数量为1024个。
[0062]
文本特征提取器的输入为相机位姿参数，包括相机位置的三维坐标(x,y,z)和相机绕三个坐标轴的旋转(dx,dy,dz)，数据类型均为浮点型。在输入文本特征提取器之前，还对六个参数进行预处理，将六个参数用32位的二进制编码表示为编码向量，然后根据六个参数的位置顺序对位置进行编码，以得到对应的位置编码特征向量，每个参数的位置编码特征向量与编码向量相加作为文本特征提取器的输入，经过文本特征提取器中编码器模块的处理，得到六个参数特征。将六个参数特征进行拼接，并通过第一多层感知机进行前向计算，以得到第二融合特征。
[0063]
根据六个参数的位置顺序对位置进行编码，以得到对应的位置编码特征向量，编码式为：
[0064][0065][0066][0067]
其中，pe表示位置编码，pos表示参数位置编号，d_index表示编码特征向量位置，d表示编码特征向量的维度。
[0068]
步骤c，通过异构模态数据融合器，实现第一融合特征和第二融合特征的融合，以得到输出向量。步骤c具体包括：
[0069]
步骤c1，对第一融合特征和第二融合特征进行归一化预处理，以得到预处理后的第一融合特征和第二融合特征，归一化所利用的函数为softmax函数。
[0070]
步骤c2，对预处理后的第一融合特征和第二融合特征进行元素相乘，即对应位置元素相乘，以得到第一异构模态数据融合特征向量。
[0071]
步骤c3，对预处理后的第一融合特征和第二融合特征进行加权处理，并与第一异构模态数据融合特征向量进行相加处理，以得到第二异构模态数据融合特征向量，计算式为：
[0072]
f2＝f1+w1f1+w2f2[0073]
其中，f1表示第一异构模态数据融合特征向量，f2表示第二异构模态数据融合特征向量，f1表示预处理后的第一融合特征，w1表示预处理后的第一融合特征的权重，f2表示预处理后的第二融合特征，w2表示预处理后的第二融合特征的权重，w1和w2满足w1+w2＝1.0，w1＝0.75，w2＝0.25
[0074]
进一步地，步骤c中，预处理后的第一融合特征的权重满足：0.7≤w1≤0.9，表示图
像特征的重要程度要高于文本特征的重要程度。
[0075]
步骤c4，通过第二多层感知机对第二异构模态数据融合特征向量进行特征映射，得到输出向量。输出向量包括训练视频相邻帧的单应性矩阵、移动目标的置信度、移动目标的中心点横坐标、移动目标的中心点纵坐标、移动目标的宽以及移动目标的高。输出向量的维度为59，其中向量的前9个元素表示训练视频的相邻帧图像变换关系的单应性矩阵，后50个元素以5个元素为一组，总共10组，每组元素分别表示移动目标的置信度、移动目标的中心点横坐标、移动目标的中心点纵坐标、移动目标的宽以及移动目标的高。
[0076]
步骤d，参照图2，根据获取的训练视频集、标签文件和输出向量，对图像特征提取器、文本特征提取器和异构模态数据融合器进行训练，计算损失函数，重复迭代执行步骤b至步骤c，直至损失函数收敛至预设值，以得到包含训练后的图像特征提取器、文本特征提取器和异构模态数据融合器的检测模型。
[0077]
先利用仿真视频集训练得到预训练模型，然后在预训练模型的基础上利用真实视频集，即真实场景的数据集，进行修正训练，以得到最终的检测模型。仿真视频集具有获取相对简单，场景多样性丰富的特点，训练使检测模型具备较强的泛化能力，真实视频集训练使检测模型具有对特定真实场景的高适应能力，通过仿真视频集和真实视频集的训练，使检测模型达到最优效果。
[0078]
步骤d具体包括：
[0079]
步骤d1，从获取的训练视频中选取相邻视频帧图像数据，记为第一图像和第二图像，将第一图像和第二图像统一缩放至640*640像素大小，将3通道的第一图像和第二图像组合成6通道的第三图像，将第一图像输入第一卷积块、将第二图像输入第二卷积块，将第三图像输入第三卷积块，并将第一卷积块、第二卷积块和第三卷积块的输出送入特征融合块中进行特征融合，以得到第一融合特征。
[0080]
步骤d2，通过文本特征提取器提取训练视频中相机位姿参数高级特征，以得到第二融合特征。
[0081]
步骤d3，通过异构模态数据融合器，实现第一融合特征和第二融合特征的融合，以得到输出向量。
[0082]
步骤d4，计算损失函数，判断损失函数是否收敛至预设值，若小于预设值，则停止训练，执行步骤e，若不小于预设值，则进行二次判断。是否达到预设训练次数，若大于预设训练次数，预设训练次数为100000次，则停止训练，执行步骤e，若不大于预设训练次数，则重复迭代执行步骤b至步骤c。
[0083]
损失函数为：
[0084]
l＝λ1l1+λ2l2[0085][0086][0087]
其中，hi表示单应性矩阵中位置元素的真值，hi表示单应性矩阵中位置元素的预测值，i表示位置元素，x表示移动目标的中心点横坐标的真值，x表示移动目标的中心点横坐
标的预测值，y表示移动目标的中心点纵坐标的真值，y表示移动目标的中心点横坐标的预测值，w表示移动目标宽的真值，w表示移动目标宽的预测值，h表示移动目标高的真值，h表示移动目标高的预测值。λ1表示姿态损失的权重，λ2表示位置损失的权重，满足λ1＝0.6，λ2＝5。
[0088]
通过建立的检测模型对视频图像信息和相机参数信息进行特征融合，然后获取仿真视频集和真实视频集对检测模型进行训练，得到训练好的检测模型。该模型以视频和对应的相机参数为输入，通过检测模型的前向推理分析，直接获取视频中移动目标的位置，从而实现端到端的移动目标检测。
[0089]
先用简单的仿真数据集训练，好处是可以自动生成海量数据集，能让检测模型学习到一些初级特征，由于真实场景更复杂，再用真实场景数据集进行微调，让检测模型对真实场景的适应性更强。
[0090]
实施例二：
[0091]
实施例二与实施一的步骤基本相同，区别在于，步骤a中，建立仿真视频集时，不同场景的数量不少于100，随机生成的几何图形不少于五种。
[0092]
实施例三：
[0093]
实施例三与实施一的步骤基本相同，区别在于，步骤b中，文本特征提取器的多层感知机的隐藏层神经元数量不少于1024个。
[0094]
实施例四：
[0095]
实施例四与实施一的步骤基本相同，区别在于，步骤d中，损失函数中姿态损失的权重λ1和位置损失的权重λ2，满足0.5《λ1《1.0，3.0《λ2《7.0。
[0096]
实施例五：
[0097]
参照图3，一种移动目标检测方法，利用训练好的检测模型对待测的视频流中的移动目标进行检测，包括步骤：
[0098]
步骤s1，获取待检测视频，选取视频相邻帧图像，将相邻帧的第一帧记为第一图像，将相邻帧的第二帧记为第二图像，并得到对应的相机位姿参数；
[0099]
步骤s2，将第一图像和第二图像进行组合得到第三图像；
[0100]
步骤s3，将第一图像、第二图像、第三图像以及对应的相机位姿参数输入到检测模型中，以得到移动目标的位置信息。
[0101]
根据以下实验对本发明所提出的移动目标检测方法和现有技术方法进行对比测试实验。实验对象：静态背景和动态背景下各10段测试视频，每段测试视频时长为1分钟，视频分辨率为1920*1080像素。分别使用本发明的移动目标检测算法和传统的移动目标检测方法获取移动目标检测结果，并对相应的虚警率和检测率进行统计，下表为移动检测算法测试结果：
[0102]
表1不同背景下使用不同检测方法进行检测的检测结果
[0103]
[0104]
实验结果分析：
[0105]
1.对比现有技术方法，本发明方法具有更高的检测率和更低的虚警率，充分说明了本发明方法的有效性。
[0106]
2.静态背景下，本发明的移动目标检测方法的检测结果虚警率指标和检测率指标均高于传统方法，动态背景下，本发明方法在虚警率和检测率虽然在指标上略有下降，但对比传统方法虚警率高达80.1％的检测结果来看，本发明方法在动态背景的应用场景中具有极强的适应性。
[0107]
本发明的移动目标检测方法具有重要意义，该技术在视频技术、虚拟现实、导航与制导、交通管控、目标跟踪、人机交互等领域都有实践应用价值。
[0108]
实施例六：
[0109]
一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行如实施例一提出的移动目标检测方法。
[0110]
实施例七：
[0111]
一种电子设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器存储有计算机指令，处理器通过执行计算机指令，从而执行如实施例一提出的移动目标检测方法。
[0112]
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

技术特征：
1.一种基于异构模态数据融合的检测模型训练方法，其特征在于，包括步骤：a，获取训练视频集并存储为标签文件；b，通过图像特征提取器提取训练视频中图像特征，以得到第一融合特征，通过文本特征提取器提取训练视频中相机位姿参数特征，以得到第二融合特征；c，通过异构模态数据融合器，实现第一融合特征和第二融合特征的融合，以得到输出向量；d，根据获取的训练视频集、标签文件和输出向量，对图像特征提取器、文本特征提取器和异构模态数据融合器进行训练，计算损失函数，重复迭代执行步骤b至步骤c，直至损失函数收敛至预设值，以得到包含训练后的图像特征提取器、文本特征提取器和异构模态数据融合器的检测模型。2.根据权利要求1所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤a中，存储为标签文件具体为：对获取的训练视频进行处理，抽取训练视频中的连续两帧图像作为图像对，在每一帧标注多个关键特征点，根据特征点计算得到图像对之间的单应性变换矩阵，以得到标签文件，所述标签文件包括多个关键特征点和单应性变换矩阵。3.根据权利要求2所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤b中，所述图像特征提取器包括第一卷积块、第二卷积块、第三卷积块以及特征融合块，特征融合块分别与第一卷积块、第二卷积块以及第三卷积块连接；第一卷积块：用于对训练视频中的连续两帧图像中的第一帧进行卷积处理；第二卷积块：用于对训练视频中的连续两帧图像中的第二帧进行卷积处理；第三卷积块：用于对训练视频中的连续两帧图像的组合图像进行卷积处理。4.根据权利要求1所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤b中，所述相机位姿参数特征的提取是通过依次连接的编码器模块以及第一多层感知机实现的。5.根据权利要求4所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤b中，通过文本特征提取器提取训练视频中相机位姿参数高级特征之前，还对训练视频中相机位姿参数高级特征进行预处理，所述预处理具体为：根据参数的位置顺序对位置进行编码，以得到对应的位置编码特征向量，编码式为：根据参数的位置顺序对位置进行编码，以得到对应的位置编码特征向量，编码式为：根据参数的位置顺序对位置进行编码，以得到对应的位置编码特征向量，编码式为：其中，pe表示位置编码，pos表示参数位置编号，d_index表示编码特征向量位置，d表示编码特征向量的维度。6.根据权利要求1所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤c中，所述异构模态数据融合器包括依次连接的预处理块、相乘模块、加权相加模块以及第二多层感知机，预处理块还与加权相加模块连接。7.根据权利要求6所述的一种基于异构模态数据融合的检测模型训练方法，其特征在
于，步骤c具体包括：c1，对第一融合特征和第二融合特征进行归一化预处理，以得到预处理后的第一融合特征和第二融合特征；c2，将预处理后的第一融合特征和第二融合特征中的元素进行相乘，以得到第一异构模态数据融合特征向量；c3，对预处理后的第一融合特征和第二融合特征进行加权处理，并与第一异构模态数据融合特征向量一起进行相加处理，以得到第二异构模态数据融合特征向量；c4，通过第二多层感知机对第二异构模态数据融合特征向量进行特征映射，以得到输出向量。8.根据权利要求7所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤c中，第二异构模态数据融合特征向量的计算式为：f2＝f1+w1f1+w2f2其中，f1表示第一异构模态数据融合特征向量，f2表示第二异构模态数据融合特征向量，f1表示预处理后的第一融合特征，w1表示预处理后的第一融合特征的权重，f2表示预处理后的第二融合特征，w2表示预处理后的第二融合特征的权重。9.根据权利要求1所述的一种基于异构模态数据融合的检测模型训练方法，其特征在于，步骤d中，损失函数为：l＝λ1l1+λ2l
22
其中，h
i
表示单应性矩阵中位置元素的真实值，h
i
表示单应性矩阵中位置元素的预测值，i表示位置元素，x表示移动目标的中心点横坐标的真实值，x表示移动目标的中心点横坐标的预测值，y表示移动目标的中心点纵坐标的真实值，y表示移动目标的中心点横坐标的预测值，w表示移动目标宽的真实值，w表示移动目标宽的预测值，h表示移动目标高的真实值，h表示移动目标高的预测值，λ1表示姿态损失的权重，λ2表示位置损失的权重。10.一种移动目标检测方法，其特征在于，使用如权利要求1至9任一项所述的训练方法训练得到的检测模型对待检测视频中的移动目标进行检测，包括步骤：s1，获取待检测视频，选取视频相邻帧图像，将相邻帧的第一帧记为第一图像，将相邻帧的第二帧记为第二图像，并得到对应的相机位姿参数；s2，将第一图像和第二图像进行组合得到第三图像；s3，将第一图像、第二图像、第三图像以及对应的相机位姿参数输入到检测模型中，以得到移动目标的位置信息。

技术总结
本发明涉及计算机视觉技术领域，具体涉及基于异构模态数据融合的检测模型训练方法及检测方法。包括步骤：A，获取训练视频集并存储为标签文件；B，通过图像特征提取器提取训练视频中图像特征，以得到第一融合特征，通过文本特征提取器提取训练视频中相机位姿参数特征，以得到第二融合特征；C，通过异构模态数据融合器，实现第一融合特征和第二融合特征的融合，以得到输出向量；D，根据获取的训练视频集、标签文件和输出向量，对图像特征提取器、文本特征提取器和异构模态数据融合器进行训练，重复迭代执行步骤B至步骤C，直至损失函数收敛至预设值，以得到训练后的的检测模型，以实现移动目标检测，提高移动目标检测模型的鲁棒性和准确率。确率。确率。


技术研发人员：陈初杰 李俊薇 陈碧乾 张子恒 李彤
受保护的技术使用者：中国电子科技集团公司第五十二研究所
技术研发日：2023.06.06
技术公布日：2023/10/8