一种面向近红外动态目标序列的实时超分计算成像方法及系统与流程

1.本发明涉及超分计算成像技术领域，具体涉及一种面向近红外动态目标序列的实时超分计算成像方法及系统。


背景技术：

2.随着高质量成像器件和数字图像处理技术的不断发展，通过红外成像系统检测和跟踪空间飞行运动目标对于敌情的侦察和预警具有重大意义。然而，在远成像作用距离下，由于红外探测器自身硬件性能、探测器与目标存在相对运动的限制，视频序列中目标的分辨率较低，难以被检测与识别。
3.因此，现有技术有待于进一步发展。


技术实现要素：

4.本发明的目的在于克服上述技术不足，提供一种面向红外动态目标序列的实时超分计算成像系统，改善红外探测系统成像分辨率较低的问题，为红外目标的检测与识别提供保障。
5.根据本发明的第一方面,提供了一种面向近红外动态目标序列的实时超分计算成像方法，包括: s100、利用近红外相机和变焦镜头实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列；s200、对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原始图像序列一并作为超分重建循环神经网络的训练集；s300、搭建超分重建循环神经网络，并初始化网络参数，利用adam优化器训练超分重建循环神经网络;s400、利用训练好的超分重建循环神经网络对所采集的红外运动目标图像序列进行实时重建。
6.具体地，所述超分重建循环神经网络包括残差块，所述残差块设置为多个，所述多个残差块级联。
7.具体地，所述残差块包括依次连接的一个卷积层、一个relu层与另一个卷积层。
8.具体地，输入数据通过多个残差块进行特征的多层次提取，并得到当前时刻的输出与隐藏状态，当前时刻的输出将通过depth-to-space操作进行特征深度到空间维度的变换，并与双三次插值后的当前帧原始低分辨率图像逐元素相加得到最后当前帧的重建结果。
9.具体地，当前帧的隐藏状态将保留至下一时刻作为网络的输入。
10.具体地，所述超分重建循环神经网络在t时刻的隐藏状态和输出可以由下式表示：
；其中，ht为超分重建循环神经网络在t时刻的隐藏状态，ot为超分重建循环神经网络在t时刻的输出。
11.具体地，所述训练集还包括在训练前将各彩色图像转为灰度图像的vimeo-90k公开数据集。
12.根据本发明的第二方面,提供了一种面向近红外动态目标序列的实时超分计算成像系统,包括:红外运动目标图像序列采集模块，用于利用近红外相机和变焦镜头实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列；超分重建循环神经网络，用于对采集真实场景下的红外运动目标图像序列进行实时重建还原；控制模块，用于改变变焦镜头作用距离、调整分辨率以获取高、低分辨率原始图像；或用于对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原始图像序列一并作为超分重建循环神经网络的训练集；或用于搭建超分重建循环神经网络，并初始化网络参数，利用adam优化器训练超分重建循环神经网络;或用于利用训练好的超分重建循环神经网络对红外运动目标图像序列进行实时采集与重建。
13.本发明的有益效果是:（1）本发明利用近红外相机与变焦镜头实现红外序列的实时采集，系统的抗干扰能力强，有利于全天候的探测和识别工作。
14.（2）本发明采用循环神经网络实现红外序列的实时超分重建，充分利用了目标在帧间的运动信息，且通过跳跃级联的残差结构作为网络主干极大降低了训练中梯度消失的风险。
附图说明
15.图1为本发明具体实施例中的面向近红外动态目标序列的实时超分计算成像方法的采集过程图；图2为本发明具体实施例中的超分重建循环神经网络的框架图；图3为本发明具体实施例中的跳跃级联的残差结构图；图4为本发明具体实施例中的面向近红外动态目标序列的实时超分计算成像方法的实际成像结果；图5为本发明具体实施例中的面向近红外动态目标序列的实时超分计算成像系统的系统结构图；其中，100、近红外相机；200、变焦镜头；300、控制模块；4、成像作用距离；5、待采集的场景和目标。
具体实施方式
16.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
17.为了有效解决上述问题，本发明提供了一种传送带自动控制系统，下面进行具体阐述。
18.根据本发明实施例，提供了一种面向近红外动态目标序列的实时超分计算成像系统，请参阅图1至图5，包括：s100、利用近红外相机100和变焦镜头200实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列。
19.这里需要说明的是, 本发明所采用的红外运动目标图像序列采集模块与计算机的通信接口为gige vision接口，图形化操作软件为vimba viewer，程序调用的第三方库为vimba 2.5.0。红外运动目标图像序列采集模块的采集过程可由图1表示，其中目标长度为20cm-30cm（单边），成像作用距离4为15-20m，以保证待采集的场景和目标5在序列中的大小为20-40个像素。
20.s200、对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原始图像序列一并作为超分重建循环神经网络的训练集。
21.这里需要说明的是,本发明的进行高斯模糊后采样操作中采用的高斯滤波器尺寸为13
×
13，均值为0，方差为0.4
×
scale，本发明中scale的取值为2。
22.具体地，本发明的训练集除序列采集模块采集的实测数据集外，还包括vimeo-90k公开视频数据集。该数据集在训练前需要将各彩色图像转换为灰度图像，用以提高超分重建循环神经网络的重建性能。
23.s300、搭建超分重建循环神经网络，并初始化网络参数，利用adam优化器训练超分重建循环神经网络;这里需要说明的是，本发明利用adam优化器训练神经网络并利用测试集结合psnr与ssim测试网络的重建性能。
24.具体地，本发明的超分重建循环神经网络的主干部分采用多个残差块的级联，通过跳跃级联的残差结构作为超分重建循环神经网络的主干部分，在保障流畅信息流的同时有效降低了训练时梯度消失的风险。且设计的隐藏状态能够长时间保存红外运动目标图像序列的纹理信息，有利于红外运动目标纹理细节的恢复重构。本发明利用循环神经网络进行超分重建，充分利用了目标的帧间运动信息，保障了红外运动目标图像序列重建结果的高psnr与ssim。
25.这里需要说明的是，本发明的超分重建循环神经网络的输入输出通道数设置为1，卷积层通道数设置为32。
26.本发明的超分重建循环神经网络在训练中学习率最初设置为1
×
10-4，每60个epoch缩小10倍，直到第70个epoch。
27.本发明的adam优化器的具体参数设置为，，权重衰减系数为5
×
10-4，mini-batch的大小为6，此设置可在合理范围内，提高内存利用率，提高大矩阵乘法的并行化效率，减少跑完一次 epoch所需的迭代次数，进一步加快对于相同数据量的处理速度，提高其确定的梯度下降方向的精准度，减小引起的训练震荡。
28.本发明所述步骤三中训练的损失函数为l1损失函数，具体如下式所示：其中，为损失的大小，为原始高分辨率红外图像，为网络重建结果。本发明采用的 l1损失函数的导数是常量,有着稳定的梯度,所以不会有梯度爆炸的问题，鲁棒性更好。
29.s400、利用训练好的超分重建循环神经网络对所采集的红外运动目标图像序列进行实时重建。
30.具体地，所述超分重建循环神经网络包括残差块，所述残差块设置为多个，所述多个残差块级联。通过多个残差块的级联，在保障流畅信息流的同时有效降低了训练时梯度消失的风险。
31.具体地，所述残差块包括依次连接的一个卷积层、一个relu层与另一个卷积层。
32.具体地，输入数据通过多个残差块进行特征的多层次提取，并得到当前时刻的输出与隐藏状态，当前时刻的输出将通过depth-to-space操作进行特征深度到空间维度的变换，并与双三次插值后的当前帧原始低分辨率图像逐元素相加得到最后当前帧的重建结果。利用双三次插值对当前帧原始低分辨率图像进行处理，提高图像的平滑度和精确度，本发明设计的隐藏状态能够长时间保存红外运动目标图像序列的纹理信息，有利于红外运动目标纹理细节的恢复重构。
33.具体地，当前帧的隐藏状态将保留至下一时刻作为网络的输入。
34.具体地，所述超分重建循环神经网络在t时刻的隐藏状态和输出可以由下式表示：；其中，ht为超分重建循环神经网络在t时刻的隐藏状态，ot为超分重建循环神经网络在t时刻的输出。
35.具体地，所述训练集还包括在训练前将各彩色图像转为灰度图像的vimeo-90k公开数据集，用以提高超分重建循环神经网络的重建性能。
36.具体地，所述利用adam优化器训练神经网络还包括：利用测试集结合psnr与ssim测试网络的重建性能。
37.具体地，所述利用测试集结合psnr与ssim测试网络的重建性能具体为：psnr的具体计算方法为：其中，mse为原始图像和输出图像间的均方误差；mse的具体计算方法为：
其中，与分别为某一帧原始图像和重建图像的参考区域在处的像素值，和分别为图像的长与宽；给定图像x和y，ssim值的计算方法如下式所示：其中是的平均值，是的平均值，是的方差，是的方差，是和的协方差, 和是用来维持稳定的常数。
38.重建结果对应的psnr与ssim可由表1说明：表1由此可见，本发明利用循环神经网络进行超分重建，充分利用了目标的帧间运动信息，保障了红外运动目标图像序列重建结果的高psnr与ssim。
39.请参阅图5，本发明提供另一实施例，本实施例提供一种面向近红外动态目标序列的实时超分计算成像系统，所述面向近红外动态目标序列的实时超分计算成像系统包括：红外运动目标图像序列采集模块，用于利用近红外相机100和变焦镜头200实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头200不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列；超分重建循环神经网络400，用于对采集真实场景下的红外运动目标图像序列进行实时重建还原；控制模块300，用于改变变焦镜头200作用距离、调整分辨率以获取高、低分辨率原始图像；或用于对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原始图像序列一并作为超分重建循环神经网络400的训练集；或用于搭建超分重建循环神经网络400，并初始化网络参数，利用adam优化器训练超分重建循环神经网络400;或用于利用训练好的超分重建循环神经网络400对红外运动目标图像序列进行实时采集与重建。
40.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
42.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
43.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。
44.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
45.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
46.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
47.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
48.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：
1.一种面向近红外动态目标序列的实时超分计算成像方法，其特征在于，s100、利用近红外相机和变焦镜头实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列；s200、对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原图像序列一并作为超分重建循环神经网络的训练集；s300、搭建超分重建循环神经网络，并初始化网络参数，利用adam优化器训练超分重建循环神经网络;s400、利用训练好的超分重建循环神经网络对所采集的红外运动目标图像序列进行实时重建。2.根据权利要求1所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，所述超分重建循环神经网络包括残差块，所述残差块设置为多个，所述多个残差块级联。3.根据权利要求2所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，所述残差块包括依次连接的一个卷积层、一个relu层与另一个卷积层。4.根据权利要求3所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，输入数据通过多个残差块进行特征的多层次提取，并得到当前时刻的输出与隐藏状态，当前时刻的输出将通过depth-to-space操作进行特征深度到空间维度的变换，并与双三次插值后的当前帧原始低分辨率图像逐元素相加得到最后当前帧的重建结果。5.根据权利要求1所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，当前帧的隐藏状态将保留至下一时刻作为网络的输入。6.根据权利要求5所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，所述超分重建循环神经网络在t时刻的隐藏状态和输出可以由下式表示：；其中，ht为超分重建循环神经网络在t时刻的隐藏状态，ot为超分重建循环神经网络在t时刻的输出。7.根据权利要求6所述的面向近红外动态目标序列的实时超分计算成像方法，其特征在于，所述训练集还包括在训练前将各彩色图像转为灰度图像的vimeo-90k公开数据集。8.一种面向近红外动态目标序列的实时超分计算成像系统，其特征在于，包括：红外运动目标图像序列采集模块，用于利用近红外相机和变焦镜头实时采集红外运动目标图像序列，其中，所述红外运动目标图像序列包括在变焦镜头不同作用距离下所采集的高分辨率原始图像序列和低分辨率原始图像序列；超分重建循环神经网络，用于对采集真实场景下的红外运动目标图像序列进行实时重建还原；控制模块，用于改变变焦镜头作用距离、调整分辨率以获取高、低分辨率原始图像；或用于对高分辨率原始图像序列进行高斯模糊后进行采样得到低分辨率原始图像序列，并与高分辨率原始图像序列一并作为超分重建循环神经网络的训练集；或用于搭建超分重建循
环神经网络，并初始化网络参数，利用adam优化器训练超分重建循环神经网络;或用于利用训练好的超分重建循环神经网络对红外运动目标图像序列进行实时采集与重建。

技术总结
本发明提供一种面向近红外动态目标序列的实时超分计算成像方法及系统，搭建超分重建循环神经网络，并初始化网络参数，利用Adam优化器训练超分重建循环神经网络;利用训练好的超分重建循环神经网络对所采集的红外运动目标图像序列进行实时重建。系统的抗干扰能力强，有利于全天候的探测和识别工作。采用循环神经网络实现红外运动目标图像序列的实时超分重建，充分利用了目标在帧间的运动信息，且通过跳跃级联的残差结构作为网络主干极大降低了训练中梯度消失的风险。低了训练中梯度消失的风险。低了训练中梯度消失的风险。


技术研发人员：耿远超 杨敏 廖予祯 谢雨 王文义 刘兰琴
受保护的技术使用者：中国工程物理研究院激光聚变研究中心
技术研发日：2022.12.21
技术公布日：2023/7/12