一种视频图像湍流抑制的处理方法、装置及视频处理设备与流程

1.本发明涉及湍流视频图像处理的技术领域，特别是涉及一种视频图像湍流抑制的处理方法、装置及视频处理设备。


背景技术：

2.在成像系统中，当物理场景发出的光线，通过各向异性的媒体传播。由于该媒体的折射率在三维空间上不均匀分布，从而导致折射光线的不均匀散射，进而导致成像的扭曲。尤其是远距离拍摄时，拍摄目标物和成像系统距离很远，大气密度易受到温湿度，气压，风速，颗粒物等环境因素影响，造成大气密度不一致，使得光线传播介质折射率发生变化，从而导致拍摄物光波在空间不均匀散射，造成拍摄视频图像的扭曲和形变。理论上，只要发生光线传播媒介不一致问题，就会发生湍流图像的干扰现象。比如可见光、红外/热成像、水下、水面+水下跨媒介等等。特别是当拍摄物距离较远，或长焦距成像时，由于光线成像的光路较长，获取的视频图像往往会存在更加严重的模糊，抖动，和像素偏移，光斑闪烁等现象。
3.由于上述拍摄湍流视频与现实中真实物体存在较大的差异，几何形状严重失真。直接利用湍流视频进行目标识别，物体判断和检测，往往会造成重大误差，有时甚至无法识别，失去了拍摄的意义。
4.由于湍流的产生原因具有很强的随机性和不可预测性。在以往的湍流抑制手段中，单独采用模型化手段建立物理场景和相机之间的光学传播模型来进行视频图像复原，成本高昂，达不到普遍适用性。而采用幸运图像的复原方法，有可能找不到最清晰图像导致复原失败。即时找到最清晰图像，在面对运行物体时，往往会导致运动物体恢复差，甚至不能恢复出运动物体。
5.复原效果差，对运动物体恢复难以处理，运算过程复杂，对计算平台的算力要求高，部署环境复杂，落地成本高，难以达到实时性处理等问题。诸多问题导致目前在湍流视频处理上没有得到实际的应用。


技术实现要素：

6.为解决上述技术问题，本发明提供一种视频图像湍流抑制的处理方法、装置及视频处理设备，根据所观测的侧重点和目的不同，将湍流视频处理分类为静态模式处理和动态模式处理，此模式能够很好的解决现有湍流处理技术中存在的背景复原模糊，运动目标难以恢复，处理能力不足，不能实时处理，部署复杂，场景失效等问题，在实际应用中面对不同的应用场景，能够随时切换静态模式和动态模式，利用不同的图像统计学方法和手段，能够最大程度上复原湍流视频中背景物体和运动目标，达到实际应用的目的。
7.本发明的一种视频图像湍流抑制的处理方法，包括以下步骤：
8.获取湍流视频文件或连续图像序列：湍流视频所拍摄的同一场景之间，前后多帧视频具有一定的相关性，即n1，n2.....ni为采集的一组湍流视频，则它们前后之间具有一定的相关性；
9.因为连续图像前后具有一定相关性，则需要复原的当前湍流视频与之前图像序列具有一定的关系，则定义每帧图像权重比为a1,a2......ai；
10.预处理：对采集的多幅图像做一定的预处理，包含图像稳定，图像预去噪，图像锐化等预处理，设为预处理图像,预处理图像宽为w，高为h，其图像序列为n1，n2.....ni；
11.将图像通道进行分离，将多通道图像分离为单通道图像分别处理，在处理时，即可以将图像分离为r，g，b三原色通道，也可将通道分离为y，u，v亮度和色度和浓度通道；
12.当观测湍流图像中无位移，处理静止状态的物体时，此时对于图像的处理是静态模式；
13.当观测湍流图像中有位移，处理动态状态的物体时，此时对于图像的处理是动态模式。
14.进一步地，静态模式包括以下步骤：将分离的各个图像通道划分为一致性子窗口；对子窗口内图像求取一致性；引入图像序列集权重比；利用一致性窗口和权重比计算待复原图像；计算完成多通道图像，将多通道图像合成；复原湍流视频输出或存储。
15.进一步地，动态模式包括以下步骤：将分离的各个图像通道划分为一致性子窗口；对子窗口内图像求取一致性；引入差异性子窗口求取差异性，计算复原序列集个数；利用一致性窗口和权重比，复原序列集个数计算待复原图像；计算完成多通道图像，将多通道图像合成；复原湍流视频输出或存储。
16.进一步地，在静态模式中，处理的主要目的是针对湍流对无运动的物体所造成的干扰，例如模糊或抖动。此时考虑图像间最大相关性，对背景图像进行复原。
17.静态模式更具体地步骤如下：
18.将预处理图像划分为半径为r,s的子窗口图像，其窗口大小为：(2r+1)
×
(2s+1),其中0≤r≤(w-1)/2,0≤s≤(h-1)/2，w，h为预处理图像宽和高；
19.上述子窗口图像称为一致性窗口图像，其集合构成了预处理图像，当r＝0,s＝0时，退化为单个像素点，当r＝w-1/2,s＝h-1/2时，退化为整幅图像；
20.将预处理图像序列n1，n2.....ni每一幅图像划分为窗口大小为:
21.(2r+1)
×
(2s+1),数目为h一致性子窗口图像集序列，对每个一致性子窗口图像统计其一致性和相关性特性e，例如计算每一帧图像每一个子窗口图像大小范围内r像素的平均值或中位数e
irh
，g像素的平均值或中位数e
igh
，b像素的平均值或中位数e
ibh
,其中下标r,g,b代表的是图像通道，i代表图像序列每一帧图像，h代表的是每帧图像子窗口的数目,将计算的统计结果e
irh
,e
igh
,e
ibh
作为的一致性子窗口图像集的数据；
22.考虑到连续视频图像相关性中，当前待复原视频受之前连续视频的影响不同，连续预处理图像序列n1，n2.....ni中，若ni为待复原的湍流视频，除了ni自身外，距离ni越近的图像对ni图像构成影响越大，则引入权重值为ai≥a
i-1
，作为ni之前的图像对ni的影响因子；其中一幅图像aj对ni影响构成为：可以看出，图像序列的不断增加，权重会依次增大,当前图像的临近图像权重占比较大，距离当前图像较远的图像权重占比较小；
23.在引入权重比下，计算出每帧图像每个一致性窗口图像每个分离通道的图像的权重一致相关性，例如权重比均值；则待复原湍流图像
则计算出待复原子窗口r，g，b通道值，将子窗口通道数据合并，并将r，g，b通道数据按照图像数据格式排列，即得到复原湍流图像。
24.利用上述方法，在静态场景应用中，根据连续场景图像最大相似性原理，利用连续多帧视频的得到的一致性窗口图像对应图像通道的相关性，计算图像序列子窗口的均值，利用权重比，将图像序列每一帧对应的子窗口按照权重值求和，最终构成了静态场景湍流图像。
25.进一步地，动态模式更具体地步骤如下：
26.在动态模式处理中，处理的主要目的是针对湍流对运动的物体所造成的运动畸变和扰动，此时考虑图像间相关性基础上，需要考虑图像间差异，对运动物体进行复原；
27.若图像间相关性过大，则抑制运动物体的复原，有可能丢失运动目标，若图像间相关性过小，则对湍流没有明显的抑制作用，故需要统计待复原图形內部差异性，图像不同通道不同一致性子窗口区域采用不同的相关特性。
28.在预处理图像上定义子窗口图像，半径为r,s，其窗口大小为：
29.(2r+1)
×
(2s+1),其中r≤r≤(w-1)/2,s≤s≤(h-1)/2；
30.一致性子窗口和差异性子窗口具有相同的中心时，依次计算每帧预处理图像一致性子窗口和差异性窗口的差异性，例如方差或标准差，高通滤波后图像均值等。求出每帧图像中每个差异性子窗口的最大值δ
max
和最小值δ
min
；
31.利用其最大值δ
max
和最小值δ
min
，将标准差归一化，即δ
pn
＝(δ
p-δ
min
)/(δ
max-δ
min
)，其中δ
p
为该差异性子窗口的差异性，δ
pn
为该处差异性子窗口归一化差异性；
32.利用归一化差异性，基于其值大小不同，在不同一致性子窗口中，各个图像的通道采用不同数目的连续帧序列和不同权重大小值来恢复一致性窗口；其策略为：若差异性过大，则选取待复原图像之前更多的图像来复原图像，反之依然，同时保持设置权重值为ai≥a
i-1
，其中i≥2；
33.在计算出每帧图像每个一致性窗口图像每个分离通道的图像的权重一致相关性，则子窗口构成的图像集为待复原的湍流图像，即得到复原湍流图像。
34.在差异性子窗口下，计算出待复原图像每个一致性窗口图像每个分离通道在差异性窗口的差异性。利用差异性可以根据待复原图像本身的特性，采取不同的策略来复原一致性窗口图像，最终复原带有运动目标物的图像。
35.利用上述方法，在动态场景应用中，根据连续场景图像相似性和图像本身差异性原理，利用根据差异性窗口选择不同复原一致性子窗口的策略，最终构成了动态场景湍流图像。
36.一种视频图像湍流抑制的处理装置，包括文件及视频流输入模块、湍流处理服务器以及文件及视频流输出模块；
37.文件及视频流输入模块用于向湍流处理服务器输入视频，湍流处理服务器对视频按照上述视频图像湍流抑制的处理方法处理，视频流输出模块用于接收湍流处理服务器处理后的视频。
38.一种视频处理设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在
处理器上运行的计算机程序，收发器、存储器和处理器通过总线相连，计算机程序被处理器执行时实现视频图像湍流抑制的处理方法中的步骤。
39.与现有技术相比本发明的有益效果为：基于上述解决方案的湍流视频图像抑制方法，处理过程耗时短，对计算平台的算力要求低，部署环境简单，落地成本低，能够达到多路视频的实时性处理要求，极大的增强了使用范围，其本质为统计多帧视频图像的一致性和差异性，在应对湍流抑制，及时处理方面有很强的应用；
40.基于本发明创造的有益效果，为湍流视频图像抑制方面构建了一个完整的处理手段，实现了湍流视频图像抑制的可靠应用与分析，有效的提高了企业的视频图像应用领域的效率，同时可以降低了研发成本；
41.基于本发明成果，构建出湍流图像静态模式和动态模式两种处理场景，能够有效应用在不同的观测场合，且两种场景可以随意切换处理。基于连续图像相关一致性特性和差异行，保障了静态场景处理和动态图像处理湍流场景中，得到了预期的复原视频；
42.本方法尤其在应对实时湍流视频处理中，可以根据实际需要来设计各种类型图像的权重比，来动态的调整湍流连续多帧的权重占比，尤其适用于实时湍流视频的图像复原。
附图说明
43.图1是静态模式的流程图；
44.图2是动态模式的流程图；
45.图3是视频图像湍流抑制的处理装置的结构示意图；
46.图4左侧是原始湍流视频，右侧是经过静态模式处理后的湍流视频；
47.图5上侧是原始湍流视频，下侧是经过静态模式处理后的湍流视频；
48.图6左侧是原始湍流视频，右侧是经过动态模式处理后的湍流视频。
具体实施方式
49.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
50.下面以图4-6湍流视频为例，来说明本发明具体实施方式；
51.1、对获取的湍流视频图像进行预处理，包含基本图像稳定、图像噪声去除等操作，其目的为了去除拍摄过程中噪声和抖动等对图像画面的干扰；
52.2、基于湍流视频图像应用目的不同，比如观测湍流图像中处于静止状态的物体，例如建筑物，道路等不动状态的物体，将湍流视频处理为静态模式；或观测湍流图像中处于运动状态的物体，例如行进的汽车，运动的行人等有位移变化的物体，将湍流视频处理为动态模式；
53.3、在静态模式中，获取100帧湍流视频图像画面ni,i∈[1,100]，包含r，g，b或y，u，v通道，每个通道像素大小为1920*1080，即w＝1920，h＝1080；
[0054]
4、将则ni图像进行通道分离，例如r，g，b通道，记为n
ir
，n
ig
，n
ib
，均值图像其每个通道均为列为1920，行为1080的矩阵单通道图像；
[0055]
5、定义半径为r,s的一致性子窗口图像，其图像满足0≤r≤(w-1)/2,0≤s≤(h-1)/2，即0≤r≤959,0≤s≤539；
[0056]
6、在上述r,s取值范围内，计算一致性子窗口图像的一致性，例如计算均值和中位数，本实施以计算均值为例，则对于每帧湍流视频ni,i∈[1,100]，计算n
ir
，n
ig
，n
ib
三个通道一致性窗口大小范围内像素的均值，直至完成整个图像序列计算，其每帧图像计算结果为一矩阵；
[0057]
7、若令r＝s＝0，则相关一致性窗口为1，则计算每帧湍流图像每个像素点值大小的均值，为像素值本身；
[0058]
8、引入连续多帧图像之间权重比ai＝a
i-1
+1，其中2≤i≤100，a1＝1；则在计算r，g，b三通道像素点均值大小er，eg，eb时，引入ai，即其中c∈[r,g,b]，代表依次求取三个通道像素点均值大小，p代表一幅图像中具体某一点的像素值，w,h代表图像矩阵的列和行，表示依次求取每个像素点的权重均值；
[0059]
9、针对上述步骤，将求取的每一点权重平均值存入对应矩阵，记为yc，其中c∈[r,g,b]；
[0060]
10、因为是对100帧图像数据的r，g，b通道每一点像素值做均值化处理，故yc的结果仍然为一幅图像，此图像即为恢复的湍流数据；将yc的r，g，b三通道数据以图像显示的方式存储，则获取到所复原的湍流视频图像；
[0061]
11、当观测者需要观察湍流视频中运动目标时，采用动态模式时，以图4为例，图示中圈内范围为运动目标；包含r，g，b三个通道，每个通道像素大小为1920*1080；
[0062]
12、定义差异性子窗口图像，半径为r,s大小能包裹住一致性子窗口大小即可，此实施例中，一致性子窗口大小为1，故r,s仅需大于1即可，这里令半径为r＝s＝7；
[0063]
13、以上述步骤6作为一致性窗口，计算待复原图像，以差异化子窗口为半径计算其差异值，若以标准差为例，记为δ
p
；
[0064]
14、此处一致性子窗口大小退化为像素大小，故依次求取1920*1080个差异性子窗口，其中心点为一致性子窗口，大小半径为7范围内像素值大小的标准差，并取到标准差最大值δ
max
和最小值δ
min
；
[0065]
15、将标准差归一化,即δ
pn
＝(δ
p-δ
min
)/(δ
max-δ
min
)，其中δ
p
为该处像素点的标准差，δ
pn
为该处像素归一化标准差；
[0066]
16、根据归一化标准差大小，分别计算其一致性相关连续图像序列集个数，即若归一化标准差越大，则采用连续序列集个数越多，即序列集个数c＝1+δ
pn
/(255.0/μ),其中μ为可设外部参数，用来可用来手动调整序列集大小；
[0067]
17、针对每一个一致性窗口大小，均有一个对应的序列集个数c与之对应；
[0068]
18、为体现运动目标差异性，此处设置多帧图像之间权重比ai＝(i+1)2，满足权重比引入条件；
[0069]
19、依据步骤7中湍流次数c为步骤15所计算序列集个数，计算出当前通道一致性子窗口大小范围内像素点大小的均值；
[0070]
20、分别对图像三通道r，g，b重复上述过程，则得到湍流视频的复原图像。
[0071]
本发明依据湍流图像内容，依据现实使用中，所观测目标的不同，将湍流图像分为
静态模式和动态模式两部分来进行分别处理。
[0072]
其中针对静态模式处理，引入一致性子窗口概念，对待复原图像进行划分，同时引入均值权重来针对连续多幅视频图像进行均值校正，达到稳定图像视频背景内容，且该均值权重能够保持视频序列之间的相关性。
[0073]
针对动态图像处理，引入差异化子窗口概念，该方法利用计算待复原帧图像每一个差异化子窗口内一致性子窗口的差异性大小，来获取复原图像一致相关性图像序列集个数，在不同权重比的处理下，达到复原运动图像的目的和要求。
[0074]
依据静态模式和动态模式采用不同统计学方法处理，能够稳定复原不同条件下湍流视频的清晰图像，且实施部署简介方便，能够实际应用于需要湍流处理的场景。
[0075]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

技术特征：
1.一种视频图像湍流抑制的处理方法，其特征在于，包括以下步骤：获取湍流视频文件或连续图像序列；预处理；将图像通道进行分离，将多通道图像分离为单通道图像分别处理；当观测湍流图像中无位移，处理静止状态的物体时，此时对于图像的处理是静态模式；当观测湍流图像中有位移，处理动态状态的物体时，此时对于图像的处理是动态模式。2.如权利要求1所述的一种视频图像湍流抑制的处理方法，其特征在于，静态模式包括以下步骤：将分离的各个图像通道划分为一致性子窗口；对子窗口内图像求取一致性；引入图像序列集权重比；利用一致性窗口和权重比计算待复原图像；计算完成多通道图像，将多通道图像合成；复原湍流视频输出或存储。3.如权利要求2所述的一种视频图像湍流抑制的处理方法，其特征在于，动态模式包括以下步骤：将分离的各个图像通道划分为一致性子窗口；对子窗口内图像求取一致性；引入差异性子窗口求取差异性，计算复原序列集个数；利用一致性窗口和权重比，复原序列集个数计算待复原图像；计算完成多通道图像，将多通道图像合成；复原湍流视频输出或存储。4.如权利要求3所述的一种视频图像湍流抑制的处理方法，其特征在于，静态模式更具体地步骤如下：将预处理图像划分为半径为r,s的子窗口图像，其窗口大小为：(2r+1)
×
(2s+1),其中0≤r≤(w-1)2,0≤s≤(h-1)2，w，h为预处理图像宽和高；上述子窗口图像称为一致性窗口图像，其集合构成了预处理图像，当r＝0,s＝0时，退化为单个像素点，当r＝w-12,s＝h-12时，退化为整幅图像；将预处理图像序列n1，n2.....n
i
每一幅图像划分为窗口大小为:(2r+1)
×
(2s+1),数目为h一致性子窗口图像集序列，对每个一致性子窗口图像统计其一致性和相关性特性e；考虑到连续视频图像相关性中，当前待复原视频受之前连续视频的影响不同，连续预处理图像序列n1，n2.....n
i
中，若n
i
为待复原的湍流视频，除了n
i
自身外，距离n
i
越近的图像对n
i
图像构成影响越大，则引入权重值为a
i
≥a
i-1
，作为n
i
之前的图像对n
i
的影响因子；其中一幅图像a
j
对n
i
影响构成为：可以看出，图像序列的不断增加，权重会依次增大,当前图像的临近图像权重占比较大，距离当前图像较远的图像权重占比较小；在引入权重比下，计算出每帧图像每个一致性窗口图像每个分离通道的图像的权重一致相关性；则待复原湍流图像则计算出待复原子窗口r，g，b通道值，将子窗口通道数据合并，并将r，g，b通道数据按照图像数据格式排列，即得到复原湍流图像。5.如权利要求4所述的一种视频图像湍流抑制的处理方法，其特征在于，动态模式更具体地步骤如下：在预处理图像上定义子窗口图像，半径为r,s，其窗口大小为：(2r+1)
×
(2s+1),其中r≤r≤(w-1)2,s≤s≤(h-1)2；
一致性子窗口和差异性子窗口具有相同的中心时，依次计算每帧预处理图像一致性子窗口和差异性窗口的差异性；求出每帧图像中每个差异性子窗口的最大值δ
max
和最小值δ
min
；利用其最大值δ
max
和最小值δ
min
，将标准差归一化，即δ
pn
＝(δ
p-δ
min
)/(δ
max-δ
min
)，其中δ
p
为该差异性子窗口的差异性，δ
pn
为该处差异性子窗口归一化差异性；利用归一化差异性，基于其值大小不同，在不同一致性子窗口中，各个图像的通道采用不同数目的连续帧序列和不同权重大小值来恢复一致性窗口；其策略为：若差异性过大，则选取待复原图像之前更多的图像来复原图像，反之依然，同时保持设置权重值为a
i
≥a
i-1
，其中i≥2；在计算出每帧图像每个一致性窗口图像每个分离通道的图像的权重一致相关性，则子窗口构成的图像集为待复原的湍流图像，即得到复原湍流图像。6.一种视频图像湍流抑制的处理装置，其特征在于，包括文件及视频流输入模块、湍流处理服务器以及文件及视频流输出模块；文件及视频流输入模块用于向湍流处理服务器输入视频，湍流处理服务器对视频按照如权利要求1-5任一项所述的方法处理，视频流输出模块用于接收湍流处理服务器处理后的视频。7.一种视频处理设备，其特征在于，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，收发器、存储器和处理器通过总线相连，其特征在于，计算机程序被处理器执行时实现如权利要求1-5中任一项所述方法中的步骤。

技术总结
本发明涉及湍流视频图像处理的技术领域，特别是涉及一种视频图像湍流抑制的处理方法、装置及视频处理设备，根据所观测的侧重点和目的不同，将湍流视频处理分类为静态模式处理和动态模式处理，此模式能够很好的解决现有湍流处理技术中存在的背景复原模糊，运动目标难以恢复，处理能力不足，不能实时处理，部署复杂，场景失效等问题；包括以下步骤：获取湍流视频文件或连续图像序列；预处理；将图像通道进行分离，将多通道图像分离为单通道图像分别处理；当观测湍流图像中无位移，处理静止状态的物体时，此时对于图像的处理是静态模式；当观测湍流图像中有位移，处理动态状态的物体时，此时对于图像的处理是动态模式。此时对于图像的处理是动态模式。此时对于图像的处理是动态模式。


技术研发人员：郑小强 张君琦 樊兵 汪俊宏 李承烈 程景
受保护的技术使用者：新奥特（南京）视频技术有限公司
技术研发日：2023.05.29
技术公布日：2023/7/12