一种基于空域阵列卷积的精细光学图像仿真方法

1.本发明属于图像数据仿真以及处理领域，具体涉及一种基于空域阵列卷积的精细光学图像仿真方法。


背景技术：

2.光学像差是光学系统在真实成像过程中与理想成像的偏离。它包含镜头设计上的缺陷以及外部环境、温度等干扰因素的影响，这些影响会导致光线扩散，光线不能聚焦形成清晰的图像，一般表现为模糊和色散。实际上，尽管今天的光学成像系统设计相当成熟，但在镜头设计过程中无法避免地会产生一定的像差。空间相机在轨工作过程中由于长期服役，镜头会在空间环境中产生形变，而且在相机拍摄过程中也存在大气干扰、镜头离焦等情况。而且这些像差的退化影响在整个图像的不同视场范围内是不一致的，比如场区、畸变、离焦等通常是以光轴为中心呈径向分布，所以对图像退化的仿真如果将整幅图像用一个退化函数来表征是不准确的。图像退化是一个复杂的物理过程。
3.为了提升空间相机成像效果，对在轨硬件的升级代价太大，所以将提升像质的任务从“硬手段”转移到“软手段”，把光学像差的校正看作是一个图像复原问题。图像复原算法目前有两种技术路线：一种是模型驱动的传统方法，使用各种自然图像先验多次迭代优化求模糊核，反卷积得到目标清晰图像；另一种是数据驱动的深度学习方法，需要大量数据集，学习网络模型的参数。传统方法在处理空间变化的模糊核时，不够鲁棒；深度学习方法最近越来越流行，其面临的主要问题是无法获取真实清晰图像，缺乏数据集，而普通的图像退化仿真不针对特定的空间相机结构，没有包含准确的物理机理，而是进行简化处理，将退化等效为一个简单的高斯退化核，导致图像模拟和真实成像结果的特征差异较大。而且每个光学系统表现出的特征是完全不同的，所以，从物理过程出发设计一种结合光学参数的精细光学图像仿真方法十分必要。
4.在现有的技术中，最常用的图像仿真方法是使用不同大小的高斯模糊核与清晰图像卷积，仿真像差的退化过程。这种方法在空间相机光学系统中是不准确的，因为空间相机的光学系统中光学像差不是空间不变的，尤其当相机的幅宽较大时，psf点扩散函数随着视场fov的变化是空间变化的。高斯模糊核的数据集仿真方法不能模拟真实系统空间变化的特性。现有技术中缺少一种可以灵活实现空间相机成像模拟仿真的方法，需要发明一种精细光学图像仿真方法，为遥感图像抗干扰技术研究、目标识别及图像处理等算法研究等各项研究工作提供良好的支撑平台。


技术实现要素：

5.针对现有技术中存在的技术问题，本发明的目的在于提供一种基于空域阵列卷积的精细光学图像仿真方法。本发明直接将空间相机的光学系统参数和清晰图作为输入，输出是模拟经过不同程度的像差退化的图像，可以制作大量仿真数据集，为后续的图像复原等任务提供训练数据。
6.本发明的技术方案为：
7.一种基于空域阵列卷积的精细光学图像仿真方法，其步骤包括：
8.步骤(1)假设自然图像的邻域退化是相似的，如附图1所示，空间相机的整个视场范围与清晰图大小对应，包含整个清晰图，空间相机拍摄的真实图像为退化的清晰图。将空间相机的整个视场范围按网格进行划分，计算每个网格区域的中心视场。然后将分块后的清晰图图像与其对应中心视场的点扩散函数psf进行空域卷积模拟图像退化过程。对空间相机的退化过程建立数学模型，得到的仿真图像退化过程的数学模型如下：
[0009][0010]
其中，(i,j)是分块退化图像i’的中心坐标；i0是退化图像i’对应的清晰图；k(i,j)是能量归一化后的点扩散函数，表示由系统像差引起的能量扩散。
[0011]
步骤(2)精确计算点扩散函数，根据预仿真空间相机的光学系统参数和干扰大气条件，计算每个网格分块子区域对应中心视场的点扩散函数psf。
[0012]
设置参数，包含光瞳采样数、像面采样数、波长、在水平x和竖直y方向上划分网格数、中心视场。默认波长为rgb，计算波长的折射率；计算网格中心位置对应的视场角度。根据已经得到的光学系统参数、折射率、网格中心视场，计算像面网格中心坐标，通过光线追迹计算每一个网格区域中心视场对应的光学系统波像差w0(i,j)。
[0013]
然后根据泽尼克多项式生成大气干扰相位w
大气
(i,j)：
[0014][0015]
其中，为泽尼克多项式，c
n,m
为泽尼克多项式的系数，n为泽尼克多项式的阶数，w
大气
(i,j)为大气干扰相位。
[0016]
将大气干扰相位w
大气
(i,j)和光学系统波像差w0(i,j)叠加计算对应图像区域视场的总波像差w(i,j)：
[0017]
w(i,j)＝w
大气
(i,j)+w0(i,j)
[0018]
其中，(i，j)表示坐标，w
大气
(i,j)为大气干扰相位，w0(i,j)为光学系统波像差，w(i,j)为坐标(i，j)位置的总波像差。
[0019]
根据每一图像区域的总波像差计算各图像区域对应的点扩散函数psf阵列：
[0020][0021]
其中，j为虚部，λ为波长，z为焦距，(x,y)为像面坐标，(ξ,η)为光瞳平面坐标，psf(x,y)为每个图像块的点扩散分布函数，fft为傅里叶变换，a(ξ,η)为光瞳函数，w(ξ,η)为坐标(ξ,η)位置的总波像差，fft为傅里叶变换。
[0022]
步骤(3)空间域进行阵列卷积，将步骤(2)中计算得到的psf与对应区域的图像按照步骤(1)进行在空间域卷积。
[0023]
首先，根据x和y方向分别划分的网络数，将图像裁剪成均匀的阵列。然后将这些图像阵列分别与相应中心视场的psf点扩散函数在空间域进行卷积。其中，在卷积过程中，需要保证图像的像元间隔与psf的像元间隔一致，也需预防卷积后得到的仿真退化图像有黑边，因此应该提前对图像进行插值操作，本发明使用的是最近邻插值。此外，为了保证图像
的能量不变，需要提前将psf矩阵进行归一化，然后再分块卷积。最后，将退化仿真后的图像块拼接在一起，得到完整退化图像i'
all
(i,j)。
[0024]
步骤(4)在步骤(3)得到的图像基础上叠加噪声，可以是随机白噪声或椒盐噪声等，根据特定的成像场景来进行确定。
[0025]
i”(i,j)＝i'
all
(i,j)+n(i,j)
[0026]
其中，(i,j)为坐标，i'
all
(i,j)为分块退化后拼接的完整退化图像，n(i,j)为噪声，i”(i,j)为最终得到的仿真图像。
[0027]
本发明与现有技术相比具有如下有益效果：
[0028]
(1)基于精细光学图像仿真的方法，能够解决空间相机遥感图像复原处理过程中缺乏理想条件下的清晰图对比的问题，能够通过仿真为图像复原算法的研究创建大量的数据集，也可以通过预先的图像仿真在空间相机设计阶段为其提供参考，从而促进设计的优化与改进。
[0029]
(2)目前的方法使用的高斯模糊核制作模拟的数据集是不准确的，因为空间相机的光学系统中光学像差具有空间变化特性。真实的psf点扩散函数随着视场fov的变化是空间变化的，不是均匀不变的。本发明采用分网格区域计算psf的方式，有效保留图像光学像差的空间变化特性，使得仿真图像与真实图像更加接近，从而提升了基于深度学习进行图像复原的效果。
[0030]
(3)与常用的频率域成像仿真相比，空间域成像仿真在保证图像光学像差的空间变化特性的前提下，速度更快。其原因如下：为了保证psf的空间变化特性，需要进行分块卷积。本发明的方法在空间域进行卷积，每个子区域进行卷积计算然后进行全部区域的拼接。而如果在频率域进行计算，每个子区域的频域特征不全，每个子区域的点扩散需要跟整幅图片的频率信息卷积之后然后再取对应区域反卷积，否则会导致频域信息丢失，使得模拟的图像每个子区域的衔接处出现断层的情况，而如果每个子区域的点扩散都跟整幅图片的频率信息卷积，针对空间相机这种亿级像素的分辨率来说会导致计算量极大，计算效率极低，所以反而空域的分块卷积效率更高。
附图说明
[0031]
图1为成像视场的区域划分。
[0032]
图2为基于空域阵列卷积的精细光学图像仿真方法流程图。
[0033]
图3为空间相机光学系统的结构二维视图。
[0034]
图4为不同像面离焦距离下图像中心视场的psf可视化灰度对比图；
[0035]
(a)离焦-6mm，(b)离焦-3mm，(c)不离焦，(d)离焦3mm，(e)离焦6mm。
[0036]
图5为psf阵列网格图。
[0037]
图6为仿真前后图像对比图；
[0038]
(a)原始清晰图像，(b)仿真图。
具体实施方式
[0039]
下面结合附图和具体实施例对本发明提出一种基于空域阵列卷积的精细光学图像仿真方法进行介绍：
[0040]
实施例1的流程图如附图2所示，现结合附图2描述实施例1技术方案详细的实现过程。
[0041]
输入要进行仿真的图像，本例中使用的是2048*2048大小的靶标图，如附图5左图所示。
[0042]
输入x、y方向划分的网格数量psf_x_point、psf_y_point，将图像按照所设置的网格数量裁剪成大小一致的图像块。在此案例中，psf_x_point为5，psf_y_point为5。
[0043]
输入仿真的空间相机镜头的光学系统，光瞳采样数、像面采样数、波长、中心视场、视场高度以及视场类型。光学系统的参数如表1所示，其对应的2d视图如图3所示，光瞳采样数为64，像面采样数为64，波长为rgb(r＝0.656um，g＝0.587um，b＝0.486um)，中心视场为(field_x，field_y)＝(0，0)，视场高度field_height为166.7mm，视场类型为物高，系统存在圆形孔径。
[0044]
表1光学系统参数(单位mm)
[0045][0046]
根据x、y方向的网格数量psf_x_point、psf_y_point，视场高度field_height，视场类型，计算各个网格图像的中心视场位置。注意：视场类型为角度时，参考点为像面中心对应的坐标，需要进行转换；视场类型为物高时，参考点为物面中心对应的坐标。
[0047]
根据光学系统参数、波长、光瞳采样数、像面采样数以及各个图像块的中心视场位置，逐条光线计算光线追迹，生成各个视场的系统波像差。
[0048]
耦合大气附加像差，输出图像块对应的点扩散函数psf矩阵。设置光学系统的不同离焦距离时，点扩散函数呈现不同的扩散程度，以图像的中心视场为例，将其可视化，如附图4所示。将点扩散函数psf矩阵按原有位置进行拼接，在对其进行可视化，得到psf网格图，如附图5所示。
[0049]
根据x和y方向分别划分的网络数psf_x_point、psf_y_point，将图像裁剪成均匀的小块，然后将这些图像块分别与相应中心视场的psf点扩散函数在空间域进行卷积。在卷积过程中，需要保证图像的像元间隔与psf的像元间隔一致，也需预防卷积后得到的仿真退化图像有黑边，因此应该提前对图像进行插值操作，本案例使用的是最近邻插值。此外，为了保证图像的能量不变，需要提前将psf矩阵进行归一化，然后再分块卷积。最后，将退化仿
真后的图像块拼接在一起，即可得到完整像差退化图像。在根据用户需求设置噪声的类型与强度，本案例不考虑噪声，得到最终仿真结果图，如附图6右图所示。
[0050]
关于仿真速度，在2048*2048的图像上，使用上述参数进行空间域图像仿真，单张图像平均仿真时间为2.132秒。而采用频率仿真方法，单张图像平均仿真时间为40.743秒。所以本方法在仿真效率上有明显提升。
[0051]
关于空域阵列卷积成像精细光学图像仿真方法的效果，我们在div2k中挑选了60个场景图片，使用上述方法对其进行批量像模拟，制作数据集。具体参数：变量为像面(第13号面)的厚度，离焦距离的范围设置为-1.5mm到1.5mm，间隔为0.05mm，共61种离焦程度。将图像复原算法restormer(cvpr2022)在如上仿真数据集上进行训练后，得到模型。然后，在仿真图像上进行测试，restormer算法在仿真数据集训练后，复原之后的图像信噪比平均提升37.4％，可以有效地恢复图像结构细节内容。这验证了使用空域卷积成像模拟制作空间相机仿真数据集的方法的可行性与有效性。
[0052]
本发明未详细阐述部分属于本领域技术人员的公知技术。
[0053]
尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

技术特征：
1.一种基于空域阵列卷积的精细光学图像仿真方法，其步骤包括：1)对待仿真的空间相机的视场范围进行网格划分，得到一视场阵列；计算所述视场阵列中每个网格区域的中心视场；2)根据所述空间相机的光学系统参数和设定的干扰大气条件，计算每个图像块对应的中心视场的点扩散函数，得到点扩散函数psf阵列；3)对清晰图i0进行划分并将各图像分块映射到所述视场阵列的对应网格块中；将每个图像块与对应网格的点扩散函数在空间域进行卷积计算，得到每个图像块对应的退化仿真图像块；将各退化仿真图像块进行拼接，得到退化图像i’；4)在所述退化图像i’上叠加噪声，得到模拟所述空间相机拍摄清晰图i0的仿真退化图i”。2.根据权利要求1所述的方法，其特征在于，得到所述点扩散函数psf阵列的方法为：1)设置光学系统参数，包含光瞳采样数、像面采样数、波长、在水平方向和竖直方向上划分的网络数量、中心视场；然后计算波长的折射率、网格中心位置对应的视场角度；根据光学系统参数、折射率、网格中心位置对应的视场角度，计算像面网格中心坐标，最后通过光线追迹计算每一网格区域的中心视场对应的光学系统波像差；2)生成每一网格区域的大气干扰相位；每一网格区域对应的大气干扰相位、光学系统波像差进行叠加得到对应图像区域视场的总波像差；3)根据每一图像区域的总波像差计算该图像块对应的点扩散函数其中，j为虚部，λ为波长，z为所述空间相机的焦距，(x,y)为所述空间相机的像面坐标，(ξ,η)为所述空间相机的光瞳平面坐标，fft为傅里叶变换，a(ξ,η)为所述空间相机的光瞳函数，w(ξ,η)为所述空间相机中坐标(ξ,η)位置的总波像差。3.根据权利要求1所述的方法，其特征在于，步骤3)中进行卷积计算之前，对每个图像分块进行插值操作防止仿真的图像有黑边，并对所述点扩散函数psf阵列进行归一化，然后在空间域进行卷积计算。4.根据权利要求1或2或3所述的方法，其特征在于，根据泽尼克多项式生成每一网格区域的大气干扰相位。5.根据权利要求1或2或3所述的方法，其特征在于，根据成像场景确定在所述退化图像i’上叠加的噪声。6.根据权利要求5所述的方法，其特征在于，所述噪声为随机白噪声或椒盐噪声。7.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至6任一所述方法中各步骤的指令。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法的步骤。

技术总结
本发明公开了一种基于空域阵列卷积的精细光学图像仿真方法。本方法为：1)对待仿真的空间相机的视场范围进行网格划分，得到一视场阵列；计算所述视场阵列中每个网格区域的中心视场；2)根据所述空间相机的光学系统参数和设定的干扰大气条件，计算每个图像块对应的中心视场的点扩散函数，得到点扩散函数PSF阵列；3)对清晰图I0进行划分并将各图像分块映射到所述视场阵列的对应网格块中；将每个图像块与对应网格的点扩散函数在空间域进行卷积计算，得到每个图像块对应的退化仿真图像块；将各退化仿真图像块进行拼接，得到退化图像I’；4)在所述退化图像I’上叠加噪声，得到模拟所述空间相机拍摄清晰图I0的仿真退化图I”。。。


技术研发人员：徐帆江 崔爽 唐秋艳 唐熊忻 吴长茂 魏花 王晓东 李程
受保护的技术使用者：中国科学院软件研究所
技术研发日：2023.04.04
技术公布日：2023/7/12