基于计算成像技术的超分辨率共形窗口成像系统及方法

1.本发明属于计算成像技术领域，具体涉及像差校正及图像重建技术领域。


背景技术：

2.比起传统半球形窗口，共形窗口首先考虑空气动力学性能，其次考虑光学系统的成像质量。随着后方成像系统的扫描离轴角的改变，共形窗口将引入不断变化的动态像差，且扫描视场范围越大，像差波动范围也越大，通常可达到几十个波长量级，因此，必须引入像差校正技术改善像质；共形窗口一般用于飞机和导弹平台，其需要光学成像系统尽量简单，轻巧，从而为战斗部留出更多空间，并提高飞行距离，加快飞行速度，缩短飞行时间。
3.目前共形窗口像差校正技术主要有以下缺点和不足：共形窗口的使用平台空间一般都较为狭小，而以往的像差校正一般使用多种静态和动态校正器件联合构成的光学校正器，其体积和重量较大，内部光机结构较为复杂，这导致了基于共形窗口的光学成像系统体积较大且结构复杂，不适应于共形窗口的使用平台；而且基于共形窗口的光学成像系统，通常使用红外探测器成像，其分辨率较低，因此在进行图像复原的同时需要提高图像分辨率，从而增强图像细节，增加目标识别概率。


技术实现要素：

4.为了解决现有的共形窗口像差校正手段在硬件方面不够简洁，轻量化程度不高且基于共形窗口的光学成像系统成像分辨率低的问题，本发明提供一种超分辨率共形窗口成像系统及方法。
5.方案一、基于计算成像技术的超分辨率共形窗口成像系统，其特征在于，所述成像系统包括共形窗口、像差校正板、成像透镜、探测器和超分辨率图像重建单元；入射光经过共形窗口后，射入像差校正板进行像差校正，校正后的光束经成像透镜透射后在探测器中成像，探测器将得到的图像输出给超分辨率图像重建单元，所述超分辨率图像重建单元对所述图像进行重建，从而生成超分辨率图像。
6.进一步，所述像差校正板为非球面像差校正板， 对像差校正板进行光学设计，保证各个扫描视场的像差一致性。
7.进一步，所述对像差校正板进行光学设计通过光学设计软件进行，具体步骤为：s31、对所述共形窗口进行建模，在整个扫描视场内取一定数量的扫描视场点；s32、在共形窗口后方设置像差校正板，并设置初始参数，在所述像差校正板后方设置成像透镜，并设置成像透镜为孔径光阑；s33、光线通过共形窗口后，对于每一个扫描视场，通过利用光学设计软件进行光线追迹的方法，计算出光线传播至近轴高斯成像平面的波前像差，并拟合成泽尼克多项式；s34、设计一个优化评价函数，通过控制各个扫描视场对应的各项泽尼克多项式系数来分项控制波前像差；将像差校正板参数设置为变量进行优化；优化目标为令所有扫描视场点的相同泽尼克系数项的系数保持一致。
8.进一步，所述超分辨率图像重建单元进行图像重建时，采用超分辨率重建网络模型实现，所述超分辨率重建网络模型进行图像重建时，采用如下步骤进行：s41、通过特征提取模块提取图像特征，所述特征提取模块包含浅层特征提取模块和密集残差模块，利用所述浅层特征提取模块对图像中的模糊特征进行粗提取后再利用所述密集残差模块提取出由像差导致的模糊特征，并输入像差校正模块；s42、通过像差校正模块对由像差导致的模糊特征做卷积处理，得到去模糊的特征图，并输入超分辨率重建模块；s43、通过超分辨率重建模块对去模糊的特征图进行超分辨率重建，得到超分辨率图像。
9.方案二、基于计算成像技术的超分辨率共形窗口成像方法，其特征在于，所述方法包括如下步骤：s51、设计共形窗口成像设备，所述设备包括共形窗口、像差校正板、成像透镜和探测器，入射光经过共形窗口后，进入像差校正板进行像差校正，校正后的光束经成像透镜透射后在探测器中成像；s52、构建超分辨率重建网络模型，用于接收探测器输入的图像，并进行超分辨率成像；s53、使用步骤s51设计的共形窗口成像设备对景物进行成像，然后将得到的图像输入步骤s52构建的超分辨率重建网络模型进行重建，即可得到所述景物的超分辨率图像。
10.本发明所述超分辨率共形窗口成像系统的有益效果为：基于光学系统和数字处理技术混合的方式来改善共形窗口的成像质量，以往的共形窗口像差校正一般使用多种静态和动态校正器件联合构成的光学校正器，内部光机结构较为复杂，导致其体积和重量较大，而本系统引入超分辨率图像重建设备，此设备是基于数字处理技术进行图像的超分辨率重建，减轻了光学系统设计压力，从而减少了光学元件使用数量，因此极大的节省了空间，能够满足共形窗口的使用平台空间一般都较为狭小这一条件。
11.本发明所述系统及方法可以应用于图像重建技术领域、图像像差消除技术领域；本发明所述超分辨率共形窗口成像系统可以应用在共形窗口像差校正技术领域。
附图说明
12.图1为本发明实施例中超分辨率共形窗口成像系统结构图；图2为本发明实施例中超分辨率共形窗口成像系统原理图；图3为本发明实施例中待重建图像示意图；图4为本发明实施例中真实图像示意图；图5为本发明实施例中重建后的超分辨率图像示意图。
具体实施方式
13.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
14.实施例1、基于计算成像技术的超分辨率共形窗口成像系统，如图1所示，所述成像系统包括共形窗口1、像差校正板2、成像透镜3、探测器4和超分辨率图像重建单元5；入射光经过共形窗口1后，射入像差校正板2进行像差校正，校正后的光束经成像透镜3透射后在探测器4中成像，探测器4将得到的图像输出给超分辨率图像重建单元5，所述超分辨率图像重建单元5对所述图像进行重建，从而生成超分辨率图像。
15.实施例2、本实施例是对实施例1的进一步限定，所述像差校正板2为非球面像差校正板， 对像差校正板2进行光学设计，保证各个扫描视场的像差一致性，像差校正板2前后表面的面形可为自由曲面，非球面，二次曲面，像差校正板2的主要作用是消除非对称型像差，保留对称型像差。
16.对像差校正板2进行光学设计，保证各个扫描视场的像差一致性。
17.所述对像差校正板2进行光学设计通过光学设计软件进行，具体步骤为：s1、对所述共形窗口1进行建模，在整个扫描视场内取一定数量的扫描视场点；s2、在共形窗口1后方设置像差校正板2，并设置初始参数，在所述像差校正板2后方设置成像透镜3，并设置成像透镜3为孔径光阑；s3、光线通过共形窗口1后，对于每一个扫描视场，通过利用光学设计软件进行光线追迹的方法，计算出光线传播至近轴高斯成像平面的波前像差，并拟合成泽尼克多项式；s4、设计一个优化评价函数，通过控制各个扫描视场对应的各项泽尼克多项式系数来分项控制波前像差；将像差校正板2参数设置为变量进行优化；优化目标为令所有扫描视场点的相同泽尼克系数项的系数保持一致。
18.下面就具体操作进行说明：s1、选择一共形窗口1，具体为：共形窗口1成像系统的工作波段为3-5μm，共形窗口1前后表面面形均为椭球面，材料为zns，扫描视场为
±
60
°
。
19.具体的参数设置如表1所示：表1：
在光学设计软件中对共形窗口1进行建模，从0-60
°
，以10
°
步长，共取7个扫描视场点；s2、在共形窗口1后方设置像差校正板2，并设置像差校正板2初始参数：厚度为5mm，第一表面曲率半径为20mm-1
，第二表面曲率半径为30mm-1
，其他非球面系数均设置为0。在所述像差校正板2后方设置成像透镜3，并设置成像透镜3为孔径光阑；选择一种偶次非球面像差校正板，其面形可由以下公式进行表示：；其中h为其表面矢高，k为其圆锥系数，c为其透镜曲率半径的倒数，r为其径向坐标，a2、a4、a6、a8、a
10
为其非球面系数；s3、光线通过共形窗口1后，对于每一个扫描视场，通过利用光学设计软件进行光线追迹的方法，计算出光线传播至近轴高斯成像平面的波前像差，并拟合成泽尼克多项式，表示为：；式中为泽尼克多项式系数，为笛卡尔坐标系下的泽尼克多项式，表示光线的坐标，表示泽尼克多项式的项数，此处取37项。
20.s4、设计一个优化评价函数，通过控制各个扫描视场对应的各项泽尼克多项式系数来分项控制像差，将偶次非球面像差校正板厚度、曲率半径、非球面系数以及圆锥系数设置为变量进行优化，优化目标为令所有扫描视场点的相同泽尼克多项式的系数保持一致，从而使各个视场残余像差尽量相似，从而方便后续通过超分辨率图像重建设备校正像差，使所有扫描视场点的相同泽尼克多项式的系数保持一致表达如下：；其中，zi(i=1，2，3
···
37)为泽尼克多项式系数，ηj(j=1，2，3
···
7)为所选取得7个扫描视场点；37项泽尼克多项式能够很好的描述光学系统的一阶特性，初级像差和高级像差。
21.实施例3、本实施例是对实施例1的进一步限定，所述超分辨率图像重建单元5进行图像重建时，采用超分辨率重建网络模型实现，所述超分辨率重建网络模型进行图像重建时，采用如下步骤进行：s1、通过特征提取模块提取图像特征，所述特征提取模块包含浅层特征提取模块和密集残差模块，利用所述浅层特征提取模块对图像中的模糊特征进行粗提取后再利用所述密集残差模块提取出由像差导致的模糊特征，并输入像差校正模块；s2、通过像差校正模块对由像差导致的模糊特征做卷积处理，得到去模糊的特征
图，并输入超分辨率重建模块；s3、通过超分辨率重建模块对去模糊的特征图进行超分辨率重建，得到超分辨率图像。
22.对于超分辨率图像重建单元5进行构建的方法如下：s1、构建同一场景的真实图像-待重建图像数据集，保证每一张待重建图像都有一张与之相对应的真实图像；真实图像-待重建图像数据集中，因工业相机镜头像差校正完善，分辨率较高，可认为其成像为真实图像，待重建图像数据则为采用上述共形窗口成像系统获取的图像，此时的共形窗口成像系统中，超分辨率图像重建单元5不参与成像；s2、构建超分辨率重建网络模型，包括生成器模型和判别器模型；构建生成器模型，包括特征提取模块、像差校正模块以及超分辨率重建模块，并采用步骤s1构建的数据集对所述生成器模型和判别器模型进行训练；其中：特征提取模块包含浅层特征提取模块和密集残差模块，浅层特征提取模块由一个多尺度卷积层构成，含有1
×
1、3
×
3、5
×
5、7
×
7的卷积核，每个卷积核的输出通道设为32，将所有输出通道维数进行合并，得到128通道的特征图；该模块对低分辨率图像中的模糊特征进行粗提取，此时的特征图中还包含了其他与共形窗口1成像光学系统模糊特征无关的信息；密集残差模块包括n个结构相同的残差块，将上一步输出的特征图跳跃的连接到每一个残差块，激活函数为leakyrelu，该模块对得到的模糊特征进行更高维的特征提取，得到带有像差导致的模糊的特征信息。像差校正模块包括两个相同的卷积层，每个卷积层中有2个3
×
3的卷积核，激活函数为relu，该模块对带有像差导致的模糊的特征做卷积处理，得到去模糊的清晰图像。
23.超分辨率重建模块包括2个亚像素上采样层以及一个卷积层，每一个上采样层将图像放大两倍，共放大四倍，再通过一个3
×
3的卷积层，实现超分辨率重建。
24.判别器模型使用u-net判别器模型，包括收缩路径和扩展路径，收缩路径包括卷积层、归一化层、池化层、全连接层、激活函数层，扩展路径与收缩路径完全对称，激活函数为sigmoid，判别器模型输出对输入图像为超分辨率图像或真实图像的判断，当输入图像是生成器生成的超分辨图像sr时，判别器尽可能的判别其为假，而当输入图像是真实图像时，则判断其为真。
25.s3、将所述真实图像-待重建图像数据集中的待重建图像输入所述生成器模型进行超分辨率图像重建，得到超分辨率图像；s4、将所述超分辨率图像和其对应的真实图像输入所述判别器模型进行判别，判别器模型输出对输入图像为超分辨率图像或真实图像的判断；s5、根据损失函数采用adam优化器模型对所述超分辨率重建网络模型进行优化，直至判别器模型与生成器模型二者达到平衡，即判别器不能分辨出生成的超分辨率图像与真实图像的区别；此时网络收敛、优化结束，保存此时的超分辨率重建网络模型，此时的超分辨率重建网络模型可以应用于超分辨率图像重建。
26.训练过程中使用adam优化器来对生成器模型和判别器模型的梯度进行反向传播，不断更新两个模型的权重，首先采用生成器损失函数lossg对生成器模型进行训练，得到预训练好的生成器模型；接着使用总损失函数loss来同时训练生成器模型和判别器模型，当
二者达到平衡时，迭代停止。
27.生成器损失函数lossg采用：；()获得，其中表示均方误差，表示真实图像/待重建图像总数量，表示超分辨率图像，表示真实图像，均方误差mse指的是预测值与真实值之间距离平方的平均值，此处即指超分辨率图像和真实图像之间的差异。
28.总损失函数loss采用：；获得，其中、分别为、的超参数，用于调整它们各自所占的比重，表示对抗损失，采用：；获得，其中，n表示真实图像/待重建图像总数量，表示判别器模型输出的超分辨率图像和真实图像的相似度。
29.s6、采用步骤s5保存的超分辨率重建网络模型进行超分辨率图像重建。
30.实施例4、本实施例提供一种基于计算成像技术的超分辨率共形窗口1成像方法，所述方法包括如下步骤：s51、设计共形窗口1成像设备，所述设备包括共形窗口1、像差校正板2、成像透镜3和探测器4，入射光经过共形窗口1后，进入像差校正板2进行像差校正，校正后的光束经成像透镜3透射后在探测器4中成像；s52、构建超分辨率重建网络模型，用于接收探测器4输入的图像，并进行超分辨率成像；s53、使用步骤s51设计的共形窗口成像设备对景物进行成像，然后将得到的图像输入步骤s52构建的超分辨率重建网络模型进行重建，即可得到所述景物的超分辨率图像。
31.如图3所示为一待重建图像，如图4所示为所述待重建图像对应的真实图像，如图5所示为上述待重建图像经过超分辨率图像重建后得到的超分辨率图像。
32.实施例5、如图2所示为所述超分辨率共形窗口成像系统的原理图，所述设备基于光学系统和数字处理技术混合的方式来改善共形窗口的成像质量，以往的共形窗口像差校正一般使用多种静态和动态校正器件联合构成的光学校正器，内部光机结构较为复杂，导致其体积和重量较大，而本系统引入超分辨率图像重建设备，此设备是基于数字处理技术进行图像的超分辨率重建，减轻了光学系统设计压力，从而减少了光学元件使用数量，因此极大的节省了空间，能够满足共形窗口的使用平台空间一般都较为狭小这一条件。
33.本发明所述超分辨率共形窗口成像系统是具有针对性的，主要适用于因像差导致的图像模糊的情形，自主设计的生成器模型采用三级结构，特征提取模块用于提取出由像差导致的模糊特征，像差校正模块用于去除模糊，超分辨率重建模块用于进行超分辨率重
建，得到超分辨率图像；这种分级处理的方法可以增强模型的鲁棒性。
34.超分辨率共形窗口成像系统采用在共形窗口后方加入偶次非球面像差校正板的方式来实现使各个视场残余像差尽量相似，从而方便后续通过超分辨率图像重建设备校正像差。

技术特征：
1.基于计算成像技术的超分辨率共形窗口成像系统，其特征在于，所述成像系统包括共形窗口（1）、像差校正板（2）、成像透镜（3）、探测器（4）和超分辨率图像重建单元（5）；入射光经过共形窗口（1）后，射入像差校正板（2）进行像差校正，校正后的光束经成像透镜（3）透射后在探测器（4）中成像，探测器（4）将得到的图像输出给超分辨率图像重建单元（5），所述超分辨率图像重建单元（5）对所述图像进行重建，从而生成超分辨率图像。2.根据权利要求1所述的超分辨率共形窗口成像系统，其特征在于，所述像差校正板（2）为非球面像差校正板， 对像差校正板（2）进行光学设计，保证各个扫描视场的像差一致性。3.根据权利要求2所述的超分辨率共形窗口成像系统，其特征在于，所述对像差校正板（2）进行光学设计通过光学设计软件进行，具体步骤为：s31、对所述共形窗口（1）进行建模，在整个扫描视场内取一定数量的扫描视场点；s32、在共形窗口（1）后方设置像差校正板（2），并设置初始参数，在所述像差校正板（2）后方设置成像透镜（3），并设置成像透镜（3）为孔径光阑；s33、光线通过共形窗口后，对于每一个扫描视场，通过利用光学设计软件进行光线追迹的方法，计算出光线传播至近轴高斯成像平面的波前像差，并拟合成泽尼克多项式；s34、设计一个优化评价函数，通过控制各个扫描视场对应的各项泽尼克多项式系数来分项控制波前像差；将像差校正板（2）参数设置为变量进行优化；优化目标为令所有扫描视场点的相同泽尼克系数项的系数保持一致。4.根据权利要求3所述的超分辨率共形窗口成像系统，其特征在于，所述超分辨率图像重建单元（5）进行图像重建时，采用超分辨率重建网络模型实现，所述超分辨率重建网络模型进行图像重建时，采用如下步骤进行：s41、通过特征提取模块提取图像特征，所述特征提取模块包含浅层特征提取模块和密集残差模块，利用所述浅层特征提取模块对图像中的模糊特征进行粗提取后再利用所述密集残差模块提取出由像差导致的模糊特征，并输入像差校正模块；s42、通过像差校正模块对由像差导致的模糊特征做卷积处理，得到去模糊的特征图，并输入超分辨率重建模块；s43、通过超分辨率重建模块对去模糊的特征图进行超分辨率重建，得到超分辨率图像。5.基于计算成像技术的超分辨率共形窗口成像方法，其特征在于，所述方法包括如下步骤：s51、设计共形窗口成像设备，所述设备包括共形窗口（1）、像差校正板（2）、成像透镜（3）和探测器（4），入射光经过共形窗口（1）后，进入像差校正板（2）进行像差校正，校正后的光束经成像透镜（3）透射后在探测器（4）中成像；s52、构建超分辨率重建网络模型，用于接收探测器（4）输入的图像，并进行超分辨率成像；s53、使用步骤s51设计的共形窗口成像设备对景物进行成像，然后将得到的图像输入步骤s52构建的超分辨率重建网络模型进行重建，即可得到所述景物的超分辨率图像。

技术总结
基于计算成像技术的超分辨率共形窗口成像系统及方法。属于计算成像技术领域，具体涉及像差校正及图像重建技术领域。其解决了现有的共形窗口像差校正手段在硬件方面不够简洁，轻量化程度不高且基于共形窗口的光学成像系统成像分辨率低的问题。超分辨率共形窗口成像系统包括共形窗口像差校正和超分辨率图像重建两部分，共形窗口像差校正部分包括共形窗口、像差校正板、成像透镜和探测器，超分辨率图像重建部分使用超分辨率图像重建设备，超分辨率图像重建设备中存储有超分辨率图像重建方法。超分辨率图像重建方法可以应用于图像重建技术领域、图像像差消除技术领域；超分辨率共形窗口成像系统可以应用在共形窗口像差校正技术领域。技术领域。技术领域。


技术研发人员：王超 王博识 鲁宏 付强
受保护的技术使用者：长春理工大学
技术研发日：2023.07.11
技术公布日：2023/8/9