一种基于深度学习的改进式波前重构方法

1.本发明涉及一种改进式的波前重构方法，尤其涉及一种基于深度学习的改进式波前重构方法。


背景技术：

2.地面望远镜的观测易受到地球大气湍流的严重干扰，自适应光学(ao)技术的使用能够在一定程度上克服了这一限制。然而，受波前传感器检测精度、变形镜校正能力和控制回路带宽的限制，ao系统对波前畸变的校正是部分和不完全的，系统校正后的图像上仍存在一些残余的波前扰动。为了达到衍射极限以及大的视场，进一步提高图像质量，通常需要进行事后图像重建。
3.斑点掩模法是一种目前常用的图像事后处理方法。但由于斑点掩模法算法复杂，耗时太长，难以快速处理大量的观测数据，并且其重构精度易收到噪声的影响，这些弊端是其在实际使用中的严重问题。多波段高分辨同步重建技术可以克服以上的限制，该方法只需在一个波段的图像上进行高分辨统计重建，解卷积获得该波段的点扩散函数(psf)，在该波段上对湍流大气引起的瞬时波前进行重构，仅做波长差异修正后，便可通过解卷积方法实现其他波段的高分辨重建。这样可以大幅减少多波段重建的计算量，进而提高算法的运算速度。但传统的相位恢复算法需要多次迭代来获得波前信息，运算时间过长，并且容易陷入局部最优解，在实际使用中存在有很大的局限性。
4.卷积神经网络(cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，近年来它们在波前重构领域得到了广泛的应用。比如日本大阪大学的nishizaki等人并使用xception网络对单张强度图像对应波前的zernike模式系数进行了预测，但其中使用单张焦面图像的预测结果存在较大的误差，并且网络推理时间也比较长；中国科学院光电技术研究所的guo hongyang等人对vgg网络进行了改进，使用de-vgg网络训练焦面和离焦面psf直接重构波前相位图，推理时间为12ms，模型的实时性仍有待提升；中国科学院光电技术研究所的wuyu等人使用pd-cnn根据焦面和离焦面的psf重构了3～15阶的zernike系数，有着较高的重构精度和重构速度等。
5.对比传统的波前重构方法，基于深度学习的波前重构方法可以实现更准确、更快速的波前重构，在波前重构领域有更多的优势。但是对于使用单帧焦面psf重构波前的方法，其重构精度还达不到实际应用的要求，因此，如何使用单帧焦面psf实现快速准确地实现波前重构，仍是目前需要解决的问题。


技术实现要素：

6.针对现有相位恢复算法的局限性，本发明基于深度学习对传统的相位恢复算法进行了改进，通过对数据集以及神经网络的损失函数进行改进，使网络能够准确学习到从单帧焦面点扩散函数psf到其对应的一组波前的映射关系，使网络的重构精度得到了极大的改善，并且有着毫秒级的运算速度。对重构的波前进行波长修正之后计算得到其他波段的
点扩散函数psf，可用于其他波段的图像高分辨重建，在图像事后重建领域具有十分重要的意义。
7.本发明所采用的技术方案是：
8.一种基于深度学习的改进式波前重构方法，通过以下步骤来实现：构建单帧焦面残差网络(single-frame focal-plane residual network，sf-resnet)，用以训练从单帧焦面点扩散函数psf到对应波前的映射关系；构建数据集，将单帧焦面点扩散函数psf作为网络的输入，将点扩散函数psf对应的两组波前数据作为网络的标准输出；使用改进后的损失函数对反向传播的损失进行处理，反向传播较小的一个损失，使网络学习到其中一种确定的映射关系。
9.所述的训练sf-resnet的数据集中，采用符合kolmogorov分布的zernike系数来描述波前，每组数据集包含有一张焦面点扩散函数psf以及其对应的两组波前数据，两组波前数据分别为及它们有以下的关系它们对应着相同的点扩散函数psf，即：
10.psf(x,y)＝psf'(x,y)
11.在输入网络之前，对输入的焦面点扩散函数psf在0～1之间做归一化处理，之后做取对数处理。将数据划分为训练集，验证集和测试集，使神经网络学习从单帧焦面psf到其中一个波前的映射关系，训练完成后使用测试集测试训练完毕后网络的准确度。
12.所述的损失函数表达式如下：
13.loss1＝rmse(y
pred
,y
original1
)
14.loss2＝rmse(y
pred
,y
original2
)
15.loss＝min(loss1,loss2)
16.其中：y
pred
为同一批次中sf-resnet输出的zernike系数，y
original1
和y
original2
是焦面psf对应的两组zernike系数，即标准输出，loss1和loss2是一对标准输出和网络输出的均方根误差，loss是网络的最终反向传播损耗。rmse为均方根误差，其表达式为：
[0017][0018]
其中yi为网络预测的第i阶zernike系数，yi'为标准输出的第i阶zernike，n为zernike系数的总阶数。
[0019]
所述的sf-resnet的输入为单张焦面点扩散函数psf，输出为各阶zernike系数，网络中使用卷积层和最大池化层提取特征信息，使用残差连接解决训练过程中梯度消失问题，并带有批量归一化层和激活层，其中激活层使用的激活函数为relu。
[0020]
所述的在sf-resnet训练时采用adam算法作为网络的优化器，根据每批数据反向传播的损失，通过adam算法计算损失关于网络中各权重的梯度，并对权重进行更新，使损失能够降低并最终收敛到较低水平。
[0021]
本发明通过扩充数据集以及优化神经网络的损失函数，实现了对传统的相位恢复算法的改进，训练神经网络建立单帧焦面点扩散函数psf与其对应的一组波前的映射关系，实现了快速准确的波前重构。本发明波前重构精度高，有着很快的运算速度，其运算速度达到了毫秒级别。并且该方法只需根据单个波段图像高分辨重建退卷积得到的单帧焦面点扩
散函数psf即可重构出其中一组波前，并用以多波段图像的高分辨率重建，在图像后处理领域有着十分重要的意义。
附图说明
[0022]
图1为sf-resnet结构示意图。
[0023]
图2为sf-resnet训练及推理过程示意图。
[0024]
图3为在测试集上的预测结果图。
[0025]
图4为在多波段高分辨同步重建技术中的应用流程图。
具体实施方式
[0026]
为了更具体地描述该发明的技术方案以及优势，下面将结合附图对本发明进行更详细的说明。
[0027]
本发明所使用的数据集是采用符合kolmogorov分布的zernike系数来描述波前，根据zernike多项式得到对应的原始相位图，将原始相位图进行旋转180
°
并取反处理，得到处理后的相位图，将处理后的相位图进行反变换得到其对应的zernike系数，之后根据相位图获得对应的焦面点扩散函数psf。本发明生成了不同大气条件下的数据集，每一组数据包含一张焦面点扩散函数psf以及两组互为复共轭的波前数据，并将数据集划分为训练集、验证集和测试集。
[0028]
在将数据集输入网络之前，对数据集进行了预处理，在输入网络之前在0～1做归一化处理，之后做取对数处理。
[0029]
本发明对损失函数进行了改进，改进后的损失函数如下式所示，
[0030]
所述的损失函数表达式如下：
[0031]
loss1＝rmse(y
pred
,y
original1
)
[0032]
loss2＝rmse(y
pred
,y
original2
)
[0033]
loss＝min(loss1,loss2)
[0034]
其中：y
pred
为同一批次中sf-resnet输出的zernike系数，y
original1
和y
original2
是焦面点扩散函数psf对应的两组zernike系数，即标准输出，loss1和loss2是一对标准输出和网络输出的均方根误差，loss是网络的最终反向传播损耗。
[0035]
对反向传播的损失进行处理，反向传播较小的一个损失，让网络朝着给定的解进行学习更新，使网络能够学习到单帧焦面点扩散函数psf到其对应两组波前中其中的一种确定的映射关系，从而使网络能够准确地预测出单帧焦面点扩散函数psf对应的其中的一组波前。
[0036]
搭建sf-resnet，sf-resnet结构示意图如图1所示，网络的输入为单帧焦面点扩散函数psf，网络的输出为对应的一组波前zernike系数。sf-resnet训练及推理过程示意图如图2所示。
[0037]
使用训练集数据对网络进行训练，将adam作为优化器对网络权重进行更新，训练完成后，将训练好后网络模型在测试集上进行测试，测试网络的预测精度。图3为本发明在测试集上的预测结果，从结果可以看出，sf-resnet预测得到的zernike系数与实际的zernike系数的拟合程度非常高，波前残差很小，有着很高的预测精度。
[0038]
图4为本发明在多波段高分辨同步重建技术中的应用流程图。
[0039]
本发明通过扩充数据集及优化神经网络的损失函数，实现了对传统的相位恢复算法的改进，改进后的方法的预测精度能够满足实际应用的需求，有着毫秒级别的运算速度。本发明方法只需根据系统获得的焦面图像退卷积得到的焦面点扩散函数psf即可预测得到对应的一组波前，可以使用该波前实现多波段图像的同步高分辨率重建，成像光路简单，光路设计成本低，在图像后处理领域有着十分重要的意义。
[0040]
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

技术特征：
1.一种基于深度学习的改进式波前重构方法，其特征在于，通过以下步骤来实现：构建单帧焦面残差网络，用以训练从单帧焦面点扩散函数psf到对应波前的映射关系；构建数据集，将单帧焦面点扩散函数psf作为网络的输入，将单帧焦面点扩散函数psf对应的两组波前数据作为网络的标准输出；使用损失函数对反向传播的损失进行处理，反向传播较小的一个损失，使网络学习到其中一种确定的映射关系。2.根据权利要求1所述的一种基于深度学习的改进式波前重构方法，其特征在于：所述的训练单帧焦面残差网络的数据集中，采用符合kolmogorov分布的zernike系数来描述波前，每组数据集包含有单帧焦面点扩散函数psf以及其对应的两组波前数据，两组波前数据分别为及它们有以下的关系它们对应着相同的单帧焦面点扩散函数psf，即：psf(x,y)＝psf'(x,y)在输入网络之前，对输入的单帧焦面点扩散函数psf在0～1之间做归一化处理，之后做取对数处理，将数据划分为训练集，验证集和测试集，使神经网络学习从单帧焦面点扩散函数psf到其中一个波前的映射关系，训练完成后使用测试集测试训练完毕后网络的准确度。3.根据权利要求1所述的一种基于深度学习的改进式波前重构方法，其特征在于：所述的损失函数表达式如下：loss1＝rmse(y
pred
,y
original1
)loss2＝rmse(y
pred
,y
original2
)loss＝min(loss1,loss2)其中：y
pred
为同一批次中单帧焦面残差网络输出的zernike系数，y
original1
和y
original2
是单帧焦面点扩散函数psf对应的两组zernike系数，即标准输出，loss1和loss2是一对标准输出和网络输出的均方根误差，loss是网络的最终反向传播损耗，rmse为均方根误差，其表达式为：其中y
i
为网络预测的第i阶zernike系数，y
i
'为标准输出的第i阶zernike，n为zernike系数的总阶数。4.根据权利要求1所述的一种基于深度学习的改进式波前重构方法，其特征在于：所述的单帧焦面残差网络的输入为单张焦面点扩散函数psf，输出为各阶zernike系数，网络中使用卷积层和最大池化层提取特征信息，使用残差连接解决训练过程中梯度消失问题，并带有批量归一化层和激活层，其中激活层使用的激活函数为relu。5.根据权利要求1所述的一种基于深度学习的改进式波前重构方法，其特征在于：所述的在单帧焦面残差网络训练时采用adam算法作为网络的优化器，根据每批数据反向传播的损失，通过adam算法计算损失关于网络中各权重的梯度，并对权重进行更新，使损失能够降低并最终收敛到较低水平。

技术总结
本发明公开了一种基于深度学习的改进式波前重构方法，由于单帧焦面点扩散函数PSF对应着两组互为旋转180


技术研发人员：张凌霄 钟立波 龚潇颖
受保护的技术使用者：中国科学院光电技术研究所
技术研发日：2023.06.08
技术公布日：2023/9/9