一种基于非相干光源的多模光纤内窥镜系统

1.本发明涉及一种基于非相干光源的多模光纤内窥镜系统，属于内窥镜成像技术领域。


背景技术：

2.内窥镜是一种远距离检测设备，可深入人体或者传统光学成像器件无法进入的区域，进行探测成像。目前使用的内窥镜分为两种：一是基于多根单模光纤束的光纤束内窥镜，一是用单根单模光纤扫描采样的扫描式内窥镜。对于多根单模光纤束的光纤束内窥镜，其每一个单模光纤对应一个像素点，为提高成像的分辨率需要增加光纤个数并减小光纤间的间距，但是大的单模光纤数量会导致探测头体积大、光纤束灵活性降低。并且单模光纤间的间距受光纤制备工艺的影响，很难做到小于1μm。对于单根单模光纤扫描式内窥镜，需要在探头部分集成扫描振镜和微透镜装置，因此探头体积较大、灵活性较差。大尺寸的内窥镜在检测过程中不仅给病人带来痛苦，还限制了其在狭窄腔道内的应用。
3.与单模光纤相比，多模光纤的光纤芯径较粗，可同时传输多种模式的光，实现大范围区域高分辨率成像。由于非相干光照明下不同图像对应的散斑图案相较于相干光照明下的散斑图案差异性很小，所以现有多模光纤内窥镜系统一般采用相干光源照明，由于相干光在多模光纤内部存在模式耦合现象，因此当光纤形态发生改变时其内部耦合状态会发生改变。现有多模光纤内窥镜成像技术均基于光纤内部固定耦合状态而实现，当光纤形态以及环境发生变化，将难以重建图像。为解决该问题，科学家们提出利用机器学习的方法以实现图像的重建。机器学习法是指利用神经网络对多模光纤输入图像和输出散斑进行训练，以拟合图像在光纤中的传输特性。虽然已有研究表明，采用机器学习法实现多模光纤的探测成像，可以在一定程度上抗外界环境的扰动，但是当扰动较大(例如光纤弯曲半径大幅度变化)时，利用已训练的神经网络依然无法实现图像重建。进一步，科学家们提出在神经网络训练时，加入光纤形状变化后的对应的输入图像和输入散斑图案作为数据集，可以在一定程度上增大光纤抗扰动的能力。但是该方法在数据采集上需要花费大量时间，并且由于数据集的增多，对计算力的要求增大，且该方法可增大的抗扰动能力也相对有限。同时由于使用相干光作为光源，只能将单波长散斑图案作为输入，因此重建神经网络时所能利用的信息也更少。而且该方法面对未知干扰，例如环境温度、湿度等的改变，依然是无法做到实时高保真度的探测的。


技术实现要素：

4.本发明的发明目的是提供一种基于非相干光源的多模光纤内窥镜系统，利用非相干光源取代传统的激光作为多模光纤内窥探测系统的照明光源，以解决光纤或环境变化对图像在光纤中的传输特性的改变，实现实时动态快速的内窥探测成像。同时利用宽谱光源丰富的波长资源以获得更多的物体信息，通过通道拼接将不同波长的散斑图案同时输入神经网络以提升神经网络的重建性能。
5.本发明实现其发明目的所采取的技术方案是：一种基于非相干光源的多模光纤内窥镜系统，包括光源、耦合系统、多模光纤、准直系统、ccd相机，其结构特点是：所述光源为非相干光源，所述ccd相机为彩色ccd相机或具有不同滤光片的黑白ccd相机，具有不同滤光片的黑白ccd相机在使用时，将不同滤光片放置在黑白ccd相机前，从而获得不同波长的散斑信息；
6.内窥镜系统使用前需要先进行训练，建立物体图像和散斑图案之间对应关系的训练集，训练集中每个对应关系的建立过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到用于建立训练集的目标物体上，经目标物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经目标物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一目标物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，然后将目标物体的物体图像输入unet神经网络，利用unet神经网络建立物体图像和散斑图案的对应关系；
7.内窥镜系统使用过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到探测物体上，经探测物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经探测物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一探测物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，利用unet神经网络建立的物体图像和散斑的对应关系，重建经多模光纤传输后的探测物体的图像。
8.与现有技术相比，本发明的有益效果是：
9.多模光纤相较于单模光纤而言可以容纳更多的模式，同样大小的多模光纤比单模光纤束实现的成像分辨率更高，同时可以进入更加狭窄的通道内进行内窥探测。本发明提出利用非相干光照明探测的多模光纤内窥镜系统，由于非相干光不存在干涉现象，因此其在多模光纤内部不存在模式耦合，从而使本发明具有非常强的抗干扰能力，当多模光纤形态发生大范围变化，甚至是一直抖动的情况下都可以重建清晰的图像。但非相干光源拥有丰富的波长资源，现有技术中使用黑白ccd相机采集下的灰度散斑图案为所有波长散斑图案的叠加。对于多模光纤系统而言，同一物体反射的不同波长的光在多模光纤内部的传输路径不一致，认为不同波长的输入与输出之间的映射关系不一致。因此很难使用灰度图案通过神经网络直接恢复物体信息。本发明利用彩色ccd或具有不同滤光片的黑白ccd相机的分通道优势，可以直接获得宽谱非相干光源照明同一物体下多个波长对应的散斑图案，并利用多波长通道拼接散斑图案输入神经网络丰富物体信息，提升神经网络的重建能力。最终实现非相干宽谱光源照明下多模光纤内窥成像系统。
10.进一步，本发明所述非相干光源包括led光源。
11.更进一步，本发明所述非相干光源为白光led光源。
12.白光led相较于其他单色led而言拥有更为丰富的波长资源，可以获得多个波长对应的散斑图，拼接送入神经网络，可以为神经网络提供物体更加丰富的信息，以获得更好的重建效果。
13.进一步，本发明所述训练过程选取n个目标物体建立训练集，n≥30000。
14.为了保证更好的训练效果，需要广大的数据集以训练神经网络。兼顾训练效果与
训练时常，三万以上的目标物体更适合本发明技术方案。
15.进一步，本发明所述训练过程中，将目标物体的物体图像输入unet神经网络具体是通过dmd加载目标物体的灰度图案，将灰度图案输入unet神经网络。
16.dmd为数字微镜装置，其由很多个微小反射镜构成，可以加载灰度图片以模拟物体。神经网络的训练需要足够的数据，利用dmd代替实际物体可以帮助获得更多物体与其对应的散斑数据，提升神经网络的重建效果。
17.下面通过具体实施方式及附图对本发明作进一步详细说明，但并不意味着对本发明保护范围的限制。
附图说明
18.图1是本发明实施例一内窥镜系统的整体结构示意图。
19.图2是本发明实施例一ccd相机提取经探测物体反射的不同波长的光对应的散斑信息的流程示意图。
20.图3是本发明实施例一内窥镜系统对探测物体图像的重建效果图。
21.图4是本发明实施例一内窥镜系统光纤位置发生扰动前后探测物体图像的重建效果对比图。
具体实施方式
22.实施例一
23.一种基于非相干光源的多模光纤内窥镜系统，包括光源、耦合系统、多模光纤、准直系统、ccd相机，本例中所述光源为非相干光源，所述ccd相机为彩色ccd相机，图1是本实施例内窥镜系统的整体结构示意图，图中ccd为彩色ccd相机；
24.内窥镜系统使用前需要先进行训练，建立物体图像和散斑图案之间对应关系的训练集，训练集中每个对应关系的建立过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到用于建立训练集的目标物体上，经目标物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经目标物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一目标物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，然后将目标物体的物体图像输入unet神经网络，利用unet神经网络建立物体图像和散斑图案的对应关系；
25.内窥镜系统使用过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到探测物体上，经探测物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经探测物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一探测物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，利用unet神经网络建立的物体图像和散斑的对应关系，重建经光纤传输后的探测物体的图像。图2是本实施例ccd相机提取经探测物体反射的不同波长的光对应的散斑信息的流程示意图。图3是本实施例内窥镜系统对探测物体图像的重建效果图。
26.在本实施例中，通过对光纤进行扰动，检测本实施例内窥镜系统的抗干扰能力。图
4是本实施例内窥镜系统光纤位置发生扰动前后探测物体图像的重建效果对比图，图4中左侧为光纤位置没有发生改变，未发生扰动时的重建效果图，右侧为光纤位置发生变化，出现扰动时的重建效果图。通过图4可以看出，当光纤位置发生变化，出现扰动时，本实施例内窥镜系统仍然可以获得较好的重建图像。图3和图4中，ssim为structural similarity的缩写，代表结构相似性。
27.本例中所述非相干光源为白光led光源。
28.本例中所述训练过程选取n个目标物体建立训练集，n＝32000。
29.本例中所述训练过程中，将目标物体的物体图像输入unet神经网络具体是通过dmd加载目标物体的灰度图案，将灰度图案输入unet神经网络。
30.实施例二
31.一种基于非相干光源的多模光纤内窥镜系统，包括光源、耦合系统、多模光纤、准直系统、ccd相机，本例中所述光源为非相干光源，所述ccd相机为具有不同滤光片的黑白ccd相机，具有不同滤光片的黑白ccd相机在使用时，将不同滤光片放置在黑白ccd相机前，从而获得不同波长的散斑信息；
32.内窥镜系统使用前需要先进行训练，建立物体图像和散斑图案之间对应关系的训练集，训练集中每个对应关系的建立过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到用于建立训练集的目标物体上，经目标物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经目标物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一目标物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，然后将目标物体的物体图像输入unet神经网络，利用unet神经网络建立物体图像和散斑图案的对应关系；
33.内窥镜系统使用过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到探测物体上，经探测物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经探测物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一探测物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，利用unet神经网络建立的物体图像和散斑的对应关系，重建经光纤传输后的探测物体的图像。
34.本例中所述非相干光源为白光led光源。
35.本例中所述训练过程选取n个目标物体建立训练集，n＝33000。
36.本例中所述训练过程中，将目标物体的物体图像输入unet神经网络具体是通过dmd加载目标物体的灰度图案，将灰度图案输入unet神经网络。

技术特征：
1.一种基于非相干光源的多模光纤内窥镜系统，包括光源、耦合系统、多模光纤、准直系统、ccd相机，其特征在于：所述光源为非相干光源，所述ccd相机为彩色ccd相机或具有不同滤光片的黑白ccd相机，具有不同滤光片的黑白ccd相机在使用时，将不同滤光片放置在黑白ccd相机前，从而获得不同波长的散斑信息；内窥镜系统使用前需要先进行训练，建立物体图像和散斑图案之间对应关系的训练集，训练集中每个对应关系的建立过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到用于建立训练集的目标物体上，经目标物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd提取经目标物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一目标物体对应的三种散斑图像进行灰度化处理并利用通道拼接共同输入unet神经网络，然后将目标物体的物体图像输入unet神经网络，利用unet神经网络建立物体图像和散斑图案的对应关系；内窥镜系统使用过程如下：非相干光源出射光通过耦合系统耦合进多模光纤中，并通过多模光纤传输后再经过准直系统入射到探测物体上，经探测物体反射的光再次通过准直系统、多模光纤及耦合系统入射到ccd相机上，ccd相机提取经探测物体反射的不同波长的光对应的散斑信息，得到红光、绿光以及蓝光三种散斑图案，然后将同一探测物体对应的三种散斑图案进行灰度化处理并利用通道拼接共同输入unet神经网络，利用unet神经网络建立的物体图像和散斑的对应关系，重建经多模光纤传输后的探测物体的图像。2.根据权利要求1所述的一种基于非相干光源的多模光纤内窥镜系统，其特征在于：所述非相干光源包括led光源。3.根据权利要求2所述的一种基于非相干光源的多模光纤内窥镜系统，其特征在于：所述非相干光源为白光led光源。4.根据权利要求1所述的一种基于非相干光源的多模光纤内窥镜系统，其特征在于：所述训练过程选取n个目标物体建立训练集，n≥30000。5.根据权利要求1所述的一种基于非相干光源的多模光纤内窥镜系统，其特征在于：所述训练过程中，将目标物体的物体图像输入unet神经网络具体是通过dmd加载目标物体的灰度图案，将灰度图案输入unet神经网络。

技术总结
一种基于非相干光源的多模光纤内窥镜系统，包括光源、耦合系统、多模光纤、准直系统、CCD相机，所述光源为非相干光源，CCD相机为彩色CCD相机或具有不同滤光片的黑白CCD相机；内窥镜系统使用前需要先进行训练，建立物体图像和散斑图案之间对应关系的训练集；使用时，非相干光源出射光通过依次通过耦合系统、光纤、准直系统入射到探测物体上，经探测物体反射的光返回入射到CCD相机上，CCD相机提取不同波长的光对应的散斑信息，得到红光、绿光、蓝光三种散斑图案，然后将三种散斑图案进行灰度化处理并利用通道拼接共同输入Unet神经网络，利用Unet神经网络建立的物体图像和散斑的对应关系，重建经光纤传输后的探测物体的图像。重建经光纤传输后的探测物体的图像。重建经光纤传输后的探测物体的图像。


技术研发人员：汪莎 范珉宇
受保护的技术使用者：四川大学
技术研发日：2023.05.17
技术公布日：2023/8/23