一种睑板腺缺失统计分析方法与流程

1.本发明涉及一种图像处理技术，特别涉及一种睑板腺缺失统计分析方法。


背景技术：

2.睑板腺缺失可能会导致睑板腺功能障碍，引起睑板腺功能障碍性相关干眼，表现为视疲劳、异物感、干涩等，重者影响视力，甚至出现角膜溃疡穿孔等。睑板腺缺失可通过一般治疗、药物治疗、手术治疗等改善。临床上如果能及时准确发现睑板腺缺失，并能够定量给出缺失比例，对临床诊断和治疗随访起着关键作用。
3.目前睑板腺缺失分析大部分采用传统图像处理方法，通常使用阈值分割或者人工手动圈定的方法对原大图提取睑板腺和睑板区域，然后基于这两个区域得到腺体缺失比例，但是这些方法容易受光照和睫毛等影响，从而导致检出率降低；另外对睑板腺进行手动圈定方法十分耗时耗力，检查效率低。同时还出现了基于深度学习的腺体分割方法，该方法虽然对环境光和睫毛抗干扰强，但是由于腺体很细小，在原始大图上直接进行分割很容易漏检。


技术实现要素：

4.针对睑板腺缺失分析存在的问题，提出了一种睑板腺缺失统计分析方法。
5.本发明的技术方案为：一种睑板腺缺失统计分析方法，具体包括如下步骤：1)对测试人眼睛进行红外拍摄，获得眼睛的睑板腺大图像；
6.2)利用训练后基于深度学习的睑板分割网络，对步骤1)睑板腺图像做睑板区域分割检测，分别预测背景和睑板区域目标；
7.3)根据步骤2)的睑板区域分割结果找出睑板区域图像；
8.4)利用训练后基于深度学习的睑板腺分割网络，对步骤3)得到的睑板区域图像做睑板腺体分割检测，分别预测背景和睑板腺区域目标；
9.5)基于睑板区域和腺体区域的分割结果做睑板腺缺失统计分析；
10.计算步骤2)睑板分割网络输出的睑板区域像素总个数s0，计算步骤4)睑板腺分割网络输出的睑板腺体区域像素总个数s1,得到腺体占比为将步骤4)睑板腺分割网络输出的睑板腺区域进行膨胀处理，则腺体之间的空隙封闭起来得到腺体包络区域，计算该包络区域的像素总个数s2,则腺体缺失比例为
11.一种睑板腺缺失统计分析方法中使用的基于深度学习的分割网络，用于对图像中睑板和睑板腺进行分割，搭建dfanet分割网络模型，包括轻量级骨干网络、子网聚合和子阶段聚合模块，将xception网络作为骨干结构，在骨干网络的尾部附加一个全连接的注意力模块，以保留最大的感受野；子网聚合模块是将前一个骨干网络的高层特征图上采样到下一个主干网络的输入，以精炼预测结果；子阶段聚合模块通过将具有相同尺寸的图层组合
在一起，提供感受野和高尺寸结构细节，采用由卷积和双线性上采样操作组成的解码器decoder来组合每个阶段的输出，以生成从粗到细的分割结果。
12.进一步，所述分割网络选择cityscapes数据库中的睑板腺图像，首先进行数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊预处理；损失函数采用二分类交叉熵函数；用dfanet在cityscapes数据集上的训练权值作为初始权值，再做分割网络中数据的微调训练，将预处理后的数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集损失值相差最小的训练权值作为训练结果。
13.本发明的有益效果在于：本发明睑板腺缺失统计分析方法，相比传统图像处理方法，本方法对光照、噪声、人脸姿态、睫毛遮挡等不利因素具有高鲁棒性，检测率更高，能够快速准确得出睑板腺缺失比例，给干眼临床诊断提供重要参考。另外相比基于深度学习的方法，本方法未对原始大图直接进行睑板腺分割，而是先找到目标睑板区域，对抠出的睑板区域图像再进行睑板腺体分割，这样可以缩小睑板腺目标范围，防止细长的睑板腺漏检，进而提高睑板腺缺失比例准确性。
附图说明
14.图1为本发明方法中用红外摄像头拍摄睑板腺的实施例图；
15.图2为本发明方法中基于深度学习的睑板分割网络结构图；
16.图3为本发明方法中睑板区域分割结果找出的睑板区域图；
17.图4为本发明方法中包围框从原图抠出睑板区域图；
18.图5为本发明方法中基于深度学习的睑板腺分割网络结构图；
19.图6为本发明方法中最终获得腺体包络区域图。
具体实施方式
20.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
21.本发明的一种睑板腺缺失统计分析方法，具体包括如下步骤：
22.步骤一、对测试人眼睛进行红外拍摄，获得眼睛的睑板腺图像；
23.用红外摄像头拍摄眼睛的睑板腺图像，如图1所示；
24.步骤二、利用基于深度学习的睑板分割网络，对步骤一图像做睑板区域分割检测；
25.搭建dfanet分割网络模型(实时语义分割模型),由于深度可分离卷积被证明是实时推理中最有效的运算之一，包括轻量级骨干网络、子网聚合和子阶段聚合模块，将xception网络作为骨干结构backbone。为了追求更高的准确性，在骨干网络的尾部附加了一个全连接的注意力模块fc attention，以保留最大的感受野。子网聚合是将前一个骨干网络的高层特征图上采样到下一个主干网络的输入，以精炼预测结果。从另一个角度看，子网聚合可以看作是像素分类的从粗到精的过程。子阶段聚合通过“粗”部分和“细”部分在相应阶段之间组装特征表示，通过将具有相同尺寸的图层组合在一起，可以提供感受野和高尺寸结构细节。采用由卷积和双线性上采样操作组成的解码器decoder来组合每个阶段的输出，以生成从粗到细的分割结果。骨干网络保持不变，最后输出层改为两通道，分别预测
背景(黑色)和睑板区域目标(白色)，如图2所示。
26.dfanet分割网络模型训练过程：选择数据库中的带睑板腺的眼睛全图图像，数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊等预处理。损失函数采用二分类交叉熵函数，即sigmoid-cross-entropy-loss。用dfanet在cityscapes数据集上的训练权值作为初始权值，然后做模型中数据的微调训练。将数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集损失值相差最小的训练权值作为训练结果。
27.dfanet分割网络包含多个网络层，conv指卷积核大小为3的卷积，enc指卷积层块，fc attention中指获取语义信息和类别信息的注意力模块，c指按通道拼接层即concatenation，xn指n倍数的上采样操作即upsampling，通过一系列的特征提取通道融合上采样等操作，最后输出分割概率图。
28.步骤三、根据步骤二的睑板区域分割结果找出睑板区域图像；找到睑板区域分割结果的外接包围框，如图3所示，然后根据包围框从原图抠出对应的睑板区域图像，如图4所示。
29.步骤四、利用基于深度学习的睑板腺分割网络，对步骤三的睑板区域图像做睑板腺体分割检测；
30.采用步骤二相同的dfanet分割网络模型结构，对步骤三的睑板区域图像做睑板腺体分割检测，分别预测背景(黑色)和睑板腺区域目标(白色)，如图5所示。
31.基于深度学习的睑板腺分割网络训练方法与步骤二相同，区别在于选用的数据库中睑板腺图像，数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊等预处理。损失函数采用二分类交叉熵函数，即sigmoid-cross-entropy-loss。用dfanet在cityscapes数据集上的训练权值作为初始权值，然后做模型中数据的微调训练。将预处理后的数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。dfanet分割网络包含多个网络层，conv指卷积核大小为3的卷积，enc指卷积层块，fcattention中指获取语义信息和类别信息的注意力模块，c指按通道拼接层即concatenation，xn指n倍数的上采样操作即upsampling，通过一系列的特征提取通道融合上采样等操作，最后输出分割概率图。
32.步骤五、基于睑板区域和腺体区域的分割结果做睑板腺缺失统计分析；
33.计算步骤二的睑板区域像素总个数s0，也就是图二输出图中的白色像素个数，和计算步骤四睑板腺体区域像素总个数s1,也就是图5输出图中的白色像素个数，则得到腺体占比为将步骤四的腺体区域进行膨胀处理，则腺体之间的空隙封闭起来得到腺体包络区域，如图6所示，计算该包络区域的像素总个数s2,也就是图6中的白色像素个数，则腺体缺失比例为
34.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种睑板腺缺失统计分析方法，其特征在于，具体包括如下步骤：1)对测试人眼睛进行红外拍摄，获得眼睛的睑板腺大图像；2)利用训练后基于深度学习的睑板分割网络，对步骤1)睑板腺图像做睑板区域分割检测，分别预测背景和睑板区域目标；3)根据步骤2)的睑板区域分割结果找出睑板区域图像；4)利用训练后基于深度学习的睑板腺分割网络，对步骤3)得到的睑板区域图像做睑板腺体分割检测，分别预测背景和睑板腺区域目标；5)基于睑板区域和腺体区域的分割结果做睑板腺缺失统计分析；计算步骤2)睑板分割网络输出的睑板区域像素总个数s0，计算步骤4)睑板腺分割网络输出的睑板腺体区域像素总个数s1,得到腺体占比为将步骤4)睑板腺分割网络输出的睑板腺区域进行膨胀处理，则腺体之间的空隙封闭起来得到腺体包络区域，计算该包络区域的像素总个数s2,则腺体缺失比例为2.一种睑板腺缺失统计分析方法中使用的基于深度学习的分割网络，其特征在于，用于对图像中睑板和睑板腺进行分割，搭建dfanet分割网络模型，包括轻量级骨干网络、子网聚合和子阶段聚合模块，将xception网络作为骨干结构，在骨干网络的尾部附加一个全连接的注意力模块，以保留最大的感受野；子网聚合模块是将前一个骨干网络的高层特征图上采样到下一个主干网络的输入，以精炼预测结果；子阶段聚合模块通过将具有相同尺寸的图层组合在一起，提供感受野和高尺寸结构细节，采用由卷积和双线性上采样操作组成的解码器decoder来组合每个阶段的输出，以生成从粗到细的分割结果。3.根据权利要求2所述基于深度学习的分割网络，其特征在于，所述分割网络选择cityscapes数据库中的睑板腺图像，首先进行数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊预处理；损失函数采用二分类交叉熵函数；用dfanet在cityscapes数据集上的训练权值作为初始权值，再做分割网络中数据的微调训练，将预处理后的数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集损失值相差最小的训练权值作为训练结果。

技术总结
本发明涉及一种睑板腺缺失统计分析方法，先针对采集的眼睛的睑板腺大图像，利用训练后基于深度学习的分割网找到目标睑板区域，对抠出的睑板区域图像再进行睑板腺体分割，这样即避开光照、噪声、人脸姿态、睫毛遮挡等不利因素，又缩小睑板腺目标范围，防止细长的睑板腺漏检，大大提高睑板腺缺失比例准确性。大大提高睑板腺缺失比例准确性。大大提高睑板腺缺失比例准确性。


技术研发人员：王崇阳 陈文光
受保护的技术使用者：上海美沃精密仪器股份有限公司
技术研发日：2023.05.08
技术公布日：2023/8/23