一种基于弱监督学习的声门状态监测方法和系统

1.本发明属于图像处理分析与理解技术领域，特别是涉及一种基于弱监督学习的声门状态监测方法和系统。


背景技术：

2.气管插管是临床手术中为患者建立人工气道的常用外科手术。在气管插管手术过程中，麻醉医生需要通过内窥镜图像实时监测患者的声门状态，即打开和关闭的程度。声门是控制气流进出呼吸道的阀门。声门通道有四种基本状态：打开、振动、变窄和关闭。声门的关闭可能导致患者缺氧甚至窒息。然而，长时间解读内窥镜视频会给麻醉医生带来认知负担。此外，内窥镜图像往往具有低纹理和运动模糊，这增加了图像识别的难度。误检可能会导致手术并发症。因此，在临床手术中对声门状态进行自动分割和监测是必不可少的。
3.从内窥镜图像中自动分割声门是实现声门状态监测的先决条件。计算机视觉领域已经提出了几种用于声门分割的解决方案，例如阈值分割、种子区域增长和活动形状模型算法。然而，这些传统方法在具有复杂结构的解剖区域上表现不佳，因为它们过于依赖图像对比度和图像纹理。此外，这些方法中的特征提取严重依赖于先验知识，降低了方法的通用性。
4.由于其从数据中学习的能力，深度神经网络已被用于医学图像分割。已经开发了几种监督学习方法来训练声门分割网络。例如，bin ji等人使用双u形卷积神经网络在喉内窥镜下拍摄的图像中分割喉白斑。拉维斯等人使用fcnn分割人类喉部的数据集。基于监督学习的声门分割往往需要大量的像素标注数据集来进行训练，内窥镜图像往往包含复杂的人体解剖结构，需要专业的医生进行标注，难以获取大量的标注数据。
5.弱监督学习利用点、涂鸦、边界框等图像级弱标注，不仅可以大大节省人工标注的工作量，还可以提高医学图像处理的自主性。由于只有少量可用的监督信号，弱监督学习的实施具有挑战性，例如，自训练方法难以获得目标区域的准确边界，尤其是在医学图像上，无法实现准确的图像分割，神经网络的学习速度慢。
6.因此，亟需提出一种基于弱监督学习的声门状态监测方法和系统，克服现有深度学习数据集制作需要花费大量时间的缺陷。


技术实现要素：

7.本发明的目的是提供一种基于弱监督学习的声门状态监测方法和系统，为了克服现有深度学习数据集制作的需要花费大量的时间的缺陷，提供一种仅需标记点作为标注的弱监督深度学习方法进行训练，能够解决医疗图像需要花费大量时间标注的困难，同时基于提出弱监督深度学习方法构建了一种声门状态自动监测系统，能够辅助了解麻醉状态，增加麻醉的可靠性，以解决上述现有技术存在的问题。
8.为实现上述目的，本发明提供了一种基于弱监督学习的声门状态监测方法，包括以下步骤：
9.获取声门图像并对声门进行点标注，构建声门分割数据集；
10.基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，并更新所述声门分割数据集；
11.基于更新后的声门分割数据集，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型；
12.从视频流中实时提取声门图像，基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；
13.基于操作展示台展示分割结果，绘制声门面积变化曲线，对异常情况进行预警。
14.可选地，基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注的过程包括：获取声门图像中每一个像素属于声门的概率，基于概率值将声门图像划分为背景区域、不确定区域和声门区域；以所述声门区域为种子区域，获取所述种子区域的灰度均值和灰度值方差，基于所述种子区域的灰度均值和灰度值方差，遍历所述不确定区域内的所有像素，将满足预设要求的像素点所在的不确定区域变为前景区域。，完成所有不确定区域像素点的筛选，获得最终的前景区域，进而获得声门边界的伪标注；其中，所述背景区域为声门图像中除了声门区域以外的区域。
15.可选地，遍历所述不确定区域内的所有像素的过程包括：以种子区域的像素为起点，遍历8邻域里的所有像素，当8邻域里的像素的灰度值与所述种子区域的灰度均值的差值小于种子区域的灰度值方差，则将该像素视为种子区域；继续遍历该像素的8邻接域，直至出现有像素点的所有邻接域内的像素的灰度值与所述种子区域的灰度均值的差值不小于种子区域的灰度值方差，停止遍历，将满足预设要求的像素点所在的不确定区域变为前景区域，其中，所述种子区域是初始的前景区域。
16.可选地，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型的过程包括：伪标注通过进行迭代扩散，获得新扩散的区域；基于动态结构相似性损失函数获取所述新扩散的区域与种子区域的结构相似性系数，当所述结构相似性系数小于预设阈值时，停止对所述卷积神经网络模型的训练，获得训练后的卷积神经网络模型。
17.本发明还提供一种基于弱监督学习的声门状态监测系统，包括：
18.获取图像模块，用于获取声门图像，并基于所述声门图像构建声门分割数据集；
19.声门分割模块，与所述获取图像模块连接，用于构建卷积神经网络模型，并基于所述声门分割数据集训练所述卷积神经网络模型，然后基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；
20.显示模块，与所述声门分割模块连接，用于基于操作展示台展示分割结果，绘制声门面积变化曲线。
21.可选地，所述获取图像模块包括：
22.数据集构建单元，用于获取声门图像并对声门进行点标注，构建声门分割数据集；
23.数据集更新单元，基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，更新所述声门分割数据集。
24.可选地，所述声门分割模块包括：
25.模型训练单元，用于构建卷积神经网络模型，基于更新后的声门分割数据集，设计动态结构相似性损失函数，对所述卷积神经网络模型进行训练；
26.声门分割单元，用于基于训练后的卷积神经网络模型对实时提取的声门图像进行分割。
27.可选地，所述展示模块包括：
28.展示单元，用于基于操作展示台展示分割结果，并绘制声门面积变化曲线；
29.预警单元，用于基于所述声门面积变化曲线，对异常情况进行预警。
30.本发明的技术效果为：
31.本发明提供的一种基于弱监督学习的声门状态监测方法和系统，仅需要在输入图像中制作一个点标记作为标注进行训练，便可以得到一个理想的声门分割模；同时，使用基于弱监督深度学习获取的离线声门分割模型构建了一个声门状态自动监测系统，该架构利用了深度学习迭代学习中不断更新数据集的思想，包括阈值种子区域生长算法和动态结构相似性损失函数，解决了医学图像数据集难以构建的问题，可以较好的辅助完成麻醉任务，提高麻醉的可靠性。
附图说明
32.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
33.图1为本发明实施例中的基于弱监督学习的声门状态监测方法流程图；
34.图2为本发明实施例中的基于弱监督深度学习训练卷积神经网络的操作流程图；
35.图3为本发明实施例中的用于声门分割的卷积神经网络的结构示意图；
36.图4为本发明实施例中的基于弱监督学习的声门状态监测系统结构示意图。
具体实施方式
37.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
38.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.实施例一
40.如图1-3所示，本实施例提供一种基于弱监督深度学习的麻醉中声门状态自动监测方法和系统，包括以下步骤：
41.对输入图像的声门区域标记一个点作为伪标签输入网络，训练弱监督下的卷积神经网络模型(u-net)。具体的，对输入图像中声门以点标注的形式进行弱标注，构建声门分割数据集；利用自动种子区域生长算法从点标注中迭代生成接近声门边界的伪标注，并更新声门分割数据集；利用更新后数据集，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型。卷积神经网络模型使用现有的u-net网络，通过输入标签图片和真实图片进行迭代训练获取。
42.利用深度学习的迭代过程，结合设计的自动种子区域生长算法，不断迭代更新数据集，使得伪标签从最开始的一个点慢慢扩散到整个声门区域，自动种子区域生长算法的步骤如下：
43.a，神经网络模型计算图像每一个像素属于声门的概率，将概率按照0-β，β-0.5，0.5-1(β为0-0.5的预设常数)将图像分为三个区域：背景区域ab、不确定区域au、声门区域ag；
44.b，以ag作为种子区域，计算种子区域的灰度均值和灰度值方差对不确定区域au中的每一个像素x做如下操作：首先，以种子区域的像素x0为起点，遍历x0的8领域里所有像素x1，x1的灰度值为如果公式成立，则将令像素x1视为种子区域；继续访问该像素的8邻接域，直到发现某个像素点的所有邻接域不满足公式或者把所有不确定区域au遍历一遍；最后，通过计算不确定区域au中所有值，可以将部分不确定区域变为前景区域。
45.根据网络分割结果计算动态结构相似性损失函数步骤如下：
46.a，伪标签逐渐扩散，不断接近声门边界，在每个迭代扩散过程中，将新扩散的区域表示为δag(x)
t+1
＝ag(x)
t+1-ag(x)
t
；
47.b，位于声门区域内的δag(x)
t+1
和ag(x)
t
图像的结构、亮度、对比度等特征没有显著差异，当δag(x)
t+1
超出声门边界时，δag(x)
t+1
和ag(x)
t
的图像在特征上有很大差异。使用公式：计算δag(x)
t+1
和ag(x)
t
的结构相似性系数ssim(δag(x)
t+1
,ag(x)
t
)，当计算结果小于阈值σ时，网络停止tsrg算法，同时结构相似性系数置0，使整个网络训练逐渐趋于稳定。
48.从术中内窥镜视频流中逐帧提取图像，利用训练后网络模型对图像中的声门进行分割，并统计声门的面积；将声门分割结果显示到操作显示台上，同时在显示台上绘制声门面积的变化曲线，若视频流中声门出现闭合或者抖动情况，系统将为医生提供报警信号。
49.统计声门的面积的步骤如下：
50.a，根据上述弱监督方法训练获取离线网络模型；
51.b，从内窥镜中获取声门动态视频；
52.c，将动态视频逐帧提取，利用模型分割声门，统计声门面积。
53.分割结果显示到操作显示台上，同时在显示台上绘制声门面积的变化曲线步骤如下：
54.a,将分割结果使用操作显示台显示出来；
55.b,在显示台上绘制声门面积的变化曲线，若视频流中声门出现闭合或者抖动情况，系统将为医生提供报警信号。
56.本实施例的一种基于弱监督深度学习的麻醉中声门状态自动监测方法及系统，在模型训练阶段，对声门区域标记一个点作为伪标签，然后在网络迭代训练过程中使用阈值种子区域生长算法使伪标签逐渐扩散，达到声门边界，同时使用动态结构相似性损失函数监督网络学习。在声门状态自动监测系统阶段，使用基于弱监督深度学习方法训练好的离线网络模型对输入视频进行分割，同时计算声门面积，获取声门面积变化折线，并且根据变化来自动监测患者的麻醉状态。
57.实施例二
58.如图4所示，本实施例提供一种基于弱监督学习的声门状态监测系统，包括：
59.获取图像模块，用于获取声门图像，并基于所述声门图像构建声门分割数据集；
60.声门分割模块，与所述获取图像模块连接，用于构建卷积神经网络模型，并基于所述声门分割数据集训练所述卷积神经网络模型，然后基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；
61.显示模块，与所述声门分割模块连接，用于基于操作展示台展示分割结果，绘制声门面积变化曲线。
62.可实施的，所述获取图像模块包括：数据集构建单元，用于获取声门图像并对声门进行点标注，构建声门分割数据集；数据集更新单元，基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，更新所述声门分割数据集。
63.作为具体的实施例，自动种子区域生长算法步骤如下：
64.神经网络模型计算图像每一个像素属于声门的概率，将概率按照0-β，β-0.5，0.5-1(β为0-0.5的预设常数)将图像分为三个区域：背景区域ab、不确定区域au、声门区域ag；
65.以声门区域ag作为种子区域，计算种子区域的灰度均值和灰度值方差对不确定区域au中的每一个像素x做如下操作：首先，以种子区域的像素x0为起点，遍历x0的8领域里所有像素x1，x1的灰度值为如果公式成立，则将令像素x1视为种子区域；继续访问该像素的8邻接域，直到发现某个像素点的所有邻接域不满足公式或者把所有不确定区域au遍历一遍；最后，通过计算不确定区域au中所有值，可以将部分不确定区域变为前景区域。
66.可实施的，所述声门分割模块包括：模型训练单元，用于构建卷积神经网络模型，基于更新后的声门分割数据集，设计动态结构相似性损失函数，对所述卷积神经网络模型进行训练；声门分割单元，用于从内窥镜中获取声门动态视频，将动态视频逐帧实时提取声门图像，基于训练后的卷积神经网络模型对实时提取的声门图像进行分割。
67.作为具体的实施例，动态结构相似性损失函数步骤如下：
68.伪标签逐渐扩散，不断接近声门边界，在每个迭代扩散过程中，将新扩散的区域表示为δag(x)
t+1
＝ag(x)
t+1-ag(x)
t
；
69.位于声门区域内的δag(x)
t+1
和ag(x)
t
图像的结构、亮度、对比度等特征没有显著差异，当δag(x)
t+1
超出声门边界时，δag(x)
t+1
和ag(x)
t
的图像在特征上有很大差异。使用公式：计算δag(x)
t+1
和ag(x)
t
的结构相似性系数ssim(δag(x)
t+1
,ag(x)
t
)，当计算结果小于阈值σ时，网络停止tsrg算法，同时结构相似性系数置0，使整个网络训练逐渐趋于稳定。
70.可实施的，所述展示模块包括：展示单元，用于基于操作展示台展示分割结果，并绘制声门面积变化曲线；预警单元，用于基于所述声门面积变化曲线，对异常情况进行预警。
71.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种基于弱监督学习的声门状态监测方法，其特征在于，包括以下步骤：获取声门图像并对声门进行点标注，构建声门分割数据集；基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，并更新所述声门分割数据集；基于更新后的声门分割数据集，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型；从视频流中实时提取声门图像，基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；基于操作展示台展示分割结果，绘制声门面积变化曲线，对异常情况进行预警。2.根据权利要求1所述的基于弱监督学习的声门状态监测方法，其特征在于，基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注的过程包括：获取声门图像中每一个像素属于声门的概率，基于概率值将声门图像划分为背景区域、不确定区域和声门区域；以所述声门区域为种子区域，获取所述种子区域的灰度均值和灰度值方差，基于所述种子区域的灰度均值和灰度值方差，遍历所述不确定区域内的所有像素，将满足预设要求的像素点所在的不确定区域变为前景区域，完成所有不确定区域像素点的筛选，获得最终的前景区域，进而获得声门边界的伪标注；其中，所述背景区域为声门图像中除了声门区域以外的区域。3.根据权利要求2所述的基于弱监督学习的声门状态监测方法，其特征在于，遍历所述不确定区域内的所有像素的过程包括：以种子区域的像素为起点，遍历8邻域里的所有像素，当8邻域里的像素的灰度值与所述种子区域的灰度均值的差值小于种子区域的灰度值方差，则将该像素视为种子区域；继续遍历该像素的8邻接域，直至出现有像素点的所有邻接域内的像素的灰度值与所述种子区域的灰度均值的差值不小于种子区域的灰度值方差，停止遍历，将满足预设要求的像素点所在的不确定区域变为前景区域；其中，所述种子区域是初始的前景区域。4.根据权利要求1所述的基于弱监督学习的声门状态监测方法，其特征在于，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型的过程包括：伪标注通过进行迭代扩散，获得新扩散的区域；基于动态结构相似性损失函数获取所述新扩散的区域与种子区域的结构相似性系数，当所述结构相似性系数小于预设阈值时，停止对所述卷积神经网络模型的训练，获得训练后的卷积神经网络模型。5.一种基于弱监督学习的声门状态监测系统，其特征在于，包括：获取图像模块，用于获取声门图像，并基于所述声门图像构建声门分割数据集；声门分割模块，与所述获取图像模块连接，用于构建卷积神经网络模型，并基于所述声门分割数据集训练所述卷积神经网络模型，然后基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；显示模块，与所述声门分割模块连接，用于基于操作展示台展示分割结果，绘制声门面积变化曲线。6.根据权利要求5所述的基于弱监督学习的声门状态监测系统，其特征在于，所述获取图像模块包括：数据集构建单元，用于获取声门图像并对声门进行点标注，构建声门分割数据集；
数据集更新单元，基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，更新所述声门分割数据集。7.根据权利要求6所述的基于弱监督学习的声门状态监测系统，其特征在于，所述声门分割模块包括：模型训练单元，用于构建卷积神经网络模型，基于更新后的声门分割数据集，设计动态结构相似性损失函数，对所述卷积神经网络模型进行训练；声门分割单元，用于基于训练后的卷积神经网络模型对实时提取的声门图像进行分割。8.根据权利要求5所述的基于弱监督学习的声门状态监测系统，其特征在于，所述展示模块包括：展示单元，用于基于操作展示台展示分割结果，并绘制声门面积变化曲线；预警单元，用于基于所述声门面积变化曲线，对异常情况进行预警。

技术总结
本发明公开了一种基于弱监督学习的声门状态监测方法和系统，包括以下步骤：获取声门图像并对声门进行点标注，构建声门分割数据集；基于自动种子区域生长算法从点标注中迭代生成声门边界的伪标注，并更新所述声门分割数据集；基于更新后的声门分割数据集，设计动态结构相似性损失函数，训练弱监督下的卷积神经网络模型；从视频流中实时提取声门图像，基于训练后的卷积神经网络模型对实时提取的声门图像进行分割；基于操作展示台展示分割结果，绘制声门面积变化曲线，对异常情况进行预警。本发明解决了医学图像数据集难以构建的问题，克服现有深度学习数据集制作需要花费大量时间的缺陷。间的缺陷。间的缺陷。


技术研发人员：邓震 郑晓春 何炳蔚 魏肖肖 郑艇 高飞
受保护的技术使用者：福州大学
技术研发日：2023.05.30
技术公布日：2023/10/7