一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法

1.本发明涉及一种基于隐式表达重整和全局信息导引的医学图像分割方法，属于数字图像处理、模式识别和计算机视觉领域。本发明主要涉及自监督学习、隐式神经表达以及医学影像分割。在鼻科的临床医学影像分析和研究相关领域具有广阔的应用前景。


背景技术：

2.鼻腔影像分割在医学影像分析中起着至关重要的作用。鼻腔是人体重要的呼吸器官，其结构和功能的正常与否直接影响到人体的呼吸功能。在临床上，鼻腔结构的形态分析、呼吸障碍的研究等问题，都需要依赖于对鼻腔影像的精准分割。
3.首先，鼻腔影像分割可以提供准确的鼻腔结构信息，这对于临床医生理解和分析鼻腔的形态结构，以及分析鼻窦炎、鼻息肉等鼻腔疾病，具有重要的参考价值。其次，鼻腔影像分割也是进行鼻腔手术前的重要步骤，如鼻腔内镜手术、鼻腔肿瘤切除手术等，都需要依赖于精准的鼻腔影像分割结果来规划手术路径和范围。此外，对于呼吸障碍，如鼻腔狭窄、鼻中隔偏曲等，也需要依赖于鼻腔影像的精准分割来进行病情评估和分析。然而，设计和实现自动化的鼻腔分割方法面临着以下问题：
4.1.在鼻科临床领域内缺乏数量充足的有专家标注的鼻腔数据集
5.医学影像的采集和使用虽然受到严苛的约束和限制，所幸领域内尚有部分可用的公开医学影像数据集。然而当前针对医学影像分割的研究大多聚焦于器官组织和病灶的分割，含有准确鼻腔标注的数据相对稀少。基于监督学习的深度学习方法的性能和泛化能力在很大程度上依赖于高质量带标注数据的丰富程度，可用带标注数据的缺乏制约了分割方法的性能。
6.2.鼻腔所属体素数量少难以描述复杂形状结构
7.在包含鼻腔的完整的头部ct中，鼻腔所占体积比例较小，如需对鼻腔结构进一步分割为鼻前庭、鼻甲和鼻窦等，则各结构所属体素数量会进一步降低。而鼻腔的结构复杂多变，较少的体素对与这些复杂形状的描述能力较弱。
8.3.三维影像的分割过程缺乏头部ct的全局信息
9.与语义分割数据的开放性不同的是，医学影像的整体结构是相对固定的，人体内各类组织器官除却本身的纹理灰度等特征外，在位置和形状方面的相互约束关系呈现相等成都的规律性。如头骨的形状会约束鼻腔的形态和鼻腔走向等。而受限于当前计算机硬件的显存能力，大多基于深度学习的三维影像分割方法采用在原三维影像中裁切小块作为网络训练的样本对象，这使得训练过程没能利用三维影像的全局信息。
10.4.鼻腔结构各分界端面的分割准确度欠佳
11.在鼻腔结构中，空腔与腔道壁面组织的成像灰度值差异较大，而腔道入口和出口端面从物质成分上来说都是空气，因此在成像灰度值方面没有任何差异。这就导致在鼻腔的影像分割任务中，即使整体的评估指标较高时，腔道中各结构的端面分割效果仍然不佳。
12.基于上述对鼻腔分割问题的分析，本发明提出一种基于全局信息导引和隐式表达
重整的鼻腔图像分割方法，在方法中设计了基于隐式表达的全局编码分支为分割网络提供全局信息导引，在分割网络中设计一种隐式表达重整模块以提升网络对复杂鼻腔形状特征的提取能力，设计了从鼻腔标注中自动提取难分割端面体素的方法以促使网络强化对分界端面的分割效果，同时利用自编码器理念设计基于鼻腔重构的无监督预训练方法以充分利用可能的无标签影像数据提升网络参数初始化效果。


技术实现要素：

13.针对上述问题，本发明的目的在于提供一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，利用自监督的预训练过程在缺乏有标签数据的情况下尽可能提升分割网络的特征提取能力，通过在分割网络中加入隐式神经表达自编码器分支的方式引入头部影像全局信息，在分割网络的层级结构中加入隐式神经表达模块以强化分割网络对鼻腔形状特别是鼻腔结构端面的分割性能。本发明的技术方案整体思路主要体现在以下四个方面：
14.1)建立基于自编码器的自监督预训练方式，使用大批量无标注的头部ct影像数据对分割网络的编码器部分进行预训练，使其在正式的监督训练开始前具有较好的初始化状态，提升其特征提取能力；
15.2)在分割网络主干外使用全局隐式神经表达分支，将样本所属的完整头部ct影像的全局特征信息加入网络，强化分割网络的整体效果；
16.3)设计三维隐式神经表达模块并将其引入分割网络，强化分割网络在分割对象形状方面的表达能力并提升网络跨分辨率的分割能力；
17.4)对原有分割标签进行细化，将鼻腔结构的标签细分为侧壁标签和端面标签，赋予端面标签更高的权重，提升网络对于端面的分割效果。
18.本发明涉及一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，该方法的具体步骤如下：
19.步骤一、利用大批量无标签头部ct影像数据，对多层级结构分割网络的编码器部分进行基于自编码器的自监督预训练；
20.针对层级分割网络构建多层编码器结构，使用大批量无标签头部ct影像数据集，利用自编码器的理念对该编码器补充一个仅用于预训练过程的解码器。在自编码器学习框架下，将影像复原作为预训练过程的训练任务，训练完成后的编码器参数可作为正式监督训练过程中编码器的优良初始化参数。除影像复原之外，旋转角预测、颜色预测、噪声去除和超分辨率等均可以被设置为预训练任务类型。以影像复原为例的步骤一具体过程如下：
21.s11、构建自编码器学习框架。该框架包括一个编码器和一个解码器。输入为一个影像块，该影像块首先通过编码器处理得到影像块信息的潜在变量，然后解码器将该潜在变量作为输入以复原出重建影像块。框架的输出为原始影像块和重建影像块之间的自编码器损失函数值，主要由重建损失和正则化损失组成。
22.s12、对用于自监督预训练的无标签影像进行随机裁剪，得到一个影像块，经过随机镜像和旋转增强后作为输入样本。然后，按照s11所述的自编码器学习框架对分割网络编码器进行预训练。具体训练过程是：原始影像块经过编码器-解码器结构后，得到重建影像块；使用原始影像块和重建影像块计算可得自编码器损失函数值；基于该损失函数值对自
编码器学习框架中的分割网络编码器进行反向传播和参数优化。
23.步骤二、构建基于隐式神经表达的全局编码分支，并利用重采样无标签数据对其进行预训练；
24.基于隐式神经表达的理念，构建用于从完整三维影像中提取全局信息的深度卷积网络，该网络由一个编码器和一个解码器组成。在该网络中，编码器接收原图像并将其编码为隐式表达，解码器接收该隐式表达和一个空间坐标并最终判断该空间坐标的所属类别。该网络将作为层级分割网络的全局分支网络，在分割过程中提供影像的全局信息。具体过程如下：
25.s21、对无标签影像数据进行重采样和二值化处理。首先，将所有无标签的头部ct影像数据进行重采样，使所有影像的分辨率统一。该做法可以确保后续处理和分析的一致性和准确性。然后对重采样后的影像进行二值化处理。二值化处理是将原有的灰度影像转化为二值影像的过程。在这个过程中，我们将所有体素分为两类：空气和人体组织。具体来说，我们选择一个阈值，然后将灰度值低于阈值的体素标记为空气，将灰度值高于阈值的体素标记为人体组织。
26.s22、构建隐式神经表达学习框架，该框架包含一个深度卷积编码器和一个深度卷积解码器。编码器的任务是将输入的三维影像编码为一个隐式表示，该隐式表示包含输入影像的全局信息。解码器的任务是接收隐式表示和任意一个三维影像的体素坐标作为输入，并输出该坐标处体素属于人体组织的概率。编码器和解码器的结构采用深度卷积神经网络，以有效地处理三维数据。
27.s23、隐式神经表达学习框架预训练。将二值化三维影像输入到编码器中，编码器将三维影像编码为一个隐式表示，然后利用解码器进行自监督训练。具体为：将隐式表示和三维影像中的每一个体素的坐标输入到解码器中，解码器输出该体素坐标处的占据概率。计算解码器的输出和原始二值化三维影像在该体素坐标处的值之间的损失，以此损失对编码器和解码器进行优化。该框架预训练完成后，其编码器部分即可作为层级分割网络的全局编码分支，接入分割网络，将完整重采样三维影像进行编码以获取全局信息的隐式表达。
28.步骤三、利用预训练编码器参数的优良初始化和全局编码分支的辅助，构建基于隐式神经表达的多层级鼻腔分割网络并完成鼻腔影像的分割；
29.在步骤一和步骤二的基础上，构建完整的基于隐式神经表达的多层级鼻腔分割网络。在训练过程中结合使用影像块和重采样全图作为输入，并在损失函数中对鼻腔端面体素的分割损失赋予更大的影响因子以促使网络额外专注提升对鼻腔端面的分割能力。
30.s31、对分割标签中的端面体素进行额外标注。具体做法是：首先，提取鼻腔的外表面体素集s
ext
。使用阈值二值化将头部ct分为头部组织和背景空气两类，头部组织体素值为1，背景空气体素值为0，该二值图以i
bin
表示。在ct相对应的标签图i
label
中，以pn表示鼻腔所对应的所有体素。分别对pn中包含的每一个体素p进行判断，如果p的八邻域在二值图i
bin
中存在值为0的体素，则认为体素p属于外表面s
ext
。然后对s
ext
中包含的每一个体素p的八邻域进行判断，如果其八邻域在二值图i
bin
中存在值为1的体素，则认为该体素属于鼻腔侧壁，否则认为该体素属于分界端面，并对该体素位置进行额外标注。如果数据标签是对于鼻腔的更细致划分，如鼻前庭、鼻甲、鼻窦等，亦可遵照此操作对各结构的端面进行分别标注。
31.s32、构建三维隐式表达重整模块。本发明中的三维隐式表达重整模块是一种用于
处理和优化三维隐式表达的工具。在分割网络的编码器中，各层级卷积块输出的特征图通道数和尺寸不同，其所表达的特征抽象层次亦不相同。将这些特征图视为对影像块的隐式表达，三维隐式表达重整模块的主要作用是将不同尺度的隐式表达重整为相同的尺度，以便更好地聚合和处理不同感受野尺度下的隐式表达，从而提高网络对形状特征的表示能力。该模块具体工作过程为：首先，将输入特征图各点坐标和目标尺寸各点坐标进行归一化，并根据目标尺寸创建采样网格。然后，根据采样网格中每点的坐标对输入特征图进行最近邻采样，同时记录采样网格坐标和特征图中最近邻被采样点的相对距离。对每个点的相对距离进行编码并附加在对应的采样值后，即为重整后的隐式表达输出。
32.s33、基于隐式神经表达的理念构建多层级鼻腔分割网络。分割网络的编码器部分采用层级架构，多层卷积编码器用于在不同的抽象等级和感受野范围下尽可能地挖掘和提取图像所含有效特征信息。随着分割网络的编码器层级加深，其输出的特征图通道数增加而形状变小，卷积层的感受野随之增大，其所表示的特征抽象等级提高。这种设计能够使编码器的不同层提取不同尺度下的图像信息。编码器的每一级分别由两个串联卷积块构成，每个卷积块内依次为卷积层、归一化层和激活函数层。编码器的各级输出特征图分别由三维隐式表达重整模块进行处理，统一为通道数和形状相当的张量，将该部分张量与全局编码分支输出的表示全图信息的张量进行并联，并联后的张量经过分割头的处理输出分割预测。
33.基于隐式神经表达的鼻腔图像分割方法流程如图1所示，利用自编码器理念设计自监督预训练过程以充分利用无标签数据的潜力提升分割网络编码器的特征提取能力，设计全局编码分支以引入头部影像全局信息和结构约束提升网络分割精度，采用三维隐式表达重整模块以有效融合层级编码器中各尺度隐式特征，最终实现对鼻腔结构的精准分割。
34.本发明的优点及功效：本发明提出一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法。设计基于自编码器的自监督预训练过程，充分挖掘无标签头部ct影像数据的潜力，为分割网络编码器提供了优良的初始化，从而强化其特征提取能力。为分割网络设计了全局隐式神经表达分支，使得完整头部ct影像的全局特征信息在每一次网络前传过程中被利用，进一步提升了分割效果。提出一种自动提取鼻腔标签中分界端面体素的方法，并应用在分割网络的损失函数中以提升分割网络对难分割端面的分割效果。在层级分割网络中设计并使用了三维隐式表达重整模块，增强网络对鼻腔形状的表达能力，并提升了其跨分辨率的分割能力。总的来说，本发明成功解决现有技术在鼻腔影像分割的数据和方法方面所所面临的问题，实现了鼻腔精准分割，并且在鼻科影像分析和临床研究领域具有广阔的应用前景。
附图说明
35.图1为基于隐式神经表达的鼻腔图像分割方法总体流程图。
36.图2为自编码器预训练框架图。
37.图3为全局编码分支结构示意图。
38.图4为鼻前庭分割效果示意图。
具体实施方式
39.本发明可应用于鼻腔及鼻腔各细分结构的自动分割，为了更好地阐述本发明的技术方案，以鼻前庭结构的分割任务为例并结合附图对本发明的实施方式作进一步描述。本发明总体流程如图1所示，各部分具体实施细节步骤如下：
40.步骤一、在大规模无标签影像数据集上对隐式神经表达网络进行自监督预训练；
41.s11、构建基于自编码器的自监督学习框架。该框架包括一个编码器和一个解码器。编码器与正式监督训练中使用的层级分割网络编码器相同，解码器由对称的层级结构构成，经过转置卷积降低特征图通道数，增大特征图尺寸。编码器用于将输入的鼻前庭图像编码为一个隐式向量，解码器则根据任务设置将这个隐式向量进行解码。在本例中以重建任务为例，则解码器的预期输出为编码器中输入的影像块。框架的输出为原始影像块和重建影像块之间的自编码器损失函数值。自编码器损失函数由重建损失和正则化损失组成，其中重建损失采用交叉熵损失，正则化损失采用l2损失。其中重建损失采用交叉熵损失，正则化损失采用l2损失。
42.重建损失的计算公式为：
43.l
reconstruction
＝-∑(y
true
*log(y
pred
)+(1-y
true
)*log(1-y
pred
))
44.其中，y
true
是原始影像块，y
pred
是重建影像块。
45.正则化损失的计算公式为：
46.l
regularization
＝∑(w2)
47.其中，w是编码器的权重。
48.s12、利用无标签的鼻前庭影像数据对隐式神经表达网络进行自监督预训练。预训练的目标是使网络能够在没有标签信息的情况下，通过学习图像的内在结构和特征，达到良好的分割效果。对用于自监督预训练的无标签影像进行随机裁剪，得到一个影像块，经过随机镜像和旋转增强后作为输入样本。然后，按照s11所述的自编码器学习框架对分割网络编码器进行预训练。具体训练过程是：原始影像块经过编码器-解码器结构后，得到重建影像块；使用原始影像块和重建影像块计算可得自编码器损失函数值；基于该损失函数值对自编码器学习框架中的分割网络编码器进行反向传播和参数优化。这一步骤使用了adam优化器进行参数优化，adam优化器的更新公式为：
49.m＝β1*m+(1-β1)*dx
50.v＝β2*v+(1-β2)*(dx2)
[0051][0052]
其中，m和v是梯度的一阶矩和二阶矩的估计值，dx是梯度，x是要更新的参数，learning
rate
是学习率，β1和β2是超参数，通常设置为0.9和0.999，ε是一个很小的数，通常设置为1e-8，以防止除以零。
[0053]
这种预训练方法的目标是让自编码器能够尽可能地复原输入的影像块，即让重构的影像块尽可能地接近输入的影像块。这样，自编码器在预训练过程中就能够学习到影像数据的内在结构和模式。该过程不需要任何标签数据，只需要大量的无标签影像数据，可以充分利用现有的大规模无标签影像数据，提高预训练的效率和效果。其具体框架如图2所示。
[0054]
步骤二、构建基于隐式神经表达的全局编码分支，并利用重采样无标签数据对其
进行预训练；
[0055]
s21、对无标签影像数据进行重采样和二值化处理。首先，将所有无标签的头部ct影像数据进行重采样，使所有影像的分辨率统一为(256，256，192)。该做法可以确保后续处理和分析的一致性和准确性。然后对重采样后的影像进行二值化处理。二值化处理是将原有的灰度影像转化为二值影像的过程。在这个过程中，我们将所有体素分为两类：空气和人体组织。具体来说，我们选择吸收强度阈值-850，然后将灰度值低于阈值的体素标记为空气，将灰度值高于阈值的体素标记为人体组织。
[0056]
s22、构建隐式神经表达学习框架，该框架包含一个深度卷积编码器和一个深度卷积解码器。编码器的任务是将输入的三维影像编码为一个隐式表示，理想情况下该隐式表达包含输入影像的全局信息。编码器由卷积层、标准化层和非线性层构成。解码器的任务是接收该隐式表示和任意一个三维影像的体素坐标作为输入，并输出该坐标体素属于人体组织的概率。编码器和解码器的结构采用深度卷积神经网络，以有效地处理三维数据。该网络框架的结构如图3所示。
[0057]
s23、隐式神经表达学习框架预训练。将二值化三维影像输入到编码器中，编码器将三维影像编码为一个隐式表示，然后利用解码器进行自监督训练。具体为：将隐式表示和三维影像中的每一个体素的坐标输入到解码器中，解码器输出该体素属于人体组织的概率。计算解码器的输出和原始二值化三维影像在该体素坐标处的值之间的损失，以此损失对编码器和解码器进行优化。在这个过程中，使用均方误差损失函数，并采用优化算法如adam进行参数更新。
[0058]
均方误差损失函数的计算公式为：
[0059]
l
mse
＝1/n*∑(y
true-y
pred
)2[0060]
其中，y
true
是原始二值化三维影像在该体素坐标处的值，y
pred
是解码器输出的占据概率，n是体素总数。
[0061]
预训练完成后，该学习框架的编码器部分作为层级分割网络的全局编码分支用于正式监督训练。
[0062]
步骤三、构建基于隐式神经表达的多层级鼻前庭分割网络并完成鼻前庭影像的分割；
[0063]
s31、对分割标签中的端面体素进行额外标注。具体做法是：首先，提取鼻前庭的外表面体素集s
ext
。使用阈值二值化将头部ct分为头部组织和背景空气两类，头部组织体素值为1，背景空气体素值为0，该二值图以i
bin
表示。在ct相对应的标签图i
label
中，以pn表示鼻前庭所对应的所有体素。分别对pn中包含的每一个体素p进行判断，如果p的八邻域在二值图i
bi
中存在值为0的体素，则认为体素p属于外表面s
ext
。然后对s
ext
中包含的每一个体素p的八邻域进行判断，如果其八邻域在二值图i
bin
中存在值为1的体素，则认为该体素属于鼻前庭侧壁，否则认为该体素属于分界端面，并对该体素位置进行额外标注。
[0064]
s32、构建三维隐式表达重整模块。本方法设计一种三维隐式表达重整模块，将不同尺寸的隐式表达重整为任意的相同尺寸，以聚合不同的感受野尺度下的隐式表达，提升网络对形状特征的表示能力。该模块具体工作过程为：首先，对输入特征图和目标特征图中所有点的坐标归一化为c
in
和c
out
，而所有的目标坐标构成了一个采样网格。然后，根据采样网格中的每点的坐标c
out
对输入特征图执行最近邻采样，得到最近邻特征f
sample
。同时记录
采样坐标c
out
和其在输入特征图中最近邻采样点的坐标c
in
的归一化相对距离d
norm
。最后，对相对距离d
norm
进行编码得d
decode
，并且将d
decode
在通道方向上并联在f
sample
后，得到f
out
。将该过程在采样网格中的每点执行完毕后，得到重整后的隐式表达f
out
。
[0065]
s33、基于隐式神经表达的多层级分割网络构建和训练。分割网络的编码器部分采用层级架构并附加有全局编码分支，多层卷积编码器用于在不同的抽象等级和感受野范围下尽可能地挖掘和提取图像所含有效特征信息。本方法设计的编码器包含六层结构，编码器的每一层分别由两个串联卷积块构成，由第一个卷积块调节输出特征图的通道数和尺寸。第一层的输出特征图通道数为32，尺寸保持为输入影像快的尺寸。其它层输出特征图的通道数逐级*2，尺寸逐级/2。卷积块内依次为卷积层、instance normalization层和leakyrelu层。在训练过程中，网络每次接收的输入为影像块和对应的重采样完整影像。编码器接收影像块，各级输出特征图分别由三维隐式表达重整模块进行处理，统一通道数为259，尺寸和编码器第一级输出特征图的尺寸相同，将该部分张量与全局编码分支的输出进行并联，并联后的张量经过分割头的处理输出分割预测。损失函数为分割预测和标签的交叉熵，并对端面体素的交叉熵损失进行额外加权。计算过程如下：
[0066]
l＝l
base
+λl
interface
[0067][0068]
其中，l是总损失。l
base
是基础损失，采用交叉熵损失形式进行计算，用于衡量模型预测和真实标签之间的一般性差异。l
interface
是专门设计用于关注端面的分割的损失项，λ是一个超参数，用于调节这两个损失项之间的权重，以便在训练过程中对腔道端面的分割给予更多的关注。s
interface
为端面体素集合，该集合包含了所有被标记为端面的体素。然后，对于其中的每一个体素pi，计算模型预测值和标签真值之间的交叉熵损失，并将其累加到l
interface
中。
[0069]
最后基于该损失函数值对层级分割网络进行反向传播和参数优化，该过程使用adam优化器进行参数优化。
[0070]
在该实验过程中，使用带鼻前庭标注数据共116幅头部ct，其中92幅作为训练集，24幅作为测试集。为直观展示本发明的效果，选取部分结果展示在图4中,其中a～c为本发明分割结果，d～f为标注真值。可以看出鼻前庭的分割结果和标签真值具有高度的一致性。本发明提出了一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，通过自编码器的自监督预训练充分利用大规模无标签数据，设计全局编码分支引入全图结构信息，并在层级分割网络中设计实现隐式表达重整模块，融合多尺度影响特征，有效提升网络对鼻腔复杂形状的表达能力，最终实现对鼻腔及鼻腔中各细分结构的精准快速分割。本发明可广泛应用于鼻科医学影像分析、疾病分析、手术规划等领域，具有重要的临床价值和市场潜力。

技术特征：
1.一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于，该方法具体步骤如下：步骤一、利用大批量无标签头部ct影像数据，对多层级结构分割网络的编码器部分进行基于自编码器的自监督预训练；步骤二、构建基于隐式神经表达的全局编码分支，并利用重采样无标签数据对其进行预训练；步骤三、利用预训练编码器参数的优良初始化和全局编码分支的辅助，构建基于隐式神经表达的多层级鼻腔分割网络并完成鼻腔影像的分割。2.根据权利要求1所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤一中，针对层级分割网络构建多层编码器结构，使用大批量无标签头部ct影像数据集，利用自编码器的理念对该编码器补充一个仅用于预训练过程的解码器；在自编码器学习框架下，将影像复原作为预训练过程的训练任务，训练完成后的编码器参数作为正式监督训练过程中编码器的初始化参数；除影像复原之外，旋转角预测、颜色预测、噪声去除和超分辨率均被设置为预训练任务类型。3.根据权利要求1或2所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤一中，构建自编码器学习框架；该框架包括一个编码器和一个解码器；输入为一个影像块，该影像块首先通过编码器处理得到影像块信息的潜在变量，然后解码器将该潜在变量作为输入以复原出重建影像块；框架的输出为原始影像块和重建影像块之间的自编码器损失函数值，由重建损失和正则化损失组成。4.根据权利要求3所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤一中，对用于自监督预训练的无标签影像进行随机裁剪，得到一个影像块，经过随机镜像和旋转增强后作为输入样本；然后，按照自编码器学习框架对分割网络编码器进行预训练；具体训练过程是：原始影像块经过编码器-解码器结构后，得到重建影像块；使用原始影像块和重建影像块计算得到自编码器损失函数值；基于该损失函数值对自编码器学习框架中的分割网络编码器进行反向传播和参数优化。5.根据权利要求1所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤二中，对无标签影像数据进行重采样和二值化处理；首先，将所有无标签的头部ct影像数据进行重采样，使所有影像的分辨率统一；然后对重采样后的影像进行二值化处理；二值化处理是将原有的灰度影像转化为二值影像的过程；在这个过程中，将所有体素分为两类：空气和人体组织；具体来说，选择一个阈值，然后将灰度值低于阈值的体素标记为空气，将灰度值高于阈值的体素标记为人体组织。6.根据权利要求5所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤二中，构建隐式神经表达学习框架；该框架包含一个深度卷积编码器和一个深度卷积解码器；编码器的任务是将输入的三维影像编码为一个隐式表示，该隐式表示包含输入影像的全局信息；解码器的任务是接收隐式表示和任意一个三维影像的体素坐标作为输入，并输出该坐标处体素属于人体组织的概率；编码器和解码器的结构采用深度卷积神经网络，处理三维数据。7.根据权利要求6所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤二中，隐式神经表达学习框架预训练；将二值化三维影像输入到编
码器中，编码器将三维影像编码为一个隐式表示，然后利用解码器进行自监督训练；具体为：将隐式表示和三维影像中的每一个体素的坐标输入到解码器中，解码器输出该体素坐标处的占据概率；计算解码器的输出和原始二值化三维影像在该体素坐标处的值之间的损失，以此损失对编码器和解码器进行优化；该框架预训练完成后，其编码器部分作为层级分割网络的全局编码分支，接入分割网络，将完整重采样三维影像进行编码以获取全局信息的隐式表达。8.根据权利要求1所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤三中，对分割标签中的端面体素进行额外标注；具体做法是：首先，提取鼻腔的外表面体素集s
ext
；使用阈值二值化将头部ct分为头部组织和背景空气两类，头部组织体素值为1，背景空气体素值为0，该二值图以i
bin
表示；在ct相对应的标签图i
label
中，以p
n
表示鼻腔所对应的所有体素；分别对p
n
中包含的每一个体素p进行判断，如果p的八邻域在二值图i
bin
中存在值为0的体素，则认为体素p属于外表面s
ext
；然后对s
ext
中包含的每一个体素p的八邻域进行判断，如果其八邻域在二值图i
bin
中存在值为1的体素，则认为该体素属于鼻腔侧壁，否则认为该体素属于分界端面，并对该体素位置进行额外标注。9.根据权利要求8所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤三中，构建三维隐式表达重整模块；将这些特征图视为对影像块的隐式表达，该模块具体工作过程为：首先，将输入特征图各点坐标和目标尺寸各点坐标进行归一化，并根据目标尺寸创建采样网格；然后，根据采样网格中每点的坐标对输入特征图进行最近邻采样，同时记录采样网格坐标和特征图中最近邻被采样点的相对距离；对每个点的相对距离进行编码并附加在对应的采样值后，即为重整后的隐式表达输出。10.根据权利要求9所述的一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，其特征在于：在步骤三中，基于隐式神经表达的理念构建多层级鼻腔分割网络；分割网络的编码器部分采用层级架构，多层卷积编码器用于在不同的抽象等级和感受野范围下尽可能地挖掘和提取图像所含有效特征信息；随着分割网络的编码器层级加深，其输出的特征图通道数增加而形状变小，卷积层的感受野随之增大，所表示的特征抽象等级提高；编码器的每一级分别由两个串联卷积块构成，每个卷积块内依次为卷积层、归一化层和激活函数层；编码器的各级输出特征图分别由三维隐式表达重整模块进行处理，统一为通道数和形状相当的张量，将该部分张量与全局编码分支输出的表示全图信息的张量进行并联，并联后的张量经过分割头的处理输出分割预测。

技术总结
本发明提出一种基于全局信息导引和隐式表达重整的鼻腔图像分割方法，该方法具体步骤如下：步骤一、利用大批量无标签头部CT影像数据，对多层级结构分割网络的编码器部分进行基于自编码器的自监督预训练；步骤二、构建基于隐式神经表达的全局编码分支，并利用重采样无标签数据对其进行预训练；步骤三、利用预训练编码器参数的优良初始化和全局编码分支的辅助，构建基于隐式神经表达的多层级鼻腔分割网络并完成鼻腔影像的分割。本发明成功解决现有技术在鼻腔影像分割的数据和方法方面所所面临的问题，实现了鼻腔精准分割，并且在鼻科临床领域具有广阔的应用前景。床领域具有广阔的应用前景。床领域具有广阔的应用前景。


技术研发人员：白相志 卢毅
受保护的技术使用者：北京航空航天大学
技术研发日：2023.06.28
技术公布日：2023/10/15