基于融合注意力的病灶区域确定方法、装置、存储介质

1.本技术涉及但不限于图像处理技术领域，尤其涉及一种基于融合注意力的病灶区域确定方法、装置、存储介质。


背景技术：

2.现阶段，放射治疗是治疗鼻咽癌的主要方法。通过获取ct或mri图像等医学图像，并对医学图像进行准确分割鼻咽癌原发灶，能够很好地辅助放射治疗，为放射治疗提供有效的数据基础。但目前，该任务通常由经验丰富的放射科医师通过逐片手工标注的方式来完成，该方式不仅繁琐、耗时耗力，而且还面临着因操作人员自身经验和专业水平的差异，难以保证病灶区域的准确性。


技术实现要素：

3.本技术实施例提供了一种基于融合注意力的病灶区域确定方法、装置、存储介质，能够有效提高病灶区域的检测精度。
4.第一方面，本技术实施例提供了一种基于融合注意力的病灶区域确定方法，包括：
5.获取鼻咽区域图像；
6.将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；
7.将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；
8.对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；
9.获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；
10.将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。
11.在一些实施例中，所述卷积模块包括卷积层、第一bn层和第一激活函数层；所述将所述鼻咽区域图像依次输入至所述第一卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像，包括：
12.将所述鼻咽区域图像输入至所述第一卷积层进行卷积处理，得到第一中间图像；
13.将所述第一中间图像输入至所述第一bn层进行图像归一化处理，得到第二中间图像；
14.将所述第二中间图像输入至所述第一激活函数层进行非线性变换处理，得到第三中间图像；
15.将所述第三中间图像输入至所述fa注意力模块进行特征提取，得到所述第一特征图像。
16.在一些实施例中，所述将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像，包括：
17.将所述将下采样后的第一特征图像进行图像划分处理，得到预设数量的第一图像子集，各个所述第一图像子集的图像尺寸相等；
18.依次从各个所述图像子集中获取目标像素点，根据全部的目标像素点构造第二图像子集；
19.根据所述第二图像子集和预设的自注意力算法计算第一稀疏关联矩阵；
20.根据所述第一图像子集和所述自注意力算法计算第二稀疏关联矩阵；
21.根据所述第一稀疏关联矩阵和所述第二稀疏关联矩阵得到所述第二特征图像。
22.在一些实施例中，所述解码器包括上采样模块，所述上采样模块包括反卷积层、第二bn化层和第二激活函数层，所述将所述第二特征图像输入至所述解码器进行解码操作，包括：
23.将所述第二特征图像输入至所述反卷积层进行卷积处理，得到第四中间图像；
24.将所述第四中间图像输入至所述第二bn层进行图像归一化处理，得到第五中间图像；
25.将所述第五中间图像输入至所述第二激活函数层进行非线性变换处理，得到所述解码后的第二特征图像。
26.在一些实施例中，所述fa注意力模块包括通道注意映射模块和空间注意映射模块，所述将所述第三中间图像输入至所述fa注意力模块进行特征提取，得到所述第一特征图像，根据以下公式得到：
[0027][0028]
其中，f
′
为所述第一特征图像，f∈rc×h×w为所述第三中间图像，m(f)为所述fa注意力模块，的表达式为：
[0029]
m(f)＝sigmoid(mc(f)+ms(f))；
[0030]
其中，m c
(f)为所述通道注意映射模块，m s
(f)为所述空间注意映射模块。
[0031]
在一些实施例中，在所述将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型之前，所述方法还包括：
[0032]
根据预设规则对所述鼻咽区域图像进行图像预处理，得到预处理后的目标鼻咽区域图像。
[0033]
在一些实施例中，所述鼻咽区域图像为ct图像，所述根据预设规则对所述鼻咽区域图像进行图像预处理，得到预处理后的目标鼻咽区域图像，包括：
[0034]
确定所述鼻咽区域图像的hu值，将所述hu值截断至预设范围内，得到中间鼻咽区域图像；
[0035]
对所述中间鼻咽区域图像进行归一化处理，得到所述目标鼻咽区域图像。
[0036]
第二方面，本技术实施例提供了一种基于融合注意力的病灶区域确定装置，包括：
[0037]
图像获取模块，所述图像获取模块用于获取鼻咽区域图像；
[0038]
第一图像处理模块，所述第一图像处理模块用于将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；
[0039]
第二图像处理模块，所述第二图像处理模块用于将所述新的鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；
[0040]
第三图像处理模块，所述第三图像处理模块用于对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；
[0041]
第四图像处理模块，所述第四图像处理模块用于获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；
[0042]
病灶区域分割结果确定模块，所述病灶区域分割结果确定模块用于将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。
[0043]
第三方面，本技术实施例提供了一种基于融合注意力的病灶区域确定装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于融合注意力的病灶区域确定方法。
[0044]
第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于融合注意力的病灶区域确定方法。
[0045]
本技术实施例提供了一种基于融合注意力的病灶区域确定方法、装置、存储介质，方法包括：获取鼻咽区域图像；将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。本技术实施例能够基于融合注意力网络模型对鼻咽区域图像进行特征提取以及分割鼻咽病灶区域，相较于相关技术中通过医师人工判断划分鼻咽病灶区域的方法，本技术实施例的技术方案能够有效提高病灶区域的检测精度。
附图说明
[0046]
图1是本技术一个实施例提供的基于融合注意力的病灶区域确定方法的步骤流程图；
[0047]
图2是本技术另一个实施例提供的得到第一特征图像的步骤流程图；
[0048]
图3是本技术另一个实施例提供的得到第二特征图像的步骤流程图；
[0049]
图4是本技术另一个实施例提供的将第二特征图像输入至解码器进行解码操作的步骤流程图；
[0050]
图5是本技术另一个实施例提供的对鼻咽区域图像进行图像预处理的步骤流程图；
[0051]
图6是本技术另一个实施例提供的对鼻咽区域图像进行图像预处理的步骤流程图；
[0052]
图7是本技术另一个实施例提供的fa注意力模块的示意图；
[0053]
图8是本技术另一个实施例提供的基于融合注意力的病灶区域确定装置的模块示意图；
[0054]
图9是本技术另一个实施例提供的基于融合注意力的病灶区域确定装置的结构图。
具体实施方式
[0055]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0056]
可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0057]
现阶段，放射治疗是治疗鼻咽癌的主要方法。通过获取ct或mri图像等医学图像，并对医学图像进行准确分割鼻咽癌原发灶，能够很好地辅助放射治疗，为放射治疗提供有效的数据基础。但目前，该任务通常由经验丰富的放射科医师通过逐片手工标注的方式来完成，该方式不仅繁琐、耗时耗力，而且还面临着因操作人员自身经验和专业水平的差异，难以保证病灶区域的准确性。
[0058]
为解决上述存在的问题，本技术实施例提供了一种基于融合注意力的病灶区域确定方法、装置、存储介质，方法包括：获取鼻咽区域图像；将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。本技术实施例能够基于融合注意力网络模型对鼻咽区域图像进行特征提取以及分割鼻咽病灶区域，相较于相关技术中通过医师人工判断划分鼻咽病灶区域的方法，本技术实施例的技术方案能够有效提高病
灶区域的检测精度。
[0059]
下面结合附图，对本技术实施例作进一步阐述。
[0060]
如图1所示，图1是本技术一个实施例提供的基于融合注意力的病灶区域确定方法的步骤流程图，本技术实施例提供了一种基于融合注意力的病灶区域确定方法，包括但不限于有以下步骤：
[0061]
步骤s110，获取鼻咽区域图像；
[0062]
步骤s120，将鼻咽区域图像输入至预先训练好的融合注意力网络模型，融合注意力网络模型包括编码器和解码器，编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；
[0063]
步骤s130，将鼻咽区域图像依次输入至卷积模块和fa注意力模块进行特征提取，得到第一特征图像；
[0064]
步骤s140，对第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；
[0065]
步骤s150，获取第三特征图像，对第二特征图像和第三特征图像进行融合计算，得到注意力门系数矩阵，第三特征图像为参考网络层的上一层网络层输出的特征图像，参考网络层为输出第二特征图像对应的网络层；
[0066]
步骤s160，将第二特征图像输入至解码器进行解码操作，并将解码后的第二特征图像与注意力门系数矩阵进行融合计算，确定病灶区域分割结果。
[0067]
可以理解的是，本实施例提供的病灶区域确定方法包括：获取鼻咽区域图像；将鼻咽区域图像输入至预先训练好的融合注意力网络模型，融合注意力网络模型包括编码器和解码器，编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；将鼻咽区域图像依次输入至卷积模块和fa注意力模块进行特征提取，得到第一特征图像，通过fa注意力模块能够捕捉小目标的鼻咽病灶区域的位置和空间信息；对第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至3d交错稀疏自注意力模块进行图像处理，得到第二特征图像，能够为进一步优化病灶区域的整体分割效果提供有效的数据基础；获取第三特征图像，对第二特征图像和第三特征图像进行融合计算，得到注意力门系数矩阵，实现融合低层和高层语义信息，对低级语义信息做进一步补偿，进一步改善基于特征图像的边缘分割效果，其中，第三特征图像为参考网络层的上一层网络层输出的特征图像，参考网络层为输出第二特征图像对应的网络层；将第二特征图像输入至解码器进行解码操作，并将解码后的第二特征图像与注意力门系数矩阵进行融合计算，确定病灶区域分割结果。本技术基于融合注意力网络模型对鼻咽区域图像进行特征提取以及分割鼻咽病灶区域，相较于相关技术中通过医师人工判断划分鼻咽病灶区域的方法，本技术实施例的技术方案能够有效提高病灶区域的检测精度。
[0068]
需要说明的是，本技术实施例并不限制融合注意力网络模型的具体架构，可以是unet网络模型，本领域技术人员根据实际需求确定即可。
[0069]
需要说明的是，本技术实施例并不限制具体的鼻咽区域图像的图像格式以及数量，可以包括69例目标对象的鼻咽区域图像数据，每张图像的分辨率可以是1mm
×
1mm，图像尺寸可以是512
×
512，每张图像的平面切片之间的距离为3mm，不同的目标对象对应的平面切片的数量的数值范围为[103，152]。
[0070]
需要说明的是，本技术实施例并不限制对第一特征图像进行下采样的具体次数，以及下采样的具体操作，下采样操作可以是：通过1*2*2的最大池化层将第一特征图像的尺寸缩小为原图尺寸的一半，将池化处理后的第一特征图像输入至预设的fa注意力模块进行特征提取，得到第四特征图像，重复3次下采样操作，将第四特征图像依次输入至上述实施例的卷积模块、1*2*2的最大池化层和fa注意力模块进行图像处理，从而得到下采样后的第一特征图像。
[0071]
另外，参照图2，在一些实施例中，卷积模块包括卷积层、第一bn层和第一激活函数层，图1步骤s130包括但不限于有以下步骤：
[0072]
步骤s210，将鼻咽区域图像输入至第一卷积层进行卷积处理，得到第一中间图像；
[0073]
步骤s220，将第一中间图像输入至第一bn层进行图像归一化处理，得到第二中间图像；
[0074]
步骤s230，将第二中间图像输入至第一激活函数层进行非线性变换处理，得到第三中间图像；
[0075]
步骤s240，将第三中间图像输入至fa注意力模块进行特征提取，得到第一特征图像。需要说明的是，本技术实施例并不限制卷积模块中的卷积层的参数，可以是1*3*3的卷积层，并且不限制第一激活函数层的具体结构，第一激活函数层可以是leaky relu激活函数层。
[0076]
需要说明的是，参考图7，本技术实施例的fa注意力模块包括通道注意映射模块和空间注意映射模块，将第三中间图像输入至fa注意力模块进行特征提取，得到第一特征图像，根据以下公式得到：
[0077][0078]
其中，f
′
为第一特征图像，f∈rc×h×w为第三中间图像，m(f)为fa注意力模块，的表达式为：
[0079]
m(f)＝sigmoid(mc(f)+ms(f))；
[0080]
其中，m c
(f)为通道注意映射模块，m s
(f)为空间注意映射模块。
[0081]
可以理解的是，在通道注意映射模块中，为解决全局池化造成的位置信息丢失，我们将第三中间图像基于通道注意分解为三个平行的一维特征，通过编码过程将空间坐标信息整合到通道注意力的特征向量中。首先利用x、y、z这3个方向的全局平均池化和全局最大池化，分别将3个方向上的输入特征聚合为3个独立的方向感知特征映射，将输入特征图的位置信息嵌入到通道注意力的聚合特征向量，接着，这3个嵌入方向特定信息的特征图被分别编码到3个注意图中，每个注意图捕获输入特征图沿一个空间方向的长期依赖关系，然后通过逐元素相乘将这3种注意图应用于输入特征图，加强感兴趣区域的表示。其中，m c
(f)的表达式如下：
[0082]
mc(f)＝x1′×
y1′×
z1′
；
[0083]
其中，x1′
,y1′
,z1′
＝sigmoid(c1dk(x1,y1,z1))，x1,y1,z1分别为第三中间图像基于通道注意分解的三个平行的一维特征，c1dk是卷积核为k的一维卷积，k的取值为3。
[0084]
需要说明的是，在空间注意映射模块中，本实施例利用特征间的空间信息生成空间注意映射。空间注意是侧重相关信息“在哪里”，与通道注意是相互补充，为了计算空间注
意力权值，首先，将特征f∈rc×d×h×w降维投影到r
c/r
×d×h×w,该过程使用1
×1×
1卷积整合和压缩跨通道维度的特征映射。然后，为了扩大感受野，更有效的构造空间注意力图，应用两个3
×3×
3膨胀卷积来有效地利用上下文信息。最后,利用1
×1×
1卷积将特征再次简化为r1×d×h×w的空间注意力图。相关计算如下：
[0085][0086]
其中，f为卷积运算，bn为批归一化，f的上标为卷积核大小，两个1
×1×
1卷积用于通道降维，中间的3
×3×
3膨胀卷积用于聚合具有更大感受野的上下文信息。
[0087]
另外，执行将下采样后的第一特征图像输入至3d交错稀疏自注意力模块进行图像处理的步骤之前，本技术实施例提供给的方法还包括：将下采样后的第一特征图像输入至fa注意力模块进行图像处理，得到第五特征图像，进一步使得下采样后的第一特征图像专注于学习小目标区域，再将第五特征图像两次输入至新的卷积模块进行特征提取，其中，该新的卷积模块由3*3*3的卷积层、第一bn层和leaky relu激活函数层组成。
[0088]
可以理解的是，将鼻咽区域图像输入至第一卷积层进行卷积处理，得到第一中间图像，将第一中间图像输入至第一bn层进行图像归一化处理，得到第二中间图像，将第二中间图像输入至第一激活函数层进行非线性变换处理，得到第三中间图像，将第三中间图像输入至fa注意力模块进行特征提取，得到第一特征图像，能够为确定第二特征图像提供有效的数据基础。
[0089]
另外，参照图3，在一些实施例中，图1步骤s140包括但不限于有以下步骤：3d交错稀疏自注意力模块
[0090]
步骤s310，将下采样后的第一特征图像进行图像划分处理，得到预设数量的第一图像子集，各个第一图像子集的图像尺寸相等；
[0091]
步骤s320，依次从各个图像子集中获取目标像素点，根据全部的目标像素点构造第二图像子集；
[0092]
步骤s330，根据第二图像子集和预设的自注意力算法计算第一稀疏关联矩阵；
[0093]
步骤s340，根据第一图像子集和自注意力算法计算第二稀疏关联矩阵；
[0094]
步骤s350，根据第一稀疏关联矩阵和第二稀疏关联矩阵得到第二特征图像。
[0095]
可以理解的是，为了降低自注意机制的计算代价，将稠密的关联矩阵因式分解为两个稀疏的关联矩阵的乘积。使用两个连续的注意力模块，第一个注意力模块用于估计具有长空间距离的位置子集内的相似度，第二个注意力模块用于估计具有短空间距离的位置子集内的相似度。通过长短距离模块的结合，我们能够将所有的输入位置信息传递到每个输出位置。在处理高分辨率特征图的情况下，与原始的自注意力模块相比，大大降低了计算复杂度。具体地，将下采样后的第一特征图像进行图像划分处理，得到预设数量的第一图像子集(假设为q个第一图像子集)，各个第一图像子集的图像尺寸相等，每个子集包含p个位置，即n＝p
×
q，n为输入图像的大小；对于长距离注意力任务，依次从各个图像子集中获取目标像素点，根据全部的目标像素点构造第二图像子集。每个第二图像子集的位置都具有很长的空间距离，对每个第二图像子集应用自注意力来计算第一稀疏关联矩阵al；对于短距离注意力任务，直接将自注意力应用到原始q个第一图像子集上，计算第二稀疏关联矩阵为as，结合这两种注意机制，根据第一稀疏关联矩阵和第二稀疏关联矩阵得到第二特征图
像，可以将信息从每个输入位置传播到所有输出位置。
[0096]
另外，参照图4，在一些实施例中，解码器包括上采样模块，上采样模块包括反卷积层、第二bn化层和第二激活函数层，图1步骤s150包括但不限于有以下步骤：
[0097]
步骤s410，将第二特征图像输入至反卷积层进行卷积处理，得到第四中间图像；
[0098]
步骤s420，将第四中间图像输入至第二bn层进行图像归一化处理，得到第五中间图像；
[0099]
步骤s430，将第五中间图像输入至第二激活函数层进行非线性变换处理，得到解码后的第二特征图像。
[0100]
需要说明的是，本技术实施例并不限制上采样模块的具体结构，反卷积层可以是尺寸为1*2*2的的卷积层以及第二激活函数层可以是leaky relu激活函数层。
[0101]
需要说明的是，本实施例中，将解码后的第二特征图像与注意力门系数矩阵进行融合计算，确定病灶区域分割结果的步骤包括：解码后的第二特征图像输入至fa注意力模块进行图像处理，得到fa注意力处理后的特征图像，再将fa注意力处理后的特征图像两次输入至由尺寸为1*3*3的卷积层、bn层和leaky relu激活函数层组成的卷积模块，进行卷积处理，得到新的特征图像，再将该新的特征图像与注意力门系数矩阵进行融合计算，最后经过1*3*3的卷积层与softmax函数层得到病灶区域分割结果。
[0102]
另外，参照图5，在一些实施例中，在执行图1所示实施例中的步骤s120之前，基于融合注意力的病灶区域确定方法还包括但不限于有以下步骤：
[0103]
步骤s510，根据预设规则对鼻咽区域图像进行图像预处理，得到预处理后的目标鼻咽区域图像。
[0104]
另外，参照图6，在一些实施例中，鼻咽区域图像为ct图像，图5步骤s510包括但不限于有以下步骤：
[0105]
步骤s610，确定鼻咽区域图像的hu值，将hu值截断至预设范围内，得到中间鼻咽区域图像；
[0106]
步骤s620，对中间鼻咽区域图像进行归一化处理，得到目标鼻咽区域图像。
[0107]
可以理解的是，在图像预处理阶段，首先将鼻咽区域图像的强度值截断到[-200,700]的hu值的范围内以增加目标区域的对比度，然后通过归一化处理将图像的hu值映射在[0，1]的范围，去除因奇异样本数据引起的不好影响，同时加快训练收敛速度。本技术实施例的图像预处理步骤可以根据以下公式得到：
[0108][0109]
其中，鼻咽区域图像当前的像素对应的hu值用x表示，最大值和最小值则分别使用x_max，x_min表示，归一化后的像素对应的hu值用x_norm表示。
[0110]
为了保持目标鼻咽区域图像具有的相同的分辨率，将所有的目标鼻咽区域图像在x、y、z方向上的像素间距均匀插值到1mm*1mm*3mm，目标鼻咽区域图像在x、y的方向上尺寸为512*512，这包含了大量的背景和仪器区域，一定程度上影响模型对于小目标分割的效果。所以，需要根据先验信息减小图像尺寸来除去一定的无效信息.为了更好地学习目标区域相关特征，并兼顾位置信息和生理结构信息。
[0111]
另外，参照图8，图8是本技术另一个实施例提供的基于融合注意力的病灶区域确
定装置，在一实施例中，本技术实施例提供了一种基于融合注意力的病灶区域确定装置800，包括：
[0112]
图像获取模块810，图像获取模块810用于获取鼻咽区域图像；
[0113]
第一图像处理模块820，第一图像处理模块820用于将鼻咽区域图像输入至预先训练好的融合注意力网络模型，融合注意力网络模型包括编码器和解码器，编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；
[0114]
第二图像处理模块830，第二图像处理模块830用于将鼻咽区域图像依次输入至卷积模块和fa注意力模块进行特征提取，得到第一特征图像；
[0115]
第三图像处理模块840，第三图像处理模块840用于对第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；
[0116]
第四图像处理模块850，第四图像处理模块850用于获取第三特征图像，对第二特征图像和第三特征图像进行融合计算，得到注意力门系数矩阵，第三特征图像为参考网络层的上一层网络层输出的特征图像，参考网络层为输出第二特征图像对应的网络层；
[0117]
病灶区域分割结果确定模块860，病灶区域分割结果确定模块860用于将第二特征图像输入至解码器进行解码操作，并将解码后的第二特征图像与注意力门系数矩阵进行融合计算，确定病灶区域分割结果。
[0118]
需要说明的是，基于融合注意力的病灶区域确定装置800的具体实施方式与上述基于融合注意力的病灶区域确定方法的具体实施例基本相同，在此不再赘述。
[0119]
另外，参考图9，图9是本技术另一个实施例提供的基于融合注意力的病灶区域确定装置的结构图，本技术的一个实施例还提供了一种基于融合注意力的病灶区域确定装置900，该基于融合注意力的病灶区域确定装置900包括：存储器910、处理器720及存储在存储器910上并可在处理器920上运行的计算机程序。
[0120]
处理器920和存储器910可以通过总线或者其他方式连接。
[0121]
实现上述实施例的基于融合注意力的病灶区域确定方法所需的非暂态软件程序以及指令存储在存储器910中，当被处理器920执行时，执行上述实施例中基于融合注意力的病灶区域确定方法，例如，执行以上描述的图1中的方法步骤s110至步骤s160、图2中的方法步骤s210至步骤s240、图3中的方法步骤s310至步骤s350、图4中的方法步骤s410至步骤s430、图5中的方法步骤s510和图6中的方法步骤s610至步骤s620。
[0122]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0123]
此外，本技术的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述基于融合注意力的病灶区域确定装置900实施例中的一个处理器920执行，可使得上述处理器920执行上述实施例中的基于融合注意力的病灶区域确定方法，例如，执行以上描述的图1中的方法步骤s110至步骤s160、图2中的方法步骤s210至步骤s240、图3中的方法步骤s310至步骤s350、图4中的方法步骤s410至步骤s430、图5中的方法步骤s510和图6中的方法步骤s610至步骤s620。本领域普通技术人员可以理解，上文中所公开方法中的全部或某
些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

技术特征：
1.一种基于融合注意力的病灶区域确定方法，其特征在于，包括：获取鼻咽区域图像；将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。2.根据权利要求1所述的基于融合注意力的病灶区域确定方法，其特征在于，所述卷积模块包括卷积层、第一bn层和第一激活函数层；所述将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像，包括：将所述鼻咽区域图像输入至所述第一卷积层进行卷积处理，得到第一中间图像；将所述第一中间图像输入至所述第一bn层进行图像归一化处理，得到第二中间图像；将所述第二中间图像输入至所述第一激活函数层进行非线性变换处理，得到第三中间图像；将所述第三中间图像输入至所述fa注意力模块进行特征提取，得到所述第一特征图像。3.根据权利要求1所述的基于融合注意力的病灶区域确定方法，其特征在于，所述将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像，包括：将所述将下采样后的第一特征图像进行图像划分处理，得到预设数量的第一图像子集，各个所述第一图像子集的图像尺寸相等；依次从各个所述图像子集中获取目标像素点，根据全部的目标像素点构造第二图像子集；根据所述第二图像子集和预设的自注意力算法计算第一稀疏关联矩阵；根据所述第一图像子集和所述自注意力算法计算第二稀疏关联矩阵；根据所述第一稀疏关联矩阵和所述第二稀疏关联矩阵得到所述第二特征图像。4.根据权利要求2所述的基于融合注意力的病灶区域确定方法，其特征在于，所述解码器包括上采样模块，所述上采样模块包括反卷积层、第二bn化层和第二激活函数层，所述将所述第二特征图像输入至所述解码器进行解码操作，包括：将所述第二特征图像输入至所述反卷积层进行卷积处理，得到第四中间图像；将所述第四中间图像输入至所述第二bn层进行图像归一化处理，得到第五中间图像；将所述第五中间图像输入至所述第二激活函数层进行非线性变换处理，得到所述解码
后的第二特征图像。5.根据权利要求2所述的基于融合注意力的病灶区域确定方法，其特征在于，所述fa注意力模块包括通道注意映射模块和空间注意映射模块，所述将所述第三中间图像输入至所述fa注意力模块进行特征提取，得到所述第一特征图像，根据以下公式得到：其中，f
′
为所述第一特征图像，f∈r
c
×
h
×
w
为所述第三中间图像，m(f)为所述fa注意力模块，的表达式为：m(f)＝sigmoid(m
c
(f)+m
s
(f))；其中，m c
(f)为所述通道注意映射模块，m s
(f)为所述空间注意映射模块。6.根据权利要求1所述的基于融合注意力的病灶区域确定方法，其特征在于，在所述将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型之前，所述方法还包括：根据预设规则对所述鼻咽区域图像进行图像预处理，得到预处理后的目标鼻咽区域图像。7.根据权利要求6所述的基于融合注意力的病灶区域确定方法，其特征在于，所述鼻咽区域图像为ct图像，所述根据预设规则对所述鼻咽区域图像进行图像预处理，得到预处理后的目标鼻咽区域图像，包括：确定所述鼻咽区域图像的hu值，将所述hu值截断至预设范围内，得到中间鼻咽区域图像；对所述中间鼻咽区域图像进行归一化处理，得到所述目标鼻咽区域图像。8.一种基于融合注意力的病灶区域确定装置，其特征在于，包括：图像获取模块，所述图像获取模块用于获取鼻咽区域图像；第一图像处理模块，所述第一图像处理模块用于将所述鼻咽区域图像输入至预先训练好的融合注意力网络模型，所述融合注意力网络模型包括编码器和解码器，所述编码器包括依次连接的卷积模块、fa注意力模块和3d交错稀疏自注意力模块；第二图像处理模块，所述第二图像处理模块用于将所述鼻咽区域图像依次输入至所述卷积模块和所述fa注意力模块进行特征提取，得到第一特征图像；第三图像处理模块，所述第三图像处理模块用于对所述第一特征图像进行下采样处理，并将下采样后的第一特征图像输入至所述3d交错稀疏自注意力模块进行图像处理，得到第二特征图像；第四图像处理模块，所述第四图像处理模块用于获取第三特征图像，对所述第二特征图像和所述第三特征图像进行融合计算，得到注意力门系数矩阵，所述第三特征图像为参考网络层的上一层网络层输出的特征图像，所述参考网络层为输出所述第二特征图像对应的网络层；病灶区域分割结果确定模块，所述病灶区域分割结果确定模块用于将所述第二特征图像输入至所述解码器进行解码操作，并将解码后的第二特征图像与所述注意力门系数矩阵进行融合计算，确定病灶区域分割结果。9.一种基于融合注意力的病灶区域确定装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于融合注意力的病灶区域确定方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于融合注意力的病灶区域确定方法。

技术总结
本申请公开一种基于融合注意力的病灶区域确定方法、装置、存储介质，方法包括：获取鼻咽区域图像；将鼻咽区域图像依次输入至卷积模块和FA注意力模块进行特征提取，得到第一特征图像；将下采样后的第一特征图像输入至3D交错稀疏自注意力模块，得到第二特征图像；融合第二特征图像和第三特征图像，得到注意力门系数矩阵，第三特征图像为第二特征图像对应的网络层的上一层输出的特征图像；融合解码后的第二特征图像与注意力门系数矩阵，确定病灶区域分割结果。本申请基于融合注意力网络模型对鼻咽区域图像进行特征提取以及分割鼻咽病灶区域，相比通过医师人工判断划分鼻咽病灶区域的方案，本申请技术方案能够有效提高病灶区域的检测精度。测精度。测精度。


技术研发人员：梁淑芬 解竞一 吴岑 肖林 张少东 王天 秦传波
受保护的技术使用者：五邑大学
技术研发日：2023.03.29
技术公布日：2023/7/12