一种基于深度学习的肝脏肿瘤放疗剂量预测方法

1.本发明属于智能放疗技术领域，具体涉及一种基于深度学习的肝脏肿瘤放疗剂量预测方法。


背景技术：

2.精准放疗精准度高、副作用小，是治疗肝癌的主要手段之一。精准放疗的内涵是精准定位、精准计划和精准实施，其中精准计划是精准放疗的核心。目前，临床上精准放疗计划主要是由物理师根据肿瘤的结构以及与危及器官的位置关系，通过设置射野数目、方向和大小以及目标区域的剂量约束，利用放射治疗系统优化得到满足临床要求的剂量分布。整个过程需要物理师反复调整，多次试错，费时费力，且优化得到的剂量分布严重依赖于物理师的知识水平和经验。
3.近年来，随着深度学习技术的发展，许多学者提出了大量的基于深度学习的剂量预测方法，这些方法可以从患者解剖信息中预测像素级的剂量分布，预测得到的剂量分布可以作为后续的约束目标以实现自动生成放疗计划参数。基于深度学习的剂量预测方法可以自动学习图像特征，避免了对人工特征的依赖，然而由于肝脏肿瘤形态复杂、位置多变，这些深度学习方法主要用于脑癌、前列腺癌、食管癌等的剂量预测，鲜有用于肝脏肿瘤的剂量预测。此外，这些方法通常将ct图像和危及器官及肿瘤轮廓作为输入，而这些输入无法提供射线穿透区域剂量信息和射野方向信息，导致预测得到的剂量分布不理想。


技术实现要素：

4.本发明充分考虑了现有方法存在的问题，其目的在于，提供一种基于深度学习的肝脏肿瘤放疗剂量预测方法。该方法通过特征提取模块和特征融合模块分别提取和融合ct图像、肿瘤及危及器官和射束信息的多尺度特征信息，并利用交互注意力模块突出关键特征信息，抑制不相关特征信息，提升肝脏肿瘤剂量预测的准确性，提高放疗计划设计的质量和效率。
5.本发明通过以下方案实现：
6.(1)建立包含原始ct序列图像、危及器官与肿瘤区域轮廓、射束信息图像和剂量分布图像的原始训练数据集a；
7.(2)构建基于特征融合和交互注意力的2d卷积网络，记作fa-net，具体包括：
8.(2-a)构建三个并行的卷积编码器，分别记作第一个编码器、第二个编码器和第三个编码器；每个卷积编码器都包括五个模块，第一个模块包含1个3
×
3卷积块，第二到第五个模块分别包含1个下采样层和1个3
×
3卷积块；将输入图像输入到卷积编码器，依次经历这五个模块，分别得到中间特征图f
1i
、f
2i
、f
3i
、f
4i
和f
5i
，作为特征融合模块的输入，其中i取值为a、b或c，分别表示第一个编码器，第二个编码器和第三个编码器；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；所述下采样层包括1个大小为2
×
2的最大池化操作；
9.(2-b)构建特征融合模块，该模块由五个特征融合层组成；每个特征融合层都包括1个拼接层、1个1
×
1卷积层和1个3
×
3卷积块；将三个卷积编码器中第一个模块的输出f
1a
、f
1b
和f
1c
输入到第一个特征融合层，依次经历拼接层、1
×
1卷积层和3
×
3卷积块，得到特征融合模块的第一个输出，记作f1；同理，将三个卷积编码器中的第二到第五模块的输出分别输入到第二到第五个特征融合层，得到特征融合模块的第二到第五个输出，分别记作f2、f3、f4和f5；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；
10.(2-c)构建基于交互注意力的解码器，该解码器由五个解码层组成；第一个解码层包括1个上采样层；第二到第四个解码层都包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个上采样层；第五个解码层包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个1
×
1卷积层；将特征融合模块的第五个输出f5输入到第一个解码层，得到中间特征图m1；将m1和特征融合模块的第四个输出f4输入到第二个解码层中的交互注意力模块，得到的中间特征图与m1拼接后再依次经历第二个解码层中的3
×
3卷积块和上采样层，得到中间特征图m2；同理，将m2和特征融合模块的第三个输出f3输入到第三个解码层，得到中间特征图m3；将m3和特征融合模块的第二个输出f2输入到第四个解码层，得到中间特征图m4；最后，将m4和特征融合模块的第一个输出f1输入到第五个解码层中的交互注意力模块，得到的中间特征图与m4拼接后再依次经历第五个解码层中的3
×
3卷积块和1
×
1卷积层，得到最终的预测结果p，完成剂量预测网络fa-net的构建；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；所述上采样层包括1个大小为2
×
2的反卷积操作；
11.(2-d)在步骤(2-c)所述的基于交互注意力的解码器中，交互注意力模块包括2个1
×
1卷积层、2个sigmoid激活层；交互注意力模块的输入包括上一个解码层的输出m
5-j
和特征融合模块的输出fj，j＝1，2，3，4；首先以fj为输入，依次经过第一个1
×
1卷积层和第一个sigmoid激活层，得到的结果与m
5-j
相乘，得到中间特征图sj；以m
5-j
为输入，依次经过第二个3
×
3卷积层和第二个sigmoid激活层，得到的结果与fj相乘，得到中间特征图rj；然后将sj与rj相加，得到交互注意力模块的输出aj。
12.(3)采用1-范数构建fa-net网络的损失函数l，如下式所示：
[0013][0014]
其中，y和分别表示临床剂量分布和预测得到的剂量分布；
[0015]
(4)采用训练数据集a对fa-net网络进行训练，直到l收敛；
[0016]
(5)运用训练好的网络模型对待测试的数据进行预测，得到剂量预测结果。
[0017]
本发明与现有技术相比，有以下优点：
[0018]
(1)本发明引入了射束信息，为预测网络提供有效的射野方向信息和射线穿透区域剂量信息，提升了模型预测精度。
[0019]
(2)本发明构建的多输入特征提取和特征融合模块，可以实现不同输入特征信息的多尺度提取和融合，增强了模型预测准确性。
[0020]
(3)本发明构建的交互注意力模块，以交互方式突出了多尺度融合特征和编码特征中的关键信息，抑制了不相关的背景信息，提高了模型对剂量预测的敏感性和准确性。
附图说明
[0021]
图1本发明实施方式的基于深度学习的肝脏肿瘤放疗剂量预测模型结构图
[0022]
图2本发明实施方式的特征融合模块结构图
[0023]
图3本发明实施方式的交互注意力模块结构图
[0024]
图4本发明实施方式的剂量预测结果
具体实施方式
[0025]
下面说明本发明具体实施方式：
[0026]
基于深度学习的肝脏肿瘤放疗剂量预测方法，具体实施步骤如下：
[0027]
(1)收集肝脏肿瘤精准放疗计划数据，形成包含原始ct序列图像、危及器官与肿瘤区域轮廓、射束信息图像和剂量分布图像的原始训练数据集a；
[0028]
(2)构建基于特征融合和交互注意力的2d卷积网络，记作fa-net，图1为本发明实施方式的fa-net网络结构示意图，具体构建过程包括：
[0029]
(2-a)构建三个并行的卷积编码器，分别记作第一个编码器、第二个编码器和第三个编码器；每个卷积编码器都包括五个模块，第一个模块包含1个3
×
3卷积块，第二到第五个模块分别包含1个下采样层和1个3
×
3卷积块；将输入图像输入到卷积编码器，依次经历这五个模块，分别得到中间特征图f
1i
、和作为特征融合模块的输入，其中i取值为a、b或c，分别表示第一个编码器，第二个编码器和第三个编码器；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；所述下采样层包括1个大小为2
×
2的最大池化操作；
[0030]
(2-b)构建特征融合模块，该模块由五个特征融合层组成，具体结构如图2所示；每个特征融合层都包括1个拼接层、1个1
×
1卷积层和1个3
×
3卷积块；将三个卷积编码器中第一个模块的输出f
1a
、f
1b
和f
1c
输入到第一个特征融合层，依次经历拼接层、1
×
1卷积层和3
×
3卷积块，得到特征融合模块的第一个输出，记作f1；同理，将三个卷积编码器中的第二到第五模块的输出分别输入到第二到第五个特征融合层，得到特征融合模块的第二到第五个输出，分别记作f2、f3、f4和f5；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；
[0031]
(2-c)构建基于交互注意力的解码器，该解码器由五个解码层组成；第一个解码层包括1个上采样层；第二到第四个解码层都包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个上采样层；第五个解码层包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个1
×
1卷积层；将特征融合模块的第五个输出f5输入到第一个解码层，得到中间特征图m1；将m1和特征融合模块的第四个输出f4输入到第二个解码层中的交互注意力模块，得到的中间特征图与m1拼接后再依次经历第二个解码层中的3
×
3卷积块和上采样层，得到中间特征图m2；同理，将m2和特征融合模块的第三个输出f3输入到第三个解码层，得到中间特征图m3；将m3和特征融合模块的第二个输出f2输入到第四个解码层，得到中间特征图m4；最后，将m4和特征融合模块的第一个输出f1输入到第五个解码层中的交互注意力模块，得到的中间特征图与m4拼接后再依次经历第五个解码层中的3
×
3卷积块和1
×
1卷积层，得到最终的预测结果p，完成剂量预测网络fa-net的构建；所述的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层；所述上采样层包括1个大小为2
[0032]
×
2的反卷积操作；
[0033]
(2-d)在步骤(2-c)所述的基于交互注意力的解码器中，交互注意力模块包括2个1
×
1卷积层、2个sigmoid激活层，具体结构如图3所示；
[0034]
交互注意力模块的输入包括上一个解码层的输出m
5-j
和特征融合模块的输出fj，j＝1，2，3，4；首先以fj为输入，依次经过第一个1
[0035]
×
1卷积层和第一个sigmoid激活层，得到的结果与m
5-j
相乘，得到中间特征图sj；以m
5-j
为输入，依次经过第二个3
×
3卷积层和第二个sigmoid激活层，得到的结果与fj相乘，得到中间特征图rj；然后将sj与rj相加，得到交互注意力模块的输出aj。
[0036]
(3)采用1-范数构建fa-net网络的损失函数l，如下式所示：
[0037][0038]
其中，y和分别表示临床剂量分布和预测得到的剂量分布；
[0039]
(4)利用深度学习pytorch框架，在配备一块nvidia geforce 3090gpu的环境中，采用训练数据集a对fa-net网络进行训练，直到l收敛；
[0040]
(5)运用训练好的网络模型对待测试的数据进行预测，得到剂量预测结果。
[0041]
图4为采用本实施例得到的实验结果示例，第一行为临床批准的剂量分布，第二行为本实施例预测得到的剂量分布，可以看到，本发明方法得到剂量预测结果比较接近临床批准的剂量分布。
[0042]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

技术特征：
1.一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其特征在于，包括以下步骤：(1)建立包含原始ct序列图像、危及器官与肿瘤区域轮廓、射束信息图像和剂量分布图像的原始训练数据集a；(2)构建基于特征融合和交互注意力的2d卷积网络，记作fa-net，具体包括：(2-a)构建三个并行的卷积编码器，分别记作第一个编码器、第二个编码器和第三个编码器；每个卷积编码器都包括五个模块，第一个模块包含1个3
×
3卷积块，第二到第五个模块分别包含1个下采样层和1个3
×
3卷积块；将输入图像输入到卷积编码器，依次经历这五个模块，分别得到中间特征图f
1i
、和作为特征融合模块的输入，其中i取值为a、b或c，分别表示第一个编码器，第二个编码器和第三个编码器；(2-b)构建特征融合模块，该模块由五个特征融合层组成；每个特征融合层都包括1个拼接层、1个1
×
1卷积层和1个3
×
3卷积块；将三个卷积编码器中第一个模块的输出f
1a
、f
1b
和f
1c
输入到第一个特征融合层，依次经历拼接层、1
×
1卷积层和3
×
3卷积块，得到特征融合模块的第一个输出，记作f1；同理，将三个卷积编码器中的第二到第五模块的输出分别输入到第二到第五个特征融合层，得到特征融合模块的第二到第五个输出，分别记作f2、f3、f4和f5；(2-c)构建基于交互注意力的解码器，该解码器由五个解码层组成；第一个解码层包括1个上采样层；第二到第四个解码层都包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个上采样层；第五个解码层包括1个交互注意力模块、1个拼接层、1个3
×
3卷积块和1个1
×
1卷积层；将特征融合模块的第五个输出f5输入到第一个解码层，得到中间特征图m1；将m1和特征融合模块的第四个输出f4输入到第二个解码层中的交互注意力模块，得到的中间特征图与m1拼接后再依次经历第二个解码层中的3
×
3卷积块和上采样层，得到中间特征图m2；同理，将m2和特征融合模块的第三个输出f3输入到第三个解码层，得到中间特征图m3；将m3和特征融合模块的第二个输出f2输入到第四个解码层，得到中间特征图m4；最后，将m4和特征融合模块的第一个输出f1输入到第五个解码层中的交互注意力模块，得到的中间特征图与m4拼接后再依次经历第五个解码层中的3
×
3卷积块和1
×
1卷积层，得到最终的预测结果p，完成剂量预测网络fa-net的构建；(3)采用1-范数构建fa-net网络的损失函数l，如下式所示：其中，y和分别表示临床剂量分布和预测得到的剂量分布，
·1表示1-范数；(4)采用训练数据集a对fa-net网络进行训练，直到l收敛；(5)运用训练好的网络模型对待测试的数据进行预测，得到剂量预测结果。2.如权利要求1所述的一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其特征在于，所述步骤(2-c)中的交互注意力模块，该模块的作用是突出特征图中的关键信息，抑制不相关的背景信息；该模块包括2个1
×
1卷积层、2个sigmoid激活层；交互注意力模块的输入包括上一个解码层的输出m
5-j
和特征融合模块的输出f
j
，j＝1，2，3，4；首先以f
j
为输入，依次经过第一个1
×
1卷积层和第一个sigmoid激活层，得到的结果与m
5-j
相乘，得到中间特征图s
j
；以m
5-j
为输入，依次经过第二个3
×
3卷积层和第二个sigmoid激活层，得到的结果与f
j
相乘，得到中间特征图r
j
；然后将s
j
与r
j
相加，得到交互注意力模块的输出a
j
。
3.如权利要求1所述的一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其特征在于，所述步骤(2-a)、(2-b)、(2-c)中的3
×
3卷积块包括1个大小为3
×
3的卷积层、1个批归一化层和1个激活层。4.如权利要求1所述的一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其特征在于，所述步骤(2-a)中的下采样层包括1个大小为2
×
2的最大池化操作。5.如权利要求1所述的一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其特征在于，所述步骤(2-c)中的上采样层包括1个大小为2
×
2的反卷积操作。

技术总结
本发明公开了一种基于深度学习的肝脏肿瘤放疗剂量预测方法，其实施方案为：1)收集精准放疗计划数据，包括CT图像、序列图像、危及器官与肿瘤区域轮廓、射束信息图像和剂量分布图像；2)构建基于特征融合和交互注意力的剂量预测模型；3)构建损失函数；4)训练剂量预测模型；5)剂量预测。本发明构建的肝脏肿瘤放疗剂量预测模型，通过引入射束信息获取病人的射野方向信息和射线穿透区域剂量信息，设计多输入特征提取和特征融合模块实现不同输入信息的多尺度融合，设计交互注意力模块突出多尺度特征中的关键信息，提升了模型预测的准确性，有助于提高精准放疗计划的设计质量和效率。提高精准放疗计划的设计质量和效率。提高精准放疗计划的设计质量和效率。


技术研发人员：廖苗 邸拴虎 梁伟 赵于前 杨振
受保护的技术使用者：湖南科技大学
技术研发日：2023.07.10
技术公布日：2023/10/15