基于乳腺超声图像的乳腺结节三维重建方法、设备及介质与流程

1.本发明涉及医学图像处理技术领域，具体涉及一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质。


背景技术：

2.乳腺癌是全球女性最常见的癌症之一。外科手术是乳腺癌的主要治疗手段。近百年来，随着基础理论研究和治疗观念的更新，乳腺癌手术的发展从根治术、改良根治术到乳房切除术，再到保乳手术，逐渐形成了以肿瘤治愈与生活质量兼顾的个体化综合治疗模式，可使患者生理、心理、生存受益最大化。
3.术前准确测量乳腺肿瘤大小是选择适宜手术方式、制定个性化治疗方案、评估预后的首要环节和重要依据。根据美国癌症联合委员会的癌症分期手册(tnm分期)，肿瘤t分期是基于浸润癌的大小。目前主要采用术前评估和术后病理测量的方法来进行肿瘤大小测量，术后病理测量是最准确的方式，但是存在严重滞后性；影像学检查是术前评估乳腺肿块的重要方法，但现实情况是，浸润性肿瘤的最大尺寸可能出现在斜平面上，仅通过二维平面成像，即便是通过高分辨率、容量的乳腺成像方式，仍无法获得精准的测量结果，而目前的三维重建方式多还是通过医生阅片后通过人工方式进行重建，因此目前的乳腺结节图像三维重建方式效率较低。


技术实现要素：

4.本发明的目的是提供一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质，通过对乳腺超声图像中呈现的乳腺结节影像部分的精准分割，提高结节图像识别的准确率，再进行乳腺结节图像的三维重建，提高乳腺结节图像三维重建效率。
5.为实现上述目的，本发明提供了如下的技术方案：
6.第一方面，本发明提供一种基于乳腺超声图像的乳腺结节三维重建方法，包括如下步骤：
7.s1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征；
8.s2.基于步骤s1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征；
9.s3.基于步骤s1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果；
10.s4.基于步骤s2和步骤s3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像；
11.s5.基于步骤s4，基于sgbm立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建。
12.优选的，卷积模块使用resnet50网络作为分割网络的主干网络，用于提取不同尺度下的图像特征，分割层使用unet网络实现结节分割。
13.优选的，步骤s1至步骤s4的分割网络中，损失函数为diceloss与bceloss结合使用，用于在训练分割网络时，指导分割网络的参数如何调整和调优，以优化与改善分割网络的性能，提升分类网络训练的稳定性。
14.进一步的，步骤s5的具体方法为：将分割结果图像分割为固定大小区域，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动。
15.优选的，为了提高距离估计的准确性，与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法，相邻帧图像位移较小且每个区域位移存在相关性，计算运动中每个区域的位移曲线并相互比较校正。
16.进一步的，自适应曲线校正的具体步骤为：
17.s61.分别计算每个区域沿x轴和y轴方向的sgbm曲线；
18.s62.基于步骤s61，将x轴和y轴方向的sgbm曲线分别与预先基于散斑标定的标准sgbm曲线进行比较，分别计算得出x轴和y轴方向的相干系数；
19.s63.基于步骤s62，调整x轴和y轴方向的相干系数，再分别对x轴和y轴方向的相干系数重新采样，对重新采样后的x轴和y轴方向的相干系数进行平均并将平均后的相干系数作为z轴方向的相干系数；
20.s64.基于步骤s63，通过z轴方向的相干系数和预先基于散斑标定的标准sgbm曲线得出z轴方向的sgbm曲线。
21.第二方面，本发明提供了一种乳腺结节三维重建系统，用于实现如第一方面所述的乳腺结节三维重建方法，包括：
22.卷积模块，用于提取不同尺度下的图像特征；
23.注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征；
24.分割模块，用于根据不同尺度下的图像特征获取对应的分割结果；
25.图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像；
26.损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性；
27.三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。
28.第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如第一方面中任一项所述的步骤。
29.第四方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一项所述的步骤。
30.本发明的有益效果是：
31.1)将多尺度注意力机制引入乳腺结节分割网络中，多尺度注意力神经网络可以从不同视野对图像进行特征提取，并将不同视野下的特征进行融合优化，从而使检测识别结
果更加准确，提高对微小结节的识别准确率。
32.2)基于sgbm立体匹配算法进行乳腺结节三维重建，实现对帧间运动的精准估计，提高三维重建的效率和精细度，且是利用各帧图像间的特征关系进行匹配，不需要任何跟踪设备即可进行超声三维重建。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1是本发明总体框架示意图；
35.图2是图1中结节分割网络示意图；
36.图3是图1中三维重建网络示意图；
37.图4是自适应曲线校正示意图；
38.图5是图1中三维重建可视化示意图。
具体实施方式
39.实施例1
40.如图1-5所示，本发明提供一种基于乳腺超声图像的乳腺结节三维重建方法，包括如下步骤，如图2所示：
41.s1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征，在一个实施例中，卷积模块使用resnet50网络作为分割网络的主干网络，不同尺度图像数量和尺度无具体限制，在一个实施例中，不同尺度图像为三个不同尺度，三个尺度分别为1、0.8和0.6。
42.s2.基于步骤s1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征。
43.s3.基于步骤s1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果，在一个实施例中，分割层使用unet网络实现结节分割。
44.s4.基于步骤s2和步骤s3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像。
45.s5.如图3所示，基于步骤s4，基于sgbm立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建；
46.具体方法为：将分割结果图像分割为固定大小区域，在一个实施例中，分割区域大小为16*16，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动；为了提高距离估计的准确性，与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法，相邻帧图像位移较小且每个区域位移存在相关性，计算运动中每个区域的位移曲线并相互比较校正。
47.其中，如图4所示，自适应曲线校正的具体步骤为：
48.s61.分别计算每个区域沿x轴和y轴方向的sgbm曲线；
49.s62.基于步骤s61，将x轴和y轴方向的sgbm曲线分别与预先基于散斑标定的标准sgbm曲线进行比较，分别计算得出x轴和y轴方向的相干系数；
50.s63.基于步骤s62，调整x轴和y轴方向的相干系数，再分别对x轴和y轴方向的相干系数重新采样，对重新采样后的x轴和y轴方向的相干系数进行平均并将平均后的相干系数作为z轴方向的相干系数；
51.s64.基于步骤s63，通过z轴方向的相干系数和预先基于散斑标定的标准sgbm曲线得出当前帧z轴方向的sgbm曲线。
52.在自适应曲线校正方法中，两个相邻帧可以表示为ai和bi，其中i是像素索引。对于相关区域，两幅图像可以表示为ai+eb和bi+ea，e是从0到1的相干系数，当e为0时表示没有相干性。
[0053][0054]
其中，ex(step)为x轴方向相干系数，ρx
current
(step)为当前x轴方向sgbm曲线，ρx
standard
(step)为预先基于散斑标定的标准sgbm曲线；
[0055]
然后同理计算y方向相干系数ey，对ex和ey进行重采样时重采样比例分别为及其中，hm为在其方向上sgbm曲线最大值处的偏移距离。
[0056]
步骤s1至步骤s4的分割网络中，损失函数可以为交叉熵损失函数、ms-ssim loss、focaltversky_loss等，在一个实施例中，损失函数为diceloss与bceloss结合使用，用于在训练分割网络时，指导分割网络的参数如何调整和调优，以优化与改善分割网络的性能，更好地提升分类网络训练的稳定性。
[0057]
在本实施例中，通过本实施例1的乳腺结节乳腺结节三维重建方法，可读取乳腺超声检查的dicom图像tag信息，获取图像x、y、z方向上的尺度信息，基于重建的三维结节图像，可以计算结节的体积、面积、三维超声造影最长径，可用于精准预测肿瘤t分期。
[0058]
在一个实施例中，步骤s2和步骤s3无先后顺序之分。
[0059]
实施例2
[0060]
本发明提供了一种乳腺结节三维重建系统，用于实现如实施例1所述的乳腺结节三维重建方法，包括：
[0061]
卷积模块，用于提取不同尺度下的图像特征。
[0062]
注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征。
[0063]
分割模块，用于根据不同尺度下的图像特征获取对应的分割结果。
[0064]
图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像。
[0065]
损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性。
[0066]
三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。
[0067]
实施例3
[0068]
本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如实施例1中任一项所述的步骤。
[0069]
实施例4
[0070]
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中任一项所述的步骤。
[0071]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0072]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于，包括如下步骤：s1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征；s2.基于步骤s1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征；s3.基于步骤s1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果；s4.基于步骤s2和步骤s3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像；s5.基于步骤s4，基于sgbm立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建。2.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：卷积模块使用resnet50网络作为分割网络的主干网络，分割层使用unet网络实现结节分割。3.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：步骤s1至步骤s4的分割网络中，损失函数为diceloss与bceloss结合使用。4.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：步骤s5的具体方法为：将分割结果图像分割为固定大小区域，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动。5.根据权利要求4所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法。6.根据权利要求5所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：自适应曲线校正的具体步骤为：s61.分别计算每个区域沿x轴和y轴方向的sgbm曲线；s62.基于步骤s61，将x轴和y轴方向的sgbm曲线分别与预先基于散斑标定的标准sgbm曲线进行比较，分别计算得出x轴和y轴方向的相干系数；s63.基于步骤s62，调整x轴和y轴方向的相干系数，再分别对x轴和y轴方向的相干系数重新采样，对重新采样后的x轴和y轴方向的相干系数进行平均并将平均后的相干系数作为z轴方向的相干系数；s64.基于步骤s63，通过z轴方向的相干系数和预先基于散斑标定的标准sgbm曲线得出z轴方向的sgbm曲线。7.一种乳腺结节三维重建系统，用于实现如权利要求1-6所述的乳腺结节三维重建方法，其特征在于，包括：卷积模块，用于提取不同尺度下的图像特征；注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征；分割模块，用于根据不同尺度下的图像特征获取对应的分割结果；图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得
到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像；损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性；三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。8.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-6中任一项所述的乳腺结节三维重建方法。9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一项所述的乳腺结节三维重建方法。

技术总结
本发明涉及医学图像处理技术领域，具体涉及一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质，包括如下步骤：根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块中，提取不同尺度图像特征；将不同尺度的图像特征送入注意力机制模型中得到对应的新的特征；将不同尺度的图像特征分别送入对应的分割层，得到对应的分割结果；将对应的新的特征与对应的分割结果分别点乘得到点乘结果并融合为最终的分割结果图像；基于SGBM立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建，本发明可以提高结节识别的准确率和乳腺结节三维重建效率。效率。效率。


技术研发人员：曹旭 石一磊
受保护的技术使用者：脉得智能科技（无锡）有限公司
技术研发日：2023.03.31
技术公布日：2023/7/12