一种超声图像分析方法

1.本发明涉及超声成像技术领域，为一种超声图像分析方法。


背景技术：

2.针对于甲状腺结节和癌症风险的关联性研究中，在过去的20年里，许多文献都阐述了甲状腺结节和癌症风险的相关性。目前其研究重点是定义超声影像的分类系统，每个分类系统代表一个特定成像特征的组合，如何选择特征组合成为诊断准确率的关键。基于人工智能的甲状腺超声诊断实现过程中，模型训练依赖数据的大小与质量，且获得的诊断结果缺少可解释性。
3.人工智能辅助超声诊断技术，不仅可以让超声影像变得更清晰，更重要的是运用人工智能，一方面解决生产力、提高效率，另一方面可对超声影像的结节特征作出诊断。
4.但在目前基于人工智能的甲状腺超声诊断技术仅是对结节区域定位与分类，缺少相应影像所见与分级报告，无法提供疾病治疗诊断建议，临床意义有限。


技术实现要素：

5.为了解决以上的技术问题，本技术提供超声图像分析方法，基于分级分类模型能使结果有可靠的分类，以及影像中所见结果，并且针对于分类模型能够在小样本中通过持续学习不断优化模型，在系统的使用过程中不断完善模型，为提供更好的诊断建议，奠定坚实基础。
6.为了达到上述目的，本技术实施例采用的技术方案如下：第一方面，提供一种超声图像分析方法，所述方法包括：获取通过对被测对象的甲状腺区域进行超声扫描得到的超声图像，检测所述超声图像中的结节良恶性分类结果，并对所述超声图像进行语义分割得到结节分割图，基于所述结节分割图分析结节特征信息以及影像所检结果，并将所述结节特征信息与所述结节良恶性分类结果进行结合基于训练后的ti-rads评分模型分级模型确定结节ti-rads 分类和结节恶性概率。
7.进一步的，检测所述超声图像中的结节良恶性分类结果，包括：基于训练后的目标检测模型对所述超声图像进行结节特征进行提取，得到结节检测图，并对提取到的所述结节特征进行处理得到结节良恶性的概率值；所述目标检测模型包括特征提取网络，用于提取所述超声图像中的所述结节特征信息；特征融合网络，用于将提取到的所述结节特征信息进行融合得到结节融合特征图；分类网络，用于将所述结节融合特征进行分类，得到不同分类下的结节概率值，所述分类包括结节的早、中、晚时期分类。
8.进一步的，所述特征提取网络包括五个卷积层，在第一卷积层中设置有focus结构以及与所述focus结构连接的内卷积层，所述focus结构用于将所述超声图像的宽高信息转换到通道中，所述内卷积层通过内卷积对所述超声图像进行提取得到包含浅层特征的初步特征图。
9.进一步的，在第三卷积层中卷积结构为可变形卷积。
10.进一步的，所述特征融合网络包括基于多个所述特征图按照语义程度进行自下向上采样后再进行自上往下进行特征采样的金字塔网络结构。
11.进一步的，所述检测头包括yolo检测头，所述yolo检测头数量为三个，三个所述yolo检测头用于检测不同尺度大小的结节。
12.进一步的，对所述超声图像进行语义分割得到结节分割图，包括：通过编码器基于u-net网络对所述超声图像进行特征提取得到特征图，并通过解码器基于u-net网络对提取到的所述特征图中的像素进行预测和输出得到分割后的图像即结节分割图。
13.进一步的，所述u-net网络基于valid 卷积结构构建。
14.进一步的，所述ti-rads评分模型分级模型包括训练后的结节特征分析模型和评分模型，所述结节特征分析模型对所述结节分割图进行特征分析得到超声特征信息，并基于clip 语言模型将所述超声特征信息转换得到超声影像特征信息；所述评分模型基于ti-rads机制结合所述超声影像特征信息和所述结节良恶性分类结果得到 ti-rads 分类和结节恶性概率。
15.进一步的，所述评分模型的训练基于正则化的持续学习方法进行。
16.第二方面，提供一种超声图像分析系统，包括：超声探头；发射电路，用于激励所述超声探头向被测对象的甲状腺区域发射超声波；接收电路，用于控制所述超声探头接收从所述甲状腺区域返回的超声回波以获得超声回波信号；处理器，用于执行对应的超声图像分析方法，确定结节ti-rads分类和结节恶性概率。
17.第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
18.本技术实施例提供的技术方案中，在国内外甲状腺结节超声影像临床诊断上广泛使用的 acr ti-rads 分级应用于人工智能超声临床诊断，形成更为客观准确的超声诊断报告依据。并在传统人工智能医疗影像的应用基础上，为解决数据量少导致的诊断效果差的问题，在系统的使用过程中不断完善模型，为提供更好的诊断建议，奠定坚实基础。并能够解决现有处理方案中缺少相应影像所见与分级报告，诊断结果缺乏可解释性，无法提供疾病治疗诊断建议，临床意义有限的技术问题。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。
21.图1是本技术实施例提供的超声图像分析系统示意图。
22.图2是本技术实施例提供的超声图像分析方法流程图。
23.图3是本技术实施例提供的可变形卷积结构处理示意图。
24.图4是本技术实施例提供的注意力层结构处理示意图。
25.图5是本技术实施例提供的特征融合网络结构示意图。
26.图6是本技术实施例提供的ti-rads评分模型分级模型结构示意图。
27.图7是本技术实施例提供的ti-rads的评分模型示意图。
具体实施方式
28.为了更好的理解上述技术方案，下面通过附图以及具体实施例对本技术技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
29.在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本技术。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本技术的方面。
30.本技术中使用流程图说明根据本技术的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
31.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
32.（1）响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
33.（2）基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
34.本技术实施例提供的技术方案，主要的应用场景为针对超声图像进行分析并识别结节所对应的等级以及病理情况。在现有技术中，超声（ultrasound）作为临床实践中最常见的成像模式之一，与x射线、ct、磁共振成像并称为四大医学影像技术。超声具有相对安全、低成本、非侵入性及实时显示等特点，其应用领域广泛。超声相比于ct等医学影像，存在低成像质量和高可变性等问题。导致超声医生需要具备一定的医学分科知识与经验，但是高水平的超声科医生稀缺，根据国家卫健委统计资料显示全国超声科人才缺口至少15万。甲状腺结节是人群中高发的内分泌疾病之一，在甲状腺和甲状腺旁评估中，超声是提供信息最丰富、用途最广泛的影像手段。但超声设备的使用和熟悉程度、对正常颈部解刨的知识掌握程度、超声检查熟练程度和超声引导活检的准确性，以及正常图像特征识别和临床诊断评估的能力是颈部超声发展的必要条件。随着人工智能辅助超声诊断技术，不仅可以让超声影像变得更清晰，更重要的是运用人工智能，一方面解决生产力、提高效率，另一方面可对超声影像的结节特征作出诊断，弥补上述颈部超声必要条件人工的不足。
35.而目前在现有技术中，基于人工智能的甲状腺超声诊断实现过程中，模型的训练以来数据集的大小与质量，且获得的诊断结果缺少可解释性，使得研究人员在系统的具体
实现时面临如：一、 人工智能技术实现上的问题：超声影像图像质量低，噪声严重；结节性态不规则、边界模糊；超声影像数据集匮乏，数据采集及标注成本高；早起甲状腺结节诊断准确率低，缺乏对良性结节的检测；影像所见及诊断结果普遍脱离临床医学诊断标准；二、 超声医学上的问题：超声设备的使用以及超声检查熟悉程度低；对正常颈部解剖的知识掌握程度不高；图像特征识别和临床诊断评估能力残差不齐；医疗资源分配不平衡，高水平的超声科医生稀缺；对人工和医生经验具有依赖性。
36.其背后的核心科学问题为，目前基于人工智能的甲状腺超声诊断技术仅是对结节区域定位与分类，缺少相应影像所见与分级报告，诊断结果缺乏可解释性，无法提供疾病治疗诊断建议，临床意义有限。
37.针对于以上的技术背景，本实施例提供一种超声图像分析系统，包括：超声探头；发射电路，用于激励所述超声探头向被测对象的甲状腺区域发射超声波；接收电路，用于控制所述超声探头接收从所述甲状腺区域返回的超声回波以获得超声回波信号；处理器，用于执行对应的超声图像分析方法，确定结节ti-rads分类和结节恶性概率。
38.而针对于以上的技术背景以及对应的超声图像分析系统，超声图像分析方法能够实现对于超声图像中结节进行分类并且基于ti-rads对结节进行分类以及确定最终结节恶性的概率，其中在本实施例中，针对于结节的分类基于医学中对于结节各种医学性质的定义，具体包括但不限于以下多种情况：结节的成分、结节的回声、结节的形态、结节的边缘以及结节的强回声灶，其中针对每一种定义分别具有不同的医学指标，例如对于结节的成分包括囊性或几乎囊性、海绵状、囊实性以及实行或无实行；回声包括无回声、高回声或等回声、低回声以及极低回声；形态包括横径大于纵径以及纵径大于横径；边缘包括光滑、模糊、分叶或不规则以及甲状腺外扩散；强回声灶包括无或大彗星尾、大钙化、边缘钙化或点状强回声。以上针对不同的情况在进行结节确定时，对不同的结果进行对应的打分，计算总分数决定ti-rads分级，并给出具体的医疗建议。
39.以上的评分结果以及过程为ti-rads分级方法，在本实施例给出的超声图像分析方法中，主要依托计算机技术对采集到的的超声图像进行处理获得以上的结果信息，并根据图像处理技术对图像中对应的性状进行对应的打分从而实现最终结节类型以及分数的确定。
40.针对此方法，具体包括以下步骤：步骤s210.获取通过对被测对象的待检测区域进行超声扫描得到超声图像。
41.在本实施例中，针对于超声图像的获得通过超声扫描技术进行实现，而针对于待扫描区域的确定基于对应的疾病，例如用于识别甲状腺疾病的结节，则通过在甲状腺区域进行扫描获得；对于甲状腺疾病的结节，则通过在甲状腺区域进行扫描获得。本实施例中主要针对于甲状腺结节所对应的疾病进行识别，即扫描区域为甲状腺区域，识别的结节类型为甲状腺结节。
42.步骤s220-1.检测所述超声图像中的结节良恶性分类结果。
43.在本实施例中，针对于超声图像中的结节的良恶性的识别基于训练后的目标检测模型进行处理，具体过程为通过目标检测模型对超声图像进行结节特征提取并得到结节检测图，并将提取到的结节进行处理得到结节良恶性的概率值。
44.其中，针对于目标检测模型包括特征提取网络、特征融合网络以及检测头，检测头包括分类网络。
45.具体的，针对于特征提取网络，用于提取超声图像中的结节特征信息；特征融合网络，用于将提取到的结节特征信息进行融合得到结节融合特征；检测头，用于将结节融合特征进行分类，得到不同分类下的结节概率值，并且在本实施例中分类包括结节的早、中、晚时期分类。其中，早、中、晚时期分类主要用于确定结节的良恶性程度。
46.在本实施例中，针对于特征提取网络包括基础的多个卷积层构成。其中，多个卷积层的数量为5，即包括s1-s5阶段的卷积处理。在s1阶段，首先，利用在卷积层中的focus结构将甲状腺超声影像的宽高信息转换到通道中，然后，使用内卷积提取空间特异性更强的浅层特征。在s2阶段，特征图的宽高得到进一步压缩，通道数得到进一步扩张。在s3，s4，s5阶段，分别生成三个特征图用于特征融合网络的构建，其中特征融合网络为金字塔结构通过自底向上和自顶向下的连接来融合不同尺度的特征信息。
47.在本实施例中，focus结构用于对输入图像做切片处理，减少计算量。但在现实获取到的超声影像分辨率较低，直接将focus结构处理后的影像用于后续的卷积操作，会影响浅层卷积层对线条、纹理等边缘信息的提取。因此，在本实施例中为了获取更多超声影像的细节信息，本实施例在focus结构之后引入内卷积层。具体的，对于focus结构生成的h
×w×
4c尺度的特征图x，内卷积层首先将x中的特征向量v
ij
的大小调整为，其次，展开调整后的向量f，获得大小为k
×k×
1的卷积核z。然后，使用卷积核z与v
ij
所在区域的特征向量相乘，得到大小为k
×k×
c的特征图f
p
。最后，将fp中k
×
k个4c维度的特征向量相加，得到内卷积结果。通过上述操作，可以从含有宽高信息的通道中生成卷积核，用于获取所在区域的特征向量，从而得到初步特征图。在本实施例中，初步特征图为具有空间特异性的特征图y，为后续的卷积操作提供更加丰富的细节信息。
48.在本实施例中，在特征提取网络中，s3阶段感受野较小，主要负责检测小目标。但s3中采用的传统卷积方式，采样区域是固定矩形，在提取早期结节特征时，会包含大量周围组织的信息，影响早期结节的检测效果。因此，在本技术实施例中，在s3阶段引入可变形卷积，灵活应对形状不规则的早期结节，提取出更精准的早期结节特征，突破传统卷积方式的局限。
49.具体的，在可变形卷积中，首先使用传统卷积获取特征图的宽高与输入特征图相同，通道数为卷积核大小的两倍，中每个像素点表示k
×
k个采样点的偏移量。然后根据中像素点的值改变相应的采样区域即在图中的中间网格。最后，在调整后的采样区域即图中蓝色网格位置进行卷积操作，形成可变形卷积的效果。其过程可以做如下数学表示：首先，构建采样区域集合r，如以下公式所示，r中的每个元素代表采样点的相对位置，以大小为3
×
3的卷积区域为例，(-1,-1)代表了采样区域的左上角位置。
50.。
51.然后在上述公式中的r上进行以下卷积操作：。
52.对于以为中心的采样区域，首先，在每个采样点上添加偏移量，以此增加采样位置的灵活性。然后，进行卷积运算得到输出特征图中点的像素值。由于特征图中采样点位置为整型，而加入后的采样点位置通常是浮点型。因此，可变形卷积采用双线性插值的方法在输入特征图中进行取值，此过程如下所示：。
53.其中，对于获得的浮点型采样点p，首先，在其四邻域内选取真实存在的像素值x(q)。然后，通过g(
∙
)计算每个x(q)的权值。最后，将x(q)的加权和作为输入特征图中p位置的像素值x(p)。
54.在本实施例中，可变形卷积比传统卷积的采样区域更加灵活，可以更好地适应甲状腺超声影像中不同形状的早期结节，提取出更为精准的早期结节特征，以此提升模型对早期结节的检测效果。
55.在本实施例中，检测头包括yolo检测头，其中yolo检测头的数量为三个，用三个 yolo 检测头检测不同尺度大小即早、中、晚不同时期的结节。
56.其中，针对于甲状腺超声影像与自然场景中的图像不同，存在着大量噪声，并且背景信息复杂。而这些冗余信息会随着网络层数的增加，在后续特征图中被同等对待，阻碍整体网络的表征能力，影响模型对结节的整体检测效果。
57.参阅图4，在本实施例中，特征提取网络用于初步聚集甲状腺超声影像的信息，并输出三个特征图作为特征融合网络的输入。其中，为使得特征融合网络生成更为有效的特征，本实施例在特征提取网络与特征融合网络之间引入cbam混合注意力机制。引入cbam以后，特征提取网络生成的每一个特征图，在送入特征融合网络之前，都会在空间方向与通道方向上进行注意力加权，起到抑制噪声及复杂背景信息的作用，同时增强特征在通道和空间上的联系，进而改善甲状腺超声影像中结节的检测效果。
58.参阅图5，在本实施例中，特征融合网络为一种特殊金字塔网络结构，接收针对于特征提取网络输出的三个特征图，特征融合网络对于特征的处理方式为通过自底向上和自顶向下的方式进行特征融合。在自底向上的过程中，对高语义特征图进行上采样，并与含有丰富低语义信息的特征图相融合，得到融合了抽象信息与细节信息的多尺度特征。在自顶向下的过程中，通过对特征图的再次特征提取，增强了不同尺度特征之间的关联表达，实现了特征的深度融合。最后输出三个融合特征图用于后续的分类与回归任务。
59.具体的，针对于特征融合网络主要解决是目标检测中的多尺度问题，其中针对于特殊金字塔结构通过改变网络连接方式，在几乎不增加计算成本的情况下，大幅度提升了检测性能。通过使用特殊金字塔结构的特征融合网络，将语义信息少、目标位置精确的浅层特征与语义信息丰富、目标位置粗略的高层特征相融合，提升了特征的表征能力，增强了目标检测效果。
60.本实施例中针对于分类网络包括yolo检测头，其中检测头的数量为三个，用三个yolo检测头检测不同尺度大小即早、中、晚不同时期的结节。在本实施例中的检测头可以采用现有yolo算法中的检测头。
61.通过以上的处理得到关于结节的良恶性分类结果即结节良恶性对应的概率值，此
确定后的结节良恶性最为后续的输入进行处理。
62.步骤s220-2.对超声图像进行语义分割得到结节分割图，基于所述结节分割图分析结节特征信息。
63.在本实施例中，针对于超声图像的语义分割对特征图进行处理主要将与u-net网络，并且在u-net的基础上配置有编码器和解码器，其中编码器基于u-net网络用于对超声图像进行特征提取，解码器用于对编码器获得特征图进行逐步的细节、边缘等信息进行恢复，整体呈现u型结构。最后得到特征图上每一个像素进行预测和输出，即分割后的图像。本实施例通过编码器、解码器、u-net网络结构能够结合上下文语义，具有训练速度快，所需数据少，能够契合医学影像分割的痛点。
64.在本实施例中，u-net网络采用跨越“拼接”的特征融合方式，即特征在通道维度拼接，形成更厚维度的特征，这保证了最后恢复特征图融合了更多的低级语义特征，同时也使得不同尺度的特征得到了融合，让分割恢复出医学图像领域更关注的精细边缘信息。u-net还在上采样的过程中加入很多特征信道，允许更多的原图像纹理得到传播，还原病灶轮廓细节。此外，因为u-net全程使用valid 卷积模式，保证了分割结果不会缺失的空间域的上下文特征。其中valid卷积模式为现有模式，在本实施例不再进行描述。不仅如此，使用u-net 网络对甲状腺结节进行语义分割，还可以根据相关私人数据集的需要，灵活调整网络的深度和卷积核大小，使更新的分割网络能运用于较小样本量的医学数据集处理。
65.步骤s230.将所述结节特征信息与所述结节良恶性分类结果进行结合基于预训练的ti-rads评分模型分级模型确定结节ti-rads 分类和结节恶性概率。
66.在本实施例中，ti-rads评分模型分级模型包括训练后的结节特征分析模型和评分模型，所述结节特征分析模型对所述结节分割图进行特征分析得到超声特征信息，并基于clip 语言模型将所述超声征象特征信息转换得到超声影像特征信息；所述评分模型基于ti-rads机制结合所述超声影像特征信息和所述结节良恶性分类结果得到 ti-rads 分类和结节恶性概率。clip（contrastive language-image pre-training）是一种多模态预训练模型，它能够同时处理文本和图像数据，并将它们联系在一起。clip的目标是让模型理解文本和图像之间的关系，从而使其能够识别图像中的内容，并为图像生成适当的文本描述。针对于clip模型的训练过程是一个无监督的过程，它使用大量的文本和图像数据进行训练。在训练过程中，clip将一张图像和一个文本段落输入到模型中，通过计算图像和文本之间的相似性来训练模型。在训练完成后，clip模型可以用于图像分类、图像检索、文本分类等任务。与其他图像识别模型不同，clip可以在不使用任何标注数据的情况下进行训练。这意味着clip可以在任何领域进行应用，而不需要花费大量的时间和精力来收集和标注数据。
67.其中，针对于分级评价方法基于acr ti-rads分级方法，acr ti-rads 分级是甲状腺结节超声诊断时，临床上广泛使用的标准，根据 此标准超声科医师出具相应的诊断建议书。
68.参阅图6，ti-rads 分级包含成分、 回声、形态、边缘和强回声灶等 5 类计分项和结节大小 1 类条件项。由 5 类计 分项的计算总分决定 ti-rads 分级，ti-rads 分级分别是 tr1（良性）、tr2（可 能良性）、tr3（轻度可疑恶性）、tr4（中度可疑恶性）、tr5（高度可疑恶性）， 再结合结节的大小进行进一步诊断建议。
69.其中针对于结节特征分析模型，基于步骤s210、步骤s220中得到的甲状腺结节特征和良恶性分类结果，得到ti-rads 分类和结节恶性概率。其中对于评分模型在早期的数据集样本较少，设计一种持续学习或零样本学习的方法，解决数据集样本不足问题。
70.本实施例中采用持续学习方法，根据得到的特征和良恶性分类结果得到新的分类和恶性概率然后根据持续学习不断更新再继续预测，也可以根据实际使用情况加入人工识别后的特征以提升模型精度。持续学习相关数学表达式如下：持续学习开始于一个初始的非增量阶段 s0，其模型m0通过数据集 d0={xi,yi； i=1,2,
···
,p0}训练而来. xi，yi分别表示第i类数据的样本集合和标签集合，p0表示s0阶段所训练的类别数量。对于一个拥有t个阶段的持续学习过程，它包括了一个初始阶段和t
−
1个增量阶段. 增量阶段st 使用模型mt
−
1训练数据集dt={(xi,yi)；i=nt
−
1+ 1,
···
, nt
−
1+pt}，从而使模型mt能够识别nt=p0+p1+
···
+pt种类别数据。
71.在本实施例中，针对于以上提出的方法在进行数据进行处理时可能涉及到病人隐私，涉及一些隐私敏感的应用场景，或者由于历史数据由于隐私问题无法在后续的训练中获得，那么这种时候就更加适合采用基于正则化的持续学习方法。基于正则化的持续学习方法通过在训练损失函数中加入正则项，不需要存储旧样本就可以实现。
72.其中针对于算法的步骤处理如下：（1）选择出对于旧任务比较重要的权重。
73.（2）对才权重的重要程度进行排序。
74.（3）在优化的过程中，重要程度越大的权重改变越小，保证在小范围 内变化，不对旧任务产生较大的影响。
75.其中具体方法为：将模型的后验概率拟合为一个高斯分布，其中均值为旧任务的权重，方差为fisher信息矩阵的对角元素的倒数。方差就代表了每个权重的重要程度。
76.其中针对于此模型利用贝叶斯公式计算在给定数据集d中参数θ的 后验概率，根据概率继续开展计算参数θ的重要性，计算公式如下：，针对于特征提取表达式为：。
77.下面对处理器的各个构成部件进行具体的介绍：其中，在本实施例中，处理器是特定集成电路（application specific integrated circuit，asic），或者是被配置成实施本技术实施例的一个或多个集成电路，例如：一个或多个微处理器（digital signal processor，dsp），或，一个或者多个现场可编程门阵列（field programmable gate array，fpga）。
78.可选地，处理器可以通过运行或执行存储在存储器内的软件程序，以及调用存储在存储器内的数据，执行各种功能，例如执行上述图2所示的方法。
79.在具体的实现中，作为一种实施例，处理器可以包括一个或多个微处理器。
80.其中，所述存储器用于存储执行本技术方案的软件程序，并由处理器来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
81.可选地，存储器可以是只读存储器（read-only memory，rom）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，ram）或者可存
储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以和处理器集成在一起，也可以独立存在，并通过处理器的接口电路与处理单元进行耦合，本技术实施例对此不作具体限定。
82.需要说明的是，在本实施例中示出的处理器的结构并不构成对该装置的限定，实际的装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
83.此外，处理器的技术效果可以参考上述方法实施例所述的方法的技术效果，此处不再赘述。
84.应理解，在本技术实施例中的处理器可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
85.还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random access memory，ram）可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddr sdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步连接动态随机存取存储器（synchlink dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，dr ram）。
86.上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，dvd）、或者半导体介质。半导体介质可以是固态硬盘。
87.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
88.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
89.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
90.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
91.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
92.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
93.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
94.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
95.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种超声图像分析方法，其特征在于，所述方法包括：获取通过对被测对象的甲状腺区域进行超声扫描得到的超声图像，检测所述超声图像中的结节良恶性分类结果，并对所述超声图像进行语义分割得到结节分割图，基于所述结节分割图分析结节特征信息以及影像所见结果，并将所述结节特征信息与所述结节良恶性分类结果进行结合基于训练后的ti-rads评分模型分级模型确定结节ti-rads 分类和结节恶性概率。2.根据权利要求1所述的超声图像分析方法，其特征在于，检测所述超声图像中的结节良恶性分类结果，包括：基于训练后的目标检测模型对所述超声图像进行结节特征进行提取，得到结节检测图，并对提取到的所述结节特征进行处理得到结节良恶性的概率值；所述目标检测模型包括特征提取网络，用于提取所述超声图像中的所述结节特征信息；特征融合网络，用于将提取到的所述结节特征信息进行融合得到结节融合特征；检测头，用于将所述结节融合特征进行分类，得到不同分类下的结节概率值，所述分类包括结节的早、中、晚时期分类。3.根据权利要求2所述的超声图像分析方法，其特征在于，所述特征提取网络包括五个卷积层，在第一卷积层中设置有focus结构以及与所述focus结构连接的内卷积层，所述focus结构用于将所述超声图像的宽高信息转换到通道中，所述内卷积层通过内卷积对所述超声图像进行提取得到包含浅层特征的初步特征图。4.根据权利要求3所述的超声图像分析方法，其特征在于，在第三卷积层中卷积结构为可变形卷积。5.根据权利要求3所述的超声图像分析方法，其特征在于，所述特征融合网络包括基于多个所述特征图按照语义程度进行自下向上采样后再进行自上往下进行特征采样的金字塔网络结构。6.根据权利要求3所述的超声图像分析方法，其特征在于，所述检测头包括yolo检测头，所述yolo检测头数量为三个，三个所述yolo检测头用于检测不同尺度大小的结节。7.根据权利要求3所述的超声图像分析方法，其特征在于，对所述超声图像进行语义分割得到结节分割图，包括：通过编码器基于u-net网络对所述超声图像进行特征提取得到特征图，并通过解码器基于u-net网络对提取到的所述特征图中的像素进行预测和输出得到分割后的图像即结节分割图。8.根据权利要求7所述的超声图像分析方法，其特征在于，所述u-net网络基于valid 卷积结构构建。9.根据权利要求7所述的超声图像分析方法，其特征在于，所述ti-rads评分模型分级模型包括训练后的结节特征分析模型和评分模型，所述结节特征分析模型对所述结节分割图进行特征分析得到超声特征信息，并基于clip语言模型将所述超声特征信息转换得到超声影像特征信息；所述评分模型基于ti-rads机制结合所述超声影像特征信息和所述结节良恶性分类结果得到 ti-rads 分类和结节恶性概率。10.根据权利要求9所述的超声图像分析方法，其特征在于，所述评分模型的训练基于正则化的持续学习方法进行。

技术总结
本发明涉及超声成像技术领域，为一种超声图像分析方法。所述方法包括：获取通过对被测对象的甲状腺区域进行超声扫描得到的超声图像，检测所述超声图像中的结节良恶性分类结果，并对所述超声图像进行语义分割得到结节分割图，基于所述结节分割图分析结节特征信息以及影像所见结果，并将所述结节特征信息与所述结节良恶性分类结果进行结合基于预训练的TI-RADS评分模型分级模型确定结节TI-RADS分类和结节恶性概率。本申请提供超声图像分析方法，能够解决现有处理方案中缺少相应影像所见与分级报告，诊断结果缺乏可解释性，无法提供疾病治疗诊断建议，临床意义有限的技术问题。临床意义有限的技术问题。临床意义有限的技术问题。


技术研发人员：朴锦春 韩雪华 李德 胡昊 杨天宇 李慧瑛 周雨桐
受保护的技术使用者：延边大学
技术研发日：2023.03.15
技术公布日：2023/7/12