一种超声图像分类方法、系统、电子设备及存储介质

1.本发明涉及超声信号处理领域，特别是涉及一种超声图像分类方法、系统、电子设备及存储介质。


背景技术：

2.超声成像是临床上筛查和诊断疾病的首选影像学方法。相较x射线成像、计算机断层成像、磁共振成像等技术，超声成像具有实时性、成本低、无电离辐射等优点。常用的医学超声诊断系统在经发射超声波信号后，通过超声换能器对接收的超声回波信号进行波束合成产生原始回波射频(radio frequency，rf)信号，再对该信号进行信号及成像处理以获得感兴趣生物组织的结构信息。
3.传统超声诊断的流程高度依赖医生经验，且存在主观性强、缺乏统一量化判断标准等局限性。利用计算机对图像的智能分析技术，可获得大量客观的图像高通量特征信息。但是，已发展的超声智能分析技术主要基于超声图像，其在成像之前经过了滤波、动态增益调节、图像后处理等操作，这会导致目标组织信息一定程度的丢失或失真，从而一定程度上影响了超声智能分析方法的性能。同时，不同机器采集的超声图像风格迥异，导致超声智能分析技术的泛化性有限。近些年来，研究人员利用定量超声技术，尝试从原始回波射频信号中分析并提取与生物组织微结构的定量参数，并建立与组织病变进展的相关性，但目前已有的参数量十分有限。为了真实地反映生物组织微结构的信息，如何高通量地挖掘原始信号的定量功能特征则具有十分重要的意义，而现有的技术当中尚无相关方法。


技术实现要素：

4.本发明的目的是提供一种超声图像分类方法、系统、电子设备及存储介质，可提高超声图像的分类精度。
5.为实现上述目的，本发明提供了如下方案：
6.一种超声图像分类方法，包括：
7.获取目标区域成像之前经波束之后的原始超声射频数据；
8.对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；
9.对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；
10.对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；
11.对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；
12.将所述模型特征输入分类器进行分类，得到目标区域分类结果。
13.可选地，对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号，具体包括：
14.对所述原始超声射频数据进行超声图像重建，得到超声图像；
15.对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。
16.可选地，对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像，具体包括：
17.根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域；
18.在所述感兴趣区域超声射频信号内选取每个定量超参数的所述最优子感兴趣区域；
19.在所述最优子感兴趣区域提取定量超声参数；
20.将所述定量超声参数作为所述最优子感兴趣区域中心点的像素值，将最优子感兴趣区域的窗口按照像素点滑动，得到多个定量超声参数对应的参数图像。
21.可选地，根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域，具体包括：
22.在所述感兴趣区域超声射频信号内选取不同尺寸的子感兴趣区域；
23.在所述子感兴趣区域提取定量超声参数；
24.将所述定量超声参数作为所述子感兴趣区域中心点的像素值，将子感兴趣区域的窗口按照像素点滑动，得到不同尺寸的子感兴趣区域的定量超声参数对应的多幅参数图像；
25.对每一定量超声参数对应的多幅参数图像计算平均值；
26.根据所述平均值和真实数据利用相关性确定每个定量超参数的最优子感兴趣区域的尺寸。
27.可选地，对所述定量超声参数特征进行特征降维和特征选择，得到模型特征，具体包括：
28.对所述定量超声参数特征利用主成分分析法进行特征降维，得到主要特征分量；
29.对所述主要特征分量进行特征选择，得到模型特征。
30.可选地，所述分类器为支持向量机、朴素贝叶斯法、决策树、随机森林法、k近邻法、逻辑斯蒂回归法或者判别分析法。
31.本发明还提供一种超声图像分类系统，包括：
32.获取模块，用于获取目标区域成像之前经波束之后的原始超声射频数据；
33.感兴趣区域分割模块，用于对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；
34.定量超声参数提取模块，用于对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；
35.影像组学分析模块，用于对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；
36.特征降维和特征选择模块，用于对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；
37.分类模块，用于将所述模型特征输入分类器进行分类，得到目标区域分类结果。
38.可选地，感兴趣区域分割模块，具体包括：
39.超声图像重建单元，用于对所述原始超声射频数据进行超声图像重建，得到超声图像；
40.感兴趣区域划分单元，用于对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。
41.本发明还提供一种电子设备，包括：
42.一个或多个处理器；
43.存储装置，其上存储有一个或多个程序；
44.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。
45.本发明还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述的方法。
46.根据本发明提供的具体实施例，本发明公开了以下技术效果：
47.本发明获取目标区域成像之前经波束之后的原始超声射频数据；对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；将所述模型特征输入分类器进行分类，得到目标区域分类结果。基于原始超声射频数据，先利用定量超声提取信号中的多个定量参数并分别对其成像显示，进一步结合影像组学技术，从而提高超声图像的分类精度。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明提供的超声图像分类方法；
50.图2为超声图像分类方法在实际应用中的示意图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明的目的是提供一种超声图像分类方法、系统、电子设备及存储介质，可提高超声图像的分类精度。
53.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
54.如图1所示，本发明提供一种超声图像分类方法，包括：
55.步骤101：获取目标区域成像之前经波束之后的原始超声射频数据。
56.步骤102：对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号。
57.步骤102，具体包括：对所述原始超声射频数据进行超声图像重建，得到超声图像；对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。
58.步骤103：对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像。
59.步骤103，具体包括：根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域；在所述感兴趣区域超声射频信号内选取每个定量超参数的所述最优子感兴趣区域；在所述最优子感兴趣区域提取定量超声参数；将所述定量超声参数作为所述最优子感兴趣区域中心点的像素值，将最优子感兴趣区域的窗口按照像素点滑动，得到多个定量超声参数对应的参数图像。
60.其中，根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域，具体包括：在所述感兴趣区域超声射频信号内选取不同尺寸的子感兴趣区域；在所述子感兴趣区域提取定量超声参数；将所述定量超声参数作为所述子感兴趣区域中心点的像素值，将子感兴趣区域的窗口按照像素点滑动，得到不同尺寸的子感兴趣区域的定量超声参数对应的多幅参数图像；对每一定量超声参数对应的多幅参数图像计算平均值；根据所述平均值和真实数据利用相关性确定每个定量超参数的最优子感兴趣区域的尺寸。
61.步骤104：对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征。
62.步骤105：对所述定量超声参数特征进行特征降维和特征选择，得到模型特征。
63.步骤105，具体包括：对所述定量超声参数特征利用主成分分析法进行特征降维，得到主要特征分量；对所述主要特征分量进行特征选择，得到模型特征。
64.步骤106：将所述模型特征输入分类器进行分类，得到目标区域分类结果。所述分类器为支持向量机、朴素贝叶斯法、决策树、随机森林法、k近邻法、逻辑斯蒂回归法或者判别分析法。
65.本发明基于原始超声回波信号，结合定量超声和影像组学即定量超声组学的研究新方法，实现从信号中提取高通量定量超声参数特征，并使用特征工程与机器学习分类的方法对其进行有效融合，进而提高智能分析技术的评估性能。本发明可以应用于生物组织微结构的超声评估。
66.如图2所示，本发明提供一种超声图像分类方法在实际应用中的工作流程，包括以下步骤：
67.步骤1，从超声仪器中获取目标组织的超声图像以及成像之前经波束合成之后的原始超声射频数据。超声图像以及原始射频信号数据来源包括但不限于以下几种：常规超声，剪切波弹性超声，三维超声等。
68.步骤2，超声图像中定位目标组织区域，完成感兴趣区域分割，并保存感兴趣区域内超声图像及相应的原始射频信号。其中，超声图像感兴趣区域分割方法可采用交互式人工方法，即通过有经验的临床医生观察患者超声图像中病灶位置进行定位。为了实现目标
组织超声射频信号的精确分割，可首先对原始超声射频信号进行超声图像重建，在重建的超声图像上采用交互式人工方法进行感兴趣区域划分，手工勾画感兴趣区域，从而提取感兴趣区域内的超声射频信号。
69.步骤3，以感兴趣区域内相应的原始射频信号作为信号源，进一步设计定量超声组学模型(步骤3-步骤7)。在感兴趣区域内，子感兴趣区域的选取及对应超声射频信号十分关键，直接会影响后续的结果。子感兴趣区域的尺寸需要满足两个原则：(1)子感兴趣区域尺寸要足够小，以保证该二维区域内满足平稳性的假设，并为定量超声参数估计提供足够的空间分辨率；(2)子感兴趣区域尺寸也要足够大，才能准确估计定量超声参数，使其对组织微结构的定量分析有意义。
70.计算不同定量超声参数的最优子感兴趣区域尺寸过程如下：
71.步骤3-1将子感兴趣区域设置为n的倍数超声波长。
72.步骤3-2在一定的子感兴趣区域内，提取定量超声参数，将提取到的参数作为该区域中心点的像素值，令子感兴趣区域窗口一个一个像素点滑动，重复计算从而产生定量参数图像。常用的定量超声参数主要包括两大类：1、基于rf包络的统计分析方法；2、基于rf频域特征的统计分析方法。
73.步骤3-3再次执行步骤3-1～步骤3-2，通过一个步长递增设置，不断改变子感兴趣区域纵向尺寸的大小，得到不同步长对应定量超声参数的多幅图像。
74.步骤3-4对特定定量超声参数图像计算其平均值，并计算其与真实数据标签的相关性。本发明假设特定定量超声参数平均值与数据标签相关性最大时，对应的子感兴趣区域为该特定参数的最优尺寸。
75.步骤3-5因此，获得每个定量超声参数的最优子感兴趣区域后，再次执行步骤3-1～步骤3-4可得到n个定量超声参数对应的n幅参数图像。由于不同定量超声参数的物理差异性，每一个定量超声参数均需执行步骤3-1到3-4，以确定其对应子感兴趣区域的最优尺寸。
76.步骤4，在获得n个定量超声参数对应的n幅参数图像后，对每幅定量超声参数图像引入影像组学分析方法，提取其对应的高通量的超声影像组学特征，以挖掘图像背后隐藏的丰富生物学本质信息。提取超声影像组学特征的过程，可用到python语言的pyradiomics库。pyradiomics库是一个混合编程语言的项目，是radiimics网站团队开发和推出的开源python工具包(github：https://github.com/radiomics/pyradiomics)。该工具箱提供了一系列函数，用于对原始图像进行语出和特征提取。通过pyradiomics库统计分析方法得到的影像组学特征有一阶、二阶和高阶统计量。其中，二阶统计量最为常用，也称为纹理特征，主要有灰度共生矩阵、灰度游程长度矩阵、灰度大小区域矩阵等特征类型。在pyradiomics中可以通过指定要提取的特征类获取相应的影像组学特征，允许的特征类被存储在特征提取类实例enabledfeatures字典中。本发明主要提取first order statistics(19features)一阶统计量、gray level cooccurence matrix(24features)灰度共生矩阵、gray level run length matrix(16features)灰度游程长度矩阵和gray level size zone matrix(16features)灰度大小区域矩阵四个类型的影像组学特征。这四个类型的影像组学特征可以在任何类型的图像上实现，具体函数调用可参照https://pyradiomics.readthedocs.io/en/latest/features.html。因此，经过步骤4对n幅定量参
数图像，并对每幅参数图像，再提取m个影像组学特征共得到n*m个高通量地定量超声参数特征。其中，m为影像组学的特征，本发明中m等于75(19+24+16+16)。
77.步骤5，在获得高通量参数特征后，通过特征降维算法，去除不相关的特征，避免出现维度灾难的问题。可采用主成分分析pca(principal component analysis)的方式，降低特征维数，提取数据的主要特征分量。
78.pca的算法步骤如下：
79.步骤5-1：假设m为样本数，对于n幅定量超声参数图像，已分别提取m个特征，组成n*m的高通量数据矩阵x。
80.步骤5-2：中心化。将每个特征都减去该特征x
ij
所有图像中的均值即
81.步骤5-3：求协方差矩阵，其主对角上的元素就是每个特征的方差，非对角线元素是特征间的协方差其中x
t
为高通量矩阵x的转置。
82.步骤5-4：求出协方差矩阵的特征值和特征向量。
83.步骤5-5：将特征向量按对应特征值按从大到小排列，对应的特征向量从左到右组成矩阵。
84.步骤5-6：按照需求，取前r列，组成矩阵p，即pca的变换矩阵。
85.步骤5-7：y＝xp即为降维到k维后的数据。
86.步骤6，特征降维后，需要通过特征选择处理数据，其目的是选出有益于学习算法相关特征及其组合的子集，提高模型的准确性。绘制受试者工作特征(receiver operating characteristic,roc)曲线，并采用计算受试者特性曲线下面积值(auroc)用于模型的性能评估。通过比较所有实验产生的模型的auroc值，选择特征auroc值最大的模型对应的特征组合作为最终的模型特征。roc曲线分析及auroc的计算可通过spss统计分析软件实现(https://spssau.com/helps/visualization/roc.html)。
87.步骤7，对于选择后的最优特征组合，可将其输入到不同的分类器进行分类准确性的评估。本发明可针对特定分类任务，得到对应的最优特征组合，最终用于该场景的智能化分析中。例如，肝弥漫性病变肝纤维化的等级分类，肝肿瘤的良恶性病变筛查等。常用的分类器有支持向量机(support vector machine，svm)、朴素贝叶斯法(native bayesian，nb)、决策树(decision tree，da)、随机森林(random forest，rdf)、k近邻法(k-nearest neighbor，knn)、逻辑斯蒂回归(logistic regression，lr)以及判别分析(discriminant analysis，da)。
88.本发明还提供一种超声图像分类系统，包括：
89.获取模块，用于获取目标区域成像之前经波束之后的原始超声射频数据。
90.感兴趣区域分割模块，用于对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号。
91.定量超声参数提取模块，用于对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像。
92.影像组学分析模块，用于对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征。
93.特征降维和特征选择模块，用于对所述定量超声参数特征进行特征降维和特征选择，得到模型特征。
94.分类模块，用于将所述模型特征输入分类器进行分类，得到目标区域分类结果。
95.作为一种可选地实施方式，感兴趣区域分割模块，具体包括：
96.超声图像重建单元，用于对所述原始超声射频数据进行超声图像重建，得到超声图像。
97.感兴趣区域划分单元，用于对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。
98.本发明还提供一种电子设备，包括：
99.一个或多个处理器；
100.存储装置，其上存储有一个或多个程序；
101.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。
102.本发明还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述的方法。
103.本发明建立了适用于超声回波射频信号的多参数模型，结合了定量超声和影像组学各自的优势，可以对多种定量超声参数成像并从中提取了目标组织的高通量影像组学特征。本发明采用特征工程方法对高通量特征进行降维、选择和最优组合，采用机器学习算法对多个候选参数进行有效融合，以实现最大限度地挖掘定量参数图像信息。另一方面，影像组学的目标是从医学图像中提取和分析大量具有高通量的图像特征，具有自动、重复性高和精确的优势。因此，本发明基于超声原始射频信号，先利用定量超声提取信号中的多个定量参数并分别对其成像显示，进一步结合影像组学技术，从参数图像中提取高通量特征，并对多个参数图像对应的特征进行特征降维与特征选择得到最优特征组合，从而生成精度较高的智能分类算法。
104.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
105.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种超声图像分类方法，其特征在于，包括：获取目标区域成像之前经波束之后的原始超声射频数据；对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；将所述模型特征输入分类器进行分类，得到目标区域分类结果。2.根据权利要求1所述的超声图像分类方法，其特征在于，对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号，具体包括：对所述原始超声射频数据进行超声图像重建，得到超声图像；对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。3.根据权利要求1所述的超声图像分类方法，其特征在于，对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像，具体包括：根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域；在所述感兴趣区域超声射频信号内选取每个定量超参数的所述最优子感兴趣区域；在所述最优子感兴趣区域提取定量超声参数；将所述定量超声参数作为所述最优子感兴趣区域中心点的像素值，将最优子感兴趣区域的窗口按照像素点滑动，得到多个定量超声参数对应的参数图像。4.根据权利要求3所述的超声图像分类方法，其特征在于，根据所述感兴趣区域超声射频信号利用相关性确定每个定量超参数的最优子感兴趣区域，具体包括：在所述感兴趣区域超声射频信号内选取不同尺寸的子感兴趣区域；在所述子感兴趣区域提取定量超声参数；将所述定量超声参数作为所述子感兴趣区域中心点的像素值，将子感兴趣区域的窗口按照像素点滑动，得到不同尺寸的子感兴趣区域的定量超声参数对应的多幅参数图像；对每一定量超声参数对应的多幅参数图像计算平均值；根据所述平均值和真实数据利用相关性确定每个定量超参数的最优子感兴趣区域的尺寸。5.根据权利要求1所述的超声图像分类方法，其特征在于，对所述定量超声参数特征进行特征降维和特征选择，得到模型特征，具体包括：对所述定量超声参数特征利用主成分分析法进行特征降维，得到主要特征分量；对所述主要特征分量进行特征选择，得到模型特征。6.根据权利要求1所述的超声图像分类方法，其特征在于，所述分类器为支持向量机、朴素贝叶斯法、决策树、随机森林法、k近邻法、逻辑斯蒂回归法或者判别分析法。7.一种超声图像分类系统，其特征在于，包括：获取模块，用于获取目标区域成像之前经波束之后的原始超声射频数据；
感兴趣区域分割模块，用于对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；定量超声参数提取模块，用于对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；影像组学分析模块，用于对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；特征降维和特征选择模块，用于对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；分类模块，用于将所述模型特征输入分类器进行分类，得到目标区域分类结果。8.根据权利要求7所述的超声图像分类系统，其特征在于，感兴趣区域分割模块，具体包括：超声图像重建单元，用于对所述原始超声射频数据进行超声图像重建，得到超声图像；感兴趣区域划分单元，用于对所述超声图像采用交互式人工方法进行感兴趣区域划分，得到感兴趣区域超声射频信号。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任意一项所述的方法。10.一种存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的方法。

技术总结
本发明公开一种超声图像分类方法、系统、电子设备及存储介质，涉及超声信号处理领域，方法包括获取目标区域成像之前经波束之后的原始超声射频数据；对所述原始超声射频数据进行感兴趣区域分割，得到感兴趣区域超声射频信号；对所述感兴趣区域超声射频信号进行定量超声参数提取，确定多个定量超声参数对应的参数图像；对多个定量超声参数对应的所述参数图像进行影像组学分析，得到定量超声参数特征；对所述定量超声参数特征进行特征降维和特征选择，得到模型特征；将所述模型特征输入分类器进行分类，得到目标区域分类结果，本发明能提高超声图像的分类精度。高超声图像的分类精度。高超声图像的分类精度。


技术研发人员：温慧莹 严泽浩 刘忠 陈昕
受保护的技术使用者：深圳大学
技术研发日：2023.05.30
技术公布日：2023/10/11