医学图像分类方法、装置、设备及存储介质与流程

1.本技术涉及医疗科技技术领域，尤其涉及一种医学图像分类方法、装置、设备及存储介质。


背景技术：

2.医学图像是指通过医学仪器扫描人体、人体某个部位、人体组织等所形成的图像。例如，通过ct机扫描所得的ct图像，或通过mri设备扫描所得的mri图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是病理图等等。在医学领域，不同病征的内在异质性可在医学图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医学图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
3.然而，目前一些医学图像分类推理设备配置低。受限于硬件资源以及计算量的限制，导致目前应用于其上的仅仅只能采用基于cnn网络(convolut ionalneura l network，卷积神经网络)或者仅仅基于vit网络(vis ion transformer，视觉转换器)实现，然而，仅仅利用cnn或vit实现医学图像分类的效果不好。


技术实现要素：

4.针对上述技术问题，本技术的目的在于提供一种医学图像分类方法、装置、设备及存储介质，旨在解决受限于硬件资源以及计算量的限制，导致目前仅能基于cnn网络或vit网络实现医学图像分类，分类效果不好的技术问题。
5.第一方面，本发明实施例提供一种医学图像分类方法，包括：
6.将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；
7.将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；
8.对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；
9.将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；
10.将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；
11.利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
12.进一步的，所述将待分类医学图像输入第一ghost模块，得到所述第一ghost模块
输出的医学特征图，包括：
13.对待分类医学图像进行n次卷积，得到第一医学特征图；其中，n为正整数；
14.采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图；
15.将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；
16.将所述第一拼接医学特征图作为所述第一ghost模块输出的医学特征图。
17.进一步的，所述将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图，包括：
18.对所述第一ghost模块输出的医学特征图进行m次卷积，得到第三医学特征图；其中，m为正整数；
19.采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；
20.将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；
21.将所述第二拼接医学特征图作为所述第二ghost模块输出的医学特征图。
22.进一步的，设所述第二ghost模块输出的医学特征图的维度为[bs，h，w，c]，所述对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：
[0023]
将所述第二ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。
[0024]
进一步的，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图，包括：
[0025]
通过所述第一transformer模块中的平均池化层对所述维度变换后的医学特征图进行平均池化，得到第一平均池化医学特征图；
[0026]
基于所述第一平均池化医学特征图，通过多头注意力机制生成所述第一transformer模块输出的医学特征图。
[0027]
进一步的，所述将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图，包括：
[0028]
通过所述第二transformer模块中的平均池化层对所述第一transformer模块输出的医学特征图进行平均池化，得到第二平均池化医学特征图；
[0029]
基于所述第二平均池化医学特征图，通过多头注意力机制生成所述第二transformer模块输出的医学特征图。
[0030]
进一步的，所述利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类，包括：
[0031]
将所述[bs，h*w，c]中的h*w维度取平均，得到维度为[bs，c]的医学特征图；
[0032]
将所述[bs，c]的医学特征图输入全连接层进行分类。
[0033]
第二方面，本发明实施例提供一种医学图像分类装置，包括：
[0034]
第一输入模块，用于将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；
[0035]
第二输入模块，用于将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；
[0036]
维度变换模块，用于对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；
[0037]
第三输入模块，用于将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；
[0038]
第四输入模块，用于将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层，所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；
[0039]
分类模块，用于利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
[0040]
第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的医学图像分类方法的步骤。
[0041]
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的医学图像分类方法的步骤。
[0042]
由于ghost模块是一种模型压缩方法，可以用更少的参数生成更多的医学特征图，即在保证网络精度的情况下，同时减少网络参数和计算量，从而提升计算速度和降低延时。此外，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。因此，相比于现有方法，本发明实施例降低了对设备硬件的要求。此外，由于ghost模块能够提取局部特征，transformer模块能够提取全局特征，即提取到的特征同时具备全局信息和局部信息，因此，医学图像的分类效果会更好。
附图说明
[0043]
为了更清楚地说明本技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1是本技术实施例提供的医学图像分类方法的流程示意图；
[0045]
图2是本技术实施例提供的医学图像分类装置的结构示意图；
[0046]
图3是本技术实施例提供的计算机设备的结构示意框图。
具体实施方式
[0047]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0048]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措
辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
[0049]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0050]
实施例一：
[0051]
本发明以下提供的医学图像分类方法应用于医学图像分类系统，该医学图像分类系统包括终端、服务器和医学仪器。终端、服务器和医学仪器之间通过网络连接。终端可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0052]
医学仪器可以是ct(computed tomography，电子计算机断层扫描)机、mri(magnetic resonance imaging，磁共振成像)设备和超声诊断仪、x光机、心电图设备和脑电图设备等。具体的，以下实施例提供的医学图像分类方法具体应用于医学图像分类系统的终端或服务器。
[0053]
请参阅图1，本技术实施例提供一种医学图像分类方法，包括步骤s1-s8：
[0054]
s1、将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图。
[0055]
在本发明实施例中，医学图像可以是不同数据域的图像，也即由不同医学仪器扫描人体、人体某个部位以及人体组织所形成的不同模态的图像。不同医疗应用场景所得的医学图像属于不同的数据域，数据域可以表示医学图像属于某种医疗设备或某种成像模态。
[0056]
例如，在实际应用中，医学图像具体可以是通过ct机扫描所得的ct图像，或通过mri设备扫描所得的mri图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是x光图像、心电图、脑电图和病理图等等。在医学领域，不同病征的内在异质性可在医学图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医学图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
[0057]
ghost模块一种模型压缩方法，可以用更少的参数生成更多的医学特征图，即在保证网络精度的情况下，同时减少网络参数和计算量，从而提升计算速度和降低延时。
[0058]
s2、将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图。
[0059]
s3、对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图。
[0060]
在本发明实施例中，由于ghost模块输出的维度以及transformer模块要求输入的维度不一致，因此，需要将ghost模块输出的维度变换为符合transformer模块输入的维度。
[0061]
s4、将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化。
[0062]
在本发明实施例中，应当理解的是，transformer模块也称为transformer模型，transformer模型是基于注意力机制的深度学习模型。本发明实施例通过平均池化层对所述维度变换后的医学特征图进行平均池化能够减少医学特征图的维度，从而能够降低参数量。
[0063]
s5、将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化。
[0064]
s6、利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
[0065]
在本发明实施例中，可以理解的是，第一ghost模块、第二ghost模块、第一transformer模块以及第二transformer模块构成一个神经网络模型，该神经网络模型的训练根据医学图像训练样本以及预设的损失函数训练得到。例如，训练数据集可以是利用ct平扫脑部出血原因判断数据集或三通道宫颈彩色图像分期数据集。
[0066]
在本发明实施例中，需要说明的是，经实验验证，通过二个ghost模块和二个transformer模块实现医学图像分类的效果要比通过一个ghost模块和一个transformer模块实现医学图像分类的效果好。此外，还可以通过三个ghost模块和三个transformer模块实现图像分类，通过四个ghost模块和四个transformer模块实现医学图像分类等等，即ghost模块和transformer模块的个数根据实际应用场景以及实验数据决定，因此，本发明实施例仅限制至少需要两个ghost模块和两个transformer模块，但不设上限。还需要说明的是，并非ghost模块和transformer模块的数量越多越好，模块数量越多会降低医学图像分类速度。
[0067]
由于ghost模块是一种模型压缩方法，可以用更少的参数生成更多的医学特征图，即在保证网络精度的情况下，同时减少网络参数和计算量，从而提升计算速度和降低延时。此外，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。因此，相比于现有方法，本发明实施例降低了对设备硬件的要求。此外，由于ghost模块能够提取局部特征，transformer模块能够提取全局特征，即提取到的特征同时具备全局信息和局部信息，因此，医学图像的分类效果会更好。
[0068]
所述医学图像可以是病理图像，数字化的病理图像通过利用数字显微镜或放大系统在低倍物镜下对玻璃切片(染色后的组织切片)进行逐幅扫描采集成像得到。将乳腺癌病理图像作为医学图像为例，对乳腺癌病理图像进行分类，可以分为良性、原位癌、浸润性癌和正常四类。具体的，根据纹理、颜色、形状等特征对乳腺癌病理图像进行分类。
[0069]
在一个实施例中，所述将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图，包括步骤s21-步骤s24：
[0070]
s21、对待分类医学图像进行n次卷积，得到第一医学特征图；其中，n为正整数；
[0071]
s22、采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第
二医学特征图；
[0072]
s23、将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；
[0073]
s24、将所述第一拼接医学特征图作为所述第一ghost模块输出的医学特征图。
[0074]
在本发明实施例中，对待分类医学图像进行n次卷积，此处的n次卷积的次数要小于传统卷积的次数，假设传统卷积需要128次卷积，那么n小于128次。
[0075]
本发明实施例采用的卷积次数小于传统卷积的次数，且通过采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图，如此，既能够减少计算量，也能够生成大量的医学特征图。
[0076]
在一个实施例中，所述将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图，包括步骤s31-步骤s34：
[0077]
s31、对所述第一ghost模块输出的医学特征图进行m次卷积，得到第三医学特征图；其中，m为正整数；
[0078]
s32、采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；
[0079]
s33、将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；
[0080]
s34、将所述第二拼接医学特征图作为所述第二ghost模块输出的医学特征图。
[0081]
在本发明实施例中，此处的m次卷积的次数要小于传统卷积的次数，假设传统卷积需要128次卷积，那么m小于128次。所述n、m的次数可以相同，也可以不同，本发明实施例对此不作限制。
[0082]
本发明实施例采用的卷积次数小于传统卷积的次数，且通过采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图，如此，既能够减少计算量，也能够生成大量的医学特征图。
[0083]
在一个实施例中，设所述第二ghost模块输出的医学特征图的维度为[bs，h，w，c]，所述对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：
[0084]
将所述第二ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。
[0085]
在本发明实施例中，由于ghost模块输出的维度以及transformer模块要求输入的维度不一致，因此，需要将ghost模块输出的维度变换为符合transformer模块输入的维度。
[0086]
在一个实施例中，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图，包括步骤s41-s42：
[0087]
s41、通过所述第一transformer模块中的平均池化层对所述维度变换后的医学特征图进行平均池化，得到第一平均池化医学特征图；
[0088]
s42、基于所述第一平均池化医学特征图，通过多头注意力机制生成所述第一transformer模块输出的医学特征图。
[0089]
在本发明实施例中，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。
[0090]
在一个实施例中，所述将所述第一transformer模块输出的医学特征图输入第二
transformer模块，得到第二transformer模块输出的医学特征图，包括步骤s51-步骤s52：
[0091]
s51、通过所述第二transformer模块中的平均池化层对所述第一transformer模块输出的医学特征图进行平均池化，得到第二平均池化医学特征图；
[0092]
s52、基于所述第二平均池化医学特征图，通过多头注意力机制生成所述第二transformer模块输出的医学特征图。
[0093]
在本发明实施例中，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。
[0094]
在一个实施例中，所述利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类，包括步骤s61-步骤s62：
[0095]
s61、将所述[bs，h*w，c]中的h*w维度取平均，得到维度为[bs，c]的医学特征图；
[0096]
s62、将所述[bs，c]的医学特征图输入全连接层进行分类。
[0097]
在本发明实施例中，假设h*w是一个10维的向量，则把这个10维的向量取平均，便得到一个数，即维度变成1，那便可以删除这个维度，最后得到[bs，c]。此外假设要分k个类，那只需要接一个全连接层，就可以得到(bs，k)。
[0098]
实施列二:
[0099]
请参阅图2，本发明实施例提供一种医学图像分类装置，包括：
[0100]
第一输入模块1，用于将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；
[0101]
第二输入模块2，用于将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；
[0102]
维度变换模块3，用于对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；
[0103]
第三输入模块4，用于将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；
[0104]
第四输入模块5，用于将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层，所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；
[0105]
分类模块6，用于利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
[0106]
在一个实施例中，所述将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图，包括：
[0107]
对待分类医学图像进行n次卷积，得到第一医学特征图；其中，n为正整数；
[0108]
采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图；
[0109]
将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；
[0110]
将所述第一拼接医学特征图作为所述第一ghost模块输出的医学特征图。
[0111]
在一个实施例中，所述将所述第一ghost模块输出的医学特征图输入第二ghost模
块，得到所述第二ghost模块输出的医学特征图，包括：
[0112]
对所述第一ghost模块输出的医学特征图进行m次卷积，得到第三医学特征图；其中，m为正整数；
[0113]
采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；
[0114]
将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；
[0115]
将所述第二拼接医学特征图作为所述第二ghost模块输出的医学特征图。
[0116]
在一个实施例中，设所述第二ghost模块输出的医学特征图的维度为[bs，h，w，c]，则所述对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：
[0117]
将所述第二ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。
[0118]
在一个实施例中，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图，包括：
[0119]
通过所述第一transformer模块中的平均池化层对所述维度变换后的医学特征图进行平均池化，得到第一平均池化医学特征图；
[0120]
基于所述第一平均池化医学特征图，通过多头注意力机制生成所述第一transformer模块输出的医学特征图。
[0121]
在一个实施例中，所述将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图，包括：
[0122]
通过所述第二transformer模块中的平均池化层对所述第一transformer模块输出的医学特征图进行平均池化，得到第二平均池化医学特征图；
[0123]
基于所述第二平均池化医学特征图，通过多头注意力机制生成所述第二transformer模块输出的医学特征图。
[0124]
在一个实施例中，所述利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类，包括：
[0125]
将所述[bs，h*w，c]中的h*w维度取平均，得到维度为[bs，c]的医学特征图；
[0126]
将所述[bs，c]的医学特征图输入全连接层进行分类。
[0127]
应当理解的是，本技术实施例提供的图像分类装置与上述医学图像分类方法构思相同，且具体实现方式相同，本发明实施例不做过多赘述。
[0128]
实施例三：
[0129]
参照图3，本发明实施例还提供一种计算机设备，该计算机设备的内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种医学图像分类方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地，上述计算机设备还可以设置有输入装置和显示屏等。
上述计算机程序被处理器执行时以实现一种医学图像分类方法，包括如下步骤：将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
[0130]
由于ghost模块是一种模型压缩方法，可以用更少的参数生成更多的医学特征图，即在保证网络精度的情况下，同时减少网络参数和计算量，从而提升计算速度和降低延时。此外，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。因此，相比于现有方法，本发明实施例降低了对设备硬件的要求。此外，由于ghost模块能够提取局部特征，transformer模块能够提取全局特征，即提取到的特征同时具备全局信息和局部信息，因此，医学图像的分类效果会更好。
[0131]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种医学图像分类方法，包括如下步骤：将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
[0132]
由于ghost模块是一种模型压缩方法，可以用更少的参数生成更多的医学特征图，即在保证网络精度的情况下，同时减少网络参数和计算量，从而提升计算速度和降低延时。此外，由于本发明实施例的transformer模块还包括平均池化层，通过平均池化层可以降低医学特征图的维度，也即降低了参数量。因此，相比于现有方法，本发明实施例降低了对设备硬件的要求。此外，由于ghost模块能够提取局部特征，transformer模块能够提取全局特征，即提取到的特征同时具备全局信息和局部信息，因此，医学图像的分类效果会更好。
[0133]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchl ink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0134]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0135]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种医学图像分类方法，其特征在于，包括：将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。2.根据权利要求1所述的医学图像分类方法，其特征在于，所述将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图，包括：对待分类医学图像进行n次卷积，得到第一医学特征图；其中，n为正整数；采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图；将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；将所述第一拼接医学特征图作为所述第一ghost模块输出的医学特征图。3.根据权利要求1所述的医学图像分类方法，其特征在于，所述将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图，包括：对所述第一ghost模块输出的医学特征图进行m次卷积，得到第三医学特征图；其中，m为正整数；采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；将所述第二拼接医学特征图作为所述第二ghost模块输出的医学特征图。4.根据权利要求1所述的医学图像分类方法，其特征在于，设所述第二ghost模块输出的医学特征图的维度为[bs，h，w，c]，所述对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：将所述第二ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。5.根据权利要求1所述的医学图像分类方法，其特征在于，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图，包括：通过所述第一transformer模块中的平均池化层对所述维度变换后的医学特征图进行
平均池化，得到第一平均池化医学特征图；基于所述第一平均池化医学特征图，通过多头注意力机制生成所述第一transformer模块输出的医学特征图。6.根据权利要求1所述的医学图像分类方法，其特征在于，所述将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图，包括：通过所述第二transformer模块中的平均池化层对所述第一transformer模块输出的医学特征图进行平均池化，得到第二平均池化医学特征图；基于所述第二平均池化医学特征图，通过多头注意力机制生成所述第二transformer模块输出的医学特征图。7.根据权利要求4所述的医学图像分类方法，其特征在于，所述利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类，包括：将所述[bs，h*w，c]中的h*w维度取平均，得到维度为[bs，c]的医学特征图；将所述[bs，c]的医学特征图输入全连接层进行分类。8.一种医学图像分类装置，其特征在于，包括：第一输入模块，用于将待分类医学图像输入第一ghost模块，得到所述第一ghost模块输出的医学特征图；第二输入模块，用于将所述第一ghost模块输出的医学特征图输入第二ghost模块，得到所述第二ghost模块输出的医学特征图；维度变换模块，用于对所述第二ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；第三输入模块，用于将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；第四输入模块，用于将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层，所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；分类模块，用于利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的医学图像分类方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的医学图像分类方法的步骤。

技术总结
本申请涉及人工智能技术领域，提供一种医学图像分类方法、装置、设备及存储介质，方法包括：将待分类医学图像输入Ghost模块；对Ghost模块输出的医学特征图进行维度变换；将维度变换后的医学特征图输入transformer模块；transformer模块均包括平均池化层；平均层化层用于对输入transformer模块的医学特征图进行平均池化；利用transformer模块输出的医学特征图对待分类医学图像进行分类。相比于现有方法，本发明实施例降低了对设备硬件的要求且医学图像的分类效果会更好。医学图像的分类效果会更好。医学图像的分类效果会更好。


技术研发人员：唐小初 周涵涛 舒畅 陈又新
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.25
技术公布日：2023/8/13