一种基于Swin-Transformer的AD分类方法

一种基于swin-transformer的ad分类方法
技术领域
1.本发明涉及图像视觉领域，具体为一种基于swin-transformer的ad分类方法。


背景技术：

2.目前，由于医学图像的数量训练swin-transformer((层次化视觉))不能充分发挥其优势，深度学习领域的输入图像大小一般调整为224*224，训练和推理都在该分辨率下进行，但目前均将双线性和三线性插值用于图像的缩放，但实际上这种调整在一定程度上限制了网络模型的性能；因此，提供一种基于swin-transformer的ad(全称：alzheimer’s disease，阿尔兹海默)分类方法。


技术实现要素：

3.本发明的目的在于克服现有的缺陷而提供的一种基于swin-transformer的ad分类方法，利用resizer模块与swin-transformer网络联合训练，学习利于swin-transformer网络分类的特征，提升分类性能。
4.实现上述目的的技术方案是：
5.一种基于swin-transformer的ad分类方法，包括：
6.步骤s1，从adni(阿尔茨海默氏病神经影像学倡议)数据库中获取3dsmri(3维结构性磁共振成像)数据；
7.步骤s2，利用matlab(一种计算分析软件)的spm12和cat12工具包通过对3dsmri进行数据转换、ac-pc(前连合-后连合)校准、配准到mni(全称：montreal neurological institute，蒙特利尔神经内科研究院)模板以及直方均衡化等预处理；
8.步骤s3，对图像进行归一化处理，加快收敛速度；
9.步骤s4，创建vgg(全称：visual geometry group，视觉几何组)网络模型，将获取的最大程度保留的灰度图像输入至所述vgg网络模型中；
10.步骤s5，在所述vgg网络模型中，采用cie lab(均匀的颜色空间)颜色空间，通过对灰度图像上给定亮度，并通过image(图像)、opencv(机器视觉)库将亮度-色度颜色空间转换到rgb(红(r)、绿(g)、蓝(b))颜色空间；
11.步骤s6，建立resizer(缩放)模块，从所述vgg模型中获取的rgb图像输入至所述resizer模块中，调整图像的输入尺寸大小为224*224；
12.步骤s7，在所述resizer模块基础上创建swin-transformer网络，通过所述swin-transformer网络对图像进行分类，输出ad分类结果。
13.优选的，所述步骤s5中，采用cie lab颜色空间，通过对灰度图像上给定的亮度y，对两个色度通道a，b进行检索，而后利用image、opencv库将亮度-色度颜色空间转换到rgb颜色空间；
14.对于给定的亮度通道通过学习将其映射到其中h，w为图像维度；
15.对于给定的x，学习x的概率分布其中q为ab输出空间的个数。
16.优选的，所述步骤s5中，所述vgg网络模型利用多项式交叉熵损失比较与真实值，公式如下：
[0017][0018]
其中通过将真实的颜色y转换为向量z，v(
·
)是权重，用于度量颜色类的稀有度从而重新平衡损失，最后将概率分布通过函数映射为颜色值。
[0019]
优选的，所述步骤s7中，在训练所述swin-transformer网络时，采用迁移学习的方式，在imagenet-1k(一个数据集)上预训练权重。
[0020]
优选的，所述swin-transformer网络通过移动窗口机制将计算复杂度从平方级降低到了线性级，并通过跨窗口连接和patchmerging实现多尺度学习。
[0021]
优选的，在所述swin-transformer网络训练过程中使用交叉熵损失函数，公式如下：
[0022][0023]
其中，n是样本个数，yi是第i个样本的标签，p(yi)表示第i个样本被预测为ad的概率。
[0024]
本发明的有益效果是：本发明采用vgg网络模型，实现单通道到三通道的跨通道学习，将获取的最大程度的灰度图像转换成rgb图像，并通过resizer模块对获取的rgb图像调整尺寸大小至224*224，随后输入至swin transformer网络中，通过移动窗口机制使以往的vit计算复杂度从平方级降低到了线性级，并通过跨窗口连接和patch merging实现了多尺度学习，通过resizer模块与swintransformer网络联合训练，提高了ad分类性能。
附图说明
[0025]
图1是本发明的一种基于swin-transformer的ad分类方法的流程图。
具体实施方式
[0026]
下面将结合附图对本发明的技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相正对地重要性。
[0027]
下面将结合附图对本发明作进一步说明。
[0028]
如图1所示，一种基于swin-transformer的ad分类方法，包括：
[0029]
步骤s1，从adni数据库中获取3d smri数据；其中，adni数据集具体数量如
[0030]
表1所示：
[0031][0032]
表1
[0033]
步骤s2，利用matlab的spm12和cat12工具包通过对3dsmri进行数据转换、ac-pc校准、配准到mni模板以及直方均衡化等预处理。
[0034]
从adni数据集中采集到的原始图像可能为dicom(存储医疗图像的文件格式协议)格式；为了得到便于后续操作的数据格式：nifti，扩展名为.nii；图像预处理需要使用fsl、spm(都为数据处理平台)等工具对采集到的图像完成从dicom到nifti数据格式的转换。
[0035]
校正步骤操作主要是前连合(ac)-后连合(pc)校正，重采样图像采用标准的256
×
256
×
256模式,之后使用n3算法去校正非均匀的组织强度，通过ac
–
pc校正校正之后的图像，通过cat12工具包实施头骨剥离、小脑切除操作。
[0036]
将前面预处理流程的图像配准到标准脑模版空间mni(montreal neurological institute)上，统一所有图像的坐标空间，mni空间是基于大量的正常被试的mri扫描平均得到的新的标准脑，是大脑图像标准化常用到的模版；标准化用到的算法是非刚体配准算法，包括仿射变换与非线性变换等。
[0037]
在完成上述一系列处理后，还需要将图像做一次直方均衡化处理，以抑制功能像的噪声，提高信噪比，减少各图像间仍残余的解剖结构或功能上的不同；通常，直方均衡化处理采用的函数是高斯核(标准方差)函数。
[0038]
步骤s3，对图像进行归一化处理，加快收敛速度；图像尺寸转为256*256*256，体素尺寸为1*1*1mm3，归一化强度值为[0,1]。
[0039]
步骤s4，创建vgg网络模型，将获取的最大程度保留的灰度图像输入至vgg网络模型中。
[0040]
目前大多数实验对输入网络的smri图像要求剥除颅骨以减少无关信息对分类结果的干扰，以及降低模型的计算复杂度；但剥除颅骨完成后仍需手工挑选清洗数据，需要花费更多时间，因此，本发明利用不剥除颅骨的smri图像，省略颅骨剥除和手工清洗数据的步骤，最大程度保留原始图片信息。
[0041]
步骤s5，在所述vgg网络模型中，采用cielab颜色空间，通过对灰度图像上给定的亮度y，对两个色度通道a，b进行检索，而后利用image、opencv库将亮度-色度颜色空间转换到rgb颜色空间。
[0042]
对于给定的亮度通道通过学习将其映射到其中h，w为图像维度；对于给定的x，学习x的概率分布其中其中q为ab输出空间的个数。
[0043]
vgg网络模型利用多项式交叉熵损失比较与真实值，公式如下：
[0044][0045]
其中通过将真实的颜色y转换为向量z，v(
·
)是权重，用于度量颜色类的稀有度从而重新平衡损失，最后将概率分布通过函数映射为颜色值。
[0046]
步骤s6，建立resizer模块，从所述vgg模型中获取的rgb图像输入至所述resizer模块中，利用resizer模块对图像的尺寸进行调整，imagenet(图像识别的数据库)预训练模型大多都是基于224x224尺寸训练的结果，因此将图像输入尺寸调整成大小为224*224。
[0047]
步骤s7，在所述resizer模块基础上创建swin-transformer网络，通过所述swin-transformer网络对尺寸图像进行分类，输出ad分类结果。
[0048]
在训练swin-transformer网络时，采用迁移学习的方式，在imagenet-1k上预训练权重。
[0049]
将尺寸大小为224*224的图像输入swin-transformer网络中，swin-transformer网络通过移动窗口机制将计算复杂度从平方级降低到了线性级，并通过跨窗口连接和patchmerging实现多尺度学习，从而实现对图像的ad分类。
[0050]
在swin-transformer网络训练过程中使用交叉熵损失函数，公式如下：
[0051][0052]
其中，n是样本个数，yi是第i个样本的标签，p(yi)表示第i个样本被预测为ad的概率。
[0053]
其中，利用smri的ad分类方法实验结果与其他实验结果对比如表2所示：
[0054][0055]
表2
[0056]
为验证vgg+reswin(全称：vgg+resizer swin-transformer)的有效性，设置了一系列消融实验，epoch(神经网络超参数)为50，结果如表3所示：
[0057][0058]
表3
[0059]
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于swin-transformer的ad分类方法，其特征在于，包括：步骤s1，从adni数据库中获取3d smri数据；步骤s2，利用matlab的spm12和cat12工具包通过对3d smri进行数据转换、ac-pc校准、配准到mni模板以及直方均衡化等预处理；步骤s3，对图像进行归一化处理，加快收敛速度；步骤s4，创建vgg网络模型，将获取的最大程度保留的灰度图像输入至所述vgg网络模型中；步骤s5，在所述vgg网络模型中，采用cielab颜色空间，通过对灰度图像上给定亮度，并通过image、opencv库将亮度-色度颜色空间转换到rgb颜色空间；步骤s6，建立resizer模块，从所述vgg模型中获取的rgb图像输入至所述resizer模块中，调整图像的输入尺寸大小为224*224；步骤s7，在所述resizer模块基础上创建swin-transformer网络，通过所述swin-transformer网络对图像进行分类，输出ad分类结果。2.根据权利要求1所述的一种基于swin-transformer的ad分类方法，其特征在于，所述步骤s5中，采用cielab颜色空间，通过对灰度图像上给定的亮度y，对两个色度通道a，b进行检索，而后利用image、opencv库将亮度-色度颜色空间转换到rgb颜色空间；对于给定的亮度通道通过学习将其映射到其中h，w为图像维度；对于给定的x，学习x的概率分布其中q为ab输出空间的个数。3.根据权利要求2所述的一种基于swin-transformer的ad分类方法，其特征在于，所述步骤s5中，所述vgg网络模型利用多项式交叉熵损失比较与真实值，公式如下：其中通过将真实的颜色y转换为向量z，v(
·
)是权重，用于度量颜色类的稀有度从而重新平衡损失，最后将概率分布通过函数映射为颜色值。4.根据权利要求1所述的一种基于swin-transformer的ad分类方法，其特征在于，所述步骤s7中，在训练所述swin-transformer网络时，采用迁移学习的方式，在imagenet-1k上预训练权重。5.根据权利要求4所述的一种基于swin-transformer的ad分类方法，其特征在于，所述swin-transformer网络通过移动窗口机制将计算复杂度从平方级降低到了线性级，并通过跨窗口连接和patch merging实现多尺度学习。6.根据权利要求4所述的一种基于swin-transformer的ad分类方法，其特征在于，在所述swin-transformer网络训练过程中使用交叉熵损失函数，公式如下：其中，n是样本个数，y
i
是第i个样本的标签，p(y
i
)表示第i个样本被预测为ad的概率。

技术总结
本发明涉及一种基于Swin-Transformer的AD分类方法，包括：步骤S1，从ADNI数据库中获取3D sMRI数据；步骤S2，利用Matlab的SPM12和CAT12工具包通过对3D sMRI进行数据转换、AC-PC校准、配准到MNI模板以及直方均衡化等预处理；步骤S3，对图像进行归一化处理，加快收敛速度；步骤S4，创建VGG网络模型，将获取的最大程度保留的灰度图像输入至所述VGG网络模型中；步骤S5，在所述VGG网络模型中，采用CIE lab颜色空间，通过对灰度图像上给定亮度，并通过image、OpenCV库将亮度-色度颜色空间转换到RGB颜色空间；步骤S6，建立Resizer模块，从所述VGG模型中获取的RGB图像输入至所述Resizer模块中，调整图像的输入尺寸大小为224*224。本发明利用Resizer模块与Swin-Transformer网络联合训练，学习利于Swin-Transformer网络分类的特征，提升分类性能。提升分类性能。提升分类性能。


技术研发人员：李琬 黄弋航 桑屹林 严雨姿
受保护的技术使用者：北京工商大学
技术研发日：2023.04.07
技术公布日：2023/9/14