骨肿瘤影像分析方法、系统及介质与流程

1.本发明涉及图像数据处理技术领域，具体地，涉及一种骨肿瘤影像分析方法、系统及介质。


背景技术：

2.骨肉瘤是一种恶性程度高、漏诊及误诊频发，整体发病率在青少年骨肿瘤中占据首位的一种疾病。骨肉瘤患者总体预后差，检测方式有实验室检查、影像学检查和病理学检查等手段，影像学检查能够直接且全面的反应骨骼情况，使用较为广泛。目前初筛主要依靠患肢x线片，由于其发生率极低，对于经验不足的医生而言判断较难。现有涉及骨肉瘤影像学智能分析算法多应用于判断骨肉瘤预后、患者5年生存期、预测骨肉瘤肺转移、对术后早期复发进行术前预测及化疗预测。
3.现有相关技术未针对骨肉瘤早期漏判、误判的情况做出良好的解决方案，未从根本上提高对骨肉瘤判断的效率。骨肉瘤早发现、早治疗迄今仍不充分，加之临床首症局部疼痛常与青少年生长痛混淆，临床表现异质性强，首诊又多在基层医院且首诊检查亦多局限于快捷、价廉的x线平片以及各级各类医院医师诊断水平参差不齐，此时医护人员的诊断经验就显得极为重要，但是考虑到客观影响因素(拍摄精度、图像内容显示完整性、判断经验和依据等)和早期内骨肿瘤表征不明显的特点，还是存在无法发现的可能。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种骨肿瘤影像分析方法、系统及介质。
5.根据本发明提供的一种骨肿瘤影像分析方法、系统及介质，所述方案如下：
6.第一方面，提供了一种骨肿瘤影像分析方法，所述方法包括：
7.步骤s1：采集图片样本；
8.步骤s2：对所述图片样本进行预处理；
9.步骤s3：构建数据模型并进行交叉验证；
10.步骤s4：对所述数据模型进行训练；
11.步骤s5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；
12.步骤s6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。
13.优选地，所述步骤s1包括：获取两个以上的骨关节x光片数据的图片样本，其中包括患有骨肉瘤的患者的骨关节x光片，以及骨关节无疾病的人的骨关节x光片；
14.对所述数据样本进行数据标签，并将患有骨肉瘤的数据与健康人的数据分别放置在不同文件夹中。
15.优选地，所述步骤s2包括图片样本输入和调整；
16.其中，图片样本输入，应使用cv算法将输入的图片样本数据读取为m*n*3的矩阵，
每个图片样本的大小为m*n个像素点，每个像素点有rgb三个像素值；
17.图片样本调整包括：调整图片样本的大小，以及图片样本像素值的归一化处理。
18.优选地，所述调整图片样本的大小包括：将输入图片样本的较长的一边从裁剪至与较短一边相同，使得图片样本的输入大小调整为正方形；
19.所述图片样本像素值的归一化处理包括：求取图片样本所有像素值的平均值，用各像素值减去平均值后，再除以减后结果的最大值。
20.优选地，所述步骤s3包括：构建数据模型，将图片样本输入至数据模型中，将输出的线性矩阵设置为二维，输出的二维向量中，将两个元素比较大小，第一个数值代相对较大判断为健康，第二个数值较大则判断为骨肉瘤；
21.交叉验证步骤，将图片样本平均分为五份，选择其中一份用于测试模型，其余四份用于训练，并每次变换用于测试的一份，最终获得五个模型，将五个模型获得结果进行平均。
22.优选地，所述步骤s4中对所述数据模型进行训练包括：
23.设置模型参数，每批次输入多张图片样本，类别数为二；
24.将输出的二维矩阵使用softmax函数变换为0-1之间的概率值，用以表示两种类别的概率，概率值的和为1；
[0025][0026][0027]
其中，y1、y2分别表示判断为健康的概率和判断为骨肉瘤的概率；x1、x2分别表示输出的二维向量中的两个原素；
[0028]
使用交叉熵损失函数作为损失函数，将输出的两个概率值计算出一个指标，且指标越小，模型效果越好：
[0029][0030]
其中，n表示该批次投入模型的样本数；pi表示第i个样本被判定为骨肉瘤的概率；使用mura1.1数据集作为预训练，将它输入模型后会获得一个模型参数，将这个模型参数作为所训练模型的初始参数；
[0031]
使用adam优化器，每批次数据输入后，会调整模型参数，使得损失函数越来越小，从而优化模型；
[0032]
由交叉验证能获得五个模型，将测试样本中结果最好的一个模型作为最终模型。
[0033]
优选地，所述步骤s5包括：将需要测试的图片数据经数据预处理后输入数据模型中进行计算，得到的二维矩阵中两个元素数值比较大小，较大的一维所代表的类别即为样本的预测结果。
[0034]
优选地，所述步骤s6包括：在测试过程中，应用pytorch框架提取数据模型最后一个卷积层，获取得到的特征图；
[0035]
利用gradcam函数，将所训练好的数据模型与所提取出的特征图输入，即输出得到gradcam图，将gradcam图与原图片覆盖即得到热力图。
[0036]
第二方面，提供了一种骨肿瘤影像分析系统，所述系统包括：
[0037]
模块m1：采集图片样本；
[0038]
模块m2：对所述图片样本进行预处理；
[0039]
模块m3：构建数据模型并进行交叉验证；
[0040]
模块m4：对所述数据模型进行训练；
[0041]
模块m5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；
[0042]
模块m6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。
[0043]
与现有技术相比，本发明具有如下的有益效果：
[0044]
1、本发明能够有效辅助临床人员审阅骨肉瘤患者平片，有效降低骨肉瘤误判及漏判率，为社会带来更多流动人口；
[0045]
2、本发明克服了传统影像诊断的主观性及个人经验依赖性，实现基于x线平片的同质化、高水平的骨肉瘤结果分析特别是早期分析，继而改善骨肉瘤患者预后。
[0046]
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
[0047]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0048]
图1为本发明整体流程图；
[0049]
图2为数据模型构建及交叉验证图片；
[0050]
图3为roc图像；
[0051]
图4为可视化热力图。
具体实施方式
[0052]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0053]
本发明实施例提供了一种骨肿瘤影像分析方法，参照图1所示，该方法具体包括：
[0054]
步骤s1：采集图片样本。
[0055]
具体包括：获取两个以上的骨关节x光片数据，由专业的放射科医生对骨关节x光片数据进行诊断，并打上标签，将患有骨肉瘤的数据放置在一个文件夹中，将健康人的数据放置在另一个文件夹中。骨关节x光片数据，由医院方采集，其中有两种类别，既有患有骨肉瘤的患者的骨关节x光片，又有健康的，骨关节无疾病的人的骨关节x光片。骨关节x光片数据应以数据的形式保存在电脑中。
[0056]
步骤s2：对所述图片样本进行预处理。
[0057]
具体地，预处理包括：图片样本输入和调整；其中，图片样本输入，应使用cv算法(计算机视觉算法)将输入的图片样本数据读取为m*n*3的矩阵，每个图片样本的大小为m*n个像素点，每个像素点有rgb三个像素值；
[0058]
图片样本调整包括：调整图片样本的大小，以及图片样本像素值的归一化处理。
[0059]
调整图片样本的大小包括：将输入图片样本的较长的一边从裁剪至与较短一边相同，使得图片样本的输入大小调整为正方形，224*224大小。
[0060]
图片样本像素值的归一化处理包括：求取图片样本所有像素值的平均值，用各像素值减去平均值后，再除以减后结果的最大值。
[0061]
img＝img-img.mean()
[0062]
img＝img/img.max()
[0063]
步骤s3：构建数据模型并进行交叉验证。
[0064]
参照图2所示，将输入的数据输入resnet34模型中，resnet34模型是一种比较常用的卷积神经网络模型，它能对输入的图片自动提取特征，输出为一个线性矩阵。将输出的线性矩阵设置为2维，即可代表骨肉瘤与正常两种类别，输出的二维向量中，将两个元素比较大小，第一个数值代较大判断为健康，第二个数值较大判断为骨肉瘤。
[0065]
交叉验证步骤，将数据平均分为五份，选择其中1份用于测试模型，其余4份用于训练。并每次变换用于测试的一份，最终会获得5个模型，将5个模型获得结果进行平均。
[0066]
步骤s4：对数据模型进行训练。
[0067]
设置模型参数，每批次喂入16张图片，类别数为2，并使用adam优化器进行训练，初始学习率为0.0001。
[0068]
将输出的2维矩阵使用softmax函数变换为0-1之间的概率值，他们的和为1，用以表示两种类别的概率。
[0069][0070][0071]
其中，y1、y2分别表示判断为健康的概率和判断为骨肉瘤的概率；x1、x2分别表示输出的二维向量中的两个原素；
[0072]
使用交叉熵损失函数作为损失函数，将输出的两个概率值计算出一个指标，这个指标越小，证明模型的效果越好。
[0073][0074]
其中，n表示该批次投入模型的样本数；pi表示第i个样本被判定为骨肉瘤的概率；使用网上下载的mura1.1数据集作为预训练，将它输入模型后会获得一个模型参数，将这个模型参数作为所训练模型的初始参数；其中，mura1.1数据集是美国吴恩达团队公开的，包含12173名患者的14863项研究，共40561张x光片，分为肘部、手指、前臂、手、肱骨、肩膀和手腕7个部分。由放射学医生标记为正常或异常。
[0075]
使用adam优化器，每批次输入后，会调整模型参数，使得损失函数越来越小，从而优化模型，训练50轮后即可获得结果。
[0076]
由交叉验证能获得五个模型，将测试样本中结果最好的一个模型作为最终模型。
[0077]
步骤s5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；
[0078]
具体地，将需要测试的图片数据经数据预处理后输入数据模型中进行计算，得到的二维矩阵中两个元素数值比较大小，较大的一维所代表的类别即为样本的预测结果。
[0079]
步骤s6：根据预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。
[0080]
具体地，在测试过程中，应用pytorch框架提取数据模型最后一个卷积层，获取得到的特征图；
[0081]
利用gradcam函数，将所训练好的数据模型与所提取出的特征图输入，即输出得到gradcam图，将其与原图片覆盖即可得到热力图用于辅助诊断。其中，gradcam函数是pytorch框架的一个函数码，它能利用模型最后一层的特征图与模型最终判断的类别进行计算，得到模型关注重点的热力图。
[0082]
本发明还提供一种骨肿瘤影像分析系统，所述骨肿瘤影像分析系统可以通过执行所述骨肿瘤影像分析方法的流程步骤予以实现，即本领域技术人员可以将所述骨肿瘤影像分析方法理解为所述骨肿瘤影像分析系统的优选实施方式。该系统具体包括：
[0083]
模块m1：采集图片样本；
[0084]
模块m2：对所述图片样本进行预处理；
[0085]
模块m3：构建数据模型并进行交叉验证；
[0086]
模块m4：对所述数据模型进行训练；
[0087]
模块m5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；
[0088]
模块m6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。
[0089]
接下来，对本发明进行更为具体的说明。
[0090]
数据集：
[0091]
收集骨肉瘤患者及健康人影像数据，由放射科医生判断是否为骨肉瘤，分为两类，将健康的标注为0，骨肉瘤的标注为1.之后将数据集采用交叉验证的方式随机分为5份进行交叉验证。由于健康数据较少，对训练集中健康数据进行不同位置裁剪以及旋转的数据增强，使得类别分布平衡。
[0092]
数据处理：
[0093]
由于获得的图片的大小各不相同，灰度也有差异。为了配合网络进行批量训练，需要将图片resize采样为224*224的大小，以保证图片大小相同。对图像进行归一化处理，将图像像素值减掉平均值，再除以最大值，使得图像灰度分布近似。
[0094]
实验平台：
[0095]
本实验搭建于x86_64处理器的linux 4.4.0操作系统，实验环境采用pytorch 1.7.1框架，以python3.8作为编程语言，visual studio 1.75.1为编辑器，cpu使用intel(r)xeon(r)cpu e5-2620 v4@2.10ghz，gpu使用nvidia geforce rtx 3090，运行内存为24g，所有程序通过pytorch的开源框架实现。
[0096]
训练策略：
[0097]
实验采用resnet34网络进行训练。先采用mura1.1数据集进行预训练，在预训练参数的基础上在自制数据集上进行了50轮训练，每批次喂入16张图片，类别数为2，初始学习率为0.0001，并使用adam优化器进行训练。在训练过程中，对训练集数据进行水平翻转、竖直翻转、在(-15
°
，15
°
)范围内随机旋转的数据增强。
[0098]
技术成果：
[0099]
(1)基于x光的骨肉瘤诊断
[0100]
使用临床x光图像训练一个可对正常x片及骨肉瘤患者x片进行分类的算法，roc图像如图3所示。
[0101]
(2)可视化热力图(grad-cam图)
[0102]
如图4所示，可视化诊断热力图展示由于最终输出仅仅含有一个正负样本置信度的数值，并不十分直观。使用grad-cam方法，对正负样本分别可视化其主要诊断依据区域，提升辅助诊断的信息的丰富度。
[0103]
本发明实施例提供了一种骨肿瘤影像分析方法、系统及介质，考虑骨肉瘤x片的数据特点，通过算法对x片进行诊断识别，并基于识别结果进行热力图的可视化。进而辅助临床医师，提供参考诊断意见，提高骨肉瘤x光诊断的效率及准确性。
[0104]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0105]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种骨肿瘤影像分析方法，其特征在于，包括：步骤s1：采集图片样本；步骤s2：对所述图片样本进行预处理；步骤s3：构建数据模型并进行交叉验证；步骤s4：对所述数据模型进行训练；步骤s5：将预处理后的图片样本输入数据模型中计算，判断图片样本的组别，获取图片样本的组别标签，即为图片样本预测结果；步骤s6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。2.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s1包括：获取两个以上的骨关节x光片数据的图片样本，其中包括患有骨肉瘤的患者的骨关节x光片，以及骨关节无疾病的人的骨关节x光片；对所述数据样本进行数据标签，并将患有骨肉瘤的数据与健康人的数据分别放置在不同文件夹中。3.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s2包括图片样本输入和调整；其中，图片样本输入，应使用cv算法将输入的图片样本数据读取为m*n*3的矩阵，每个图片样本的大小为m*n个像素点，每个像素点有rgb三个像素值；图片样本调整包括：调整图片样本的大小，以及图片样本像素值的归一化处理。4.根据权利要求3所述的骨肿瘤影像分析方法，其特征在于，所述调整图片样本的大小包括：将输入图片样本的较长的一边从裁剪至与较短一边相同，使得图片样本的输入大小调整为正方形；所述图片样本像素值的归一化处理包括：求取图片样本所有像素值的平均值，用各像素值减去平均值后，再除以减后结果的最大值。5.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s3包括：构建数据模型，将图片样本输入至数据模型中，将输出的线性矩阵设置为二维，输出的二维向量中，将两个元素比较大小，第一个数值代相对较大判断为健康，第二个数值较大则判断为骨肉瘤；交叉验证步骤，将图片样本平均分为五份，选择其中一份用于测试模型，其余四份用于训练，并每次变换用于测试的一份，最终获得五个模型，将五个模型获得结果进行平均。6.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s4中对所述数据模型进行训练包括：设置模型参数，每批次输入多张图片样本，类别数为二；将输出的二维矩阵使用softmax函数变换为0-1之间的概率值，用以表示两种类别的概率，概率值的和为1；率，概率值的和为1；
其中，y1、y2分别表示判断为健康的概率和判断为骨肉瘤的概率；x1、x2分别表示输出的二维向量中的两个元素；使用交叉熵损失函数作为损失函数，将输出的两个概率值计算出一个指标，且指标越小，模型效果越好：其中，n表示该批次投入模型的样本数；p
i
表示第i个样本被判定为骨肉瘤的概率；使用mura1.1数据集作为预训练，将它输入模型后会获得一个模型参数，将这个模型参数作为所训练模型的初始参数；使用adam优化器，每批次数据输入后，会调整模型参数，使得损失函数越来越小，从而优化模型；由交叉验证能获得五个模型，将测试样本中结果最好的一个模型作为最终模型。7.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s5包括：将需要测试的图片数据经数据预处理后输入数据模型中进行计算，得到的二维矩阵中两个元素数值比较大小，较大的一维所代表的类别即为样本的预测结果。8.根据权利要求1所述的骨肿瘤影像分析方法，其特征在于，所述步骤s6包括：在测试过程中，应用pytorch框架提取数据模型最后一个卷积层，获取得到的特征图；利用gradcam函数，将所训练好的数据模型与所提取出的特征图输入，即输出得到gradcam图，将gradcam图与原图片覆盖即得到热力图。9.一种骨肿瘤影像分析系统，其特征在于，包括：模块m1：采集图片样本；模块m2：对所述图片样本进行预处理；模块m3：构建数据模型并进行交叉验证；模块m4：对所述数据模型进行训练；模块m5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；模块m6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的骨肿瘤影像分析方法的步骤。

技术总结
本发明提供一种骨肿瘤影像分析方法、系统及介质，涉及图像数据处理技术领域，包括：步骤S1：采集图片样本；步骤S2：对所述图片样本进行预处理；步骤S3：构建数据模型并进行交叉验证；步骤S4：对所述数据模型进行训练；步骤S5：将预处理后的图片样本输入所述数据模型中计算，判断图片样本的组别，获取所述图片样本的组别标签，即为图片样本预测结果；步骤S6：根据所述预测结果，提取数据模型最后一个卷积层的特征图，计算得到gradcam图并生成热力图。本发明能够有效辅助临床人员审阅骨肉瘤患者平片，有效降低骨肉瘤误判及漏判率。降低骨肉瘤误判及漏判率。降低骨肉瘤误判及漏判率。


技术研发人员：杨熙宇 赵毅哲 孙伟 刘满华 杨秀军
受保护的技术使用者：上海市第一人民医院
技术研发日：2023.05.26
技术公布日：2023/9/23