基于病理图像的肝细胞癌组织学亚型智能量化系统

1.本发明属于智能检测技术领域，具体涉及一种基于病理图像的肝细胞癌组织学亚型智能量化系统。


背景技术：

2.很多实际案例中，肝细胞癌患者早期很难发现，而中晚期肝细胞癌的治疗方案复发率相当高，预后很差。因此对肝细胞癌患者开展精准诊疗尤为重要。
3.肝细胞癌具有极大的异质性。在组织学形态方面，肝细胞癌存在四种常见亚型：团片型、细梁型、粗梁型和假腺管型；同时还存在多种的特殊亚型：纤维板层型、硬化型、透明细胞型、富脂型、巨梁型、嫌色型、富中性粒细胞型、富淋巴细胞型和未分化型等。研究肝细胞癌各组织学类型的分布不但可对肝细胞癌起源进行探讨，也可为肝细胞癌的精准诊疗提供病理学基础。
4.目前临床已建立肝细胞癌组织学分型体系，并提示不同组织学亚型的患者预后存在差异。临床实践中，病理医生的人工判读耗时长，且具有较大的主观性，难以保证分型方案的科学性和有效性。
5.近年来，人工智能技术在临床实践中展现出巨大的应用潜力。其中，卷积神经网络(convolution neural networks，cnn)，在图像检测、图像识别分类、图像分割方面取得了巨大的成功。基于cnn构建基于病理图像的肝细胞癌常见组织学亚型的智能量化系统，可以为医生提供客观且定量的诊断依据，为精准治疗提供基础；同时减轻病理医生的负担和压力，避免因主观因素和诊断经验差异等原因造成误诊，最终提高诊断的准确性。


技术实现要素：

6.本发明的目的在于提供一种基于病理图像的肝细胞癌组织学亚型智能量化系统。使用训练好的神经网络可对肝细胞癌病理图像进行组织学亚型分类并量化，提升临床诊断的速度和准确率。
7.本发明通过以下技术方案予以实现：
8.本发明一方面提供一种基于病理图像的肝细胞癌组织学亚型智能量化系统，预测方法包括以下步骤：
9.步骤一，获取肝细胞癌病理图像，并剔除非癌区域；
10.步骤二，对肝细胞癌区域的病理图像进行组织学注释，并将人工注释后的病理图像进行分区域提取，获得不同组织学亚型的roi数据集；
11.步骤三，对分区域后的组织学亚型切片进行切割和质控，获取有效色块；
12.步骤四，将所述有效色块，分为训练集验证集和测试集，并输入卷积神经网络进行模型构建和图像特征提取；
13.步骤五，从输入的色块中自动提取图像特征，获得每个色块的分类评分，根据评分画出roc曲线；
14.步骤六，实现对所述肝细胞癌病理图像数据的切割、分类预测、统计和空间分布图。
15.进一步，步骤一中，所述获取肝细胞癌病理图像包括tcga肝细胞癌病理图像和医院获取的肝细胞癌病理图像，为方便处理，将非癌区域剔除。
16.进一步，步骤二中，所述不同组织学亚型的切片数据包括：团片型、假腺管型、细梁型、粗梁型、其他类型的病理切片。
17.进一步，步骤三中，所述获取有效色块，有效色块包括：300像素
×
300像素的色块，质控删除不合格色块。
18.进一步，所述步骤四，卷积神经网络模型通过第一层输入层，4层卷积层和4层最大池化层，接着是3层全连接层，最后得到1024个特征。在卷积神经网络中，使用多个sigmiod激活函数作为分类器，该分类器将5分类模型转换成5个二分类模型。
19.进一步，步骤五中，使用roc曲线的auc值检验模型的准确度。
20.进一步，步骤六中，对测试集的所有色块评分进行分类预测、统计和空间分布图。
21.本发明另一方面提供一种基于病理图像的肝细胞癌组织学亚型智能量化系统，该预测系统包括：
22.肝细胞癌组织切片图像处理模块，将收集获取的病理图像切割成300像素
×
300像素的色块，并筛选有效色块；
23.图像特征提取模块，将预处理后的色块分为训练集和验证集，并输入已构建的卷积神经网络进行图像特征提取；
24.评分计算模块，对每个色块的得出评分处理画出roc曲线；
25.肝细胞癌不同组织学分类智能预测模块，用于利用测试集数据对优化后的卷积神经网络进行预测，检验模型的准确度。
26.肝细胞癌不同组织学分类自动量化模块，用于统计组织切片中每种组织学亚型的比例并绘制空间分布图。
27.本发明还提供一种计算机设备，其包括存储器和处理器，存储器存储有计算机程序，计算机程序被所述处理器执行上述任一项所述的预测方法。
28.本发明还提供一种计算机可读存储介质，计算机可读存储介质用于执行上述任一项所述的预测方法
29.本发明可辅助医生对肝细胞癌的精准诊断，为医生提供病理诊断参考，减轻医生工作量，提高诊断的准确性和诊断效率。
附图说明
30.图1为本发明的流程图。
31.图2为肝细胞癌常见组织亚型图像示意图，从左至右依次为粗梁型、细梁型、团片型、假腺管型。
32.图3为肝细胞癌罕见组织亚型图像示意图，从左至右依次为富脂型、巨梁型、透明细胞型。
33.图4为肝细胞癌不同组织学类型分类效果(混淆矩阵)。
34.图5为本发明病理图像空间分布图。
35.图6为团片型比例对肝细胞癌患者预后的影响。
36.图7至图11依次为粗梁型、假腺管型、团片型、细梁型和其他类型的roc曲线图。
具体实施方式
37.为了能够更清楚地理解本发明的上述目的、特征和优点，以下结合实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本实施例提供了一种基于病理图像的肝细胞癌常见组织学亚型智能量化系统，其流程如图1所示，具体步骤如下。
38.步骤一，获取肝细胞癌病理图像，具体包括：从tcga数据库中下载165例福尔马林侵泡肝细胞癌的病理切片，图片为svs格式；从某三甲医院中获取145张肝细胞癌病人的病理切片，格式为kfb格式，其中癌症病例71张，癌旁病例75张，将图像格式统一为svs格式；
39.步骤二，对肝细胞癌病理图像进行组织学注释，剔除非癌区域并注释不同的组织学亚型，具体为包括：团片型、细梁型、粗梁型、假腺管型、其他类型。如图2和图3所示，其中图2从左至右依次为粗梁型、细梁型、团片型、假腺管型的图像，图3从左至右依次为富脂型、巨梁型、透明细胞型等其他类型的罕见图像，将所述人工注释后的病理图像数据划定感兴趣区(roi)；
40.步骤三，对roi区域进行分类切割，获得不同区域组织学亚型的获得色块(tile)数据集，具体为，将所述病理组织切片图像切割为300像素
×
300像素的色块，并过滤掉无组织的空白图片和污染图片，删除不合格色块，具体数据如下表1所示；
41.表1
42.训练集、验证集(色块数)测试集(色块数)团片型9511272118细梁型982458407粗梁型8712128273假腺管型909028781其它类型56845875859
43.步骤四，对所述有效色块，分为训练集验证集和测试集，并输入卷积神经网络进行模型构建和图像特征提取，卷积神经网络模型通过输入层，4层卷积层和4层最大池化层，接着是3层全连接层，最后得到1024个特征。在卷积神经网络中，使用多个sigmiod激活函数作为分类器，该分类器将5分类模型转换成5个二分类模型；
44.步骤五，从输入的色块中自动提取图像特征，获得每个色块评分及色块特征值，根据评分和特征值画出roc曲线和空间分布图(如图5所示)，具体为使用roc曲线的auc值检验模型的准确度，如图7至图11所示，其分别为粗梁型、假腺管型、团片型、细梁型、其它类型的roc曲线图，五类auc值分别为粗梁型：0.980551，假腺管型0.996338，团片型：0.948388，细梁型：0.988601，其它类型：0.972581。混淆矩阵如下表2所示；
45.表2
46.test团片粗梁细梁假腺管其它(总)团片0.8330.0150.0390.0380.076粗梁0.0480.9100.0050.0030.035
细梁0.0670.0010.8770.0030.043假腺管0.0150.0020.0050.9730.006其它(总)0.0630.0140.0120.0060.905
47.步骤六，实现对所述肝细胞癌病理图像数据的分类预测。根据roc曲线得出的auc值验证了模型的准确度极高，混淆矩阵进一步显示肝细胞癌不同组织学类型分类预测的效果显著(如图4所示)。以团片型肝细胞癌为例，图6显示随着时间增加生存率从1逐渐下降，生存图得出团片型所占比例不同对肝细胞癌患者的预后具有显著的差异性(p＜0.05)，即低比例团片型患者的总体生存率高于高比例的团片型患者。
48.在一个实施案例中，基于病理图像的肝细胞癌常见组织学亚型的量化及空间分布预测系统，包括肝细胞癌组织切片图像处理模块、图像特征提取模块、特征选择评分计算模块、肝细胞癌癌不同组织学分类智能预测模块。其中：
49.肝细胞癌组织切片图像处理模块，将收集获取的病理图像切割成300像素
×
300像素的色块，并筛选有效色块；
50.图像特征提取模块，将预处理后的有效色块分为训练集验证集和测试集，并输入已构建的卷积神经网络进行图像特征提取；
51.特征值与评分计算模块，对每个色块的得出评分处理画出roc曲线；
52.肝细胞癌癌不同组织学分类智能预测模块，用于利用测试集数据对优化后的卷积神经网络进行预测，检验模型的准确度。
53.肝细胞癌不同组织学亚型分类模块，用于统计组织切片中每种组织学亚型的比例并绘制空间分布图。
54.在一个实施例中，一种计算机设，其包括存储器和处理器，存储器存储有计算机程序，计算机程序被所述处理器执行上述任一项所述的预测方法。
55.在一个实施例中，一种计算机可读存储介质，计算机可读存储介质用于执行上述任一项所述的预测方法。
56.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于，所述智能量化系统的执行步骤包括：步骤一，获取肝细胞癌病理图像，并剔除非癌区域；步骤二，对肝细胞癌区域的病理图像进行组织学注释，并将人工注释后的病理图像进行分区域提取，获得不同组织学亚型的roi数据集；步骤三，对分区域后的组织学亚型切片进行分类切割，获取有效色块；步骤四，将所述有效色块分为训练集、验证集和测试集，并输入卷积神经网络进行模型构建和图像特征提取；步骤五，从输入的色块中自动提取图像特征，获得每个色块评分，根据评分画出roc曲线；步骤六，实现对所述肝细胞癌病理图像数据的自动切割、分类预测、统计和空间分布图。2.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于，所述步骤一，肝细胞癌病理图像包括tcga肝细胞癌病理图像和医院获取的肝细胞癌病理图像，为方便处理，将非癌区域剔除。3.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于，所述步骤二，肝细胞癌不同组织学亚型的数据集包括常见型团片型、假腺管型、细梁型、粗梁型和其他类型的病理图像；其他类型为常见型之外的亚型。4.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于，所述步骤三，将注释后roi数据集的病理图像切割为300像素
×
300像素的色块，质控删除不合格色块。5.如权利要求3所述的基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于，所述步骤四，卷积神经网络模型通过输入层，4层卷积层和4层最大池化层，接着是3层全连接层，最后得到1024个特征；在卷积神经网络中，使用多个sigmiod激活函数作为分类器，该分类器将5个组织学亚型的分类模型转换成5个二分类模型。6.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型的智能量化系统，其特征在于，所述步骤五，对测试集的所有色块评分进行整理，作出roc曲线，使用roc曲线的auc值检验模型的准确度。7.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型的智能量化系统，其特征在于，所述步骤六，对测试集的所有色块评分进行分类预测、统计和空间分布图。8.如权利要求1所述的基于病理图像的肝细胞癌组织学亚型智能量化系统，其特征在于：所述智能量化系统包括：肝细胞癌组织切片图像处理模块，将收集获取的病理图像切割成300像素
×
300像素的色块，并筛选有效色块；图像特征提取模块，将预处理后的色块分为训练集和验证集，并输入已构建的卷积神经网络进行图像特征提取；评分计算模块，对每个色块的得出评分处理画出roc曲线；肝细胞癌不同组织学分类智能预测模块，用于利用测试集数据对优化后的卷积神经网络进行预测，检验模型的准确度；
肝细胞癌不同组织学分类自动量化模块，用于统计组织切片中每种组织学亚型的比例并绘制空间分布图。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于执行权利要求1-7中任一项所述的方法。

技术总结
本发明提出一种基于病理图像的肝细胞癌组织学亚型智能量化系统，步骤包括：获取肝细胞癌病理图像并进行预处理；勾画病理图像中不同组织学类型的感兴趣区(ROI，region of interest)，切割ROI获得色块(tile)，构建不同组织学类型的tile数据集；将数据集分为训练集、验证集和测试集，利用深度学习网络对数据集进行训练，获得组织学类型判别模型；自动进行肝细胞癌病理图像分析并统计各组织学亚型所占比例，生成最终的分析报告和分布轮廓。本发明能够充分利用病理图像的信息，通过自动化的分类训练和统计，得到的分类报告可以作为辅助医生的工具，提高诊断的效率和准确度。提高诊断的效率和准确度。提高诊断的效率和准确度。


技术研发人员：汤晓丽 谢锐翔 高建莹 邓立彬 娄伟明 鲁依辰 黄佳懿
受保护的技术使用者：南昌大学
技术研发日：2023.06.26
技术公布日：2023/10/11