基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统的制作方法

1.本发明涉及肺腺癌病理学分析技术，具体涉及基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统。


背景技术：

2.根据全球癌症报告显示，肺癌是癌症相关死亡的首要原因(18％)，在中国，肺癌的发病率和死亡率仍然是最高的，腺癌是最普遍的肺癌亚型，占所有病例的40％-45％，根据世界卫生组织，非粘液性腺癌的复杂结构模式包括表皮型、尖锐型、乳头型、实性和微乳头型。每种模式应该以5％至10％的增量进行半定量估计，以反应临床诊断中各组成部分的比例，肺腺癌的主要组织学亚型与预后有关，预后最好的形式是鳞状，其次是乳头状和针状，然后是实性和微乳头状。筛选排列作为一种独特的针状细胞类型，与预后较差有关，因此，精确识别非粘液性腺癌的亚组是非常重要的。
3.世界卫生组织提出了一个浸润性非粘液性肺腺癌的分级系统，当组织学上的高分模式(实性、微乳头、楔形和复杂腺体成分)大于或等于20％时，所有病例都被归类为分化不良的腺癌，当高级别结构小于20％，所有病例都被归类为分化不良的腺癌。当高级别结构小于20％且主要亚型为鳞状结构时，被归类为分化良好的腺癌，如果主要的亚型时针状或乳头状，则被归类为中度分化的腺癌，组织学分类对肺癌的临床管理有重大影响。在实践中，病理学家仔细检查和评估每个病例的所有切片，然后确定组织学亚型的构造和比例，但这个过程是劳动密集型、耗时且非常主观。由于每个亚型的比例在不同的病理学之间可能有所不同，所以需要人工智能弥补这一缺点。


技术实现要素：

4.本发明提供基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，以解决现有技术中存在的上述问题。
5.基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，包括：
6.数据构建模块：收集来自不同肺腺癌患者的若干张染色切片，所述染色切片包括非粘液性肺腺癌的所有组织学亚型；
7.数据注释模块：获取所述染色切片，并选取一张染色切片随机分配给两个病理学家分别进行初始标记和二次标记，用于进行像素级注释得到切片图像；
8.预处理模块：建立曲线坐标，用于提取像素级注释后切片图像的组织区域；
9.深度学习模块：对提取组织区域的切片图像进行增强训练，并进行测试得到切片图像亚型概率图，通过分析得到非粘液性肺腺癌的组织学亚型。
10.优选的，所述数据构建模块，包括：
11.样本分类单元：所述组织学亚型包括贴壁型、腺泡型、乳头型、实性型、微乳头型以及筛状；获取所述染色切片，并使用动态光学成像技术以400倍的放大率对染色切片进行扫描；经过扫描后得到染色切片的组织学亚型的种类不超过6种；
12.模型建立单元：将染色切片进行随机分类，分别选取若干张用来训练、验证以及测试；构建深度学习模型，并将不同类别的染色切片在深度学习模型中进行颜色标识。
13.优选的，所述像素级注释，包括：
14.语义分割单元：使用语义分割技术将切片图像中具有相似属性的像素组合在一起，作为目标检测视觉定位区域；
15.边缘检测单元：经过语义分割技术得到若干个目标检测视觉定位区域作为一次分类，并对区域内的每个像素进行边缘检测作为二次分类，使得语义相同的像素被分割在同一区域；
16.像素注释单元：使用全卷积网络对每一处区域内像素进行预测，同时保留原始的切片图像中的空间信息，最后在切片图像中进行采样，根据边缘检测分类的结果完成对切片图像的注释。
17.优选的，所述提取像素级注释后切片图像的组织区域，包括：
18.像素填充单元：在切片图像中建立曲线坐标，用于描述组织区域的轮廓，寻找所述曲线坐标中缺少完整轮廓的切片图像，对切片图像的像素层面进行智能封闭和填充后形成完整轮廓；
19.组织提取单元：建立切片图像的缩略图用于提取细胞内的组织区域，将切片图像分为320
×
320的像素的图像补丁，并放大200倍；
20.图像训练单元：在切片图像中定义生长准则，所述生准则作为切片图像中的特征描述；通过对图像补丁的扫描，在图像切片中寻找满足生长准则的像素为目标像素，收集所有目标像素的集合最终得到若干张训练图像。
21.优选的，所述对提取组织区域的切片图像进行增强训练，包括：
22.卷积构建单元：获取深度学习模型，并从卷积神经网络中的空洞空间卷积池化层中消除切片图像的图像级别特征，所述空洞空间卷积池化层中有1个1
×
1卷积和6个3
×
3卷积，空洞率为(2,4,6,8,10,12)，切输出步长为16；
23.数据训练单元：对切片图像进行随机旋转以及镜像模式增强切片图像中用来训练的数据；随机化切片图像的亮度、对比度、色调、饱和度、颜色抖动以及模糊；在数据训练过程中，使用系统的显卡与服务器在预设的基于数据流编程的符号数学系统中进行训练和评估。
24.优选的，所述通过分析得到非粘液性肺腺癌的组织学亚型，包括：
25.模型测试单元：使用系统内的优化器对深度学习模型进行训练，所述优化器的固定学习率为0.001，批量大小为32个切片图像，在训练25次迭代后终止训练；使用增加图像补丁的方式对切片图像进行测试，在通过若干次重叠计算后得到最终的切片图像；
26.标签定义单元：对深度学习模型进行提取，深度学习模型经过训练后为每个切片图像提供6种亚型以及非癌症的共7个概率图，并将每一种概率图定义不同的亚型标签。
27.优选的，所述通过分析得到粘液性肺腺癌的组织学亚型，还包括：
28.标签排序单元：对切片图像中的所有像素点进行分析，标记切片图像中当前位置像素对应预期标签的可能性；
29.亚型计算单元：获取所述概率图，并选取每个像素中经过概率图判断得到的最大概率，计算整张切片图像中不同亚型标签的总概率，得到亚型概率列表，通过将亚型概率列
表进行排序，最终得到浸润性非粘液性肺腺癌组织病理学的亚型。
30.优选的，所述深度学习模块，包括：
31.图像分割子模块：获取患者病例的正电子发射断层显像即pet图像以及计算机断层影像即ct图像，将pet图像以及ct图像进行兴趣区域分割，用于检测患者病例是否发生基因突变，将ct图像的感兴趣区域进行勾画，所述感兴趣区域为ct图像中肿瘤、毛刺以及胸膜牵拉部分；分割pet图像中与ct图像中所在肿瘤位置的相同部位用于定位肿瘤；
32.随机分组子模块：将完成分割后pet图像与ct图像的图像样本进行分类，并按照90％图像样本作为训练集以及10％作为测试集的模式通过随机分组得到分组任务。
33.优选的，所述深度学习模块，还包括：
34.模型建立子模块：建立特征提取模型，用于存储pet图像与ct图像的特征描述，获取所述分组任务，提取特征模型中pet图像与ct图像的灰度相似值作为第一特征；获取第一特征中的灰度相似值，并使用随机森林算法进行特征选择为第二特征，最终得到pet图像与ct图像的特征组合；
35.特征分类子模块：在特征提取模型中形成关于pet图像与ct图像的特征热图，设定特征热图中ct图像与pet图像的相关性阈值，作为鉴定表皮生长因子中发生基因突变的独立预测因子，并判断基因突变的种类为19外显因子缺失突变与21外显因子缺失突变。
36.优选的，所述鉴定表皮生长因子中发生基因突变的独立预测因子，包括：
37.深度学习单元：使用残差网络通过学习残差函数构建图像分类模型，使用图像分类模型构建深度学习网络，所述深度学习网络中包含两个独立的分支，通过对经过预处理后的pet图像与ct图像进行处理；分别将pet图像与ct图像作为两个分支输入到二维卷积层中，通过保留图像像素尺度维持图像特征；
38.特征分类单元：对pet图像与ct图像进行采样并提取重要信息，通过提取信息内容作为对图像分类模型的特征提取，鉴别肺腺癌基因突变状态以及亚型，将经过图像分类模型检测到的19外显因子缺失突变与野生基因型作为第一模型，检测得到21外显因子缺失突变与19外显因子缺失突变作为第二模型，检测到21外显因子缺失突变与野生基因型作为第三模型。
39.与现有技术相比，本发明具有以下优点：
40.本发明提供基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，通过计算亚型概率的方式，使分析系统在临床管理中产生了巨大的影响，有利于临床医生对肺腺癌有更高效的观察。
41.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
42.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
43.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
44.图1为本发明实施例中基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统的
模块结构图；
45.图2为本发明实施例中肺腺癌切片图像亚型与非癌症的7个概率图；
46.图3为本发明实施例中肺腺癌切片图像不同亚型概率的计算方式结构图。
具体实施方式
47.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
48.参照图1，本发明实施例提供了基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，包括：
49.数据构建模块：收集来自不同肺腺癌患者的若干张染色切片，所述染色切片包括非粘液性肺腺癌的所有组织学亚型；
50.数据注释模块：获取所述染色切片，并选取一张染色切片随机分配给两个病理学家分别进行初始标记和二次标记，用于进行像素级注释得到切片图像；
51.预处理模块：建立曲线坐标，用于提取像素级注释后切片图像的组织区域；
52.深度学习模块：对提取组织区域的切片图像进行增强训练，并进行测试得到切片图像亚型概率图，通过分析得到非粘液性肺腺癌的组织学亚型。
53.上述技术方案的有益效果为：采用本实施例提供的方案，通过对染色切片进行分类，并进行注释提取得到组织区域，最后经过深度学习得到肺腺癌的分类结果，有利于精准的做到组织病理学分析。
54.在另一实施例中，所述数据构建模块，包括：
55.样本分类单元：所述组织学亚型包括贴壁型、腺泡型、乳头型、实性型、微乳头型以及筛状；获取所述染色切片，并使用动态光学成像技术以400倍的放大率对染色切片进行扫描；经过扫描后得到染色切片的组织学亚型的种类不超过6种；
56.模型建立单元：将染色切片进行随机分类，分别选取若干张用来训练、验证以及测试；构建深度学习模型，并将不同类别的染色切片在深度学习模型中进行颜色标识。
57.上述技术方案的工作原理为：本实施例采用的方案是，在对肺腺癌的组织学病例中，病理学家必须仔细检查和评估每个病例的所有切片，然后确定组织学亚型的构成和比例，这个过程是劳动密集型的，但是人工智能可以弥补这一缺点，随着数字扫描技术的发展，整张染色切片构成了人工智能辅助病历系统的巨大数据库。一个肺腺癌可能包含多达六中亚型，包括贴壁型、腺泡型、乳头型、实性型、微乳头型和筛状。通过开发一种非粘液性肺腺癌组织学亚型的多分类模型，使用523张染色切片进行了训练和评估，使用语义分割网络和特征提取对染色切片进行分类，完成深度学习。其中，523张染色切片分别来自不同的患者，这些染色切片样本了非粘液性肺腺癌的组织学所有亚型，并由动态光学成像技术以400倍的放大率进行扫描，每个染色切片的组织学亚型不超过6中。随机分配376个用于训练，27个用于验证，120用于测试。通过建立和评估深度学习模型，以更好的完成研究。
58.上述技术方案的有益效果为：采用本实施例提供的方案，通过采集染色切片并进行放大扫描，有利于深度学习模型进行观察分类。
59.在另一实施例中，所述像素级注释，包括：
60.语义分割单元：使用语义分割技术将切片图像中具有相似属性的像素组合在一
起，作为目标检测视觉定位区域；
61.边缘检测单元：经过语义分割技术得到若干个目标检测视觉定位区域作为一次分类，并对区域内的每个像素进行边缘检测作为二次分类，使得语义相同的像素被分割在同一区域；
62.像素注释单元：使用全卷积网络对每一处区域内像素进行预测，同时保留原始的切片图像中的空间信息，最后在切片图像中进行采样，根据边缘检测分类的结果完成对切片图像的注释。
63.上述技术方案的工作原理为：本实施例采用的方案是，对染色切片进行语义级别图像分割，最终得到对应位置的每个像素的分类结果，对每个像素进行边缘检测，即对每一个像素做一次二分类，其目的是将图像分割为若干个区域，并使得语义相同的像素被分割在统一区域内。使用全卷积网络对每一处区域进行预测，同时保留原始图像中的空间信息，最后通过采样进行逐个像素分类，得到切片图像的注释。
64.上述技术方案的有益效果为：采用本实施例提供的方案，通过对切片图像进行分类，使得切片图像更容易被观察以及训练。
65.在另一实施例中，所述提取像素级注释后切片图像的组织区域，包括：
66.像素填充单元：在切片图像中建立曲线坐标，用于描述组织区域的轮廓，寻找所述曲线坐标中缺少完整轮廓的切片图像，对切片图像的像素层面进行智能封闭和填充后形成完整轮廓；
67.组织提取单元：建立切片图像的缩略图用于提取细胞内的组织区域，将切片图像分为320
×
320的像素的图像补丁，并放大200倍；
68.图像训练单元：在切片图像中定义生长准则，所述生准则作为切片图像中的特征描述；通过对图像补丁的扫描，在图像切片中寻找满足生长准则的像素为目标像素，收集所有目标像素的集合最终得到若干张训练图像。
69.上述技术方案的工作原理为：本实施例采用的方案是，建立曲线坐标对收集到的经过像素级注释的切片图像进行数据预处理，标记曲线坐标中没有完整轮廓的切片图像，然后在切片图像的像素层面上进行封闭后的填充处理。在填充曲线坐标中的嵌套曲线时，优先考虑填充外部曲线。在数据完成预处理后，继续对切片图像进行训练，获取每个切片图像的缩略图用于提取细胞的组织区域，将切片图像分割为320
×
320像素的图像补丁，并放大200倍，定义一处作为生长准则，在每个分割区域内寻找目标像素，通过对图像补丁的扫描，依次在目标像素的邻域周围寻找满足生长准则的像素并进行合并，继续检查该区域内的全部相邻点，并把满足生长准则的点合并至该区域内，重复过程直到找不到满足条件的像素为止，最终得到若干张训练图像。
70.上述技术方案的有益效果为：采用本实施例提供的方案，使用建立坐标曲线的方式对切片图像的残缺轮进行轮廓填充得到完整的切片图像，并对切片图像进行组织区域提取，得到训练图像，有利于完成对组织病理学亚型的分类。
71.在另一实施例中，所述对提取组织区域的切片图像进行增强训练，包括：
72.卷积构建单元：获取深度学习模型，并从卷积神经网络中的空洞空间卷积池化层中消除切片图像的图像级别特征，所述空洞空间卷积池化层中有1个1
×
1卷积和6个3
×
3卷积，空洞率为(2,4,6,8,10,12)，切输出步长为16；
73.数据训练单元：对切片图像进行随机旋转以及镜像模式增强切片图像中用来训练的数据；随机化切片图像的亮度、对比度、色调、饱和度、颜色抖动以及模糊；在数据训练过程中，使用系统的显卡与服务器在预设的基于数据流编程的符号数学系统中进行训练和评估。
74.参照图2，在另一实施例中，所述通过分析得到粘液性肺腺癌的组织学亚型，包括：
75.模型测试单元：使用系统内的优化器对深度学习模型进行训练，所述优化器的固定学习率为0.001，批量大小为32个切片图像，在训练25次迭代后终止训练；使用增加图像补丁的方式对切片图像进行测试，在通过若干次重叠计算后得到最终的切片图像；
76.标签定义单元：对深度学习模型进行提取，深度学习模型经过训练后为每个切片图像提供6种亚型以及非癌症的7个概率图，并将每一种概率图定义不同的亚型标签。
77.上述技术方案的工作原理为：本实施例采用的方案是，通过动态光学成像技术对切片图像从卷积神经网络中的空洞空间卷积池化层消除图像级别的特征。在空洞空间卷积层中，有一个1
×
1的卷积和6个3
×
3的卷积，且空洞率为(2，4，6，8，10，12)输出步长为16，用与提取切片图像中的特征并进行处理。由于切片图像是没有特定方向的，所以使用随即旋转以及镜像模式来增强需要训练的数据即切片图像，进一步随机优化图像的亮度、对比度、色调即平均颜色饱和度、颜色抖动和模糊。在有两个显卡(nvidia gtx080ti gpu)和linux操作系统(ubuntn)服务器上，所有深度学习模型均采用基于数据流编程的符号数学系统(tensorflow)来训练和评估的。为了训练深度学习模型，通过利用adam优化器，根据历史梯度的震荡情况和过滤震旦过后的真实历史梯度对变量进行更新，且固定学习率为0.001。将深度学习的切片图像批量数量的大小设置为32，并在训练25次迭代以后终止。
78.为了保留图像切片周围区域的环境信息，在训练之前对切片图像进行测试，将每个图像补丁增加10％，使切片图像的像素从2000
×
2000增长至2200
×
2200像素，并使用重叠的方法完成对若干张测试切片图像进行图像补丁增加。
79.上述技术方案的有益效果为：采用本实施例提供的方案，通过对切片图像进行训练，并利用卷积神经网路对切片进行深度学习，使得切片图像更容易被分类。
80.在另一实施例中，所述通过分析得到粘液性肺腺癌的组织学亚型，还包括：
81.标签排序单元：对切片图像中的所有像素点进行分析，标记切片图像中当前位置像素对应预期标签的可能性；
82.亚型计算单元：获取所述概率图，并选取每个像素中经过概率图判断得到的最大概率，计算整张切片图像中不同亚型标签的总概率，得到亚型概率列表，通过将亚型概率列表进行排序，最终得到浸润性非粘液肺腺癌组织病理学的亚型。
83.上述技术方案的工作原理为：在进行上述训练以后，深度学习模型为每个切片图像提供7种概率图，其中包括六种亚型以及非癌症，概率图反应当前位置的像素基于预期的可能性，作为最终的结果，从概率图中抽取每个像素的最大概率得到非粘液性肺腺癌可能组织学亚型的概率列表，其中，概率列表示通过计算和排序所有像素标签得到的。
84.使用特征选择法计算组织亚型中特征变量的相关性评分并进行排序，在排序好后根据设定的阈值选定预期概率，公式如下：
[0085][0086]
其中，m1、m2分别为当前切片图像的任意一种亚型概率，则分别代表两张不同切片图像样本亚型概率的整体均值，n1、n2分别代表不同样本的个数，t则为计算得到的切片图像亚型预期概率值。
[0087]
上述技术方案的有益效果为：采用本实施例提供的方案，通过深度学习模型为切片图像计算出概率图像，精准的为切片图像的组织学亚型进行分类，完成对浸润性肺腺癌的病例分析。
[0088]
参照图3，在另一实施例中，所述深度学习模块，包括：
[0089]
图像分割子模块：获取患者病例的正电子发射断层显像即pet图像以及计算机断层影像即ct图像，将pet图像以及ct图像进行兴趣区域分割，用于检测患者病例是否发生基因突变，将ct图像的感兴趣区域进行勾画，所述感兴趣区域为ct图像中肿瘤、毛刺以及胸膜牵拉部分；分割pet图像中与ct图像中所在肿瘤位置的相同部位用于定位肿瘤；
[0090]
随机分组子模块：将完成分割后pet图像与ct图像的图像样本进行分类，并按照90％图像样本作为训练集以及10％作为测试集的模式通过随机分组得到分组任务。
[0091]
上述技术方案的工作原理为：本实施例采用的方案是，采集患者的正电子发射断层显像(pet)以及计算机断层影像(ct)并进行分割，首先对ct图像中的感兴趣区域进行勾画，所述感兴趣区域为肿瘤区域，周边的渗出、血管以及索条不在感兴趣区域内，将肿瘤的毛刺、胸膜牵拉勾画入感兴趣区域，每个层面勾画完成后得到3d的肿瘤感兴趣区域，在对pet图像进行分割时，首先在ct图像中肿瘤所在位置的相同部位定位肿瘤，以免再肿瘤代谢程度较低时错误识别，将所有pet图像以及ct图像按照90％作为训练集以及10％作为测试集进行随机分组形成分组任务。
[0092]
在另一实施例中，所述深度学习模块，还包括：
[0093]
模型建立子模块：建立特征提取模型，用于存储pet图像与ct图像的特征描述，获取所述分组任务，提取特征模型中pet图像与ct图像的灰度相似值作为第一特征；获取第一特征中的灰度相似值，并使用随机森林算法进行特征选择为第二特征，最终得到pet图像与ct图像的特征组合；
[0094]
特征分类子模块：在特征提取模型中形成关于pet图像与ct图像的特征热图，设定特征热图中ct图像与pet图像的相关性阈值，作为鉴定表皮生长因子中发生基因突变的独立预测因子，并判断基因突变的种类为19外显因子缺失突变与21外显因子缺失突变。
[0095]
上述技术方案的工作原理为：建立特征提取模型，用于存储pet图像与ct图像的特征，提取特征提取模型中的第一特征，包括灰度共生矩阵特征、灰度大小区域矩阵特征、灰度游程矩阵特征、相邻灰度差矩阵特征以及灰度依赖矩阵特征。从分组任务中提取若干个特征。每组任务中采用随机森林进行特征选择为第二特征，分别得到ct与pet图像的特征组合，选取与不同肺腺癌亚型状态密切相关的特征分析是否存在基因突变可能，在特征提取模型中形成特征热图用于，将ct图像与pet图像中第一相关性阈值的为表皮生长因子中发生基因突变的独立预测因子，作为第一训练组，将ct图像与pet图像中第二相关性阈值的为
表皮生长因子中19外显因子缺失点基因突变的独立预测因子，作为第二训练组，将ct图像与pet图像中第二相关性阈值的为表皮生长因子中21外显因子缺失点基因突变的独立预测因子，作为第三训练组。
[0096]
上述技术方案的有益效果为：采用本实施例提供的方案，通过鉴别基因突变的类型，使肺腺癌的种类更准确被观察并最终确定肺腺癌的亚型。
[0097]
在另一实施例中，所述鉴定表皮生长因子中发生基因突变的独立预测因子，包括：
[0098]
深度学习单元：使用残差网络通过学习残差函数构建图像分类模型，使用图像分类模型构建深度学习网络，所述深度学习网络中包含两个独立的分支，通过对经过预处理后的pet图像与ct图像进行处理；分别将pet图像与ct图像作为两个分支输入到二维卷积层中，通过保留图像像素尺度维持图像特征；
[0099]
特征分类单元：对pet图像与ct图像进行采样并提取重要信息，通过提取信息内容作为对图像分类模型的特征提取，鉴别肺腺癌基因突变状态以及亚型，将经过图像分类模型检测到的19外显因子缺失突变与野生基因型作为第一模型，检测得到21外显因子缺失突变与19外显因子缺失突变作为第二模型，检测到21外显因子缺失突变与野生基因型作为第三模型。
[0100]
上述技术方案的工作原理为：本实施例采用的方案是，使用残差网络通过学习残差函数构建分类模型，构建深度学习网络，其中深度学习网络中有两个独立的分支，对经过预处理后的pet图像和ct图像进行处理，每个分支使用相同的网络结构，分别将经过图像预处理后的pet图像和ct图像作为两个分支输入到二维卷积网络中进行第一次卷积，再经过池化后压缩图像，保持图像尺度不变的特征，经过卷积后对图像进行标准化的非线性处理作为输出，去除冗余的信息，提取重要特征，并将特征展平。对处理后的特征图像进行检测得到19外显因子缺失突变与野生基因型作为第一模型，检测得到21外显因子缺失突变与19外显因子缺失突变作为第二模型，检测到21外显因子缺失突变与野生基因型作为第三模型。
[0101]
在对pet图像与ct图像样本的亚型进行分类时，使用相关性网络调节权重的递归特征清除算法提取图像中的基因特征，公式如下：
[0102][0103]
其中，利用拓扑重叠的方法将图像样本中信息转化为一个矩阵t，矩阵中的每个元素为t(i,j)，a
ij
代表每两种基因的相关性，p代表基因的个数，a
ip
为pet图像的信息关联矩阵，a
pj
为ct图像的信息关联矩阵。
[0104]
上述技术方案的有益效果为：采用本实施例提供的方案，通过建立图像分类模型，使肺腺癌基因突变亚型得到更准确的鉴定。
[0105]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，包括：数据构建模块：收集来自不同肺腺癌患者的若干张染色切片，所述染色切片包括非粘液性肺腺癌的所有组织学亚型；数据注释模块：获取所述染色切片，并选取一张染色切片随机分配给两个病理学家分别进行初始标记和二次标记，用于进行像素级注释得到切片图像；预处理模块：建立曲线坐标，用于提取像素级注释后切片图像的组织区域；深度学习模块：对提取组织区域的切片图像进行增强训练，并进行测试得到切片图像亚型概率图，通过分析得到非粘液性肺腺癌的组织学亚型。2.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述数据构建模块，包括：样本分类单元：所述组织学亚型包括贴壁型、腺泡型、乳头型、实性型、微乳头型以及筛状；获取所述染色切片，并使用动态光学成像技术以400倍的放大率对染色切片进行扫描；经过扫描后得到染色切片的组织学亚型的种类不超过6种；模型建立单元：将染色切片进行随机分类，分别选取若干张用来训练、验证以及测试；构建深度学习模型，并将不同类别的染色切片在深度学习模型中进行颜色标识。3.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述像素级注释，包括：语义分割单元：使用语义分割技术将切片图像中具有相似属性的像素组合在一起，作为目标检测视觉定位区域；边缘检测单元：经过语义分割技术得到若干个目标检测视觉定位区域作为一次分类，并对区域内的每个像素进行边缘检测作为二次分类，使得语义相同的像素被分割在同一区域；像素注释单元：使用全卷积网络对每一处区域内像素进行预测，同时保留原始的切片图像中的空间信息，最后在切片图像中进行采样，根据边缘检测分类的结果完成对切片图像的注释。4.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述提取像素级注释后切片图像的组织区域，包括：像素填充单元：在切片图像中建立曲线坐标，用于描述组织区域的轮廓，寻找所述曲线坐标中缺少完整轮廓的切片图像，对切片图像的像素层面进行智能封闭和填充后形成完整轮廓；组织提取单元：建立切片图像的缩略图用于提取细胞内的组织区域，将切片图像分为320
×
320的像素的图像补丁，并放大200倍；图像训练单元：在切片图像中定义生长准则，所述生准则作为切片图像中的特征描述；通过对图像补丁的扫描，在图像切片中寻找满足生长准则的像素为目标像素，收集所有目标像素的集合最终得到若干张训练图像。5.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述对提取组织区域的切片图像进行增强训练，包括：卷积构建单元：获取深度学习模型，并从卷积神经网络中的空洞空间卷积池化层中消除切片图像的图像级别特征，所述空洞空间卷积池化层中有1个1
×
1卷积和6个3
×
3卷积，
空洞率为(2,4,6,8,10,12)，切输出步长为16；数据训练单元：对切片图像进行随机旋转以及镜像模式增强切片图像中用来训练的数据；随机化切片图像的亮度、对比度、色调、饱和度、颜色抖动以及模糊；在数据训练过程中，使用系统的显卡与服务器在预设的基于数据流编程的符号数学系统中进行训练和评估。6.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述通过分析得到非粘液性肺腺癌的组织学亚型，包括：模型测试单元：使用系统内的优化器对深度学习模型进行训练，所述优化器的固定学习率为0.001，批量大小为32个切片图像，在训练25次迭代后终止训练；使用增加图像补丁的方式对切片图像进行测试，在通过若干次重叠计算后得到最终的切片图像；标签定义单元：对深度学习模型进行提取，深度学习模型经过训练后为每个切片图像提供6种亚型以及非癌症的共7个概率图，并将每一种概率图定义不同的亚型标签。7.根据权利要求6所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述通过分析得到粘液性肺腺癌的组织学亚型，还包括：标签排序单元：对切片图像中的所有像素点进行分析，标记切片图像中当前位置像素对应预期标签的可能性；亚型计算单元：获取所述概率图，并选取每个像素中经过概率图判断得到的最大概率，计算整张切片图像中不同亚型标签的总概率，得到亚型概率列表，通过将亚型概率列表进行排序，最终得到浸润性非粘液性肺腺癌组织病理学的亚型。8.根据权利要求1所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述深度学习模块，包括：图像分割子模块：获取患者病例的正电子发射断层显像即pet图像以及计算机断层影像即ct图像，将pet图像以及ct图像进行兴趣区域分割，用于检测患者病例是否发生基因突变，将ct图像的感兴趣区域进行勾画，所述感兴趣区域为ct图像中肿瘤、毛刺以及胸膜牵拉部分；分割pet图像中与ct图像中所在肿瘤位置的相同部位用于定位肿瘤；随机分组子模块：将完成分割后pet图像与ct图像的图像样本进行分类，并按照90％图像样本作为训练集以及10％作为测试集的模式通过随机分组得到分组任务。9.根据权利要求8所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述深度学习模块，还包括：模型建立子模块：建立特征提取模型，用于存储pet图像与ct图像的特征描述，获取所述分组任务，提取特征模型中pet图像与ct图像的灰度相似值作为第一特征；获取第一特征中的灰度相似值，并使用随机森林算法进行特征选择为第二特征，最终得到pet图像与ct图像的特征组合；特征分类子模块：在特征提取模型中形成关于pet图像与ct图像的特征热图，设定特征热图中ct图像与pet图像的相关性阈值，作为鉴定表皮生长因子中发生基因突变的独立预测因子，并判断基因突变的种类为19外显因子缺失突变与21外显因子缺失突变。10.根据权利要求9所述的基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，其特征在于，所述鉴定表皮生长因子中发生基因突变的独立预测因子，包括：深度学习单元：使用残差网络通过学习残差函数构建图像分类模型，使用图像分类模型构建深度学习网络，所述深度学习网络中包含两个独立的分支，通过对经过预处理后的
pet图像与ct图像进行处理；分别将pet图像与ct图像作为两个分支输入到二维卷积层中，通过保留图像像素尺度维持图像特征；特征分类单元：对pet图像与ct图像进行采样并提取重要信息，通过提取信息内容作为对图像分类模型的特征提取，鉴别肺腺癌基因突变状态以及亚型，将经过图像分类模型检测到的19外显因子缺失突变与野生基因型作为第一模型，检测得到21外显因子缺失突变与19外显因子缺失突变作为第二模型，检测到21外显因子缺失突变与野生基因型作为第三模型。

技术总结
本发明公开了基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统，包括：收集来自不同肺腺癌患者的若干张染色切片，所述染色切片包括非粘液性肺腺癌的所有组织学亚型；获取所述染色切片，并选取一张染色切片随机分配给两个病理学家分别进行初始标记和二次标记，用于进行像素级注释得到切片图像；建立曲线坐标，用于提取像素级注释后切片图像的组织区域；对提取组织区域的切片图像进行增强训练，并进行测试得到切片图像亚型概率图，通过分析得到非粘液性肺腺癌的组织学亚型。通过对肺腺癌组织病理学亚型的分类，对肺腺癌的临床管理有重大影响。影响。影响。


技术研发人员：王书浩 田艳杰
受保护的技术使用者：北京透彻未来科技有限公司
技术研发日：2023.04.17
技术公布日：2023/7/25