X光影像分析方法与流程

x光影像分析方法
技术领域
1.本发明是有关于一种影像分析方法，特别是指一种利用神经网络模型进行x光影像分析的方法。


背景技术：

2.双能量x光吸光式测定仪(dual energy x-ray absorptiometry，dxa)，俗称骨密度仪，可产生两种能量的x光。由于不同能量的x光被不同介质衰减的程度不同。介质的密度越高，对x光造成的衰减越大。从而，可检测出身体各部位的骨质密度。然而，一般使用dxa所需量测时间需要15至20分钟，其仪器成本也较一般x光机昂贵，并不利于推广民众检测。


技术实现要素：

3.本发明一实施例提出一种x光影像分析方法。x光影像分析方法，经由计算机执行，包括：接收x光影像；确认x光影像的影像质量是否符合需求；选取x光影像中的至少一检测区域；对检测区域中的目标影像执行影像标准化处理以获得待分析影像；及输入待分析影像至影像分类模型，以获得骨质密度分析结果。
4.依据本发明实施例的x光影像分析方法，可根据x光影像自动分析出骨质密度分析结果。依据一些实施例，还可进一步地分析出风险值。
附图说明
5.图1为本发明一实施例的x光影像分析方法流程图。
6.图2为本发明一实施例的影像标准化处理的细部流程图。
7.图3为本发明另一实施例的影像标准化处理的细部流程图。
8.图4为本发明一实施例的影像分类处理的细部流程图。
9.图5为本发明另一实施例的影像分类处理的细部流程图。
10.图6为本发明一实施例的风险值预测的细部流程图。
11.图7为本发明另一实施例的风险值预测的细部流程图。
12.图8为本发明再一实施例的风险值预测的细部流程图。
13.图9为本发明又一实施例的风险值预测的细部流程图。
14.图10a为符合需求的x光影像的示意图。
15.图10b为不符合需求的x光影像的示意图。
16.图10c为另一不符合需求的x光影像的示意图。
17.附图标记说明如下：
18.100 接收x光影像
19.101 确认x光影像的影像质量是否符合需求
20.200 选取检测区域
21.300 影像标准化处理
22.301,311 影像清晰处理
23.302,312 最小边裁切
24.303,315 缩放
25.313 计算高纹理特征区
26.314 范围取样
27.400 输入至影像分类模型
28.401 输入至三元组损失模型
29.402 主成分分析
30.403 根据坐标落点获得分析类型
31.404,413 统合所有分析类型
32.411 输入至卷积神经网络
33.412 获得分析类型
34.500 获得骨质密度分析结果
35.600 特征正规化
36.700 输入特征至风险值预测模型
37.800 获得风险值
具体实施方式
38.参照图1，为本发明一实施例的x光影像分析方法流程图。首先，接收x光影像(步骤100)。
39.在一些实施例中，x光影像是脊椎x光影像、股骨x光影像、锁骨x光影像或掌骨x光影像。通过分析所述脊椎x光影像、股骨x光影像、锁骨x光影像或掌骨x光影像的特征，来判断对应部位是否发生骨质流失所造成细微纹理结构变化，据以推估是否发生骨质疏松的情形。所述x光影像是通过诊断型x光机、移动型x光机或x光机巡回车来取得，其设备成本与量测时间均较传统使用双能量x光吸光式测定仪低。
40.在步骤101中，确认x光影像的影像质量是否符合需求。若符合需求，则接续后续步骤；若否，则结束流程。具体来说，本步骤可通过canny、focus、sobel、laplacian等算子函数来检验x光影像的影像质量。例如可设定一阈值，根据对x光影像执行前述其中一个算子函数后的结果与该阈值相比，若低于该阈值则表示符合需求。举例来说，sobel算子可计算水平和垂直方向梯度，梯度值过高，表示影像包括过度噪声。如图10a所示，为符合需求的x光影像的示意图；如图10b所示，为不符合需求的x光影像的示意图，可以看到图中包括过多的噪声点；如图10c所示，为另一不符合需求的x光影像的示意图，可以看到图中包括若干水平纹路。由此，可检测x光影像中的纹理是否足够清晰，以筛选出足够清晰的影像，避免后续判别结果错误。
41.在一些实施例，可采用多个算子函数，该等算子函数分别对应有一阈值，当该等算子函数的计算结果均低于对应的阈值，则判断x光影像的影像质量符合需求。
42.在步骤200中，选取x光影像中的至少一检测区域。举例来说，对于股骨x光影像，是以股骨颈部位作为检测区域。
43.在一些实施例中，步骤200还提供用户接口来供用户圈选出所述检测区域。
44.在一些实施例中，步骤200是通过对象侦测模型来实现。所述对象侦测模型可例如为mask r-cnn、yolo等模型。所述对象侦测模型是需要预先训练的，通过输入多重样本影像及相应的含有侦测目标(如股骨颈部位)的标注区域至对象侦测模型，来训练对象侦测模型侦测出股骨x光影像中的股骨颈部位。
45.在步骤300中，对于检测区域中的目标影像，执行影像标准化处理，以获得待分析影像。为了说明的流畅，影像标准化处理的细部流程将留待后述。通过影像标准化处理，可获得合适尺寸且所需细节清晰的影像，适宜输入至影像分类模型中。
46.在步骤400中，将经过处理的待分析影像输入至影像分类模型中；接着，于步骤500中，根据影像分类模型的输出，获得骨质密度分析结果。影像分类模型为神经网络模型，于后将再具体说明实现方式。所述骨质密度分析结果可例如是，有无罹患骨质疏松症或骨质密度数值等。
47.在一些实施例中，检测区域的尺寸是依据神经网络模型的输入规格来决定。例如，若适合输入至神经网络模型的影像尺寸为224像素见方，则检测区域的尺寸则同样为224像素见方。
48.参照图2，为本发明一实施例的影像标准化处理的细部流程图。影像标准化处理步骤300包括影像清晰处理(步骤301)、最小边裁切(步骤302)及缩放(步骤303)。
49.在步骤301中，可利用锐利化(sharpen)处理或均衡化处理(如直方图均衡化)来使影像细节更加清楚。在执行锐利化处理或均衡化处理之前，还包括灰阶化处理，以将为彩色的目标影像转换为灰阶影像。若目标影像已为灰阶影像，则无需执行灰阶化处理。
50.在步骤302中，是对目标影像进行裁切处理。若目标影像尺寸不符合前述神经网络模型的需求尺寸，则将目标影像裁切至相应的尺寸。例如，目标影像为长方形，则以短边为基准对长边进行裁切，以获得正方形影像。
51.在步骤303中，若经过步骤302处理后的影像尺寸不符合前述神经网络模型的尺寸，则对其进行缩放处理(等比例缩小或放大)，以获得前述神经网络模型的需求尺寸。经由前述步骤301至303，对目标影像进行预处理之后，可获得待分析影像。
52.参照图3，为本发明另一实施例的影像标准化处理的细部流程图。相较于图2，本实施例的影像标准化处理还包括计算高纹理特征区的步骤(步骤313)及范围取样的步骤(步骤314)。步骤311、312及315分别与步骤301、302及303相同，于此不再重复说明。
53.在步骤313中，采用边缘检测算法来检测影像中的纹理。边缘检测算法可例如为canny算法、sobel算法等。特别是对于骨质疏松的识别，通过步骤313可以找出具有最多骨质纹理的区域。
54.在步骤314中，依据步骤313所找出的最多骨质纹理区域的中心，扩大特定范围，在该特定范围中随机取样出多个与检测区域相同大小的区域影像，以供后续于步骤400将此些区域影像输入至影像分类模型。在此，由于取样出的区域影像是符合神经网络模型的需求尺寸，因此步骤315可省略。
55.参照图4，为本发明一实施例的影像分类处理的细部流程图。在步骤401中，将前述待分析影像或区域影像输入至影像分类模型。在此，影像分类模型为三元组损失(triplet loss)模型。三元组损失模型用于训练差异性较小的数据集。输入数据包括锚(anchor)示例、正(positive)示例和负(negative)示例。通过优化模型，使得锚示例与正示例的距离小
于锚示例与负示例的距离，实现样本的相似性计算。其中锚示例是样本集中随机选取的一个样本，正示例与锚示例属于同一类的样本，而负示例与锚示例属于不同类的样本。如此，可通过三元组损失模型对影像特征进行分群。例如，区分为罹患骨质疏松症的群集与没有罹患骨质疏松症的群集。
56.在步骤402中，将三元组损失模型的输出结果，通过主成分分析(principal component analysis，pca)降维。主成分分析可对于数据在特征空间找到一个投影轴，投影后可以得到这组数据的最大变异量。由此，可以有效的减少维度数，但整体变异量并没有减少太多。如此，可利用主成分分析对分群结果进行降维，以取得各群的分布坐标信息。经过步骤401、402，可将输入三元组损失模型的待分析影像或区域影像转换成一坐标落点。
57.在步骤403中，根据训练过程所获得的各个群的分布坐标信息，判断此坐标落点位于其中的哪一个群集范围，来获得此影像应属于哪一群(或称为分析类型)。
58.步骤404是统合所有分析类型。在此，是指对于对应于同一张x光影像所撷取的每一待分析影像或每一区域影像所获得的分析类型进行统合。举例来说，若对于同一x光影像撷取了三个区域影像，此三个区域影像在经过前述步骤401至403之后会分别得到一个分析类型；在步骤404则统合此三个分析类型，使得于步骤500中可根据统合结果来获得骨质密度分析结果。具体来说，是依据分析类型中的多数者来作为骨质密度分析结果。例如，三个分析类型为二个罹患骨质疏松症类型及一个没有罹患骨质疏松症类型，则依据多数决来认定属于罹患骨质疏松症的骨质密度分析结果。
59.参照图5，为本发明另一实施例的影像分类处理的细部流程图。与图4的差异在于，本实施例是使用卷积神经网络(convolutional neural networks，cnn)作为影像分类模型，例如深度残差网络(deep residual network，resnet)、googlelenet、densenet等。在训练模型时，将作为训练样本的x光影像依据前述方式取得待分析影像或区域影像并标注该x光影像的分析类型，输入至模型中。卷积神经网络的最末层为权重分类器(如xgboost)，以根据提取特征预测可能的类别机率。因此，在进行预测判断时，将待识别的x光影像依据前述方式取得待分析影像或区域影像输入至模型中(步骤411)，而可获得预测的分析类型(步骤412)。步骤413与前述步骤404相同，于此不重复说明。
60.参照图6，为本发明一实施例的风险值预测的细部流程图。承接前述图5的实施例，在一些实施例中，还可重复利用卷积神经网络提取的特征。将该等提取特征输入至另一神经网络模型(于此称风险值预测模型)中(步骤700)。在此，风险值预测模型可以为多层感知器(multilayer perceptron，mlp)。于训练时，将训练样本对应的提取特征和对应的风险值输入至风险值预测模型中，使得在进行预测判断时，可以根据待识别样本的提取特征进行风险值的预测，而获得预测的风险值(步骤800)。在骨质疏松识别应用中，风险值可以例如是t评分(t-scores)参数或骨折风险评估(fracture risk assessment，frax)参数。在一些实施例中，除了来自卷积神经网络所提取的特征之外，还可一并输入其他特征至风险值预测模型中，例如个人资料(如性别、年龄)、身体数据(如身体质量指数(bmi)、身高、体重)、医学信息(疾病史(如有无罹患糖尿病、高血压))等的特征。该等特征可经由用户接口供用户输入，也可以是通过读取病历数据库来取得。
61.参照图7，为本发明另一实施例的风险值预测的细部流程图。与图6的差异在于，在步骤700之前，还执行步骤600，将提取特征正规化为0到1之间的数值范围。
62.参照图8，为本发明再一实施例的风险值预测的细部流程图。与前述图6类似，还可重复利用三元组损失模型提取的特征，将该等提取特征输入至前述风险值预测模型中(步骤700)。步骤800如前所述，于此不重复赘述。
63.在一些实施例中，除了来自三元组损失模型所提取的特征之外，还可一并输入其他特征至风险值预测模型中，例如个人资料(如性别、年龄)、身体数据(如身体质量指数(bmi)、身高、体重)、医学信息(如疾病史(如有无罹患糖尿病、高血压))等的特征。该等特征可经由用户接口供用户输入，也可以是通过读取病历数据库来取得。
64.参照图9，为本发明又一实施例的风险值预测的细部流程图。与前述图7类似，在步骤700之前，还执行步骤600，将提取特征正规化为0到1之间的数值范围。
65.前述x光影像分析方法是经由计算机加载并执行计算机程序产品而实现。计算机程序产品由多条程序指令组成，储存于非瞬时计算机可读取媒体中。所述计算机可例如为个人计算机、服务器等具有运算能力的计算装置。计算机一般具有处理单元(如中央处理器、图形处理器)、内存、储存媒体(如硬盘)、输入输出接口、网络接口等硬件资源。
66.在一些实施例中，所述计算机可与医疗影像储存系统(如picture archiving and communication system，pacs)或医用检测仪器链接，以取得x光影像。
67.综上所述，依据本发明实施例的x光影像分析方法，可根据x光影像自动分析出骨质密度分析结果。依据一些实施例，还可进一步地分析出风险值。

技术特征：
1.一种x光影像分析方法，其特征在于，经由计算机执行，所述x光影像分析方法包括：接收x光影像；确认所述x光影像的影像质量符合需求；选取所述x光影像中的至少一检测区域；对所述检测区域中的目标影像执行影像标准化处理以获得待分析影像；及输入所述待分析影像至影像分类模型，以获得骨质密度分析结果。2.根据权利要求1所述的x光影像分析方法，其特征在于，所述影像分类模型为三元组损失模型。3.根据权利要求2所述的x光影像分析方法，其特征在于，还包括：将所述三元组损失模型的输出结果，通过主成分分析降维，以转换得坐标落点；及根据所述坐标落点所在的群集范围得到所述待分析影像所属的分析类型。4.根据权利要求3所述的x光影像分析方法，其特征在于，还包括：统合所有的所述待分析影像的所述分析类型，以获得所述骨质密度分析结果。5.根据权利要求1所述的x光影像分析方法，其特征在于，所述影像分类模型为卷积神经网络或三元组损失模型。6.根据权利要求5所述的x光影像分析方法，其特征在于，还包括：输入经由所述卷积神经网络或所述三元组损失模型提取的多个特征至风险值预测模型，以获得风险值。7.根据权利要求6所述的x光影像分析方法，其特征在于，在输入所述多个特征至所述风险值预测模型之前，还包括：对所述多个特征正规化。8.根据权利要求6所述的x光影像分析方法，其特征在于，所述风险值预测模型为多层感知器。9.根据权利要求1所述的x光影像分析方法，其特征在于，选取所述检测区域的步骤是通过对象侦测模型来实现。10.根据权利要求1所述的x光影像分析方法，其特征在于，输入所述待分析影像至所述影像分类模型的步骤，包括：分别输入各所述待分析影像至所述影像分类模型，以分别分类所述待分析影像至分析类型；及以对应于所述待分析影像的所述分析类型中的多数者，作为所述骨质密度分析结果。

技术总结
一种X光影像分析方法，经由计算机执行，包括：接收X光影像；选取X光影像中的至少一检测区域；对检测区域中的目标影像执行影像标准化处理以获得待分析影像；及输入待分析影像至影像分类模型，以获得骨质密度分析结果。以获得骨质密度分析结果。以获得骨质密度分析结果。


技术研发人员：张汉威
受保护的技术使用者：张汉威
技术研发日：2022.03.25
技术公布日：2023/10/11