用于处理放射学图像的方法与流程

35864-7_60,by mohan,shelda,and m.ravishankar,2013。这些变体必须参数化，并且一些作品提出自动参数化方法。在方法"automatic x-ray image contrast enhancement based on parameter auto-optimization",journal of applied clinical medical physics 18(6):218-23,https://doi.org/10.1002/acm2,2017中，pizer的解决方案与高通滤波器耦合，并优化它们的参数以最大化处理后图像的熵。文献"improved lung nodule visualization on chest radiographs using digital filtering and contrast enhancement"5(12):4by kwan,benjamin y m,and hon keung kwan,2011提出在另一个处理操作之后使用he或者简单地将he应用于用户定义的roi。
9.pizer和mohan的方法提出了he(直方图均衡化)改进来克服上述问题。然而，这些方法必须参数化，或者利用可能不适合每个图像的默认参数，或者由放射科医师手动设置。
10.kwan的方法提出在高通滤波器之后应用he，并且因此he的局限性仍然存在。作为替代方案，它提出在roi上计算he，但这需要用户定义roi。因此，该任务需要放射科医师的干预，并且如果放射科医师没有关于要可视化的异常位置的任何先验信息，则有时可能会证明是复杂的。
11.文献"automatic x-ray image contrast enhancement based on parameter auto-optimization".journal of applied clinical medical physics 18(6):218-23,by qiu,jianfeng,h.harold li,tiezhi zhang,fangfang ma,and deshan yang,2017提出了一种pizer方法的变体，通过将其与高通滤波器耦合。它还描述了一种自动参数化策略，其中优化参数以最大化处理后图像的熵。
12.还有其他提高对比度的方法，例如在以下文献中介绍的方法："contrast enhancement of medical x-ray image using morphological operators with optimal structuring element",arxiv:1905.08545[cs,eess],http://arxiv.org/abs/1905.08545,2019,by kushol,rafsanjany,md nishat raihan,md sirajus salekin,and a.b.m.ashikur rahman。该文献还提出了一种用于执行自动参数化的策略。
[0013]
在kushol和qiu的方法中，图像的所有像素对用于优化参数的变量的计算具有相同的影响。这样获得的结果对于图像的某些区域可能不是最佳的，如在he的情况下，某些区域的分布与整个图像的分布显著不同。
[0014]
最近的工作提出主要基于神经网络(更具体地基于执行图像分类的网络)为诊断提供帮助。此类示例在以下文献中进行了描述："abnormality detection and localization in chest x-rays using deep convolutional neural networks",arxiv:1705.09850[cs],2017,http://arxiv.org/abs/1705.09850,by islam,mohammad tariqul,md abdul aowal,ahmed tahseen minhaz,and khalid ashraf；以及"chexnet:radiologist-level pneumonia detection on chest x-rays with deep learning",arxiv:1711.05225[cs,stat],http://arxiv.org/abs/1711.05225,2017,by rajpurkar,pranav,jeremy irvin,kaylie zhu,brandon yang,hershel mehta,tony duan,daisy ding,et al。
[0015]
islam或rajpurkar的方法无法提高放射学图像中异常的可见性，但它们估计与病理学相关联的放射学异常的存在。这些技术仍处于实验阶段，并且需要放射科医师的介入来确认诊断。
[0016]
已经提出了许多用于视觉解释从用于图像分类的神经网络获得的结果的视觉解释方法。这些方法生成一个影响图，其为输入图像的每个像素分配一个值，该值衡量像素对分类结果的影响比例。值越高，像素对得到的分类结果的影响就越大。以下文献中就是这种情况："grad-cam:visual explanations from deep networks via gradient-based localization",proceedings of the ieee international conference on computer vision,618
–
626,2017,by selvaraju,ramprasaath r,michael cogswell,abhishek das,ramakrishna vedantam,devi parikh,and dhruv batra；"layer-wise relevance propagation for deep neural network architectures",information science and applications(icisa)2016,edited by kuinam j.kim and nikolai joukov,376:913-22,lecture notes in electrical engineering,singapore:springer singapore.https://doi.org/10.1007/978-981-10-0557-2_87,by binder,alexander,sebastian bach,gregoire montavon,klaus-robert m
ü
ller,and wojciech samek；"learning deep features for discriminative localization",2016ieee conference on computer vision and pattern recognition(cvpr),2921-29,las vegas,nv,usa:ieee.https://doi.org/10.1109/cvpr.2016.319,by zhou,bolei,aditya khosla,agata lapedriza,aude oliva,and antonio torralba；以及"visualizing and understanding convolutional networks"arxiv:1311.2901[cs],november.http://arxiv.org/abs/1311.2901,2016,by zeiler,matthew d.,and rob fergus。当这些方法应用于神经网络以进行放射学图像分类(取决于图像是否表现出放射学异常)时，产生的影响图对应于放射学异常影响图。


技术实现要素：

[0017]
本发明的一个目的是克服上述问题，并且特别是改进对数字图像的后处理操作，以便更好地突出检测到的放射学异常，方便放射科医师的工作并减少诊断时间。
[0018]
因此，根据本发明的一个方面，提出了一种用于处理数字格式的放射学图像i(x,y)的方法，该放射学图像包括使用已被训练来检测放射学检查中的放射学异常的卷积神经网络检测到的至少一个放射学异常。放射学图像i(x,y)的特征在于其每个像素i(x,y)的强度以及至少一个放射学异常影响图ck(x,y)，它为放射学图像i(x,y)的每个像素(x,y)分配一个值，该值表示该像素对放射学异常k的检测结果的影响的比例。该方法由计算机实现，并且包括以下步骤：
[0019]-归一化放射学异常影响图ck(x,y)以给出归一化的放射学异常影响图c
kn
(x,y)；
[0020]-融合归一化的放射学异常影响图c
kn
(x,y)以给出单个融合影响图c(x,y)；
[0021]-使用强度直方图对图像i(x,y)进行改进处理，其中每个像素在强度直方图计算中的贡献由融合影响图c(x,y)加权。
[0022]
本发明的方法使得可以突出检测到的异常，以促进放射科医师的工作并减少诊断时间。
[0023]
以下文献公开了用于识别包含此类放射学异常的图像的神经网络："abnormality detection and localization in chest x-rays using deep convolutional neural networks",arxiv:1705.09850[cs],2017,http://arxiv.org/abs/1705.09850,by islam,
mohammad tariqul,md abdul aowal,ahmed tahseen minhaz,and khalid ashraf；以及"chexnet:radiologist-level pneumonia detection on chest x-rays with deep learning",arxiv:1711.05225[cs,stat],http://arxiv.org/abs/1711.05225,2017,by rajpurkar,pranav,jeremy irvin,kaylie zhu,brandon yang,hershel mehta,tony duan,daisy ding,et al。
[0024]
训练(或优化或学习)神经网络允许它为每个异常k产生基于输入图像的存在概率pk；当这个概率大于给定的阈值π时，例如π＝0.5，则认为已经检测到异常。
[0025]
在一种实现方式中，每个异常影响图ck(x,y)的归一化使用以下仿射变换：
[0026][0027]
其中：
[0028]ckn
(x,y)是放射学异常影响图ck(x,y)的归一化的放射学异常影响图。
[0029]
这种归一化可以确保所有归一化图c
kn
(x,y)在相同的值范围内(在这种情况下在0到1之间)。此过程可以在融合步骤期间平衡各种图的影响(包含0到100之间的值的图比包含0到1之间的值的图具有大得多的影响)。
[0030]
根据一种实现方式，融合c(x,y)使用归一化的放射学异常影响图c
kn
(x,y)的平均值，所述平均值使用以下关系由每个异常存在的概率pk加权：
[0031][0032]
其中：
[0033]
|k|表示检测到的异常的数量；以及
[0034]
pk表示每个异常存在的概率pk，由卷积神经网络计算。
[0035]
这种融合具有的优点是在强度直方图的计算中有单个图来加权图像的每个像素的贡献。
[0036]
在一种实现方式中，处理操作使用强度直方图均衡化，其中通过根据以下关系对每个像素的贡献加权来修改所述直方图的计算：
[0037][0038]
其中：
[0039]
h(u)表示强度u的修改后的直方图的水平；以及
[0040]
表示指示符函数：
[0041]
i(x,y)表示像素(x,y)的强度。
[0042]
这种处理操作具有提高图像对比度的优点，特别是图像中表现出已检测到的异常的区域的对比度，因为对应像素在直方图计算中的影响增加了。
[0043]
作为变体，处理操作可以使用在以下文献中提出的方法的变体："automatic x-ray image contrast enhancement based on parameter auto-optimization".journal of applied clinical medical physics 18(6):218-23,by qiu,jianfeng,h.harold li,
tiezhi zhang,fangfang ma,and deshan yang,2017"，其中处理后图像的熵的计算使用以下关系修改：
[0044][0045]
其中：
[0046]
h(i
t
)表示处理后图像i
t
的修改后的熵
[0047]
u表示数字图像的所有强度水平；以及
[0048]
pu用以下关系代替数字图像的像素具有强度u的概率：
[0049][0050]
其中h(u)根据以下关系表示强度u的修改后的直方图的水平：
[0051][0052]
这种处理操作通过对应像素在处理后图像的熵计算中的贡献的相对增加，改进了图像的对比度，特别是表现出已经检测到的异常的图像区域的对比度。
[0053]
根据本发明的另一方面，还提出了一种计算机程序产品，包括记录在计算机可读介质上的程序代码指令，其用于当所述程序在计算机上执行时实现上述方法的步骤。
附图说明
[0054]
通过研究通过完全非限制性示例描述并通过附图说明的一些实施例，将更好地理解本发明，其中：
[0055]
[图1]示意性地图示了根据本发明的一个方面的用于处理放射学图像的计算机实现的方法。
具体实施方式
[0056]
图1图示了根据本发明的一个方面的一种用于处理数字格式的放射学图像i(x,y)的方法，该放射学图像包括使用卷积神经网络检测到的至少一个放射学异常，该卷积神经网络已经被训练以检测放射学检查1中的放射学异常。放射学图像i(x,y)的特征在于其每个像素i(x,y)的强度以及至少一个放射学异常影响图ck(x,y)2，其为放射学图像i(x,y)的每个像素(x,y)分配一个值，该值表示该像素对放射学异常k的检测结果的影响的比例。
[0057]
该方法由计算机实现，并且包括以下步骤：
[0058]-归一化3放射学异常影响图c
kn
(x,y)以给出归一化的放射学异常影响图c
kn
(x,y)；
[0059]-融合4归一化的放射学异常影响图c
kn
(x,y)以给出单个融合影响图c(x,y)；
[0060]-使用强度直方图对图像i(x,y)执行改进处理5，其中每个像素在强度直方图计算中的贡献由融合影响图c(x,y)加权。
[0061]
根据本发明的方法使得可以自动处理放射学图像i(x,y)，这提高了检测到异常存在的区域的可见性。因此，本发明促进了基于放射学检查的病状诊断，而无需放射科医师或另一用户的干预，并且提供了其中任何放射学异常的可见性得到改善的图像，使放射科医
师更容易研究它们。
[0062]
为此目的，修改了现有的处理操作，以便增加已经检测到异常的图像区域的影响。因此，处理操作将对这些区域更加有效，从而更容易突出检测到的异常。
[0063]
这主要是通过在强度直方图的计算中通过融合影响图c(x,y)的对应值对图像的每个像素的贡献进行加权来实现的。
[0064]
检测步骤1可以使用卷积神经网络，该卷积神经网络已经被训练来检测代表放射学检查中的病状的放射学异常。
[0065]
在存在兼容的放射学异常影响图估计的情况下，可以使用不同的检测。
[0066]
这种神经网络的实现及其训练或学习在文献中广泛描述。这种类型的网络基于输入图像对于每个异常k产生存在的概率pk；当此概率大于给定阈值π时，例如π＝0.5，则认为已检测到异常。使用k表示检测到的所有异常：
[0067]
k∈k当且仅当py》π
[0068]
这种类型的网络通常要求输入图像具有精确的分辨率和精确的通道数量(一个用于灰度图像，三个用于rgb图像)。如果输入图像具有不同的分辨率，则可以将图像的尺寸重新调整为所需的分辨率，并且可以调整通道数量。
[0069]
例如，(rajpurkar et al.2017)使用densenet-121(huang,gao,zhuang liu,laurens van der maaten,and kilian q.weinberger.2017."densely connected convolutional networks".in 2017ieee conference on computer vision and pattern recognition(cvpr),2261-69.honolulu,hi:ieee.https://doi.org/10.1109/cvpr.2017.243)网络架构，它在输入处采用大小为224x224的三通道图像。在这种情况下，具有任意分辨率和单个通道的放射学图像的尺寸被重新调整为224x224并转换为三个通道，针对每个通道重复相同的值。
[0070]
影响估计步骤2可以根据通过现有技术的估计来实现，例如，如以下文献中所提出的："grad-cam:visual explanations from deep networks via gradient-based localization"proceedings of the ieee international conference on computer vision,618
–
626,2017,by selvaraju,ramprasaath r,michael cogswell,abhishek das,ramakrishna vedantam,devi parikh,and dhruv batra，与多种不同的架构兼容，其产生分辨率等于检测网络架构中选定卷积层的输出的分辨率的图。然后必须例如通过双线性插值将放射学异常影响图的尺寸重新调整为图像的原始分辨率。
[0071]ck
(x,y)用于表示与检测到的异常k相对应的放射学异常影响图。
[0072]
例如，当来自selvaraju,ramprasaath r,michael cogswell,abhishek das,ramakrishna vedantam,devi parikh,and dhruv batra的影响估计2应用于来自rajpurkar,pranav,jeremy irvin,kaylie zhu,brandon yang,hershel mehta,tony duan,daisy ding的检测的最后一个卷积层时，输出分辨率为7x7。然后将放射学异常影响图的尺寸重新调整为原始图像的尺寸。
[0073]
与所选检测方法兼容的任何其他放射学异常影响图估计2可以是有效的。
[0074]
关于归一化3每个放射学异常影响图ck(x,y)的步骤，一种可能的实现方式是应用仿射变换，以便所有值都在0到1之间：
[0075][0076]
其中c
kn
(x,y)为放射学异常影响图ck(x,y)的归一化后的图。
[0077]
放射学异常影响图ck(x,y)可以以不同方式归一化。
[0078]
融合4每个检测到的异常k的归一化的放射学异常影响图c
kn
(x,y)的步骤的一个实现解决方案是取由每个异常k的存在概率加权的图的平均值：
[0079][0080]
其中
[0081]
|k|代表检测到的异常的数量；以及
[0082]
pk表示每个异常存在的概率pk，由卷积神经网络计算。
[0083]
作为变体，图可以不同方式融合。
[0084]
处理步骤可以使用强度直方图均衡化，其中通过根据以下关系对每个像素的贡献进行加权来修改直方图的计算：
[0085][0086]
其中：
[0087]
h(u)表示强度u的修改后直方图的水平；以及
[0088]
表示指示符函数：
[0089][0090]
i(x,y)表示像素(x,y)的强度。
[0091]
作为变体，处理操作可以使用在以下文献中提出的方法的变体："automatic x-ray image contrast enhancement based on parameter auto-optimization".journal of applied clinical medical physics 18(6):218-23,by qiu,jianfeng,h.harold li,tiezhi zhang,fangfang ma,and deshan yang,2017",其中处理后图像的熵的计算使用以下关系修改：
[0092][0093]
其中：
[0094]
h(i
t
)表示处理后图像i
t
的修改后的熵
[0095]
u表示数字图像的所有强度水平；以及
[0096]
pu用以下关系代替数字图像的像素具有强度u的概率
[0097][0098]
其中h(u)表示根据以下关系对强度u的修改后的直方图的水平：
[0099][0100]
处理5也可以不同地应用于上述处理方法和其他已知处理方法。
[0101]
本发明可以在计算机程序产品上实现，该计算机程序产品包括计算机可执行计算机代码，其存储在计算机可读介质上并且被设计为实现如上所述的方法。
[0102]
本发明可以在本地计算机或分布式网络平台上实现。

技术特征：
1.一种用于处理数字格式的放射学图像i(x,y)的方法，所述放射学图像包括使用卷积神经网络检测到的至少一个放射学异常，所述卷积神经网络已被训练以检测放射学检查中的放射学异常，所述放射学图像i(x,y)以其像素i(x,y)中的每一个的强度以及至少一个放射学异常影响图c
k
(x,y)为特征，所述至少一个放射学异常影响图为所述放射学图像i(x,y)的每个像素(x,y)分配值，所述值表示该像素对所述放射学异常k的检测结果的影响的比例，所述方法由计算机实现并且包括以下步骤：-归一化(3)所述放射学异常影响图c
k
(x,y)以给出归一化的放射学异常影响图c
kn
(x,y)；-融合(4)所述归一化的放射学异常影响图c
kn
(x,y)以给出单个融合影响图c(x,y)；-使用强度直方图对所述图像i(x,y)进行改进处理(5)，其中，每个像素在所述强度直方图的计算中的贡献由所述融合影响图c(x,y)加权。2.如权利要求1所述的方法，其中，每个异常影响图c
k
(x,y)的所述归一化(3)使用如下仿射变换：其中：c
kn
(x,y)是所述放射学异常影响图c
k
(x,y)的所述归一化的放射学异常影响图。3.如前述权利要求中的任一项所述的方法，其中，所述融合(4)c(x,y)使用所述归一化的放射学异常影响图c
kn
(x,y)的用以下关系由每个异常存在的概率p
k
加权的平均值：其中|k|表示检测到的异常的数量；以及p
k
表示每个异常存在的概率p
k
，由所述卷积神经网络计算。4.如权利要求1至3中的任一项所述的方法，其中，所述处理(5)使用强度直方图均衡化，其中，所述直方图的所述计算通过根据以下关系对每个像素的贡献加权来修改：其中：h(u)表示强度u的修改后的直方图的水平；以及表示指示符函数：i(x,y)表示像素(x,y)的强度。5.一种计算机程序产品，包括记录在计算机可读介质上的程序代码指令，其用于在所述程序在计算机上执行时实现如前述权利要求中的一项所述的方法的步骤。

技术总结
一种用于处理数字格式的放射学图像I(x,y)的方法，该放射学图像包括使用卷积神经网络检测到的至少一个放射学异常，该卷积神经网络已被训练以检测放射学检查中的放射学异常，所述放射学图像I(x,y)的特征在于其每个像素I(x,y)的强度，以及至少一个放射学异常影响图C


技术研发人员：F
受保护的技术使用者：塔莱斯公司
技术研发日：2021.10.18
技术公布日：2023/8/4