使用彩色眼底图像数据的针对糖尿病视网膜病变严重程度的自动筛查的制作方法

使用彩色眼底图像数据的针对糖尿病视网膜病变严重程度的自动筛查
1.交叉引用
2.本技术要求于2020年12月4日提交的名称为“automated screening for diabetic retinopathy severity using color fundus image data”的美国临时专利申请号63/121,711以及于2021年4月1日提交的名称为“automated screening for diabetic retinopathy severity using color fundus image data”的美国临时专利申请号63/169,809的优先权，这些申请全文以引用的方式并入本文以用于所有目的。
技术领域
3.本说明书整体涉及评估受试者中的糖尿病视网膜病变(dr)的严重程度。更具体地，本说明书提供了用于使用彩色眼底成像数据经由神经网络系统对轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中度至重度dr、中重度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr进行筛查的方法和系统。


背景技术：

4.糖尿病视网膜病变(dr)是糖尿病患者中的常见微血管并发症。当高血糖水平导致视网膜血管受损时，就发生dr。dr的两个阶段包括早期阶段(非增殖性糖尿病视网膜病变(npdr))和晚期阶段(增殖性糖尿病视网膜病变(pdr))。在npdr的情况下，微小血管可能会渗漏并导致视网膜和/或黄斑肿胀。在一些情况下，可能发生黄斑缺血，视网膜中可能会形成微小渗出物，或者两者兼有。在pdr的情况下，新的脆弱血管可能以可能使血液渗漏到玻璃体液中、损坏视神经或两者兼有的方式生长。如果不治疗，pdr可能导致严重的视力丧失甚至失明。
5.在某些情况下，可能需要识别患有轻度npdr、中度npdr、中重度npdr或重度npdr(即将发展为pdr的严重程度级别)的受试者。例如，临床试验可以使用筛查检查来识别患有中度npdr、中重度npdr或重度npdr的受试者以可能包括在临床试验中。然而，一些目前可用的用于执行此类筛查的方法可能需要训练有素的评级员(例如，人类分级员、检查员、病理学家、临床医生、评级机构、评级实体等)，并且可能是不准确的、依赖评级员的且耗时的。因此，需要使用自动程序来准确地评估dr严重程度的系统和方法。


技术实现要素：

6.本公开提供了用于评估糖尿病视网膜病变(dr)严重程度的系统和方法。接收针对正在评估dr的眼睛的彩色眼底成像数据。使用彩色眼底成像数据生成度量，该度量指示针对眼睛中的dr严重程度的评分落在选定范围内的概率。使用经训练的神经网络生成输出。
7.在一个或多个实施例中，提供了一种用于评估dr严重程度的方法。接收针对受试者的眼睛的彩色眼底成像数据。使用接收到的彩色眼底成像数据生成(例如，经由神经网络系统)针对眼睛的预测的dr严重程度评分。经由神经网络系统生成度量，该度量指示预测的
dr严重程度评分落在选定范围内。
附图说明
8.为了更完整地理解本文所公开的原理及其优点，现参考以下结合附图进行的描述，在附图中：
9.图1是根据各种实施例的第一评估系统的框图。
10.图2示出了根据各种实施例的糖尿病视网膜病变严重程度评分(drss)的示例。
11.图3示出了根据各种实施例的图像标准化程序的示例。
12.图4是根据各种实施例的用于评估糖尿病视网膜病变(dr)严重程度的第一过程的流程图。
13.图5是根据各种实施例的第二评估系统的框图。
14.图6是根据各种实施例的用于评估dr严重程度的第二过程的流程图。
15.图7是根据各种实施例的在训练本文关于图1和/或图5所述的系统中使用的神经网络训练程序的框图。
16.图8是根据各种实施例的计算机系统的框图。
17.应当理解，附图不一定按比例绘制，图中的对象也不一定相对于彼此按比例绘制。附图是旨在清楚和理解本文公开的设备、系统和方法的各种实施例的描绘。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。此外，应当理解，附图不旨在以任何方式限制本教导的范围。
具体实施方式
18.概述
19.用于针对患有或有风险患有糖尿病视网膜病变(dr)的患者进行筛查的当前方法依赖于由早期治疗糖尿病视网膜病变研究(etdrs)开发的糖尿病视网膜病变严重程度量表(drss)。drss在很大程度上被认为是用于对dr的严重程度进行分类的黄金标准(特别是在研究背景下)。drss评分35指示轻度dr，drss评分43指示中度dr，drss评分47指示中重度dr，以及drss评分53指示重度dr(其是pdr的前兆)。
20.在一些情况下，可以针对患有落在严重程度的选定范围内的dr的受试者来设计临床试验或研究。例如，特定的临床试验可能希望集中于患有dr的患者，该dr落在轻度与中度之间、轻度与中重度之间、轻度与重度之间、中度与中重度之间、中重度与重度之间、中度与重度之间、轻度以上、中度以上、中重度以上或重度以上。能够快速、高效、准确地识别受试者的dr是否可以分类为中度、中重度或重度对于筛查或预筛查大量可能的受试者可能是很重要的。
21.目前，对受试者的筛查或预筛查可以包括：生成针对受试者的一个或多个彩色眼底图像，并将这些彩色眼底图像发送给具有必要知识和经验的专家级人类分级员，以便给该受试者分配drss评分。对数百、数千或数万名可能需要接受筛查的受试者重复此过程可能是昂贵的、依赖于评级员的且耗时的。在一些情况下，在筛查或预筛查过程中对dr严重程度的这种类型的手动分级可能会形成以不希望的方式影响临床试验或研究的“瓶颈”。此外，在某些情况下，由于人为误差，这种类型的手动分级可能不如预期准确。
22.因此，本公开的方法和系统实现了针对糖尿病dr的选定范围的自动筛查。本文所述的方法和系统可以帮助减少与筛查相关联的时间和成本，提供独立于或接近独立于评级员的过程，减轻上述其他问题中的一个或多个其他问题，或它们的组合。在本文所述的各种实施例中，神经网络系统接收针对受试者的眼睛的彩色眼底成像数据。神经网络系统用于生成对针对眼睛中的dr的严重程度评分是否落在选定范围内的指示。选定范围可以是例如但不限于以下的drss评分：在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。
23.使用足够数量的样本来训练神经网络以确保所需的准确度。在一个或多个实施例中，使用已经由单个人类分级员或分级员组织分级的样本来执行训练。在其他实施例中，可以使用已经由多个人类分级员或多个分级员组织分级的样本来执行训练。
24.认识到并考虑到可以提供上述改进的方法和系统的重要性和实用性，本说明书描述了用于评估糖尿病视网膜病变的严重程度的各种实施例。更特别地，本说明书描述了用于使用dr彩色眼底成像数据经由神经网络系统来识别眼睛是否患有轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中度至重度dr、中重度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr的方法和系统的各种实施例。
25.本文所述的系统和方法可以使落在严重程度的选定范围内的dr能够被更准确和快速地识别。这种类型的快速识别可以改进dr筛查，从而使更多的受试者能够在更短的时间量内被可靠地筛查。在一些实施例中，改进的dr筛查可以允许医疗保健提供者提供改进的治疗建议或建议对被识别为可能发展dr的受试者进行后续风险分析或监测。在一些实施例中，本文所述的系统和方法可以用于训练专家级人类分级员更准确和有效地识别落在严重程度的选定范围内的dr或标记可能患有dr的受试者的眼睛以供专家级人类分级员进行进一步分析。在一些实施例中，本文所述的系统和方法可以用于准确和有效地选择受试者以包括在临床试验中。例如，如果临床试验旨在治疗具有或有风险具有特定dr严重程度(诸如轻度至中度dr、轻度至中重度dr、轻度至重度dr或本文所述的任何其他dr严重程度)的受试者，该系统和方法可以用于仅识别具有或有风险发展该dr严重程度的那些受试者以包括在临床试验中。
26.定义
27.本公开不限于这些示例性实施例和应用，也不限于示例性实施例和应用的操作方式或本文描述的方式。此外，附图可能显示简化或局部视图，并且附图中元件的尺寸可能被夸大或不成比例。
28.此外，当本文中使用术语“在
……
上”、“附接到”、“连接到”、“耦合到”或类似词语时，一个元件(例如，部件、材料、层、基板等)可以“在另一元件上”、“附接到另一元件”、“连接到另一元件”或“耦合到另一元件”，而不管一个元件是直接在另一元件上、直接附接到另一元件、直接连接到另一元件或直接耦合到另一元件，还是在一个元件与另一元件之间存在一个或多个中间元件。此外，在提及元件列表(例如，元素a、b、c)的情况下，此类提及旨在包括单独列出的任何一种元件、少于所有列出的元件的任何组合和/或所有列出的元件的组合。规范中的章节划分仅为便于审查，并不限制所讨论元件的任何组合。
29.术语“受试者”可指临床试验的受试者、正在接受治疗的人、正在接受抗癌治疗的
人、正在接受缓解或恢复监测的人、正在接受预防性健康分析的人(例如，由于其病史)或任何其他感兴趣的人或患者。在各种情况下，“受试者”和“患者”在本文可以互换使用。
30.除非另有定义，否则与本文所描述的本教导结合使用的科学和技术术语应具有本领域普通技术人员通常理解的含义。此外，除非上下文另有要求，否则单数术语应包括复数，而复数术语应包括单数。通常，本文描述了与化学、生物化学、分子生物学、药理学和毒理学结合使用的命名法和技术，这些命名法和技术是本领域中众所周知和常用的那些。
31.如本文所用，“基本上”是指足以达到预期目的。因此，术语“基本上”允许相对于绝对或完美状态、尺寸、测量、结果等的微小、无关紧要的变化，如本领域普通技术人员所期望的，但不会明显影响整体性能。当用于数值或可表示为数值的参数或特性时，“基本上”是指百分之十以内。
32.术语“复数个(ones)”意味着多于一个。
33.如本文所用，术语“多个”可以是2、3、4、5、6、7、8、9、10个或更多。
34.如本文所用，术语“一组”是指一个或多个。例如，一组项目包括一个或多个项目。
35.如本文所用，短语
“……
中的至少一个”在与项目列表一起使用时表示可以使用所列项目中的一者或多者的不同组合，并且可能仅需要列表中的一个项目。项目可以是特定的对象、事物、步骤、操作、过程或类别。换言之，
“……
中的至少一个”是指列表中可以使用的任何项目组合或项目数量，但并非列表中的所有项目都是必需的。例如但非限制性地，“项目a、项目b或项目c中的至少一个”意味着项目a；项目a和项目b；项目b；项目a、项目b和项目c；项目b和项目c；或项目a和c。在一些情况下，“项目a、项目b或项目c中的至少一个”意味着但不限于项目a中的两个、项目b中的一个和项目c中的十个；项目b中的四个和项目c中的七个；或某种其他合适的组合。
36.如本文所用，“模型”可以包括一种或多种算法、一种或多种数学技术、一种或多种机器学习算法或者它们的组合。
37.如本文所用，“机器学习”包括使用算法来解析数据、从中学习，然后对世界上的某事做出确定或预测的实践。机器学习使用可以从数据中学习，而无需依赖基于规则的编程的算法。
38.如本文所用，“人工神经网络”或“神经网络”(nn)可以指模拟一组互连的人工神经元的数学算法或计算模型，其基于连接主义计算方法而处理信息。神经网络(其也可以称为神经网络)可以使用一个或多个非线性单元层来预测接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层可以根据相应参数集的当前值从接收到的输入生成输出。在各种实施例中，对“神经网络”的引用可以是对一个或多个神经网络的引用。
39.神经网络可以通过两种方式处理信息；当神经网络正在训练时，神经网络处于训练模式，以及当神经网络将所学知识付诸实践时，神经网络处于推理(或预测)模式。神经网络通过反馈过程(例如，反向传播)进行学习，该反馈过程允许网络调整中间隐藏层中各个节点的权重因子(修改其行为)，以便输出与训练数据的输出相匹配。换句话说，神经网络通过被馈送训练数据(学习示例)学习并最终学习如何获得正确的输出，即使其呈现为具有新的输入范围或集。神经网络可以包括例如但不限于前馈神经网络(fnn)、递归神经网络(rnn)、模块化神经网络(mnn)、卷积神经网络(cnn)、残差神经网络(resnet)、常微分方程神
经网络(neural-ode)或其他类型的神经网络中的至少一者。
40.针对糖尿病视网膜病变严重程度的自动筛查
41.图1是根据各种实施例的第一评估系统100的框图。评估系统100用于评估一个或多个受试者的一只或多只眼睛(例如，一个或多个视网膜)中的糖尿病视网膜病变(dr)严重程度。
42.评估系统100包括计算平台102、数据存储器104和显示系统106。计算平台102可以采取各种形式。在一个或多个实施例中，计算平台102包括单个计算机(或计算机系统)或相互通信的多个计算机。在其他示例中，计算平台102采取云计算平台的形式。
43.数据存储器104和显示系统106各自与计算平台102通信。在一些示例中，数据存储器104、显示系统106或两者可以被认为是计算平台102的一部分或以其它方式与其成一体。因此，在一些示例中，计算平台102、数据存储器104和显示系统106可以是相互通信的单独部件，但是在其他示例中，这些部件的一些组合可以集成在一起。
44.评估系统100包括图像处理器108，该图像处理器可以使用硬件、软件、固件或它们的组合来实现。在一个或多个实施例中，图像处理器108在计算平台102中实现。
45.图像处理器108接收用于处理的输入110。在一个或多个实施例中，输入110包括彩色眼底成像数据112。彩色眼底成像数据112可以包括例如使用彩色眼底成像技术(也称为彩色眼底照相术)生成的彩色眼底图像的一个或多个视野(场)。在一个或多个实施例中，彩色眼底成像数据112包括七场彩色眼底成像数据。在一些实施例中，每个视野包括彩色眼底图像。
46.图像处理器108使用dr检测系统114至少处理输入110的彩色眼底成像数据112，以生成度量116。在一些实施例中，dr检测系统114包括神经网络系统。在一个或多个实施例中，度量116指示针对眼睛中的dr严重程度的评分(例如，drss评分)落在选定范围内的概率118。选定范围可以是例如但不限于轻度至中度范围、轻度至中重度范围、轻度至重度范围、中度至中重度范围、中重度至重度范围、中度至重度范围、轻度以上范围、中度以上范围、中重度以上范围或重度以上范围。在一个或多个实施例中，这些范围对应于drss的一部分，该一部分分别在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。
47.图2示出了根据各种实施例的drss评分的示例200。在一些实施例中，在10与12之间并包括10和12的第一评分202指示眼睛不存在dr。在一些实施例中，在14与20之间并包括14和20的第二评分204指示眼睛中可能存在dr(即，dr在眼睛中是可疑的)。在一些实施例中，至少35或在35与43之间并包括35和43的第三评分206指示眼睛中可能存在轻度dr。在一些实施例中，至少43或在43与47之间并包括43和47的第四评分208指示眼睛中可能存在中度dr。在一些实施例中，至少47或在47与53之间并包括47和53的第五评分210指示眼睛中可能存在中重度dr。在一些实施例中，至少53的第六评分212指示眼睛中可能存在中重度dr。图2还示出了与第一评分相关联的示例性第一眼底图像222、与第二评分相关联的示例性第二眼底图像224、与第三评分相关联的示例性第三眼底图像226、与第四评分相关联的示例性第四眼底图像228、与第五评分相关联的示例性第五眼底图像230以及与第六评分相关联的示例性第六图像232。
48.返回到图1的讨论，在一些实施例中，度量116采取在0与1之间和/或包括0和1的概率值的形式。在其他实施例中，度量116是针对概率的类别或分类器(例如，从低概率和高概率中选择的类别等)。在一个或多个实施例中，度量116是对概率是否高于选定阈值的二元指示。在一些实施例中，阈值为至少约0.5、0.6、0.7、0.8、0.9或以上。在一些实施例中，阈值为至多约0.9、0.8、0.7、0.6、0.5或以下。在一些实施例中，阈值在由前述值中的任两者定义的范围内。
49.在其他实施例中，图像处理器108使用dr检测系统114至少处理输入110的彩色眼底成像数据112，以生成预测的dr严重程度评分(例如，预测的drss评分)。然后，图像处理器108可以生成度量116，该度量指示预测的糖尿病视网膜病变严重程度评分落在选定范围内的概率118。
50.dr检测系统114可以包括任何数量或组合的神经网络。在一个或多个实施例中，dr检测系统114采取包括一个或多个神经网络的卷积神经网络(cnn)的形式。这些一个或多个神经网络中的每一个本身可以是卷积神经网络。
51.在一些实施例中，图像处理器108进一步包括图像标准化系统120。在一些实施例中，图像标准化系统120被配置为：对彩色眼底成像数据112执行至少一个图像标准化程序，以生成一组标准化的图像数据。在一些实施例中，至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。在一些实施例中，图像标准化系统120被配置为：执行前述程序中的任何至少1、2、3、4、5、6或7者或任何至多7、6、5、4、3、2或1者。
52.在一些实施例中，场检测程序包括被配置为检测彩色眼底图像内的从其要提取该彩色眼底图像的特征的视野的任何程序。在一些实施例中，中心裁剪程序包括被配置为从彩色眼底图像的其余部分裁剪该彩色眼底图像的中心区域的任何程序。在一些实施例中，前景提取程序包括被配置为从彩色眼底图像的其余部分提取该彩色眼底图像的前景区域的任何程序。在一些实施例中，区域提取程序包括被配置为从彩色眼底图像的其余部分提取该彩色眼底图像的任何区域的任何程序。在一些实施例中，中心区域提取程序包括被配置为从彩色眼底图像的其余部分提取该彩色眼底图像的中心区域的任何程序。
53.图3示出了图像标准化程序300的示例。在所示示例中，接收眼睛的输入彩色眼底图像302。
54.接下来，提取眼睛的前景区域(诸如眼睛的眼底子区域)以从输入彩色眼底图像302生成眼睛的前景图像304。在一些实施例中，使用场检测程序或前景提取程序来提取前景区域。在一些实施例中，通过在彩色眼底图像中构造二元掩膜来提取前景区域。在一些实施例中，使用强度阈值化操作从输入彩色眼底图像中检索二元掩膜。在一些实施例中，从输入彩色眼底图像的至少一个、两个、三个或四个角点或该输入彩色眼底图像的至多四个、三个、两个或一个角点估计阈值。在一些实施例中，当输入彩色眼底图像在一个或多个角点中包含文本或标签时，排除图像中的最亮角点中的至少一个或两个或至多一个或两个最亮角点，并使用剩余角点来估计阈值。在一些实施例中，阈值增加一个因子以确保眼睛的前景区域中的基本上所有像素都包括在前景图像304中。在一些实施例中，因子是通过实验确定的。在一些实施例中，二元掩膜然后由不包括输入彩色眼底图像的背景区域的二元掩膜的
最大连通分量代替。在一些实施例中，对二元掩膜执行二元扩张，以填充二元掩膜中的孔。
55.可以提取眼睛的中心区域以从前景图像304生成眼睛的中心区域图像306。在一些实施例中，使用中心裁剪程序、区域提取程序或中心区域提取程序来提取中心区域。在一些实施例中，使用霍夫变换或圆形霍夫变换来提取中心区域。
56.也可以应用对比度增强程序从中心区域图像306生成眼睛的对比度增强图像308。在一些实施例中，对比度增强程序包括ahe程序或clahe程序。
57.在一些实施例中，与在原始彩色眼底成像数据上使用系统100相比，图像标准化程序300产生改进系统100的性能的标准化的图像数据(本文关于图1所述)。在一些实施例中，标准化的图像数据用于生成度量116(本文关于图1所述)。
58.返回到图1的讨论，在一些实施例中，图像处理器108进一步包括分级能力系统122。在一些实施例中，分级能力系统122被配置为：基于与彩色眼底成像数据相关联的多个视野来确定该彩色眼底成像数据(或标准化的图像数据)的分级能力。在一些实施例中，彩色眼底成像数据(或标准化的图像数据)可能包含数目不足以确定drss的视野。例如，用于检测临床显著黄斑水肿(csme)的彩色眼底成像数据可能仅包含一个视野，并且因此可能不包含足以确定drss的信息。因此，分级能力可以指示彩色眼底成像数据(或标准化的图像数据)包含或不包含至少预定数目的视野的指示。在一些实施例中，预定数目为至少约2、3、4、5、6、7、8或更多，至多8、7、6、5、4、3或2，或在由前述值中的任两者定义的范围内。在一些实施例中，分级能力系统122被配置为：过滤掉不包含至少预定数目的视野的彩色眼底成像数据(或标准化的图像数据)。
59.在一些实施例中，分级能力系统122被配置为：从图像标准化系统120接收输入，如图1所示。在一些实施例中，图像标准化系统120被配置为：从分级能力系统122接收输入。
60.在一些实施例中，输入数据110进一步包括与受试者相关联的基线人口统计数据124和与该受试者相关联的基线临床数据126。在一些实施例中，基线人口统计数据124包括年龄、性别、身高、体重、种族、民族和/或与受试者相关联的其他人口统计数据。在一些实施例中，基线临床数据126包括受试者的糖尿病状态，诸如糖尿病类型(例如，1型糖尿病或2型糖尿病)或糖尿病持续时间。在一些实施例中，除了彩色眼底成像数据之外，还使用基线人口统计数据和/或基线临床数据来生成度量116。
61.图4是根据各种实施例的用于评估dr严重程度的第一过程400的流程图。在一个或多个实施例中，使用图1所述的评估系统100来实现过程400。
62.步骤402包括：接收至少包括针对受试者的眼睛的彩色眼底成像数据的输入数据。针对眼睛的彩色眼底成像数据可以包括本文关于图1所述的任何彩色眼底成像数据。
63.步骤404包括：对彩色眼底成像数据执行至少一个图像标准化程序。至少一个图像标准化程序可以是本文关于图1或图3所述的任何图像标准化程序。
64.步骤406包括：生成一组标准化的图像数据。在一些实施例中，使用至少一个图像标准化程序生成标准化的图像数据。
65.步骤408包括：至少使用标准化的图像数据来生成度量，该度量指示针对眼睛中的dr严重程度的评分落在选定范围内的概率的度量。该度量可以是例如本文关于图1所述的度量116。选定范围可以是本文关于图1所述的任何选定范围。在一些实施例中，使用神经网络系统(诸如本文关于图1所述的dr检测系统114)生成度量。
66.在一些实施例中，该方法进一步包括：确定彩色眼底成像数据的分级能力，如本文关于图1所述。在一些实施例中，该方法进一步包括：如果彩色眼底成像数据不包含至少预定数目的视野，则将其过滤掉，如本文关于图1所述。
67.在一些实施例中，输入数据进一步包括与受试者相关联的任何基线人口统计数据和/或基线临床数据，如本文关于图1所述。在一些实施例中，除了彩色眼底成像数据之外，还使用基线人口统计数据和/或基线临床数据来生成度量，如本文关于图1所述。
68.在一些实施例中，该方法进一步包括：使用训练数据集来训练神经网络系统，该训练数据集至少包括与多个训练受试者相关联的分级彩色眼底成像数据。在一些实施例中，训练数据集进一步包括与多个训练受试者相关联的基线人口统计数据和/或与该多个训练受试者相关联的基线临床数据。多个训练受试者可以包括任何数量的受试者，诸如至少约1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、100万或更多受试者，至多大约100万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千或更少受试者，或者数量在由前述值中的任两者定义的范围内的受试者。在一些实施例中，该方法进一步包括：使用本文关于图7所述的方法来训练神经网络系统。
69.图5是根据各种实施例的第二评估系统500的框图。评估系统500用于评估一个或多个受试者的一只或多只眼睛(例如，一个或多个视网膜)中的糖尿病视网膜病变(dr)严重程度。
70.评估系统500可以类似于本文关于图1所述的评估系统100。在一些实施例中，评估系统500包括计算平台102、数据存储器104、显示系统106和图像处理器108，如本文关于图1所述。在一些实施例中，图像处理器108接收用于处理的输入110，如本文关于图1所述。在一些实施例中，输入110包括彩色眼底成像数据112，如本文关于图1所述。图像处理器108使用dr检测系统114至少处理输入110的彩色眼底成像数据112，以生成度量116，如本文关于图1所述。在一个或多个实施例中，度量116指示针对眼睛中的dr严重程度的评分(例如，drss评分)落在选定范围内的概率118，如本文关于图1所述。选定范围可以是本文关于图1所述的任何选定范围。在一些实施例中，输入100包括基线人口统计数据124和/或基线临床数据126，如本文关于图1所述。
71.与第一评估系统100相比，评估系统500可以被配置为接收一个或多个确定510，该确定可以用于确定眼睛的度量和/或分类。在一些实施例中，一个或多个确定由专家提供或与专家确定相关联。在一些实施例中，一个或多个确定包括一个或多个dr严重程度评分512。在一些实施例中，一个或多个dr严重程度评分512是基于对与受试者的眼睛相关联的dr严重程度评分的专家确定的。例如，在一些实施例中，一个或多个dr严重程度评分是基于对与受试者的眼睛相关联的dr严重程度评分的专家分级。在一些实施例中，一个或多个确定包括多个dr严重程度分类514。在一些实施例中，多个dr严重程度分类514是基于对与特定dr严重程度评分相关联的dr严重程度分类的专家确定。在一些实施例中，多个dr严重程度分类表示以下中的一者或多者：轻度至中度dr(对应于在35与43之间并包括35和43的drss)、轻度至中重度dr(对应于在35与47之间并包括35和47的drss)、轻度至重度dr(对应于在35与53之间并包括35和53的drss)、中度至中重度dr(对应于在43与47之间并包括43和
47的drss)、中度至重度dr(对应于在43与53之间并且包括43和53的drss)，中重度至重度dr(对应于在47与53之间并包括47和53的drss)、轻度以上dr(对应于至少35的drss)、中度以上dr(对应于至少43的drss)、中重度以上dr(对应于至少47的drss)、以及重度以上dr(对应于至少53的drss)。
72.因此，在一些实施例中，评估系统500被配置为：接收对一个或多个dr严重程度评分的确定并且至少部分地基于该确定来确定度量。
73.在一些实施例中，评估系统500进一步包括分类器520。在一些实施例中，评估系统被配置为接收对多个dr严重程度分类的确定，并且分类器被配置为基于度量和该多个dr严重程度分类度将眼睛分类为该多个dr严重程度分类中的dr严重程度分类。
74.图6是根据各种实施例的用于评估dr严重程度的第二过程600的流程图。在一个或多个实施例中，使用图5所述的评估系统500来实现过程600。
75.步骤602包括：确定一个或多个dr严重程度评分。在一些实施例中，每个评分与dr严重程度级别相关联。一个或多个dr严重程度评分可以是本文关于图5所述的任何dr严重程度评分。
76.步骤604包括：确定多个dr严重程度分类，每个分类由一系列或一组dr严重程度阈值评分来表示。多个dr严重程度分类可以是本文关于图5所述的任何dr严重程度分类。
77.步骤606包括：接收至少包括针对受试者的眼睛的彩色眼底成像数据的输入数据。
78.步骤608包括：从接收到的输入数据确定度量，该度量指示针对受试者的眼睛中的dr严重程度的评分落在选定范围内的概率。选定范围可以是本文关于图5所述的任何选定范围。
79.步骤610包括；基于度量将眼睛分类为多个dr严重程度分类中的dr严重程度分类。
80.在一些实施例中，输入数据进一步包括与受试者相关联的任何基线人口统计数据和/或基线临床数据，如本文关于图1所述。在一些实施例中，除了彩色眼底成像数据之外，还使用基线人口统计数据和/或基线临床数据来生成度量，如本文关于图1所述。
81.在一些实施例中，该方法进一步包括：使用训练数据集来训练神经网络系统，该训练数据集至少包括与多个训练受试者相关联的分级彩色眼底成像数据。在一些实施例中，训练数据集进一步包括与多个训练受试者相关联的基线人口统计数据和/或与该多个训练受试者相关联的基线临床数据。多个训练受试者可以包括任何数量的受试者，诸如至少约1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、100万或更多受试者，至多大约100万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千或更少受试者，或者数量在由前述值中的任两者定义的范围内的受试者。在一些实施例中，该方法进一步包括：使用本文关于图7所述的方法来训练神经网络系统。
82.图7是在训练本文关于图1和/或图5所述的dr预测系统或神经网络系统中使用的神经网络训练程序的框图。在学习阶段期间，可以训练神经网络系统以确定本文关于图1、图4、图5和/或图6所述的度量和/或分类。在训练阶段期间中，可以首先在患者级分层和拆分用于训练神经网络系统(在图7中称为“整个数据集”)的数据集(诸如本文所述的与多个训练受试者相关联的分级彩色眼底成像数据)。然后，可以将整个数据集分为用于训练神经
网络系统的第一部分(在图7中称为“训练数据集”)、用于调整神经网络的第二部分(在图7中称为“调整数据集”)、以及被保留用于稍后测试和/或评估经训练的神经网络系统的第三部分(在图7中称为“测试数据集”)。第一部分可以包括整个数据集的至少约70％、75％、80％、85％、90％、95％或更多，整个数据集的至多约95％、90％、85％、80％、75％、70％或更少，或整个数据集的在由前述值中的任两者定义的范围内的百分比。第二部分可以包括整个数据集的至少约5％、10％、15％、20％或更多，整个数据集的至多约20％、15％、10％、5％或更少，或整个数据集的在由前述值中任两者定义的范围内的百分比。第三部分可以包括整个数据集的至少约5％、10％、15％、20％或更多，整个数据集的至多约20％、15％、10％、5％或更少，或整个数据集的在由前述值中任两者定义的范围内的百分比。
83.训练数据集可以用于训练神经网络系统。调整数据集可以用于在用训练数据集进行训练之后测试和调整神经网络系统的性能。所得经训练的神经网络系统可以应用于测试数据集以预测与测试数据集相关联的本文所述的任何度量和/或分类。预测的度量和/或分类可以使用各种统计量度与与保留数据集相关联的“基本事实”(诸如实际时间序列响应和/或相应的图像特征)进行比较。例如，量度可以包括以下中的任一者或多者：r2值、均方根误差(rmse)、平均绝对误差(mae)和皮尔逊相关系数。
84.计算机实现的系统
85.图8是根据各种实施例的计算机系统的框图。计算机系统800可以是针对上文在图1和/或图5中所述的计算平台102的一种实现的示例。在一个或多个示例中，计算机系统800可以包括总线802或用于传送信息的其他通信机制以及与总线802耦合用于处理信息的至少一个处理器804。在各种实施例中，计算机系统800还可以包括存储器(其可以是随机存取存储器(ram)806或其他动态存储装置)，该存储器耦接到总线802用于确定要由处理器804执行的指令。存储器还可以用于在执行要由处理器804执行的指令期间存储临时变量或其它中间信息。在各种实施例中，计算机系统800可以进一步包括耦接到总线802的用于存储针对处理器804的静态信息和指令的只读存储器(rom)808或其他静态存储装置。可以提供存储装置810(诸如磁盘或光盘)并将其耦接到总线802以用于存储信息和指令。
86.在各种实施例中，计算机系统800可以经由总线802耦接到显示器812(诸如阴极射线管(crt)或液晶显示器(lcd))用于向计算机使用者显示信息。包括字母数字键和其它键的输入装置814可以耦接到总线802，用于将信息和命令选择传递到处理器804。另一类型的用户输入装置是光标控制816(诸如鼠标、操纵杆、轨迹球、手势输入设备、基于注视的输入设备或光标方向键)，用于将方向信息和命令选取传递到处理器804并用于控制显示器812上的光标移动。该输入装置814通常在两个轴线(第一轴线(例如，x)和第二轴线(例如，y))上具有两个自由度，其允许该装置指定平面中的位置。然而，应当理解，本文也设想了允许三维(例如，x、y和z)光标移动的输入设备814。
87.与本教导的某些实施一致，结果可以由计算机系统800响应于处理器804执行包含在ram 806中的一个或多个指令的一个或多个序列而提供。在一些实施例中，计算机系统800可以响应于一个或多个专用处理单元执行包含在这些专用处理单元的专用ram中的一个或多个指令的一个或多个序列而提供结果。此类指令可以从另一计算机可读介质或计算机可读存储介质(诸如存储装置810)读取进ram 806。包含在ram 806中的指令序列的执行可以使处理器804执行本文描述的过程。替代性地，可以使用硬接线电路系统来代替软件指
令或与软件指令结合来实现本教导。因此，本教导的实施不限于硬件电路系统和软件的任何特定组合。
88.如本文所用，术语“计算机可读介质”(例如，数据存储、数据存储装置、存储设备、数据存储设备等)或“计算机可读存储介质”是指参与向处理器804提供指令以供执行的任何介质。此类介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的示例可以包括但不限于光盘、固态硬盘、磁盘(诸如存储器装置810)。易失性介质的示例可以包括但不限于动态存储器，诸如ram 806。传输介质的示例可以包括但不限于同轴电缆、铜线和光纤，包括构成总线802的线。
89.常见形式的计算机可读介质包括：例如，软盘、可折叠盘、硬盘、磁带或任何其他磁性介质；cd-rom、任何其他光学介质；穿孔卡、纸带、任何其它具有孔图案的物理介质；ram、prom和eprom、flash-eprom、任何其它存储器芯片或盒；或计算机可以读取的任何其它有形介质。
90.除了计算机可读介质之外，指令或数据也可以作为信号而提供在包括在通信设备或系统中的传输介质上，以将一个或多个指令序列提供给计算机系统800的处理器804以供执行。例如，通信设备可以包括具有指示指令和数据的信号的收发器。指令和数据被配置为使一个或多个处理器实现本文公开中概述的功能。数据通信传输连接的表示性示例可以包括但不限于电话调制解调器连接、广域网(wan)、局域网(lan)、红外数据连接、nfc连接、光通信连接等。
91.应当认识到，本文描述的方法、流程图、图和随附的公开内容可以使用计算机系统800作为独立装置或在诸如云计算网络等共享计算机处理资源的分布式网络上实现。
92.根据应用，本文描述的方法可以通过各种方式来实现。例如，这些方法可以在硬件、固件、软件或它们的任何组合中实现。针对硬件实现，处理单元可以在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、图形处理单元(gpu)、张量处理单元(tpu)、控制器、微控制器、微处理器、电子装置、设计用于执行本文所述功能的其他电子单元或它们的组合内实现。
93.在各种实施例中，本教导的方法可以被实施为固件和/或软件程序以及以c、c++、python等常规编程语言编写的应用程序。如果被实现为固件和/或软件，则本文描述的实施例本文可以在其中存储有用于使计算机执行上述方法的程序的非暂时性计算机可读介质上实现。应当理解，本文描述的各种引擎可以提供在计算机系统上，诸如计算机系统800，其中根据任一个存储器部件ram 806、rom 808或存储装置810或其组合提供的指令以及经由输入装置814提供的用户输入，处理器804将执行由这些引擎提供的分析和确定。
94.示例
95.示例1：使用深度学习从7-场彩色眼底照片自动筛查中重度和重度非增殖性糖尿病视网膜病变
96.在美国初级保健环境下，在糖尿病患者中评估了采用7-场彩色眼底照片(7f-cfp)的深度学习(dl)模型在自动识别中重度和重度非增值性糖尿病视网膜病变(npdr)患者中的性能。
97.使用在1999年与2016年之间收集的数据(来源：inoveon corporation，俄克拉何
马城，俄克拉荷马州)分析了55,324名糖尿病患者的眼睛。其中，13,247名患者因缺乏图像数据而被排除，26名患者作为采集测试案例被排除，并且4,693名患者因存在不可分级的图像而被排除。这留下了总共37,358名患者用于使用本文公开的系统和方法进行评估。糖尿病视网膜病变(dr)严重程度和临床显著黄斑水肿(csme)的存在由集中读取中心处的专业分级员从7f-cfp进行评估。使用早期治疗糖尿病视网膜病变研究(etdrs)的dr严重程度量表(drss)对dr严重程度进行分级。
98.分别针对总共29,890名患者、3,732名患者和3,736名患者，将数据集分为80％用于模型训练、10％用于调整以及10％用于测试。表1示出了针对包括在数据集中的患者的人口统计信息。表2示出了针对包括在数据集中的患者的临床信息。表3示出了针对包括在数据集中的患者的drss评分。
99.表1：患者人口统计信息
100.人口统计特征分析人群(n＝37,358)中位年龄，岁(范围)61(6-85)性别，n(％) 男性18,922(75.8)女性6,042(24.2)未知12,394种族，n(%) 白人3,271(54.25)美洲原住民1,925(31.94)非裔美国人/黑人745(12.35)亚洲人65(1.08)其他23(0.38)未知31,328
101.表2：患者临床信息
102.临床特征分析人群(n＝37,358)糖尿病类型，n(％) 1型1,245(7.6)2型15,116(92.28)妊娠20(0.12)未知20,977
103.表3：患者drss评分
[0104][0105][0106]
在所有7个视野(包括立体视觉)上对具有迁移学习的深度学习inceptionv3模型进行图像级训练，以将患者分类为具有或不具有47至53范围内的drss。在所有视野上对预测进行平均，以针对每个患者提供眼睛级别的预测。基于接受者操作特征曲线下面积(auroc)、特异度、敏感度和阳性预测值来确定模型性能。
[0107]
基于调整集的性能以及针对特异度和敏感度的期望截止点来选择模型，以最大化youden指数。模型在测试集上表现良好以在auroc为0.988(95％ci，0.9872-0.9879)、精度为0.57(95％ci，0.56-0.58)、敏感度为0.9639(95％ci，0.9628-0.9655)、特异度为0.9624(95％ci，0.9621-0.9625)、阳性预测值为0.368(95％ci，0.366-0.370)以及阴性预测值为0.999(95％ci，0.9991-0.0002)下识别drss在47至53的范围中的患者。另外，对于患有轻度以上dr的测试集成员，模型实现了auroc为0.93(95％ci，0.93-0.94)、精度为0.574(95％ci，0.567-0.58)、敏感度为0.9639(95％ci，0.9624-0.9652)、特异度为0.7912(95％ci 0.7901-0.7923)、阳性预测值为0.376(95％ci，0.3743-0.3786)以及阴性预测值为0.994(95％ci，0.9938-0.9943)。
[0108]
这些结果表明，机器学习(以及尤其是深度学习)可以支持自动识别drss在47至53的范围内的眼睛。这种模型可以通过识别处于进展风险的患者来支持筛查以供预防性临床试验。另外，该模型可以有助于临床实践中的患者筛查。
[0109]
结论
[0110]
尽管结合各种实施例描述了本教导，但本教导并不旨在限于此类实施例。相反，本教导涵盖本领域技术人员将理解的各种替代、修改和等同物。
[0111]
例如，上述流程图和框图说明了各种方法和系统实施例的可能实现的架构、功能和/或操作。流程图或框图中的每个框可以表示模块、段、功能、操作或步骤的一部分或它们的组合。在实施例的一些替代性实现中，框内标注的一个或多个功能可以以不按图中标注的顺序出现。例如，在一些情况下，连续显示的两个框可以基本上同时执行或以某种方式集成。在其他情况下，框可以以相反的顺序执行。此外，在一些情况下，可以添加一个或多个框以替换或补充流程图或框图中的一个或多个其他框。
[0112]
因此，在描述各种实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，如果该方法或过程不依赖于本文所述的特定步骤顺序，则该方法或过程不应限
于列出的特定步骤序列，并且本领域技术人员可以很容易理解，这些序列可以是不同的，并且仍然保持在各种实施例的精神和范围内。
[0113]
实施例陈述
[0114]
实施例1.一种用于评估糖尿病视网膜病变(dr)严重程度的方法，该方法包括：
[0115]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0116]
对该彩色眼底成像数据执行至少一个图像标准化程序；
[0117]
生成一组标准化的图像数据；以及
[0118]
至少使用该标准化的图像数据生成度量，该度量指示针对该受试者的该眼睛中的dr严重程度的评分落在选定范围内的概率。
[0119]
实施例2.根据实施例1所述的方法，其中该彩色眼底成像数据包括多个视野，每个视野包括彩色眼底图像。
[0120]
实施例3.根据实施例1或2所述的方法，其进一步包括：
[0121]
基于与该彩色眼底成像数据相关联的多个视野来确定该彩色眼底成像数据的分级能力，该分级能力指示对该彩色眼底成像数据包含或不包含预定数目的视野的指示。
[0122]
实施例4.根据实施例1至3中任一项所述的方法，其中该选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、中度以上dr、轻度以上dr、中重度以上dr或重度以上dr。
[0123]
实施例5.根据实施例1至4中任一项所述的方法，其中该选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。
[0124]
实施例6.根据实施例1至5中任一项所述的方法，其进一步包括：
[0125]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0126]
实施例7.根据实施例1至6中任一项所述的方法，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0127]
实施例8.根据实施例1至7中任一项所述的方法，其中该至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。
[0128]
实施例9.根据实施例1至8中任一项所述的方法，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0129]
实施例10.根据实施例1至9中任一项所述的方法，其中生成该度量包括使用神经网络系统生成该度量。
[0130]
实施例11.根据实施例10所述的方法，其进一步包括：
[0131]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0132]
实施例12.根据实施例11所述的方法，其中训练该神经网络系统进一步包括使用以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和
与该多个训练受试者相关联的基线临床特征。
[0133]
实施例13.一种用于评估糖尿病视网膜病变(dr)严重程度的系统，该系统包括：
[0134]
非暂时性存储器；和
[0135]
一个或多个处理器，其与该非暂时性存储器耦合并且配置成从该非暂时性存储器读取指令以使该系统执行操作，该操作包括：
[0136]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0137]
对该彩色眼底成像数据执行至少一个图像标准化程序；
[0138]
生成一组标准化的图像数据；以及
[0139]
至少使用该标准化的图像数据生成度量，该度量指示针对该受试者的该眼睛中的dr严重程度的评分落在选定范围内的概率。
[0140]
实施例14.根据实施例13所述的系统，其中该彩色眼底成像数据包括多个视野，每个视野包括彩色眼底图像。
[0141]
实施例15.根据实施例13或14所述的系统，其中该操作进一步包括：
[0142]
基于与该彩色眼底成像数据相关联的多个视野来确定该彩色眼底成像数据的分级能力，该分级能力指示对该彩色眼底成像数据包含或不包含预定数目的视野的指示。
[0143]
实施例16.根据实施例13至15中任一项所述的系统，其中该选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr。
[0144]
实施例17.根据实施例13至16中任一项所述的系统，其中该选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。
[0145]
实施例18.根据实施例13至17中任一项所述的系统，其中该操作进一步包括：
[0146]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0147]
实施例19.根据实施例13至18中任一项所述的系统，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0148]
实施例20.根据实施例13至19中任一项所述的系统，其中该至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。
[0149]
实施例21.根据实施例13至20中任一项所述的系统，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0150]
实施例22.根据实施例13至21中任一项所述的系统，其中生成该度量包括使用神经网络系统生成该度量。
[0151]
实施例23.根据实施例22所述的系统，其中该操作进一步包括：
[0152]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0153]
实施例24.根据实施例23所述的系统，其中训练该神经网络系统进一步包括使用
以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和与该多个训练受试者相关联的基线临床特征。
[0154]
实施例25.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，该操作包括：
[0155]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0156]
对该彩色眼底成像数据执行至少一个图像标准化程序；
[0157]
生成一组标准化的图像数据；以及
[0158]
至少使用该标准化的图像数据生成度量，该度量指示针对该受试者的该眼睛中的dr严重程度的评分落在选定范围内的概率。
[0159]
实施例26.根据实施例25所述的非暂时性机器可读介质，其中该彩色眼底成像数据包括多个视野，每个视野包括彩色眼底图像。
[0160]
实施例27.根据实施例25或26所述的非暂时性机器可读介质，其中该操作进一步包括：
[0161]
基于与该彩色眼底成像数据相关联的多个视野来确定该彩色眼底成像数据的分级能力，该分级能力指示对该彩色眼底成像数据包含或不包含预定数目的视野的指示。
[0162]
实施例28.根据实施例25至27中任一项所述的非暂时性机器可读介质，其中该选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr。
[0163]
实施例29.根据实施例25至28中任一项所述的非暂时性机器可读介质，其中该选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。
[0164]
实施例30.根据实施例25至29中任一项所述的非暂时性机器可读介质，其中该操作进一步包括：
[0165]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0166]
实施例31.根据实施例25至30中任一项所述的非暂时性机器可读介质，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0167]
实施例32.根据实施例25至31中任一项所述的非暂时性机器可读介质，其中该至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。
[0168]
实施例33.根据实施例25至32中任一项所述的非暂时性机器可读介质，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0169]
实施例34.根据实施例25至33中任一项所述的方法，其中生成该度量包括使用神经网络系统生成该度量。
[0170]
实施例35.根据实施例34的非暂时性机器可读介质，其中该操作进一步包括：
[0171]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0172]
实施例36.根据实施例35所述的非暂时性机器可读介质，其中训练该神经网络系统进一步包括使用以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和与该多个训练受试者相关联的基线临床特征。
[0173]
实施例37.一种用于评估糖尿病视网膜病变(dr)严重程度的方法，该方法包括：
[0174]
确定一个或多个dr严重程度评分，每个评分与dr严重程度级别相关联；
[0175]
确定多个dr严重程度分类，每个分类由一系列或一组dr严重程度阈值评分来表示；
[0176]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0177]
从接收到的输入数据确定度量，该度量指示针对受试者的眼睛中的dr严重程度的评分落在选定范围内的概率；以及
[0178]
基于该度量将接收到的输入数据的眼睛分类为该多个dr严重程度分类中的dr严重程度分类。
[0179]
实施例38.根据实施例37所述的方法，其进一步包括：确定该一系列或一组dr阈值评分，每个dr阈值评分指示对应于该多个dr严重程度分类中的dr严重程度分类的最小或最大评分。
[0180]
实施例39.根据实施例37或38所述的方法，其中至少一个dr严重程度分类表示中度至中重度dr、中重度至重度dr或中度至重度dr。
[0181]
实施例40.根据实施例37至39中任一项所述的方法，其中至少一系列或一组dr严重程度阈值评分包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在43与47之间并包括43和47、在47与53之间并包括47和53或在43与53之间并包括43和53。
[0182]
实施例41.根据实施例37至40中任一项所述的方法，其进一步包括：
[0183]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0184]
实施例42.根据实施例37至41中任一项所述的方法，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0185]
实施例43.根据实施例37至42中任一项所述的方法，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0186]
实施例44.根据实施例37至43中任一项所述的方法，其中生成该度量包括使用神经网络系统生成该度量。
[0187]
实施例45.根据实施例44所述的方法，其进一步包括：
[0188]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0189]
实施例46.根据实施例45所述的方法，其中训练该神经网络系统进一步包括使用以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和与该多个训练受试者相关联的基线临床特征。
[0190]
实施例47.一种用于评估糖尿病视网膜病变(dr)严重程度的系统，该系统包括：
[0191]
非暂时性存储器；和
[0192]
一个或多个处理器，其与该非暂时性存储器耦合并且配置成从该非暂时性存储器读取指令以使该系统执行操作，该操作包括：
[0193]
接收对一个或多个dr严重程度评分的确定，每个评分与dr严重程度级别相关联；
[0194]
接收对多个dr严重程度分类的确定，每个分类由一系列或一组dr严重程度阈值评分来表示；
[0195]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0196]
从接收到的输入数据确定度量，该度量指示针对受试者的眼睛中的dr严重程度的评分落在选定范围内的概率；以及
[0197]
基于该度量将接收到的输入数据的眼睛分类为该多个dr严重程度分类中的dr严重程度分类。
[0198]
实施例48.根据实施例47所述的系统，其中该操作进一步包括：接收对该一系列或一组dr阈值评分的确定，每个dr阈值评分指示对应于该多个dr严重程度分类中的dr严重程度分类的最小或最大评分。
[0199]
实施例49.根据实施例47或48所述的系统，其中至少一个dr严重程度分类表示中度至中重度dr、中重度至重度dr或中度至重度dr。
[0200]
实施例50.根据实施例47至49中任一项所述的系统，其中至少一系列或一组dr严重程度阈值评分包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在43与47之间并包括43和47、在47与53之间并包括47和53或在43与53之间并包括43和53。
[0201]
实施例51.根据实施例47至50中任一项所述的系统，其中该操作进一步包括：
[0202]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0203]
实施例52.根据实施例47至51中任一项所述的系统，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0204]
实施例53.根据实施例47至52中任一项所述的系统，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0205]
实施例54.根据实施例47至53中任一项所述的系统，其中生成该度量包括使用神经网络系统生成该度量。
[0206]
实施例55.根据实施例54所述的系统，其中该操作进一步包括：
[0207]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0208]
实施例56.根据实施例55所述的系统，其中训练该神经网络系统进一步包括使用以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和与该多个训练受试者相关联的基线临床特征。
[0209]
实施例57.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，该操作包括：
[0210]
接收对一个或多个dr严重程度评分的确定，每个评分与dr严重程度级别相关联；
[0211]
接收对多个dr严重程度分类的确定，每个分类由一系列或一组dr严重程度阈值评
分来表示；
[0212]
接收输入数据，该输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；
[0213]
从接收到的输入数据确定度量，该度量指示针对受试者的眼睛中的dr严重程度的评分落在选定范围内的概率；以及
[0214]
基于该度量将接收到的输入数据的眼睛分类为该多个dr严重程度分类中的dr严重程度分类。
[0215]
实施例58.根据实施例57所述的非暂时性机器可读介质，其中该操作进一步包括：接收对该一系列或一组dr阈值评分的确定，每个dr阈值评分指示对应于该多个dr严重程度分类中的dr严重程度分类的最小或最大评分。
[0216]
实施例59.根据实施例57或58所述的非暂时性机器可读介质，其中至少一个dr严重程度分类表示中度至中重度dr、中重度至重度dr或中度至重度dr。
[0217]
实施例60.根据实施例57至59中任一项所述的非暂时性机器可读介质，其中至少一系列或一组dr严重程度阈值评分包括糖尿病视网膜病变严重程度量表(drss)的一部分，该一部分在43与47之间并包括43和47、在47与53之间并包括47和53或在43与53之间并包括43和53。
[0218]
实施例61.根据实施例57至60中任一项所述的非暂时性机器可读介质，其中该操作进一步包括：
[0219]
使用接收到的彩色眼底成像数据来预测针对该眼睛中的dr严重程度的评分。
[0220]
实施例62.根据实施例57至61中任一项所述的非暂时性机器可读介质，其中该度量包括针对该眼睛的预测的dr严重程度评分。
[0221]
实施例63.根据实施例57至62中任一项所述的非暂时性机器可读介质，其中该输入数据进一步包括以下中的一者或多者：与该受试者相关联的基线人口统计特征和与该受试者相关联的基线临床特征；并且其中生成该度量进一步包括使用该基线人口统计特征和该基线临床特征中的一者或多者来生成该度量。
[0222]
实施例64.根据实施例57至63中任一项所述的非暂时性机器可读介质，其中生成该度量包括使用神经网络系统生成该度量。
[0223]
实施例65.根据实施例64的非暂时性机器可读介质，其中该操作进一步包括：
[0224]
使用至少包括与多个训练受试者相关联的分级彩色眼底成像数据的训练数据集来训练该神经网络系统。
[0225]
实施例66.根据实施例65所述的非暂时性机器可读介质，其中训练该神经网络系统进一步包括使用以下中的一者或多者来训练神经网络：与该多个训练受试者相关联的基线人口统计特征和与该多个训练受试者相关联的基线临床特征。

技术特征：
1.一种用于评估糖尿病视网膜病变(dr)严重程度的方法，所述方法包括：接收输入数据，所述输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；对所述彩色眼底成像数据执行至少一个图像标准化程序；生成一组标准化的图像数据；以及至少使用所述标准化的图像数据生成度量，所述度量指示针对所述受试者的所述眼睛中的dr严重程度的评分落在选定范围内的概率。2.根据权利要求1所述的方法，其进一步包括：基于与所述彩色眼底成像数据相关联的多个视野来确定所述彩色眼底成像数据的分级能力，所述分级能力指示对所述彩色眼底成像数据包含或不包含预定数目的视野的指示。3.根据权利要求1所述的方法，其中所述选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr。4.根据权利要求1所述的方法，其中所述选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，所述一部分为在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。5.根据权利要求1所述的方法，其中所述至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。6.根据权利要求1所述的方法，其中所述输入数据进一步包括以下中的一者或多者：与所述受试者相关联的基线人口统计特征和与所述受试者相关联的基线临床特征；并且其中生成所述度量进一步包括使用所述基线人口统计特征和所述基线临床特征中的一者或多者来生成所述度量。7.根据权利要求1所述的方法，其中生成所述度量包括使用神经网络系统生成所述度量。8.一种用于评估糖尿病视网膜病变(dr)严重程度的系统，所述系统包括：非暂时性存储器；和一个或多个处理器，其与所述非暂时性存储器耦合并且配置成从所述非暂时性存储器读取指令以使所述系统执行操作，所述操作包括：接收输入数据，所述输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；对所述彩色眼底成像数据执行至少一个图像标准化程序；生成一组标准化的图像数据；以及至少使用所述标准化的图像数据生成度量，所述度量指示针对所述受试者的所述眼睛中的dr严重程度的评分落在选定范围内的概率。9.根据权利要求13所述的系统，其中所述操作进一步包括：基于与所述彩色眼底成像数据相关联的多个视野来确定所述彩色眼底成像数据的分级能力，所述分级能力指示对所述彩色眼底成像数据包含或不包含预定数目的视野的指示。
10.根据权利要求8所述的系统，其中所述选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr。11.根据权利要求8所述的系统，其中所述选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，所述一部分为在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。12.根据权利要求8所述的系统，其中所述至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。13.根据权利要求8所述的系统，其中所述输入数据进一步包括以下中的一者或多者：与所述受试者相关联的基线人口统计特征和与所述受试者相关联的基线临床特征；并且其中生成所述度量进一步包括使用所述基线人口统计特征和所述基线临床特征中的一者或多者来生成所述度量。14.根据权利要求8所述的系统，其中生成所述度量包括使用神经网络系统生成所述度量。15.一种非暂时性机器可读介质，其上存储有可执行以使系统执行操作的机器可读指令，所述操作包括：接收输入数据，所述输入数据至少包括针对受试者的眼睛的彩色眼底成像数据；对所述彩色眼底成像数据执行至少一个图像标准化程序；生成一组标准化的图像数据；以及至少使用所述标准化的图像数据生成度量，所述度量指示针对所述受试者的所述眼睛中的dr严重程度的评分落在选定范围内的概率。16.根据权利要求15所述的非暂时性机器可读介质，其中所述操作进一步包括：基于与所述彩色眼底成像数据相关联的多个视野来确定所述彩色眼底成像数据的分级能力，所述分级能力指示对所述彩色眼底成像数据包含或不包含预定数目的视野的指示。17.根据权利要求15所述的非暂时性机器可读介质，其中所述选定范围表示轻度至中度dr、轻度至中重度dr、轻度至重度dr、中度至中重度dr、中重度至重度dr、中度至重度dr、轻度以上dr、中度以上dr、中重度以上dr或重度以上dr。18.根据权利要求15所述的非暂时性机器可读介质，其中所述选定范围包括糖尿病视网膜病变严重程度量表(drss)的一部分，所述一部分为在35与43之间并包括35和43、在35与47之间并包括35和47、在35与53之间并包括35和53、在43与47之间并包括43和47、在47与53之间并包括47和53、在43与53之间并包括43和53、至少35、至少43、至少47或至少53。19.根据权利要求15所述的非暂时性机器可读介质，其中所述至少一个图像标准化程序包括以下中的一者或多者：场检测程序、中心裁剪程序、前景提取程序、区域提取程序、中心区域提取程序、自适应直方图均衡化(ahe)程序和对比度受限的ahe(clahe)程序。20.根据权利要求15所述的非暂时性机器可读介质，其中所述输入数据进一步包括以下中的一者或多者：与所述受试者相关联的基线人口统计特征和与所述受试者相关联的基
线临床特征；并且其中生成所述度量进一步包括使用所述基线人口统计特征和所述基线临床特征中的一者或多者来生成所述度量。

技术总结
本文提供了用于评估糖尿病视网膜病变(DR)严重程度的方法和系统。接收针对正在评估DR的眼睛的彩色眼底成像数据。使用所述彩色眼底成像数据生成度量，所述度量指示针对所述眼睛中的所述DR严重程度的评分落在选定范围内的概率。的概率。的概率。


技术研发人员：杨淇 F
受保护的技术使用者：豪夫迈
技术研发日：2021.12.03
技术公布日：2023/8/24