一种胎儿心脏超声左心发育特征的识别方法及装置

1.本发明涉及图像识别技术领域，具体涉及一种胎儿心脏超声左心发育特征的识别方法及装置。


背景技术：

2.目前，胎儿心脏超声检查的主要手段为手动操作。其识别胎儿心脏超声指定左心病灶区域，包括左心发育不良区域的方法对医生的依赖性较大。
3.但是，手动操作明显不能满足快速、简单、大范围地识别定位胎儿心脏超声指定左心病灶区域，包括左心发育不良区域的需求。
4.因此，提供一种快速、简单、大范围的识别定位胎儿心脏超声左心发育特征的系统及方法是本领域技术人员亟需解决的问题。


技术实现要素：

5.为了能实现快速、简单、准确的识别定位胎儿心脏超声指定左心病灶区域，本发明提出一种胎儿心脏超声左心发育特征的识别方法及装置，所述方法具体包括以下步骤：
6.获取历史超声图像并进行人工标注，将历史图像划分为显著图像和非显著图像；
7.构建深度神经网络resnet-50，构建4d超声图像作为resnet-50的输入，利用历史图像对resnet-50进行训练，得到二分类深度神经网络模型，用于识别图像属于显著图像还是非显著图像；
8.针对显著图像和非显著图像分别构建图像识别器，在图像检测器中通过弱监督定位获取图像的关注区域、通过图像检测获取多个检测框；
9.将与关注区域最近的检测框作为该图像的左心发育特征位置。
10.进一步的，4d超声图像表示为：
[0011][0012]
其中，v表示一张4d超声图像，v
t,s
表示h
×
w大小的超声图像在t时刻的第s个切面；表示t个时刻、s个切面的集合；h表示超声图像的高度；w表示超声图像的宽度。
[0013]
进一步的，图像识别器得出的预测结果表示为：
[0014][0015]
其中，b
out
表示；w
total
为胎儿心脏超声图像的总重要性权重，b
pre
为最佳预测包围盒；t表示来自精细检测网络的输出预测边界框的数量。
[0016]
进一步的，胎儿心脏超声图像的总重要性权重w
total
的计算包括：
[0017]
[0018][0019]
其中，mk表示第k个特征图的重要性权重，y表示分类数，表示第k个特征图，λ为归一化参数，w表示超声图像的宽度，h表示超声图像的高度。
[0020]
进一步的，分类数y表示为：
[0021][0022]
其中，δk表示第k个特征图的特征权重，λ为归一化参数，表示第k个特征图中第i行、第j列像素点的像素值，w表示超声图像的宽度，h表示超声图像的高度。
[0023]
进一步的，最佳预测包围盒b
pre
表示为：
[0024][0025]
其中，n表示特征图的数量；表示第k个特征图，bk表示第k个特征图预测框，θ(,)表示最佳预测框计算函数。
[0026]
进一步的，第k个特征图表示：
[0027][0028]
其中，v
t,s
表示h
×
w大小的超声图像在t时刻的第s个切面，表示v
t,s
的分类结果，γ(,)表示分类网络函数。
[0029]
本发明还提出一种胎儿心脏超声左心发育特征的识别装置，用于实现一种胎儿心脏超声左心发育特征的识别方法，包括图像粗分类模块和图像精准识别定位模块，其中：
[0030]
图像粗分类模块用于对待识别定位的胎儿心脏超声图像进行粗分类，获得显著待识别定位的超声图像和非显著待识别定位的超声图像；
[0031]
图像精准识别定位模块包括图像检测模块和图像弱监督定位优化模块；图像检测模块用于对显著待识别定位的超声图像和非显著待识别定位的超声图像中设定胎儿心脏发育图像区域分别进行识别定位并输出多个检测框；图像弱监督定位优化模块用于对所述图像检测模块输出的多个检测框进行优化并输出唯一检测框。
[0032]
与现有技术相比，本发明公开提供了一种基于双阶段(粗分类和精细检测两个阶段)和弱监督定位的胎儿心脏超声左心发育特征的识别定位系统及方法，可以实现低成本、快速、简单、准确的识别定位胎儿心脏超声指定的左心病灶区域，包括左心发育不良区域的有益技术效果。
附图说明
[0033]
图1为本发明某一实施例的流程图；
[0034]
图2为本发明某一实施例中三类超声影像表征特点，其中图(a)为显著正常心脏图像，图(b)为显著包含病灶的图像，图(c)为非显著包含病灶的图像；
[0035]
图3为本发明实施例两阶段检测示意图；
[0036]
图4为本发明实施例精细检测模块示意图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
本发明提出一种胎儿心脏超声左心发育特征的识别方法，具体包括以下步骤：
[0039]
获取历史超声图像并进行人工标注，将历史图像划分为显著图像和非显著图像；
[0040]
构建深度神经网络resnet-50，构建4d超声图像作为resnet-50的输入，利用历史图像对resnet-50进行训练，得到二分类深度神经网络模型，用于识别图像属于显著图像还是非显著图像；
[0041]
针对显著图像和非显著图像分别构建图像识别器，在图像检测器中通过弱监督定位获取图像的关注区域、通过图像检测获取多个检测框；
[0042]
将与关注区域最近的检测框作为该图像的左心发育特征位置。
[0043]
如图1，在本实施例中，将待检测的图像进行分类，划分为显著待识别定位的超声图像和非显著待识别定位的超声图像，分别采用对应的检测模型进行检测，判断是否包含左心发育不良区域，其中显著待识别定位的超声图像和非显著待识别定位的超声图像对应的检测模型分别使用人工标注的显著超声图像和非显著超声图像进行训练得到。
[0044]
如图3，本发明主要包括两个检测阶段，第一个阶段检测图像为显著图像还是非显著图像(图3中class1、class2分别表示显著图像、非显著图像，本实施例中采用resnet-50进行分类识别，在进行训练时采用人工标注的图像进行训练)，识别图像为显著图像或者非显著图像后，将图像输入对应的识别定位模型中，如图3，本实施例采用yolo检测模型进行定位识别，将三个不同尺寸的图像输入yolo检测模型，得到三个检测结果，根据三个检测结果进行加权求和确定最终检测结果，利用检测框标注出来。图4给出一种具体的检测过程，将图像输入yolo检测模型后输出图像属于显著正常心脏图像(nomal)的概率为0.95，属于显著包含病灶的图像(hlhs-1)的概率为0.98，属于非显著包含病灶的图像(hlhs-2)的概率为0.81，以及不属于以上任何一种(others)的概率。
[0045]
在本实施例中，一种胎儿心脏超声左心发育特征的识别定位方法，包括以下步骤：
[0046]
步骤1：对历史胎儿心脏超声图像进行分类标注
[0047]
在进行标注时，采用仅使用边界框标签覆盖胎儿心脏roi区域的方式进行标注。
[0048]
本实施例中，由于本发明专注于分类和检测任务，因此在图像标记时不考虑方向，面对大量历史胎儿心脏超声图像训练数据，本发明简单的图像标记方法可以明显降低人工成本、提高训练数据分类标注的效率。
[0049]
步骤2：用标注后的历史胎儿心脏超声图像训练获得二分类深度神经网络
[0050]
将大量不同时间和不同切面的4维胎儿心脏超声历史图像进行手工分类，分成显著历史超声图像和非显著历史超声图像两类，利用手工分类后的显著历史超声图像和非显著历史超声图像对深度神经网络resnet-50进行训练，最终获得二分类深度神经网络模型；
[0051]
将显著历史超声图像输入到一个深度神经网络yolo中进行训练获得显著图像检测模型，将非显著历史超声图像输入到另一个深度神经网络yolo中进行训练获得非显著图像检测模型，本发明最终获得两个独立的yolo检测模型。
[0052]
本实施例中图像检测模型包括显著图像检测模型和非显著图像检测模型；所述显著图像检测模型用于检测所述显著待识别定位的超声图像；所述非显著图像检测模型用于检测所述非显著待识别定位的超声图像。
[0053]
步骤3：将待识别定位的胎儿心脏超声图像输入到所述二分类深度神经网络模型进行粗分类，获得显著待识别定位的超声图像和非显著待识别定位的超声图像
[0054]
本发明设计的二分类深度神经网络模型，有助于减小类内距离，扩大类间距离，减小后续检测的误检率。
[0055]
步骤4：将显著待识别定位的超声图像和非显著待识别定位的超声图像分别输入到所述图像检测模型进行识别定位，并输出多个检测框
[0056]
将粗分类后的显著待识别定位的超声图像输入到显著图像检测模型，将非显著待识别定位的超声图像输入到非显著图像检测模型。
[0057]
步骤5：将所述图像检测模型输出的多个检测框进行弱监督定位优化，并输出唯一检测框
[0058]
弱监督定位优化包括对所述显著图像检测模型和非显著图像检测模型输出的多个检测框进行误检矫正并输出唯一检测框；
[0059]
或者，弱监督定位优化包括对所述显著图像检测模型和非显著图像检测模型生成的多尺度特征图进行梯度计算并获取重要性分布矩阵，根据重要性分布矩阵输出唯一检测框。
[0060]
具体地，在弱监督定位优化方法为：对所述显著图像检测模型和非显著图像检测模型生成的多尺度特征图进行梯度计算，从而获取特征图上的重要性权重矩阵，实现自动捕获图像的关注区域，利用关注区域与显著图像检测模型、非显著图像检测模型输出的多个检测区域进行最近距离运算，最终获得唯一的检测定位框。本发明在图像检测模型的基础上增加了弱监督定位优化功能，可以有效减少因极大值抑制阈值设置导致误检框的输出，保证最终的输出框是正确唯一的。
[0061]
与现有技术相比，本发明采用深度学习方法针对胎儿有潜在发展为左心发育不良(hlhs)检测工作；同时，本发明针对快速检测、低成本标注需要，本文采用yolo作为骨干检测网络，但是直接采用yolo网络在超声检测中存在漏检和多检问题，我们发现主要还是yolo中nms只是设置了固定阈值导致的，因此，我们对yolo网络中nms进行优化，通过加入cam(类激活图)来降低漏检和多检情况方式，另外在模型训练上，本发明对3种类型图像分为两种类别图像进行独立训练，这样的训练方式，也可以提升在超声高噪声复杂图像中的检测率。
[0062]
在本实施例中，二分类网络直接用的resnet-50，针对采用的网络，本发明对图像进行处理，定义一种4d超声图像，表示为：
[0063][0064]
其中，v表示一张4d超声图像，v
t,s
表示h
×
w大小的超声图像在t时刻的第s个切面；表示t个时刻、s个切面的集合；h表示超声图像的高度；w表示超声图像的宽度。
[0065]
二分类网络定义如下：
[0066][0067]
其中，φ
binary
代表分类函数，分类函数是指resnet-50的分类函数；c1表示显著图像包括正常心脏图片(例如图2(a))和hlhs-1类型(即显著包含病灶的图像例如图2(b))，c2表示hlhs-2类型(即非著包含病灶的图像例如图2(c))。
[0068]
本实施例检测网络中对于yolo网络的nms机制进行了优化，使yolo网络在超声这种高噪声和色彩信息单一的图像，也可以实现较好的检测和定位。精细检测网络使用yolo作为骨干网络，可以通过预失真标签和边界框实现检测结果输出，本实施例使用基本的焦点损失函数作为损失函数；为了获得心脏病灶区域的高精度定位，本实施例引入了基于cam的弱监督定位，通过使用弱监督定位，可以优化预失真边界框。
[0069]
精细检测网络可以输出三个比例的特征图，本实施例将输出的特征图定义如下：
[0070][0071]
其中，表示在分类下v
t,s
的第k个特征图；γ(,)表示yolo网络中的分类网络函数，该网络根据输入的v
t,s
及其分类结果确定resnet-50网络的输出特征图。
[0072]
每个特征图将根据nms阈值生成预测包围盒，网络的最佳预测包围盒可以由下式给出：
[0073][0074]
其中，n表示特征图的数量，在本实施例中设置位3；bk第k个特征图的预测框；θ(,)表示最佳预测框计算函数，即nms的预测框选取函数，可以采用现有的nms的预测框选取函数。
[0075]
由于nms是一种使用阈值的简单包围框选择策略，这会导致误判的包围框。因此，本实施例引入了弱监督定位来增强选择策略。本实施例的方法可以计算三个不同尺度特征图上的重要性权重，根据每个特征图的重要性权重，获得最后一个输出预失真包围盒。
[0076]
为了计算重要性权重，本实施例首先给出了类分数y的梯度：
[0077][0078]
其中，δk表示第k个特征图的特征权重(k＝{1,2,3}，分别表示yolo网络输出的三张特征图)，λ代表在可视化过程中归一化的比例常数。
[0079]
第k个特征图上的重要性权重可由下式给出：
[0080][0081]
胎儿心脏超声图像的总重要性权重可由下式给出：
[0082][0083]
其中，mk表示第k个特征图上的重要性权重的权重。在本实施例的方法中，设置m3＝1,m1＝0,m2＝0。
[0084]
最后，可以获得如下的最终预测边界框：
[0085][0086]
其中，t表示来自精细检测网络的输出预测边界框的数量。
[0087]
本发明还给出一种胎儿心脏超声左心发育特征的识别装置，用于实现一种胎儿心脏超声左心发育特征的识别方法，包括图像粗分类模块和图像精准识别定位模块，其中：
[0088]
图像粗分类模块用于对待识别定位的胎儿心脏超声图像进行粗分类，获得显著待识别定位的超声图像和非显著待识别定位的超声图像；
[0089]
图像精准识别定位模块包括图像检测模块和图像弱监督定位优化模块；图像检测模块用于对显著待识别定位的超声图像和非显著待识别定位的超声图像中设定胎儿心脏发育图像区域分别进行识别定位并输出多个检测框；图像弱监督定位优化模块用于对所述图像检测模块输出的多个检测框进行优化并输出唯一检测框。
[0090]
在本实施例中，显著待识别定位的超声图像包括显著正常的待识别定位的超声图像和显著左心发育不良的待识别定位的超声图像；所述非显著待识别定位的超声图像包括非显著左心发育不良的待识别定位的超声图像。
[0091]
具体地，将大量不同时间和不同切面的4维胎儿心脏超声历史图像进行手工分类，分成显著历史超声图像和非显著历史超声图像两类，利用手工分类后的显著历史超声图像和非显著历史超声图像对深度神经网络resnet-50进行训练，最终获得二分类深度神经网络模型，所述二分类深度神经网络模型用于对待识别定位的胎儿心脏超声图像进行粗分类，最终将待识别定位的胎儿心脏超声图像分为显著待识别定位的超声图像和非显著待识别定位的超声图像这两类。本发明设计的二分类深度学习神经网络模型，有助于减小类内距离，扩大类间距离，减小后续检测的误检率。
[0092]
本发明设定胎儿心脏发育图像区域为左心发育不良的图像区域，左心发育不良胎儿心脏通常表现为主动脉狭窄症状，这导致左心室(lv)呈球状，左心室壁厚度增大。
[0093]
具体地，在图像精准识别定位模块中，将大量不同时间和不同切面的4维胎儿心脏超声历史图像进行手工分类，分成显著历史超声图像和非显著历史超声图像两类，然后将显著历史超声图像输入到一个深度神经网络yolo中进行训练获得显著图像检测模型，将非显著历史超声图像输入到另一个深度神经网络yolo中进行训练获得非显著图像检测模型，本发明最终获得两个独立的yolo检测模型。将粗分类后的显著待识别定位的超声图像输入到显著图像检测模型，将非显著待识别定位的超声图像输入到非显著图像检测模型。所述图像弱监督定位模块对所述显著图像检测模型和非显著图像检测模型生成的多尺度特征图进行梯度计算，从而获取特征图上的重要性权重矩阵，实现自动捕获图像的关注区域，利用关注区域与显著图像检测模型、非显著图像检测模型输出的多个检测区域进行最近距离运算，最终获得唯一的检测定位框。本发明在图像检测模型的基础上增加了弱监督定位优化功能，可以有效减少因极大值抑制阈值设置导致误检框的输出，保证最终的输出框是正确唯一的。
[0094]
在本实施例，对图像进行标注时，采用仅使用边界框标签覆盖胎儿心脏roi区域的方式进行标注。由于本发明专注于分类和检测任务，因此在图像标记时不考虑方向，仅使用边界框标签覆盖胎儿心脏的roi区域即可，面对大量历史胎儿心脏超声图像训练数据，本发明简单的图像标记方法可以明显降低人工成本和提高训练数据分类标注的效率。
[0095]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种胎儿心脏超声左心发育特征的识别方法，其特征在于，具体包括以下步骤：获取历史超声图像并进行人工标注，将历史图像划分为显著图像和非显著图像；构建深度神经网络resnet-50，构建4d超声图像作为resnet-50的输入，利用历史图像对resnet-50进行训练，得到二分类深度神经网络模型，用于识别图像属于显著图像还是非显著图像；针对显著图像和非显著图像分别构建图像识别器，在图像检测器中通过弱监督定位获取图像的关注区域、通过图像检测获取多个检测框；将与关注区域最近的检测框作为该图像的左心发育特征位置。2.根据权利要求1所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，4d超声图像表示为：其中，v表示一张4d超声图像，v
t,s
表示h
×
w大小的超声图像在t时刻的第s个切面；表示t个时刻、s个切面的集合；h表示超声图像的高度；w表示超声图像的宽度。3.根据权利要求1所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，图像识别器得出的预测结果表示为：其中，b
out
表示；w
total
为胎儿心脏超声图像的总重要性权重，b
pre
为最佳预测包围盒；t表示来自精细检测网络的输出预测边界框的数量。4.根据权利要求3所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，胎儿心脏超声图像的总重要性权重w
total
的计算包括：的计算包括：其中，m
k
表示第k个特征图的重要性权重，y表示分类数，表示第k个特征图，λ为归一化参数，w表示超声图像的宽度，h表示超声图像的高度。5.根据权利要求3所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，分类数y表示为：其中，δ
k
表示第k个特征图的特征权重，λ为归一化参数，表示第k个特征图中第i行、第j列像素点的像素值，w表示超声图像的宽度，h表示超声图像的高度。6.根据权利要求3所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，最佳预测包围盒b
pre
表示为：
其中，n表示特征图的数量；表示第k个特征图，b
k
表示第k个特征图预测框，θ(,)表示最佳预测框计算函数。7.根据权利要求4、5或6所述的一种胎儿心脏超声左心发育特征的识别方法，其特征在于，第k个特征图表示：其中，v
t,s
表示h
×
w大小的超声图像在t时刻的第s个切面，表示v
t,s
的分类结果，γ(,)表示分类网络函数。8.一种胎儿心脏超声左心发育特征的识别装置，其特征在于，用于实现权利要求1所述的一种胎儿心脏超声左心发育特征的识别方法，包括图像粗分类模块和图像精准识别定位模块，其中：图像粗分类模块用于对待识别定位的胎儿心脏超声图像进行粗分类，获得显著待识别定位的超声图像和非显著待识别定位的超声图像；图像精准识别定位模块包括图像检测模块和图像弱监督定位优化模块；图像检测模块用于对显著待识别定位的超声图像和非显著待识别定位的超声图像中设定胎儿心脏发育图像区域分别进行识别定位并输出多个检测框；图像弱监督定位优化模块用于对所述图像检测模块输出的多个检测框进行优化并输出唯一检测框。

技术总结
本发明涉及图像识别技术领域，具体涉及一种胎儿心脏超声左心发育特征的识别方法及装置，方法包括获取历史超声图像并进行人工标注，将历史图像划分为显著图像和非显著图像；构建深度神经网络，构建4D超声图像作为深度神经网络的输入，利用历史图像对深度神经网络进行训练，得到二分类深度神经网络模型，用于识别图像属于显著图像还是非显著图像；针对显著图像和非显著图像分别构建图像识别器，在图像检测器中通过弱监督定位获取图像的关注区域、通过图像检测获取多个检测框；将与关注区域最近的检测框作为该图像的左心发育特征位置；本发明可以实现低成本、快速、简单、准确的识别定位胎儿心脏超声指定的左心病灶区域。位胎儿心脏超声指定的左心病灶区域。位胎儿心脏超声指定的左心病灶区域。


技术研发人员：李伟生 王钢
受保护的技术使用者：重庆邮电大学
技术研发日：2023.05.15
技术公布日：2023/8/14