基于人工智能的膝关节图像分割方法、装置及电子设备与流程

1.本发明涉及计算机
技术领域：
：，尤其涉及一种基于人工智能的膝关节图像分割方法、装置及电子设备。
背景技术：
：：2.膝关节由股骨下端、胫骨上端和髌骨构成，是人体最大最复杂的关节。传统的膝关节图像分割方法，需要医生较多的参与，分割过程比较耗时且分割精度较低。如何提高膝关节图像分割的效率和精确度是目前业界亟待解决的问题。技术实现要素：3.针对现有技术存在的问题，本发明实施例提供一种基于人工智能的膝关节图像分割方法、装置及电子设备。4.第一方面，本发明提供一种基于人工智能的膝关节图像分割方法，包括：5.获取膝关节图像；6.通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；7.所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；8.所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。9.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息，包括：10.基于所述残差神经网络，从所述膝关节图像提取预设步长的所述初始特征图；11.基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，得到与所述膝关节图像尺寸大小相同的目标特征图；12.基于所述目标特征图，获取所述膝关节边界信息。13.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，包括：14.将所述初始特征图通过所述金字塔池化模块进行特征融合处理得到的特征图，与所述初始特征图进行相加操作，得到第一特征图；15.基于所述至少两个上采样模块中的第一上采样模块，对所述第一特征图进行上采样处理，得到第二特征图；16.将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图；17.将所述第二特征图和所述第三特征图进行特征融合处理，得到第四特征图；18.其中，所述第一上采样模块与所述金字塔池化模块连接，所述第四特征图为第二上采样模块的输入特征图像，所述第二上采样模块为处于所述第一上采样模块之后的上采样模块。19.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述方法还包括：20.获取所述第一跳跃连接结构对应的第一注意力权值向量；21.所述将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图，包括：22.将所述第一注意力权值向量与所述初始特征图进行运算处理，得到所述第三特征图。23.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述注意力机制网络结构包括级联的全局平均池化层、卷积层、归一化层和激励层；24.所述获取所述第一跳跃连接结构对应的第一注意力权值向量，包括：25.基于所述初始特征图像，通过所述全局平均池化层、所述卷积层、所述归一化层和所述激励层进行注意力权值计算，确定所述第一注意力权值向量。26.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述金字塔池化模块包括至少两个尺度特征处理单元和特征融合单元，各尺度特征处理单元对应的金字塔尺度不相同；27.所述至少两个尺度特征处理单元用于提取所述初始特征图的多尺度特征；28.所述特征融合单元用于对所述初始特征图的多尺度特征进行特征融合。29.可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，还包括：30.基于目标损失函数，对初始图像分割模型进行训练，获取所述图像分割模型；31.所述目标损失函数是基于第三上采样模块对应的分割梯度损失函数和每个上采样模块对应的损失函数确定的，所述第三上采样模块为所述至少两个上采样模块中最后一个上采样模块，所述分割梯度损失函数是基于均值滤波器和sobel算子确定的。32.第二方面，本发明还提供一种基于人工智能的膝关节图像分割装置，包括：33.第一获取模块，用于获取膝关节图像；34.第二获取模块，用于通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；35.所述图像分割模型包括级联的残差神经网络、金字塔池化模块、至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；36.所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。37.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人工智能的膝关节图像分割方法。38.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人工智能的膝关节图像分割方法。39.本发明提供的基于人工智能的膝关节图像分割方法、装置及电子设备，通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，可以将上下文路径中的浅层细节特征与通过金字塔池化模块得到的深层抽象特征进行融合，让浅层局部细节与深层抽象特征互补增强，得到增强后的内容特征，能够实现对膝关节图像的自动分割，且能够提高对膝关节图像分割的精度。附图说明40.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。41.图1是本发明提供的基于人工智能的膝关节图像分割方法的流程示意图；42.图2是本发明提供的图像分割模型的网络结构示意图；43.图3是本发明提供的对dicom数据进行分割重建的流程示意图；44.图4是本发明提供的注意力机制的网络结构示意图；45.图5是本发明提供的金字塔池化模块的网络结构示意图；46.图6是本发明提供的基于人工智能的膝关节图像分割装置的结构示意图；47.图7是本发明提供的电子设备的结构示意图。具体实施方式48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。49.图1是本发明提供的基于人工智能的膝关节图像分割方法的流程示意图，如图1所示，所述膝关节图像分割方法的执行主体可以是电子设备，例如服务器等。该方法包括：50.步骤101，获取膝关节图像。51.具体地，可以获取膝关节的二维横断面医学数字成像和通信(digitalimagingandcommunicationsinmedicine，dicom)数据(例如膝关节ct图像数据)，进而将二维横断面dicom数据转换成便携式网络图形(portablenetworkgraphics，png)格式的膝关节图像，png格式的膝关节图像可以输入至图像分割模型，以进行图像分割。52.步骤102，通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；53.所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；54.所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。55.具体地，为了提高膝关节图像分割的效率和精确度，在获取到膝关节图像之后，可以将膝关节图像可以输入至图像分割模型，进而可以通过图像分割模型，对膝关节图像中的膝关节进行分割，可以获取膝关节边界信息，该膝关节边界信息可以表征膝关节图像中膝关节的边界。56.可以理解的是，本发明提供的图像分割模型在cascadepsp网络的基础上，引入注意力机制和金字塔池化模块，通过引入注意力机制，可以捕获全局上下文信息，并计算注意力向量来辅助特征分析处理，可以优化上下文路径中每一个阶段的输出特性，且不需要上采样操作。57.可以理解的是，通过引入金字塔池化模块，可以在该模块中使用不同大小的池化操作，聚合不同区域的上下文信息，从而提高获取全局信息的能力。多尺度输入使模型能够捕获不同层次的结构和边界信息，使网络能够学习自适应地融合不同尺度的mask特征，在更精细的层次上完善分割。58.可选地，至少两个相互连接的上采样模块可以包括第一上采样模块、第二上采样模块和第三上采样模块；59.残差神经网络和第一上采样模块之间具有第一跳跃连接结构，残差神经网络和第二上采样模块之间具有第二跳跃连接结构，残差神经网络和第三上采样模块之间具有第三跳跃连接结构，各跳跃连接结构配置有注意力机制。60.可选地，图2是本发明提供的图像分割模型的网络结构示意图，如图2所示，图像分割模型可以包括级联的残差神经网络、金字塔池化模块、第一上采样模块、第二上采样模块和第三上采样模块。如图2所示，残差神经网络和各上采样模块之间具有跳跃连接结构，残差神经网络和第一上采样模块之间具有第一跳跃连接结构，残差神经网络和第二上采样模块之间具有第二跳跃连接结构，残差神经网络和第三上采样模块之间具有第三跳跃连接结构。第一跳跃连接结构、第二跳跃连接结构和第三跳跃连接结构均配置有注意力机制。61.可选地，如图2所示，金字塔池化模块的多尺度输入使模型能够捕获不同层次的结构和边界信息，使网络能够学习自适应地融合不同尺度的mask特征，在更精细的层次上完善分割。62.可选地，如图2所示，较低分辨率的输入分割被双线性上采样为相同大小，并与rgb图像连接在一起。可以使用resnet-34作为主干网络，从输入中提取步长为8的特征图。其中金字塔池化大小可以为[1，2，3，6]，这有助于捕获全局上下文。除了最终的os1输出之外，模型还可以生成os8和os4的分割结果(os指输出特征图的分辨率与输入图像分辨率的比值)。[0063]可选地，如图2所示，为了重建在提取过程中丢失的像素级图像细节，在cascadepsp的跳跃连接(skip)结构中添加注意力机制，提高边界分割能力，并使用上采样模块融合了特征。将skip分支的特征和来自主干分支的双线性上采样的特征连接起来，并使用resnet对其进行处理。[0064]可以理解的是，相关技术中直接将深层抽象特征做上采样操作，目标分割的边缘细节会有较大的损失，而本发明提供的模型，如图2所示，将多层级和多尺度的特征信息进行整合，引入注意力机制，可以让浅层局部细节与深层抽象特征互补增强，得到更好的分割效果。[0065]可选地，为了获取图像分割模型，可以将二维横断面dicom样本数据转换成png格式的样本图片，标注分割mask转换成png格式的图片，将其进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集，以构建数据集。可以基于该数据集对待训练的图像分割模型进行有监督的训练，以获取上述图像分割模型。[0066]可选地，可以基于目标损失函数，对初始图像分割模型进行训练，获取所述图像分割模型；[0067]所述目标损失函数是基于第三上采样模块对应的分割梯度损失函数和每个上采样模块对应的损失函数确定的，所述第三上采样模块为所述至少两个上采样模块中最后一个上采样模块，所述分割梯度损失函数是基于均值滤波器和sobel算子确定的。[0068]例如，训练过程中，对于较粗糙的os8，可以使用交叉熵损失函数，对于较精细的os1，可以使用l1+l2损失函数，对于os4，可以使用交叉熵损失和l1+l2损失的平均值。为了进行更好的边界细化，可以在os1上还采用分段梯度幅度上的l1损失。分割梯度由一个3×3均值滤波器和sobel算子组成。总的损失函数可以通过以下公式表示：[0069][0070][0071]其中，fm表示3×3均值滤波器，表示由sobel算子近似的梯度算子，α表示加权值，n表示像素总数，xi表示第i个真实mask，yi表示第i个预测mask。[0072]可以理解的是，由于梯度与像素级损失相比更稀疏，可以设置其加权值为α，例如可以将α设置为5。损失函数采用多loss回归的形式，将上采样每一层结果输出，作为该层的loss，采用多loss输出的方式可以关注每一层的特征学习情况，能够加强对每一层特征的学习。[0073]可选地，模型训练过程中，训练的batch_size可以为64，初始化学习率可以设置为1e-4，附加学习率衰减策略，可以每迭代5000次，学习率衰减为原来的0.9，优化器可以使用adam优化器，可以设置每迭代1000次，对训练集和验证集做一次验证，可以通过早停法来判断网络训练停止时间，并得到最终模型。[0074]可选地，图3是本发明提供的对dicom数据进行分割重建的流程示意图，如图3所示，可以将二维横断面dicom数据转换成png格式的膝关节图像，png格式的膝关节图像可以输入至图像分割模型，通过图像分割模型，可以对膝关节图像中的膝关节进行分割，获取膝关节边界信息，进而基于膝关节边界信息可以进行三维重建，以获取三维重建结果。[0075]本发明提供的基于人工智能的膝关节图像分割方法，通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，可以将上下文路径中的浅层细节特征与通过金字塔池化模块得到的深层抽象特征进行融合，让浅层局部细节与深层抽象特征互补增强，得到增强后的内容特征，能够实现对膝关节图像的自动分割，且能够提高对膝关节图像分割的精度。[0076]可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息，包括：[0077]基于所述残差神经网络，从所述膝关节图像提取预设步长的所述初始特征图；[0078]基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，得到与所述膝关节图像尺寸大小相同的目标特征图；[0079]基于所述目标特征图，获取所述膝关节边界信息。[0080]具体地，在获取到膝关节图像之后，可以通过图像分割模型的主干网络(也即残差神经网络)，对膝关节图像进行特征提取，可以从膝关节图像提取预设步长(例如步长为8)的初始特征图，进而可以基于金字塔池化模块，对初始特征图进行不同大小的池化操作，并进行多尺度特征融合，进而可以将融合后的特征图，通过至少两个上采样模块进行上采样处理，得到目标特征图，该目标特征图的尺寸与膝关节图像的尺寸相同，进而可以基于该目标特征图，获取膝关节边界信息。[0081]可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，包括：[0082]将所述初始特征图通过所述金字塔池化模块进行特征融合处理得到的特征图，与所述初始特征图进行相加操作，得到第一特征图；[0083]基于所述至少两个上采样模块中的第一上采样模块，对所述第一特征图进行上采样处理，得到第二特征图；[0084]将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图；[0085]将所述第二特征图和所述第三特征图进行特征融合处理，得到第四特征图；[0086]其中，所述第一上采样模块与所述金字塔池化模块连接，所述第四特征图为第二上采样模块的输入特征图像，所述第二上采样模块为处于所述第一上采样模块之后的上采样模块。[0087]可以理解的是，对于上述至少两个上采样模块中的任意两个相邻的上采样模块，例如上采样模块a和上采样模块b(上采样模块a在上采样模块b之前)，经上采样模块a的上采样处理后可以获得的特征图a1；可以将初始特征图像，通过与上采样模块a对应的跳跃连接结构进行注意力机制处理，可以得到特征图a2；可以将特征图a1和特征图a2进行特征融合处理，得到特征图b0，特征图b0可以作为上采样模块b的输入特征图像。[0088]可选地，上述至少两个上采样模块可以包括第一上采样模块、第二上采样模块和第三上采样模块，相应地，基于金字塔池化模块以及至少两个上采样模块，对初始特征图进行特征融合处理以及上采样处理，包括：[0089]将初始特征图通过金字塔池化模块进行特征融合处理得到的特征图，与初始特征图进行相加操作，得到第一特征图，第一特征图的分辨率为膝关节图像的分辨率的八分之一；[0090]基于第一上采样模块，对第一特征图进行上采样处理，得到第二特征图；进而将初始特征图像，通过与第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图；进而将第二特征图和第三特征图进行特征融合处理，得到第四特征图，第四特征图的分辨率为膝关节图像的分辨率的四分之一；[0091]依次类推，将第一特征图，通过第一上采样模块和第一上采样模块对应的第一跳跃连接结构进行处理，可以得到第二上采样模块的输入特征图；进而通过第二上采样模块和第二上采样模块对应的第二跳跃连接结构进行处理，可以得到第三上采样模块的输入特征图(该特征图的分辨率可以为膝关节图像的分辨率的二分之一)；进而通过第三上采样模块和第三上采样模块对应的第三跳跃连接结构进行处理，可以得到目标特征图。[0092]因此，通过残差神经网络可以从膝关节图像提取初始特征图像，通过金字塔池化模块可以对初始特征图进行多尺度特征融合，可以自适应地融合不同尺度的mask特征，进而通过多个上采样模块和各上采样模块对应的跳跃连接结构，可以融合多个跳跃连接结构的注意力机制所输出的特征图，可优化上下文路径中每一个阶段的输出特性，将上下文路径中的浅层细节特征与通过多尺度特征融合模块得到的深层抽象特征进行融合，得到增强后的内容特征，提高对膝关节分割的精度。[0093]可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述方法还包括：[0094]获取所述第一跳跃连接结构对应的第一注意力权值向量；[0095]所述将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图，包括：[0096]将所述第一注意力权值向量与所述初始特征图进行运算处理，得到所述第三特征图。[0097]具体地，可以基于初始特征图像进行注意力权值计算，获取第一跳跃连接结构对应的第一注意力权值向量，进而可以基于第一注意力权值向量和初始特征图像进行运算处理，以获取第三特征图，进而可以将第二特征图和第三特征图进行特征融合处理，得到第四特征图，第四特征图可以作为第二上采样模块的输入特征图像。[0098]可选地，可以基于第一注意力权值向量和初始特征图像进行乘法运算处理，以获取第三特征图。[0099]可选地，可以基于第一注意力权值向量和初始特征图像进行加法运算处理，以获取第三特征图。[0100]可选地，对于上述至少两个上采样模块中的任意两个相邻的上采样模块，例如上采样模块a和上采样模块b(上采样模块a在上采样模块b之前)，经上采样模块a的上采样处理后可以获得的特征图a1；通过上采样模块a对应的跳跃连接结构，可以获取该跳跃连接结构对应的注意力权值向量，可以将该注意力权值向量与初始特征图进行运算处理，得到特征图a2；可以将特征图a1和特征图a2进行特征融合处理，得到特征图b0，特征图b0可以作为上采样模块b的输入特征图像。[0101]可选地，图4是本发明提供的注意力机制的网络结构示意图，如图4所示，跳跃连接结构可以配置有注意力机制，基于该注意力机制可以计算残差神经网络所输出的初始特征图的注意力权值，以获取注意力权值向量，进而可以基于该注意力权值向量和初始特征图，进行乘法计算，可以获取该跳跃连接结构对应的特征图。[0102]因此，在各跳跃连接结构中配置注意力机制，可以获全局上下文信息，并计算注意力向量来辅助特征分析处理，可以优化上下文路径中每一个阶段的输出特性，能够提高模型的边界分割能力。[0103]可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，如图4所示，所述注意力机制网络结构包括级联的全局平均池化层、卷积层、归一化层和激励层；[0104]所述获取所述第一跳跃连接结构对应的第一注意力权值向量，包括：[0105]基于所述初始特征图像，通过所述全局平均池化层、所述卷积层、所述归一化层和所述激励层进行注意力权值计算，确定所述第一注意力权值向量。[0106]具体地，如图4所示，注意力机制可以使用全局平均池化来检索上下文特征，这样的设计可以优化上下文路径中每一个阶段的输出特性，并且还可以集成全局上下文信息。[0107]可选地，卷积层可以采用1×1卷积核。[0108]可以理解的是，在各跳跃连接结构中配置注意力机制，可以使用全局平均池化来捕获全局上下文信息，并计算注意力向量来辅助特征分析处理，可以优化上下文路径中每一个阶段的输出特性，能够提高模型的边界分割能力。[0109]可选地，根据本发明提供的一种基于人工智能的膝关节图像分割方法，所述金字塔池化模块包括至少两个尺度特征处理单元和特征融合单元，各尺度特征处理单元对应的金字塔尺度不相同；[0110]所述至少两个尺度特征处理单元用于提取所述初始特征图的多尺度特征；[0111]所述特征融合单元用于对所述初始特征图的多尺度特征进行特征融合。[0112]具体地，图5是本发明提供的金字塔池化模块的网络结构示意图，如图5所示，金字塔池化模块包括四个尺度特征处理单元和特征融合单元，各尺度特征处理单元对应的金字塔尺度不相同。在获取初始特征图之后，可以基于四个尺度特征处理单元，对初始特征图进行不同大小的池化操作，以提取初始特征图的多尺度池化特征，进而对多尺度池化特征和初始特征图进行相加操作，可以获取第一特征图。[0113]可选地，尺度特征处理单元可以包括级联的池化层、卷积层和上采样层，该卷积层可以采用1×1卷积核。[0114]如图5所示，金字塔池化模块可以融合4种不同金字塔尺度的特征，第一行是最粗糙的特征-全局池化生成单个输出(第一行对应的金字塔尺度为1/16)，后三行是不同尺度的池化特征(第二行对应的金字塔尺度为1/8，第三行对应的金字塔尺度为1/4，第四行对应的金字塔尺度为1/2)。[0115]可以理解的是，为了保证全局特征的权重，如果金字塔共有n个级别，则在每个级别后使用1×1的卷积将对于级别通道降为原本的1/n。再通过双线性插值获得未池化前的大小，最终融合(concat)到一起。该结构确保在不丢失分辨率的情况下，仍然扩大感受野，获得的感受野不一样，也即获取了多尺度信息，一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。[0116]因此，通过引入金字塔池化模块，可以在该模块中使用不同大小的池化操作，聚合不同区域的上下文信息，从而提高获取全局信息的能力。多尺度输入使模型能够捕获不同层次的结构和边界信息，使网络能够学习自适应地融合不同尺度的mask特征，在更精细的层次上完善分割。[0117]本发明提供的基于人工智能的膝关节图像分割方法，通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，可以将上下文路径中的浅层细节特征与通过金字塔池化模块得到的深层抽象特征进行融合，让浅层局部细节与深层抽象特征互补增强，得到增强后的内容特征，能够实现对膝关节图像的自动分割，且能够提高对膝关节图像分割的精度。[0118]下面对本发明提供的基于人工智能的膝关节图像分割装置进行描述，下文描述的基于人工智能的膝关节图像分割装置与上文描述的基于人工智能的膝关节图像分割方法可相互对应参照。[0119]图6是本发明提供的基于人工智能的膝关节图像分割装置的结构示意图，如图6所示，所述装置包括：第一获取模块601和第二获取模块602，其中：[0120]第一获取模块601，用于获取膝关节图像；[0121]第二获取模块602，用于通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；[0122]所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；[0123]所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。[0124]本发明提供的基于人工智能的膝关节图像分割装置，通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，可以将上下文路径中的浅层细节特征与通过金字塔池化模块得到的深层抽象特征进行融合，让浅层局部细节与深层抽象特征互补增强，得到增强后的内容特征，能够实现对膝关节图像的自动分割，且能够提高对膝关节图像分割的精度。[0125]可选地，所述第二获取模块包括：[0126]提取单元，用于基于所述残差神经网络，从所述膝关节图像提取预设步长的所述初始特征图；[0127]处理单元，用于基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，得到与所述膝关节图像尺寸大小相同的目标特征图；[0128]获取单元，用于基于所述目标特征图，获取所述膝关节边界信息。[0129]可选地，所述处理单元具体用于：[0130]将所述初始特征图通过所述金字塔池化模块进行特征融合处理得到的特征图，与所述初始特征图进行相加操作，得到第一特征图；[0131]基于所述至少两个上采样模块中的第一上采样模块，对所述第一特征图进行上采样处理，得到第二特征图；[0132]将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图；[0133]将所述第二特征图和所述第三特征图进行特征融合处理，得到第四特征图；[0134]其中，所述第一上采样模块与所述金字塔池化模块连接，所述第四特征图为第二上采样模块的输入特征图像，所述第二上采样模块为处于所述第一上采样模块之后的上采样模块。[0135]可选地，所述装置还包括第三获取模块，所述第三获取模块用于：[0136]获取所述第一跳跃连接结构对应的第一注意力权值向量；[0137]所述处理单元具体用于：[0138]将所述第一注意力权值向量与所述初始特征图进行运算处理，得到所述第三特征图。[0139]可选地，所述注意力机制网络结构包括级联的全局平均池化层、卷积层、归一化层和激励层；[0140]所述第三获取模块具体用于：[0141]基于所述初始特征图像，通过所述全局平均池化层、所述卷积层、所述归一化层和所述激励层进行注意力权值计算，确定所述第一注意力权值向量。[0142]可选地，所述金字塔池化模块包括至少两个尺度特征处理单元和特征融合单元，各尺度特征处理单元对应的金字塔尺度不相同；[0143]所述至少两个尺度特征处理单元用于提取所述初始特征图的多尺度特征；[0144]所述特征融合单元用于对所述初始特征图的多尺度特征进行特征融合。[0145]可选地，所述装置还包括训练模块，所述训练模块用于：[0146]基于目标损失函数，对初始图像分割模型进行训练，获取所述图像分割模型；[0147]所述目标损失函数是基于第三上采样模块对应的分割梯度损失函数和每个上采样模块对应的损失函数确定的，所述第三上采样模块为所述至少两个上采样模块中最后一个上采样模块，所述分割梯度损失函数是基于均值滤波器和sobel算子确定的。[0148]本发明提供的基于人工智能的膝关节图像分割装置，通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，可以将上下文路径中的浅层细节特征与通过金字塔池化模块得到的深层抽象特征进行融合，让浅层局部细节与深层抽象特征互补增强，得到增强后的内容特征，能够实现对膝关节图像的自动分割，且能够提高对膝关节图像分割的精度。[0149]图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communicationsinterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于人工智能的膝关节图像分割方法，该方法包括：[0150]获取膝关节图像；[0151]通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；[0152]所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；[0153]所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。[0154]此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。[0155]另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于人工智能的膝关节图像分割方法，该方法包括：[0156]获取膝关节图像；[0157]通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；[0158]所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；[0159]所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。[0160]又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于人工智能的膝关节图像分割方法，该方法包括：[0161]获取膝关节图像；[0162]通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；[0163]所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；[0164]所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。[0165]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。[0166]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。[0167]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12当前第1页12
技术特征：
1.一种基于人工智能的膝关节图像分割方法，其特征在于，包括：获取膝关节图像；通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；所述图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。2.根据权利要求1所述基于人工智能的膝关节图像分割方法，其特征在于，所述通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息，包括：基于所述残差神经网络，从所述膝关节图像提取预设步长的所述初始特征图；基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，得到与所述膝关节图像尺寸大小相同的目标特征图；基于所述目标特征图，获取所述膝关节边界信息。3.根据权利要求2所述基于人工智能的膝关节图像分割方法，其特征在于，所述基于所述金字塔池化模块以及所述至少两个上采样模块，对所述初始特征图进行特征融合处理以及上采样处理，包括：将所述初始特征图通过所述金字塔池化模块进行特征融合处理得到的特征图，与所述初始特征图进行相加操作，得到第一特征图；基于所述至少两个上采样模块中的第一上采样模块，对所述第一特征图进行上采样处理，得到第二特征图；将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图；将所述第二特征图和所述第三特征图进行特征融合处理，得到第四特征图；其中，所述第一上采样模块与所述金字塔池化模块连接，所述第四特征图为第二上采样模块的输入特征图像，所述第二上采样模块为处于所述第一上采样模块之后的上采样模块。4.根据权利要求3所述基于人工智能的膝关节图像分割方法，其特征在于，所述方法还包括：获取所述第一跳跃连接结构对应的第一注意力权值向量；所述将所述初始特征图像，通过与所述第一上采样模块对应的第一跳跃连接结构进行注意力机制处理，得到第三特征图，包括：将所述第一注意力权值向量与所述初始特征图进行运算处理，得到所述第三特征图。5.根据权利要求4所述基于人工智能的膝关节图像分割方法，其特征在于，所述注意力机制网络结构包括级联的全局平均池化层、卷积层、归一化层和激励层；所述获取所述第一跳跃连接结构对应的第一注意力权值向量，包括：基于所述初始特征图像，通过所述全局平均池化层、所述卷积层、所述归一化层和所述激励层进行注意力权值计算，确定所述第一注意力权值向量。6.根据权利要求1所述基于人工智能的膝关节图像分割方法，其特征在于，所述金字塔
池化模块包括至少两个尺度特征处理单元和特征融合单元，各尺度特征处理单元对应的金字塔尺度不相同；所述至少两个尺度特征处理单元用于提取所述初始特征图的多尺度特征；所述特征融合单元用于对所述初始特征图的多尺度特征进行特征融合。7.根据权利要求1-6任一项所述基于人工智能的膝关节图像分割方法，其特征在于，还包括：基于目标损失函数，对初始图像分割模型进行训练，获取所述图像分割模型；所述目标损失函数是基于第三上采样模块对应的分割梯度损失函数和每个上采样模块对应的损失函数确定的，所述第三上采样模块为所述至少两个上采样模块中最后一个上采样模块，所述分割梯度损失函数是基于均值滤波器和sobel算子确定的。8.一种基于人工智能的膝关节图像分割装置，其特征在于，包括：第一获取模块，用于获取膝关节图像；第二获取模块，用于通过图像分割模型，对所述膝关节图像中的膝关节进行分割，获取膝关节边界信息；所述图像分割模型包括级联的残差神经网络、金字塔池化模块、至少两个相互连接的上采样模块，所述金字塔池化模块用于对通过所述残差神经网络进行特征提取得到的初始特征图像进行多尺度特征融合；所述残差神经网络与每个上采样模块之间分别设置有跳跃连接结构，每个所述跳跃连接结构设置有注意力机制网络结构。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于人工智能的膝关节图像分割方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人工智能的膝关节图像分割方法。

技术总结
本发明提供一种基于人工智能的膝关节图像分割方法、装置及电子设备，所述方法包括：获取膝关节图像；通过图像分割模型，对膝关节图像中的膝关节进行分割，获取膝关节边界信息；图像分割模型包括级联的残差神经网络、金字塔池化模块和至少两个上采样模块，金字塔池化模块对初始特征图像多尺度特征融合；残差神经网络与各上采样模块之间设有跳跃连接结构，跳跃连接结构设有注意力机制网络结构。通过在以残差神经网络为主干网络的模型中，引入注意力机制和金字塔池化模块，将上下文路径中浅层细节特征与通过金字塔池化模块得到的深层抽象特征融合，让浅层局部细节与深层抽象特征互补增强，实现对膝关节图像自动分割，能提高膝关节图像分割的精度。图像分割的精度。图像分割的精度。


技术研发人员：张逸凌 刘星宇
受保护的技术使用者：张逸凌
技术研发日：2023.01.18
技术公布日：2023/8/14