一种基于深度神经网络的舌象分割方法

1.本发明涉及图像语义分割技术技术领域，更具体的说是涉及一种基于深度神经网络的舌象分割方法。


背景技术：

2.目前，随着图像分割技术的发展，逐渐衍生出了舌象分割，但是目前为止，自然场景下舌象分割的性能精度依旧不高。舌象识别分割精度达不到实际需求的主要问题在于以下三个方面：1)可靠的舌象数据集规模小，且可靠的舌象数据需要在受控场景下拍摄，通常限制了其规模；2)不同个体展现出不同的舌头外观如舌头形状与纹理，对分割算法的泛化性能提出了较高要求；3)舌头与嘴唇等部位之间容易混淆等问题。
3.为了缓解这些挑战，许多研究人员在之前的工作中提出了许多舌象分割的方法。其中大多数都基于传统的图像处理技术，因此特别容易受到光线变化或聚集背景的影响。如利用分水岭转换获得活动轮廓模型的初始轮廓，以及分别通过梯度矢量流和流域算法对舌头图像进行扩散与分块，然后通过合并区块获得完整舌体区域。
4.随着深度学习相关技术的快速发展，研究人员提出了一系列用于解决舌象分割任务的深度学习方法，都取得了优于大多数传统舌象分割方法的性能表现。相关现有技术如下：1)使用先进的残差卷积网络(resnet)来自动提取舌头图像的高级图像特征，获得了可靠的分割结果；2)先使用增强的hsv颜色模型对舌头图像进行预处理，然后作为卷积神经网络的输入，该方法显著增强了舌象边缘检测性能；3)用于舌头定位和分割的端到端多任务学习模型tonguenet，该模型通过使用更强大的基于上下文感知残差块的特征金字塔网络进行多尺度舌象特征提取，获得舌象位置，再得到精确分割预测掩模，不仅实现了较高的分割精度，能够很好区分舌象与嘴唇和人脸等复杂领域，而且在多个数据集上都具有更稳定的性能；4)通过tu-net实现精确舌象分割任务，具体为将提出的密集空洞卷积模块和残差多核池化模块整合到编解码结构中，并在跳跃连接中对两种输入进行加权和，能够提取多尺度多通道的高级特征，增强了编解码模型对像素级任务的解析能力；5)一种损失函数来更好指导卷积网络的优化，通过最小化类内差距和最大化类间差距来降低图像相似区域容易出现错误预测的问题；6)将对抗生成半监督语义分割用于舌象分割任务，设计出semitongue网络模型。该模型将图像重建与对抗学习相结合，由一个编码器两个解码器和一个辨别器组成。舌头图像数据先经过编码器的编码，得到数据的均值与方差并合成对应的隐含特征向量，再输入两个解码器分别得到预测分割掩模和伪原图，而分辨器接收预测掩模和真实掩模输出逐像素的真假概率。大量的无标签数据可以通过辨别器的输出作伪标签进行监督训练编解码器，使网络突破标签数据数量的限制，发现更多的舌象特征，得到更好更稳定的分割性能表现。
5.但是，尽管上述研究取得了一定效果，但是现有人体舌象分割方法的全局特征提取能力较弱，难以在最终的分割预测中保持目标对象应有的特性。其次，现有舌象分割方法并没有对边界区域易出现错误预测进行针对处理。且尽管已有的一些方法在舌象分割任务
上取得了一定效果，但是当前方法大多局限在对像素分类性能提升的微观层面，并没有考虑目标对象固有的宏观特性的保持，如形状上容易出现扭曲变形，或者容易被无效的背景噪音所干扰，从而产生错误的背景区域激活。
6.因此，在对舌象分割过程中，如何提高全局特征提取能力，同时防止舌象形状扭曲变形，是本领域技术人员亟需解决的问题。


技术实现要素：

7.有鉴于此，本发明的目的在于提供了一种至少部分解决上述技术问题的基于深度神经网络的舌象分割方法。
8.为了实现上述目的，本发明采用如下技术方案：
9.获取目标舌头图像；
10.将所述目标舌头图像输入至训练好的舌象分割网络模型中，输出舌象分割预测结果；所述舌象分割网络模型包括多空间全局特征学习网络子模型和特征通道差值引导全局修正模块。
11.进一步地，所述多空间全局特征学习网络子模型的训练过程包括如下步骤：
12.p1、获取大量舌象的分割标签掩膜和缺陷标签掩膜；
13.p2、对所述分割标签掩膜进行随机劣化处理；
14.p3、采用第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得缺陷特征向量、欧式全局特征向量和双曲全局特征向量；
15.p4、通过第一神经网络解码器对所述缺陷特征向量、欧式全局特征向量和双曲全局特征向量进行解码处理，获得缺陷预测结果和重建预测结果；
16.p5、对所述缺陷标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理；以及对所述分割标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理，基于此训练多空间全局特征学习网络子模型。
17.进一步地，在所述步骤p2中，所述随机劣化处理包括：添加随机噪声、随机几何图形、随机背景激活。
18.进一步地，所述步骤p3具体包括：
19.采用第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得二维编码特征图；
20.通过缺陷信息解耦模块对所述二维编码特征图进行信息解耦以及向量化处理，获得缺陷信息向量和全局信息向量；
21.采用全连接层分别对所述缺陷信息向量和全局信息向量进行维度压缩处理，获得对应的缺陷特征向量和欧式全局特征向量；
22.对所述全局信息向量进行双曲嵌入处理并压缩，获得双曲全局特征向量。
23.进一步地，所述步骤p4具体包括：
24.所述第一神经网络解码器包括解码器ⅰ、解码器ⅱ和解码器ⅲ；
25.将所述缺陷特征向量输入至所述解码器ⅰ中，输出缺陷预测结果；
26.将所述欧式全局特征向量输入至所述解码器ⅱ中，输出重建预测结果ⅱ；
27.将所述双曲全局特征向量输入至所述解码器ⅲ中，输出重建预测结果ⅲ；
28.将所述重建预测结果ⅱ和重建预测结果ⅲ相结合，形成重建预测结果。
29.进一步地，所述多空间全局特征学习网络子模型的训练过程还包括：
30.将所述缺陷特征向量输入至分类器中，输出所述分割标签掩膜存在缺陷的概率；
31.所述分类器由多层感知机构成。
32.进一步地，所述舌象分割网络模型的训练过程如下：
33.s1、获取大量舌头图像；
34.s2、采用第二神经网络编码器对所述舌头图像进行特征提取，获得编码特征；
35.s3、对所述编码特征进行像素预测，获得舌象的粗糙掩膜；
36.s4、将所述粗糙掩膜输入至训练好的多空间全局特征学习网络子模型中，输出舌象的修正掩膜；
37.s5、对所述修正掩膜进行通道复制操作，获得掩膜特征；
38.s6、基于所述掩膜特征，采用特征通道差值引导全局修正模块对所述编码特征进行全局修正，获得修正特征图；
39.s7、采用第二神经网络解码器对所述修正特征图进行解码操作，输出舌象分割预测结果；
40.s8、将所述舌象分割预测结果与所述步骤p1中获取的分割标签掩膜之间的二值交叉熵损失进行最小化处理，基于此训练舌象分割网络模型。
41.进一步地，所述s6具体包括：
42.分别对所述编码特征和所述掩膜特征进行归一化处理后，采用按位逐像素减法计算所述编码特征和所述掩膜特征之间的特征差值；
43.将所述特征差值分别输入至第一卷积处理模块和第二卷积处理模块中，输出对应的第一像素权重图和第二像素权重图；
44.基于所述第一像素权重图和第二像素权重图，对所述编码特征进行全局修正，获得修正特征图。
45.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度神经网络的舌象分割方法，具有如下有益效果：
46.本发明的舌象分割网络模型引入了多空间全局特征学习网络子模型和特征通道差值引导全局修正模块，实现了对舌象全局特征进行了多空间视角的学习，获得了丰富的舌象全局信息，提升了模型重建精度，以及对错误掩膜的修正能力，为舌象分割模型提供有效和准确的舌象全局特征信息。
47.本发明的多空间全局特征学习网络子模型通过舌象全局信息学习以及特征融合学习，使输出的舌象分割预测结果，即舌象分割预测掩膜能更好的保持舌头的全局特性，减少大面积区域的像素错误预测，使得到的舌象分割预测结果均更加的合理、完整与精确，为智能舌诊系统的高可信专业医学诊断提供了强力支撑。
48.本发明在对多空间全局特征学习网络子模型进行训练过程中，对分割标签掩膜进行随机劣化处理，有助于防止分割标签掩膜出现扭曲变形，或者被无效的背景噪音所干扰等现象，确保了模型的精度。
附图说明
49.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
50.图1为本本发明实施例提供的多空间全局特征学习网络子模型结构示意图。
51.图2为本本发明实施例提供的舌象掩膜随机劣化操作示意图。
52.图3为本本发明实施例提供的缺陷信息解耦模块结构示意图。
53.图4为本本发明实施例提供的舌象分割网络模型结构示意图。
54.图5为本本发明实施例提供的舌象分割网络模型训练流程示意图。
55.图6为本本发明实施例提供的特征通道差值引导全局修正模块结构示意图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.本发明实施例公开了一种基于深度神经网络的舌象分割方法，包括如下步骤：获取目标舌头图像；将该目标舌头图像输入至训练好的舌象分割网络模型中，输出舌象分割预测结果，即输出预测的舌象二维分割掩膜，也就是输出每个像素属于人体舌象的概率；其中，舌象分割网络模型包括多空间全局特征学习网络子模型和特征通道差值引导全局修正模块。
58.接下来，分别对上述多空间全局特征学习网络子模型和舌象分割网络模型的训练过程进行说明：
59.参见图1所示，上述多空间全局特征学习网络子模型(multi-space denoising autoencoder，msdae)的作用是对舌象的分割标签掩膜进行压缩向量化，并进行解码还原重建任务；该子模型的训练过程包括如下步骤：
60.p1、获取大量舌象的分割标签掩膜和缺陷标签掩膜；所获取的分割标签掩膜和缺陷标签掩膜为只有0和1的二值掩膜图像；
61.p2、对分割标签掩膜进行随机劣化处理，具体包括：给分割标签掩膜添加随机噪声、随机几何图形、随机背景激活，可参见图2所示。
62.p3、采用由深度卷积神经网络组成的第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得缺陷特征向量、欧式全局特征向量和双曲全局特征向量；具体包括：
63.首先，采用第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得抽象的二维编码特征图；其次，通过缺陷信息解耦模块对该二维编码特征图进行信息解耦以及向量化处理，获得描述缺陷信息的缺陷信息向量以及描述完整对象信息的全局信息向量，实现不同类型信息的分离；缺陷信息解耦模块结构图可参见图3所示，该模块对特征图进行全局最大池化与全局平均池化操作并将分别得到的特征向量相加，使其能同时
考虑每个通道的细节纹理和整体特征，利于后续获得的权重向量能更准确区分包含不同信息的通道，实现缺陷信息与目标对象特征信息的解耦；最后，采用缺陷空间的全连接层对上述缺陷信息向量进行维度压缩处理，获得对应的缺陷特征向量；同时采用欧式全局特征的全连接层对上述全局信息向量进行维度压缩处理，获得对应的欧式全局特征向量；以及对上述全局信息向量进行双曲嵌入处理，获得双曲信息向量，并采用双曲全局特征空间上的全连接层对该双曲信息向量进行降维压缩，获得双曲全局特征向量。该步骤实现了多个空间视角中的输入数据分布信息建模。
64.p4、通过第一神经网络解码器对缺陷特征向量、欧式全局特征向量和双曲全局特征向量进行解码处理，获得缺陷预测结果和重建预测结果；具体地：
65.上述第一神经网络解码器包括解码器ⅰ、解码器ⅱ和解码器ⅲ；将缺陷特征向量输入至解码器ⅰ中进行解码和上采样操作，输出缺陷预测结果；将欧式全局特征向量输入至解码器ⅱ中进行解码和上采样操作，输出重建预测结果ⅱ，该重建预测结果ⅱ即为在欧式全局特征空间中重建的舌象掩膜；将双曲全局特征向量输入至解码器ⅲ中进行解码和上采样操作，输出重建预测结果ⅲ，该重建预测结果ⅲ即为在双曲全局特征空间中重建的舌象掩膜；最后将重建预测结果ⅱ和重建预测结果ⅲ相结合，形成完整准确的舌象掩膜，即最终的重建预测结果。
66.p5、对所述缺陷标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理；以及对所述分割标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理，基于此训练多空间全局特征学习网络子模型。
67.该多空间全局特征学习网络子模型在训练过程中的损失函数主要使用二值交叉熵(binary cross entropy,bce)损失函数bce(.)，该公式定义为：
[0068][0069]
其中，表示重建预测结果，在本发明实施例中，具体包括缺陷特征向量的重建预测结果、欧式全局特征向量的重建预测结果、双曲全局特征向量的重建预测结果和分类器输出的缺陷预测结果；y
gt
表示分割标签掩膜；n表示批次样本数量，在本发明实施例中即为批次分割标签掩膜的数量；h
×
w表示输入网络的图像的高和宽，即分别为行数和列数；n表示任意训练批次中第n个图像样本；i表示任意图像样本中的第i行；j表示任意图像样本中的第j列；表示模型对批次中第n个样本得到分割预测掩膜中位于第i行且第j列的像素，表示批次中第n个样本的分割标签掩膜中位于第i行且第j列的像素。
[0070]
该多空间全局特征学习网络子模型的整体优化目标函数表示为：
[0071]
[0072]
其中，表示缺陷特征向量的重建预测结果，在本发明实施例中即为缺陷预测结果；表示欧式全局特征向量的重建预测结果，在本发明实施例中即为重建预测结果ⅱ；表示双曲全局特征向量的重建预测结果，在本发明实施例中即为重建预测结果ⅲ；表示分类器输出的缺陷预测结果；表示指示函数根据分割标签掩膜y含有缺陷时输出1，否则输出0；表示欧式全局特征空间到双曲全局特征空间之间的映射关系；α1和α2均表示超参数，用于调节不同损失的权重；z
eu
表示欧式全局特征向量；z
hy
表示双曲全局特征向量；表示训练批次中第n个图像样本对应的欧式全局特征向量；表示训练批次中第n个图像样本对应的双曲全局特征向量。
[0073]
特别地，上述多空间全局特征学习网络子模型的训练过程还包括：将缺陷特征向量输入至由多层感知机构成的分类器中，输出分割标签掩膜存在缺陷的概率，并根据对应样本是否包含缺陷而最小化与真实概率之间的误差损失值。这种做法能有效驱动网络扩大有缺陷和无缺陷两种输入分割掩膜的高维嵌入向量之间的距离，有利于对粗糙分割掩膜获得更准确的修正掩膜结果。
[0074]
本发明实施例通过训练多空间全局特征学习网络子模型，实现了同时在欧式全局特征空间和双曲全局特征空间中进行舌象全局信息的学习，以及对样本中可能含有的缺陷信息进行预测，提升了多空间全局特征学习网络的重建精细度和对错误掩膜的修正能力，获得了更丰富的数据分布信息。
[0075]
参见图4和图5所示，上述舌象分割网络模型采用端对端的深度神经网络实现，输入为舌头图像，输出为预测的舌象二维分割掩膜，即输出预测每个像素属于人体舌象的概率。该舌象分割网络模型采用的是语义分割领域中常用的编码器-解码器结构，在本发明实施例中具体为第二神经网络编码器和第二神经网络解码器；其中：
[0076]
第二神经网络编码器采用深度卷积神经网络基础架构vgg16，该结构拥有5个阶段，均由多层卷积层和最大池化层组成，用于提取抽象的视觉语义特征，而最后阶段不进行下采样操作，这样当输入图像尺寸为224
×
224时，编码器在每个阶段输出的特征图尺度分别为112
×
112、56
×
56、28
×
28、14
×
14和14
×
14；
[0077]
第二神经网络解码器是由卷积层和上采样层组成，分为4个阶段，每个阶段进行2倍上采样，最后输出224
×
224的分割预测；
[0078]
每个编码阶段的结果都会经过跳跃连接传递到对应的解码阶段，目的是降低下采样带来的信息损失。其中第二神经网络编码器负责对输入的三维rgb舌头图像进行特征提取和下采样的操作获得编码特征；该编码特征会先输入特征通道差值引导的全局修正模块(global refine module，grm)，对编码特征进行特征修正使其符合舌象的固有全局特性，接着输出的特征图交由解码器进行上采样还原尺寸，最终输出分割预测结果；
[0079]
该舌象分割网络模型的训练过程包括如下步骤：
[0080]
s1、获取大量舌头图像；
[0081]
s2、采用第二神经网络编码器对上述舌头图像进行特征提取，获得编码特征
[0082]
s3、对获得的编码特征进行像素预测，具体为将编码特征经过1
×
1的卷积层与sigmoid激活函数，得到舌象的粗糙掩膜
[0083]
s4、将粗糙掩膜输入至训练好的多空间全局特征学习网络子模型msdae中，输出舌象的修正掩膜；该步骤s4在对掩膜进行修正之后，能够较好的保持目标对象的全局特征，有助于改善最后分割预测结果；
[0084]
s5、对修正掩膜进行通道复制操作，获得掩膜特征该掩膜特征的通道数与该阶段编码特征的通道数一致；
[0085]
s6、基于掩膜特征，采用特征通道差值引导全局修正模块对上述编码特征进行全局修正，获得修正特征图；参见图6所示，具体包括：
[0086]
分别对编码特征和掩膜特征进行归一化处理(instance normalization，in)后，采用按位逐像素减法计算编码特征和掩膜特征之间的特征差值；由于编码特征图中的不同通道表示的是不同的编码定位与激活结果，关注到的图像信息也有所不同，因此求出各个编码特征通道与经过修正的分割掩膜之间的差别信息，能够驱动编码器改变错误的编码结果，达到全局修正的目的；之后将获得的特征差值分别输入至并列排布的第一卷积处理模块和第二卷积处理模块中，输出对应的第一像素权重图ω1和第二像素权重图ω2；其中，第一像素权重图ω1∈[0,1]
14
×
14
×1的作用是对编码特征中含错误编码结果的像素位置进行抑制；第二像素权重图则负责对编码特征中被抑制的目标对象相关像素位置进行额外重新激活；故当前编码特征f
dec
经过上述处理过程后最终得到的修正特征图表示为：
[0087][0088]
s7、采用第二神经网络解码器对上述修正特征图进行解码操作，输出舌象分割预测结果；
[0089]
s8、将舌象分割预测结果与分割标签掩膜之间的二值交叉熵损失进行最小化处理，基于此训练舌象分割网络模型。
[0090]
该舌象分割网络模型的总体损失函数表示为：
[0091][0092]
其中，表示舌象分割预测结果；表示粗糙掩膜；y
gt
表示分割标签掩膜；l
seg
表示舌象分割预测结果与分割标签之间的损失函数；l
global
表示全局修正操作中的损失函数。
[0093]
综上，本发明实施例提供了一种基于深度神经网络的舌象分割方法，引入了多空间全局特征学习网络，在欧式空间和双曲空间中对舌象分割标签掩膜进行全局特征的嵌入学习，从而获得多空间视角的舌象全局特征。且该多空间全局特征学习网络还进行了缺陷信息解耦操作，将特征信息与缺陷信息进行了分离，提升网络对错误掩膜的修正能力，驱动构建准确反映舌象全局特性的特征空间。此外，还引入了特征通道差值引导全局修正模块，将修正掩膜与编码特征进行差值计算与融合学习，提升了舌象分割网络模型保持舌象宏观特性的能力，使其分割预测结果更加完整。
[0094]
本发明实施例利用深度学习框架pytorch及模型库timm实现，所有的实验均在一台装备2条nvidia rtx 3090 gpu的服务器上运行。此外，其cpu为intel i9-10850k，内存为64g，操作系统是ubuntu 18.04。在训练多空间全局特征学习网络msdae时，本发明实施例采用adam优化器，初始学习率设置为2.5
×
10-4，批次大小batchsize为10，总训练轮次为50轮，前30轮次中每间隔10轮就将学习率降低75％，参数α1＝0.1，α2＝0.001，双曲空间曲率参数c＝0.1。
[0095]
在训练舌象分割网络模型时，使用adam优化器，初始学习率设置为1
×
10-4，批次大小batchsize为10，总训练轮次为50轮，每间隔15轮次就将学习率降低75％。在训练分割网络的过程中，固定预先完成训练的多空间全局特征学习网络子模型msdae的权重参数，可将其视为一个普通函数，其输入为粗糙分割掩膜。
[0096]
训练舌象分割网络模型时只使用通用的数据增强方法，并进行随机水平翻转、随机颜色变换。同时在训练和测试阶段，图像在进入网络前均被缩放为224
×
224。实验表明，本发明超越了所有对比的舌象分割方法，其分割预测输出结果更能保持舌象的全局特性，取得更好的性能，表明了所提方法的有效性。
[0097]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0098]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于深度神经网络的舌象分割方法，其特征在于，包括如下步骤：获取目标舌头图像；将所述目标舌头图像输入至训练好的舌象分割网络模型中，输出舌象分割预测结果；所述舌象分割网络模型包括多空间全局特征学习网络子模型和特征通道差值引导全局修正模块。2.根据权利要求1所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述多空间全局特征学习网络子模型的训练过程包括如下步骤：p1、获取大量舌象的分割标签掩膜和缺陷标签掩膜；p2、对所述分割标签掩膜进行随机劣化处理；p3、采用第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得缺陷特征向量、欧式全局特征向量和双曲全局特征向量；p4、通过第一神经网络解码器对所述缺陷特征向量、欧式全局特征向量和双曲全局特征向量进行解码处理，获得缺陷预测结果和重建预测结果；p5、对所述缺陷标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理；以及对所述分割标签掩膜和所述缺陷预测结果之间的二值交叉熵损失进行最小化处理，基于此训练多空间全局特征学习网络子模型。3.根据权利要求2所述的一种基于深度神经网络的舌象分割方法，其特征在于，在所述步骤p2中，所述随机劣化处理包括：添加随机噪声、随机几何图形、随机背景激活。4.根据权利要求2所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述步骤p3具体包括：采用第一神经网络编码器对随机劣化处理后的分割标签掩膜进行特征提取，获得二维编码特征图；通过缺陷信息解耦模块对所述二维编码特征图进行信息解耦以及向量化处理，获得缺陷信息向量和全局信息向量；采用全连接层分别对所述缺陷信息向量和全局信息向量进行维度压缩处理，获得对应的缺陷特征向量和欧式全局特征向量；对所述全局信息向量进行双曲嵌入处理并压缩，获得双曲全局特征向量。5.根据权利要求2所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述步骤p4具体包括：所述第一神经网络解码器包括解码器ⅰ、解码器ⅱ和解码器ⅲ；将所述缺陷特征向量输入至所述解码器ⅰ中，输出缺陷预测结果；将所述欧式全局特征向量输入至所述解码器ⅱ中，输出重建预测结果ⅱ；将所述双曲全局特征向量输入至所述解码器ⅲ中，输出重建预测结果ⅲ；将所述重建预测结果ⅱ和重建预测结果ⅲ相结合，形成重建预测结果。6.根据权利要求4所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述多空间全局特征学习网络子模型的训练过程还包括：将所述缺陷特征向量输入至分类器中，输出所述分割标签掩膜存在缺陷的概率；所述分类器由多层感知机构成。7.根据权利要求1所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述舌
象分割网络模型的训练过程如下：s1、获取大量舌头图像；s2、采用第二神经网络编码器对所述舌头图像进行特征提取，获得编码特征；s3、对所述编码特征进行像素预测，获得舌象的粗糙掩膜；s4、将所述粗糙掩膜输入至训练好的多空间全局特征学习网络子模型中，输出舌象的修正掩膜；s5、对所述修正掩膜进行通道复制操作，获得掩膜特征；s6、基于所述掩膜特征，采用特征通道差值引导全局修正模块对所述编码特征进行全局修正，获得修正特征图；s7、采用第二神经网络解码器对所述修正特征图进行解码操作，输出舌象分割预测结果；s8、将所述舌象分割预测结果与所述步骤p1中获取的分割标签掩膜之间的二值交叉熵损失进行最小化处理，基于此训练舌象分割网络模型。8.根据权利要求7所述的一种基于深度神经网络的舌象分割方法，其特征在于，所述s6具体包括：分别对所述编码特征和所述掩膜特征进行归一化处理后，采用按位逐像素减法计算所述编码特征和所述掩膜特征之间的特征差值；将所述特征差值分别输入至第一卷积处理模块和第二卷积处理模块中，输出对应的第一像素权重图和第二像素权重图；基于所述第一像素权重图和第二像素权重图，对所述编码特征进行全局修正，获得修正特征图。

技术总结
本发明公开了一种基于深度神经网络的舌象分割方法，包括获取目标舌头图像；将目标舌头图像输入至训练好的舌象分割网络模型中，输出舌象分割预测结果；舌象分割网络模型包括多空间全局特征学习网络子模型和特征通道差值引导全局修正模块。该方法实现了对舌象全局特征进行了多空间视角的学习，获得了丰富的舌象全局信息，提升了模型重建精度，以及对错误掩膜的修正能力，为舌象分割模型提供有效和准确的舌象全局特征信息，并且通过差值引导全局修正的方式对学习到的全局信息进行了有效利用，提升了舌象分割网络预测结果在舌象全局特性上的合理性。上的合理性。上的合理性。


技术研发人员：文贵华 蔡文俊
受保护的技术使用者：华南理工大学
技术研发日：2023.05.04
技术公布日：2023/8/4