基于非平衡加权Cycle_MLP网络的体质识别方法和系统

基于非平衡加权cycle_mlp网络的体质识别方法和系统
技术领域
1.本发明涉及图像处理技术领域，更具体的说是涉及一种基于非平衡加权cycle_mlp网络的体质识别方法和系统。


背景技术：

2.在中医史上，体质具有人体的特定特征，使其能够适应自然和社会环境，表现为个体在结构、功能、新陈代谢和对外部刺激的反应上的差异，这些个体上的差异与疾病息息相关，甚至会决定某些疾病的趋势，因此体质分类的研究对临床医学治疗具有十分重要的意义。
3.近年来，随着人工智能和神经网络的快速发展，产生出诸多基于深度学习的体质识别方法。
4.但深度学习主要基于大数据，即需要大量的标签数据来训练识别模型，否则模型训练容易陷入过拟合，从而泛化能力不足；由于标签数据采集难度大，代价昂贵，使得每一个任务的训练集数量有限，导致存在典型的长尾分布问题，并且，目前为了克服样本少的问题，通常仅采用数据增强的方法进行数据扩充，但对提高模型的泛化能力明显不具有合理性。
5.因此，如何基于有限的标签数据，完成准确的体质识别，并具有较强的泛化能力，是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种基于非平衡加权cycle_mlp网络的体质识别方法和系统。目的在于克服标签数据少的缺陷，并在考虑标签分布问题的基础上，提高体质识别的准确性。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种基于非平衡加权cycle_mlp网络的体质识别方法，包括如下步骤：
9.获取面部图像以及对应的体质类别标签，针对每种体质类别下的面部图像构建五官特征的认知信息语义；
10.构建cycle_mlp网络，利用面部图像、认知信息语义以及对应的体质类别，以基于欧式空间和双曲空间的非平衡加权交叉熵为损失函数，对所述cycle_mlp网络进行训练；
11.利用训练好的所述cycle_mlp网络，进行体质识别。
12.作为优选，对面部图像进行预处理，包括：缩放到标准尺寸，随机裁剪后水平翻转以及归一化。
13.作为优选，五官特征的认知信息语义包括脸面、鼻子、口和/或唇的多维语义向量。
14.作为优选，所述cycle_mlp网络包括cycle_mlp模型和sigmoid分类器，所述cycle_mlp模型包括多个可学习的循环卷积层，所述可学习的循环卷积层由多个cycle-mlp模块和下采样层交替组成。
15.作为优选，基于欧式空间和双曲空间的非平衡加权交叉熵，表达式为：
16.l
total
＝l
nbce
+l
dbce
17.式中，l
total
为非平衡加权交叉熵，l
nbce
为欧式交叉熵损失，l
dbce
为双曲交叉熵损失。
18.作为优选，所述l
nbce
和l
dbce
，通过如下公式获得：
[0019][0020]
式中，l为交叉熵损失，yi为预测体质标签类别，pi为实际体质标签类别，c为标签类别，a为损失平衡调节参数，γ为调节指数。
[0021]
作为优选，标签特征从欧式空间通过如下公式映射到双曲空间：
[0022][0023]
式中，x表示随机取单位球内一点映射到双曲空间的标签特征；v表示双曲空间的特征；u表示空间曲率，取值小于0；表示一种转换运算，其表达公式如下：
[0024][0025]
本发明还公开了一种基于非平衡加权cycle_mlp网络的体质识别系统，该包括：
[0026]
面部图像获取模块，用于获取待识别的面部图像；
[0027]
五官特征认知信息语义构建模块，用于接收并根据所述面部图像生成五官特征的认知信息语义；
[0028]
体质识别模块，应用如上所述的基于非平衡加权cycle_mlp网络，用于接收所述面部图像和生成的所述五官特征的认知信息语义，进行体质识别。
[0029]
经由上述的技术方案可知，本发明公开提供了一种基于非平衡加权cycle_mlp网络的体质识别方法和系统。与现有技术相比，本发明利用cycle_mlp网络基于面部特征进行人体识别，并在此基础上，考虑面部图像中脸面、双目、鼻子、口唇等部位语义向量的关联性，将其作为先验语义知识对cycle_mlp网络进行训练，以实现在标签数据有限的情况下，深层提取特征进行体质的准确识别。
[0030]
另一方面，本发明提出了基于欧式空间和双曲空间构建非平衡分类平均二元交叉熵损失函数的理念，以充分考虑标签数据分布不均的问题。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0032]
图1为本发明基于非平衡加权cycle_mlp网络的体质识别方法流程图；
[0033]
图2为本发明cycle-mlp的结构示意图；
[0034]
图3为本发明基于非平衡加权cycle_mlp网络结构示意图；
[0035]
图4为本发明基于非平衡加权cycle_mlp网络的训练流程图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
如图1，本发明实施例公开了一种基于非平衡加权cycle_mlp网络的体质识别方法,包括如下步骤：
[0038]
获取面部图像以及对应的体质类别标签，进一步，针对每种体质类别下的面部图像构建五官特征的认知信息语义，以此构成训练数据集和测试数据集；
[0039]
构建cycle_mlp网络，利用面部图像、认知信息语义以及对应的体质类别，以基于欧式空间和双曲空间的非平衡加权交叉熵为损失函数，对所述cycle_mlp网络进行训练；
[0040]
利用训练好的所述cycle_mlp网络，进行体质识别。
[0041]
下面结合各步骤做详细的说明。
[0042]
第一步，获取面部图像以及对应的体质类别标签；
[0043]
本实施例中，体质标签包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、瘀血质、气郁质、特禀质；
[0044]
并且，构建的五官特征认知信息语义包括脸面、鼻子、口和/或唇的多维语义向量。一种实施例中，为24维语义向量，当体质类型包含该属性时，值取1，否则值为0；具体如表1所示：
[0045]
表1体质类别对应的面部特征的认知信息语义
[0046]
[0047][0048]
第二步，构建cycle_mlp网络，本发明中cycle_mlp网络，包括cycle_mlp模型和sigmoid分类器。
[0049]
假设数据集d中有n个样本体质标签类别有c
con
类。我们将x表示输入样本集，y表示标签集，为每种体质的类别向量。数据集d可以分为d
train
和d
test
两部分，用于训练和测试。
[0050]
对于面部图像，假定体质类别集t＝{t1,t2,
…
,tn}，n表示体质的类型数；然后，对面部图像进行可视化建模后，得到特征编码f，输入分类器后，得到的输出体质决策向量类别p
con
＝[p1,p2,
…
,pn]，其维数n等于集合t的大小。决策向量的元素为pi∈{0,1}，当pi＝1时，当前输入面部图像对应体质ti。
[0051]
运用cycle-mlp模型对输入的面部图像x进行建模，模型cycf
mlp
(
·
,wk)从输入x中提取的视觉特征c(x)可以表示为：
[0052]
c(x)＝cycf
mlp
(x,wk)
[0053]
式中，wk表示mlp模块的权重。
[0054]
然后，使用二值分类器将特征c(x)输入到全连接层fc，由sigmoid激活函数σ(
·
)实现，则体质类别如下：
[0055][0056]
式中，表示输出fc层的参数；表示整个参数集；p
con
(x,θ
con
)表示体质识别的输出向量，由每种类型的体质标签类别概率p(ti|x,θ
con
)组成。
[0057]
其中cycle_mlp模型包括多个卷积层、归一化层、下采样层、多层可学习的循环卷积层和全连接层。
[0058]
每个可学习的循环卷积层由cycle-mlp模块和下采样层构成。
[0059]
每个cycle-mlp模块结构如图3所示，包括多个归一化层和cycle-mlp，以及channel-mlp,其中cycle-mlp的结构如图2所示，包含linear、多个cycle-fc，和channel-mlp；一种实施例中，每个cycle-fc由多个块组成，每个块由1
×
7、1
×
1、7
×
1卷积层、归一化、gelu激活函数交替组成，并经过一个3
×
3卷积层的下采样(stride＝2)降低计算的复杂性，进而得到下一层的输入特征。
[0060]
具体的循环cycle-fc操作为：
[0061]
假设输入为特征为x＝[x1,x2,
…
,xn]，对应的cycle-fc可以表示为：
[0062][0063]
式中，c表示特征通道数量；b表示cycle-fc的参数；表示可学习的权重；φi(c)和φj(c)是第c个通道上高度和宽度轴的空间，其定义表达式如下：
[0064]
φi(c)＝(c mod sh)-1
[0065][0066]
此外，对应的(φi(c)+1,φj(c)+1)偏移权重表达式如下：
[0067][0068]
进一步，基于cycle-mlp提取的特征的表达式为：
[0069]
y＝cycle
fc
(ln(x))+x
[0070]
z＝ch
fc
(ln(y))+y
[0071]
式中，x表示输入的特征；ln表示线性归一化(layernorm,ln)，选择高斯误差激活函数gelu；y表示通过循环mlp模块学习的中间特征；z表示面部图像对应的体质标签类别相关的输出特征。
[0072]
本发明包含多层可学习的cycle-mlp模块，经过多层可学习的cycle-mlp模块提取深度特征后，经由全连接层输入至sigmoid分类器，得到体质的类别：
[0073]
p
*
＝sigmoid(fc(z))
[0074]
其中，p
*
表示输出体质多标签类别的概率向量；sigmoid表示输出标签类别(0,1)之间的概率值；fc表示全连接层；z表示输入的面部图像对应的体质标签类别相关的输出特征。
[0075]
一种实施例中，本发明中cycle_mlp网络整体结构如图3所示，包括patch embedding层(stage1)、四个深层特征提取层(stage2-5)以及全连接层，其中，stage4包含4个blocks，stage2、stage3、stage5各包含2个blocks。
[0076]
本技术采用小块令牌编码(patch embedding)对输入的面部图像进行分块，并采用7
×
7卷积核、步长为4、填充为2的卷积层提取初步特征，作为cycle-mlp模块的输入特征。
[0077]
为了增强输入图片的空间特征交互，采用循环mlp模型提取面部图像的深层特征，最终汇集到全连接层。
[0078]
本实施例中，cycle_mlp网络的结构参数表如表2所示：
[0079]
表2cycle_mlp网络结构参数表
[0080][0081]
9维代表9个体质类别，通过本发明的识别方法，可根据舌苔图像得到可能的多种体质类型。
[0082]
进一步，为考虑标签数据的分布问题以及不同映射空间的一致性和互补性问题，本发明创新性的提出了以基于欧式空间和双曲空间的非平衡加权交叉熵作为损失函数，对cycle_mlp网络进行训练，以增加标签的多样性特征。
[0083]
具体的，基于欧式空间和双曲空间的非平衡加权交叉熵，表达式为：
[0084]
l
total
＝l
nbce
+l
dbce
[0085]
式中，l
total
为非平衡加权交叉熵，l
nbce
为欧式交叉熵损失，l
dbce
为双曲交叉熵损失。
[0086]
其中l
nbce
，通过如下公式获得：
[0087][0088]
式中，l为交叉熵损失，yi为预测体质标签类别，pi为实际体质标签类别，c为标签类别，a为损失平衡调节参数，γ为调节指数。
[0089]
l
dbce
通过如下公式获得：
[0090][0091]
进一步，本发明采用庞加莱球形模型对样本的标签进行映射计算，从欧式空间变
换到双曲空间采用的表达式如下：
[0092][0093]
式中，x表示随机取单位球内一点映射到双曲空间的标签特征；v表示双曲空间的特征；空间曲率u的取值小于0；表示一种转换运算，计算公式如下：
[0094][0095]
第三步、利用面部图像、认知信息语义以及对应的体质类别，以基于欧式空间和双曲空间的非平衡加权交叉熵为损失函数，对所述cycle-mlp网络进行训练；如图4所示。
[0096]
在训练之前，对面部图像进行预处理，包括：缩放到标准尺寸，随机裁剪后水平翻转以及归一化。具体为：将输入的面部图像首先放缩到标准尺寸256
×
256大小，然后从放缩后的图像中随机裁剪出更小尺寸224
×
224的图像，再对裁剪后的图像进行随机水平翻转进行数据增广。
[0097]
第四步，利用训练好的所述cycle_mlp网络，进行体质识别。
[0098]
另一方面，本发明实施例还公开了一种基于非平衡加权cycle_mlp网络的体质识别系统，包括：
[0099]
面部图像获取模块，用于获取待识别的面部图像；
[0100]
五官特征认知信息语义构建模块，用于接收并根据所述面部图像生成五官特征的认知信息语义；
[0101]
体质识别模块，应用权利要求1-7任一所述的基于非平衡加权cycle_mlp网络，用于接收所述面部图像和生成的所述五官特征的认知信息语义，进行体质识别。
[0102]
本实施例中，利用深度学习框架pytorch及模型库timm实现，所有的实验均在一台装备1条geforcegtx1080gpu的服务器上运行，12g显存，cpu主频1.2ghz，操作系统是ubuntu14.04。本文中，我们提出的方法采用随机梯度下降算法(sgd)进行训练，参数设置如下：权重衰减为5e-4、动量为0.9和批量大小为64。此外，模型的总训练轮次为200，初始学习率为0.01，从第60个轮次采用余弦退火学习率进行衰减至最小的学习率，最小的学习率设为2e-4。输入的面部图像的大小缩放为224
×
224，并对训练和测试图像进行了归一化操作。
[0103]
本发明创新性根据基于人脸的体质分类标准建立了面部特征(脸面、双目、鼻子、口唇等部位)对应的先验语义向量，采用循环类mlp模型提取面部图像的深层特征信息，网络通过循环fc的操作可以得到交互的面部深层特征，既符合网络的旋转不变性，且有利于提高对体质识别的性能。此外，嵌入先验的语义特征向量，引导深度网络学习每类体质的显著特征，更加有利于网络学习人脸部位的详细特征，如脸面、双目、鼻子和口唇，增强体质识别网络的学习能力。
[0104]
本发明将融合双曲交叉熵的非平衡加权损失函数作为学习目标用于引导循环类mlp的模型学习，能够解决不同类别的分布不同的问题，进而引导模型在一定程度上跳出局部最优。
[0105]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0106]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，包括：获取面部图像以及对应的体质类别标签，针对每种体质类别下的面部图像构建五官特征的认知信息语义；构建cycle_mlp网络，利用面部图像、认知信息语义以及对应的体质类别，以基于欧式空间和双曲空间的非平衡加权交叉熵为损失函数，对所述cycle_mlp网络进行训练；利用训练好的所述cycle_mlp网络，进行体质识别。2.根据权利要求1所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，对面部图像进行预处理，包括：缩放到标准尺寸，随机裁剪后水平翻转以及归一化。3.根据权利要求1所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，五官特征的认知信息语义包括脸面、鼻子、口和/或唇的多维语义向量。4.根据权利要求1所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，所述cycle_mlp网络包括cycle_mlp模型和sigmoid分类器，所述cycle_mlp模型包括多个可学习的循环卷积层，所述可学习的循环卷积层由多个cycle-mlp模块和下采样层交替组成。5.根据权利要求4所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，所述cycle-mlp模块中的cycle-mlp包括：linear、多个cycle-fc，和channel-mlp。6.根据权利要求1所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，基于欧式空间和双曲空间的非平衡加权交叉熵，表达式为：l
total
＝l
nbce
+l
dbce
式中，l
total
为非平衡加权交叉熵，l
nbce
为欧式交叉熵损失，l
dbce
为双曲交叉熵损失。7.根据权利要求6所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，所述l
nbce
，通过如下公式获得：式中，y
i
为欧式空间中预测的体质标签类别，p
i
为欧式空间中实际体质标签类别，c为标签类别，a为损失平衡调节参数，γ为调节指数；所述l
dbce
通过如下公式获得：式中，y
d,i
为双曲空间中预测的体质标签类别，p
d,i
为双曲空间中实际体质标签类别，c为标签类别。8.根据权利要求1所述的一种基于非平衡加权cycle_mlp网络的体质识别方法，其特征在于，标签特征从欧式空间通过如下公式映射到双曲空间：式中，x表示随机取单位球内一点映射到双曲空间的标签特征；v表示双曲空间的特征；
u表示空间曲率，取值小于0；表示一种转换运算，其表达公式如下：9.一种基于非平衡加权cycle_mlp网络的体质识别系统，其特征在于，包括：面部图像获取模块，用于获取待识别的面部图像；五官特征认知信息语义构建模块，用于接收并根据所述面部图像生成五官特征的认知信息语义；体质识别模块，应用权利要求1-8任一所述的基于非平衡加权cycle_mlp网络，用于接收所述面部图像和生成的所述五官特征的认知信息语义，进行体质识别。

技术总结
本发明公开了一种基于非平衡加权Cycle_MLP网络的体质识别方法和系统，通过获取面部图像以及对应的体质类别标签，并针对每种体质类别下的面部图像构建五官特征的认知信息语义；构建Cycle_MLP网络，利用面部图像、认知信息语义以及对应的体质类别，以基于欧式空间和双曲空间的非平衡加权交叉熵为损失函数，对所述Cycle_MLP网络进行训练；利用训练好的所述Cycle_MLP网络，进行体质识别。本发明公开的体质识别方法在标签数据有限的情况下，实现体质的准确识别；并引入双曲空间交叉熵损失函数构建非平衡分类平均二元交叉熵损失函数的理念，以充分考虑标签数据分布不均的问题。以充分考虑标签数据分布不均的问题。以充分考虑标签数据分布不均的问题。


技术研发人员：文贵华 张孟健
受保护的技术使用者：华南理工大学
技术研发日：2023.05.06
技术公布日：2023/8/9