黄褐斑评估方法、装置、电子设备及计算机可读存储介质与流程

1.本公开涉及数字医疗技术领域，具体而言，涉及一种黄褐斑评估方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.黄褐斑是一种发病率很高的色素沉着性皮肤病，极大影响面部的美感，虽然不会危及到患者的生命，但会给患者带来自卑和焦虑，甚至影响到患者的工作和生活。以往对于黄褐斑的识别诊断主要基于医生的工作经验，主观性较强，而且对于黄褐斑的严重程度只能做粗略的评估，难以对患者做精细化的管理和治疗。
3.随着深度学习技术的发展，在现有技术中，可以基于手机自拍图像自动识别黄褐斑，并做一些简单的定量分析，而现有技术对于黄褐斑的识别精度较低，难以对黄褐斑的严重程度进行有效的评估。


技术实现要素：

4.针对上述情况，本技术实施例提供了一种黄褐斑评估方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术中对于黄褐斑的识别精度较低的问题。
5.第一方面，本技术实施例提供了一种黄褐斑评估方法，所述方法是基于黄褐斑评估模型实现的，所述模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，所述多级特征提取网络与所述特征融合网络相连，所述特征融合网络的输出分别作为所述人脸分割网络和黄褐斑分割网络的输入；
6.所述方法包括：
7.基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图；
8.基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征；
9.基于所述人脸分割网络和所述黄褐斑分割网络，分别对所述目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；
10.根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果。
11.第二方面，本技术实施例还提供了一种黄褐斑评估装置，所述装置部署有黄褐斑评估模型，所述模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，所述多级特征提取网络与所述特征融合网络相连，所述特征融合网络的输出分别作为所述人脸分割网络和黄褐斑分割网络的输入；
12.所述装置包括：
13.多级特征提取单元，用于基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图；
14.特征融合单元，用于基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征；
15.分割单元，用于基于所述人脸分割网络和所述黄褐斑分割网络，分别对所述目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；
16.评估单元，用于根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果。
17.第三方面，本技术实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行上述黄褐斑评估方法的步骤。
18.第四方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行上述黄褐斑评估方法的步骤。
19.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：
20.本技术提供的黄褐斑评估方法，通过构建一种黄褐斑评估模型，基于该模型的多级特征提取网络，对人脸图像进行多级特征提取和融合，得到人脸图像的多级融合特征图；基于该模型的特征融合网络，对得到的多级融合特征图进行融合处理，得到人脸图像的目标图像特征；基于该模型的人脸分割网络和黄褐斑分割网络，分别对目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；最后，根据第一分割图像和第二分割图像的像素信息，确定人脸图像的黄褐斑评估结果。可以看到，本技术通过利用黄褐斑评估模型的多级特征提取网络和特征融合网络，对人脸图像进行多级特征提取和融合，得到人脸图像的目标图像特征，由于包含了人脸图像的多分辨率、多尺度的特征信息，增加了低级特征细节和纹理信息，使得目标图像特征的内容更加丰富和完整，从而大大提升了后续利用该目标图像特征得到的黄褐斑评估结果的准确率；端到端的评估过程也可以快速为医生提供精确的诊疗建议，提升诊疗质量，便于对病人整个病程的管理。
附图说明
21.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
22.图1示出了根据本技术提供的一个实施例的黄褐斑评估方法的流程示意图；
23.图2示出了根据本技术提供的一个实施例的黄褐斑评估模型的结构示意图；
24.图3示出了根据本技术提供的一个实施例的多级特征提取网络的结构示意图；
25.图4示出了根据本技术提供的一个实施例的金字塔池化网络的结构示意图；
26.图5示出了根据本技术提供的又一个实施例的黄褐斑评估方法的流程示意图；
27.图6示出了根据本技术提供的一个实施例的黄褐斑评估装置的结构示意图；
28.图7示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一
部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.以下结合附图，详细说明本技术各实施例提供的技术方案。
31.黄褐斑是一种发病率很高的色素沉着性皮肤病，极大影响面部的美感，虽然不会危及到患者的生命，但会给患者带来自卑和焦虑，甚至影响到患者的工作和生活。以往对于黄褐斑的识别诊断主要基于医生的工作经验，主观性较强，而且对于黄褐斑的严重程度只能做粗略的评估，难以对患者做精细化的管理和治疗。随着深度学习技术的发展，在现有技术中，可以基于手机自拍图像自动识别黄褐斑，并做一些简单的定量分析，而现有技术对于黄褐斑的识别精度较低，难以对黄褐斑的严重程度进行有效的评估。
32.基于此，本发明提出了一种黄褐斑评估方法，本技术通过利用黄褐斑评估模型的多级特征提取网络和特征融合网络，对人脸图像进行多级特征提取和融合，得到人脸图像的目标图像特征，由于包含了人脸图像的多分辨率、多尺度的特征信息，增加了低级特征细节和纹理信息，使得目标图像特征的内容更加丰富和完整，从而大大提升了后续利用该目标图像特征得到的黄褐斑评估结果的准确率；端到端的评估过程也可以快速为医生提供精确的诊疗建议，提升诊疗质量，便于对病人整个病程的管理。
33.图1示出了根据本技术提供的一个实施例的黄褐斑评估方法的流程示意图，从图1可以看出，本技术至少包括步骤s101～步骤s104：
34.步骤s101：基于多级特征提取网络，对人脸图像进行多级特征提取和融合，得到人脸图像的多级融合特征图。
35.本技术的黄褐斑评估方法是基于黄褐斑评估模型实现的，图2示出了根据本技术提供的一个实施例的黄褐斑评估模型的结构示意图，从图2可以看出，黄褐斑评估模型200包括多级特征提取网络201、特征融合网络202、人脸分割网络203和黄褐斑分割网络204，其中，多级特征提取网络201与特征融合网络202相连，特征融合网络202的输出分别作为人脸分割网络203和黄褐斑分割网络204的输入。
36.本实施例所述的多级融合特征图对应的分辨率不同，比如，多级融合特征图可以包括第一级融合特征图、第二级融合特征图、第三级融合特征图、第四级融合特征图，其中，第一级融合特征图的分辨率可以为224
×
224，第二级融合特征图的分辨率可以为56
×
56，第三级融合特征图的分辨率可以为28
×
28，第四级融合特征图的分辨率可以为14
×
14。
37.在本实施例中，可以基于多级特征提取网络201，对人脸图像进行多级特征提取和融合，得到第一级融合特征图、第二级融合特征图、第三级融合特征图、第四级融合特征图。
38.在本技术的一些实施例中，在上述方法中，所述多级特征提取网络包括多级特征提取层以及各级特征提取层对应的各级特征融合层；所述基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图，包括：基于各级特征提取层，采用自底向上和下采样的方式对所述人脸图像进行特征提取，生成所述人脸图像的多级原始特征图；基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图。
39.图3示出了根据本技术提供的一个实施例的多级特征提取网络的结构示意图，由图3可知，多级特征提取网络包括多级特征提取层以及各级特征提取层对应的各级特征融合层。
40.在本实施例中，可以基于各级特征提取层，采用自底向上和下采样的方式对人脸图像进行特征提取，生成人脸图像的多级原始特征图。具体的，可以利用特征提取层1对分辨率为w
×
h的人脸图像进行特征提取，得到分辨率为w/4
×
h/4的原始特征图1；利用特征提取层2对原始特征图1依次进行下采样和编码处理，得到分辨率为w/8
×
h/8的原始特征图2；利用特征提取层3对原始特征图2依次进行下采样和编码处理，得到分辨率为w/16
×
h/16的原始特征图3；利用特征提取层4对原始特征图3依次进行下采样和编码处理，得到分辨率为w/32
×
h/32的原始特征图4。
41.然后，基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图。具体的，可以先将原始特征图4直接作为顶级的融合特征图1；然后，利用特征融合层1，对分辨率为w/32
×
h/32融合特征图1进行上采样，得到分辨率为w/16
×
h/16的采样后融合特征图1，再将采样后融合特征图1与原始特征图3按通道拼接，得到融合特征图2；利用特征融合层2，对融合特征图2进行上采样，得到分辨率为w/8
×
h/8的采样后融合特征图2，再将采样后融合特征图2与原始特征图2按通道拼接，得到融合特征图3；利用特征融合层3，对融合特征图3进行上采样，得到分辨率为w/4
×
h/4的采样后融合特征图3，再将采样后融合特征图3与原始特征图1按通道拼接，得到融合特征图4。
42.从上述实施例可以看出，通过基于各级特征提取层，采用自底向上和下采样的方式对人脸图像进行特征提取，生成人脸图像的多级原始特征图；再基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图，使得多级特征提取网络可以提取到不同分辨率、不同尺度下人脸图像的特征，从而可以提升黄褐斑评估模型对不同尺度目标尤其是小目标的评估性能。
43.步骤s102：基于特征融合网络，对得到的多级融合特征图进行融合处理，得到人脸图像的目标图像特征。
44.然后，基于特征融合网络，对得到的多级融合特征图进行融合处理，得到人脸图像的目标图像特征。比如，可以对得到的融合特征图1、融合特征图2、融合特征图3和融合特征图4进行融合，得到人脸图像的目标图像特征。
45.在本技术的一些实施例中，在上述方法中，所述基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征，包括：将所述多级融合特征图中的最大分辨率作为目标分辨率；对分辨率小于所述目标分辨率的各级融合特征图进行上采样，得到多个采样后融合特征图；对各所述采样后融合特征图进行拼接，得到所述人脸图像的目标图像特征。
46.为了将多级融合特征图进行融合，可以先将多级融合特征图中的最大分辨率作为目标分辨率，然后对分辨率小于目标分辨率的各级融合特征图进行上采样，得到多个采样后融合特征图；对各采样后融合特征图进行拼接，得到人脸图像的目标图像特征。
47.比如，在一些实施例中，如设融合特征图包括：分辨率为14
×
14的融合特征图1、分辨率为28
×
28的融合特征图2、以及分辨率为56
×
56的融合特征图3，则目标分辨率为56
×
56，融合特征图1和融合特征图2的分辨率小于目标分辨率，则可以对融合特征图1进行4倍上采样，得到采样后融合特征图1，对融合特征图2进行2倍上采样，得到采样后融合特征图2，最后，对采样后融合特征图1、采样后融合特征图2、以及融合特征图3进行concat拼接处
理，得到人脸图像的目标图像特征。
48.步骤s103：基于人脸分割网络和黄褐斑分割网络，分别对目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像。
49.在得到目标图像特征后，可以基于人脸分割网络对目标图像特征进行人脸分割处理，得到第一分割图像，其中，第一分割图像中的人脸可以被分割为4个不规则多边形区域，包括：前额部、右颧部、左颧部、颏部4块分割区域。
50.再可以基于黄褐斑分割网络，对目标图像特征进行黄褐斑分割处理，得到第二分割图像，其中，第二分割图像中的人脸可以被分割出一处或多处黄褐斑患处区域，比如，黄褐斑患处区域1和黄褐斑患处区域2。黄褐斑患处区域可以处于上述4块分割区域中，可以不完全处于上述4块分割区域中，也可以完全不处于上述4块分割区域中。
51.步骤s104：根据第一分割图像和第二分割图像的像素信息，确定人脸图像的黄褐斑评估结果。
52.最后，根据第一分割图像和第二分割图像的像素信息，确定人脸图像的黄褐斑评估结果。比如，在一些实施例中，可以根据第二分割图像，确定第一分割图像中每个分割区域中黄褐斑的面积占比值，设在rgb模式下，黄褐斑像素标准值为(r1、g1、b1)，根据第二分割图像中黄褐斑的像素值与(r1、g1、b1)的差距，确定第一分割图像中每个分割区域中黄褐斑的颜色深度，对各分割区域的面积占比值与颜色深度的乘积，做加权计算，得到人脸图像的黄褐斑评估结果。
53.从图1所示的方法可以看出，本技术提供的黄褐斑评估方法，通过构建一种黄褐斑评估模型，基于该模型的多级特征提取网络，对人脸图像进行多级特征提取和融合，得到人脸图像的多级融合特征图；基于该模型的特征融合网络，对得到的多级融合特征图进行融合处理，得到人脸图像的目标图像特征；基于该模型的人脸分割网络和黄褐斑分割网络，分别对目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；最后，根据第一分割图像和第二分割图像的像素信息，确定人脸图像的黄褐斑评估结果。可以看到，本技术通过利用黄褐斑评估模型的多级特征提取网络和特征融合网络，对人脸图像进行多级特征提取和融合，得到人脸图像的目标图像特征，由于包含了人脸图像的多分辨率、多尺度的特征信息，增加了低级特征细节和纹理信息，使得目标图像特征的内容更加丰富和完整，从而大大提升了后续利用该目标图像特征得到的黄褐斑评估结果的准确率；端到端的评估过程也可以快速为医生提供精确的诊疗建议，提升诊疗质量，便于对病人整个病程的管理。
54.在本技术的一些实施例中，在上述方法中，所述多级特征提取层中的顶级特征提取层的输出还连接金字塔池化网络，所述金字塔池化网络的输出连接多级特征融合层的顶级特征融合层；所述基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图，还包括：对所述顶级特征提取层输出的原始特征图进行预设数目次池化操作，得到预设数目个初始特征图；减少各所述初始特征图的通道数，得到预设数目个中间特征图；对各所述中间特征图进行上采样处理，得到预设数目个最终特征图；对各所述最终特征图进行拼接，将得到的拼接图像作为所述顶级特征融合层对应的融合特征图。
55.可以利用金字塔池化网络，对顶级特征提取层输出的原始特征图进行处理，得到
顶级特征融合层对应的融合特征图。图4示出了根据本技术提供的一个实施例的金字塔池化网络的结构示意图，下面结合图4，对上述处理过程进行具体说明。
56.首先，对顶级特征提取层输出的原始特征图进行4次池化操作，得到4个尺寸不同的初始特征图：初始特征图1、初始特征图2、初始特征图3、以及初始特征图4；然后，分别对初始特征图1、初始特征图2、初始特征图3、以及初始特征图4进行卷积计算，以减少各初始特征图的通道数，得到4个中间特征图：中间特征图1、中间特征图2、中间特征图3、以及中间特征图4；然后，对中间特征图1进行6倍上采样处理，得到最终特征图1，对中间特征图2进行3倍上采样处理，得到最终特征图2，对中间特征图3进行2倍上采样处理，得到最终特征图3，将中间特征图4作为最终特征图4；最后，对各最终特征图进行连接，比如，可以对各最终特征图进行concat操作，得到拼接图像，并作为顶级特征融合层对应的融合特征图。
57.从上述实施例可以看出，通过利用金字塔池化网络对顶级特征提取层输出的原始特征图进行多次池化操作，可以扩大感受野，尽可能利用全局的上下文信息，使得生成的顶级特征融合层对应的融合特征图包含的特征信息更丰富和全面，从而基于该融合特征图得到的目标图像特征包含的特征也更加丰富，故可以提高黄褐斑评估模型的评估精度；高效的算法模块(金字塔池化网络)还可以大大提高黄褐斑评估模型整体的计算速度，提高计算效率。
58.在本技术的一些实施例中，在上述方法中，所述根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果，包括：对于所述第一分割图像中任一目标面部分割区域，根据所述第二分割图像对应位置的像素点信息，确定所述目标面部分割区域中黄褐斑的面积占比，并根据第一划分规则，确定目标面积占比评分；基于目标面部分割区域中黄褐斑像素点的颜色分量和预设阈值，确定所述目标面部分割区域中黄褐斑的颜色深度，并根据第二划分规则，确定目标颜色深度评分；将所述目标面积占比评分、所述目标颜色深度评分和目标权重相乘，得到所述目标面部分割区域对应的目标子评分；对各目标子评分进行累加，得到所述黄褐斑评估结果。
59.在本实施例中，对于第一分割图像中任一目标面部分割区域，比如，对于第一分割图像中的前额部区域，可以将前额部区域的像素点的像素值置为1，其他区域的像素点的像素值置为0，将第二分割图像中黄褐斑对应位置的像素点的像素值置为1，其他区域的像素点的像素值置为0，将第一分割图像和第二分割图像对应位置的像素点的像素值相乘，可以得到像素值为1的像素点的个数为50，第一分割图像中前额部区域包括的像素点个数为100，则可以确定前额部区域中黄褐斑的面积占比为50％，下表1为黄褐斑面积及严重程度评分表，根据表1中面积占比对应的划分规则，可以得到前额部区域黄褐斑的面积占比评分为4。
60.表1
[0061][0062]
然后，可以基于前额部区域中黄褐斑像素点的颜色分量和预设阈值，确定目标面部分割区域中黄褐斑的颜色深度，具体的，针对前额部区域中的每一个像素点，可以根据像
素点的红色分量、绿色分量、以及蓝色分量的值，计算得到像素点的亮度值，比如可以计算得到像素点1的亮度值50、像素点2的亮度值20、
…
、像素点n的亮度值为20，其中，n为正整数，计算得到前额部区域的平均亮度值为70，如设预设阈值为0-30、30-60、60-90、90-120，分别对应表1中的“无”、“轻微”、“轻度”、“中度”、“重度”，则可以确定前额部区域的颜色深度为“中度”，根据表1中颜色深度对应的划分规则，可以确定前额部区域黄褐斑的颜色深度评分为3。如设前额部区域对应的目标权重为0.3，则将面积占比评分4、颜色深度评分3和目标权重0.3相乘，可以得到前额部区域对应的目标子评分3.6。
[0063]
再分别求得右颧部区域、左颧部区域、以及颏部区域对应的目标子评分，计算过程与前额部区域的目标子评分类似，在此不再赘述。若右颧部区域、左颧部区域、以及颏部区域对应的目标子评分分别为3、4、4.4，则对各目标子评分进行累加，得到黄褐斑评估结果为15。
[0064]
实施时，前额部区域、右颧部区域、左颧部区域、以及颏部区域对应的目标权重可以根据实际需要设置，对此本技术不作限定。
[0065]
从上述实施例可以看出，通过使用改进的黄褐斑面积及严重程度评分标准，只分析颜色深度和面积占比这两项指标，避免了现有技术中对黄褐斑均一性的定量评估，从而可以更加有效地对黄褐斑的严重程度进行定量分析；并且通过对不同的脸部区域进行定量分析，可以客观反应整个人脸的黄褐斑严重程度，从而为医生提供精确的诊疗建议，提升诊疗质量，以便对病人的整个病程进行精确化管理。
[0066]
在本技术的一些实施例中，在上述方法中，所述黄褐斑评估模型是根据下述步骤获得的：获取训练样本集；其中，所述训练样本集中包含多张正面人脸的图像，样本标签为前额部、右颧部、左颧部、颏部以及黄褐斑患处分别对应的多边形的顶点坐标；获取黄褐斑评估初始模型；将所述训练样本集输入至所述黄褐斑评估初始模型，得到多个第一预测值和多个第二预测值；基于第一损失函数和第二损失函数，根据所述多个第一预测值、所述多个第二预测值、以及样本标签，对所述黄褐斑评估初始模型中的参数进行更新，得到所述黄褐斑评估模型。
[0067]
获取训练样本集；其中，训练样本集中包含多张正面人脸的图像，样本标签为前额部、右颧部、左颧部、颏部以及黄褐斑患处分别对应的多边形的顶点坐标。比如，一张训练样本的样本标签可以包括多组坐标集合：前额部坐标集合、右颧部坐标集合、左颧部坐标集合、颏部坐标集合、黄褐斑患处1坐标集合、黄褐斑患处2坐标集合，具体的，比如，前额部坐标集合包括a点(1，2)、b点(2，2)、c点(2，1)、d点(2，2)。a、b、c、d点依次相连确定的区域为前额部区域。
[0068]
然后，获取黄褐斑评估初始模型，由图2可知，黄褐斑评估初始模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，多级特征提取网络与所述特征融合网络相连，特征融合网络的输出分别作为人脸分割网络和黄褐斑分割网络的输入。
[0069]
可以将人脸图像1输入至黄褐斑评估初始模型，得到第一预测值1和第二预测值1；基于第一损失函数和第二损失函数，根据第一预测值1、第二预测值1、以及样本标签1，对黄褐斑评估初始模型中的参数进行更新，得到黄褐斑评估模型1。
[0070]
然后，再将人脸图像2输入至黄褐斑评估模型1，得到第一预测值2和第二预测值2；
基于第一损失函数和第二损失函数，根据第一预测值2、第二预测值2、以及样本标签2，对黄褐斑评估模型1中的参数进行更新，得到黄褐斑评估模型2。以此类推，将人脸图像3输入至黄褐斑评估模型2、将人脸图像4输入至黄褐斑评估模型3、
…
、将人脸图像k输入至黄褐斑评估模型k-1，得到最终的黄褐斑评估模型。
[0071]
从上述实施例可以看出，通过利用多张正面人脸图像对黄褐斑评估初始模型进行训练，可以得到黄褐斑评估模型，以便后续利用该模型对人脸图像的黄褐斑严重性进行快速评估，为医生提供精确的诊疗建议，从而提升诊疗质量。
[0072]
在本技术的一些实施例中，在上述方法中，所述黄褐斑评估模型是基于swin transformer模型实现的。
[0073]
基于移动窗口的层次化视觉自注意力模型(shifted windows-transformer，swin transformer)为计算机视觉领域的一种基于移动窗口的分层transformer结构，借鉴了卷积神经网络的分层结构，不仅能够做图像分类，还能够和卷积神经网络一样扩展到图像分割、目标检测等一系列视觉下游任务，解决了视觉图像的多尺度问题，可以提供各个尺度的维度信息；模型提出的移动窗口的移动操作，让相邻窗口得到交互，极大降低了transformer的计算复杂度。
[0074]
从上述实施例可以看出，通过基于swin transformer模型，构建黄褐斑评估模型，由于swin transformer模型采用了基于移动窗口的分层结构，故使得黄褐斑评估模型可以提取到关于人脸图像的、更紧凑的特征表示和更丰富的语义信息，以便后续黄褐斑评估模型更好地定位黄褐斑，大大提高黄褐斑的识别精度，同时减少计算量，提高模型的计算效率。
[0075]
图5示出了根据本技术提供的又一个实施例的黄褐斑评估方法的流程示意图，由图5可知，本实施例包括以下步骤s501～步骤s514：
[0076]
步骤s501：获取训练样本集。其中，训练样本集中包含多张正面人脸的图像，样本标签为前额部、右颧部、左颧部、颏部以及黄褐斑患处分别对应的多边形的顶点坐标。
[0077]
步骤s502：获取黄褐斑评估初始模型。其中，所述黄褐斑评估初始模型是基于swin transformer模型实现的。
[0078]
步骤s503：将训练样本集输入至黄褐斑评估初始模型，得到多个第一预测值和多个第二预测值。
[0079]
步骤s504：基于第一损失函数和第二损失函数，根据多个第一预测值、多个第二预测值、以及样本标签，对黄褐斑评估初始模型中的参数进行更新，得到黄褐斑评估模型。本实施例中所述的黄褐斑评估模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，多级特征提取网络与特征融合网络相连，特征融合网络的输出分别作为人脸分割网络和黄褐斑分割网络的输入。
[0080]
所述多级特征提取网络包括多级特征提取层以及各级特征提取层对应的各级特征融合层。
[0081]
步骤s505：基于各级特征提取层，采用自底向上和下采样的方式对人脸图像进行特征提取，生成人脸图像的多级原始特征图。
[0082]
步骤s506：基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图。
[0083]
在本实施例中，所述多级特征提取层中的顶级特征提取层的输出还连接金字塔池化网络，所述金字塔池化网络的输出连接多级特征融合层的顶级特征融合层。可以对顶级特征提取层输出的原始特征图进行预设数目次池化操作，得到预设数目个初始特征图；减少各初始特征图的通道数，得到预设数目个中间特征图；对各中间特征图进行上采样处理，得到预设数目个最终特征图；对各最终特征图进行拼接，将得到的拼接图像作为顶级特征融合层对应的融合特征图。
[0084]
步骤s507：将多级融合特征图中的最大分辨率作为目标分辨率。
[0085]
步骤s508：对分辨率小于目标分辨率的各级融合特征图进行上采样，得到多个采样后融合特征图。
[0086]
步骤s509：对各采样后融合特征图进行拼接，得到人脸图像的目标图像特征。
[0087]
步骤s510：基于人脸分割网络和黄褐斑分割网络，分别对目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像。
[0088]
步骤s511：对于第一分割图像中任一目标面部分割区域，根据第二分割图像对应位置的像素点信息，确定目标面部分割区域中黄褐斑的面积占比，并根据第一划分规则，确定目标面积占比评分。
[0089]
步骤s512：基于目标面部分割区域中黄褐斑像素点的颜色分量和预设阈值，确定目标面部分割区域中黄褐斑的颜色深度，并根据第二划分规则，确定目标颜色深度评分。
[0090]
步骤s513：将目标面积占比评分、目标颜色深度评分和目标权重相乘，得到目标面部分割区域对应的目标子评分。
[0091]
步骤s514：对各目标子评分进行累加，得到黄褐斑评估结果。
[0092]
图6示出了根据本技术提供的一个实施例的黄褐斑评估装置的结构示意图，所述黄褐斑评估装置部署有黄褐斑评估模型，所述模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，所述多级特征提取网络与所述特征融合网络相连，所述特征融合网络的输出分别作为所述人脸分割网络和黄褐斑分割网络的输入；所述黄褐斑评估装置600包括多级特征提取单元601、特征融合单元602、分割单元603、评估单元604，其中：
[0093]
多级特征提取单元601，用于基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图。
[0094]
特征融合单元602，用于基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征。
[0095]
分割单元603，用于基于所述人脸分割网络和所述黄褐斑分割网络，分别对所述目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像。
[0096]
评估单元604，用于根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果。
[0097]
在本技术的一些实施例中，在上述装置中，所述多级特征提取网络包括多级特征提取层以及各级特征提取层对应的各级特征融合层；所述多级特征提取单元601，用于基于各级特征提取层，采用自底向上和下采样的方式对所述人脸图像进行特征提取，生成所述人脸图像的多级原始特征图；基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图。
[0098]
在本技术的一些实施例中，上述装置还包括金字塔池化单元，所述多级特征提取层中的顶级特征提取层的输出还连接金字塔池化网络，所述金字塔池化网络的输出连接多级特征融合层的顶级特征融合层；所述金字塔池化单元，用于对所述顶级特征提取层输出的原始特征图进行预设数目次池化操作，得到预设数目个初始特征图；减少各所述初始特征图的通道数，得到预设数目个中间特征图；对各所述中间特征图进行上采样处理，得到预设数目个最终特征图；对各所述最终特征图进行拼接，将得到的拼接图像作为所述顶级特征融合层对应的融合特征图。
[0099]
在本技术的一些实施例中，在上述装置中，所述特征融合单元602，用于将所述多级融合特征图中的最大分辨率作为目标分辨率；对分辨率小于所述目标分辨率的各级融合特征图进行上采样，得到多个采样后融合特征图；对各所述采样后融合特征图进行拼接，得到所述人脸图像的目标图像特征。
[0100]
在本技术的一些实施例中，在上述装置中，所述评估单元604，用于对于所述第一分割图像中任一目标面部分割区域，根据所述第二分割图像对应位置的像素点信息，确定所述目标面部分割区域中黄褐斑的面积占比，并根据第一划分规则，确定目标面积占比评分；基于目标面部分割区域中黄褐斑像素点的颜色分量和预设阈值，确定所述目标面部分割区域中黄褐斑的颜色深度，并根据第二划分规则，确定目标颜色深度评分；将所述目标面积占比评分、所述目标颜色深度评分和目标权重相乘，得到所述目标面部分割区域对应的目标子评分；对各目标子评分进行累加，得到所述黄褐斑评估结果。
[0101]
在本技术的一些实施例中，上述装置还包括模型训练单元，所述模型训练单元，用于获取训练样本集；其中，所述训练样本集中包含多张正面人脸的图像，样本标签为前额部、右颧部、左颧部、颏部以及黄褐斑患处分别对应的多边形的顶点坐标；获取黄褐斑评估初始模型；将所述训练样本集输入至所述黄褐斑评估初始模型，得到多个第一预测值和多个第二预测值；基于第一损失函数和第二损失函数，根据所述多个第一预测值、所述多个第二预测值、以及样本标签，对所述黄褐斑评估初始模型中的参数进行更新，得到所述黄褐斑评估模型。
[0102]
在本技术的一些实施例中，在上述装置中，所述黄褐斑评估模型是基于swin transformer模型实现的。
[0103]
需要说明的是，上述任一的黄褐斑评估装置可一一对应实现前述的黄褐斑评估方法，这里不再赘述。
[0104]
图7示出了本技术实施例提供的一种电子设备的结构示意图。如图7所示，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0105]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总
线。
[0106]
存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0107]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成黄褐斑评估装置。处理器，执行存储器所存放的程序，并具体用于执行前述方法。
[0108]
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0109]
该电子设备可执行本技术多个实施例提供的黄褐斑评估方法，并实现成黄褐斑评估装置在图6所示实施例的功能，本技术实施例在此不再赘述。
[0110]
本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行本技术多个实施例提供的黄褐斑评估方法。
[0111]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0112]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0113]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0114]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0115]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0116]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0117]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0118]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的同一要素。
[0119]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0120]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种黄褐斑评估方法，其特征在于，所述方法是基于黄褐斑评估模型实现的，所述模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，所述多级特征提取网络与所述特征融合网络相连，所述特征融合网络的输出分别作为所述人脸分割网络和黄褐斑分割网络的输入；所述方法包括：基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图；基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征；基于所述人脸分割网络和所述黄褐斑分割网络，分别对所述目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果。2.根据权利要求1所述的方法，其特征在于，所述多级特征提取网络包括多级特征提取层以及各级特征提取层对应的各级特征融合层；所述基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图，包括：基于各级特征提取层，采用自底向上和下采样的方式对所述人脸图像进行特征提取，生成所述人脸图像的多级原始特征图；基于各级特征融合层以及对应的级特征提取层输出的原始特征图，采用自顶向下和上采样的方式，生成各级原始特征图对应的融合特征图。3.根据权利要求2所述的方法，其特征在于，所述多级特征提取层中的顶级特征提取层的输出还连接金字塔池化网络，所述金字塔池化网络的输出连接多级特征融合层的顶级特征融合层；所述基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图，还包括：对所述顶级特征提取层输出的原始特征图进行预设数目次池化操作，得到预设数目个初始特征图；减少各所述初始特征图的通道数，得到预设数目个中间特征图；对各所述中间特征图进行上采样处理，得到预设数目个最终特征图；对各所述最终特征图进行拼接，将得到的拼接图像作为所述顶级特征融合层对应的融合特征图。4.根据权利要求1所述的方法，其特征在于，所述基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征，包括：将所述多级融合特征图中的最大分辨率作为目标分辨率；对分辨率小于所述目标分辨率的各级融合特征图进行上采样，得到多个采样后融合特征图；对各所述采样后融合特征图进行拼接，得到所述人脸图像的目标图像特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一分割图像和所述第二分
割图像的像素信息，确定所述人脸图像的黄褐斑评估结果，包括：对于所述第一分割图像中任一目标面部分割区域，根据所述第二分割图像对应位置的像素点信息，确定所述目标面部分割区域中黄褐斑的面积占比，并根据第一划分规则，确定目标面积占比评分；基于目标面部分割区域中黄褐斑像素点的颜色分量和预设阈值，确定所述目标面部分割区域中黄褐斑的颜色深度，并根据第二划分规则，确定目标颜色深度评分；将所述目标面积占比评分、所述目标颜色深度评分和目标权重相乘，得到所述目标面部分割区域对应的目标子评分；对各目标子评分进行累加，得到所述黄褐斑评估结果。6.根据权利要求1所述的方法，其特征在于，所述黄褐斑评估模型是根据下述步骤获得的：获取训练样本集；其中，所述训练样本集中包含多张正面人脸的图像，样本标签为前额部、右颧部、左颧部、颏部以及黄褐斑患处分别对应的多边形的顶点坐标；获取黄褐斑评估初始模型；将所述训练样本集输入至所述黄褐斑评估初始模型，得到多个第一预测值和多个第二预测值；基于第一损失函数和第二损失函数，根据所述多个第一预测值、所述多个第二预测值、以及样本标签，对所述黄褐斑评估初始模型中的参数进行更新，得到所述黄褐斑评估模型。7.根据权利要求1～6任一所述的方法，其特征在于，所述黄褐斑评估模型是基于swin transformer模型实现的。8.一种黄褐斑评估装置，其特征在于，所述装置部署有黄褐斑评估模型，所述模型包括多级特征提取网络、特征融合网络、人脸分割网络和黄褐斑分割网络，其中，所述多级特征提取网络与所述特征融合网络相连，所述特征融合网络的输出分别作为所述人脸分割网络和黄褐斑分割网络的输入；所述装置包括：多级特征提取单元，用于基于所述多级特征提取网络，对人脸图像进行多级特征提取和融合，得到所述人脸图像的多级融合特征图；特征融合单元，用于基于所述特征融合网络，对得到的多级融合特征图进行融合处理，得到所述人脸图像的目标图像特征；分割单元，用于基于所述人脸分割网络和所述黄褐斑分割网络，分别对所述目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；评估单元，用于根据所述第一分割图像和所述第二分割图像的像素信息，确定所述人脸图像的黄褐斑评估结果。9.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1～7任一所述黄褐斑评估方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要
求1～7任一所述黄褐斑评估方法的步骤。

技术总结
本申请涉及数字医疗技术领域，公开了一种黄褐斑评估方法、装置、电子设备及计算机可读存储介质，其方法包括：基于多级特征提取网络，对人脸图像进行多级特征提取和融合，得到人脸图像的多级融合特征图；基于特征融合网络，对得到的多级融合特征图进行融合处理，得到人脸图像的目标图像特征；基于人脸分割网络和黄褐斑分割网络，分别对目标图像特征进行人脸分割和黄褐斑分割，得到第一分割图像和第二分割图像；根据第一分割图像和第二分割图像的像素信息，确定人脸图像的黄褐斑评估结果。本申请通过对人脸图像进行多级特征提取和融合，得到包含多分辨率、多尺度的特征信息的目标图像特征，从而大大提升了黄褐斑评估结果的准确率。从而大大提升了黄褐斑评估结果的准确率。从而大大提升了黄褐斑评估结果的准确率。


技术研发人员：王佳平 初晓 韩英男
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.04.19
技术公布日：2023/7/25