图像处理方法、装置、电子设备和可读存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和可读存储介质。


背景技术：

2.随着短视频和直播等应用场景的发展，为了向用户提供更好的视觉效果，通常可以对用户的图像进行美化处理，然而现有的美颜效果通常按照相同的标准对用户的图像进行处理，例如，场景中存在多个用户的情况下，可能按照相同的比例对用户的图像进行瘦脸处理，而不同的用户的脸型是不同的，这可能导致用户的图像经过处理后，存在比例不协调等异常问题，影响最终的展示效果。


技术实现要素：

3.本发明实施例提供一种图像处理方法、装置、电子设备和可读存储介质，以解决对于不同脸型用户的瘦脸处理比例不同导致处理效果存在异常的问题。
4.为解决上述问题，本发明是这样实现的：
5.第一方面，本发明实施例提供了一种图像处理方法，包括以下步骤：
6.检测输入图像中的人脸图像；
7.识别各所述人脸图像的脸型特征；
8.根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；
9.根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。
10.在其中一些实施例中，所述识别各所述人脸图像的脸型特征，包括：
11.识别所述人脸图像的关键点，其中，所述关键点包括位于所述人脸图像的脸部边缘的第一关键点以及位于所述人脸图像鼻部区域的第二关键点；
12.根据所述第一关键点的位置生成所述人脸图像的脸部轮廓参数和下巴轮廓参数；
13.根据所述第一关键点和所述第二关键点生成所述人脸图像的脸部长度参数；
14.根据所述脸部轮廓参数、所述下巴轮廓参数和所述脸部长度参数确定所述人脸图像的脸型特征。
15.在其中一些实施例中，所述脸部边缘包括位于人脸图像左脸侧的第一脸部侧边和第一下巴侧边，以及位于人脸图像右脸侧的第二脸部侧边和第二下巴侧边；
16.所述脸部轮廓参数包括根据所述第一脸部侧边和所述第一下巴侧边确定的第一脸型夹角，以及根据所述第二脸部侧边和所述第二下巴侧边确定的第二脸型夹角；
17.所述下巴轮廓参数包括根据所述第一下巴侧边和所述第二下巴侧边确定的下巴夹角；
18.所述第二关键点包括第一目标关键点，所述脸部长度参数包括所述第一目标关键点与下巴侧边交点之间的长度，所述下巴侧边交点为所述第一下巴侧边和所述第二下巴侧
边的交点。
19.在其中一些实施例中，所述第二关键点包括第二目标关键点；所述根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，包括：
20.确定所述第一关键点与所述脸型特征对应的移动阈值；
21.根据所述第一关键点和所述第二目标关键点的相对位置确定所述第一关键点移动后的目标位置，其中，所述目标位置位于所述第一关键点和所述第二目标关键点之间，所述第一关键点的位置和所述目标位置之间的距离小于或等于所述移动阈值；
22.生成包括所述目标位置的调整方案。
23.在其中一些实施例中，所述识别所述人脸图像上的关键点的方法还包括：
24.根据所识别的关键点确定的所述人脸图像通过第一映射矩阵变换为标准三维人脸图像，其中，所述第一映射矩阵的变形参数包括偏转角度、位置偏移量和缩放系数中的一项或多项；
25.将所述标准三维人脸图像通过第二映射矩阵变换为标准二维人脸图像，其中，所述人脸图像的脸型特征是基于所述标准二维人脸图像识别的。
26.在其中一些实施例中，所述根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像，包括：
27.将基于所述标准二维人脸图像确定的图像通过所述第二映射矩阵的逆运算映射到标准三维人脸图像；
28.将通过标准二位人脸图像映射得到的所述标准三维人脸图像通过所述第一映射矩阵的逆运算映射为真实域三维人脸图像；
29.根据所述真实域三维人脸图像生成所述输出图像。
30.在其中一些实施例中，所述检测输入图像中的人脸图像，包括：
31.周期性检测视频图像中的人脸图像；
32.在检测到人脸图像的情况下，判定所检测到的人脸图像的完整性；
33.在所检测到的人脸图像的完整性大于预设完整性比例阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤；
34.在所检测到的人脸图像的完整性不大于预设完整性比例阈值的情况下，将所述人脸图像作为输出图像。
35.在其中一些实施例中，所述周期性检测视频图像中的人脸图像，包括：
36.按照根据设定的帧数周期抽取视频图像帧；
37.检测所抽取到的视频图像帧中的人脸图像；
38.在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，按照相同的图像调整方案调整所述人脸图像；
39.在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应不同对象的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
40.在其中一些实施例中，所述在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，所述方法还包括：
41.检测所述所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像的偏转角度差是否大于预设偏转角度阈值；
42.在所述偏转角度差不大于预设偏转角度阈值的情况下，执行所述按照相同的图像调整方案调整所述人脸图像的步骤；
43.在所述偏转角度差大于预设偏转角度阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
44.第二方面，本发明实施例还提供一种图像处理装置，包括：
45.检测模块，用于检测输入图像中的人脸图像；
46.脸型识别模块，用于识别各所述人脸图像的脸型特征；
47.调整模块，用于根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；
48.输出模块，用于根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。
49.第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。
50.第四方面，本发明实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。
51.本发明实施例通过检测用户的脸型，并根据不同的脸型采用不同的图像调整方案对各人脸图像进行处理，从而能够有针对性的对不同脸型的人脸图像进行处理，有助于对于不同用户人脸图像处理的灵活性和协调性，提高人脸图像的处理效果。
附图说明
52.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
53.图1是本发明实施例提供的图像处理方法的流程示意图；
54.图2是本发明实施例中脸型特征的示意图；
55.图3a是本发明实施例中人脸关键点的一示意图；
56.图3b是本发明实施例中人脸关键点的又一示意图；
57.图4是本发明实施例中一人脸图像处理的示意图；
58.图5是本发明实施例中一人脸简化模型的示意图；
59.图6是本发明实施例中瘦脸处理的示意图；
60.图7是本发明实施例中瘦脸处理的又一示意图；
61.图8是本发明实施例中人脸图像的三角剖分示意图；
62.图9是本发明实施例提供的图像处理方法的又一流程示意图；
63.图10是本发明实施例提供的图像处理方法的又一流程示意图；
64.图11a是本发明实施例中图像处理效果示意图；
65.图11b是本发明实施例中图像处理效果又一示意图；
66.图12是本发明实施例提供的图像处理方法的流程示意图；
67.图13是本发明实施提供的电子设备的结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
69.本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本技术中使用“和/或”表示所连接对象的至少其中之一，例如a和/或b和/或c，表示包含单独a，单独b，单独c，以及a和b都存在，b和c都存在，a和c都存在，以及a、b和c都存在的7种情况。
70.本发明实施例提供了一种图像处理方法。
71.如图1所示，在一个实施例中，该图像处理方法包括以下步骤：
72.步骤101：检测输入图像中的人脸图像。
73.本发明实施例的技术方案可以用于对图片进行处理，也可以用户对视频进行处理。在一个示例性的实施例中，该方案可以应用于短视频、直播、视频通信等视频场景。
74.本实施例中，可以采用现有的或改进的算法识别输入图像中的人脸图像。并对所识别到的人脸图像进行处理，具体而言，可以是对识别到的图像进行美化处理，以提高图像的美观效果。本实施例中，对所采用的人脸图像的识别算法和方式不做进一步限定和描述。
75.在一些实施例中，该步骤101，包括：
76.周期性检测视频图像中的人脸图像；
77.在检测到人脸图像的情况下，判定所检测到的人脸图像的完整性；
78.在所检测到的人脸图像的完整性大于预设完整性比例阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤；
79.在所检测到的人脸图像的完整性不大于预设完整性比例阈值的情况下，将所述人脸图像作为输出图像。
80.当应用于图片时，本实施例中可以直接对该图片进行处理。
81.当应用于视频图像时，为了降低负荷，本实施例中可以抽取一定的图像帧，具体而言，可以按照一定的规则抽取图像帧，然后识别其中的人脸图像。
82.在其中一些实施例中，所述周期性检测视频图像中的人脸图像的步骤，包括：
83.按照根据设定的帧数周期抽取视频图像帧；
84.检测所抽取到的视频图像帧中的人脸图像；
85.在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，按照相同的图像调整方案调整所述人脸图像；
86.在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应不同对象的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
87.在一个示例性的实施例中，视频以每秒25帧的格式输出，则本实施例中每5帧进行一次图像检测，显然，图像输出格式以及检测频率均可以根据需要设定，本实施例中不做具体限定。
88.实施时，对图像中的人脸图像进行跟踪，可以理解为，如果已经检测到某一人脸图像，后续跟踪到该人脸图像时，可以根据之前确定的处理方式，按照相同的图像调整方案对该人脸图像进行处理，如果检测到新的人脸图像或对于某一人脸图像的跟踪中断，则可以执行后续识别各所述人脸图像的脸型特征的步骤，以重新确定相应的图像处理方案。
89.在其中一些实施例中，所述在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，所述方法还包括：
90.检测所述所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像的偏转角度差是否大于预设偏转角度阈值；
91.在所述偏转角度差不大于预设偏转角度阈值的情况下，执行所述按照相同的图像调整方案调整所述人脸图像的步骤；
92.在所述偏转角度差大于预设偏转角度阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
93.本实施例的技术方案中，在跟踪的人脸图像为同一用户的情况下，进一步检测该用户的脸部偏转角度，需要理解的是，同一用户在不同视角的情况下，观察其脸型的视觉效果存在一定差异，本实施例中，对两次采集的视频图像帧中人脸的偏转角度差值进行检测，如果该偏转角度差大于预设偏转角度阈值，则说明用户的姿态发生了较大的变化，此时，需要重新对用户的脸型特征进行识别，以提供更好的图像处理效果；如果该偏转角度差不大于预设偏转角度阈值，则说明用户的姿态变化较小，可以按照原方式进行图像处理，以节约计算量以及降低响应时间。
94.本实施例中，在识别出人脸图像之后，进一步判定人脸图像的完整性，可以理解的是，如果一个人被其他人或物品遮挡，则该人脸图像是不完整的，本实施例中对于不够完整的人脸图像可以不进行处理。
95.例如，可以将预设完整性比例阈值设定为50％。实施时，如果人脸图像被遮挡50％以上，则不对该人脸图像进行处理，如果人脸图像被遮挡小于50％，则执行后续的步骤对该人脸图像进行优化处理，这样，本实施例的技术方案能够合理利用算力资源，降低设备负荷。
96.步骤102：识别各所述人脸图像的脸型特征。
97.在识别出人脸图像之后，接下来确定人脸图像的脸型特征。需要理解的是，一般来说，大部分用户会对人脸图形进行“瘦脸”处理，以使得用户的图像看起来更加清秀和美观。例如，部分用户的脸型相对较长，部分用户的脸型相对较圆，但是，如果以相同的比例对用户进行瘦脸处理，则可能使得脸型相对较长的用户过于瘦长，整体效果不协调。
98.因此，本实施例中，在识别出人脸图像之后，进一步识别各人脸图像的脸型特征。如图2所示，本实施例中，将脸型特征分为椭圆脸、圆形脸、瓜子脸、菱形脸、长形脸、方形脸，显然，实施时，可以根据需要定义不同的脸型，本实施例中仅以此做示例性说明。
99.在一些实施例中，该步骤102具体包括：
100.识别所述人脸图像的关键点；
101.根据所述第一关键点的位置生成所述人脸图像的脸部轮廓参数和下巴轮廓参数；
102.根据所述第一关键点和所述第二关键点生成所述人脸图像的脸部长度参数；
103.根据所述脸部轮廓参数、所述下巴轮廓参数和所述脸部长度参数确定所述人脸图像的脸型特征。
104.如图3a和图3b所示，本实施例中，首先识别人脸图像中的关键点，然后根据关键点的位置确定人脸图像的脸型特征。
105.如本实施例中以图3a和图3b所示的人脸68关键点做示例性说明，显然，实施时，也可以设定或选择其他格式的人脸关键点示意图，例如，也可以选择106关键点等，本实施例中不做进一步限定。
106.在其中一个实施例中，关键点包括位于人脸图像的脸部边缘的第一关键点以及位于人脸图像鼻部区域的第二关键点。本实施例中，第一关键点为图3b中序号1至18的关键点，第二关键点为图3b中序号28至36以及49至68的关键点。
107.如图4所示，在确定了第一关键点和第二关键点之后，根据第一关键点的位置生成人脸图像的脸部轮廓参数和下巴轮廓参数，并根据第一关键点和第二关键点生成人脸图像的脸部长度参数。
108.在一些实施例中，脸部边缘包括位于人脸图像左脸侧的第一脸部侧边和第一下巴侧边，以及位于人脸图像右脸侧的第二脸部侧边和第二下巴侧边；脸部轮廓参数包括根据第一脸部侧边和第一下巴侧边确定的第一脸型夹角，以及根据第二脸部侧边和第二下巴侧边确定的第二脸型夹角；下巴轮廓参数包括根据第一下巴侧边和第二下巴侧边确定的下巴夹角；第二关键点包括第一目标关键点，脸部长度参数包括第一目标关键点与下巴侧边交点之间的长度，下巴侧边交点为第一下巴侧边和第二下巴侧边的交点。
109.如图5所示，本实施例中根据第一关键点和第二关键点建立了人脸的简化模型。请同时参阅图3b、图4和图5，本实施例中，将序号为28、1、6、17、12、9的关键点分别标记为点a、b、c、d、e、f，这样，能够将人脸的轮廓简化为图5所示的模型。
110.如图5所示，图5中的线段de对应位于人脸图像左脸侧的第一脸部侧边，线段ed对应位于人脸图像左脸侧的第一下巴侧边，线段bc对应位于人脸图像右脸侧的第二脸部侧边，线段cf对应位于人脸图像右脸侧的第二下巴侧边。图中∠def对应第一脸型夹角，∠bcf为第二脸型夹角，第一脸型夹角和第二脸型夹角主要受到用户的脸型的影响，该角度值越小，则用户的脸越方，棱角越明显，该角度值越大则说明用户的脸左右两侧越平坦，一般来说，第一脸型夹角和第二脸型夹角的值应当相等或接近，实施时，可以取两者的均值，作为脸型夹角。∠cef为下巴夹角，主要表现用户下巴的形状，该角度值越大，则用户的下巴越平，该角度值越小，则用户的下巴越尖。关键点a为第一目标关键点，关键点f为下巴侧边交点，脸部长度参数为线段ef的长度，脸部长度参数主要表现用户的脸长。
111.在其中一些实施例中，确定脸型特征的步骤包括：
112.在所述脸部轮廓参数大于或等于第二脸部轮廓阈值，所述下巴轮廓参数大于第二下巴轮廓阈值且小于第三下巴轮廓阈值，所述脸部长度参数大于或等于脸部长度阈值的情况下，确认所述脸型特征为第一脸型；
113.在所述脸部轮廓参数大于或等于第二脸部轮廓阈值，所述下巴轮廓参数大于第二下巴轮廓阈值且小于第三下巴轮廓阈值，所述脸部长度参数小于脸部长度阈值的情况下，
确认所述脸型特征为第二脸型；
114.在所述脸部轮廓参数大于第一脸部轮廓阈值且小于第二脸部轮廓阈值，所述下巴轮廓参数小于第一下巴轮廓阈值，所述脸部长度参数大于或等于脸部长度阈值的情况下，确认所述脸型特征为第三脸型；
115.在所述脸部轮廓参数大于或等于第二脸部轮廓阈值，所述下巴轮廓参数大于或等于第一下巴轮廓阈值且小于或等于第二下巴轮廓阈值，所述脸部长度参数大于或等于脸部长度阈值的情况下，确认所述脸型特征为第四脸型；
116.在所述脸部轮廓参数小于第一脸部轮廓阈值，所述下巴轮廓参数大于或等于第三下巴轮廓阈值之间，所述脸部长度参数大于或等于脸部长度阈值的情况下，确认所述脸型特征为第五脸型；
117.在所述脸部轮廓参数小于第一脸部轮廓阈值，所述下巴轮廓参数大于或等于第三下巴轮廓阈值之间，所述脸部长度参数大于或等于脸部长度阈值的情况下，确认所述脸型特征为第六脸型。
118.在确定了用户的脸型参数之后，根据脸部轮廓参数j1、下巴轮廓参数j2和脸部长度参数l的大小确定用户的脸型特征。
119.在其中一个实施例中，按照以下表1确定用户的脸型特征。
120.表1：脸型特征定义
121.脸型j1取值范围j2取值范围l取值范围第一脸型(椭圆脸)[j1_t2,180](j2_t2,j2_t3)[l_t,180]第二脸型(圆形脸)[j1_t2,180](j2_t2,j2_t3)(0,l_t)第三脸型(瓜子脸)(j1_t1,j1_t2)(0,j2_t1)[l_t,180]第四脸型(菱形脸)[j1_t2,180][j2_t1,j2_t2][l_t,180]第五脸型(长形脸)(0,j1_t1][j2_t3,180][l_t,180]第六脸型(方形脸)(0,j1_t1][j2_t3,180](0,l_t)
[0122]
表1中，第一脸部轮廓阈值j1_t2和第二脸部轮廓阈值j1_t2为针对脸部轮廓参数设定的角度阈值，其中，第一脸部轮廓阈值j1_t2小于第二脸部轮廓阈值j1_t2，第一下巴轮廓阈值j2_t1、第二下巴轮廓阈值j2_t2和第三下巴轮廓阈值j2_t3为针对下巴轮廓参数设定的角度阈值，第一下巴轮廓阈值j2_t1小于第二下巴轮廓阈值j2_t2，第二下巴轮廓阈值j2_t2小于第三下巴轮廓阈值j2_t3，l_t为针对脸部长度参数设定的脸部长度阈值。
[0123]
示例性的，如果脸部轮廓参数j1的值位于j1_t1和j1_t2之间，下巴轮廓参数j2的取值位于0到j2_t1之间，脸部长度参数l位于l_t到180之间，则根据上表确认用户的脸型特征为瓜子脸。依此类推，根据所计算的脸部轮廓参数j1、下巴轮廓参数j2和脸部长度参数l的大小，同时参照上表能够确定用户的脸型特征。
[0124]
步骤103：根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同。
[0125]
在确定了用户的脸型特征之后，进一步根据不同的脸型特征确定不同的图像调整方案，示例性的，在同一图像中，对于瓜子脸的瘦脸比例需要小于圆形脸的瘦脸比例，这样，能够使得圆形脸变瘦，显得更加美观，而同时也不会使瓜子脸呈现出过于细长的“蛇精脸”状态。
[0126]
在一些实施例中，所述第二关键点包括第二目标关键点；上述步骤103包括：
[0127]
确定所述第一关键点与对应的移动阈值；
[0128]
根据所述第一关键点和所述第二目标关键点的相对位置确定所述第一关键点移动后的目标位置，其中，所述目标位置位于所述第一关键点和所述第二目标关键点之间，所述第一关键点的位置和所述目标位置之间的距离小于或等于所述移动阈值；
[0129]
生成包括所述目标位置的调整方案。
[0130]
实现瘦脸效果，实际上就是将人脸图像的脸部边缘的第一关键点向人脸图像的鼻子方向移动，如图6所示，本实施例中，以关键点34作为第二目标关键点，而将第一关键点中序号为4、5、6、7、11、12、13和14的关键点作为需要进行位置调整的关键点。
[0131]
进一步的，本实施例中针对第一关键点中每一需要移动的关键点设定相应的瘦脸阈值ft，示例性的，将关键点4的瘦脸阈值定义为20％，即关键点4的最大移动距离为关键点4和关键点34之间长度的20％，即对应图7中纵向短线段的位置，显然，越靠近下巴一侧，各第一关键点的瘦脸阈值ft越小。
[0132]
表2：不同脸型特征程度阈值
[0133][0134][0135]
不同脸型特征中相同关键点对应的瘦脸阈值不同，例如，将圆形脸的关键点4的瘦脸阈值设定为20％，则瓜子脸的关键点4的瘦脸阈值可以设定为2％，这样，通过针对不同的脸型特征设定不同的瘦脸阈值，能够针对不同的脸型特征生成不同的图像调整方案，适应不同脸型特征的瘦脸需求。
[0136]
需要理解的是。本实施例中，由于关键点4和14位于人脸左右两侧基本对称的位置，因此，采用了相同的瘦脸阈值，类似的，关键点5和13等相对称的关键点也采用了相同的瘦脸阈值。
[0137]
在一些实施例中，所述识别所述人脸图像上的关键点之后，所述方法还包括：
[0138]
根据所识别的关键点确定的所述人脸图像通过第一映射矩阵变换为标准三维人脸图像，其中，所述第一映射矩阵的变形参数包括偏转角度、位置偏移量和缩放系数中的一项或多项；
[0139]
将所述标准三维人脸图像通过第二映射矩阵变换为标准二维人脸图像，其中，所述人脸图像的脸型特征是基于所述标准二维人脸图像识别的。
[0140]
需要理解的是，由于实际的人脸是三维结构，因此，为了提高对于人脸图像的处理效果，本实施例中进一步结合2维(2d)域和三维(3d)域对人脸图像进行处理。
[0141]
在一些实施例中，所述根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像，包括：
[0142]
将基于所述标准二维人脸图像确定的图像通过所述第二映射矩阵的逆运算映射到标准三维人脸图像；
[0143]
将通过标准二位人脸图像映射得到的所述标准三维人脸图像通过所述第一映射矩阵的逆运算映射为真实域三维人脸图像；
[0144]
根据所述真实域三维人脸图像生成所述输出图像。
[0145]
本实施例中，以正脸的标准人脸图像模型计算的人脸关键点作为模板，该模板具体包括标准二维人脸图像和标准三维人脸图像，其中，标准三维人脸图像可参考图3a，标准二维人脸图像可以参考图3b。接下来计算人脸关键点检测，能够得到待处理人脸的三维人脸关键点结果图，本实施例中仅以68关键点三维人脸关键点结果图做示例性说明。
[0146]
如图10所示，首先识别二维的输入图像中的关键点，在识别出关键点之后，根据二维人脸图像和真实域中三维人脸图像中关键点之间的对应关系，将二维人脸图像转换为实际的三维人脸图像，也称作真实域三维图像，接下来，计算真实域三维图像中实际的三维人脸关键点相对于标准三维人脸图像的变形参数，变形参数包括偏转角度、位置偏移量和缩放系数中的一项或多项。
[0147]
具体的，设定旋转矩阵为r，三维旋转对应有三个旋转轴，分别为x,y,z轴，针对每一个旋转轴都有一个旋转矩阵rx、ry和rz。
[0148][0149][0150][0151]
其中α，β，γ分别是关于x、y和z轴的旋转角度，最终的第一映射矩阵r是上述这三个矩阵相乘之积。
[0152]
r＝r
xryrz
。
[0153]
本实施例中，选择关键点9(下巴)、关键点34(鼻尖)、关键点37(左眼角)、关键点46(右眼角)、关键点49(左嘴角)和关键点55(右嘴角)这6个关键点，将待处理的人脸关键点记作dst，将标准3d模板记作src，旋转矩阵为r，偏移量为t，缩放系数为s，有公式：
[0154]
dst＝(src
·
r+t)
·
s。
[0155]
将选择src和dst中选择出来的6个关键点信息坐标带入公式可以计算出r、t、s的值。
[0156]
根据计算得到的r、t、s，反向计算待处理人脸经过逆映射后得到的模拟正脸时的关键点位置dst_j。
[0157]
将模拟的正脸关键点投影到xy平面，取dst_j中每个点的x,y轴的坐标信息即可，
第二映射矩阵为二维投影后的矩阵为dst
p
＝dst_j
·
prj。
[0158]
依据得到的二维正脸信息，根据判断脸型特征，并选择相应的瘦脸参数进行图像处理。完成瘦脸后，能够得到瘦脸后的二维关键点(x,y轴信息)，将该二维关键点通过第二映射矩阵的逆运算映射为瘦脸后的3d关键点dst
′
。将得到的dst
′
利用第一映射矩阵的逆运算再映射回待处理人脸，获得真实域三维人脸图像，得到待处理人脸的瘦脸效果。
[0159]
本实施例中，真实域指的是与图像中用户实际姿态对应的状态，标准状态一般指的是图3a所示的正向状态。
[0160]
步骤104：根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。
[0161]
如图8所示，在一个实施例中，在确定该了图像调整方案之后，对检测到的人脸框去顶点、中间点以及对关键点进行delaunay三角剖分，并使用仿射变化，以实现按照生成的图像调整方案对输入图像进行调整，获得输出图像。
[0162]
接下来，对仿射变化的步骤做进一步说明。
[0163]
一个任意的仿射变换都能表示为乘以一个矩阵(线性变换)接着再加上一个向量(平移)。一般情况能够用仿射变换来完成的有旋转、平移、缩放等。可以说仿射变换代表的是两幅图像之间的关系。我们通常用2*3的矩阵来表示仿射变换。
[0164][0165][0166]
考虑到我们要使用矩阵a和b对二维向量做变换，所以也能表示为下列形式：
[0167][0168]
使用仿射变换的情况有以下两种：
[0169]
已知原始图像x和目标图像t，而且也知道x和t之间是有联系的，需要求出矩阵m；
[0170]
已知x和m，想要求t，只需要应用公式t＝mx即可。
[0171]
在本实施例中通过仿射变换实现瘦脸的技术方案中，：
[0172]
首先要求解仿射变换矩阵m。定义仿射变换矩阵为：
[0173][0174][0175]
假定原始三角形的三个顶点目标三角形
的三个顶点对于原始图像到中间图像的映射矩阵m，有将x1、x2、x3、i1、i2、i3带入上式，可以求解出矩阵m。
[0176]
之后求解出三角形中所有点的映射位置。假设原图中“三角形1”中有一点p，对应的目标图像中为p”。根据得到的仿射矩阵m，则原图中“三角形1”中的点p＝[p
x py]，映射到目标结果图中的点为p
″
＝m[p
x
,py,1]
t
。
[0177]
这样，基于该仿射变换，能够获得经过处理的输出图像。
[0178]
如图9和图10所示，本实施例中的技术方案可以理解为，实施时，首先针对输入图像进行人脸检测，然后对检测到的人脸图像进行人脸关键点检测。接下来，根据检测到的人脸关键点确定该人脸图像的脸部轮廓参数j1、下巴轮廓参数j2和脸部长度参数l，然后根据参数j1、j2和l识别该人脸图像的脸型特征，在识别了人脸图像的脸型特征之后，根据与该脸型特征对应的瘦脸阈值ft进行图像处理，获得输出图像。
[0179]
此外，对于视频图像来说，用户朝向镜头的角度可以发生变化，这样，正脸为方脸时侧脸看起来可能接近其他脸型，本技术实施例能够实时的在不同角度下进行脸型判断，实时调整瘦脸的参数，以达到多人实时角度的最佳瘦脸效果。
[0180]
请参考图11a和图11b，其中，左侧图像为原图，中间图像为按照相同比例对人脸图像进行瘦脸处理的效果图，右侧为按照本技术实施例的技术方案对人脸图像进行瘦脸处理的效果图。
[0181]
如图11a所示，对于图中三人，以将图中位于右一位置对象瘦脸至合适程度为标准，会对位于左一位置的对象重度过度瘦脸，位于中间位置的对象轻微过度瘦脸，即左一位置和中间位置两者瘦脸效果不自然，而根据本实施例的技术方案能够对各对象按照不同的比例进行瘦脸处理，整体效果较为自然。
[0182]
如图11b所示，对于图中两人，以将图中位于右一位置对象瘦脸至合适程度为标准，由于左一对象相对较旁，对其瘦脸程度略有不足，根据本实施例的技术方案能够对各对象按照不同的比例进行瘦脸处理，整体效果较为自然。
[0183]
本发明实施例还提供一种图像处理装置。
[0184]
如图12所示，在一个实施例中，该图像处理装置1200包括：
[0185]
检测模块1201，用于检测输入图像中的人脸图像；
[0186]
脸型识别模块1202，用于识别各所述人脸图像的脸型特征；
[0187]
调整模块1203，用于根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；
[0188]
输出模块1204，用于根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。
[0189]
在一些实施例中，所述脸型识别模块1202包括：
[0190]
关键点识别子模块，用于识别所述人脸图像的关键点，其中，所述关键点包括位于所述人脸图像的脸部边缘的第一关键点以及位于所述人脸图像鼻部区域的第二关键点；
[0191]
第一参数生成子模块，用于根据所述第一关键点的位置生成所述人脸图像的脸部轮廓参数和下巴轮廓参数；
[0192]
第二参数生成子模块，用于根据所述第一关键点和所述第二关键点生成所述人脸图像的脸部长度参数；
[0193]
脸型特征确定子模块，用于根据所述脸部轮廓参数、所述下巴轮廓参数和所述脸部长度参数确定所述人脸图像的脸型特征。
[0194]
在一些实施例中，所述脸部边缘包括位于人脸图像左脸侧的第一脸部侧边和第一下巴侧边，以及位于人脸图像右脸侧的第二脸部侧边和第二下巴侧边；
[0195]
所述脸部轮廓参数包括根据所述第一脸部侧边和所述第一下巴侧边确定的第一脸型夹角，以及根据所述第二脸部侧边和所述第二下巴侧边确定的第二脸型夹角；
[0196]
所述下巴轮廓参数包括根据所述第一下巴侧边和所述第二下巴侧边确定的下巴夹角；
[0197]
所述第二关键点包括第一目标关键点，所述脸部长度参数包括所述第一目标关键点与下巴侧边交点之间的长度，所述下巴侧边交点为所述第一下巴侧边和所述第二下巴侧边的交点。
[0198]
在一些实施例中，所述第二关键点包括第二目标关键点；
[0199]
所述调整模块1203包括：
[0200]
移动阈值确定子模块，用于确定所述第一关键点与所述脸型特征对应的移动阈值；
[0201]
目标位置确定子模块，用于根据所述第一关键点和所述第二目标关键点的相对位置确定所述第一关键点移动后的目标位置，其中，所述目标位置位于所述第一关键点和所述第二目标关键点之间，所述第一关键点的位置和所述目标位置之间的距离小于或等于所述移动阈值；
[0202]
调整方案生成子模块，用于生成包括所述目标位置的调整方案。
[0203]
在一些实施例中，还包括：
[0204]
第一映射模块，用于根据所识别的关键点确定的所述人脸图像通过第一映射矩阵变换为标准三维人脸图像，其中，所述第一映射矩阵的变形参数包括偏转角度、位置偏移量和缩放系数中的一项或多项；
[0205]
第二映射模块，用于将所述标准三维人脸图像通过第二映射矩阵变换为标准二维人脸图像，其中，所述人脸图像的脸型特征是基于所述标准二维人脸图像识别的。
[0206]
在一些实施例中，还包括：
[0207]
第一逆映射模块，用于将基于所述标准二维人脸图像确定的图像通过所述第二映射矩阵的逆运算映射到标准三维人脸图像；
[0208]
第二逆映射模块，用于将通过标准二位人脸图像映射得到的所述标准三维人脸图像通过所述第一映射矩阵的逆运算映射为真实域三维人脸图像；
[0209]
输出图像生成模块，用于根据所述真实域三维人脸图像生成所述输出图像。
[0210]
在一些实施例中，检测模块1201包括：
[0211]
检测子模块，用于周期性检测视频图像中的人脸图像；
[0212]
判定子模块，用于在检测到人脸图像的情况下，判定所检测到的人脸图像的完整性；
[0213]
所述脸型识别模块1202，具体用于在所检测到的人脸图像的完整性大于预设完整
性比例阈值的情况下，别各所述人脸图像的脸型特征；
[0214]
所述输出模块1204，还用于在所检测到的人脸图像的完整性不大于预设完整性比例阈值的情况下，将所述人脸图像作为输出图像。
[0215]
在一些实施例中，所述检测子模块包括：
[0216]
抽取单元，用于按照根据设定的帧数周期抽取视频图像帧；
[0217]
检测单元，用于检测所抽取到的视频图像帧中的人脸图像；
[0218]
第一执行单元，用于在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，按照相同的图像调整方案调整所述人脸图像；
[0219]
第二实行单元，用于在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应不同对象的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
[0220]
在一些实施例中，还包括：
[0221]
偏转角度差检测模块，用于检测所述所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像的偏转角度差是否大于预设偏转角度阈值；
[0222]
第一执行模块，用于在所述偏转角度差不大于预设偏转角度阈值的情况下，执行所述按照相同的图像调整方案调整所述人脸图像的步骤；
[0223]
第二执行模块，用于在所述偏转角度差大于预设偏转角度阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。
[0224]
本实施例的图像处理装置1200能够实现上述图像处理方法实施例的各个步骤，并能实现基本相同的技术效果，此处不再赘述。
[0225]
本发明实施例还提供一种电子设备。请参见图13，电子设备可以包括处理器1301、存储器1302及存储在存储器1302上并可在处理器1301上运行的程序13021。
[0226]
程序13021被处理器1301执行时可实现上述方法实施例中的任意步骤及达到相同的有益效果，此处不再赘述。
[0227]
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。
[0228]
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现上述方法实施例中的任意步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0229]
所述的存储介质，如只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0230]
需要说明的是，应理解以上各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件
形式的指令完成。
[0231]
例如，各个模块、单元、子单元或子模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
[0232]
以上所述是本发明实施例的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种图像处理方法，其特征在于，包括以下步骤：检测输入图像中的人脸图像；识别各所述人脸图像的脸型特征；根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。2.如权利要求1所述的方法，其特征在于，所述识别各所述人脸图像的脸型特征，包括：识别所述人脸图像的关键点，其中，所述关键点包括位于所述人脸图像的脸部边缘的第一关键点以及位于所述人脸图像鼻部区域的第二关键点；根据所述第一关键点的位置生成所述人脸图像的脸部轮廓参数和下巴轮廓参数；根据所述第一关键点和所述第二关键点生成所述人脸图像的脸部长度参数；根据所述脸部轮廓参数、所述下巴轮廓参数和所述脸部长度参数确定所述人脸图像的脸型特征。3.如权利要求2所述的方法，其特征在于，所述脸部边缘包括位于人脸图像左脸侧的第一脸部侧边和第一下巴侧边，以及位于人脸图像右脸侧的第二脸部侧边和第二下巴侧边；所述脸部轮廓参数包括根据所述第一脸部侧边和所述第一下巴侧边确定的第一脸型夹角，以及根据所述第二脸部侧边和所述第二下巴侧边确定的第二脸型夹角；所述下巴轮廓参数包括根据所述第一下巴侧边和所述第二下巴侧边确定的下巴夹角；所述第二关键点包括第一目标关键点，所述脸部长度参数包括所述第一目标关键点与下巴侧边交点之间的长度，所述下巴侧边交点为所述第一下巴侧边和所述第二下巴侧边的交点。4.如权利要求3所述的方法，其特征在于，所述第二关键点包括第二目标关键点；所述根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，包括：确定所述第一关键点与所述脸型特征对应的移动阈值；根据所述第一关键点和所述第二目标关键点的相对位置确定所述第一关键点移动后的目标位置，其中，所述目标位置位于所述第一关键点和所述第二目标关键点之间，所述第一关键点的位置和所述目标位置之间的距离小于或等于所述移动阈值；生成包括所述目标位置的调整方案。5.如权利要求2至4中任一项所述的方法，其特征在于，所述识别所述人脸图像上的关键点的方法还包括：根据所识别的关键点确定的所述人脸图像通过第一映射矩阵变换为标准三维人脸图像，其中，所述第一映射矩阵的变形参数包括偏转角度、位置偏移量和缩放系数中的一项或多项；将所述标准三维人脸图像通过第二映射矩阵变换为标准二维人脸图像，其中，所述人脸图像的脸型特征是基于所述标准二维人脸图像识别的。6.如权利要求5所述的方法，其特征在于，所述根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像，包括：将基于所述标准二维人脸图像确定的图像通过所述第二映射矩阵的逆运算映射到标准三维人脸图像；
将通过标准二位人脸图像映射得到的所述标准三维人脸图像通过所述第一映射矩阵的逆运算映射为真实域三维人脸图像；根据所述真实域三维人脸图像生成所述输出图像。7.如权利要求1所述的方法，其特征在于，所述检测输入图像中的人脸图像，包括：周期性检测视频图像中的人脸图像；在检测到人脸图像的情况下，判定所检测到的人脸图像的完整性；在所检测到的人脸图像的完整性大于预设完整性比例阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤；在所检测到的人脸图像的完整性不大于预设完整性比例阈值的情况下，将所述人脸图像作为输出图像。8.如权利要求7所述的方法，其特征在于，所述周期性检测视频图像中的人脸图像，包括：按照根据设定的帧数周期抽取视频图像帧；检测所抽取到的视频图像帧中的人脸图像；在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，按照相同的图像调整方案调整所述人脸图像；在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应不同对象的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。9.如权利要求8所述的方法，其特征在于，所述在所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像对应同一对象的情况下，所述方法还包括：检测所述所抽取的视频图像帧的人脸图像与前一被抽取的视频图像帧的人脸图像的偏转角度差是否大于预设偏转角度阈值；在所述偏转角度差不大于预设偏转角度阈值的情况下，执行所述按照相同的图像调整方案调整所述人脸图像的步骤；在所述偏转角度差大于预设偏转角度阈值的情况下，执行所述识别各所述人脸图像的脸型特征的步骤。10.一种图像处理装置，其特征在于，包括：检测模块，用于检测输入图像中的人脸图像；脸型识别模块，用于识别各所述人脸图像的脸型特征；调整模块，用于根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；输出模块，用于根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。11.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至9中任一项所述的图像处理方法中的步骤。12.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法中的步骤。

技术总结
本发明提供一种图像处理方法、装置、电子设备和可读存储介质。图像处理方法，包括：检测输入图像中的人脸图像；识别各所述人脸图像的脸型特征；根据各所述人脸图像对应的脸型特征生成与所述人脸图像对应的图像调整方案，其中，不同脸型特征对应的人脸图像的图像调整方案不同；根据所述图像调整方案调整所述输入图像中的人脸图像获得输出图像。本发明实施例通过检测用户的脸型，并根据不同的脸型采用不同的图像调整方案对各人脸图像进行处理，从而能够有针对性的对不同脸型的人脸图像进行处理，有助于对于不同用户人脸图像处理的灵活性和协调性，提高人脸图像的处理效果。提高人脸图像的处理效果。提高人脸图像的处理效果。


技术研发人员：朱丹 高艳
受保护的技术使用者：京东方科技集团股份有限公司
技术研发日：2023.03.13
技术公布日：2023/8/9