图像处理方法、装置、存储介质及电子设备与流程

1.本技术实施例涉及人工智能技术领域，尤其涉及图像处理方法、装置、存储介质及电子设备。


背景技术：

2.相关技术可以通过对原始人脸图像进行分析，并且基于分析结果在其它环境条件下输出对应的人脸图像，从而实现图像重渲染。但是伴随计算机技术的快速发展，对于人脸图像的重渲染精度提出了更高的要求，而相关技术由于难以实现原始人脸图像中光照信息的解耦，难以支持高精度的人脸图像重渲染，从而导致了人脸图像重渲染的粗糙或者失真。


技术实现要素：

3.为了解决上述至少一个技术问题，本技术实施例提供图像处理方法、装置、存储介质及电子设备。
4.一方面，本技术实施例提供了一种图像处理方法，所述方法包括：
5.获取第一人脸图像；
6.基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；
7.基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；
8.基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。
9.另一方面，本技术实施例提供一种图像处理装置，所述装置包括：
10.图像获取模块，用于获取第一人脸图像；
11.第一重建模块，用于基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；
12.第二重建模块，用于基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；
13.本征分解模块，用于基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。
14.另一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种图像处理方法。
15.另一方面，本技术实施例提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种图像处理方法。
16.另一方面，本技术实施例提供了一种计算机程序产品，包括计算机程序或指令，该
计算机程序或指令被处理器执行时实现上述的一种图像处理方法。
17.本技术提供的图像处理方法，通过对人脸图像进行人脸重建以及全图重建，得到包含丰富信息的深度信息图，并且基于该深度信息图进行多阶段本征分解，得到人脸纹理参数和环境光照参数，从而可以将人脸纹理信息和光照信息解耦，达到信息剥离的效果，基于这种人脸纹理信息可以进行更准确的人脸图像重渲染。
附图说明
18.为了更清楚地说明本技术实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
19.图1是本说明书实施例提供的图像处理方法的一种可行的实施框架示意图；
20.图2是本说明书实施例提供的一种图像处理方法的流程示意图；
21.图3是本技术实施例提供的参数化人脸重建示意图；
22.图4是本技术实施例提供的全图重建示意图；
23.图5是本技术实施例提供的一阶段本征分解示意图；
24.图6是本技术实施例提供的二阶段本征分解示意图；
25.图7是本技术实施例提供的对图片进行处理的示意图；
26.图8是本技术实施例提供的生成器的图像渲染效果示意图；
27.图9是本技术实施例提供的一种图像处理方法的流程示意图；
28.图10是本技术实施例提供的图像处理装置的框图；
29.图11是本技术实施例提供的一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
31.需要说明的是，本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.为了使本技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术实施例，并不用于限定本技术实施例。
33.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。为了便于理解本技术实施例上述的技术方案及其产生的技术效果，本技术实施例首先对于相关专业名词进行解释：
34.人工智能(artificial intelligence,ai)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
35.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
36.卷积神经网络:convolutional neural networks,cnn。是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为平移不变人工神经网络。
37.智能交通系统(intelligent traffic system，its)又称智能运输系统(intelligent transportation system)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者；
38.智能车路协同系统(intelligent vehicle infrastructure cooperative systems，ivics)，简称车路协同系统，是智能交通系统(its)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
39.rgb：rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
40.uv:纹理坐标通常具有u和v两个坐标轴，因此称之为uv坐标。u代表横向坐标上的分布、v代表纵向坐标上的分布。
41.3ddfa：3d dense face alignment，三维密集面对齐。一种端到端的单视图人脸3d重建网络，输出的是人脸模型的参数。
42.arap：as rigid as possible，尽可能刚性对齐。在保持局部形状不变的前提下，将参数化人脸向人脸图像中的2d关键点拉伸的算法。
43.pbr：physical based rendering，基于物理的渲染方式。
44.3dmm：3d morphable model，三维形态模型，指一种参数化人脸模型。
45.cook-torrance：cook-torrance光照模型将物体粗糙表面看作由很多微平面组成，每一个微平面都可以看成一个理想的镜面反射体，物体表面粗糙程度由微平面斜率的变化来表示。越粗糙的表面由斜率变化越大，反之越小。
46.brdf：bidirectional reflectance distribution function，双向反射分布函数，是用来定义给定入射方向上的辐射照度如何影响给定出射方向上的辐射率。
47.球谐光照：球谐光照实际上是一种对光照的简化，对于空间上的一点，受到的光照在各个方向上是不同的，也即各向异性，所以空间上一点如果要完全还原光照情况，那就需要记录周围球面上所有方向的光照。对于一个大的场景来说，每个位置点的环境光都有可能不同，如果把每个点的环境光贴图储存起来，并且每次获取光照都从相应的贴图里面采样，可想而知这样的方法是昂贵的。利用球谐函数就可以很好地解决这个问题，球谐函数的主要作用就是用简单的系数表示复杂的球面函数。
48.增强现实：augmented reality，ar。ar技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
49.相关技术中主要通过两种方案进行人脸图像的重渲染。一种是基于rgb纹理图的人像重渲染，另一种是基于物理本征分量的人像重渲染。基于纹理图的人像重渲染算法将单张或者多张彩色图基于三维人体模型进行对齐融合，利用数值优化的方法进行融合损失能量函数的最小化，得到单个人像的纹理。基于物理本征分量的人像重渲染则是先用一些先验约束或者光场数据估计得到人像的物理本征分量，再利用光线关联或者其他真实感渲染模块得到人像的重渲染照片。
50.比如，相关技术可以首先通过关键点检测网络得到人脸的二维的关键点，再根据人脸的几何模型得到初始的纹理图，通过关键点和初始纹理图得到运动场，从而达到精修纹理的目的。但是，由于没有进行物理本征分解，纹理中带有光照，无法进行光照编辑的任务，关键点检测网络带来的误差不可避免，这就降低了重渲染的精度、
51.再比如，相关技术还可以首先通过三维重建模块重建出人脸三维的模型，再通过图像的先验知识无监督进行人脸的本征分解任务，从而可以达到基于物理本征分量的重渲染。但是这种方案并不能很好地解耦图片中的环境光照，人脸材质的属性比较单一，无法表征皮肤的粗糙度，所以重渲染的真实感欠缺。
52.并且，上述两种方案都仅仅局限于人脸区域，无法做到基于全图的本征分解，不能很好地解耦光照信息，所以无法做到基于全图的人像重渲染，从应用角度上不具有完整性，也难以保证重渲染的精度。
53.为了更好地解耦图像中的光照，剥离出图像中的纹理信息，并且提升纹理信息的信息丰富程度，以便于基于该纹理信息支持更精确的人脸图像重渲染，本技术实施例提供图像处理方法、装置、存储介质及电子设备。通过对人脸图像进行人脸重建以及全图重建，得到包含丰富信息的深度信息图，并且基于该深度信息图进行多阶段本征分解，得到人脸纹理参数和环境光照参数，从而可以将人脸纹理信息和光照信息解耦，达到信息剥离的效
果，基于这种人脸纹理信息可以进行更准确的人脸图像重渲染。
54.本技术实施例可能涉及云技术。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
55.本技术实施例所提供的方法还可以涉及区块链，即本技术实施例提供的方法可以基于区块链实现，或者本技术实施例提供的方法中涉及到的数据可以基于区块链存储，或本技术实施例中提供的方法的执行主体可以位于区块链中。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
56.区块链底层平台可以包括用户管理、基础服务、智能合约以及运营管理等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致地传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营管理模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、管理网络情况、管理节点设备健康状态等。
57.平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
58.请参阅图1，图1是本说明书实施例提供的图像处理方法的一种可行的实施框架示意图，如图1所示，该实施框架可以至少包括终端设备01、数据处理服务器02。其中，终端设备01可以为位于互联网中的设备，可以为用户提供各种可选的基于互联网的服务，该服务由本技术实施例中的客户端提供。终端设备01包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。本发明实施例的客户端可以提供各种场景下的应用，包括但不限于云技术、人工智能、智慧交通、辅助驾驶、视频媒体、智能社区、即时通信等。
59.数据处理服务器02通过与终端设备01交互为用户提供服务。具体来说，终端设备
01可以向数据处理服务器02发布图像处理请求，响应于该图像处理请求，数据处理服务器02可以获取人脸图像。基于所述人脸图像进行人脸重建，得到人脸模型参数。基于所述人脸模型参数进行针对所述人脸图像的全图重建，得到所述人脸图像对应的深度信息图。基于所述深度信息图对所述人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。在剥离了环境光照参数的情况下，数据处理服务器02还可以基于上述人脸纹理参数对人脸图像进行重渲染，得到在各种光照条件下的人脸图像，由于人脸纹理参数包含丰富的信息，并且不包含光照信息，从而使得基于该人脸纹理参数在各种光照条件下渲染出的人脸图像都具备较高精度。
60.以下介绍本技术实施例的一种图像处理方法，本公开所涉及的信息以及涉及到的人脸图像均为经用户授权或者经过各方充分授权的信息。
61.图2示出了本技术实施例提供的一种图像处理方法的流程示意图，本技术实施例提供了如实施例或流程图上述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统、终端设备或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)，上述方法可以包括：
62.s101.获取第一人脸图像。
63.本技术实施例中第一人脸图像可以为对人脸进行拍摄所得到的人脸图像，从包含人脸的视频中截取出的视频帧图像等，本技术实施例对此不做限定。
64.s102.基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数。
65.本技术实施例中可以将人脸重建得到的人脸模型作为由形状和表情系数控制的拓扑一致的网格模型，由表情参数和形状参数控制。所述人脸模型参数包括形状参数、表情参数和初始深度图。可以对所述第一人脸图像进行端到端的单视图人脸三维重建，得到所述形状信息和所述表情信息；基于所述形状信息和所述表情信息，得到所述初始深度图。
66.具体来说，上述端到端的单视图人脸三维重建可以基于3ddfa人脸重建网络实施，请参考图3，对第一人脸图像进行人脸重建后，可以得到exp、id、r/t三部分信息，这三部分信息分别表示表情信息、形状信息、旋转偏移信息，通过这三部分信息可以最终得到参数化人脸纹理模型(albedo)和初始深度图(depth)，参数化人脸纹理模型(albedo)和初始深度图(depth)即为步骤s102的重建结果，该重建结果可以通过f＝m+a
id
α
id
+a
exp
α
exp
表征，其中f表示重建结果，a
id
和a
exp
均表示权重系数，
∝
id
和
∝
exp
分别表示形状参数和表情参数，m表示平均脸图像。
67.当然，在其它实施例中还可以基于其它网络进行参数化人脸重建，比如，可以采用其他类似的网络达到相同的效果。
68.s103.基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图。
69.在s103中，可以对重建后得到的人脸模型参数进行基于全图的精修。具体来说，可以对所述第一人脸图像进行关键点提取处理，得到关键点信息；基于所述初始深度图和所述关键点信息进行全图人脸重建，得到所述深度信息图。
70.本技术实施例并不限定全图人脸重建所使用的方法，比如，可以通过arap算法将
人脸模型与上述关键点信息进行对齐，在利用泊松扩散方程填补非人脸区域的深度信息，得到所述深度信息图。arap算法核心公式为argmin
{r,p
′
}
((∑i∑
j∈n(i)wij
||(p
′
i-p
′j)-ri(p
i-pj)||)+∑
k∈k
||(p
k-p
′k)||)，i表示第i个点；k表示关键点索引集合；n(i)表示第i个点的一级拓扑邻域点的索引集合；p表示形变前的顶点坐标；p’表示形变后的顶点坐标；ri表示顶点i对应的旋转矩阵；w
ij
表示权重，设置为n(i)集合中元素个数的倒数。请参考图4，基于初始深度图(depth)经过arap算法，即可得到深度信息图(full depth)。其中，内部虚框部分表征对初始深度图执行arap操作的图像转化过程，arap为图4中warp(弯曲变形)的具体操作方式。
71.s104.基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。
72.本技术实施例可以对于第一人脸图像进行两阶段的本征分解，第一个阶段的本征分解可以将纹理信息和光照信息进行解耦，从而剥离光照信息；在第二个阶段可以进一步获取更为丰富的纹理信息。本技术实施例中本征分解可以被理解为分解出图像的光照信息、形状信息和纹理信息，其中纹理信息又包括粗糙度信息、高光信息和漫反射信息。
73.在第一个阶段的本征分解中，所述人脸纹理参数包括第一漫反射参数和第一高光参数，所述环境光照参数包括第一光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，包括：基于所述深度信息图和所述第一人脸图像，利用参数化人脸纹理模型和球谐光照模型，通过可微分渲染器解析得到所述第一漫反射参数、所述第一高光参数和所述第一光照参数。
74.为避免无监督情况下的本征分解易出现歧义问题，一阶段本征分解利用参数化人脸纹理模型(albedomm:反照率变形模型)和球谐光照模型，粗略重建人脸纹理。参数化人脸纹理模型将人脸纹理模型分为漫反射和高光部分，每一部分用拓扑一致的基底的线性组合表示：其中，vec(a)∈r
3n
表示人脸的漫反射模型,n表示顶点个数；vec(b)∈r
3n
表示人脸的高光模型；分别表示人脸的平均漫反射和平均高光；pa,pb∈r
m*3n
分别表示人脸的漫反射基底和高光基底；α,β分别表示人脸的第一漫反射参数和第一高光参数。为了求解人脸的纹理参数，给定人脸的几何形状(full depth)，利用可微分渲染器通过梯度下降算法求解人脸纹理和球谐光参数，其中人脸纹理包括第一漫反射参数和第一光照参数，球谐光参数包括上述第一光照参数。
75.请参考图5，基于第一人脸图像和深度信息图，可以得到diffuse(第一漫反射参数)、specular(高光参数)，和第一光照参数，这些信息可以被用于进行几何重建，得到粗略渲染结果。
76.在第二阶段的本征分解中，所述人脸纹理参数还包括第二漫反射参数、第二高光参数和粗糙度参数，所述环境光照参数还包括第二光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，还包括：获取粗糙度先验信息和光照假设信息；基于所述第一漫反射参数、所述第一高光参数、所述粗糙度先验信息和所述光照假设信息，利用可微分光线关联得到所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。
77.为解决第一阶段细节丢失以及真实感不足的问题，第二阶段本征分解利用可微分
光线关联精细化重建符合物理的人脸纹理和环境光照，从而得到所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。通过基于物理的可微分光线关联技术，结合漫反射和高光的初值约束、粗糙度先验和光照假设，重建出所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。
78.第二阶段本征分解依赖的核心公式为第二阶段本征分解依赖的核心公式为第二阶段本征分解依赖的核心公式为其中，render()表示可微分渲染器函数；rst()表示栅格化函数；a∈rh×w×3,b∈rh×w×3,c∈rh×w,d∈rh×w分别表示人脸的diffuse贴图、specular贴图、roughness(粗糙度)贴图和深度信息图；m∈rh×w表示人脸的掩膜；i∈rh×w×3表示第一人脸图像；l∈r9×3表示球谐光照参数，表示l的颜色平均。第二阶段本征分解所依赖的粗糙度先验信息和光照假设信息分别为人脸区域的粗糙度尽可能趋近于1，环境光贴图的分布尽可能满足球谐光假设。请参考图6，可以看出，在第二阶段的本征分解中，利用可微分光线关联得到所述第二漫反射参数(diffuse)、所述第二高光参数(specular)、所述粗糙度参数(roughness)和所述第二光照参数(辐照度贴图)。
79.请参考图7，其示出本技术实施例对图片进行处理的示意图，图片处理最终的目的是实现无监督本征分解，具体来说，可以首先估计人像和全图的深度；通过深度信息和人像的纹理先验，粗略估计人像的本征分量；最后利用可微分光线关联，对全图的本征分量进行精细估计。其中，对输入图片(第一人脸图像)可以进行基于全图的重建，这相较于相关技术中仅仅进行人脸重建而言可以获取更丰富的信息，在基于全图进行重建的基础上进行多阶段本征分解，可以得到人脸纹理参数和环境光照参数，也就是剥离人脸纹理信息和光照信息。其中人脸纹理信息包括形状和纹理两种信息，在前文得到的深度信息图中其实已经剥离出了形状信息。
80.在一个实施例中，可以基于前文的方法构建样本三元组，具体来说，样本三元组可以通过下述方法构建得到：
81.s201.获取至少一个第二人脸图像以及每个所述第二人脸图像的人脸纹理参数。
82.前文已经阐述了第一人脸图像的人脸纹理参数的获取方法，第二人脸图像的人脸纹理参数与第一人脸图像的人脸纹理参数获取方法相同，在此不做赘述。第二人脸图像的获取方法也与第一人脸图像的获取方法相同，在此不做赘述。
83.s202.获取至少一个预设光照参数。
84.本技术实施例旨在根据给定的预设光照参数和已知的人脸纹理参数可以渲染出在该给定的预设光照参数下人脸纹理参数对应的人脸图像，而人脸纹理参数已经剥离的原始图像中光照的影响，从而可以使得在给定的预设光照参数下基于该人脸纹理参数生成的人脸图像更为准确。预设光照参数可以被理解为给定的光照参数，本技术实施例并不限定预设光照参数的数量，也就是说，可以给定多个预设光照参数，得到在各个给定的预设光照参数下的人脸图像。
85.s203.基于第三人脸图像的人脸纹理参数以及第三光照参数，渲染第四人脸图像，所述第三人脸图像为所述第一人脸图像或所述至少一个第二人脸图像中的任一人脸图像，所述第三光照参数为所述至少一个预设光照参数中的任一光照参数。
86.在确定人脸纹理参数(第三人脸图像的人脸纹理参数)以及确定预设光照参数(第三光照参数)之后，就可以进行渲染，以得到第三光照参数下第三人脸图像的人脸纹理参数对应的图像(第四人脸图像)。本技术实施例并不限定渲染方法，比如，可以采用unreal engine进行渲染。unreal engine是世界知名授权最广的游戏引擎之一，具备强大的图像渲染能力，当然，也可以使用其它游戏引擎进行渲染。
87.s204.根据所述第三人脸图像、所述第三光照参数和所述第四人脸图像，生成样本三元组。
88.该样本三元组包括三个元素，第一个元素可以被表达为图像1，第二个元素为光照参数a，第三个元素可以被表达为图像2，图像2是图像1在光照参数a下的渲染结果。
89.在一个实施例中，进一步还可以包括下述操作：
90.s301.获取样本集，所述样本集中包括多个所述样本三元组。
91.s301中样本集中的各样本三元组均可以基于步骤s201-204得到，在此不做赘述。
92.s302.基于所述样本集训练生成式对抗网络中的生成器和判别器。其中，所述生成器用于根据输入的人脸图像和任意光照参数，输出在所述任意光照参数条件下的所述人脸图像。
93.生成式对抗网络(gan,generative adversarial networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成器(generative model)和判别器(discriminative model)的互相博弈学习产生相当好的输出。原始gan理论中，并不要求生成器和判别器都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作生成器和判别器。
94.根据样本集训练gan，可以使得生成器产生在第二元素条件下第一元素对应的第三元素，并且判别器难以判别出第三元素是由生成器产生的，还是真实存在的，也就是说生成器可以产生足以以假乱真的图像渲染效果。生成器渲染出来的图像不仅在真实感上超过传统的游戏渲染引擎，而且在性能上超过各种主流引擎，可在移动端实现实时的渲染目标。
95.请参考图8，其示出生成器的图像渲染效果，以ffhq高清室外人像数据集中的人脸图像作为输入图像，可以得到各种光照条件下的图像渲染结果，显然，这种渲染结果自然真实。其中，ffhq是一个高质量的开源人脸数据集。
96.请参考图9，其示出本技术实施例的一个流程示意图。对输入的人脸图像可以依次进行参数化人脸重建和全图深度重建，并基于重建结果进行多阶段本征分解，本征分解又包括两个阶段，第一阶段是参数化的本征分解，第二阶段是精细化的本征分解。基于本征分解的结果可以渲染出指定光照下的图像，从而实现图像的重渲染。渲染可以使用前文所述的生成器，该生成器属于一种神经网络。
97.本技术实施例中可以将第一人脸图像这一真实图片中的人像和场景进行多阶段本征分解，得到包括漫反射信息、粗糙度信息和高光信息的本征分解结果，这一本征分解结果可以通过计算机图形学的方法进行重新渲染，对于虚拟现实、增强现实应用，泛娱乐功能组件以及人脸识别技术都至关重要。这一本征分解不依赖光场数据，以单张图片作为输入，可以首先通过3dmm重建出图片中的3d人脸；其次构建全图人脸重建出人脸、人头、以及背景的3d形状；然后利用可微分光线关联和pbr渲染技术，重建人像和背景的漫反射信息、高光反射信息、粗糙度信息以及环境光照，最终可以基于本征分解的结果经由生成器渲染出真
实感图片，达到人像重渲染效果。本技术不仅提出了一种完整的全图人像3d重建算法可以精细化重建人像，还可以提出一种无监督的本征分解方法实现人像的高保真本征分解，并且还提出了一种高质量、真实感的神经网络渲染模块(生成器)用于模拟真实光照下的人像的生成。
98.本技术实施例中的纹理重建是基于可微分光线关联技术的，从纹理的保真度和真实感上远超基于特征点运动场的算法，且解耦了纹理信息和光照信息，可以保证光照的可编辑性。本技术实施例中对人像材质的brdf建模是基于cook-torrance的，可表示人脸肤质的粗糙度以及次表面反射带来的人脸红润度；对于环境光的建模也是基于环境光贴图的方式，而不是球谐光，可以更好的估计图片中的环境光照。并且实现了全图人像本征分解和重渲染的端到端算法，从应用角度上讲，可以直接利用本发明实现虚拟背景等完整的ar应用。
99.本技术实施例可以主要用于人像光线编辑和纹理编辑等ar相关产品的应用，例如在短视频的应用中，一些3d人脸贴图挂件的特效，常常需要对视频中的人脸进行纹理重建和本征分解，从而在此基础上完成人脸材质的编辑，才能实现上述应用本技术实施例提供了一种完整的全图人脸本征分解和重渲染的算法，该算法不依赖光场数据，实现低成本、高保真的全图本征分解任务。由于算法输出的是人像的漫反射率、高光反射率、粗糙度和环境光贴图，相关技术中的渲染引擎比如maya，unity都可以利用本发明的输出结果来实现人像的重渲染。一方面，传统的本征分解的应用都是基于室内场景的，本技术实施例脱离光场数据的约束，从任意的场景的人像图片出发，对人像进行多阶段本征分解。另一方面，本技术实施例可以满足一些实时的ar应用，在移动端比较精准地完成人脸的本征分解与重渲染，因为本技术实施例的算法是轻量级的。
100.由于3d重建任务比较依赖高成本的3d扫描仪和严格的采集环境，本技术实施例脱离3d采集的过程，从rgb图像出发，提出一种完整的全图人像3d重建算法，用于精细化重建人像。为了实现符合物理且真实感的本征分解，本技术实施例提出一种无监督的多阶段本征分解模块用于人像的高保真本征分解，从粗略到精细渐进的重建人像纹理。本技术实施例还提出一种高质量、真实感的神经网络渲染模块用于模拟真实光照下的人像的生成，从性能和效果上超越主流的游戏渲染引擎，可在移动端实现实时渲染。
101.请参考图10，其示出本实施例中一种图像处理装置的框图，上述装置包括：
102.图像获取模块101，用于获取第一人脸图像；
103.第一重建模块102，用于基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；
104.第二重建模块103，用于基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；
105.本征分解模块104，用于基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。
106.在一个实施例中，所述人脸模型参数包括形状参数、表情参数和初始深度图，所述第一重建模块102，用于执行下述操作：对所述第一人脸图像进行端到端的单视图人脸三维重建，得到所述形状信息和所述表情信息；基于所述形状信息和所述表情信息，得到所述初始深度图；
107.所述第二重建模块103，用于执行下述操作：对所述第一人脸图像进行关键点提取
处理，得到关键点信息；基于所述初始深度图和所述关键点信息进行全图人脸重建，得到所述深度信息图。
108.在一个实施例中，所述人脸纹理参数包括第一漫反射参数和第一高光参数，所述环境光照参数包括第一光照参数，所述本征分解模块104，用于执行下述操作：
109.基于所述深度信息图和所述第一人脸图像，利用参数化人脸纹理模型和球谐光照模型，通过可微分渲染器解析得到所述第一漫反射参数、所述第一高光参数和所述第一光照参数。
110.在一个实施例中，所述人脸纹理参数还包括第二漫反射参数、第二高光参数和粗糙度参数，所述环境光照参数还包括第二光照参数，所述本征分解模块104，还用于执行下述操作：
111.获取粗糙度先验信息和光照假设信息；
112.基于所述第一漫反射参数、所述第一高光参数、所述粗糙度先验信息和所述光照假设信息，利用可微分光线关联得到所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。
113.在一个实施例中，所述装置还包括三元组生成模块，用于执行下述操作；
114.获取至少一个第二人脸图像以及每个所述第二人脸图像的人脸纹理参数；
115.获取至少一个预设光照参数；
116.基于第三人脸图像的人脸纹理参数以及第三光照参数，渲染第四人脸图像，所述第三人脸图像为所述第一人脸图像或所述至少一个第二人脸图像中的任一人脸图像，所述第三光照参数为所述至少一个预设光照参数中的任一光照参数；
117.根据所述第三人脸图像、所述第三光照参数和所述第四人脸图像，生成样本三元组。
118.在一个实施例中，所述装置还包括训练模块，用于执行下述操作：
119.获取样本集，所述样本集中包括多个所述样本三元组；
120.基于所述样本集训练生成式对抗网络中的生成器和判别器；
121.其中，所述生成器用于根据输入的人脸图像和任意光照参数，输出在所述任意光照参数条件下的所述人脸图像。
122.本技术装置实施例与方法实施例基于相同发明构思，在此不再赘述。
123.本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一种图像处理方法。
124.本技术实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质可以存储有多条指令。上述指令可以适于由处理器加载并执行本技术实施例上述的一种图像处理方法。
125.在一个实施例中，上述一种图像处理方法，包括：
126.获取第一人脸图像；
127.基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；
128.基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人
脸图像对应的深度信息图；
129.基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。
130.在一个实施例中，所述基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数，包括：对所述第一人脸图像进行端到端的单视图人脸三维重建，得到所述形状信息和所述表情信息；基于所述形状信息和所述表情信息，得到所述初始深度图；
131.所述基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图，包括：对所述第一人脸图像进行关键点提取处理，得到关键点信息；基于所述初始深度图和所述关键点信息进行全图人脸重建，得到所述深度信息图。
132.在一个实施例中，所述人脸纹理参数包括第一漫反射参数和第一高光参数，所述环境光照参数包括第一光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，包括：
133.基于所述深度信息图和所述第一人脸图像，利用参数化人脸纹理模型和球谐光照模型，通过可微分渲染器解析得到所述第一漫反射参数、所述第一高光参数和所述第一光照参数。
134.在一个实施例中，所述人脸纹理参数还包括第二漫反射参数、第二高光参数和粗糙度参数，所述环境光照参数还包括第二光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，还包括：
135.获取粗糙度先验信息和光照假设信息；
136.基于所述第一漫反射参数、所述第一高光参数、所述粗糙度先验信息和所述光照假设信息，利用可微分光线关联得到所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。
137.在一个实施例中，所述方法还包括；
138.获取至少一个第二人脸图像以及每个所述第二人脸图像的人脸纹理参数；
139.获取至少一个预设光照参数；
140.基于第三人脸图像的人脸纹理参数以及第三光照参数，渲染第四人脸图像，所述第三人脸图像为所述第一人脸图像或所述至少一个第二人脸图像中的任一人脸图像，所述第三光照参数为所述至少一个预设光照参数中的任一光照参数；
141.根据所述第三人脸图像、所述第三光照参数和所述第四人脸图像，生成样本三元组。
142.在一个实施例中，所述方法还包括：
143.获取样本集，所述样本集中包括多个所述样本三元组；
144.基于所述样本集训练生成式对抗网络中的生成器和判别器；
145.其中，所述生成器用于根据输入的人脸图像和任意光照参数，输出在所述任意光照参数条件下的所述人脸图像。
146.进一步地，图11示出了一种用于实现本技术实施例所提供的方法的设备的硬件结构示意图，上述设备可以参与构成或包含本技术实施例所提供的装置或系统。如图11所示，设备10可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据
的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
147.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分地体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
148.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中上述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
149.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
150.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。
151.需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本技术实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
152.本技术实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
153.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
154.以上上述仅为本技术实施例的较佳实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实
施例的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取第一人脸图像；基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。2.根据权利要求1所述的方法，其特征在于，所述人脸模型参数包括形状参数、表情参数和初始深度图，所述基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数，包括：对所述第一人脸图像进行端到端的单视图人脸三维重建，得到所述形状信息和所述表情信息；基于所述形状信息和所述表情信息，得到所述初始深度图；所述基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图，包括：对所述第一人脸图像进行关键点提取处理，得到关键点信息；基于所述初始深度图和所述关键点信息进行全图人脸重建，得到所述深度信息图。3.根据权利要求2所述的方法，其特征在于，所述人脸纹理参数包括第一漫反射参数和第一高光参数，所述环境光照参数包括第一光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，包括：基于所述深度信息图和所述第一人脸图像，利用参数化人脸纹理模型和球谐光照模型，通过可微分渲染器解析得到所述第一漫反射参数、所述第一高光参数和所述第一光照参数。4.根据权利要求3所述的方法，其特征在于，所述人脸纹理参数还包括第二漫反射参数、第二高光参数和粗糙度参数，所述环境光照参数还包括第二光照参数，所述基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数，还包括：获取粗糙度先验信息和光照假设信息；基于所述第一漫反射参数、所述第一高光参数、所述粗糙度先验信息和所述光照假设信息，利用可微分光线关联得到所述第二漫反射参数、所述第二高光参数、所述粗糙度参数和所述第二光照参数。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括；获取至少一个第二人脸图像以及每个所述第二人脸图像的人脸纹理参数；获取至少一个预设光照参数；基于第三人脸图像的人脸纹理参数以及第三光照参数，渲染第四人脸图像，所述第三人脸图像为所述第一人脸图像或所述至少一个第二人脸图像中的任一人脸图像，所述第三光照参数为所述至少一个预设光照参数中的任一光照参数；根据所述第三人脸图像、所述第三光照参数和所述第四人脸图像，生成样本三元组。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取样本集，所述样本集中包括多个所述样本三元组；基于所述样本集训练生成式对抗网络中的生成器和判别器；其中，所述生成器用于根据输入的人脸图像和任意光照参数，输出在所述任意光照参
数条件下的所述人脸图像。7.一种图像处理装置，其特征在于，所述装置包括：图像获取模块，用于获取第一人脸图像；第一重建模块，用于基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；第二重建模块，用于基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；本征分解模块，用于基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至6中任一项所述的一种图像处理方法。9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1至6中任一项所述的一种图像处理方法。10.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至6中任一项所述的一种图像处理方法。

技术总结
本申请实施例公开了图像处理方法、装置、存储介质及电子设备，可以应用于人工智能或车联网领域。上述方法包括获取第一人脸图像；基于所述第一人脸图像进行参数化人脸重建，得到人脸模型参数；基于所述人脸模型参数进行针对所述第一人脸图像的全图重建，得到所述第一人脸图像对应的深度信息图；基于所述深度信息图对所述第一人脸图像进行多阶段本征分解，得到人脸纹理参数和环境光照参数。本申请可以通过对人脸图像进行人脸重建以及全图重建，得到深度信息图，并且基于该深度信息图进行多阶段本征分解，得到人脸纹理参数和环境光照参数，从而将人脸纹理信息和光照信息解耦，达到信息剥离效果，基于这种人脸纹理信息进行更准确的人脸图像重渲染。脸图像重渲染。脸图像重渲染。


技术研发人员：葛志鹏 葛彦昊 汪铖杰 张伟
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.01.20
技术公布日：2023/7/26