图像生成方法、模型训练方法、装置、设备及介质与流程

1.本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于aigc等场景。


背景技术：

2.在相关技术中，可以通过生成式对抗网络来基于初始的图像生成对应的目标效果图像，例如，可以使用stylegan等网络模型将图像渲染成对应的目标效果图像。然而，上述图像生成方法一般都是将图像生成固定形式的目标效果图像，用户无法自行编辑自己想要的个性化的目标效果图像。


技术实现要素：

3.本公开提供了一种图像生成方法、模型训练方法、装置、设备及介质。
4.根据本公开的第一方面，提供了一种图像生成方法，图像生成方法包括：
5.接收目标描述信息和待处理的图像，其中，目标描述信息用于记录图像所需要的真实化效果信息；
6.提取图像的第一特征和效果描述信息的第二特征；
7.基于第一特征和第二特征生成图像对应的目标效果图像。
8.在本公开的一些实施例中，提取图像的第一特征和效果描述信息的第二特征，包括：
9.将图像和效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用特征提取层获取图像的第一特征和效果描述信息的第二特征。
10.在本公开的一些实施例中，第一特征是将图像放缩到低维度特征空间得到的，和/或第二特征是将效果描述信息编码到高维度特征空间得到的。
11.在本公开的一些实施例中，基于第一特征和第二特征生成图像对应的目标效果图像，包括：
12.将第一特征和第二特征输入到预先训练好的图像生成模型的特征处理层，利用特征处理层基于第一特征和第二特征生成真实图像特征；
13.将真实图像特征输入到图像生成模型的特征转换层，利用特征转换层将真实图像特征转换成图像对应的目标效果图像。
14.在本公开的一些实施例中，真实化效果信息包括颜色信息、风格信息和种类信息中的至少一项。
15.根据本公开的第二方面，提供了一种图像生成模型的训练方法，图像生成模型用于实现本公开的第一方面的方法，图像生成模型的训练方法包括：
16.将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像输入到图像生成模型的特征提取层，利用特征提取层获取样本图像的第一样本特征、样本效果描述信息的第二样本特征和样本目标效果图像的第三样本特征，其中，样本效果描述信
息用于记录样本目标效果图像的效果信息；
17.将第一样本特征、第二样本特征和第三样本特征输入到图像生成模型的特征处理层，利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征，其中，样本真实图像特征可用于被转换为样本图像对应的目标效果图像；
18.获取在特征处理层在生成样本真实图像特征的过程的第一损失，基于第一损失调整特征处理层的参数。
19.在本公开的一些实施例中，利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征，包括：
20.利用特征处理层对第三样本特征进行加噪，得到加噪样本特征；
21.利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征。
22.在本公开的一些实施例中，获取在特征处理层在生成样本真实图像特征的过程的第一损失，包括：
23.获取加噪样本特征和样本真实图像特征的特征对比结果，将特征对比结果作为第一损失。
24.在本公开的一些实施例中，利用特征处理层对第三样本特征进行加噪，得到加噪样本特征，包括：利用特征处理层对第三样本特征连续进行n次加噪，连续得到n个加噪样本特征，其中，n为大于1的整数；
25.利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征，包括：利用特征处理层基于第一样本特征和第二样本特征对第n个加噪样本特征进行n次去噪，连续得到n个去噪样本特征，将第n个去噪样本特征作为样本真实图像特征。
26.在本公开的一些实施例中，获取在特征处理层在生成样本真实图像特征的过程的第一损失，包括：
27.将n个去噪样本特征分别与对应的加噪样本特征进行对比，得到n个特征对比结果，并将n个特征对比结果作为第一损失。
28.在本公开的一些实施例中，样本图像是对样本目标效果图像进行边界提取得到的。
29.在本公开的一些实施例中，对样本目标效果图像进行边界提取以得到样本图像包括以下步骤：
30.对样本目标效果图像进行边界提取，得到样本目标效果图像的初始边界轮廓图；
31.从初始边界轮廓图确定出关键线条和非关键线条；
32.消除初始边界轮廓图中的非关键线条，得到样本目标效果图像的对应的图像。
33.根据本公开的第三方面，提供了一种图像生成装置，图像生成装置包括信息接收模块、特征提取模块和图像生成模块；
34.信息接收模块用于接收目标描述信息和待处理的图像，其中，目标描述信息用于记录图像所需要的真实化效果信息；
35.特征提取模块用于提取图像的第一特征和效果描述信息的第二特征；
36.图像生成模块用于基于第一特征和第二特征生成图像对应的目标效果图像。
37.在本公开的一些实施例中，图像生成模块在用于基于第一特征和第二特征生成图像对应的目标效果图像时，具体用于：
38.将图像和效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用特征提取层获取图像的第一特征和效果描述信息的第二特征。
39.在本公开的一些实施例中，第一特征是将图像放缩到低维度特征空间得到的，和/或第二特征是将效果描述信息编码到高维度特征空间得到的。
40.在本公开的一些实施例中，图像生成模块在用于基于第一特征和第二特征生成图像对应的目标效果图像时，具体用于：
41.将第一特征和第二特征输入到预先训练好的图像生成模型的特征处理层，利用特征处理层基于第一特征和第二特征生成真实图像特征；
42.将真实图像特征输入到图像生成模型的特征转换层，利用特征转换层将真实图像特征转换成图像对应的目标效果图像。
43.在本公开的一些实施例中，真实化效果信息包括颜色信息、风格信息和种类信息中的至少一项。
44.根据本公开的第四方面，提供了一种图像生成模型的训练装置，图像生成模型用于实现本公开的第一方面的方法，图像生成模型的训练装置包括样本特征获取模块、样本特征处理模块和模型参数调整模块；
45.样本特征获取模块用于将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像输入到图像生成模型的特征提取层，利用特征提取层获取样本图像的第一样本特征、样本效果描述信息的第二样本特征和样本目标效果图像的第三样本特征，其中，样本效果描述信息用于记录样本目标效果图像的效果信息；
46.样本特征处理模块用于将第一样本特征、第二样本特征和第三样本特征输入到图像生成模型的特征处理层，利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征，其中，样本真实图像特征可用于被转换为样本图像对应的目标效果图像；
47.模型参数调整模块用于获取在特征处理层在生成样本真实图像特征的过程的第一损失，基于第一损失调整特征处理层的参数。
48.在本公开的一些实施例中，样本特征处理模块在用于利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征时，具体用于：
49.利用特征处理层对第三样本特征进行加噪，得到加噪样本特征；
50.利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征。
51.在本公开的一些实施例中，模型参数调整模块在用于获取在特征处理层在生成样本真实图像特征的过程的第一损失时，具体用于：
52.获取加噪样本特征和样本真实图像特征的特征对比结果，将特征对比结果作为第一损失。
53.在本公开的一些实施例中，样本特征处理模块在用于利用特征处理层对第三样本特征进行加噪，得到加噪样本特征时，具体用于：利用特征处理层对第三样本特征连续进行n次加噪，连续得到n个加噪样本特征，其中，n为大于1的整数；
54.样本特征处理模块在用于利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征时，具体用于：利用特征处理层基于第一样本特征和第二样本特征对第n个加噪样本特征进行n次去噪，连续得到n个去噪样本特征，将第n个去噪样本特征作为样本真实图像特征。
55.在本公开的一些实施例中，模型参数调整模块在用于获取在特征处理层在生成样本真实图像特征的过程的第一损失时，具体用于：
56.将n个去噪样本特征分别与对应的加噪样本特征进行对比，得到n个特征对比结果，并将n个特征对比结果作为第一损失。
57.在本公开的一些实施例中，样本图像是对样本目标效果图像进行边界提取得到的。
58.在本公开的一些实施例中，图像生成模型的训练装置还包括图像生成模块，模型参数调整模块在用于：
59.对样本目标效果图像进行边界提取，得到样本目标效果图像的初始边界轮廓图；
60.从初始边界轮廓图确定出关键线条和非关键线条；
61.消除初始边界轮廓图中的非关键线条，得到样本目标效果图像的对应的图像。
62.根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面提供的方法或第二方面提供的方法。
63.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行第一方面提供的方法或第二方面提供的方法。
64.根据本公开的第七方面，提供了一种计算机程序项目，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面提供的方法或第二方面提供的方法。
65.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
66.本公开提供的技术方案带来的有益效果是：
67.本公开实施例提供的图像生成方法，允许用户输入图像和用于记录图像所需要的真实化效果信息的效果描述信息，之后基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，由于用户可以根据自身需求的效果输入相应的效果描述信息，这可以使得生成的目标效果图像符合用户的期望的个性化效果。
附图说明
68.附图用于更好地理解本方案，不构成对本公开的限定。其中：
69.图1示出了本公开提供的一种图像生成方法的流程示意图；
70.图2示出了本公开提供的一种图像生成模型的示意图；
71.图3示出了图2中的图像生成模型的一种示例性结构示意图；
72.图4示出了本公开提供的一种图像生成模型的训练方法的流程示意图；
73.图5示出了本公开提供的一种图像生成装置的示意图；
74.图6示出了本公开提供的一种图像生成模型的训练装置的示意图；
75.图7示出了本公开提供的另一种图像生成模型的训练装置的示意图；
76.图8示出了可以用来实施本公开的示例电子设备的示意性框图。
具体实施方式
77.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
78.应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
79.在相关技术中，可以通过生成式对抗网络来基于初始的图像生成对应的目标效果图像，例如，可以使用stylegan等网络模型将图像渲染成对应的目标效果图像。然而，上述图像生成方法一般都是将图像生成固定形式的目标效果图像，用户无法自行编辑自己想要的个性化的目标效果图像。
80.该方法的执行主体可以是终端设备、或者计算机、又或者服务器，或者还可以是其他具有数据处理能力的设备。在此对该方法的执行主体不作限制。在一些实施例中，本公开实施例提供的图像生成方法的执行主体可以主车上的终端设备(如车载电脑)。
81.可选地，终端设备可以是手机，也可以是平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等，本公开实施例对终端设备的具体类型不作限制。
82.一些实施例中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。
83.下面对本公开提供的图像生成方法进行示例性说明。
84.图1示出了本公开提供的一种图像生成方法的流程示意图，如图1所示，该方法主要可以包括以下步骤：
85.s110：接收目标描述信息和待处理的图像。
86.这里，目标描述信息用于记录图像所需要的真实化效果信息。
87.可选地，待处理的图像可以是简笔画，例如，待处理的图像是用户通过手绘的方式而得到的简笔画。
88.可选的，真实化效果信息可以包括颜色信息、风格信息和种类信息中的至少一项。颜色信息是指图像最终生成的目标效果图像的颜色特征；风格信息是指图像最终生成的目标效果图像的风格类型，风格类型可以包括动漫风、油画风、自然风和复古风等；种类信息是指图像最终生成的目标效果图像的中指定对象的类型，具体来说，某个图像与牛和马的形象均相似，效果描述信息可以记录需要生成的目标效果图像是“牛”，这样就限定最终生成的目标效果图像包含“牛”而非“马”。本公开实施例允许用户定义多个维度的真实化效果，能够使目标效果图像的多个维度的效果符合用户的个性化需求。
89.s120：提取图像的第一特征和效果描述信息的第二特征。
90.图2示出了本公开提供的一种图像生成模型的示意图，图像生成模型是预先训练好的模型，图像生成模型用于实现本公开提供的图像生成方法，如图2所示，图像生成模型包括特征提取层、特征处理层和特征转换层，特征提取层提取图像的第一特征和效果描述信息的第二特征，特征处理层和特征转换层能够基于第一特征和第二特征生成图像对应的目标效果图像。
91.可选的，本公开实施例在提取图像的第一特征和效果描述信息的第二特征时，可以将图像和效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用特征提取层获取图像的第一特征和效果描述信息的第二特征。本公开实施例利用预先训练好的图像生成模型的特征提取层来获取图像和效果描述信息的特征，可以提高特征获取的效率和准确度。这里，第一特征是将图像放缩到低维度特征空间得到的，第二特征是将效果描述信息编码到高维度特征空间得到的。
92.s130：基于第一特征和第二特征生成图像对应的目标效果图像。
93.本公开实施例提供的图像生成方法，允许用户输入图像和用于记录图像所需要的真实化效果信息的效果描述信息，之后基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，由于用户可以根据自身需求的效果输入相应的效果描述信息，这可以使得生成的目标效果图像符合用户的期望的个性化效果。
94.可选的，本公开实施例在基于第一特征和第二特征生成图像对应的目标效果图像时，可以将第一特征和第二特征输入到预先训练好的图像生成模型的特征处理层，利用特征处理层基于第一特征和第二特征生成真实图像特征，之后将真实图像特征输入到图像生成模型的特征转换层，利用特征转换层将真实图像特征转换成图像对应的目标效果图像。本公开实施例利用预先训练好的图像生成模型基于第一特征和第二特征来生成目标效果图像，可以提高图像的生成效率和真实性。
95.图3示出了图2中的图像生成模型的一种示例性结构示意图，结合图2和图3所示，图2中的特征提取层包括图3中的第一图像编码器和文本编码器。可以将图像输入到第一图像编码器中，第一图像编码器将图像放缩到低维度特征空间得到第一特征；可以将效果描述信息输入到文本编码器中，文本编码器将效果描述信息编码到高维度特征空间得到第二特征。
96.可选地，图2中的特征处理层可以是扩散模型，图2中的特征转换层可以是第一图像解码器，将第一特征和第二特征输入到扩散模型，利用扩散模型基于第一特征和第二特征生成真实图像特征，之后将真实图像特征输入到第一图像解码器，利用第一图像解码器将真实图像特征转换成图像对应的目标效果图像。
97.在图3中，待处理的图像是简笔画，该简笔画可以用户通过手绘的方式而得到，具体来说，图3中的待处理的图像是一个牛的简笔画。利用上述的图像生成方法，基于简笔画和目标描述信息可以得到的目标效果图像，这里，目标描述信息用于记录简笔画所需要的真实化效果信息，目标效果图像是一个具有真实化效果的牛的图像。其中，简笔画是多个线条构成的牛的大致轮廓的图像，目标效果图像是具有颜色特征、毛发特征、光影特征和材质特征等真实特征的牦牛的图像。
98.为了将牛的简笔画转换为具有真实化效果的牛的图像，首先需要接收目标描述信
息和待处理的牛的简笔画。这里，目标描述信息用于记录简笔画所需要的颜色信息、风格信息和种类信息，其中，颜色信息为黑白相间、风格信息为自然风、种类信息为牦牛。
99.之后可以将简笔画和效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用特征提取层获取图像的第一特征和效果描述信息的第二特征。具体地，可以将图像输入到第一图像编码器中，第一图像编码器将图像放缩到低维度特征空间得到第一特征；可以将效果描述信息输入到文本编码器中，文本编码器将效果描述信息编码到高维度特征空间得到第二特征。
100.然后将第一特征和第二特征输入到预先训练好的图像生成模型的特征处理层，利用特征处理层基于第一特征和第二特征生成真实图像特征，最后将真实图像特征输入到图像生成模型的特征转换层，利用特征转换层将真实图像特征转换成图像对应的目标效果图像。具体地，可以将第一特征和第二特征输入到扩散模型，利用扩散模型基于第一特征和第二特征生成真实图像特征，之后将真实图像特征输入到第一图像解码器，利用第一图像解码器将真实图像特征转换成图像对应的目标效果图像。这里，目标效果图像是轮廓与简笔画相匹配、颜色黑白相间的自然风的牦牛图像。
101.图4示出了本公开提供的一种图像生成模型的训练方法的流程示意图，这里，图像生成模型可以用于执行上述的图像生成方法。
102.图2示出了本公开提供的一种图像生成模型的示意图，图像生成模型包括特征提取层、特征处理层和特征转换层，特征提取层提取图像的第一特征和效果描述信息的第二特征，特征处理层和特征转换层能够基于第一特征和第二特征生成图像对应的目标效果图像。如图4所示，图像生成模型的训练方法主要可以包括以下步骤：
103.s410：将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像输入到图像生成模型的特征提取层，利用特征提取层获取样本图像的第一样本特征、样本效果描述信息的第二样本特征和样本目标效果图像的第三样本特征。
104.这里，样本效果描述信息用于记录样本目标效果图像的效果信息。可选的，效果信息包括颜色信息、风格信息和种类信息中的至少一项。颜色信息是指样本目标效果图像的颜色特征；风格信息是指样本目标效果图像的风格类型，风格类型可以包括动漫风、油画风、自然风和复古风等；种类信息是指样本目标效果图像中指定对象的类型，如种类信息可以记录样本目标效果图像的动物是“牛”或“马”。
105.在s410中，第一样本特征是将样本图像放缩到低维度特征空间得到的，第二样本特征是将样本效果描述信息编码到高维度特征空间得到的。
106.图3示出了图2中的图像生成模型的一种示例性结构示意图，结合图2和图3所示，图2中的特征提取层包括图3中的第一图像编码器和文本编码器。在s410中，可以将样本图像输入到第一图像编码器中，第一图像编码器将样本图像放缩到低维度特征空间得到第一特征；可以将样本效果描述信息输入到文本编码器中，文本编码器将效果描述信息编码到高维度特征空间得到第二特征。可选地，在对图像生成模型进行训练时，还可以引入第二图像编码器，可以将样本目标效果图像输入到第二图像编码器中，第二图像编码器对样本目标效果图像进行编码而得到第三样本特征。
107.可选地，在本公开实施例中，样本图像可以是对样本目标效果图像进行边界提取得到的。这里，可以对样本目标效果图像进行边界提取，得到样本目标效果图像的初始边界
轮廓图，在此需要说明的是，样本目标效果图像的初始边界轮廓图会包含较多的线条，具备较多的图像特征，因此需要对初始边界轮廓图做进一步的简化。具体地，可以从初始边界轮廓图确定出关键线条和非关键线条，消除初始边界轮廓图中的非关键线条，从而完成对初始边界轮廓图的简化，得到更加简单的样本目标效果图像的对应的图像，提高模型的训练难度，从而使得模型能够完成针对较差的图像的图像生成过程。可选地，将形成了封闭图形或半封闭图形的线条作为关键线条，将其余的线条作为非关键线条。
108.s420：将第一样本特征、第二样本特征和第三样本特征输入到图像生成模型的特征处理层，利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征。
109.这里，样本真实图像特征可用于被转换为样本图像对应的具有对应效果的图像。可选地，在利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征时，可以利用特征处理层对第三样本特征进行加噪从而得到加噪样本特征，之后利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征。
110.s430：获取在特征处理层在生成样本真实图像特征的过程的第一损失，基于第一损失调整特征处理层的参数。
111.本公开实施例提供的图像生成模型的训练方法，将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像作为训练数据，基于这些训练数据来使图像生成模型来学习基于图像和效果描述信息生成目标效果图像的能力，从而使图像生成模型能够基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，由于用户可以根据自身需求的效果输入相应的效果描述信息，这可以使得生成的目标效果图像符合用户的期望的个性化效果。
112.可选地，本公开实施例在获取在特征处理层在生成样本真实图像特征的过程的第一损失时，可以获取加噪样本特征和样本真实图像特征的特征对比结果，将特征对比结果作为第一损失，之后基于第一损失调整特征处理层的参数。
113.可选地，在本公开实施例中，在s420中，在利用特征处理层对第三样本特征进行加噪得到加噪样本特征时，可以利用特征处理层对第三样本特征连续进行n次加噪，连续得到n个加噪样本特征；在利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪得到样本真实图像特征时，可以利用特征处理层基于第一样本特征和第二样本特征对第n个加噪样本特征进行n次去噪，连续得到n个去噪样本特征，将第n个去噪样本特征作为样本真实图像特征。这里，n为大于1的整数，以n是5为例，可以利用特征处理层对第三样本特征连续进行5次加噪耳得到5个加噪样本特征，之后对第5个加噪样本特征进行5次去噪，连续得到5个去噪样本特征，将将第5个去噪样本特征作为样本真实图像特征。
114.可选地，在本公开实施例中，在获取在特征处理层在生成样本真实图像特征的过程的第一损失时，可以将n个去噪样本特征分别与对应的加噪样本特征进行对比，得到n个特征对比结果，并将n个特征对比结果作为第一损失。这里，n为大于1的整数，以n是5为例，可以将第1个去噪样本特征与第1个加噪样本特征进行对比得到一个特征对比结果，将第2个去噪样本特征与第2个加噪样本特征进行对比得到一个特征对比结果，依次类推，最终可以得到5个特征对比结果，这5个特征对比结果均可作为第一损失。
115.可选地，图2中的特征处理层可以是扩散模型，将第一样本特征、第二样本特征和第三样本特征输入到扩散模型，利用扩散模型对第三样本特征进行加噪从而得到加噪样本特征，之后利用扩散模型基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征。
116.基于与上述的图像生成方法相同的原理，本公开实施例提供了一种图像生成装置，图5示出了本公开提供的一种图像生成装置的示意图，如图5所示，图像生成装置500包括信息接收模块510、特征提取模块520和图像生成模块530。
117.信息接收模块510用于接收目标描述信息和待处理的图像，其中，目标描述信息用于记录图像所需要的真实化效果信息；
118.特征提取模块520用于提取图像的第一特征和效果描述信息的第二特征；
119.图像生成模块530用于基于第一特征和第二特征生成图像对应的目标效果图像。
120.本公开实施例提供的图像生成装置，允许用户输入图像和用于记录图像所需要的真实化效果信息的效果描述信息，之后基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，由于用户可以根据自身需求的效果输入相应的效果描述信息，这可以使得生成的目标效果图像符合用户的期望的个性化效果。
121.在本公开的一些实施例中，图像生成模块530在用于基于第一特征和第二特征生成图像对应的目标效果图像时，具体用于：
122.将图像和效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用特征提取层获取图像的第一特征和效果描述信息的第二特征。
123.在本公开的一些实施例中，第一特征是将图像放缩到低维度特征空间得到的，和/或第二特征是将效果描述信息编码到高维度特征空间得到的。
124.在本公开的一些实施例中，图像生成模块530在用于基于第一特征和第二特征生成图像对应的目标效果图像时，具体用于：
125.将第一特征和第二特征输入到预先训练好的图像生成模型的特征处理层，利用特征处理层基于第一特征和第二特征生成真实图像特征；
126.将真实图像特征输入到图像生成模型的特征转换层，利用特征转换层将真实图像特征转换成图像对应的目标效果图像。
127.在本公开的一些实施例中，真实化效果信息包括颜色信息、风格信息和种类信息中的至少一项。
128.可以理解的是，本公开实施例中的图像目标效果图像生成装置的上述各模块具有实现上述的图像生成方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述图像目标效果图像生成装置的各模块的功能描述具体可以参见上述图像生成方法的对应描述，在此不再赘述。
129.基于与上述的图像生成模型的训练方法相同的原理，本公开实施例提供了一种图像生成模型的训练装置，图6示出了本公开提供的一种图像生成模型的训练装置的示意图，图像生成模型用于实现上述的图像生成方法，如图6所示，图像生成模型的训练装置600包括样本特征获取模块610、样本特征处理模块620和模型参数调整模块630。
130.样本特征获取模块610用于将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像输入到图像生成模型的特征提取层，利用特征提取层获取样本图像的第一样本特征、样本效果描述信息的第二样本特征和样本目标效果图像的第三样本特征，其中，样本效果描述信息用于记录样本目标效果图像的效果信息；
131.样本特征处理模块620用于将第一样本特征、第二样本特征和第三样本特征输入到图像生成模型的特征处理层，利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征，其中，样本真实图像特征可用于被转换为样本图像对应的目标效果图像；
132.模型参数调整模块630用于获取在特征处理层在生成样本真实图像特征的过程的第一损失，基于第一损失调整特征处理层的参数。
133.本公开实施例提供的图像生成模型的训练装置，将样本目标效果图像、样本效果描述信息和样本目标效果图像对应的样本图像作为训练数据，基于这些训练数据来使图像生成模型来学习基于图像和效果描述信息生成目标效果图像的能力，从而使图像生成模型能够基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，由于用户可以根据自身需求的效果输入相应的效果描述信息，这可以使得生成的目标效果图像符合用户的期望的个性化效果。
134.在本公开的一些实施例中，样本特征处理模块620在用于利用特征处理层基于第一样本特征、第二样本特征和第三样本特征生成样本真实图像特征时，具体用于：
135.利用特征处理层对第三样本特征进行加噪，得到加噪样本特征；
136.利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征。
137.在本公开的一些实施例中，模型参数调整模块630在用于获取在特征处理层在生成样本真实图像特征的过程的第一损失时，具体用于：
138.获取加噪样本特征和样本真实图像特征的特征对比结果，将特征对比结果作为第一损失。
139.在本公开的一些实施例中，样本特征处理模块620在用于利用特征处理层对第三样本特征进行加噪，得到加噪样本特征时，具体用于：利用特征处理层对第三样本特征连续进行n次加噪，连续得到n个加噪样本特征，其中，n为大于1的整数；
140.样本特征处理模块620在用于利用特征处理层基于第一样本特征和第二样本特征对加噪样本特征进行去噪，得到样本真实图像特征时，具体用于：利用特征处理层基于第一样本特征和第二样本特征对第n个加噪样本特征进行n次去噪，连续得到n个去噪样本特征，将第n个去噪样本特征作为样本真实图像特征。
141.在本公开的一些实施例中，模型参数调整模块630在用于获取在特征处理层在生成样本真实图像特征的过程的第一损失时，具体用于：
142.将n个去噪样本特征分别与对应的加噪样本特征进行对比，得到n个特征对比结果，并将n个特征对比结果作为第一损失。
143.在本公开的一些实施例中，样本图像是对样本目标效果图像进行边界提取得到的。
144.图7示出了本公开提供的另一种图像生成模型的训练装置的示意图，如图7所示，
图像生成模型的训练装置600在包括样本特征获取模块610、样本特征处理模块620和模型参数调整模块630的基础上，还包括图像生成模块640，模型参数调整模块630在用于：
145.对样本目标效果图像进行边界提取，得到样本目标效果图像的初始边界轮廓图；
146.从初始边界轮廓图确定出关键线条和非关键线条；
147.消除初始边界轮廓图中的非关键线条，得到样本目标效果图像的对应的图像。
148.可以理解的是，本公开实施例中的图像生成模型的训练装置的上述各模块具有实现上述的图像生成方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述图像生成模型的训练装置的各模块的功能描述具体可以参见上述的图像生成模型的训练方法的对应描述，在此不再赘述。
149.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
150.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序项目。
151.示例性实施例中，电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。该电子设备可以是上述计算机或服务器。
152.示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据以上实施例所述的方法。
153.示例性实施例中，计算机程序项目包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。
154.图8示出了可以用来实施本公开的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
155.如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
156.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
157.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单
元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像生成方法或图像生成模型的训练方法。例如，在一些实施例中，图像生成方法或图像生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的图像生成方法或图像生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像生成方法或图像生成模型的训练方法。
158.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准项目(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
159.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
160.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
161.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
162.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算
系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
163.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
164.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
165.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种图像生成方法，所述方法包括：接收效果描述信息和待处理的图像，其中，所述效果描述信息用于记录所述图像所需要的目标效果信息；提取所述图像的第一特征和所述效果描述信息的第二特征；基于所述第一特征和所述第二特征生成所述图像对应的目标效果图像。2.根据权利要求1所述的方法，其中，所述提取所述图像的第一特征和所述效果描述信息的第二特征，包括：将所述图像和所述效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用所述特征提取层获取所述图像的第一特征和所述效果描述信息的第二特征。3.根据权利要求1所述的方法，其中，所述第一特征是将所述图像放缩到低维度特征空间得到的，和/或所述第二特征是将所述效果描述信息编码到高维度特征空间得到的。4.根据权第一特征利要求1所述的方法，其中，所述基于所述第一特征和所述第二特征生成所述图像对应的目标效果图像，包括：将所述第一特征和所述第二特征输入到预先训练好的图像生成模型的特征处理层，利用所述特征处理层基于所述第一特征和所述第二特征生成真实图像特征；将所述真实图像特征输入到所述图像生成模型的特征转换层，利用所述特征转换层将所述真实图像特征转换成所述图像对应的目标效果图像。5.根据权利要求1所述的方法，其中，所述真实化效果信息包括颜色信息、风格信息和种类信息中的至少一项。6.一种图像生成模型的训练方法，包括：将样本目标效果图像、样本效果描述信息和所述样本目标效果图像对应的样本图像输入到图像生成模型的特征提取层，利用所述特征提取层获取所述样本图像的第一样本特征、所述样本效果描述信息的第二样本特征和所述样本目标效果图像的第三样本特征，其中，所述样本效果描述信息用于记录所述样本目标效果图像的效果信息；将所述第一样本特征、所述第二样本特征和所述第三样本特征输入到所述图像生成模型的特征处理层，利用所述特征处理层基于所述第一样本特征、所述第二样本特征和所述第三样本特征生成样本真实图像特征，其中，所述样本真实图像特征可用于被转换为所述样本图像对应的目标效果图像；获取在所述特征处理层在生成所述样本真实图像特征的过程的第一损失，基于所述第一损失调整所述特征处理层的参数。7.根据权利要求6所述的方法，其中，所述利用所述特征处理层基于所述第一样本特征、所述第二样本特征和所述第三样本特征生成样本真实图像特征，包括：利用所述特征处理层对所述第三样本特征进行加噪，得到加噪样本特征；利用所述特征处理层基于所述第一样本特征和所述第二样本特征对所述加噪样本特征进行去噪，得到样本真实图像特征。8.根据权利要求7所述的方法，其中，所述获取在所述特征处理层在生成所述样本真实图像特征的过程的第一损失，包括：获取所述加噪样本特征和所述样本真实图像特征的特征对比结果，将所述特征对比结果作为第一损失。
9.根据权利要求7所述的方法，其中，所述利用所述特征处理层对所述第三样本特征进行加噪，得到加噪样本特征，包括：利用所述特征处理层对所述第三样本特征连续进行n次加噪，连续得到n个加噪样本特征，其中，n为大于1的整数；所述利用所述特征处理层基于所述第一样本特征和所述第二样本特征对所述加噪样本特征进行去噪，得到样本真实图像特征，包括：利用所述特征处理层基于所述第一样本特征和所述第二样本特征对第n个加噪样本特征进行n次去噪，连续得到n个去噪样本特征，将第n个去噪样本特征作为样本真实图像特征。10.根据权利要求9所述的方法，其中，所述获取在所述特征处理层在生成所述样本真实图像特征的过程的第一损失，包括：将n个去噪样本特征分别与对应的加噪样本特征进行对比，得到n个特征对比结果，并将n个特征对比结果作为第一损失。11.根据权利要求6所述的方法，其中，所述样本图像是对所述样本目标效果图像进行边界提取得到的。12.根据权利要求11所述的方法，其中，对所述样本目标效果图像进行边界提取以得到所述样本图像包括以下步骤：对所述样本目标效果图像进行边界提取，得到所述样本目标效果图像的初始边界轮廓图；从所述初始边界轮廓图确定出关键线条和非关键线条；消除所述初始边界轮廓图中的非关键线条，得到所述样本目标效果图像的对应的图像。13.一种图像生成装置，所述装置包括：信息接收模块，用于接收目标描述信息和待处理的图像，其中，所述目标描述信息用于记录所述图像所需要的真实化效果信息；特征提取模块，用于提取所述图像的第一特征和所述效果描述信息的第二特征；图像生成模块，用于基于所述第一特征和所述第二特征生成所述图像对应的目标效果图像。14.根据权利要求13所述的装置，其中，所述图像生成模块在用于基于所述第一特征和所述第二特征生成所述图像对应的目标效果图像时，具体用于：将所述图像和所述效果描述信息输入到预先训练好的图像生成模型的特征提取层，利用所述特征提取层获取所述图像的第一特征和所述效果描述信息的第二特征。15.根据权利要求13所述的装置，其中，所述第一特征是将所述图像放缩到低维度特征空间得到的，和/或所述第二特征是将所述效果描述信息编码到高维度特征空间得到的。16.根据权第一特征利要求13所述的装置，其中，所述图像生成模块在用于基于所述第一特征和所述第二特征生成所述图像对应的目标效果图像时，具体用于：将所述第一特征和所述第二特征输入到预先训练好的图像生成模型的特征处理层，利用所述特征处理层基于所述第一特征和所述第二特征生成真实图像特征；将所述真实图像特征输入到所述图像生成模型的特征转换层，利用所述特征转换层将所述真实图像特征转换成所述图像对应的目标效果图像。17.一种图像生成模型的训练装置，所述训练装置包括：
样本特征获取模块，用于将样本目标效果图像、样本效果描述信息和所述样本目标效果图像对应的样本图像输入到所述图像生成模型的特征提取层，利用所述特征提取层获取所述样本图像的第一样本特征、所述样本效果描述信息的第二样本特征和所述样本目标效果图像的第三样本特征，其中，所述样本效果描述信息用于记录所述样本目标效果图像的效果信息；样本特征处理模块，用于将所述第一样本特征、所述第二样本特征和所述第三样本特征输入到所述图像生成模型的特征处理层，利用所述特征处理层基于所述第一样本特征、所述第二样本特征和所述第三样本特征生成样本真实图像特征，其中，所述样本真实图像特征可用于被转换为所述样本图像对应的目标效果图像；模型参数调整模块，用于获取在所述特征处理层在生成所述样本真实图像特征的过程的第一损失，基于所述第一损失调整所述特征处理层的参数。18.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法，或者执行权利要求6-12中任一项所述的方法。19.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的方法，或者执行权利要求6-12中任一项所述的方法。20.一种计算机程序项目，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法，或者实现权利要求6-12中任一项所述的方法。

技术总结
本公开提供一种图像生成方法、模型训练方法、装置、设备及介质，本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于AIGC等场景。具体实现方案包括：接收目标描述信息和待处理的图像，其中，目标描述信息用于记录图像所需要的真实化效果信息；提取图像的第一特征和效果描述信息的第二特征；基于第一特征和第二特征生成图像对应的目标效果图像。上述方法允许用户输入图像和用于记录图像所需要的真实化效果信息的效果描述信息，之后基于图像所表达的图形特点和效果描述信息所表达的视觉效果来生成对应的目标效果图像，生成的目标效果图像符合用户的期望的个性化效果。符合用户的期望的个性化效果。符合用户的期望的个性化效果。


技术研发人员：刘芳龙
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.04.17
技术公布日：2023/7/21