一种基于深度学习的单张绘画生成2D模型的方法及系统与流程

一种基于深度学习的单张绘画生成2d模型的方法及系统
技术领域
1.本发明涉及绘画建模技术领域，尤其涉及基于深度学习的单张绘画生成2d模型的方法及系统。


背景技术：

2.深度学习是一种机器学习方法，通过构建多层神经网络进行训练，自动地从数据中提取特征并实现分类、回归等任务。
3.目前，绘画生成算法已成为人工智能领域的研究热点之一。利用深度学习技术，通过对大量艺术品样本的学习和分析，可以实现高质量、多样性的绘画生成，具有广泛的应用前景。
4.在现有的绘画生成方法中，虽然有基于变分自编码器（vae）、对抗生成网络（gan）等模型的研究，但由于单张绘画图像的结构复杂性和细节纹理较多，这些方法在生成真实感和多样性方面仍存在一定的局限性。


技术实现要素：

5.为了现有技术存在的上述技术缺陷，本发明提供了一种基于深度学习的单张绘画生成2d模型的方法及系统，可以有效解决背景技术中的问题。
6.为了解决上述技术问题，本发明提供的技术方案具体如下：第一方面，本发明实施例公开了一种基于深度学习的单张绘画生成2d模型的方法，包括以下步骤：获取多张绘画分类为多个数据集，并对数据集进行预处理；将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练；对训练后的2d生成模型进行优化及测试；将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。
7.在上述任一方案中优选的是，所述获取多张绘画分类为多个数据集，并对数据集进行预处理，包括以下步骤：对数据集进行图片缩放、图像增强及数据清洗；将数据集中的图像进行边缘检测，提取绘画作品的轮廓；根据绘画作品的轮廓对绘画作品的色彩特征进行提取。
8.在上述任一方案中优选的是，所述将数据集中的图像进行边缘检测，提取绘画作品的轮廓，包括：
通过高斯滤波器平滑图像，利用公式二维高斯函数对图像进行平滑，其中，通过高斯函数的分布参数σ，控制平滑图像的程度，σ越小，滤波器的定位精度越高，信噪比越低，反之相反；通过公式：；；；计算绘画作品i中每个点的梯度幅值g和梯度θ方向，其中g
x
(i,j)和gy(i,j)分别为点(i,j)在x,y方向的偏导数；以点（i,j）为领域中心点，将领域中θ(i,j)方向上的每个点的梯度值g (i,j)进行比较，取其中梯度最大的值所在的点(i,j)作为候选边缘点，否则为非边缘点，得到候选边缘图像k；设定高阈值th和低阈值t
l
，对获得的候选边缘点的任一点(i,j)进行检测，若点(i,j)出的梯度值g (i,j)＞th，则判定该店为边缘点，若g (i,j)＜t
l
，则该点不为边缘点；若t
l
＜g (i,j)＜th，则判断该点的领域是否存在边缘点，若存在则该点为边缘点，反之不为边缘点。
9.在上述任一方案中优选的是，所述根据绘画作品的轮廓对绘画作品的色彩特征进行提取，包括：通过公式：；；；计算绘画作品中颜色的一阶矩μ
ci
、二阶矩σ
ci
、三阶矩ξ
ci
；其中，n为图像中像素的个数，p
ci
为颜色值为c且颜色分量为i的像素出
现的概率，c为绘画作品中包含的颜色种数；每种颜色有三个分量，每个分量各有三阶矩；通过公式：pc=(μ
cr
, σ
cr
, ξ
cr
, μ
cg
, σ
cg
, ξ
cg
, μ
cb
, σ
cb
, ξ
cb
)，，将每张绘画作品的颜色特征生成颜色特征集pc。
10.在上述任一方案中优选的是，所述将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y，包括以下步骤：从[0.5,1]的范围内随机选择一个缩放因子s，并将图像缩放到s
×
原始分辨率；从缩放后的图像中随机选取一个宽度和高度都为原始分辨率的窗口作为切割区域；根据切割区域将图像切割为多个小块，其中，输入图像x为经过随机切割后的小块图像，目标图像y是对应的原始图像中与输入图像x相同的位置上的小块图像。
[0011]
在上述任一方案中优选的是，所述建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练，包括以下步骤：通过搭建生成器g和判别器d，建立2d生成模型；定义损失函数，包括生成器损失和判别器损失；基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练。
[0012]
在上述任一方案中优选的是，所述生成器定义式为：w=mlp(z)
ϵrdlatent
，(w,y1)=g
proj
(w,y1)
ϵrdlatent
，x=g (w,y1)
ϵrc*h*w
，其中，z 表示输入的低维噪声向量，mlp表示多层感知机，用于将输入的噪声向量 z映射成潜在空间中的样式向量w，dlatent代表潜在空间的维度，g
proj
表示可学习的投影层，用于将样式向量w和条件信息y1合并，并生成一个维度新向量 (w, y1)，g表示生成器模型，由多个 generator blocks组成，用于将输入的样式向量(w, y1)转化为高分辨率图像x1，c、h和w 分别代表图像的通道数、高度和宽度；所述判别器定义式为：；其中，x表示输入图像，经过卷积和降采样处理后得到不同分辨率的特征图，si(x)表示对输入图像 x 进行第i层卷积和下采样处理后得到的特征图，di表示第i层的判别器模型，用于对第i层的特征图进行分类和评分，a
i 表示对应的判别器 di的权重系数，用于控制每个层次对最终分类结果的贡献度。
[0013]
在上述任一方案中优选的是，所述生成器损失为：lg=-e
(w,y1)~pdat
a[logd(g (w,y1))]，其中，pdata 表示输入训练集中的潜在向量和条件信息的分布，d表示判别器模型，用于评估输入的图像是否为真实图像，logd(g(w,y1))表示将生成器g产生的图像作为输入，并计算其经过判别器d后输出的概率的对数，e表示对所有输入训练集中的潜在向量和条件信息进行求和求平均的操作，lg表示生成器g的损失函数；所述判别器损失为：
，其中，pdata(x)表示真实图像的分布，pg(z,y)表示生成器g产生的图像的分布，其中z表示输入的噪声向量，y1表示条件信息，d(x)表示将真实图像作为输入图像x输入后，判别器输出的概率；d(g(z,y))表示将生成器g产生的图像作为输入后，判别器输出的概率，a和b分别表示判别器尝试将真实图像和生成图像区分开来的阈值，e表示期望，表示对所有输入真实图像和生成图像进行求和求平均的操作，ld表示判别器d的损失函数。
[0014]
在上述任一方案中优选的是，所述基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练，包括以下步骤：初始化生成器和判别器：将生成器g和判别器d初始化为随机函数；准备训练数据：从真实数据集中随机采样 mini-batch 数据，其中一半为真实图像，另一半为生成器 g 生成的假图像；前向传播和反向传播：将采样的 mini-batch 数据输入到生成器 g 中获得假图像，并将真假图像分别输入到判别器 d 中计算判别概率。然后根据损失函数对生成器和判别器进行反向传播和更新参数；计算损失函数：在前向传播和反向传播过程中，需要计算并记录损失函数的值；重复所述初始化生成器和判别器至所述计算损失函数，以通过交替训练生成器和判别器，使损失函数下降。
[0015]
第二方面，一种基于深度学习的单张绘画生成2d模型的系统，所述系统包括：获取模块，用于获取多张绘画分类为多个数据集，并对数据集进行预处理；处理模块，用于将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；生成模块，用于建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练；优化模块，用于对训练后的2d生成模型进行优化及测试；输入模块，用于将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。
[0016]
与现有技术相比，本发明的有益效果：本发明提供的基于深度学习的单张绘画生成2d模型的方法，可以基于单张绘画图像生成其特定的2d模型，可以应用于电影动画特效、游戏场景、虚拟试衣等多个领域；通过引入样式噪声层和投影层，增加了生成器的多样性和图像细节，提高了生成图像的真实感和艺术性；在模型训练中还应用了正则化技术和超参数调整优化，可以进一步提高生成器的稳定性和图像质量。
附图说明
[0017]
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0018]
图1是本发明基于深度学习的单张绘画生成2d模型的方法的流程图；图2是本发明基于深度学习的单张绘画生成2d模型的系统的模块图。
具体实施方式
[0019]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0020]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0021]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0022]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0023]
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
[0024]
如图1所示，本发明提供了一种基于深度学习的单张绘画生成2d模型的方法，包括以下步骤：步骤1，获取多张绘画分类为多个数据集，并对数据集进行预处理；步骤2，将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；步骤3，建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练；步骤4，对训练后的2d生成模型进行优化及测试；步骤5，将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。
[0025]
具体的，步骤1获取多张绘画分类为多个数据集，并对数据集进行预处理，包括以下步骤：步骤11，对数据集进行图片缩放、图像增强及数据清洗；步骤12，将数据集中的图像进行边缘检测，提取绘画作品的轮廓；步骤13，根据绘画作品的轮廓对绘画作品的色彩特征进行提取。
[0026]
具体的，步骤12，将数据集中的图像进行边缘检测，提取绘画作品的轮廓，包括：步骤121，通过高斯滤波器平滑图像，利用公式
二维高斯函数对图像进行平滑，其中，通过高斯函数的分布参数σ，控制平滑图像的程度，σ越小，滤波器的定位精度越高，信噪比越低，反之相反；步骤122，通过公式：；；；计算绘画作品i中每个点的梯度幅值g和梯度θ方向，其中g
x
(i,j)和gy(i,j)分别为点(i,j)在x,y方向的偏导数；步骤123，以点（i,j）为领域中心点，将领域中θ(i,j)方向上的每个点的梯度值g (i,j)进行比较，取其中梯度最大的值所在的点(i,j)作为候选边缘点，否则为非边缘点，得到候选边缘图像k；步骤124，设定高阈值th和低阈值t
l
，对获得的候选边缘点的任一点(i,j)进行检测，若点(i,j)出的梯度值g (i,j)＞th，则判定该店为边缘点，若g (i,j)＜t
l
，则该点不为边缘点；若t
l
＜g (i,j)＜th，则判断该点的领域是否存在边缘点，若存在则该点为边缘点，反之不为边缘点。
[0027]
具体的，步骤13根据绘画作品的轮廓对绘画作品的色彩特征进行提取，包括：步骤131，通过公式：；；；计算绘画作品中颜色的一阶矩μ
ci
、二阶矩σ
ci
、三阶矩ξ
ci
；其中，n为图像中像素的个数，p
ci
为颜色值为c且颜色分量为i的像素出现的概率，c为绘画作品中包含的颜色种数；每种颜色有三个分量，每个分量各有三阶矩；
通过公式：pc=(μ
cr
, σ
cr
, ξ
cr
, μ
cg
, σ
cg
, ξ
cg
, μ
cb
, σ
cb
, ξ
cb
)，，将每张绘画作品的颜色特征生成颜色特征集pc。
[0028]
具体的，步骤2所述将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y，包括以下步骤：步骤21，从[0.5,1]的范围内随机选择一个缩放因子s，并将图像缩放到s
×
原始分辨率；步骤22，从缩放后的图像中随机选取一个宽度和高度都为原始分辨率的窗口作为切割区域；步骤23，根据切割区域将图像切割为多个小块，其中，输入图像x为经过随机切割后的小块图像，目标图像y是对应的原始图像中与输入图像x相同的位置上的小块图像。
[0029]
具体的，步骤3所述建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练，包括以下步骤：步骤31，通过搭建生成器g和判别器d，建立2d生成模型；步骤32，定义损失函数，包括生成器损失和判别器损失；步骤33，基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练。
[0030]
进一步的，所述生成器定义式为：w=mlp(z)
ϵrdlatent
，(w,y1)=g
proj
(w,y1)
ϵrdlatent
，x=g (w,y1)
ϵrc*h*w
，其中，z 表示输入的低维噪声向量，mlp表示多层感知机，用于将输入的噪声向量 z映射成潜在空间中的样式向量w，dlatent代表潜在空间的维度，g
proj
表示可学习的投影层，用于将样式向量w和条件信息y1合并，并生成一个维度新向量 (w, y1)，g表示生成器模型，由多个 generator blocks组成，用于将输入的样式向量(w, y1)转化为高分辨率图像x1，c、h和w 分别代表图像的通道数、高度和宽度；进一步的，所述判别器定义式为：；其中，x表示输入图像，经过卷积和降采样处理后得到不同分辨率的特征图，si(x)表示对输入图像 x 进行第i层卷积和下采样处理后得到的特征图，di表示第i层的判别器模型，用于对第i层的特征图进行分类和评分，a
i 表示对应的判别器 di的权重系数，用于控制每个层次对最终分类结果的贡献度。
[0031]
进一步的，所述生成器损失为：lg=-e
(w,y1)~pdat
a[logd(g (w,y1))]，其中，pdata 表示输入训练集中的潜在向量和条件信息的分布，d表示判别器模型，用于评估输入的图像是否为真实图像，logd(g(w,y1))表示将生成器g产生的图像作为输入，并计算其经过判别器d后输出的概率的对数，e表示对所有输入训练集中的潜在向量和条件信息进行求和求平均的操作，lg表示生成器g的损失函数；进一步的，所述判别器损失为：
，其中，pdata(x)表示真实图像的分布，pg(z,y)表示生成器g产生的图像的分布，其中z表示输入的噪声向量，y1表示条件信息，d(x)表示将真实图像作为输入图像x输入后，判别器输出的概率；d(g(z,y))表示将生成器g产生的图像作为输入后，判别器输出的概率，a和b分别表示判别器尝试将真实图像和生成图像区分开来的阈值，e表示期望，表示对所有输入真实图像和生成图像进行求和求平均的操作，ld表示判别器d的损失函数。
[0032]
具体的，步骤33基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练，包括以下步骤：步骤331，初始化生成器和判别器：将生成器g和判别器d初始化为随机函数；步骤332，准备训练数据：从真实数据集中随机采样 mini-batch 数据，其中一半为真实图像，另一半为生成器 g 生成的假图像；步骤333，前向传播和反向传播：将采样的 mini-batch 数据输入到生成器 g 中获得假图像，并将真假图像分别输入到判别器 d 中计算判别概率。然后根据损失函数对生成器和判别器进行反向传播和更新参数；步骤334，计算损失函数：在前向传播和反向传播过程中，需要计算并记录损失函数的值；步骤335，重复所述初始化生成器和判别器至所述计算损失函数，以通过交替训练生成器和判别器，使损失函数下降。
[0033]
具体的，步骤4对训练后的2d生成模型进行优化及测试，包括：步骤41，对超参数进行调整和优化；步骤42，使用正则化技术，以避免过拟合；步骤43，在生成器中引入样式噪声层和投影层，增加生成多样性和图像细节；步骤44，使用测试集对模型进行测试，评估生成逼真2d模型的效果；步骤45，使用各种质量度量指标对生成的图像进行评估，例如多样性、真实感、清晰度等。
[0034]
具体的，步骤5将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作，包括：将单张绘画的向量z输入到生成器g中，输出生成的逼真2d图像，再进行后处理，例如去噪、亮度调整等，以提高其真实感和艺术性。
[0035]
如图2所示，本发明还提供了一种基于深度学习的单张绘画生成2d模型的系统，所述系统包括：获取模块，用于获取多张绘画分类为多个数据集，并对数据集进行预处理；处理模块，用于将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；生成模块，用于建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练；优化模块，用于对训练后的2d生成模型进行优化及测试；
输入模块，用于将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。
[0036]
与现有技术相比，本发明提供的有益效果是：本发明提供的基于深度学习的单张绘画生成2d模型的方法，可以基于单张绘画图像生成其特定的2d模型，可以应用于电影动画特效、游戏场景、虚拟试衣等多个领域；通过引入样式噪声层和投影层，增加了生成器的多样性和图像细节，提高了生成图像的真实感和艺术性；在模型训练中还应用了正则化技术和超参数调整优化，可以进一步提高生成器的稳定性和图像质量。
[0037]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的单张绘画生成2d模型的方法，其特征在于：包括以下步骤：获取多张绘画分类为多个数据集，并对数据集进行预处理；将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练；对训练后的2d生成模型进行优化及测试；将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。2.根据权利要求1所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述获取多张绘画分类为多个数据集，并对数据集进行预处理，包括以下步骤：对数据集进行图片缩放、图像增强及数据清洗；将数据集中的图像进行边缘检测，提取绘画作品的轮廓；根据绘画作品的轮廓对绘画作品的色彩特征进行提取。3.根据权利要求2所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述将数据集中的图像进行边缘检测，提取绘画作品的轮廓，包括：通过高斯滤波器平滑图像，利用公式二维高斯函数对图像进行平滑，其中，通过高斯函数的分布参数σ，控制平滑图像的程度，σ越小，滤波器的定位精度越高，信噪比越低，反之相反；通过公式：；；；计算绘画作品i中每个点的梯度幅值g和梯度θ方向，其中g
x
(i,j)和g
y
(i,j)分别为点(i,j)在x,y方向的偏导数；以点（i,j）为领域中心点，将领域中θ(i,j)方向上的每个点的梯度值g (i,j)进行比较，取其中梯度最大的值所在的点(i,j)作为候选边缘点，否则为非边缘点，得到候选边缘图像k；设定高阈值t
h
和低阈值t
l
，对获得的候选边缘点的任一点(i,j)进行检测，若点(i,j)出的梯度值g (i,j)＞t
h
，则判定该店为边缘点，若g (i,j)＜t
l
，则该点不为边缘点；若t
l
＜g (i,j)＜t
h
，则判断该点的领域是否存在边缘点，若存在则该点为边缘点，反之不为边缘点。4.根据权利要求3所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所
述根据绘画作品的轮廓对绘画作品的色彩特征进行提取，包括：通过公式：；；；计算绘画作品中颜色的一阶矩μ
ci
、二阶矩σ
ci
、三阶矩ξ
ci
；其中，n为图像中像素的个数，p
ci
为颜色值为c且颜色分量为i的像素出现的概率，c为绘画作品中包含的颜色种数；每种颜色有三个分量，每个分量各有三阶矩；通过公式：p
c
=(μ
cr
, σ
cr
, ξ
cr
, μ
cg
, σ
cg
, ξ
cg
, μ
cb
, σ
cb
, ξ
cb
)，，将每张绘画作品的颜色特征生成颜色特征集p
c
。5.根据权利要求4所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y，包括以下步骤：从[0.5,1]的范围内随机选择一个缩放因子s，并将图像缩放到s
×
原始分辨率；从缩放后的图像中随机选取一个宽度和高度都为原始分辨率的窗口作为切割区域；根据切割区域将图像切割为多个小块，其中，输入图像x为经过随机切割后的小块图像，目标图像y是对应的原始图像中与输入图像x相同的位置上的小块图像。6.根据权利要求5所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模型进行训练，包括以下步骤：通过搭建生成器g和判别器d，建立2d生成模型；定义损失函数，包括生成器损失和判别器损失；基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练。7.根据权利要求6所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述生成器定义式为：w=mlp(z)
ϵ
r
dlatent
，(w,y1)=g
proj
(w,y1)
ϵ
r
dlatent
，x=g (w,y1)
ϵ
r
c*h*w
，其中，z 表示输入的低维噪声向量，mlp表示多层感知机，用于将输入的噪声向量 z映射成潜在空间中的样式向量w，dlatent代表潜在空间的维度，g
proj
表示可学习的投影层，用于将样式向量w和条件信息y1合并，并生成一个维度新向量 (w, y1)，g表示生成器模型，由多个 generator blocks组成，用于将输入的样式向量(w, y1)转化为高分辨率图像x1，c、h和w 分别代表图像的通道
数、高度和宽度；所述判别器定义式为：；其中，x表示输入图像，经过卷积和降采样处理后得到不同分辨率的特征图，s
i
(x)表示对输入图像 x 进行第i层卷积和下采样处理后得到的特征图，d
i
表示第i层的判别器模型，用于对第i层的特征图进行分类和评分，a
i 表示对应的判别器 d
i
的权重系数，用于控制每个层次对最终分类结果的贡献度。8.根据权利要求7所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述生成器损失为：l
g
=-e
(w,y1)~pdat
a[logd(g (w,y1))]，其中，pdata 表示输入训练集中的潜在向量和条件信息的分布，d表示判别器模型，用于评估输入的图像是否为真实图像，logd(g(w,y1))表示将生成器g产生的图像作为输入，并计算其经过判别器d后输出的概率的对数，e表示对所有输入训练集中的潜在向量和条件信息进行求和求平均的操作，l
g
表示生成器g的损失函数；所述判别器损失为：，其中，pdata(x)表示真实图像的分布，pg(z,y)表示生成器g产生的图像的分布，其中z表示输入的噪声向量，y1表示条件信息，d(x)表示将真实图像作为输入图像x输入后，判别器输出的概率；d(g(z,y))表示将生成器g产生的图像作为输入后，判别器输出的概率，a和b分别表示判别器尝试将真实图像和生成图像区分开来的阈值，e表示期望，表示对所有输入真实图像和生成图像进行求和求平均的操作，l
d
表示判别器d的损失函数。9.根据权利要求8所述的基于深度学习的单张绘画生成2d模型的方法，其特征在于：所述基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2d生成模型的训练，包括以下步骤：初始化生成器和判别器：将生成器g和判别器d初始化为随机函数；准备训练数据：从真实数据集中随机采样 mini-batch 数据，其中一半为真实图像，另一半为生成器 g 生成的假图像；前向传播和反向传播：将采样的 mini-batch 数据输入到生成器 g 中获得假图像，并将真假图像分别输入到判别器d 中计算判别概率，根据损失函数对生成器和判别器进行反向传播和更新参数；计算损失函数：在前向传播和反向传播过程中，需要计算并记录损失函数的值；重复所述初始化生成器和判别器至所述计算损失函数，以通过交替训练生成器和判别器，使损失函数下降。10.一种基于深度学习的单张绘画生成2d模型的系统，其特征在于：所述系统包括：获取模块，用于获取多张绘画分类为多个数据集，并对数据集进行预处理；处理模块，用于将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；生成模块，用于建立2d生成模型，并以图像切割后的数据集作为训练样本，对2d生成模
型进行训练；优化模块，用于对训练后的2d生成模型进行优化及测试；输入模块，用于将单张绘画作为输入图像输入至测试后的2d生成模型中，并对2d生成模型输出的2d模型进行后处理操作。

技术总结
一种基于深度学习的单张绘画生成2D模型的方法及系统本发明涉及一种基于深度学习的单张绘画生成2D模型的方法及系统，包括以下步骤：获取多张绘画分类为多个数据集，并对数据集进行预处理；将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；建立2D生成模型，并以图像切割后的数据集作为训练样本，对2D生成模型进行训练；对训练后的2D生成模型进行优化及测试；将单张绘画作为输入图像输入至测试后的2D生成模型中，并对2D生成模型输出的2D模型进行后处理操作。本发明可以基于单张绘画图像生成其特定的2D模型，可以应用于电影动画特效、游戏场景、虚拟试衣等多个领域。域。域。


技术研发人员：甘凌 顾大桐 王步国
受保护的技术使用者：北京元跃科技有限公司
技术研发日：2023.05.18
技术公布日：2023/8/13