图像处理方法、装置、计算机设备和计算机可读存储介质与流程

1.本技术涉及计算机
技术领域：
：，特别是涉及一种图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术：
：：2.随着计算机技术的发展，越来越多的用户通过电子设备进行线稿绘制。而对绘制的线稿图进行上色在绘制流程中十分重要，但是通过人工对线稿图上色通常需要耗费较多的时间。因此，出现了对线稿图进行自动上色的技术。3.传统的线稿图自动上色方式一般是通过用户选择颜色和指定线稿图中的图像区域，将所选择的颜色自动填充到图像区域中。但这种方式只是将颜色简单填充到图像区域中，各图像区域之间颜色分明，导致最终得到的图像的颜色在视觉上并不协调。技术实现要素：4.基于此，有必要针对上述技术问题，提供一种能够提升颜色协调性的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。5.本技术提供了一种图像处理方法，所述方法包括：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。6.本技术还提供了一种图像处理装置，所述装置包括：纹理特征提取模块，用于获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；噪声特征提取模块，用于获取从预设噪声图像中提取的所述多尺度的噪声特征；颜色获取模块，用于获取所述线稿图像对应的颜色引导信息；编码模块，用于针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；解码模块，用于对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。7.本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。8.本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。9.本技术还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。10.上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征，所提取的大尺度的线稿纹理特征包含了更多的低层次语义特征，小尺度线稿纹理特征包含了更多高层次语义特征。获取从预设噪声图像中提取的多尺度的噪声特征，将多尺度的线稿纹理特征和线稿图像对应的颜色引导信息作为噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，从而通过编码生成融合了线稿纹理特征和颜色引导信息所指示的颜色的图像特征。并且，使得线稿纹理和颜色相融合，使得后续生成的图像中的颜色能够贴合线稿纹理的走向。该编码是多尺度的，能够获得融合了不同尺度的线稿纹理特征和该颜色的图像特征，以对多尺度的图像特征进行多尺度的解码，从而在解码过程中关注到不同层次的纹理，能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像。并且，使得上色图像中颜色与线稿纹理的搭配更协调，从而提高了所生成的上色图像的图像质量。11.本技术还提供了一种图像处理模型的训练方法，所述方法包括：获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的所述多尺度的样本噪声特征；获取所述样本线稿图像对应的样本颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。12.本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的所述多尺度的样本噪声特征；获取所述样本线稿图像对应的样本颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。13.本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的所述多尺度的样本噪声特征；获取所述样本线稿图像对应的样本颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。14.本技术还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的所述多尺度的样本噪声特征；获取所述样本线稿图像对应的样本颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。15.上述图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征，大尺度的样本线稿纹理特征包含了更多的低层次语义特征，小尺度样本线稿纹理特征包含了更多高层次语义特征。获取从样本噪声图像中提取的多尺度的样本噪声特征，将多尺度的样本线稿纹理特征和样本线稿图像对应的样本颜色引导信息作为样本噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，从而通过编码生成融合了样本线稿纹理特征和样本颜色引导信息所指示的颜色的样本图像特征。并且，使得样本线稿纹理和颜色相融合，有助于后续生成的图像中的颜色能够贴合线稿纹理的走向。16.该编码是多尺度的，能够获得融合了不同尺度的样本线稿纹理特征和该颜色的样本图像特征，以对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，获取样本线稿图像对应的标签上色图像，以基于预测上色图像和标签上色图像之间的差异对图像处理初始模型进行训练，以调整模型参数，使得训练获得的图像处理模型所生成的预测上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。并且，训练获得的图像处理模型能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像，且上色图像中颜色与线稿纹理的搭配更协调，从而提高了上色图像的图像质量。附图说明17.图1为一个实施例中图像处理方法的应用环境图；图2为一个实施例中图像处理方法的流程示意图；图3为一个实施例中图像处理模型的框架示意图；图4为一个实施例中颜色控制单元的架构图；图5为一个实施例中线稿图像和网格色块图像的示意图；图6为一个实施例中获得图层色块图像的步骤的流程示意图；图7为一个实施例中线稿图像和初始图层色块图像的示意图；图8为一个实施例中图层色块图像的示意图；图9为一个实施例中图像处理模型的训练方法流程示意图；图10为一个实施例中传统扩散模型与图像处理初始模型的区别示意图；图11为一个实施例中增加线稿控制分支的网络结构的示意图；图12为一个实施例中无自定义色板图像时所生成的上色图像的示意图；图13为一个实施例中结合网格色块图像所生成的上色图像的示意图；图14为一个实施例中结合图层色块图像所生成的上色图像的示意图；图15为一个实施例中图像处理方法的应用场景的示意图；图16为一个实施例中图像处理装置的结构框图；图17为一个实施例中图像处理模型的训练装置的结构框图；图18为一个实施例中计算机设备的内部结构图。具体实施方式18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。19.本技术实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。例如，可应用于人工智能(artificialintelligence，ai)
技术领域：
：，其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本技术实施例提供的方案涉及人工智能的图像处理方法和图像处理模型的训练方法，具体通过如下各实施例进行说明。20.本技术实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。终端102和服务器104均可单独执行本技术实施例中提供的图像处理方法。终端102和服务器104也可协同用于执行本技术实施例中提供的图像处理方法。当终端102和服务器104协同用于执行本技术实施例中提供的图像处理方法时，终端102获取线稿图像发送给服务器104。服务器104基于线稿图像提取多尺度的线稿纹理特征，服务器104获取从预设噪声图像中提取的多尺度的噪声特征。终端102获取线稿图像对应的颜色引导信息发送给服务器104。针对多尺度的每个尺度，服务器104参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。服务器104对多尺度的图像特征进行多尺度的解码，获得上色图像；上色图像具备线稿图像的线稿纹理，且具有颜色引导信息所指示的颜色。服务器104将上色图像返回至终端102。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。21.本技术实施例提供的图像处理模型的训练方法，可以应用于如图1所示的应用环境中。终端102和服务器104均可单独执行本技术实施例中提供的图像处理模型的训练方法。终端102和服务器104也可协同用于执行本技术实施例中提供的图像处理模型的训练方法。当终端102和服务器104协同用于执行本技术实施例中提供的图像处理模型的训练方法时，终端102从服务器104获取样本线稿图像和样本噪声图像，终端102基于样本线稿图像提取多尺度的样本线稿纹理特征。终端102获取从样本噪声图像中提取的多尺度的样本噪声特征。终端102从服务器104获取样本线稿图像对应的样本颜色引导信息。针对多尺度的每个尺度，终端102参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。终端102对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像。终端102获取样本线稿图像对应的标签上色图像，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型；标签上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。图像处理模型可部署在终端102或服务器104上。22.在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：步骤s202，获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征。23.其中，线稿图像是线条组成，没有上色的图像。线稿纹理特征是指线稿图像中能够表征纹理结构的特征。24.具体地，计算机设备获取需要上色的线稿图像，对线稿图像进行特征提取，得到多尺度的线稿纹理特征。25.本实施例中，通过图像处理模型对线稿图像进行特征提取，得到多尺度的线稿纹理特征。26.本实施例中，图像处理模型包括线稿控制单元和颜色控制单元。计算机设备将线稿图像输入线稿控制单元，通过线稿控制单元对线稿图像进行特征提取，得到多尺度的线稿纹理特征。27.步骤s204，获取从预设噪声图像中提取的多尺度的噪声特征。28.其中，预设噪声图像是预先设置的纯噪声图像，例如可以是高斯噪声形成的噪声图像，但不限于此。多尺度例如，，，等。29.具体地，计算机设备获取预设噪声图像，对预设噪声图像进行特征提取，得到对应的噪声特征。进一步地，可通过特征提取得到多尺度的噪声特征。30.本实施例中，预设噪声图像是存储在图像处理模型中的预先设置的噪声图像。通过图像处理模型对预设噪声图像进行特征提取，得到多尺度的噪声特征。进一步地，该多尺度的线稿纹理特征对应的尺度数量与多尺度的噪声特征对应的尺度数量相同，例如均包括5个尺度。31.在一个实施例中，计算机设备获取从预设噪声图像中提取的噪声特征；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对噪声特征进行所针对尺度下的编码，获得多尺度的图像特征。32.进一步地，获取从预设噪声图像中提取的噪声特征，包括：获取从预设噪声图像中提取的多尺度的噪声特征；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对噪声特征进行所针对尺度下的编码，获得多尺度的图像特征，包括：针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。33.步骤s206，获取线稿图像对应的颜色引导信息。34.其中，颜色引导信息是用于引导线稿图像上色的信息。该颜色引导信息用于定义线稿图像的颜色，具体可以是用户对线稿图像自定义的颜色信息。用户对线稿图像自定义的颜色信息，可以是对线稿图像中的至少一个区域自定义的颜色。用户对线稿图像自定义的颜色信息，可以通过自定义颜色填充形成的自定义色板图像表征，也可以通过对线稿图像的颜色描述文本表示。35.具体地，计算机设备获取用户对线稿图像自定义的颜色引导信息，或者从预设的多个颜色随机种子中随机获取一个颜色随机种子作为颜色引导信息。该颜色随机种子可包含一种或多种颜色，该颜色随机种子中还可以设置图像中不同的内容对应的颜色，例如植物对应绿色，天空和海水对应蓝色等，但不限于此。36.本实施例中，计算机设备可获取颜色描述文本作为颜色引导信息，颜色描述文本用于描述线稿图像的颜色，具体可以是描述线稿图像中的至少一部分内容的颜色。即，颜色描述文本可以是用户对线稿图像的颜色自定义的文本。例如，线稿图像中描绘了猫和狗，颜色描述文本中描述猫的颜色为白色，狗的颜色为黄色，则后续生成的上色图像中包括白色的猫和黄色的狗。37.本实施例中，计算机设备可获取线稿图像对应的自定义色板图像作为颜色引导信息，该自定义色板图像是用户对线稿图像的颜色进行自定义获得的图像。38.步骤s208，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。39.其中，图像特征是融合了线稿纹理特征和颜色引导信息指示的颜色所形成的特征。多尺度的图像特征中每个尺度的图像特征融合了上一尺度的图像特征。40.具体地，计算机设备确定颜色引导信息所指示的颜色。针对多尺度的每个尺度，计算机设备参考所针对尺度的线稿纹理特征和颜色引导信息所指示的颜色，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。41.进一步地，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：针对多尺度的每个尺度，当所针对尺度为多个尺度中的首个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，得到所针对尺度的图像特征；当所针对尺度不是多个尺度中的首个尺度，参考所针对尺度的线稿纹理特征、颜色引导信息和所针对尺度的上一尺度的图像特征，对所针对尺度下的噪声特征进行编码，得到所针对尺度的图像特征。42.本实施例中，针对多尺度的每个尺度，当所针对尺度为多个尺度中的首个尺度，将所针对尺度的线稿纹理特征、颜色引导信息的颜色特征和所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征；当所针对尺度不是多个尺度中的首个尺度，将所针对尺度的线稿纹理特征、颜色引导信息的颜色特征、所针对尺度的上一尺度的图像特征和所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征。43.本实施例中，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：对颜色引导信息进行特征提取，得到对应的颜色特征；针对多尺度的每个尺度，将颜色特征、所针对尺度的线稿纹理特征和所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征，从而获得多尺度的图像特征。44.步骤s210，对多尺度的图像特征进行多尺度的解码，获得上色图像；上色图像具备线稿图像的线稿纹理，且具有颜色引导信息所指示的颜色。45.具体地，计算机设备对多尺度的图像特征进行多尺度的解码，在进行最后一尺度的解码后，得到上色图像。该上色图像具备线稿图像的线稿纹理，且具有颜色引导信息所指示的颜色。46.本实施例中，针对多尺度的解码中的每个尺度，参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征；进入下一尺度的解码，将得到的所针对尺度的解码特征作为下一尺度的解码中的上一尺度的解码特征，并返回对所针对尺度的上一尺度的解码特征进行解码的步骤并继续执行，直至进行最后一尺度的解码后，得到上色图像。47.本实施例中，在编码中的多个尺度的编码顺序与在解码中的多个尺度的解码顺序相反。48.本实施例中，获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征，所提取的大尺度的线稿纹理特征包含了更多的低层次语义特征，小尺度线稿纹理特征包含了更多高层次语义特征。获取从预设噪声图像中提取的多尺度的噪声特征，将多尺度的线稿纹理特征和线稿图像对应的颜色引导信息作为噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，从而通过编码生成融合了线稿纹理特征和颜色引导信息所指示的颜色的图像特征。并且，线稿纹理和颜色相融合，有助于后续生成的图像中的颜色能够贴合线稿纹理的走向。49.该编码是多尺度的，能够获得融合了不同尺度的线稿纹理特征和该颜色的图像特征，以对多尺度的图像特征进行多尺度的解码，从而在解码过程中关注到不同层次的纹理，能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像。并且，使得上色图像中颜色与线稿纹理的搭配更协调，从而提高了上色图像的图像质量。50.在其中一个实施例中，颜色引导信息包括自定义色板图像，自定义色板图像用于自定义线稿图像的颜色；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：对自定义色板图像进行特征提取，得到自定义色板图像对应的色板特征；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。51.其中，自定义色板图像是用户针对线稿图像进行颜色自定义形成的色板图像。即该自定义色板图像用于用户自定义线稿图像的颜色。52.具体地，用户可针对线稿图像进行颜色自定义，得到线稿图像对应的自定义色板图像。计算机设备对自定义色板图像进行特征提取，得到自定义色板图像对应的色板特征。53.针对多尺度的每个尺度，计算机设备将所针对尺度的线稿纹理特征和色板特征，以及所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征。按照类似的处理，可得到多尺度的图像特征。54.本实施例中，针对多尺度的每个尺度，当所针对尺度为多个尺度中的首个尺度，将所针对尺度的线稿纹理特征和色板特征，以及所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征；当所针对尺度不是多个尺度中的首个尺度，将所针对尺度的线稿纹理特征、色板特征、所针对尺度的上一尺度的图像特征、以及所针对尺度下的噪声特征进行融合处理，得到所针对尺度的图像特征，以获得多尺度的图像特征。55.本实施例中，自定义色板图像是用户自定义线稿图像的颜色的色板图像，通过对用户自定义的色板图像进行特征提取，得到自定义色板图像对应的色板特征，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，能够将噪声特征编码为融合了线稿纹理特征和色板特征的图像特征，从而能够将线稿图像和相应的颜色信息作为引导信息，使得从预设噪声图像中生成具备用户想要的线稿纹理和自定义颜色的图像。并且，进行了多个尺度的编码，所获得的多尺度的图像特征能够包含线稿纹理和颜色的浅层信息和深层信息，使得解码生成的图像纹理更清晰细腻、颜色更协调。56.在其中一个实施例中，自定义色板图像对应不同尺度的色板特征，不同尺度的色板特征对应的尺度数量少于多尺度的线稿纹理特征对应的尺度数量；多尺度的线稿纹理特征对应的尺度数量与多尺度的噪声特征对应的尺度数量相同；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：针对多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征；当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征。57.其中，自定义色板图像对应不同尺度的色板特征，不同尺度的色板特征对应的尺度数量少于多尺度的线稿纹理特征对应的尺度数量。例如，不同尺度的色板特征对应3个尺度，多尺度的线稿纹理特征对应5个尺度。多尺度的线稿纹理特征对应的尺度数量与多尺度的噪声特征对应的尺度数量相同。58.具体地，计算机设备对自定义色板图像进行特征提取，得到自定义色板图像对应的不同尺度的色板特征。进一步地，计算机设备对自定义色板图像进行首个尺度的特征提取，得到首个尺度的色板特征。对首个尺度的色板特征进行下一个尺度的特征处理，得到下一个尺度的特征处理，按照类似的处理，可得到不同尺度的色板特征。59.对于多个尺度的图像特征、多个尺度的噪声特征和不同尺度的色板特征，针对多个尺度的每个尺度，计算机设备确定是否存在所针对尺度的色板特征，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征，从而得到融合了色板特征、线稿纹理特征的图像特征。60.当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征，从而得到融合了线稿纹理特征的图像特征。61.本实施例中，颜色和纹理属于不同层级的语义，颜色属于低层级语义，纹理属于高层级语义信息，因此对颜色提取较少尺度的特征，对线稿图像的线稿纹理提取较多尺度的特征。针对多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，使得能够将线稿纹理特征和色板特征作为引导信息，指示基于噪声特征在编码中融合了线稿纹理特征和色板特征，从而获得所针对尺度下的融合了相应尺度的线稿纹理特征和色板特征的图像特征。当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，以将线稿纹理特征作为引导信息，指示基于噪声特征在编码中融合线稿纹理特征，从而获得获得所针对尺度下的融合了相应尺度的线稿纹理特征的图像特征。这次融合了不同层次的线稿纹理和颜色的图像特征能够更准确地进行图像重建，使得重建获得的上色图像中的线稿纹理更清晰细腻、颜色更协调自然，从而提高了图像质量。62.在一个实施例中，该图像处理方法通过图像处理模型执行，该图像处理模型包括线稿控制单元、颜色控制单元和图像生成单元。该图像处理模型的框架如图3所示，通过线稿控制单元对线稿图像提取多尺度的线稿纹理特征，通过颜色控制单元对自定义色板图像提取不同尺度的色板特征。通过图像生成单元提取预设噪声图像的多尺度的噪声特征，将多尺度的线稿纹理特征和不同尺度的色板特征输入图像生成单元，与相应尺度的噪声特征进行编码，获得多尺度的图像特征。在图像生成单元中对多尺度的图像特征进行解码，得到上色图像。63.如图4所示，为一个实施例中颜色控制单元的架构图。该颜色控制单元中包括多个残差块，通过多个残差块能够提取自定义色板图像不同尺度的色板特征。可以理解的是，颜色控制单元中残差块的数量可以根据需求设置。64.在图像处理模型的训练过程中，颜色控制单元的输入还包括时序特征timeembedding。65.在一个实施例中，自定义色板图像包括线稿图像对应的网格色块图像，该方法还包括：获取按照网格色块划分的色板模板，将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中的各网格区域；获取对色板模板中的每个网格色块进行自定义颜色填充所形成的网格色块图像；每个网格色块用于定义线稿图像中相应网格区域的颜色；其中，上色图像具备线稿图像的线稿纹理，且上色图像中的各网格区域具有网格色块图像中相应的网格色块所填充的颜色。66.具体地，计算机设备获取色板模板，该色板图像是按照网格色块划分的。色板模板的尺寸与线稿图像的尺寸相同。计算机设备将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中的各网格区域，使得每个网格区域表征线稿图像中的一个图像内容，且使得每个网格色块对应线稿图像中的一个网格区域。线稿图像和对应的网格色块图像如图5所示，图5中还显示了线稿图像中的各网格区域和网格色块图像中的各网格色块之间的对应关系。67.用户可在色板模板的每个网格色块中填充颜色，以自定义网格色块对应的网格区域的颜色，使得后续生成的上色图像中网格区域所表征的图像内容能够显示为在网格色块中所填充的颜色。68.用户对色板模板中的每个网格色块进行自定义颜色填充，形成网格色块图像。计算机设备获取该网格色块图像，对该网格色块图像进行特征提取，得到网格色块图像对应的网格色块特征。该网格色块特征即可作为色板特征。针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。69.计算机设备对多尺度的图像特征进行多尺度的解码，获得上色图像，该上色图像具备线稿图像的线稿纹理，且上色图像中的各网格区域具有网格色块图像中相应的网格色块所填充的颜色。70.本实施例中，当线稿图像的尺寸与色板模板的尺寸不同时，将线稿图像和色板模板调整为相同的尺寸。在相同的尺寸下，将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中的各网格区域。71.其中，调整尺寸可以是将线稿图像的尺寸调整为与色板模板的尺寸相同，也可以将色板模板的尺寸调整为与线稿图像的尺寸，还可同时调整线稿图像和色板模板的尺寸。72.本实施例中，获取按照网格色块划分的色板模板，将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中表征图像区域的各网格区域，使得该线稿图像的各网格区域与色板模板的各网格色块相对应，使得用户能够通过在网格色块中填充颜色来定义线稿图像中每个图像区域的颜色，有效实现用户对线稿图像的颜色自定义。并且，后续将用户自定义的颜色作为特征编码和解码中的引导信息，使得最终生成的上色图像不仅具备线稿图像的线稿纹理，上色图像中的各网格区域还具有用户在相应网格色块所填充的颜色，有效实现了自定义颜色的线稿图像的生成。73.在一个实施例中，如图6所示，自定义色板图像包括线稿图像对应的图层色块图像，该方法还包括：步骤s602，对线稿图像进行随机颜色填充，得到有色图像。74.具体地，计算机设备可自动对线稿图像进行随机颜色填充，得到有色图像。75.该有色图像中包括至少两种颜色。76.步骤s604，对有色图像进行图像分割处理，得到线稿图像的对应的初始图层色块图像，该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块。77.具体地，计算机设备对有色图像进行图像分割处理，得到有色图像对应的初始图层色块图像。该初始图层色块图像表征该有色图像中各图像区域的颜色。78.该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块，图层色块表征相应图像区域的颜色。各图层色块中相邻的图层色块的颜色不同。79.该有色图像对应的初始图层色块图像，即为线稿图像对应的初始图层色块图像。该初始图层色块图像表征该有色图像中各图像区域的颜色，即该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块。80.步骤s606，基于对初始图层色块图像中至少一个图层色块的自定义颜色调整，获得图层色块图像。81.其中，上色图像具备线稿图像的线稿纹理，且上色图像中的各图像区域具有图层色块图像中相应的图层色块所指示的颜色。82.具体地，用户可对初始图层色块图像中的各图层色块的颜色进行调整，以调整为自己想要的颜色。计算机设备基于用户的自定义颜色调整，获得调整后的图层色块图像。83.例如，对有色图像a进行图像分割，得到初始图层色块图像b，该初始图层色块图像b中包括图层色块1、2、3，每个图层色块表征有色图像a的相应图像区域的颜色。用户调整图层色块1、2、3中至少一个的颜色，得到颜色调整后的各图层色块1、2、3，颜色调整后的各图层色块1、2、3即形成图层色块图像c。84.如图7所示，提供了线稿图像和线稿图像对应的初始图层色块图像，用户对初始图层色块图像中的图层色块进行颜色调整后，得到如图8所示的图层色块图像。85.计算机设备对图层色块图像进行特征提取，得到对应的图层色块特征。该图层色块特征即可作为色板特征。针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。86.本实施例中，对线稿图像进行随机颜色填充，得到有色图像，使得能够对有色图像进行图像分割处理，准确分割出有色图像中的各图层色块。各图层色块形成有色图像对应的初始图层色块图像。该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块，用户可以对各图层色块进行颜色调整，以重新定义自己想要的颜色，从而得到用户自定义的图层色块图像。并且，后续将用户自定义的颜色作为特征编码和解码中的引导信息，使得最终生成的上色图像不仅具备线稿图像的线稿纹理，上色图像中的各图像区域还具有用户在相应图层色块所填充的颜色，有效实现了自定义颜色的线稿图像的生成。87.在一个实施例中，该方法还包括：获取针对线稿图像的图像描述文本，该图像描述文本用于描述线稿图像的特征；对图像描述文本进行特征提取，得到对应的图像描述特征；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征、颜色引导信息和图像描述特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。88.其中，图像描述文本用于描述线稿图像的特征，例如线稿图像中存在太阳，但线条比较模糊，则通过图像描述文本“图像中左上方有太阳”即可描述该线稿图像中的太阳及太阳在图像中的位置。图像描述文本能够为不够清晰的线稿图像提供相应的描述信息，作为线稿图像中至少一部分内容的补充，使得后续生成的上色图像更清楚。89.图像描述文本也可以定义线稿图像中的内容，例如，线稿图像中没有太阳，而图像描述文本为“图像中左上方有太阳”，使得后续生成的上色图像的左上方存在太阳。90.具体地，计算机设备获取针对线稿图像的图像描述文本，对图像描述文本进行特征提取，得到图像描述文本对应的图像描述特征。针对多尺度的每个尺度，计算机设备参考所针对尺度的线稿纹理特征、颜色引导信息和图像描述特征，对所针对尺度下的噪声特征进行编码，以融合线稿纹理特征、颜色引导信息所指示的颜色和图像描述特征，获得融合了这些特征的图像特征，从而获得多尺度的图像特征。91.本实施例中，获取针对线稿图像的图像描述文本，以通过图像描述文本描述线稿图像的特征，作为线稿图像的补充信息。对图像描述文本进行特征提取，得到对应的图像描述特征，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征、颜色引导信息和图像描述特征，对所针对尺度下的噪声特征进行编码，使得编码得到的图像特征融合了相应尺度的线稿纹理、线稿纹理特征所指示的颜色，并且编码得到的图像特征还具备图像描述特征所描述的特征信息，使得在编码中获得线稿图像中不具备的图像内容或结合图像描述特征将线稿图像中原来不清晰的特征变成了清晰的特征。并且进行多个尺度的编码，可得到多尺度的图像特征，尺度越大的图像特征具备更多深层图像信息，尺度越小的图像特征具备更多的浅层图像信息，从而能够获得不同层次的图像信息。92.在一个实施例中，对多尺度的图像特征进行多尺度的解码，获得上色图像，包括：针对多尺度的解码中的每个尺度，当所针对尺度为多尺度的解码中的首个尺度，参考所针对尺度的图像特征，对编码得到的最后一尺度的图像特征进行解码，得到所针对尺度的解码特征；当所针对尺度不是多尺度的解码中的首个尺度或最后一尺度，参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征；当所针对尺度为最后一尺度，参考所针对尺度的图像特征，对最后一尺度的上一尺度的解码特征进行解码，得到上色图像。93.具体地，针对多尺度的解码中的每个尺度，当所针对尺度为多尺度的解码中的首个尺度，计算机设备参考所针对尺度的图像特征，对编码得到的最后一尺度的图像特征进行解码，得到所针对尺度的解码特征。当所针对尺度不是多尺度的解码中的首个尺度或最后一尺度，计算机设备参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征。当所针对尺度为最后一尺度，计算机设备参考所针对尺度的图像特征，对最后一尺度的上一尺度的解码特征进行解码，得到上色图像。94.本实施例中，针对多尺度的解码过程，在每个尺度的解码中，将相应尺度的图像特征作为进行该尺度的解码时的参考，使得能够将编码特征作为解码特征解码的参考，能够有效避免解码出错，提高解码的准确性。并且，不同尺度的解码中，每个尺度解码的特征均为上个尺度解码得到的特征，从而能够对解码特征进行逐步解码，以逐步重建图像的纹理细节和颜色信息，准确重建出具有线稿纹理和颜色的上色图像。95.在一个实施例中，该方法还包括：获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的多尺度的样本噪声特征；获取样本线稿图像对应的样本颜色引导信息；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取样本线稿图像对应的标签上色图像，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型；标签上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。96.本技术还提供了一种图像处理模型的训练方法，如图9所示，以该方法应用于图1中的计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：步骤s902，获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征。97.其中，样本线稿图像是线条组成，没有上色的图像。样本线稿纹理特征是指样本线稿图像中能够表征纹理结构的特征。98.具体地，计算机设备获取需要上色的样本线稿图像，对样本线稿图像进行特征提取，得到多尺度的样本线稿纹理特征。99.本实施例中，通过图像处理初始模型对样本线稿图像进行特征提取，得到多尺度的样本线稿纹理特征。100.步骤s904，获取从样本噪声图像中提取的多尺度的样本噪声特征。101.其中，样本噪声图像是预先设置的纯噪声图像，例如可以是高斯噪声形成的噪声图像，但不限于此。102.具体地，计算机设备获取样本噪声图像，对样本噪声图像进行特征提取，得到对应的样本噪声特征。进一步地，可通过特征提取得到多尺度的样本噪声特征。103.本实施例中，样本噪声图像是存储在图像处理初始模型中的预先设置的噪声图像。通过图像处理模型对样本噪声图像进行特征提取，得到多尺度的样本噪声特征。进一步地，该多尺度的样本线稿纹理特征对应的尺度数量与多尺度的样本噪声特征对应的尺度数量相同，例如均包括5个尺度。104.在一个实施例中，计算机设备获取从样本噪声图像中提取的样本噪声特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对样本噪声特征进行所针对尺度下的编码，获得多尺度的样本图像特征。105.进一步地，获取从样本噪声图像中提取的样本噪声特征，包括：获取从样本噪声图像中提取的多尺度的样本噪声特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对样本噪声特征进行所针对尺度下的编码，获得多尺度的样本图像特征，包括：针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。106.步骤s906，获取样本线稿图像对应的样本颜色引导信息。107.其中，样本颜色引导信息是用于引导样本线稿图像上色的信息。该样本颜色引导信息用于定义样本线稿图像的颜色，具体可以是用户对样本线稿图像自定义的颜色信息。用户对样本线稿图像自定义的颜色信息，可以是对样本线稿图像中的至少一个区域自定义的颜色。用户对样本线稿图像自定义的颜色信息，可以通过自定义颜色填充形成的样本自定义色板图像表征，也可以通过对样本线稿图像的样本颜色描述文本表示。108.具体地，计算机设备获取用户对样本线稿图像自定义的样本颜色引导信息，或者从预设的多个样本颜色随机种子中随机获取一个样本颜色随机种子作为样本颜色引导信息。该样本颜色随机种子可包含一种或多种颜色，该样本颜色随机种子中还可以设置图像中不同的内容对应的颜色，例如植物对应绿色，天空和海水对应蓝色等，但不限于此。109.本实施例中，计算机设备可获取样本颜色描述文本作为样本颜色引导信息，样本颜色描述文本用于描述线稿图像的颜色，具体可以是描述样本线稿图像中的至少一部分内容的颜色。110.本实施例中，计算机设备可获取样本线稿图像对应的样本自定义色板图像作为样本颜色引导信息，该样本自定义色板图像是用户对样本线稿图像的颜色进行自定义获得的图像。111.步骤s908，针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。112.其中，样本图像特征是融合了样本线稿纹理特征和样本颜色引导信息指示的颜色所形成的特征。多尺度的样本图像特征中每个尺度的样本图像特征融合了上一尺度的样本图像特征。113.具体地，计算机设备确定样本颜色引导信息所指示的颜色。针对多尺度的每个尺度，计算机设备参考所针对尺度的样本线稿纹理特征和样本颜色引导信息所指示的颜色，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。114.本实施例中，样本颜色引导信息包括样本自定义色板图像，样本自定义色板图像用于自定义样本线稿图像的颜色；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征，包括：对样本自定义色板图像进行特征提取，得到样本自定义色板图像对应的样本色板特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。115.本实施例中，样本自定义色板图像对应不同尺度的样本色板特征，不同尺度的样本色板特征对应的尺度数量少于多尺度的样本线稿纹理特征对应的尺度数量；多尺度的样本线稿纹理特征对应的尺度数量与多尺度的样本噪声特征对应的尺度数量相同；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征，包括：针对多尺度的每个尺度，当存在所针对尺度下的样本色板特征，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得所针对尺度下的样本图像特征；当不存在所针对尺度下的样本色板特征，参考所针对尺度的样本线稿纹理特征，对所针对尺度下的样本噪声特征进行编码，获得所针对尺度下的样本图像特征。116.在其他实施例中，样本自定义色板图像包括样本线稿图像对应的样本网格色块图像，该方法还包括：获取按照样本网格色块划分的样本色板模板，将线稿图像按照线稿图像所划分的网格进行划分，得到样本线稿图像中的各样本网格区域；获取对样本色板模板中的每个样本网格色块进行自定义颜色填充所形成的样本网格色块图像；每个样本网格色块用于定义样本线稿图像中相应样本网格区域的颜色；其中，标签上色图像具备样本线稿图像的线稿纹理，且标签上色图像中的各网格区域具有样本网格色块图像中相应的样本网格色块所填充的颜色。117.本实施例中，样本自定义色板图像包括样本线稿图像对应的样本图层色块图像，该方法还包括：对样本线稿图像进行随机颜色填充，得到样本有色图像；对样本有色图像进行图像分割处理，得到样本线稿图像的对应的样本初始图层色块图像，样本初始图层色块图像包括样本线稿图像中各样本图像区域各自对应的样本图层色块；基于对样本初始图层色块图像中至少一个样本图层色块的自定义颜色调整，获得样本图层色块图像；其中，标签上色图像具备样本线稿图像的线稿纹理，且标签上色图像中的各图像区域具有样本图层色块图像中相应的样本图层色块所指示的颜色。118.步骤s910，对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像。119.具体地，计算机设备对多尺度的样本图像特征进行多尺度的解码，在进行最后一尺度的解码后，得到预测上色图像。该预测上色图像可能具备样本线稿图像的线稿纹理，且可能具有样本颜色引导信息所指示的颜色。120.本实施例中，针对多尺度的解码中的每个尺度，参考所针对尺度的样本图像特征，对所针对尺度的上一尺度的样本解码特征进行解码，得到所针对尺度的样本解码特征；进入下一尺度的解码，将得到的所针对尺度的样本解码特征作为下一尺度的解码中的上一尺度的样本解码特征，并返回对所针对尺度的上一尺度的样本解码特征进行解码的步骤并继续执行，直至进行最后一尺度的解码后，得到预测上色图像。121.本实施例中，在编码中的多个尺度的编码顺序与在解码中的多个尺度的解码顺序相反。122.本实施例中，对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，包括：针对多尺度的解码中的每个尺度，当所针对尺度为多尺度的解码中的首个尺度，参考所针对尺度的样本图像特征，对编码得到的最后一尺度的样本图像特征进行解码，得到所针对尺度的样本解码特征；当所针对尺度不是多尺度的解码中的首个尺度或最后一尺度，参考所针对尺度的样本图像特征，对所针对尺度的上一尺度的样本解码特征进行解码，得到所针对尺度的样本解码特征；当所针对尺度为最后一尺度，参考所针对尺度的样本图像特征，对最后一尺度的上一尺度的样本解码特征进行解码，得到预测上色图像。123.步骤s912，获取样本线稿图像对应的标签上色图像，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型；标签上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。124.其中，标签上色图像为模型训练中的标签，标签上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。125.本实施例中，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型，包括：确定预测上色图像和标签上色图像之间的纹理损失和颜色损失中的至少一种，基于纹理损失和颜色损失中的至少一种对图像处理初始模型进行训练，获得图像处理模型。126.其他实施例中，标签上色图像可以是当前迭代的上一次迭代中输出的预测上色图像。127.本实施例中，获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征，大尺度的样本线稿纹理特征包含了更多的低层次语义特征，小尺度样本线稿纹理特征包含了更多高层次语义特征。获取从样本噪声图像中提取的多尺度的样本噪声特征，将多尺度的样本线稿纹理特征和样本线稿图像对应的样本颜色引导信息作为样本噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，从而通过编码生成融合了样本线稿纹理特征和样本颜色引导信息所指示的颜色的样本图像特征。并且，使得样本线稿纹理和颜色相融合，有助于后续生成的图像中的颜色能够贴合线稿纹理的走向。128.该编码是多尺度的，能够获得融合了不同尺度的样本线稿纹理特征和该颜色的样本图像特征，以对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，获取样本线稿图像对应的标签上色图像，以基于预测上色图像和标签上色图像之间的差异对图像处理初始模型进行训练，以调整模型参数，使得训练获得的图像处理模型所生成的预测上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。并且，训练获得的图像处理模型能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像，且上色图像中颜色与线稿纹理的搭配更协调，从而提高了上色图像的图像质量。129.在一个实施例中，该方法还包括：获取针对样本线稿图像的样本图像描述文本，样本图像描述文本用于描述样本线稿图像的特征；对样本图像描述文本进行特征提取，得到对应的样本图像描述特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征，包括：针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征、样本颜色引导信息和样本图像描述特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。130.在一个实施例中，该图像处理初始模型包括线稿控制初始单元，线稿控制初始单元用于提取多尺度的样本线稿纹理特征；基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型，包括：确定预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失；基于纹理损失对图像处理初始模型的线稿控制初始单元进行训练，获得包括线稿控制单元的图像处理模型。131.其中，纹理损失表征预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的差异，即模型生成的上色图像和真实的上色图像在线稿纹理上的差异。132.具体地，图像处理初始模型包括线稿控制初始单元，计算机设备将样本线稿图像输入图像处理初始模型，通过线稿控制初始单元对样本线稿图像提取多尺度的样本线稿纹理特征。133.计算机设备获取样本噪声图像，通过图像处理初始模型从样本噪声图像中提取的多尺度的样本噪声特征。其他实施例中，样本噪声图像可存储在图像处理初始模型中。134.获取样本线稿图像对应的样本颜色引导信息输入图像处理初始模型。图像处理初始模型针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。通过图像处理初始模型对多尺度的样本图像特征进行多尺度的解码，获得图像处理初始模型生成的预测上色图像。135.计算机设备计算预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失，基于纹理损失调整该线稿控制初始单元的参数并继续进行训练，直至满足训练停止条件时停止，得到包括线稿控制单元的图像处理模型。136.本实施例中，图像处理初始模型包括线稿控制初始单元和图像生成初始单元。计算机设备将样本线稿图像输入线稿控制初始单元，将样本颜色引导信息和样本噪声图像输入图像生成初始单元，通过线稿控制初始单元基于样本线稿图像提取多尺度的样本线稿纹理特征。137.通过图像生成初始单元获取从样本噪声图像中提取的多尺度的样本噪声特征，将多尺度的样本线稿纹理特征输入图像生成初始单元。138.针对多尺度的每个尺度，图像生成初始单元参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；图像生成初始单元对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像。基于纹理损失对线稿控制初始单元和图像生成初始单元进行训练，获得包括线稿控制单元和图像生成单元的图像处理模型。139.进一步地，图像生成初始单元中包括编码器和解码器，通过编码器进行编码，获得多尺度的样本图像特征，通过解码器进行多尺度的解码，获得预测上色图像。140.本实施例中，该图像处理初始模型包括线稿控制初始单元，以通过线稿控制初始单元用于提取多尺度的样本线稿纹理特征，基于纹理损失对图像处理初始模型的线稿控制初始单元进行训练，从而能够单独对控制线稿纹理生成的单元进行训练，以在训练中逐渐降低模型输出的预测上色图像和标签图像在纹理上的差异，从而提高线稿控制单元生成线稿纹理的精度，使得所得到的上色图像的线稿纹理更准确。141.在一个实施例中，图像处理初始模型还包括颜色控制初始单元，样本颜色引导信息包括用于自定义样本线稿图像的颜色的样本色板图像，颜色控制初始单元用于提取样本色板图像的样本色板特征；基于纹理损失对图像处理初始模型的线稿控制初始单元进行训练，获得包括线稿控制单元的图像处理模型，包括：基于纹理损失对线稿控制初始单元进行训练，得到线稿控制单元；线稿控制单元用于提取多尺度的样本线稿纹理特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；确定预测上色图像和标签上色图像之间的颜色损失，基于纹理损失对颜色控制初始单元进行训练，获得包括线稿控制单元和颜色控制单元的图像处理模型。142.具体地，图像处理初始模型包括线稿控制初始单元和颜色控制初始单元。计算机设备基于纹理损失对线稿控制初始单元进行训练，得到训练完成的线稿控制单元。在得到线稿控制单元后，通过线稿控制单元提取样本线稿图像的多尺度的样本线稿纹理特征，并通过颜色控制初始单元提取样本色板图像的样本色板特征。针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像。确定预测上色图像和标签上色图像之间的颜色损失，基于纹理损失对颜色控制初始单元进行训练，获得包括线稿控制单元和颜色控制单元的图像处理模型。143.本实施例中，基于纹理损失对线稿控制初始单元进行训练，得到线稿控制单元，从而在训练得到线稿控制单元后再训练颜色控制初始单元，使得两个单元的训练相互独立。通过线稿控制单元提取多尺度的样本线稿纹理特征，针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征，对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，确定预测上色图像和标签上色图像之间的颜色损失，基于纹理损失对颜色控制初始单元进行训练，获得包括线稿控制单元和颜色控制单元的图像处理模型，使得训练完成的线稿控制单元和颜色控制单元相互独立，从而在图像处理模型的应用场景下，可以单独调用线稿控制单元，准确生成具备线稿纹理和随机颜色的上色图像。配合颜色控制单元可以结合用户自定义的颜色信息，准确生成具备线稿纹理和自定义颜色的上色图像，从而使得图像处理模型能够适配不同的使用场景。144.在一个实施例中，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型，包括：确定预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失；确定预测上色图像的颜色和标签上色图像的颜色之间的颜色损失；根据纹理损失和颜色损失对图像处理初始模型进行训练，获得图像处理模型。145.具体地，计算机设备可计算预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失。计算机设备可计算预测上色图像的颜色和标签上色图像的颜色之间的颜色损失。根据纹理损失和颜色损失计算目标损失，基于目标损失调整图像处理初始模型的参数并继续训练，直至满足训练停止条件时停止，得到图像处理模型。146.本实施例中，根据纹理损失和颜色损失对图像处理初始模型进行训练，获得图像处理模型，包括：获取目标损失函数，根据目标损失函数、纹理损失和颜色损失，计算目标损失；基于目标损失对图像处理初始模型进行训练，获得图像处理模型。147.本实施例中，考虑了模型生成的预测上色图像和标签上色图像之间的纹理损失和颜色损失，以调整用于生成线稿纹理的模型参数和用于生成颜色的模型参数，从而在训练中逐渐降低纹理损失和颜色损失，进而获得能够准确生成线稿纹理和颜色的图像处理模型。148.在一个实施例中，基于预测上色图像对图像处理初始模型进行多次迭代训练，得到每次迭代对应的预测上色图像基于当前迭代得到的预测上色图像与当前迭代的上一迭代得到的预测上色图像之间的图像差异满足迭代停止条件时，得到图像处理模型。149.在一个实施例中，训练过程中使用的图像处理初始模型是基于对传统的扩散模型stablediffusion进行改进得到，如图10所示，显示了传统扩散模型与图像处理初始模型的区别，图10中的上半部分为传统的扩散模型的在训练中的架构，下半部分为图像处理初始模型的主要架构。将上班部分中的去噪单元替换为下半部，即可得到图像处理初始模型。即，图像处理初始模型是在扩散模型的基础上增加了线稿控制单元和颜色控制单元这两个分支。两个分支的结构与去噪单元u-net中的编码器encoder的结构类似，但是参数量大小不同。控制线稿的分支参数量大约为400兆，而控制颜色的分支参数量大小为40兆左右，使得这两个分支是非对称的设计。这主要是考虑到颜色和纹理结构数据的不同层级的语义信息。作为高层级的线稿纹理需要更深层级的网络结构进行识别理解，低层级的颜色引导信息则只需要轻量级的网络即可。颜色引导信息还可以考虑timeembedding（时序特征），线稿图像的纹理信息还可以额外考虑图像描述文本textprompt。即，将图像处理初始模型作为额外的条件输入线稿控制单元。150.线稿控制分支，即线稿控制单元，参考controlnet的网络结构，如图11所示，左边的网络结构是扩散模型中预训练的部分，作用是提供稳定的图像生成结果，这部分权重不需要更新。右边的网络结构即为线稿控制分支controlnet，其作用是在预训练网络的基础上，进一步加入制定的线稿纹理信息，引导网络生成特定线稿纹理的图像。151.为了训练线稿控制分支，搜集了大批量的高质量的开源图像数据，然后采用线稿提取模型anime2sketch提取图像数据对应的线稿图像作为线稿控制分支的输入，由此构建了配对数据用于监督训练。为了使线稿模型的训练更加鲁棒，需要对anime2sketch模型的线稿输出结果进行数据增强，使得训练过程中模型真正学习到的是线稿的信息，而不是其他无关的因素。无关的因素比如图像噪声，图像方位信息等。152.数据增强第一步是图像量化，即归一化，通过零卷积网络zeroconvolution实现。量化的作用是将连续值转换为离散值，丢弃冗余信息，特别是为了规避线稿输入中含有原始图像的一些灰度信息。网络可能会利用这些灰度信息，重建原始图像。如此一来，网络学习到的就不是真正的线稿生成。因此，对线稿输入进行量化是非常有必要的操作。设i为原始线稿图像，即量化前的线稿图像，其像素值范围为0到1。量化操作将每个连续像素数值，映射成离散的数值。设q为用于量化的间隔数，量化后的样本线稿图像可表示为：其中，floor是向下取整函数，(x，y)是正在量化的像素的坐标。中的像素值将只有q个可能的离散值，而不是从0到1的连续值。默认设置q=8。153.数据增强其他操作包括常用的图像上下翻转、左右翻转、添加随机白噪声等操作。154.训练线稿分支的时候，颜色分支是不存在的。训练参数：batchsize等于64，学习率等于,训练步数5000，优化器adam。训练的目标函数是图像重建损失函数：其中，x是标签上色图像，是预测上色图像，表示图像生成的中间结果；是指在第t次迭代中模型参数为θ时的预测上色图像，也是图像生成的中间结果；是指模型参数；n（0，1）表示均值为0，方差为1的高斯分布；表示采样步数。155.颜色控制分支有两种输入，即矩形色块输入和sam图层色块输入。为了训练颜色控制分支的网络，需要构建相应的矩形色块和sam图层色块的训练数据。156.获取矩形色块：假设原线稿图像x是一个大小为的二维矩阵。使用双三次插值将x下采样d倍：其中，bicubic_resize是一个函数，用于对矩形色块图像进行双三次插值，将其调整为指定的尺寸。然后，使用最近邻插值将调整尺寸后的矩形色块图像上采样为的图像：其中，nearest_neighbor_resize是一个函数，用于对尺寸后的矩形色块图像进行最近邻插值，将其调整为指定的尺寸。默认设置d=32，上采样和下采样函数可以直接调用pillow函数库。157.在推理阶段，矩形色块图像的初始化为空白。用户需要自行填充矩形色块图像中各矩形色块的颜色，然后将矩形色块图像输入网络，得到自定义颜色的上色图像。推理阶段即模型应用阶段。158.获取sam图层色块：图层色块是按照图像分割的结果，进行色块划分。每个色块内部默认具有相同的颜色。分割模型采用sam（sagmentanything）。为了得到全图分割结果，需要对sam模型输入提示(prompt)。此处的prompt是均匀分布的网格点，模型会自动滤出低质量或者重复的分割图层。图层色块分割结果可参考图7、图8。159.在训练的时候，可以通过分割图层获取到该图层内，图像的原始颜色值。但是在模型应用的时候，用户只能对整个图层进行修改，制定颜色，所以图层内的颜色是一致。为了减小这种训练和应用的差异，需要对训练数据进行预处理。即根据图层分割结果做局部平均。160.假设图像分割得到图层信息：，其中n表示图层数量。对图层内的像素值进行局部平均，可以表示为：进行图层像素预处理后，训练阶段所得到的图层色块与推理阶段用户所输入的图层色块是一致的，因此能保证模型输出结果的稳定性。161.在构建相应的矩形色块和sam图层色块的训练数据之后，可对颜色分支网络进行训练。颜色分支的网络结构采用跟controlnet相比更加轻量级的网络，主要的原因是颜色信息的理解相对网络信息来说更加容易，不需要过于复杂的参数。参考上述图4，颜色控制网络的输入是将时序特征（timeembedding）和降采样后的自定义色板图像（即矩形色块图像或sam图层色块图像）相加。降采样一般通过pixelshuffle操作实现，该操作的基本原理是把空间的像素分布改变为通道方向的。假设自定义色板图像的原图大小为（1，3，512，512），经过降采样后的色板图像为（1，129，64，64）。颜色控制分支得到的各维度的色板特征跟图像生成单元中对应维度的向量相加，实现对生成结果的控制和引导。162.对于颜色控制分支网络的训练，需要固定线稿控制分支的权重，然后进行联合训练。163.颜色控制分支的训练参数：batchsize等于64，学习率等于，训练步数5000，优化器adam。训练的目标函数同样使用上述的图像重建损失函数。164.本实施例中训练得到的图像处理模型中，线稿控制分支、矩形色块、sam图层色块可以单独或者组合使用。比如可以单独使用线稿控制分支，可以生成随机自动上色的效果。采用线稿控制分支+矩形色块，可以通过编辑矩形框的颜色实现自定义颜色控制。采用线稿控制分支+sam图层色块，可以通过具体修改某个图层色块的颜色实现相应图像区域的颜色控制。165.可以理解的是，线稿提取模型不局限于anime2sketch方法，其他类似canny，pidinet等边缘提取的模型也适用。图层分割方法不局限于sam模型，也可以采用其他稳定性的图像分割方法。166.在一个实施例中，提供了一种图像处理方法，应用于计算机设备，包括：获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征。167.以及，获取从预设噪声图像中提取的多尺度的噪声特征。168.进一步地，获取线稿图像对应的自定义色板图像，对自定义色板图像进行特征提取，得到自定义色板图像对应的不同尺度的色板特征。169.进一步地，针对多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征。170.接着，当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征。171.进一步地，针对多尺度的解码中的每个尺度，当所针对尺度为多尺度的解码中的首个尺度，参考所针对尺度的图像特征，对编码得到的最后一尺度的图像特征进行解码，得到所针对尺度的解码特征。172.可选地，当所针对尺度不是多尺度的解码中的首个尺度或最后一尺度，参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征。173.进一步地，当所针对尺度为最后一尺度，参考所针对尺度的图像特征，对最后一尺度的上一尺度的解码特征进行解码，得到上色图像；上色图像具备线稿图像的线稿纹理，且具有自定义色板图像所指示的颜色。174.在一个实施例中，如图12、图13和图14所示，图像处理模型具有线稿自动上色的能力，针对风景、人物等不同场景均有不错的适应效果，空间颜色的对应关系和色调的一致性好。如果没有调用颜色控制单元，生成的图像颜色是随机的；如果增加颜色控制，生成图像会按照空间色块进行布局。175.如图12所示，表示没有色板图像作为输入，即没有颜色控制，只有线稿图像输入也能生成高质量的上色图像，但是颜色是随机的。176.如图13所示，加入矩形色块图像，即网格色块图像，能稳定的生成自定义的颜色图像，结果不受随机种子的影响。177.如图14所示，加入sam色块图像，即图层色块图像，也能稳定生成自定义的颜色图像。178.矩形色块和sam色块生成的结果会有色差，这是因为两个输入的颜色值不完全一致造成的。179.在一个实施例中，如图15所示，提供了一种图像处理方法的应用场景。用户上传线稿图像后，通过以下任意一种方式得到自定义色板图像：自己在蒙版中逐格填色，即在自定义填充网格色块，形成网格色块图像；或者，从系统推荐的初始图层色块图像中选择自己满意的图层色块图像，如果有不满意的图层色块可直接修改该图层色块的颜色，形成图层色块图像。180.网格色块图像或图层色块图像即可作为自定义色板图像。将自定义色板图像和线稿图像输入图像处理模型。图像处理模型包括线稿控制单元、颜色控制单元和图像生成单元，该图像处理模型中存储了预设噪声图像。181.通过图像处理模型对线稿图像、自定义色板图像和预设噪声图像的处理，生成线稿图像对应的上色图像。182.在图像处理模型生成上色图像后，如果对上色图像中的颜色仍不满意，用户可以继续调整相应的网格色块图像或网格色块图像，以生成新的上色图像。183.本实施例中，可以实现对线稿输入自动上色，所设计的自定义色板图像对生成图像能进行精细的空间控制，保证空间元素与颜色控制的一致性。同时，对于线稿控制单元和颜色控制单元，根据线稿纹理结构和颜色各自的语义属性，设计了大小不同的网络结构。既能够保证在用户自定义颜色的情况下生成高质量的上色图像，也能够保证了没有颜色输入的情况下，基于线稿图像也能稳定生成高质量的上色图像。184.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。185.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。186.在一个实施例中，如图16所示，提供了一种图像处理装置1600，包括：纹理特征提取模块1602、噪声特征提取模块1604、颜色获取模块1606、编码模块1608和解码模块1610，其中：纹理特征提取模块1602，用于获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征。187.噪声特征提取模块1604，用于获取从预设噪声图像中提取的多尺度的噪声特征。188.颜色获取模块1606，用于获取线稿图像对应的颜色引导信息。189.编码模块1608，用于针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。190.解码模块1610，用于对多尺度的图像特征进行多尺度的解码，获得上色图像；上色图像具备线稿图像的线稿纹理，且具有颜色引导信息所指示的颜色。191.本实施例中，获取线稿图像，基于线稿图像提取多尺度的线稿纹理特征，所提取的大尺度的线稿纹理特征包含了更多的低层次语义特征，小尺度线稿纹理特征包含了更多高层次语义特征。获取从预设噪声图像中提取的多尺度的噪声特征，将多尺度的线稿纹理特征和线稿图像对应的颜色引导信息作为噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和颜色引导信息，对所针对尺度下的噪声特征进行编码，从而通过编码生成融合了线稿纹理特征和颜色引导信息所指示的颜色的图像特征。并且，使得线稿纹理和颜色相融合，使得后续生成的图像中的颜色能够贴合线稿纹理的走向。该编码是多尺度的，能够获得融合了不同尺度的线稿纹理特征和该颜色的图像特征，以对多尺度的图像特征进行多尺度的解码，从而在解码过程中关注到不同层次的纹理，能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像。并且，使得上色图像中颜色与线稿纹理的搭配更协调，从而提高了所生成的上色图像的图像质量。192.在其中一个实施例中，编码模块1608，还用于对自定义色板图像进行特征提取，得到自定义色板图像对应的色板特征；针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。193.本实施例中，自定义色板图像是用户自定义线稿图像的颜色的色板图像，通过对用户自定义的色板图像进行特征提取，得到自定义色板图像对应的色板特征，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，能够将噪声特征编码为融合了线稿纹理特征和色板特征的图像特征，从而能够将线稿图像和相应的颜色信息作为引导信息，使得从预设噪声图像中生成具备用户想要的线稿纹理和自定义颜色的图像。并且，进行了多个尺度的编码，所获得的多尺度的图像特征能够包含线稿纹理和颜色的浅层信息和深层信息，使得解码生成的图像纹理更清晰细腻、颜色更协调。194.在其中一个实施例中，编码模块1608，还用于针对多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征；当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征。195.本实施例中，颜色和纹理属于不同层级的语义，颜色属于低层级语义，纹理属于高层级语义信息，因此对颜色提取较少尺度的特征，对线稿图像的线稿纹理提取较多尺度的特征。针对多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征和色板特征，对所针对尺度下的噪声特征进行编码，使得能够将线稿纹理特征和色板特征作为引导信息，指示基于噪声特征在编码中融合了线稿纹理特征和色板特征，从而获得所针对尺度下的融合了相应尺度的线稿纹理特征和色板特征的图像特征。当不存在所针对尺度下的色板特征，参考所针对尺度的线稿纹理特征，对所针对尺度下的噪声特征进行编码，以将线稿纹理特征作为引导信息，指示基于噪声特征在编码中融合线稿纹理特征，从而获得获得所针对尺度下的融合了相应尺度的线稿纹理特征的图像特征。这次融合了不同层次的线稿纹理和颜色的图像特征能够更准确地进行图像重建，使得重建获得的上色图像中的线稿纹理更清晰细腻、颜色更协调自然，从而提高了图像质量。196.在一个实施例中，颜色获取模块1606，还用于获取按照网格色块划分的色板模板，将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中的各网格区域；获取对色板模板中的每个网格色块进行自定义颜色填充所形成的网格色块图像；每个网格色块用于定义线稿图像中相应网格区域的颜色；其中，上色图像具备线稿图像的线稿纹理，且上色图像中的各网格区域具有网格色块图像中相应的网格色块所填充的颜色。197.本实施例中，获取按照网格色块划分的色板模板，将线稿图像按照线稿图像所划分的网格进行划分，得到线稿图像中表征图像区域的各网格区域，使得该线稿图像的各网格区域与色板模板的各网格色块相对应，使得用户能够通过在网格色块中填充颜色来定义线稿图像中每个图像区域的颜色，有效实现用户对线稿图像的颜色自定义。并且，后续将用户自定义的颜色作为特征编码和解码中的引导信息，使得最终生成的上色图像不仅具备线稿图像的线稿纹理，上色图像中的各网格区域还具有用户在相应网格色块所填充的颜色，有效实现了自定义颜色的线稿图像的生成。198.在一个实施例中，颜色获取模块1606，还用于对线稿图像进行随机颜色填充，得到有色图像；对有色图像进行图像分割处理，得到线稿图像的对应的初始图层色块图像，该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块；基于对初始图层色块图像中至少一个图层色块的自定义颜色调整，获得图层色块图像；其中，上色图像具备线稿图像的线稿纹理，且上色图像中的各图像区域具有图层色块图像中相应的图层色块所指示的颜色。199.本实施例中，对线稿图像进行随机颜色填充，得到有色图像，使得能够对有色图像进行图像分割处理，准确分割出有色图像中的各图层色块。各图层色块形成有色图像对应的初始图层色块图像。该初始图层色块图像包括线稿图像中各图像区域各自对应的图层色块，用户可以对各图层色块进行颜色调整，以重新定义自己想要的颜色，从而得到用户自定义的图层色块图像。并且，后续将用户自定义的颜色作为特征编码和解码中的引导信息，使得最终生成的上色图像不仅具备线稿图像的线稿纹理，上色图像中的各图像区域还具有用户在相应图层色块所填充的颜色，有效实现了自定义颜色的线稿图像的生成。200.在一个实施例中，该装置还包括：描述特征提取模块；描述特征提取模块用于获取针对线稿图像的图像描述文本，图像描述文本用于描述线稿图像的特征；对图像描述文本进行特征提取，得到对应的图像描述特征；编码模块1608，用于针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征、颜色引导信息和图像描述特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。201.本实施例中，获取针对线稿图像的图像描述文本，以通过图像描述文本描述线稿图像的特征，作为线稿图像的补充信息。对图像描述文本进行特征提取，得到对应的图像描述特征，针对多尺度的每个尺度，参考所针对尺度的线稿纹理特征、颜色引导信息和图像描述特征，对所针对尺度下的噪声特征进行编码，使得编码得到的图像特征融合了相应尺度的线稿纹理、线稿纹理特征所指示的颜色，并且编码得到的图像特征还具备图像描述特征所描述的特征信息，使得在编码中获得线稿图像中不具备的图像内容或结合图像描述特征将线稿图像中原来不清晰的特征变成了清晰的特征。并且进行多个尺度的编码，可得到多尺度的图像特征，尺度越大的图像特征具备更多深层图像信息，尺度越小的图像特征具备更多的浅层图像信息，从而能够获得不同层次的图像信息。202.在一个实施例中，解码模块1610，还用于针对多尺度的解码中的每个尺度，当所针对尺度为多尺度的解码中的首个尺度，参考所针对尺度的图像特征，对编码得到的最后一尺度的图像特征进行解码，得到所针对尺度的解码特征；当所针对尺度不是多尺度的解码中的首个尺度或最后一尺度，参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征；当所针对尺度为最后一尺度，参考所针对尺度的图像特征，对最后一尺度的上一尺度的解码特征进行解码，得到上色图像。203.本实施例中，针对多尺度的解码过程，在每个尺度的解码中，将相应尺度的图像特征作为进行该尺度的解码时的参考，使得能够将编码特征作为解码特征解码的参考，能够有效避免解码出错，提高解码的准确性。并且，不同尺度的解码中，每个尺度解码的特征均为上个尺度解码得到的特征，从而能够对解码特征进行逐步解码，以逐步重建图像的纹理细节和颜色信息，准确重建出具有线稿纹理和颜色的上色图像。204.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像处理模型的训练方法的图像处理模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理模型的训练装置实施例中的具体限定可以参见上文中对于图像处理模型的训练方法的限定，在此不再赘述。205.在一个实施例中，如图17所示，提供了一种图像处理模型的训练装置1700，包括：样本纹理特征提取模块1702，用于获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征。206.样本噪声特征提取模块1704，用于获取从样本噪声图像中提取的多尺度的样本噪声特征。207.样本颜色获取模块1706，用于获取样本线稿图像对应的样本颜色引导信息；样本编码模块1708，用于针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征。208.样本解码模块1710，用于对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像。209.训练模块1712，用于获取样本线稿图像对应的标签上色图像，基于预测上色图像和标签上色图像对图像处理初始模型进行训练，获得图像处理模型；标签上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。210.本实施例中，获取样本线稿图像，基于样本线稿图像提取多尺度的样本线稿纹理特征，大尺度的样本线稿纹理特征包含了更多的低层次语义特征，小尺度样本线稿纹理特征包含了更多高层次语义特征。获取从样本噪声图像中提取的多尺度的样本噪声特征，将多尺度的样本线稿纹理特征和样本线稿图像对应的样本颜色引导信息作为样本噪声特征编码的引导信息，以针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，从而通过编码生成融合了样本线稿纹理特征和样本颜色引导信息所指示的颜色的样本图像特征。并且，使得样本线稿纹理和颜色相融合，有助于后续生成的图像中的颜色能够贴合线稿纹理的走向。211.该编码是多尺度的，能够获得融合了不同尺度的样本线稿纹理特征和该颜色的样本图像特征，以对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，获取样本线稿图像对应的标签上色图像，以基于预测上色图像和标签上色图像之间的差异对图像处理初始模型进行训练，以调整模型参数，使得训练获得的图像处理模型所生成的预测上色图像具备样本线稿图像的线稿纹理，且具有样本颜色引导信息所指示的颜色。并且，训练获得的图像处理模型能够生成线稿纹理更清晰且边缘过渡细节更细腻的上色图像，且上色图像中颜色与线稿纹理的搭配更协调，从而提高了上色图像的图像质量。212.在一个实施例中，图像处理初始模型包括线稿控制初始单元，线稿控制初始单元用于提取多尺度的样本线稿纹理特征；训练模块1712，还用于确定预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失；基于纹理损失对图像处理初始模型的线稿控制初始单元进行训练，获得包括线稿控制单元的图像处理模型。213.本实施例中，该图像处理初始模型包括线稿控制初始单元，以通过线稿控制初始单元用于提取多尺度的样本线稿纹理特征，基于纹理损失对图像处理初始模型的线稿控制初始单元进行训练，从而能够单独对控制线稿纹理生成的单元进行训练，以在训练中逐渐降低模型输出的预测上色图像和标签图像在纹理上的差异，从而提高线稿控制单元生成线稿纹理的精度，使得所得到的上色图像的线稿纹理更准确。214.在一个实施例中，图像处理初始模型还包括颜色控制初始单元，样本颜色引导信息包括用于自定义样本线稿图像的颜色的样本色板图像，颜色控制初始单元用于提取样本色板图像的样本色板特征；训练模块1712，还用于基于纹理损失对线稿控制初始单元进行训练，得到线稿控制单元；线稿控制单元用于提取多尺度的样本线稿纹理特征；针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；确定预测上色图像和标签上色图像之间的颜色损失，基于纹理损失对颜色控制初始单元进行训练，获得包括线稿控制单元和颜色控制单元的图像处理模型。215.本实施例中，基于纹理损失对线稿控制初始单元进行训练，得到线稿控制单元，从而在训练得到线稿控制单元后再训练颜色控制初始单元，使得两个单元的训练相互独立。通过线稿控制单元提取多尺度的样本线稿纹理特征，针对多尺度的每个尺度，参考所针对尺度的样本线稿纹理特征和样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征，对多尺度的样本图像特征进行多尺度的解码，获得预测上色图像，确定预测上色图像和标签上色图像之间的颜色损失，基于纹理损失对颜色控制初始单元进行训练，获得包括线稿控制单元和颜色控制单元的图像处理模型，使得训练完成的线稿控制单元和颜色控制单元相互独立，从而在图像处理模型的应用场景下，可以单独调用线稿控制单元，准确生成具备线稿纹理和随机颜色的上色图像。配合颜色控制单元可以结合用户自定义的颜色信息，准确生成具备线稿纹理和自定义颜色的上色图像，从而使得图像处理模型能够适配不同的使用场景。216.在一个实施例中，训练模块1712，还用于确定预测上色图像的线稿纹理和标签上色图像的线稿纹理之间的纹理损失；确定预测上色图像的颜色和标签上色图像的颜色之间的颜色损失；根据纹理损失和颜色损失对图像处理初始模型进行训练，获得图像处理模型。217.本实施例中，考虑了模型生成的预测上色图像和标签上色图像之间的纹理损失和颜色损失，以调整用于生成线稿纹理的模型参数和用于生成颜色的模型参数，从而在训练中逐渐降低纹理损失和颜色损失，进而获得能够准确生成线稿纹理和颜色的图像处理模型。218.上述图像处理装置、图像处理模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。219.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器，以终端为例，其内部结构图可以如图18所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法，还可以实现一种图像处理模型的训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。220.本领域技术人员可以理解，图18中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。221.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。222.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。223.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。224.需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。225.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-onlymemory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistiverandomaccessmemory，mram）、铁电存储器（ferroelectricrandomaccessmemory，fram）、相变存储器（phasechangememory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（randomaccessmemory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（staticrandomaccessmemory，sram）或动态随机存取存储器（dynamicrandomaccessmemory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。226.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。227.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。当前第1页12当前第1页12
技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。2.根据权利要求1所述的方法，其特征在于，所述颜色引导信息包括自定义色板图像，所述自定义色板图像用于自定义所述线稿图像的颜色；所述针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：对所述自定义色板图像进行特征提取，得到所述自定义色板图像对应的色板特征；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。3.根据权利要求2所述的方法，其特征在于，所述自定义色板图像对应不同尺度的色板特征，所述不同尺度的色板特征对应的尺度数量少于所述多尺度的线稿纹理特征对应的尺度数量；所述多尺度的线稿纹理特征对应的尺度数量与所述多尺度的噪声特征对应的尺度数量相同；所述针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述色板特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：针对所述多尺度的每个尺度，当存在所针对尺度下的色板特征，参考所针对尺度的所述线稿纹理特征和所述色板特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征；当不存在所针对尺度下的色板特征，参考所针对尺度的所述线稿纹理特征，对所针对尺度下的噪声特征进行编码，获得所针对尺度下的图像特征。4.根据权利要求2所述的方法，其特征在于，所述自定义色板图像包括所述线稿图像对应的网格色块图像，所述方法还包括：获取按照网格色块划分的色板模板，将所述线稿图像按照所述线稿图像所划分的网格进行划分，得到所述线稿图像中的各网格区域；获取对所述色板模板中的每个网格色块进行自定义颜色填充所形成的网格色块图像；每个所述网格色块用于定义所述线稿图像中相应网格区域的颜色；其中，所述上色图像具备所述线稿图像的线稿纹理，且所述上色图像中的各网格区域具有所述网格色块图像中相应的网格色块所填充的颜色。5.根据权利要求2所述的方法，其特征在于，所述自定义色板图像包括所述线稿图像对应的图层色块图像，所述方法还包括：对所述线稿图像进行随机颜色填充，得到有色图像；对所述有色图像进行图像分割处理，得到所述线稿图像的对应的初始图层色块图像，所述初始图层色块图像包括所述线稿图像中各图像区域各自对应的图层色块；
基于对所述初始图层色块图像中至少一个所述图层色块的自定义颜色调整，获得图层色块图像；其中，所述上色图像具备所述线稿图像的线稿纹理，且所述上色图像中的各图像区域具有所述图层色块图像中相应的图层色块所指示的颜色。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取针对所述线稿图像的图像描述文本，所述图像描述文本用于描述所述线稿图像的特征；对所述图像描述文本进行特征提取，得到对应的图像描述特征；所述针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征，包括：针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征、所述颜色引导信息和所述图像描述特征，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述对所述多尺度的图像特征进行多尺度的解码，获得上色图像，包括：针对所述多尺度的解码中的每个尺度，当所针对尺度为所述多尺度的解码中的首个尺度，参考所针对尺度的图像特征，对编码得到的最后一尺度的图像特征进行解码，得到所针对尺度的解码特征；当所针对尺度不是所述多尺度的解码中的首个尺度或最后一尺度，参考所针对尺度的图像特征，对所针对尺度的上一尺度的解码特征进行解码，得到所针对尺度的解码特征；当所针对尺度为所述最后一尺度，参考所针对尺度的图像特征，对所述最后一尺度的上一尺度的解码特征进行解码，得到上色图像。8.一种图像处理模型的训练方法，其特征在于，所述方法包括：获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；获取从样本噪声图像中提取的所述多尺度的样本噪声特征；获取所述样本线稿图像对应的样本颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。9.根据权利要求8所述的方法，其特征在于，所述图像处理初始模型包括线稿控制初始单元，所述线稿控制初始单元用于提取所述多尺度的样本线稿纹理特征；所述基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型，包括：确定所述预测上色图像的线稿纹理和所述标签上色图像的线稿纹理之间的纹理损失；基于所述纹理损失对所述图像处理初始模型的线稿控制初始单元进行训练，获得包括线稿控制单元的图像处理模型。10.根据权利要求9所述的方法，其特征在于，所述图像处理初始模型还包括颜色控制初始单元，所述样本颜色引导信息包括用于自定义所述样本线稿图像的颜色的样本色板图
像，所述颜色控制初始单元用于提取所述样本色板图像的样本色板特征；所述基于所述纹理损失对所述图像处理初始模型的线稿控制初始单元进行训练，获得包括线稿控制单元的图像处理模型，包括：基于所述纹理损失对所述线稿控制初始单元进行训练，得到线稿控制单元；所述线稿控制单元用于提取所述多尺度的样本线稿纹理特征；针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本色板特征，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；确定所述预测上色图像和所述标签上色图像之间的颜色损失，基于所述纹理损失对所述颜色控制初始单元进行训练，获得包括所述线稿控制单元和颜色控制单元的图像处理模型。11.根据权利要求8所述的方法，其特征在于，所述基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型，包括：确定所述预测上色图像的线稿纹理和所述标签上色图像的线稿纹理之间的纹理损失；确定所述预测上色图像的颜色和所述标签上色图像的颜色之间的颜色损失；根据所述纹理损失和所述颜色损失对图像处理初始模型进行训练，获得图像处理模型。12.一种图像处理装置，其特征在于，所述装置包括：纹理特征提取模块，用于获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；噪声特征提取模块，用于获取从预设噪声图像中提取的所述多尺度的噪声特征；颜色获取模块，用于获取所述线稿图像对应的颜色引导信息；编码模块，用于针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；解码模块，用于对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。13.一种图像处理模型的训练装置，其特征在于，所述装置包括：样本纹理特征提取模块，用于获取样本线稿图像，基于所述样本线稿图像提取多尺度的样本线稿纹理特征；样本噪声特征提取模块，用于获取从样本噪声图像中提取的所述多尺度的样本噪声特征；样本颜色获取模块，用于获取所述样本线稿图像对应的样本颜色引导信息；样本编码模块，用于针对所述多尺度的每个尺度，参考所针对尺度的所述样本线稿纹理特征和所述样本颜色引导信息，对所针对尺度下的样本噪声特征进行编码，获得多尺度的样本图像特征；样本解码模块，用于对所述多尺度的样本图像特征进行多尺度的解码，获得预测上色图像；训练模块，用于获取所述样本线稿图像对应的标签上色图像，基于所述预测上色图像和所述标签上色图像对图像处理初始模型进行训练，获得图像处理模型；所述标签上色图
像具备所述样本线稿图像的线稿纹理，且具有所述样本颜色引导信息所指示的颜色。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取线稿图像，基于所述线稿图像提取多尺度的线稿纹理特征；获取从预设噪声图像中提取的所述多尺度的噪声特征；获取所述线稿图像对应的颜色引导信息；针对所述多尺度的每个尺度，参考所针对尺度的所述线稿纹理特征和所述颜色引导信息，对所针对尺度下的噪声特征进行编码，获得多尺度的图像特征；对所述多尺度的图像特征进行多尺度的解码，获得上色图像；所述上色图像具备所述线稿图像的线稿纹理，且具有所述颜色引导信息所指示的颜色。采用本方法能够提高线稿上色的协调性和图像质量。能够提高线稿上色的协调性和图像质量。能够提高线稿上色的协调性和图像质量。


技术研发人员：项进喜 罗凤 张军
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2023.06.12
技术公布日：2023/7/12