用于生成漫画的方法、装置、设备和介质与流程

1.本公开的示例性实现方式总体涉及漫画制作，特别地涉及用于生成漫画的方法、装置、设备和计算机可读存储介质。


背景技术：

2.随着漫画制作的发展，目前已经出现了多种类型的漫画。在传统的基于线稿图绘制的普通漫画之外，还出现了利用现场拍摄制作的漫画。然而，漫画的制作过程涉及大量人工操作，复杂度高、时间开销大并且效率低下。此时，如何以更为有效的方式来生成漫画，成为漫画制作领域的研究热点和难点。


技术实现要素：

3.在本公开的第一方面，提供了一种用于生成漫画的方法。在该方法中，针对漫画中的多个角色中的目标角色，分别接收与目标角色相关联的原始图像和目的图像，原始图像表示目标角色的将被替换的角色外观，并且目的图像表示将被包括在漫画中的目标角色的角色外观。获取漫画中的包括目标角色的场景图像。确定场景图像中的与目标角色相关联的目标区域。基于目的图像来更新目标区域中的至少一部分。
4.在本公开的第二方面，提供了一种用于生成漫画的装置。该装置包括：接收模块，被配置用于针对漫画中的多个角色中的目标角色，分别接收与目标角色相关联的原始图像和目的图像，原始图像表示目标角色的将被替换的角色外观，并且目的图像表示将被包括在漫画中的目标角色的角色外观；获取模块，被配置用于获取漫画中的包括目标角色的场景图像；确定模块，被配置用于确定场景图像中的与目标角色相关联的目标区域；以及更新模块，被配置用于基于目的图像来更新目标区域中的至少一部分。
5.在本公开的第三方面，提供了一种电子设备。该电子设备包括：至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令在由至少一个处理单元执行时使电子设备执行根据本公开第一方面的方法。
6.在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时使处理器实现根据本公开第一方面的方法。
7.应当理解，本内容部分中所描述的内容并非旨在限定本公开的实现方式的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
8.在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
9.图1示出了根据本公开的一个示例性实现方式的漫画的框图；
10.图2示出了根据本公开的一些实现方式的用于生成漫画的框图；
11.图3示出了根据本公开的一些实现方式的用于在漫画中创建角色的界面的框图；
12.图4示出了根据本公开的一些实现方式的用于生成融合图像的界面的框图；
13.图5示出了根据本公开的一些实现方式的用于生成漫画的界面的框图；
14.图6示出了根据本公开的一些实现方式的用于生成漫画的界面的框图；
15.图7示出了根据本公开的一些实现方式的用于向漫画添加台词的界面的框图；
16.图8示出了根据本公开的一些实现方式的用于生成漫画的方法的流程图；
17.图9示出了根据本公开的一些实现方式的用于生成漫画的装置的框图；以及
18.图10示出了能够实施本公开的多个实现方式的设备的框图。
具体实施方式
19.下面将参照附图更详细地描述本公开的实现方式。虽然附图中示出了本公开的某些实现方式，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反，提供这些实现方式是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实现方式仅用于示例性作用，并非用于限制本公开的保护范围。
20.在本公开的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。术语“一些实现方式”应当理解为“至少一些实现方式”。下文还可能包括其他明确的和隐含的定义。如本文中所使用的，术语“模型”可以表示各个数据之间的关联关系。例如，可以基于目前已知的和/或将在未来开发的多种技术方案来获取上述关联关系。
21.可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
22.可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
23.例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
24.作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
25.可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
26.在此使用的术语“响应于”表示相应的事件发生或者条件得以满足的状态。将会理
解，响应于该事件或者条件而被执行的后续动作的执行时机，与该事件发生或者条件成立的时间，二者之间未必是强关联的。例如，在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；而在另一些情况下，后续动作可在事件发生或者条件成立后经过一段时间才被执行。
27.示例环境
28.参见图1描述漫画的概要，该图1示出了根据本公开的一个示例性实现方式的漫画的框图100。如图1所示，漫画110可以包括多个角色112和114(例如，漫画中的角色)，并且角色112和114分别是由演员饰演的角色。图1中的角色112可以是漫画中的男主，并且角色114可以是女主。在此，漫画110中的场景图像可以是包括角色图像的实际拍摄的图像，并且可以向场景图像中添加气泡，以便表示各个角色说出的台词。例如，气泡120可以表示男主说出的台词“您好”，等等。
29.为了获得如图1所示的漫画110，需要演员在真实场景中表演各个故事情节，并且拍摄相应的照片。然而，现场拍摄涉及多方面的复杂因素，例如，演员表情、演员眼神、演员配合、环境灯光等等诸多因素都会导致拍摄效果欠佳。在某些特殊情况下，漫画角色的演员在漫画制作初期可能并不确定，此时无法开始拍摄。此外，在漫画制作期间，漫画角色的演员可能会被更换，这导致不得不重新拍摄各个故事情节。
30.目前已经提出了计算机辅助制作的技术方案。当拍摄获得的照片并不理想时，在后期制作中可以利用图像处理软件来修改拍摄的照片。然而，上述过程涉及大量的人工劳动并且需要制作人员逐一修改每个场景图像，这大大降低了漫画制作效率。此时，如何以更为有效的方式来生成漫画，成为漫画制作领域的研究热点和难点。
31.生成漫画的概要过程
32.为了至少部分地解决现有技术中的不足，根据本公开的一个示例性实现方式，提出了一种用于生成漫画的方法。参见图2描述根据本公开的一个示例性实现方式的概要，该图2示出了根据本公开的一些实现方式的用于生成漫画的框图200。漫画可以包括多个角色(例如，男主和女主，等)，可以针对多个角色中的每个角色来执行根据本公开的技术方案。如图2所示，针对漫画中的多个角色中的目标角色260(例如，男主)，可以分别接收与目标角色260相关联的原始图像210和目的图像220。在此，原始图像210可以表示目标角色260的将被替换的角色外观，并且目的图像220可以表示将被包括在漫画中的目标角色260的角色外观。
33.在本公开的上下文中，原始图像210和目的图像220可以是基于图像处理技术获得的，例如，利用人工智能技术生成的，利用滤镜等修图技术生成的，等等。备选地和/或附加地，上述图像也可以是拍摄的图像。将会理解，在漫画制作中所涉及的全部图像均已获得相关演员的授权，也即，相关演员已经授权对这些图像进行更改和使用。
34.此时，可以在目标角色260的原始图像210和目的图像220之间建立关联关系，此时原始图像210和目的图像220可以分别表示被替换前后的男主在场景图像230中的角色外观。进一步，可以获取漫画中的包括目标角色260的场景图像230。漫画可以包括多个场景图像，在下文中，将仅以场景图像230作为示例来描述处理各个场景图像的具体过程。在获取场景图像230之后，可以确定场景图像230中的与目标角色260相关联的目标区域240(例如，男主的面部区域)。可以基于人工和/或自动处理的方式，获取目标区域240。进一步，可以基
于目的图像220来更新目标区域240中的至少一部分(例如，面部部分)。换言之，可以基于目的图像220中的面部来替换目标区域240中的面部，进而生成生更新的场景图像250。
35.如图2所示，在更新的场景图像250中，目标区域240’对应于场景图像230中的目标区域240，并且此时已经利用目的图像220中的面部替换了男主的面部。利用本公开的示例性实现方式，可以在演员(对应于原始图像210)、漫画角色、以及最终演员(对应于目的图像220)之间建立关联关系。以此方式，可以基于自动化处理的方式，来将漫画角色替换为由具有期望外观的演员，从而提高漫画制作的效率。
36.尤其是，在漫画拍摄的初期，即使没有为男主选定最终演员，也可以由临时演员来完成拍摄。在选定最终演员之后，可以基于上文描述的方法来替换男主的面部。又例如，在漫画拍摄期间可能会更换拍摄演员，此时只需在新的拍摄演员与男主之间建立新的关联关系并且执行替换，因而更换拍摄演员并不影响最终的漫画效果。
37.生成漫画的详细过程
38.已经描述了生成漫画的概要，在下文中，参见附图描述根据本公开的一个示例性实现方式的更多细节。根据本公开的一个示例性实现方式，可以创建漫画中的一个或多个角色。图3示出了根据本公开的一些实现方式的用于在漫画中创建角色的界面310的框图300。如图3所示，漫画制作工具的用户(例如，制作人员)可以创建一个或多个角色，目前已经创建了“男主”角色和“女主”角色，并且可以点击按钮320来创建其他角色。
39.根据本公开的一个示例性实现方式，并不限制漫画中的角色数量，而是可以根据故事情节的需要来创建一个或多个角色。可以为创建的角色导入照片，此时的照片例如可以是拍摄演员的照片，也即原始图像210。每个角色可以具有默认名称，例如，可以按照“角色1”、“角色2”的顺序来为每个角色命名。可以点击角色照片之下的角色名称来编辑角色的名称。在此名称的长度和表示语言均不受限制，并且每个角色的名称应当是唯一的并且不应当为空。例如，可以将男主和女主的名称分别修改为“bob”和“alice”，等等。
40.根据本公开的一个示例性实现方式，可以从已经创建的角色中删除某个角色。例如，可以右键点击男主的照片，并且在弹出的菜单中选择“删除”操作。在删除角色时可以提供二次确认对话框，例如，可以提示“删除角色将删除角色设定内的原始图像、目的图像，并且涉及此角色的所有标记将会全部失效。是否确定要删除？”该对话框可以包括取消和确定按钮。当用户点击确定按钮时，则删除选中的角色；当用户点击取消按钮时，则取消删除动作。
41.根据本公开的一个示例性实现方式，可以编辑已经创建的角色，例如可以通过双击角色图像或者选择右键弹出菜单来启动编辑界面。图4示出了根据本公开的一些实现方式的用于接收与目标角色相关联的原始图像和目的图像的界面的框图400。如图4所示，可以点击原脸区域内的图像框，以便选择原始图像210。具体地，可以选择正脸图像、45度侧脸图像以及90度侧脸图像。进一步，可以点击人工智能(ai)生成脸区域内的图像框，以便选择目的图像220。可以预先导入多个目的图像，并且可以从多个目的图像中选择期望的目的图像。例如，可以以虚线框表示被选中的目标图像。在存在多个目的图像的情况下，默认选中第一个目的图像。
42.根据本公开的一个示例性实现方式，原始图像210可以包括漫画的演员的面部图像，并且目的图像220可以包括用于替换演员的面部的图像。可以导入以不同格式存储的图
像，例如，可以导入jpg格式和/或其他格式的图像。利用本公开的示例性实现方式，可以以自动化方式替换漫画中的各个角色的面部外观。
43.在拍摄过程中，由于演员不足等情况，可能会出现一个演员饰演多个角色的情况。例如，饰演男主的男演员可能还会饰演司机角色。此时，男演员的原始图像210可以对应于多个目标角色260(例如，男主和司机)，进而对应于多个目的图像220。在拍摄过程中，男演员在不同场景中可以饰演不同角色。此时可以建立如下两个关联关系：(原始图像210，男主，男主的目的图像)、(原始图像210，司机，司机的目的图像)。
44.利用本公开的示例性实现方式，在拍摄过程中可以一人饰演多个角色，并且在后期制作过程中可以方便地区分各个角色，并且利用期望的面部外观来替换各个角色的面部。以此方式，可以缓解拍摄过程中演员不足的问题，从而提高漫画的制作效率。
45.将会理解，尽管图4示出了将ai生成脸作为目的图像220，备选地和/或附加地，目的图像220可以是经由其他方式获得的面部图像。例如，目的图像220可以是拍摄的其他演员的面部图像、针对拍摄的面部图像进行处理后的图像、和/或以其他方式获得的图像。以此方式，可以以丰富的方式来合成漫画中的角色。
46.根据本公开的一个示例性实现方式，可以在预览窗口430中呈现利用目的图像220生成的目标角色的融合图像。例如，融合图像可以包括目标角色260的以下至少任一项：正面图像、侧面图像、45度侧面图像。备选地和/或附加地，融合图像可以包括以360度旋转观看的目标角色，也即，可以查看目标角色的各个角度的外观。以此方式，可以便于用户查看各个角色的各个角度的外观，进而确定是否需要后续调整并且提高漫画制作效率。
47.根据本公开的一个示例性实现方式，可以经由如图4右侧所示的调整工具420来调整目标角色的外观特征。例如，用户可以针对各个调整工具进行交互，在接收到用于调整目标角色的外观特征的用户交互的情况下，可以基于接收的用户交互来调整目标角色的外观特征。在此，外观特征可以包括以下至少任一项：发型、妆容、五官、年龄、身材、服装、饰物，等等。
48.根据本公开的一个示例性实现方式，以发型为示例描述调整外观特征的更多细节。当检测到用户点击发型菜单时，可以弹出多种发型以供用户选择。例如，可以提供短发、卷发、长发等多种发型，并且可以提供选择头发颜色的菜单。可以在弹出的菜单中进一步检测用户交互，进而在预览窗口430中示出调整后的外观特征。
49.备选地和/或附加地，“妆容”菜单可以允许用户为目标角色选择期望的妆容效果，例如，日常淡妆、舞台妆，等等。“五官”菜单可以允许用户调整目标角色的五官比例和位置，“年龄”菜单可以允许用户调整目标角色的年龄，“身材”菜单可以允许用户调整目标角色的身材，“服装”菜单可以允许用户调整目标角色的衣着服饰，并且“饰物”菜单可以允许用户调整目标角色的饰物，例如，眼镜、项链、耳钉等。以此方式，在拍摄过程中并不需要为拍摄演员设计并化妆完美造型，而是可以在后期制作中利用图像处理技术来自动实现“换脸”、“换发型”等效果。
50.根据本公开的一个示例性实现方式，可以在接收到针对融合图像的确认，基于融合图像来更新目标区域中的至少一部分。以此方式，可以利用图像处理技术来修改目的图像220并生成融合图像，由此可以以更为灵活的方式修改漫画中的角色的外观。
51.根据本公开的一个示例性实现方式，可以获取漫画中的包括目标角色的场景图
像。具体地，可以在包括目标角色的场景中采集场景图像，也即，可以利用图像采集设备来拍摄由演员饰演的角色的故事情节。备选地和/或附加地，可以从多媒体数据中提取场景图像，在此的多媒体数据包括以下至少任一项：图文数据、图像集、视频数据。此时，多媒体数据可以包括预先拍摄的故事情节，并且可以从多媒体数据中直接提取场景图像。例如，可以从已经拍摄的电影素材等中提取场景图像。以此方式，可以允许以多种方式获取场景图像，也即，可以现场拍摄场景图像，也可以从已经拍摄好的多媒体数据中提取场景图像。
52.根据本公开的一个示例性实现方式，在已经获得场景图像230的情况下，可以确定场景图像230中的与目标角色260相关联的目标区域240。可以经由多种方式确定目标区域240，例如，可以检测用户对于场景图像230的交互，并且基于用户针对场景图像230的交互来确定目标区域240。利用本公开的示例性实现方式，可以允许用户通过手工输入的方式，来从场景图像230中选择将被替换的目标区域240。例如，用户可以在场景图像230中框选矩形(椭圆，和/或其他任意手绘形状)区域，可以调整框选区域的大小、位置和形状，等等。以此方式，可以在漫画制作中提供更多灵活性，以便以更为友好的方式获取漫画制作人员的意图。
53.参见图5描述确定目标区域240的更多细节，图5示出了根据本公开的一些实现方式的用于生成漫画的界面的框图500。如图5所示的界面510中，可以利用选择工具530来确定将被处理的目标角色260。具体地，在角色标记对话框中可以分别呈现与多个角色相关联的多个缩略标识符(例如，角色的图像和名称，等等)。当角色人数众多时，可以呈现滑动工具来显示更多角色。
54.如果接收到针对多个缩略标识符中的目标缩略标识符的用户交互，则可以基于该用户交互来确定目标角色260。例如，用户可以基于交互570(例如，单击或者双击，等等)来选择“男主”，此时在后续步骤中所确定的目标区域240即为与“男主”相关联的目标区域。以此方式，可以以图形化界面的方式来向用户提供选择目标角色260的功能，以便于用户在场景图像230中标识出与该目标角色260相关联的目标区域240。
55.根据本公开的一个示例性实现方式，可以利用章节选择520来确定将被处理的场景图像230的范围。例如，可以确定针对整个漫画中的某个章节中的场景图像来执行处理。假设选中“第二章”，则用户可以使用滑动工具560来选择在第二章中出现的任意场景图像。例如，可以在场景图像550、552、230、
…
、以及556中选择将被处理的场景图像230。
56.根据本公开的一个示例性实现方式，可以检测用户针对场景图像230的交互，并且基于检测到的交互来确定目标区域240。例如，在检测到用户在场景图像230中执行了“框选”操作时，可以将“框选”操作覆盖的区域作为目标区域240。利用本公开的示例性实现方式，用户可以根据自身判断来逐一处理每个场景图像550、552、230、
…
、556，进而标识每个场景图像中的待替换的目标区域240。
57.根据本公开的一个示例性实现方式，用户可以针对如图5所示的目标区域240的范围进行调整。此时，如果接收到针对目标区域240的用户交互，可以基于接收的用户交互来调整目标区域240。例如，用户可以拖动虚线框的位置，和/或拉伸虚线框的边界，以便准确地确定目标区域240的范围。以此方式，用户可以以更为准确的方式来限定将被替换的目标区域240，并且在后续替换过程中仅更新该目标区域240内部的内容(部分或者全部)，从而使得后续替换过程不会影响场景图像230中的面部以外的其他图像内容。
58.根据本公开的一个示例性实现方式，为了提高确定目标区域240的效率，可以基于机器学习模型来在场景图像230中识别包括面部部分的目标区域240。具体地，可以利用目标角色260的各个角度的图像作为训练数据，并且训练该机器学习模型，继而利用训练好的机器学习模型来识别目标区域240。
59.将会理解，目标角色260在不同场景图像中的呈现角度可能存在巨大差异，此时单纯基于训练数据中的各个角度的图像获得的机器学习模型的准确度可能并不令人满意。此时，可以将上文描述的手工方式和自动方式相结合，并且基于半自动方式来选择将被替换的目标区域240。例如，在初始阶段中，用户可以在预定数量的场景图像中选择目标区域240。例如，可以尽量选择具有不同呈现角度的面部数据。此时，可以将选择的各个目标区域240作为新的训练数据，从而提高机器学习模型的准确性。进一步，可以利用进一步训练的机器学习模型来在其他场景图像中自动识别目标角色260的出现。以此方式，可以在由用户手工指定目标区域240之后，基于指定的目标区域240内的面部特征来自动处理其他的场景图像230。以此方式，可以提高识别过程的速度进而提高漫画制作的整体效率。
60.根据本公开的一个示例性实现方式，用户可以打开某个场景图像，利用选择工具530来选中“男主”并且标识相应的目标区域240；继而，可以利用选择工具530选中“女主”并且在该场景图像中标识女主相应的目标区域。可以以类似方式来逐一处理每个场景图像，进而确定全部角色的将被替换的面部区域。备选地和/或附加地，用户可以利用选择工具530来选中“男主”，并且遍历全部场景图像来标识相应的目标区域；继而，用户可以利用选择工具530来选中“女主”，并且遍历全部场景图像来标识相应的目标区域。
61.根据本公开的一个示例性实现方式，可以基于目标角色260的姿态，利用目的图像220来生成与该姿态相关联的替换部分。进一步，可以利用生成的替换部分来更新目标区域中的至少一部分。具体地，可以利用界面510中的换脸工具540，来基于目的图像更新目标区域。根据本公开的一个示例性实现方式，可以利用另一机器学习模型来实现上述更新过程。该另一机器学习模型可以识别目标区域240中的多种姿态特征(例如，面部朝向、面部表情和动作等)，并且生成相应的更新后的目标区域。图6示出了根据本公开的一些实现方式的用于生成漫画的界面的框图600。如图6所示，此时图5中的目标区域240已经被更新为图6中的目标区域240’。也即，场景图像230中的面部已经被替换为由目的图像220表示的面部。
62.根据本公开的一个示例性实现方式，用户可以利用换脸工具来在不同范围内执行换脸操作。例如，可以选择在当前场景(也即，场景图像230)内执行换脸、可以选择在当前章节的范围内执行换脸、或者可以选择在全部漫画范围内执行换脸。可以检测用户针对范围620的交互，进而基于用户选择的范围来执行换脸。
63.根据本公开的一个示例性实现方式，可以接收漫画的台词并且自动向各个场景图像230中的各个角色添加台词。具体地，用户可以点击台词工具640来导入台词，此时，漫画制作工具可以读取与目标角色260相关联的台词。进一步，可以向场景图像230中添加台词。图7示出了根据本公开的一些实现方式的用于向漫画添加台词的框图。如图7所示，台词710可以包括：目标角色260“男主”以及对白“您好！”此时，可以从更新的场景图像250找到“男主”，并且可以在男主附近的适当位置处添加气泡720，以便添加男主的对白。
64.将会理解，台词710仅仅示意性示出了用于存储台词的简单数据结构，备选地和/或附加地，可以以其他方式来存储台词710。具体地，可以存储场景图像230的唯一标识符
(例如，01-01-01，用于表示该场景图像230是漫画中的第1章、第1节的第1幅场景)；可以存储被替换的目标区域240的位置，以便从角色面部的适当位置引出气泡720；等等。利用本公开的示例性实现方式，用户不必在每个场景图像中手工绘制表示台词的气泡，而是可以直接导入台词的文本即可自动向场景图像230添加台词。当漫画涉及大量场景和大量角色时，可以进一步降低人工劳动负载并且提高制作效率。
65.根据本公开的一个示例性实现方式，用户可以点击气泡720并且调整气泡的位置，可以编辑气泡720中的对白。进一步，用户可以从漫画中删除台词，此时气泡720将被删除。可以修改台词710并且重新导入修改后的台词，由此支持以更为灵活并且有效的方式更新漫画中的台词。
66.利用本公开的示例性实现方式，可以在真实拍摄演员、漫画角色、以及最终演员之间建立关联关系。以此方式，可以基于自动化处理来将漫画角色替换为由具有任何期望外形的演员所饰演，从而提高漫画制作的效率。
67.示例过程
68.图8示出了根据本公开的一些实现方式的用于生成漫画的方法800的流程图。在框810处，针对漫画中的多个角色中的目标角色，分别接收与目标角色相关联的原始图像和目的图像，原始图像表示目标角色的将被替换的角色外观，并且目的图像表示将被包括在漫画中的目标角色的角色外观。在框820处，获取漫画中的包括目标角色的场景图像。在框830处，确定场景图像中的与目标角色相关联的目标区域。在框840处，基于目的图像来更新目标区域中的至少一部分。
69.根据本公开的一个示例性实现方式，确定目标区域包括：响应于接收到针对场景图像的第一用户交互，基于第一用户交互来确定目标区域。
70.根据本公开的一个示例性实现方式，该方法800进一步包括：分别呈现与多个角色相关联的多个缩略标识符；以及响应于接收到针对多个缩略标识符的第二用户交互，基于第二用户交互来确定目标角色。
71.根据本公开的一个示例性实现方式，该方法800进一步包括：响应于接收到针对目标区域的第三用户交互，基于第三用户交互来调整目标区域。
72.根据本公开的一个示例性实现方式，确定目标区域包括：基于机器学习模型来在场景图像中识别目标区域，目标区域是目标角色的面部区域。
73.根据本公开的一个示例性实现方式，原始图像包括漫画的演员的面部图像，并且目的图像包括用于替换演员的面部的图像。
74.根据本公开的一个示例性实现方式，基于目的图像来更新目标区域中的至少一部分包括：基于目标角色的姿态，利用目的图像来生成与姿态相关联的替换部分；以及利用生成的替换部分来更新目标区域中的至少一部分。
75.根据本公开的一个示例性实现方式，获取场景图像包括：以下至少任一项：在包括目标角色的场景中采集场景图像；从多媒体数据中提取场景图像，多媒体数据包括以下至少任一项：图文数据、图像集、视频数据。
76.根据本公开的一个示例性实现方式，该方法800进一步包括：接收与目标角色相关联的台词；以及向场景图像中添加台词。
77.根据本公开的一个示例性实现方式，该方法800进一步包括：呈现利用目的图像生
成的目标角色的融合图像，融合图像包括目标角色的以下至少任一项：正面图像、侧面图像、45度侧面图像。
78.根据本公开的一个示例性实现方式，该方法800进一步包括：响应于接收到用于调整目标角色的外观特征的第四用户交互，基于第四用户交互来生成融合图像，外观特征包括以下至少任一项：发型、妆容、五官、年龄、身材、服装、饰物。
79.根据本公开的一个示例性实现方式，该方法800进一步包括：响应于接收到针对融合图像的确认，基于融合图像来更新目标区域中的至少一部分。
80.示例装置和设备
81.图9示出了根据本公开的一些实现方式的用于生成漫画的装置900的框图。该装置900包括：接收模块910，被配置用于针对漫画中的多个角色中的目标角色，分别接收与目标角色相关联的原始图像和目的图像，原始图像表示目标角色的将被替换的角色外观，并且目的图像表示将被包括在漫画中的目标角色的角色外观；获取模块920，被配置用于获取漫画中的包括目标角色的场景图像；确定模块930，被配置用于确定场景图像中的与目标角色相关联的目标区域；以及更新模块940，被配置用于基于目的图像来更新目标区域中的至少一部分。
82.根据本公开的一个示例性实现方式，确定模块930包括：第一交互模块，被配置用于响应于接收到针对场景图像的第一用户交互，基于第一用户交互来确定目标区域。
83.根据本公开的一个示例性实现方式，该装置900进一步包括：呈现模块，被配置用于分别呈现与多个角色相关联的多个缩略标识符；以及第二交互模块，被配置用于响应于接收到针对多个缩略标识符的第二用户交互，基于第二用户交互来确定目标角色。
84.根据本公开的一个示例性实现方式，该装置900进一步包括：第三交互模块，被配置用于响应于接收到针对目标区域的第三用户交互，基于第三用户交互来调整目标区域。
85.根据本公开的一个示例性实现方式，确定模块930包括：机器学习模块，被配置用于基于机器学习模型来在场景图像中识别目标区域，目标区域是目标角色的面部区域。
86.根据本公开的一个示例性实现方式，原始图像包括漫画的演员的面部图像，并且目的图像包括用于替换演员的面部的图像。
87.根据本公开的一个示例性实现方式，更新模块940包括：生成模块，被配置用于基于目标角色的姿态，利用目的图像来生成与姿态相关联的替换部分；以及区域更新模块，被配置用于利用生成的替换部分来更新目标区域中的至少一部分。
88.根据本公开的一个示例性实现方式，获取模块920包括以下至少任一项：第一获取模块，被配置用于在包括目标角色的场景中采集场景图像；第二获取模块，被配置用于从多媒体数据中提取场景图像，多媒体数据包括以下至少任一项：图文数据、图像集、视频数据。
89.根据本公开的一个示例性实现方式，该装置900进一步包括：接收模块，被配置用于接收与目标角色相关联的台词；以及添加模块，被配置用于向场景图像中添加台词。
90.根据本公开的一个示例性实现方式，该装置900进一步包括：融合模块，被配置用于呈现利用目的图像生成的目标角色的融合图像，融合图像包括目标角色的以下至少任一项：正面图像、侧面图像、45度侧面图像。
91.根据本公开的一个示例性实现方式，该装置900进一步包括：第四交互模块，被配置用于响应于接收到用于调整目标角色的外观特征的第四用户交互，基于第四用户交互来
生成融合图像，外观特征包括以下至少任一项：发型、妆容、五官、年龄、身材、服装、饰物。
92.根据本公开的一个示例性实现方式，该装置900进一步包括：响应于接收到针对融合图像的确认，基于融合图像来更新目标区域中的至少一部分。
93.图10示出了能够实施本公开的多个实现方式的设备1000的框图。应当理解，图10所示出的计算设备1000仅仅是示例性的，而不应当构成对本文所描述的实现方式的功能和范围的任何限制。图10所示出的计算设备1000可以用于实现上文描述的方法。
94.如图10所示，计算设备1000是通用计算设备的形式。计算设备1000的组件可以包括但不限于一个或多个处理器或处理单元1010、存储器1020、存储设备1030、一个或多个通信单元1040、一个或多个输入设备1050以及一个或多个输出设备1060。处理单元1010可以是实际或虚拟处理器并且能够根据存储器1020中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备1000的并行处理能力。
95.计算设备1000通常包括多个计算机存储介质。这样的介质可以是计算设备1000可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器1020可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或它们的某种组合。存储设备1030可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备1000内被访问。
96.计算设备1000可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图10中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器1020可以包括计算机程序产品1025，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实现方式的各种方法或动作。
97.通信单元1040实现通过通信介质与其他计算设备进行通信。附加地，计算设备1000的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备1000可以使用与一个或多个其他服务器、网络个人计算机(pc)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
98.输入设备1050可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备1060可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备1000还可以根据需要通过通信单元1040与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备1000交互的设备进行通信，或者与使得计算设备1000与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
99.根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，提供了一种计算机程序产品，其上存
储有计算机程序，程序被处理器执行时实现上文描述的方法。
100.这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
101.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
102.可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
103.附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
104.以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

技术特征：
1.一种用于生成漫画的方法，包括：针对所述漫画中的多个角色中的目标角色，分别接收与所述目标角色相关联的原始图像和目的图像，所述原始图像表示所述目标角色的将被替换的角色外观，并且所述目的图像表示将被包括在所述漫画中的所述目标角色的角色外观；获取所述漫画中的包括所述目标角色的场景图像；确定所述场景图像中的与所述目标角色相关联的目标区域；以及基于所述目的图像来更新所述目标区域中的至少一部分。2.根据权利要求1所述的方法，其中确定所述目标区域包括：响应于接收到针对所述场景图像的第一用户交互，基于所述第一用户交互来确定所述目标区域。3.根据权利要求2所述的方法，进一步包括：分别呈现与所述多个角色相关联的多个缩略标识符；以及响应于接收到针对所述多个缩略标识符的第二用户交互，基于所述第二用户交互来确定所述目标角色。4.根据权利要求1所述的方法，进一步包括：响应于接收到针对所述目标区域的第三用户交互，基于所述第三用户交互来调整所述目标区域。5.根据权利要求1所述的方法，其中确定所述目标区域包括：基于机器学习模型来在所述场景图像中识别所述目标区域，所述目标区域是所述目标角色的面部区域。6.根据权利要求1所述的方法，其中所述原始图像包括所述漫画的演员的面部图像，并且所述目的图像包括用于替换所述演员的面部的图像。7.根据权利要求1所述的方法，其中基于所述目的图像来更新所述目标区域中的所述至少一部分包括：基于所述目标角色的姿态，利用所述目的图像来生成与所述姿态相关联的替换部分；以及利用生成的所述替换部分来更新所述目标区域中的所述至少一部分。8.根据权利要求1所述的方法，其中获取所述场景图像包括：以下至少任一项：在包括所述目标角色的场景中采集所述场景图像；从多媒体数据中提取所述场景图像，所述多媒体数据包括以下至少任一项：图文数据、图像集、视频数据。9.根据权利要求1所述的方法，进一步包括：接收与所述目标角色相关联的台词；以及向所述场景图像中添加所述台词。10.根据权利要求1所述的方法，进一步包括：呈现利用所述目的图像生成的所述目标角色的融合图像，所述融合图像包括所述目标角色的以下至少任一项：正面图像、侧面图像、45度侧面图像。11.根据权利要求10所述的方法，进一步包括：响应于接收到用于调整所述目标角色的外观特征的第四用户交互，基于所述第四用户交互来生成所述融合图像，所述外观特征包括以下至少任一项：发型、妆容、五官、年龄、身材、服装、饰物。12.根据权利要求10所述的方法，进一步包括：响应于接收到针对所述融合图像的确
认，基于所述融合图像来更新所述目标区域中的所述至少一部分。13.一种用于生成漫画的装置，包括：接收模块，被配置用于针对所述漫画中的多个角色中的目标角色，分别接收与所述目标角色相关联的原始图像和目的图像，所述原始图像表示所述目标角色的将被替换的角色外观，并且所述目的图像表示将被包括在所述漫画中的所述目标角色的角色外观；获取模块，被配置用于获取所述漫画中的包括所述目标角色的场景图像；确定模块，被配置用于确定所述场景图像中的与所述目标角色相关联的目标区域；以及更新模块，被配置用于基于所述目的图像来更新所述目标区域中的至少一部分。14.一种电子设备，包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至12中任一项所述的方法。15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时使所述处理器实现根据权利要求1至12中任一项所述的方法。

技术总结
提供了用于生成漫画的方法、装置、设备和介质。在一种方法中，针对漫画中的多个角色中的目标角色，分别接收与目标角色相关联的原始图像和目的图像，原始图像表示目标角色的将被替换的角色外观，并且目的图像表示将被包括在漫画中的目标角色的角色外观。获取漫画中的包括目标角色的场景图像。确定场景图像中的与目标角色相关联的目标区域。基于目的图像来更新目标区域中的至少一部分。利用本公开的示例性实现方式，以此方式，可以基于自动化处理来将漫画角色替换为由任何期望外形，从而提高漫画制作的效率。制作的效率。制作的效率。


技术研发人员：宋琦
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：2023.04.14
技术公布日：2023/8/24