手语视频的生成方法、装置、计算机设备及存储介质与流程

1.本技术实施例涉及人工智能领域，特别涉及一种手语视频的生成方法、装置、计算机设备及存储介质。


背景技术：

2.观看视频时，在没有字幕的情况下，听障人士常常无法正常进行观看，因此需要将视频对应的音频内容翻译成相应的手语视频，并与视频同步播放。
3.相关技术中，需要提前获取音频内容对应的文本，手语老师人工将文本翻译为手语，进而生成手语视频，然后添加到视频中播放。
4.但是由于手语老师的数量有限，实现的人力成本较高，因此无法大规模应用到各种应用场景中。


技术实现要素：

5.本技术实施例提供了一种手语视频的生成方法、装置、计算机设备及存储介质，能够提高手语视频的可懂度，且实现成本低，能够适用大量应用场景，所述技术方案如下：
6.一方面，本技术实施例提供了一种手语视频的生成方法，该方法包括：
7.获取听人文本，所述听人文本为符合健听人士语法结构的文本；
8.对所述听人文本进行摘要提取，得到摘要文本，所述摘要文本的文本长度短于所述听人文本的文本长度；
9.将所述摘要文本转换为手语文本，所述手语文本为符合听障人士语法结构的文本；
10.基于所述手语文本生成所述手语视频，所述手语视频与所述听人文本对应的音频保持同步。
11.另一方面，本技术实施例提供了一种手语视频的生成装置，该装置包括：
12.获取模块，用于获取听人文本，所述听人文本为符合健听人士语法结构的文本；
13.提取模块，用于对所述听人文本进行摘要提取，得到摘要文本，所述摘要文本的文本长度短于所述听人文本的文本长度；
14.转换模块，用于将所述摘要文本转换为手语文本，所述手语文本为符合听障人士语法结构的文本；
15.生成模块，用于基于所述手语文本生成所述手语视频，所述手语视频与所述听人文本对应的音频保持同步。
16.另一方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的手语视频的生成方法。
17.另一方面，本技术实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段
程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的手语视频的生成方法。
18.另一方面，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的手语视频的生成方法。
19.本技术提供的技术方案可以包括以下有益效果：
20.在本技术实施例中，对听人文本进行文本摘要提取，得到摘要文本，进而缩短听人文本的文本长度，使得最后生成的手语视频与听人文本对应的音频保持同步。另外将摘要文本转换成符合听障人士语法结构的手语文本，基于手语文本生成手语视频，提高了手语视频对听障人士的可懂度，且基于手语文本自动生成手语视频，无需人工打手语，实现成本低，且能够适用于大量应用场景，例如视频直播场景、离线视频播放场景等。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
22.图1示出了本技术一个示例性实施例提供的实施环境的示意图；
23.图2示出了本技术一个示例性实施例提供的手语视频的生成方法的流程图；
24.图3示出了本技术一个示例性实施例提供的手语视频与其对应音频不同步的原理示意图；
25.图4示出了本技术另一个示例性实施例提供的手语视频的生成方法的流程图；
26.图5示出了本技术一个示例性实施例提供的语音识别过程的流程图；
27.图6示出了本技术一个示例性实施例提供的编码器-解码器的框架结构图；
28.图7示出了本技术一个示例性实施例提供的翻译模型训练过程的流程图；
29.图8示出了本技术一个示例性实施例提供的虚拟对象建立的流程图；
30.图9示出了本技术一个示例性实施例提供的摘要文本生成方法的流程图；
31.图10示出了本技术一个示例性实施例提供的动态路径规划算法的原理图；
32.图11示出了本技术一个示例性实施例提供的摘要文本生成方法的过程示意图；
33.图12示出了本技术一个示例性实施例提供的手语视频的生成方法的流程图；
34.图13示出了本技术一个示例性实施例提供的手语视频的生成装置的结构方框图；
35.图14示出了本技术一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
36.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的传感器及制备方法的例子。
37.应当理解的是，在本文中提及的“若干个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可
以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
38.下面对本技术实施例中涉及的名称进行介绍：
39.手语：听障人士使用的语言，由手势、肢体动作以及面部表情等信息组成。按照语序的不同，手语可以分为自然手语和手势手语两种，其中自然手语为听障人士使用的语言，而手势手语为健听人士使用的语言。可以通过语序的不同来区分自然手语和手势手语，例如“猫/老鼠/捉”为自然手语，“猫/捉/老鼠”为手势手语，其中，“/”用于分隔每个词组。
40.听人文本：符合健听人士语法结构的文本，也就是符合汉语普通话语言习惯、语法结构的文本。
41.手语文本：符合听障人士阅读习惯、语法结构的文本。
42.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
43.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
44.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、无人驾驶、自动驾驶、无人机、机器人、智能医疗等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
45.在本技术实施例中，将人工智能应用到手语解说领域，能够基于听人文本自动生成手语视频，并解决手语视频与对应的音频不同步的问题。
46.日常生活中，听障人士在观看新闻联播、球赛转播等视频节目时，由于没有对应的字幕，因此无法正常进行观看。或者在收听音频类的节目时，例如广播，由于没有音频对应的字幕，听障人士也无法正常收听。相关技术中，通常提前获取音频内容，并根据音频内容预先录制手语视频，进而与视频或者音频进行合成之后播放，从而使得听障人士可以通过手语视频了解对应的音频内容。
47.但是，由于手语是由手势组成的语言，表达内容相同时，手语视频的时长大于音频时长，从而导致生成的手语视频的时间轴与音频时间轴不对齐，特别对于视频而言，容易导致手语视频与对应的音频不同步的问题，影响听障人士对音频内容的理解。对于视频而言，由于音频内容和视频内容是一致的，因此也可能造成手语表达的内容和视频画面存在差异。在本技术实施例中，通过获取视频对应的听人文本及时间戳，对听人文本进行摘要提取，得到摘要文本，从而缩短听人文本的文本长度，使得基于摘要文本生成的手语视频的时间轴与听人文本对应音频的音频时间轴对齐，进而解决手语视频与对应音频不同步的问题。
48.本技术实施例提供的手语视频的生成方法可以应用到多种场景，为听障人士的生
活提供便利。
49.在一种可能的应用场景下，本技术实施例提供的手语视频的生成方法可以应用于实时手语场景。可选地，实时手语场景可以是赛事直播、新闻直播、会议直播等，采用本技术实施例提供的方法可以为直播内容配上手语视频。以新闻直播场景为例，将新闻直播对应的音频转换成听人文本，对听人文本进行压缩处理得到摘要文本，基于摘要文本生成手语视频，从而与新闻直播视频进行合成实时推送给用户。
50.在另一种可能的应用场景下，本技术实施例提供的手语视频的生成方法可以应用于离线手语场景，离线手语场景下存在离线文本。可选地，离线手语场景可以是文字资料的阅读场景，可以直接将文本内容转换成手语视频进行播放。
51.请参考图1，其示出了本技术一个示例性实施例提供的实施环境的示意图。该实施环境可以包括终端110和服务器120。
52.终端110安装和运行可以观看手语视频的客户端，该客户端可以是应用程序或者网页客户端。以该客户端是应用程序为例，该应用程序可以是视频播放程序、音频播放程序等，本技术实施例对此不作限定。
53.关于终端110的设备类型，终端110可以包括但不限于智能手机、平板电脑、电子书阅读器、动态影像专家压缩标准音频层面3(moving picture expertsgroup audio layer iii，mp3)播放器、动态影像专家压缩标准音频层面4(movingpicture experts group audio layer iv，mp4)播放器、膝上型便携计算机、台式计算机、智能语音交互设备、智能家电、车载终端等，本技术实施例对此不作限定。
54.终端110通过无线网络或有线网络与服务器120相连。
55.服务器120包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器120用于为客户端提供后台服务。可选地，手语视频的生成方法可以由服务器120执行，也可以由终端110执行，也可以有服务器120以及终端110协同执行，本技术实施例对此不作限定。为了方便描述，下述实施例中以计算机设备为手语视频生成的执行主体为例进行说明。
56.在本技术实施例中，服务器120生成手语视频的模式包括离线模式和实时模式。
57.在一种可能的实施方式中，服务器120生成手语视频的模式为离线模式时，服务器120将生成的手语视频存储至云端，当用户需要观看该手语视频时，通过在终端110的应用程序或者网页客户端输入该手语视频的存储路径，终端110 从服务器下载该手语视频。
58.在另一种可能的实施方式中，服务器120生成手语视频的模式为实时模式时，服务器120实时向终端110推送手语视频，终端110实时下载该手语视频，用户可以通过终端110上运行应用程序或者网页客户端进行观看。
59.下面对本技术实施例中的手语视频的生成方法进行介绍。请参考图2，其示出了本技术一个示例性实施例提供的手语视频的生成方法的流程图，该方法包括：
60.步骤210，获取听人文本，听人文本为符合健听人士语法结构的文本。
61.关于听人文本的类型，可选地，听人文本可以是离线文本，也可以是实时文本。
62.示例性的，当听人文本是离线文本时，其可以是视频或者音频离线下载等场景下获取的文本。
63.示例性的，当听人文本是实时文本时，其可以是视频直播、同声传译等场景下获取
的文本。
64.关于听人文本的来源，可选地，听人文本可以是编辑好内容的文本；也可以是从字幕文件中提取的文本，也可以是从音频文件或者视频文件中提取的文本等，本技术实施例对此不作限定。
65.可选地，在本技术实施例中，听人文本的语言种类不限于汉语，也可以是其他语言，本技术实施例对此不作限定。
66.步骤220，对听人文本进行摘要提取，得到摘要文本，摘要文本的文本长度短于听人文本的文本长度。
67.如图3所示，表达相同的内容时，手语视频(由听人文本进行手语翻译得到)时长大于听人文本对应音频的音频时长，因此导致听人文本对应音频的音频时间轴与最后生成的手语视频的时间轴不对齐，从而导致手语视频与其对应的音频不同步的问题。其中，a1、a2、a3、a4用于表示听人文本对应的时间戳，v1、v2、v3、v4用于表示手语视频轴的时间区间。因此，在一种可能的实施方式中，计算机设备可以通过缩短听人文本的文本长度，使得最终生成的手语视频与其对应的音频保持同步。
68.示例性的，计算机设备通过提取听人文本中对听人文本的全文语义有影响的语句，进而得到摘要文本。
69.示例性的，计算机设备通过对听人文本的语句进行文本压缩处理，得到摘要文本。
70.另外，对于听人文本为离线文本和听人文本为实时文本时，对听人文本进行摘要提取的方式不同。当听人文本为离线文本时，计算机设备可以获取到听人文本的全部内容，因此可以采用上述任意一种方法或者两种方法的结合得到摘要文本。而当听人文本为实时文本时，由于计算机设备对听人文本采取实时推送的方式进行传输，无法获取听人文本的全部内容，只能通过采用对听人文本的语句进行文本压缩处理的方法得到摘要文本。
71.在另一种可能的实施方式中，计算机设备可以通过调整手语视频中手语手势的速度使得手语视频与其对应的音频保持同步。示例性的，当手语视频的时长大于音频时长时，计算机设备可以使得执行手语手势的虚拟对象在手语语句之间保持自然晃动，等待手语视频的时间轴和音频时间轴对齐，当手语视频的时长小于音频时长时，计算机设备可以使得执行手语手势的虚拟对象在手语语句之间加快手势动作，使得手语视频的时间轴和音频时间轴对齐，从而使得手语视频与其对应的音频同步。
72.步骤230，将摘要文本转换为手语文本，手语文本为符合听障人士语法结构的文本。
73.在本技术实施例中，由于摘要文本是基于听人文本生成的，因此摘要文本也是符合健听人士语法结构的文本。但是由于听障人士的语法结构和健听人士的语法结构不同，因此为了提高手语视频对听障人士的可懂度，计算机设备将摘要文本转换成符合听障人士语法结构的手语文本。
74.在一种可能的实施方式中，计算机设备基于手语翻译技术自动将摘要文本转换为手语文本。
75.示例性的，计算机设备基于自然语言处理(naturallanguageprocessing，nlp) 技术将摘要文本转换为手语文本。
76.步骤240，基于手语文本生成手语视频，手语视频与听人文本对应的音频保持同
步。
77.基于听人文本的类型不同，计算机设备基于手语文本生成手语视频的模式也不同。
78.在一种可能的实施方式中，当听人文本的类型为离线文本时，计算机设备基于手语文本生成手语视频的模式为离线视频模式。离线视频模式下，计算机设备将多个手语文本语句分别生成多个手语视频片段，并将多个手语视频片段合成进而得到一个完整的手语视频，同时将该手语视频存储至云端服务器，供用户下载使用。
79.在另一种可能的实施方式中，当听人文本的类型为实时文本时，计算机设备基于手语文本生成手语视频的模式为实时推流模式。实时推流模式下，服务器将手语文本语句生成手语视频片段，以视频流的形式逐句推送至客户端，用户可以通过客户端实时加载并播放。
80.综上所述，在本技术实施例中，对听人文本进行文本摘要提取，得到摘要文本，进而缩短听人文本的文本长度，使得最后生成的手语视频与听人文本对应的音频保持同步。另外将摘要文本转换成符合听障人士语法结构的手语文本，基于手语文本生成手语视频，提高了手语视频对听障人士的可懂度，且基于手语文本自动生成手语视频，无需人工打手语，实现成本低，且能够适用于大量应用场景，例如视频直播场景、离线视频场景等。
81.在本技术实施例中，在一种可能的实施方式中，计算机设备可以采用通过对听人文本进行语义分析，提取影响听人文本全文语义的语句的方法得到摘要文本；在另一种可能的实施方式中，计算机设备也可以采用对听人文本进行分句，对分句后的语句进行文本压缩处理的方法得到摘要文本。下面对上述方法进行介绍。请参考图4，其示出了本技术另一个示例性实施例提供的手语视频的生成方法的流程图，该方法包括：
82.步骤410，获取听人文本。
83.在本技术实施例中，计算机设备获取听人文本的方式有多种，下面对这些方法进行介绍。
84.在一种可能的实施方式中，在离线场景下，例如阅读场景，计算机设备可以直接获取输入的听人文本，其中听人文本也就是对应的阅读文本。
85.可选地，该听人文本可以是word文件、pdf文件等，本技术实施例对此不作限定。
86.在另一种可能的实施方式中，在视频观看场景或者音频收听场景下，由于视频和音频没有对应的字幕，计算机设备可以获取字幕文件，从字幕文件中提取听人文本。
87.其中，字幕文件是指包含时间戳的文本内容。
88.在另一种可能的实施方式中，在音频实时传输场景下，例如同声传译场景，会议直播场景等，计算机设备获取音频文件，进一步，对音频文件进行语音识别，得到语音识别结果，进一步，基于语音识别结果生成听人文本。
89.由于听障人士无法听到声音，因此无法从音频文件中获取信息，计算机设备通过语音识别技术将提取声音转换为文字，进而生成听人文本。
90.在一种可能的实施方式中，语音识别的过程包括：输入——编码(特征提取)——解码——输出。如图5所示，其示出了本技术一个示例性实施例提供的语音识别的过程。首先计算机设备对输入的音频文件进行特征提取，即将音频信号从时域转换到频域，为声音模型提供合适的特征向量。可选地，提取的特征可以是lpcc
(linearpredictivecepstralcoding，线性预测倒谱系数)、mfcc (melfrequencycepstralcoefficients，梅尔频率倒谱系数)等，本技术实施例对此不作限定。进一步，将提取到的特征向量输入声学模型，声学模型通过训练数据1训练得到。声学模型用于根据声学特征计算每一个特征向量在声学特征上概率。可选地，声学模型可以是词模型、字发音模型、半音节模型、音素模型等，本技术实施例对此不作限定。进一步，基于语言模型计算该特征向量可能对应的词组序列的概率。其中语言模型通过训练数据2训练得到。通过声学模型和语言模型完成对特征向量的解码，得到文字识别结果，进而得到音频文件对应的听人文本。
91.在另一种可能的实施方式中，在视频实时传输场景下，例如体育赛事直播、视听节目直播等，计算机设备获取视频文件，进一步，对视频文件的视频帧进行ocr(opticalcharacterrecognition，光学字符识别)识别，得到文字识别结果，进而获取听人文本。
92.其中，ocr是指对包含文本资料的图像文件进行分析识别处理，获取文字及版面信息的技术。
93.在一种可能的实施方式中，计算机设备通过ocr对视频文件的视频帧识别得到文字识别结果的过程为：计算机设备提取视频文件的视频帧，每帧视频帧可以看作是一张静态的图片。进一步，计算机设备对视频帧进行图像预处理，对图像的成像问题进行纠正，包括几何变换，即透视、扭曲、旋转等，畸变矫正，去除模糊，图像增强和光线校正等。进一步，计算机设备对经过图像预处理之后的视频帧进行文本检测，检测文本所在位置和范围及布局。进一步，计算机设备对检测到的文本进行文本识别，将视频帧中的文本信息转化为纯文本信息，进而得到文字识别结果。该文字识别结果即为听人文本。
94.步骤420，对听人文本进行语义分析；基于语义分析结果从听人文本中提取关键语句，关键语句为听人文本中影响全文语义的语句；将关键语句确定为摘要文本。
95.在一种可能的实施方式中，计算机设备对听人文本采用句子级的语义分析方法，可选地，句子级的语义分析方法可以是浅层语义分析和深层语义分析，本技术实施例对此不作限定。
96.在一种可能的实施方式中，计算机设备基于语义分析结果从听人文本中提取关键语句，过滤非关键语句，将关键语句确定为摘要文本。其中非关键语句是对全文语义没有影响的语句。
97.可选地，计算机设备可以基于tf-idf(text frequency-inverse documentfrequency，词频逆文档频率)算法对听人文本进行语义分析，得到关键语句，进而生成摘要文本。首先，计算机设备先统计听人文本中出现次数最多的词组。进一步，对出现的词组分配权重。权重的大小和词组的常见程度成反比，也就是说平时较为少见但是在听人文本中多次出现的词组给予较高权重，平时比较常见的词组给予较低的权重。进一步，基于各个词组的权重值计算tf-idf值。 tf-idf值越大说明该词组对听人文本的重要性程度越高。因此选取tf-idf值最大的几个词组为关键词，该词组所在的文本语句即为关键语句。
98.示例性的，听人文本的内容为“2022年冬季运动会将在xx地举行。本届冬季运动会的吉祥物为xxx。本届冬季运动会的口号为
‘
xxxxx’。我感到很骄傲”。计算机设备基于tf-idf算法对该听人文本进行语义分析，得到关键词为“冬季运动会”。因此关键词“冬季运动会”所在的语句为关键语句，即“2022 年冬季运动会将在xx地举行。本届冬季运动会的吉祥
物为xxx。本届冬季运动会的口号为
‘
xxxxx
’”
。而“我感到很骄傲”为非关键句。过滤对听人文本的全文语义并没有影响的非关键句，因此将关键句“2022年冬季运动会将在xx 地举行。本届冬季运动会的吉祥物为xxx。本届冬季运动会的口号为
‘
xxxxx
’”
确定为摘要文本。
99.步骤430，对听人文本进行文本压缩处理；将压缩后的听人文本确定为摘要文本。
100.在一种可能的实施方式中，计算机设备按照压缩比对听人文本进行文本压缩处理，将压缩后的听人文本确定为摘要文本。
101.可选地，听人文本的类型不同，其压缩比也不同。当听人文本类型为离线文本时，听人文本中每个语句的压缩比可能相同也可能不同。当听人文本类型为实时文本时，为了降低延时，对听人文本的语句按照固定的压缩比进行压缩处理，得到摘要文本。
102.可选地，压缩比的取值与应用场景有关。例如，在访谈场景或者日常交流场景中，由于用语较为口语化，可能一句话中包含的有效信息比较少，因此压缩比的取值较大。而在新闻联播场景下，由于用语简练，一句话中包含的有效信息较多，因此压缩比的取值较小。例如，在访谈场景下，计算机设备按照0.8 的压缩比对听人文本进行文本压缩处理，而在新闻联播场景下，计算机设备按照0.3的压缩比对听人文本进行文本压缩处理。
103.另外，在本技术实施例中，对听人文本进行文本压缩处理后得到的摘要文本的全文语义应该与听人文本的全文语义保持一致。
104.步骤440，将摘要文本输入翻译模型，得到翻译模型输出的手语文本，翻译模型基于样本文本对训练得到，样本文本对由样本手语文本和样本听人文本构成。
105.示例性的，翻译模型可以是基于encoder-decoder(编码器-解码器)基本框架构建的模型。可选地，翻译模型可以是rnn(recurrentneuralnetwork，循环神经网络)模型、cnn(convolutionalneuralnetwork，卷积神经网络)模型、 lstm(longshort-timememory，长短期记忆)模型等，本技术实施例对此不作限定。
106.其中，encoder-decoder的基本框架结构如图6所示，该框架结构分为encoder 和decoder两个结构部分。在本技术实施例中，先通过编码器对摘要文本进行编码，得到中间语义向量，然后通过解码器对中间语义向量进行解码进而得到手语文本。
107.示例性的，通过encoder对摘要文本进行编码，得到中间语义向量的过程为：首先输入摘要文本的词向量(inputembedding)。进一步，将词向量和位置编码 (positionalencoding)相加作为多头注意力机制(multi-headattention)层的输入，得到多头注意力机制层的输出结果，同时将词向量和位置编码输入第一个 add&norm(连接&标准化)层，进行残差连接以及对激活值进行归一化处理。进一步，将第一个add&norm层输出的结果和多头注意力机制层的输出结果输入前馈(feedforward)层，得到前馈层对应的输出结果，同时将第一个add&norm 层输出的结果和多头注意力机制层的输出结果再次输入第二个add&norm层，进而得到中间语义向量。
108.进一步通过decoder对中间语义向量进行解码，进而得到摘要文本对应的翻译结果的过程为：首先，将encoder的输出结果，即中间语义向量作为decoder 的输入(outputembedding)。进一步，将中间语义向量和位置编码进行相加作为第一个多头注意力机制层的输入，同时对该多头注意力机制层进行掩盖(masked) 处理，进而得到输出结果。同时将中间语义向量和位置编码输入第一个 add&norm层，进行残差连接以及对激活值进行归一化处理。进一步，将第一个add&norm层输出的结果和经过掩盖处理的第一个多头注
意力机制层的输出结果输入第二个多头注意力机制层，同时将encoder输出的结果也输入第二个多头注意力机制层，得到第二个多头注意力机制层的输出结果。进一步，将第一个add&norm层输出的结果以及经过掩盖处理的第一个多头注意力机制层的结果输入第二个add&norm层，得到第二个add&norm层的输出结果。进一步，将第二个多头注意力机制层的输出结果和第二个add&norm层的输出结果输入前馈层，得到前馈层的输出结果，同时将第二个多头注意力机制层的输出结果和第二个add&norm层的输出结果输入第三个add&norm层，得到第三个 add&norm层的输出结果。进一步，将前馈层的输出结果和第三个add&norm 层的输出结果进行线性映射(linear)和归一化处理(softmax)，最终decoder 的输出结果。
109.在本技术实施例中，翻译模型基于样本文本对训练得到，其训练的流程如图7所示，主要步骤包括数据处理，模型训练以及推理。数据处理用于对样本文本对进行标注或者数据扩充。
110.在一种可能的实施方式中，样本文本对可以由现有的样本听人文本和样本手语文本构成。如表一所示。
111.表一
[0112][0113]
其中，样本手语文本中，“/”用于分隔每个词组，“///”用于表示大标点，类如句号，感叹号，问号等，表示句子结束。
[0114]
在另一种可能的实施方式中，可以通过对样本手语文本采用反向翻译 (backtranslation，bt)的方法得到样本听人文本，进而得到样本文本对。
[0115]
示例性的，样本手语文本如表二所示。
[0116]
表二
[0117]
样本手语文本我/想/做/程序员/勤劳/做/做/做//一个月/前/多///可能/愿意/做/程序员/人/多/需要/努力/学习///
[0118]
其中，样本手语文本中“//”用于表示小标点，例如逗号、顿号、分号等。
[0119]
首先利用现有的样本听人文本以及样本手语文本训练手语-汉语翻译模型，得到训练后的手语-汉语翻译模型。其次，将表二中的样本手语文本输入训练后的手语-汉语翻译模型，得到对应的样本听人文本，进而得到样本文本对，如表三所示。
[0120]
表三
[0121][0122]
由前述两种方式得到的样本文本对如表四所示。
[0123]
表四
[0124][0125]
进一步，计算机设备基于表四所示的样本文本对训练翻译模型，得到训练后的翻译模型。另外，需要说明的是，表四中以示例的方式对样本文本对的内容进行说明，训练翻译模型的样本文本对还包括其他样本听人文本以及对应的样本手语文本，本技术实施例对此不再赘述。
[0126]
进一步，对训练好的翻译模型进行推理验证，即将样本听人文本输入训练好的翻译模型，得到翻译结果，如表五所示。
[0127]
表五
[0128][0129]
其中，翻译结果中空格表示分隔每个词组，世界1表示世界唯一。
[0130]
步骤450，获取手语文本中各个手语词汇对应的手语手势信息。
[0131]
在本技术实施例中，计算机设备基于翻译模型得到摘要文本对应的手语文本之后，进一步将手语文本解析成单个的手语词汇，例如吃饭、上学、点赞等。计算机设备中提前建立有各个手语词汇对应的手语手势信息。计算机设备基于手语词汇与手语手势信息的映射关系，将手语文本中的各个手语词汇匹配到对应的手语手势信息。例如，手语词汇“点赞”匹配的手语手势信息为：拇指翘起向上，其余四指紧握。
[0132]
步骤460，基于手语手势信息控制虚拟对象按序执行手语手势。
[0133]
其中，虚拟对象是通过2d或者3d建模提前创建好的数字人形象，每个数字人形象包括脸部特征、发型特征、身体特征等。可选地，数字人即可以是经过真人授权后的仿真人形象，也可以是卡通形象等，本技术实施例对此不作限定。
[0134]
示例性的，结合图8对本技术实施例中，虚拟对象建立的过程进行简要说明。
[0135]
首先输入图片i(inputimagei)，使用一个预先训练的形状重构器(shapereconstructor)预测出3dmm(3d morphable model，3d变形模型)参数(3dmmcoefficients)以及姿态参数p(posecoefficientsp)，进而得到3dmm网格(3dmmmesh)。然后，使用形状转换模型(shapetransfer)将3dmmmesh的拓扑变换到游戏上，即得到游戏网格(gamemesh)。同时对图片i进行图片解码 (imageencoder)，进一步得到潜
在特征(latentfeatures)，基于光照预测器 (lightingpredictor)得到光照参数l(lightingcoefficientsl)。
[0136]
进一步，根据gamemesh对输入的图片i进行uv展开(uvunwrapping) 到uv空间，得到该图片的粗粒度纹理c(corsetexturec)。进一步，对该粗粒度纹理c进行纹理编码(textureencoder)，并提取潜在特征，将图片潜在特征和纹理潜在特征进行融合(concatenate)。进一步，进行纹理解码(textureencoder)，从而得到精细纹理f(refinedtexturef)。将gamemesh对应的参数、 posecoefficientsp、lightingcoefficientsl以及refinedtexturef等不同参数输入可微网络渲染(differentiablerenderer)得到渲染后的2d图片r(renderfacer)。在训练过程中，为了使得输出的2d图片r和输入的图片i相似，引入了图片判别器(imagediscriminator)和纹理判别器(texturediscriminator)。将输入图片i和每次经过训练得到的2d图片r通过图片判别器判别真(real)或者假(fake) 将基础纹理g(groundtruthtextureg)和每次进行训练得到的精细纹理f通过纹理判别器判别真或者假。
[0137]
步骤470，基于虚拟对象执行手语手势时的画面生成手语视频。
[0138]
计算机设备将虚拟对象执行手语手势渲染成一个个画面帧，并按照帧率将一个个静止的画面帧拼接成连贯的动态视频，进而形成视频片段。该视频片段对应手语文本中的一个子句。为了进一步提高视频片段的色彩度，计算机设备将各个视频片段转码为yuv格式。其中，yuv是指亮度参量和色度参量分开表示的像素格式，y表示明亮度(luminance)，也就是灰度值，u和v表示色度(chrominance)，用于描述影像色彩及饱和度。
[0139]
进一步，计算机设备对视频片段进行拼接，进而生成手语视频。
[0140]
在一种可能的实施方式中，当听人文本为离线文本时，手语视频生成模式为离线视频模式，计算机设备将视频片段拼接成手语视频后，将手语视频存储于云端服务器，当用户需要观看该手语视频时，需要在浏览器或者下载软件中输入手语视频的存储路径即可得到的完整视频。
[0141]
在另一种可能的实施方式中，当听人文本为实时文本时，手语视频生成模式为实时模式，为了避免延迟，计算机设备将视频片段排序并逐帧推送给用户客户端。
[0142]
在本技术实施例中，通过多种方式对听人文本进行文本摘要处理，目的是提高最终生成的手语视频与对应音频的同步性，另外将摘要文本转换成符合听障人士语法结构的手语文本，基于手语文本再生成手语视频，提高了手语视频对听障人士的可懂度，且自动生成手语视频，实现成本低，能够适用大量应用场景。
[0143]
在本技术实施例中，当听人文本为离线文本时，计算机设备既可以采用对听人文本进行语义分析提取关键语句的方法得到摘要文本，也可以采用对听人文本进行文本压缩的方法得到摘要文本，也可以结合前述两种方法得到摘要文本。
[0144]
前文已经介绍了计算机设备采用对听人文本进行语义分析提取关键语句的方法得到摘要文本，下面对计算机设备采用对听人文本进行文本压缩的方法得到摘要文本进行介绍。请参考图9，其示出了本技术另一个示例性实施例提供的摘要文本生成方法的流程图，该方法包括：
[0145]
步骤901，对听人文本进行分句，得到文本语句。
[0146]
由于在本技术实施例中，听人文本为离线文本，因此计算机设备可以获取听人文
本的全部内容。在一种可能的实施方式中，计算机设备基于标点符号对听人文本进行分句，得到文本语句。其中，该标点符号可以是句号、感叹号、问号等表示句子结束的标点符号。
[0147]
示例性的，听人文本为“2022年冬季运动会将在xx地举行。本届冬季运动会的吉祥物为xxx。本届冬季运动会的口号为
‘
xxxxx’。我很期待冬季运动会的到来”。计算机设备对上述听人文本进行分句，得到3个文本语句，第一个文本语句s1为“2022年冬季运动会将在xx地举行”。第二个文本语句s2 为“本届冬季运动会的吉祥物为xxx”。第三个文本语句为s3为“本届冬季运动会的口号为
‘
xxxxx
’”
。第四个文本语句s4为“我很期待冬季运动会的到来”。
[0148]
步骤902，确定各个文本语句对应的候选压缩比。
[0149]
在一种可能的实施方式中，计算机设备中预设有多个候选压缩比，计算机设备可以从预设的候选压缩比中选择各个文本语句对应的候选压缩比。
[0150]
可选地，各个文本语句对应的候选压缩比可能相同，也可能不同，本技术实施例对此不作限定。
[0151]
可选地，一个文本语句对应多个候选压缩比。
[0152]
示例性的，如图表六所示，计算机设备为前述4个文本语句各自确定了三个候选压缩比。
[0153]
表六
[0154]
文本语句候选压缩比1候选压缩比2候选压缩比3s1y11y12y13s2y21y22y23s3y31y32y33s4y41y42y43
[0155]
其中，ymn用于第m个文本语句对应的候选压缩比n，例如y11用于表征第1文本语句s1对应的候选压缩比1。另外，为了减少计算机设备的运算量，各个文本语句选取的候选压缩比相同，例如，计算机设备均采用候选压缩比1 对文本语句s1、s2、s3、s4进行文本压缩处理。需要说明的，计算机设备也可以采用不同的候选压缩比对文本语句s1、s2、s3、s4进行文本压缩处理，本技术实施例对此不作限定。
[0156]
步骤903，基于候选压缩比对文本语句进行文本压缩处理，得到候选压缩语句。
[0157]
示例性，计算机设备基于表六中确定的候选压缩比1、候选压缩比2、候选压缩比3分别对文本语句s1、s1、s2、s3、s4进行文本压缩处理，得到各个文本语句对应的候选压缩语句，如表七所示。
[0158]
表七
[0159]
[0160]
其中，cmn用于表征第m个文本语句经过候选压缩比n进行文本压缩处理得到的候选压缩语句，例如c11用于表征第1个文本语句s1经过候选压缩比1 进行文本压缩处理得到的候选压缩语句。
[0161]
步骤904，过滤与文本语句之间的语义相似度小于相似度阈值的候选压缩语句。
[0162]
在本技术实施例中，为了保证最后生成的手语视频内容与原本的听人文本的内容的一致性，避免对听障人士的理解造成干扰，因此在本技术实施例中，计算机设备需要对候选压缩比进行语义分析，并与对应的文本语句的语义进行对比，确定候选压缩语句以及对应的文本语句的语义相似度，过滤与文本语句语义不相符的候选压缩比。
[0163]
在一种可能的实施方式中，当语义相似度大于等于相似度阈值时，表明候选压缩语句与对应的文本语句高概率相似，计算机设备保留该候选压缩语句。
[0164]
在另一种可能的实施方式中，当语义相似度小于相似度阈值时，表明候选压缩语句与对应的文本压缩语句高概率不相似，计算机设备过滤该候选压缩语句。
[0165]
可选地，相似度阈值为90％、95％、98％等，本技术实施例对此不作限定。
[0166]
示例性的，计算机设备基于相似度阈值过滤表六中的候选压缩语句，得到过滤后的候选压缩语句，如表八所示。
[0167]
表八
[0168][0169]
其中，删除的候选压缩语句表示计算机设备过滤的候选压缩语句。
[0170]
步骤905，确定过滤后候选压缩语句对应候选手语视频片段的候选片段时长。
[0171]
为了保证最后生成的手语视频的时间轴与听人文本对应音频的音频时间轴对齐，计算机设备首先确定过滤后的压缩语句对应的候选手语视频片段时长。示例性的，如表九所示，计算机设备确定过滤后的候选压缩语句对应的候选手语视频片段时长。
[0172]
表九
[0173][0174]
其中，tmn用于表示过滤后的候选压缩语句cmn对应的候选手语片段时长，t1、t2、t3、t4分别表示文本语句s1、s2、s3、s4对应音频的音频片段时长。
[0175]
步骤906，基于文本语句对应的时间戳，确定文本语句对应音频的音频片段时长。
[0176]
在本技术实施例中，听人文本包含时间戳。在一种可能的实施方式中，计算机设备在获取听人文本的同时获取听人文本对应的时间戳，以便后续基于时间戳进行手语视频与对应音频的同步对齐。其中，时间戳用于指示听人文本对应的音频在音频时间轴上的时间区间。
[0177]
示例性的，听人文本的内容为“你好，春天”，其音频对应的音频时间轴 00:00:00-00:00:70的内容为“你好”，00:00:70-00:01:35的内容为“春天”。其中，“00:00:00-00:00:70”、“00:00:70-00:01:35”即为听人文本对应的时间戳。
[0178]
在本技术实施例中，由于计算机设备获取听人文本的方式不同，其获取时间戳的方式也不同。
[0179]
示例性的，计算机设备直接获取听人文本时，需要将听人文本转换为对应的音频从而获取其对应的时间戳。示例性的，计算机设备也可以直接从字幕文件中提取听人文本对应的时间戳。示例性的，当计算机设备从音频文件中获取时间戳时，需要先对音频文件进行语音识别，基于语音识别的结果和音频时间轴获取时间戳。示例性的，当计算机设备从视频文件中获取时间戳时，需要先对视频文件进行ocr识别，基于文字识别结果以及视频时间轴获取时间戳。
[0180]
因此由此可知，在本技术实施例中，计算机设备可以基于听人文本的时间戳，得到各个文本语句对应音频的音频片段。
[0181]
示例性的，如表九中，文本语句s1对应音频的音频片段时长为t1，文本语句s2对应音频的音频片段时长为t2，文本语句s3对应音频的音频片段时长为 t3，文本语句s4对应音频的音频片段时长为t4。
[0182]
步骤907，基于候选手语片段时长以及音频片段时长，通过动态路径规划算法从候选压缩语句中确定出目标压缩语句，其中，目标压缩语句所构成文本对应的手语视频的视频时间轴，与听人文本对应音频的音频时间轴相对齐。
[0183]
在一种可能的实施方式中，计算机设备基于动态路径规划算法各个文本语句对应的候选压缩语句中确定出目标压缩语句。其中，动态路径规划算法中的路径节点为候选压
缩语句。
[0184]
示例性的，结合表八以及图10，对动态路径规划算法的过程进行说明。其中，动态路径规划算法中每一列路径节点1001都代表一个文本语句的不同候选压缩语句。例如，第一列路径节点1001用于表示文本语句s1的不同候选压缩语句。计算机设备基于动态路径规划算法得到的不同的候选压缩语句组合得到的候选文本以及对应的手语视频的视频时长，如表十所示，其中候选文本对应的手语视频的视频时长由各个候选压缩语句对应的候选手语视频片段时长得到。
[0185]
表十
[0186][0187][0188]
进一步的，计算机设备基于候选文本对应的手语视频的时长得到候选文本对应的手语视频的时间轴，并匹配听人文本即文本语句s1、s2、s3以及s4组合对应音频的音频时间轴，若二者对齐，则确定目标候选文本，基于目标候选文本确定目标压缩语句，进而计算机设备基于动态路径规划算法确定出目标压缩语句。图10中，计算机设备基于动态路径规划算法确定的目标压缩语句为c12、 c23、c31以及c41。
[0189]
步骤908，将由目标压缩语句构成文本确定为摘要文本。
[0190]
示例性的，计算机设备将目标压缩语句构成的文本即c12+c23+c31+c41 确定为摘要文本。
[0191]
在本技术实施例中，计算机设备基于相似度阈值以及动态路径规划算法从候选压缩语句中确定目标压缩语句，进而得到摘要文本，使得听人文本的文本长度缩短，能够避免最终生成的手语视频与其对应音频不同步的问题，提高了手语视频与音频的同步性。
[0192]
另外，在一种可能的实施方式中，当听人文本为离线文本时，计算机设备可以采用对听人文本进行语句分析提取关键句的方法以及对听人文本按照压缩比进行文本压缩的方法二者相结合得到摘要文本。示例性的，如图11所示。首先，计算机设备基于语音识别方
法获取视频文件的听人文本以及对应的时间戳。其次，计算机设备对听人文本进行文本摘要处理。计算机设备对听人文本进行语义分析，基于语义分析的结果从听人文本中提取关键句，得到表1101中的抽取式结果，关键句为文本语句s1至s2以及文本语句s5至sn。同时，计算机设备对听人文本进行分句处理，得到文本语句s1至sn。进一步，计算机设备基于候选压缩比对文本语句进行文本压缩处理，得到候选压缩语句，得到表1101 中的压缩式结果1至压缩式结果m。其中，cnm用于表示候选压缩语句。
[0193]
进一步，计算机设备基于动态路径规划算法1102从表1101中确定出目标压缩语句cn1，
…
，c42，c31，c2m，c11，其中目标压缩语句所构成文本对应的手语视频的视频时间轴，与听人文本对应音频的音频时间轴相对齐。基于目标压缩语句生成摘要文本。进一步，将摘要文本进行手语翻译得到手语文本，基于手语文本生成手语视频。由于对听人文件进行文本摘要处理，因此最后生成的手语视频的时间轴1104与视频对应音频的音频时间轴1103相对齐。
[0194]
在本技术实施例中，当听人文本为实时文本时，计算机设备逐句获取听人文本，而无法获取到听人文本的全部内容，因此无法采用通过对听人文本进行语义分析提取关键句的方法得到摘要文本。为了降低延时，计算机设备按照固定压缩比对听人文本进行文本压缩处理，进而得到摘要文本。下面对该方法进行介绍：
[0195]
1.基于听人文本对应的应用场景，确定目标压缩比。
[0196]
其中，目标压缩比与听人文本对应的应用场景有关，不同的应用场景确定的目标压缩比不同。
[0197]
示例性的，当听人文本对应的应用场景为访谈场景时，由于访谈场景下，听人文本的用语较为口语化，有效信息较少，因此目标压缩比确定为高压缩比，例如0.8。
[0198]
示例性的，当听人文本对应的应用场景为新闻联播场景或者新闻发布会等场景时，听人文本的用语较为简练，有效信息较多，因此目标压缩比确定为低压缩比，例如0.4。
[0199]
2.基于目标压缩比对听人文本进行文本压缩处理，得到摘要文本。
[0200]
计算机设备按照已经确定好的目标压缩比对听人文本进行逐句压缩处理，进而得到摘要文本。
[0201]
在本技术实施例中，当听人文本为实时文本时，计算机设备基于目标压缩比对听人文本进行文本压缩处理，缩短听人文本的文本长度，提高了最终生成的手语视频与其对应音频的同步性，另外不同的应用场景确定不同的目标压缩比，提高最终生成的手语视频的准确性。
[0202]
请参考图12，其示出了本技术一个示例性实施例提供的手语视频的生成方法的流程图。在本技术实施中，手语视频生成方法包括获取听人文本、文本摘要处理、手语翻译处理以及手语视频生成。
[0203]
第一步，获取听人文本。其中节目视频源包括音频文件、视频文件、已经准备好的听人文本以及字幕文件等。以音频文件和视频文件为例，对于音频文件，计算机设备进行音频提取，得到播报音频，进一步，计算机设备通过语音识别技术对播报音频进行处理，进而得到听人文本以及对应的时间戳；对于视频文件，计算机设备基于ocr技术提取视频对应的听人文本以及对应的时间戳。
[0204]
第二步，文本摘要处理。计算机设备对听人文本进行文本摘要处理，得到摘要文
本。其中处理方法包括基于对听人文本进行语义分析提取关键句以及对听人文本进行分句后进行文本压缩处理。另外听人文本的类型不同，计算机设备对听人文本进行文本摘要处理的方法不同。当听人文本的类型为离线文本时，计算机设备既可以采用基于对听人文本进行语义分析提取关键句的方法对听人文本进行文本摘要处理，也可以采用对听人文本进行分句后进行文本压缩处理的方法对听人文本进行文本摘要处理，还可以是前述两种方法的结合。而当听人文本的类型为实时文本时，计算机设备只能采用对听人文本进行分句后进行文本压缩处理的方法对听人文本进行文本摘要处理。
[0205]
第三步，手语翻译处理。计算机设备将基于文本摘要处理生成的摘要文本经过手语翻译生成手语文本。
[0206]
第四步，手语视频的生成。不同的模式下，手语视频的生成方式不同。在离线模式下，计算机设备需要对手语文本进行分句，以文本语句为单位合成句子视频；进一步，对句子视频进行3d渲染；进一步，进行视频编码；最后将所有句子的视频编码文件进行文件合成，进而生成最终的手语视频。进一步，计算机设备将该手语视频存储至云端服务器中，当用户需要观看该手语视频时，可以从计算机设备中下载。
[0207]
而在实时模式下，计算机设备不对听人文本语句进行分句，但是需要多路直播并发，从而降低延时。计算机设备基于手语文本合成句子视频；进一步，对句子视频进行3d渲染；进一步，进行视频编码，进而生成视频流。计算机设备将视频流进行推送，进而生成手语视频。
[0208]
请参考图13，其示出了本技术一个示例性实施例提供的手语视频的生成装置的结构方框图。该装置可以包括：
[0209]
获取模块1301，用于获取听人文本，所述听人文本为符合健听人士语法结构的文本；
[0210]
提取模块1302，用于对所述听人文本进行摘要提取，得到摘要文本，所述摘要文本的文本长度短于所述听人文本的文本长度；
[0211]
转换模块1303，用于将所述摘要文本转换为手语文本，所述手语文本为符合听障人士语法结构的文本；
[0212]
生成模块1304，用于基于所述手语文本生成所述手语视频，所述手语视频与所述听人文本对应的音频保持同步。
[0213]
可选地，所述提取模块1302，用于：
[0214]
对所述听人文本进行语义分析；基于语义分析结果从所述听人文本中提取关键语句，所述关键语句为所述听人文本中影响全文语义的语句；将所述关键语句确定为所述摘要文本；
[0215]
对所述听人文本进行文本压缩处理；将压缩后的所述听人文本确定为所述摘要文本。
[0216]
可选地，所述提取模块1302，用于：
[0217]
在所述听人文本为离线文本的情况，对所述听人文本进行语义分析；
[0218]
所述对所述听人文本进行文本压缩处理，包括：
[0219]
在所述听人文本为离线文本，或所述听人文本为实时文本的情况下，对所述听人文本进行文本压缩处理。
[0220]
可选地，所述提取模块1302，用于：
[0221]
在所述听人文本为离线文本的情况下，对所述听人文本进行分句，得到文本语句；
[0222]
确定各个所述文本语句对应的候选压缩比；
[0223]
基于所述候选压缩比对所述文本语句进行文本压缩处理，得到候选压缩语句；
[0224]
所述提取模块1302，用于：
[0225]
基于动态路径规划算法从各个所述文本语句对应的所述候选压缩语句中确定出目标压缩语句，其中，所述动态路径规划算法中的路径节点为所述候选压缩语句；
[0226]
将由所述目标压缩语句构成文本确定为所述摘要文本。
[0227]
可选地，所述听人文本包含对应的时间戳，所述时间戳用于指示所述听人文本对应的音频在音频时间轴上的时间区间；
[0228]
所述提取模块1302，用于：
[0229]
确定所述候选压缩语句对应候选手语视频片段的候选片段时长；
[0230]
基于所述文本语句对应的时间戳，确定所述文本语句对应音频的音频片段时长；
[0231]
基于所述候选片段时长以及所述音频片段时长，通过所述动态路径规划算法从所述候选压缩语句中确定出所述目标压缩语句，其中，所述目标压缩语句所构成文本对应的手语视频的视频时间轴，与所述听人文本对应音频的音频时间轴相对齐。
[0232]
可选地，所述装置还包括：
[0233]
过滤模块，用于过滤与所述文本语句之间的语义相似度小于相似度阈值的所述候选压缩语句；
[0234]
所述提取模块1302，用于：
[0235]
确定过滤后所述候选压缩语句对应候选手语视频片段的候选片段时长。
[0236]
可选地，所述提取模块1302，用于：
[0237]
在所述听人文本为实时文本的情况下，基于目标压缩比对所述听人文本进行文本压缩处理。
[0238]
可选地，所述装置还包括：
[0239]
确定模块，用于基于所述听人文本对应的应用场景，确定所述目标压缩比，其中，不同应用场景对应不同压缩比。
[0240]
可选地，所述转换模块1303，用于：
[0241]
将所述摘要文本输入翻译模型，得到所述翻译模型输出的所述手语文本，所述翻译模型基于样本文本对训练得到，所述样本文本对由样本手语文本和样本听人文本构成。
[0242]
可选地，所述生成模块1304，用于：
[0243]
获取所述手语文本中各个手语词汇对应的手语手势信息；
[0244]
基于所述手语手势信息控制虚拟对象按序执行手语手势；
[0245]
基于所述虚拟对象执行所述手语手势时的画面生成所述手语视频。
[0246]
可选地，所述获取模块1301，用于：
[0247]
获取输入的所述听人文本；
[0248]
获取字幕文件；从所述字幕文件中提取所述听人文本；
[0249]
获取音频文件；对所述音频文件进行语音识别，得到语音识别结果；基于所述语音识别结果生成所述听人文本；
[0250]
获取视频文件；对所述视频文件的视频帧进行ocr识别，得到文字识别结果；基于所述文字识别结果生成所述听人文本。
[0251]
综上所述，在本技术实施例中，对听人文本进行文本摘要提取，得到摘要文本，进而缩短听人文本的文本长度，使得最后生成的手语视频与听人文本对应的音频保持同步。另外将摘要文本转换成符合听障人士语法结构的手语文本，基于手语文本生成手语视频，提高了手语视频对听障人士的可懂度，且基于手语文本自动生成手语视频，无需人工打手语，实现成本低，且能够适用于大量应用场景，例如视频直播场景、离线视频场景等。
[0252]
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0253]
图14是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备1400包括中央处理单元(central processing unit，cpu)1401、包括随机存取存储器(random access memory，ram)1402和只读存储器(read-only memory，rom)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400 还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统 (input/output，i/o系统)1406，和用于存储操作系统1413、应用程序1414 和其他程序模块1415的大容量存储设备1407。
[0254]
所述基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1409。其中所述显示器 1408和输入设备1409都通过连接到系统总线1405的输入输出控制器1410 连接到中央处理单元1401。所述基本输入/输出系统1406还可以包括输入输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。
[0255]
所述大容量存储设备1407通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。所述大容量存储设备1407及其相关联的计算机设备可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1407可以包括诸如硬盘或者只读光盘 (compact disc read-only memory，cd-rom)驱动器之类的计算机设备可读介质(未示出)。
[0256]
不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括ram、 rom、可擦除可编程只读存储器(erasable programmable read only memory， eprom)、带电可擦可编程只读存储器(electrically erasable programmableread-only memory，eeprom)，cd-rom、数字视频光盘(digital video disc， dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。
[0257]
根据本公开的各种实施例，所述计算机设备1400还可以通过诸如因特网等网络连
接到网络上的远程计算机设备运行。也即计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1412连接到网络1411，或者说，也可以使用网络接口单元1415来连接到其他类型的网络或远程计算机设备系统(未示出)。
[0258]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1401通过执行该一个或一个以上程序来实现上述手语视频的生成方法的全部或者部分步骤。
[0259]
本技术实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的手语视频的生成方法。
[0260]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的手语视频的生成方法。
[0261]
本领域技术人员在考虑说明书及实践这里公开的实施例后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0262]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。

技术特征：
1.一种手语视频的生成方法，其特征在于，所述方法包括：获取听人文本，所述听人文本为符合健听人士语法结构的文本；对所述听人文本进行摘要提取，得到摘要文本，所述摘要文本的文本长度短于所述听人文本的文本长度；将所述摘要文本转换为手语文本，所述手语文本为符合听障人士语法结构的文本；基于所述手语文本生成所述手语视频，所述手语视频与所述听人文本对应的音频保持同步。2.根据权利要求1所述的方法，其特征在于，所述对所述听人文本进行摘要提取，得到摘要文本，包括如下至少一种方式：对所述听人文本进行语义分析；基于语义分析结果从所述听人文本中提取关键语句，所述关键语句为所述听人文本中影响全文语义的语句；将所述关键语句确定为所述摘要文本；对所述听人文本进行文本压缩处理；将压缩后的所述听人文本确定为所述摘要文本。3.根据权利要求2所述的方法，其特征在于，所述对所述听人文本进行语义分析，包括：在所述听人文本为离线文本的情况，对所述听人文本进行语义分析；所述对所述听人文本进行文本压缩处理，包括：在所述听人文本为离线文本，或所述听人文本为实时文本的情况下，对所述听人文本进行文本压缩处理。4.根据权利要求3所述的方法，其特征在于，所述在所述听人文本为离线文本的情况下，对所述听人文本进行文本压缩处理，包括：在所述听人文本为离线文本的情况下，对所述听人文本进行分句，得到文本语句；确定各个所述文本语句对应的候选压缩比；基于所述候选压缩比对所述文本语句进行文本压缩处理，得到候选压缩语句；所述将压缩后的所述听人文本确定为所述摘要文本，包括：基于动态路径规划算法从各个所述文本语句对应的所述候选压缩语句中确定出目标压缩语句，其中，所述动态路径规划算法中的路径节点为所述候选压缩语句；将由所述目标压缩语句构成文本确定为所述摘要文本。5.根据权利要求4所述的方法，其特征在于，所述听人文本包含对应的时间戳，所述时间戳用于指示所述听人文本对应的音频在音频时间轴上的时间区间；所述基于动态路径规划算法从各个所述文本语句对应的所述候选压缩语句中确定出目标压缩语句，包括：确定所述候选压缩语句对应候选手语视频片段的候选片段时长；基于所述文本语句对应的时间戳，确定所述文本语句对应音频的音频片段时长；基于所述候选片段时长以及所述音频片段时长，通过所述动态路径规划算法从所述候选压缩语句中确定出所述目标压缩语句，其中，所述目标压缩语句所构成文本对应的手语视频的视频时间轴，与所述听人文本对应音频的音频时间轴相对齐。6.根据权利要求5所述的方法，其特征在于，所述确定所述候选压缩语句对应候选手语视频片段的候选片段时长之前，还包括：过滤与所述文本语句之间的语义相似度小于相似度阈值的所述候选压缩语句；
所述确定所述候选压缩语句对应候选手语视频片段的候选片段时长，包括：确定过滤后所述候选压缩语句对应候选手语视频片段的候选片段时长。7.根据权利要求3所述的方法，其特征在于，所述在所述听人文本为实时文本的情况下，对所述听人文本进行文本压缩处理，包括：在所述听人文本为实时文本的情况下，基于目标压缩比对所述听人文本进行文本压缩处理。8.根据权利要求7所述的方法，其特征在于，所述基于目标压缩比对所述听人文本进行文本压缩处理之前，还包括：基于所述听人文本对应的应用场景，确定所述目标压缩比，其中，不同应用场景对应不同压缩比。9.根据权利要求1至8任一所述的方法，其特征在于，所述将所述摘要文本转换为手语文本，包括：将所述摘要文本输入翻译模型，得到所述翻译模型输出的所述手语文本，所述翻译模型基于样本文本对训练得到，所述样本文本对由样本手语文本和样本听人文本构成。10.根据权利要求1至8任一所述的方法，其特征在于，所述基于所述手语文本生成所述手语视频，包括：获取所述手语文本中各个手语词汇对应的手语手势信息；基于所述手语手势信息控制虚拟对象按序执行手语手势；基于所述虚拟对象执行所述手语手势时的画面生成所述手语视频。11.根据权利要求1至8任一所述的方法，其特征在于，所述获取听人文本，包括如下至少一种方式：获取输入的所述听人文本；获取字幕文件；从所述字幕文件中提取所述听人文本；获取音频文件；对所述音频文件进行语音识别，得到语音识别结果；基于所述语音识别结果生成所述听人文本；获取视频文件；对所述视频文件的视频帧进行ocr识别，得到文字识别结果；基于所述文字识别结果生成所述听人文本。12.一种手语视频的生成装置，其特征在于，所述装置包括：获取模块，用于获取听人文本，所述听人文本为符合健听人士语法结构的文本；提取模块，用于对所述听人文本进行摘要提取，得到摘要文本，所述摘要文本的文本长度短于所述听人文本的文本长度；转换模块，用于将所述摘要文本转换为手语文本，所述手语文本为符合听障人士语法结构的文本；生成模块，用于基于所述手语文本生成所述手语视频，所述手语视频与所述听人文本对应的音频保持同步。13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的手语视频的生成方法。
14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的手语视频的生成方法。15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得计算机设备执行如权利要求1至11任一所述的手语视频的生成方法。

技术总结
本申请实施例公开了一种手语视频的生成方法、装置、计算机设备及存储介质，属于人工智能领域。该方案包括：获取听人文本，听人文本为符合健听人士语法结构的文本；对听人文本进行摘要提取，得到摘要文本，摘要文本的文本长度短于听人文本的文本长度；将摘要文本转换为手语文本，手语文本为符合听障人士语法结构的文本；基于手语文本生成手语视频，手语视频与听人文本对应的音频保持同步。采用本申请实施例提供的方案能够提高手语视频的可懂度，且实现成本低，能够适用大量应用场景。能够适用大量应用场景。能够适用大量应用场景。


技术研发人员：王矩 郎勇 孟凡博 申彤彤 何蔷 余健 王宁 黎健祥 彭云 张旭 姜伟 张培 曹赫 王砚峰 覃艳霞 刘金锁 刘恺 张晶晶 段文君 毕晶荣 朱立人 赵亮 王奕翔 方美亮
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.01.30
技术公布日：2023/8/9