基于转换系统的视频语音同步方法、装置、电子设备与流程

1.本技术涉及金融科技技术领域，尤其涉及一种基于转换系统的视频语音同步方法、装置、电子设备及存储介质。


背景技术：

2.随着科学技术的发展，语音翻译系统已经非常成熟，从早期的移动手持翻译器，到目前集成在讲座和视频会议中的同声传译系统，这些系统和工具在实际生活和商业操作中起着重要作用，例如，可以应用于保险展业系统、银行培训系统、订单交易系统等等。在保险展业的应用场景下，进行连续翻译对话内容的过程中，首先语音识别出每个句子内容，然后翻译成对应文本，最后将翻译成的目标语言进行语音合成，以向客户介绍相关理财产品的购买过程、理财收益等等。相比之下，演讲、电影和视频会议的同声传译通常是采用字幕的方法。然而，在制作电影或离线视频录音时，字幕会产生干扰。因此，电影通常邀请配音人员进行视频翻译和配音，使用翻译出来的目标语言来代替视频中的原声音，它的成本高昂，需要大量的人力物力，而且容易出现原始视频和目标声音不匹配的情况，并且在配音演员和合成语音的输出过程中，仍然存在原始视频中说话人的嘴唇运动和声音不匹配的问题，从而降低客户再保险展业过程中的体验感。


技术实现要素：

3.本技术实施例的主要目的在于提出一种基于转换系统的视频语音同步方法、装置、电子设备及存储介质，能够生成包含翻译的音频和经过调整的嘴唇动作的视频，实现视频中说话人的嘴唇和声音相匹配。
4.为实现上述目的，本技术实施例的第一方面提出了一种基于转换系统的视频语音同步方法，所述方法包括：
5.基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；
6.将所述原始语音文本输入预设翻译模型进行翻译，得到与所述原始语音文本对应的目标语音信息；
7.根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音；
8.基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征；
9.将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧；
10.根据所述嘴唇运动帧更新所述视频，得到目标视频。
11.在一些实施例，所述转换系统包括自动语音识别模型；所述基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息，包括：
12.基于所述自动语音识别模型对视频中的音频进行重音检测，得到携带重音信息的原始语音文本；
13.对所述原始语音文本进行特征提取，得到说话人的音色信息、韵律信息以及音调信息；
14.根据所述音色信息、所述韵律信息以及所述音调信息生成语音特征信息。
15.在一些实施例，所述将所述原始语音文本输入预设翻译模型进行翻译，得到与所述原始语音文本对应的目标语音信息，包括：
16.将所述原始语音文本输入预设翻译模型，使得所述预设翻译模型根据所述重音信息对所述原始语音文本进行翻译，得到所述目标语音信息。
17.在一些实施例，所述转换系统包括语音合成模型和语音转换模型；所述根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音，包括：
18.将所述语音特征信息输入所述语音转换模型进行语音转换，得到转换序列；
19.将所述转换序列以及所述目标语音信息输入所述语音合成模型，使得所述语音合成模型根据所述重音信息将所述目标语音信息映射至所述转换序列，得到所述目标合成语音。
20.在一些实施例，所述语音转换模型包括音高编码器、韵律编码器和音色编码器；所述将所述语音特征信息输入所述语音转换模型进行语音转换，得到转换序列，包括：
21.将所述音色信息输入所述音色编码器进行音色转换，得到音色序列；
22.将所述韵律信息输入所述韵律编码器进行语音嵌入，得到韵律序列；
23.将所述音调信息输入所述音高编码器进行音调预测，得到音调序列；
24.根据所述音色序列、所述韵律序列和所述音调序列生成所述转换序列。
25.在一些实施例，所述基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征，包括：
26.基于所述转换系统对所述视频进行分割，得到所述视频的视频帧；
27.对所述视频帧进行检测，得到说话人的面部信息；
28.对所述面部信息进行特征分割，得到所述说话人的唇部区域、眼部区域以及鼻部区域；
29.根据所述唇部区域、所述眼部区域和所述鼻部区域生成所述面部特征。
30.在一些实施例，所述对抗网络模型包括唇生成模型；所述将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧，包括：
31.将所述面部特征输入所述唇生成模型，使得所述唇生成模型对所述唇部区域进行特征提取，得到唇形特征；
32.根据所述目标合成语音生成目标唇形帧；
33.根据所述目标唇形帧对所述唇形特征进行语音同步，生成所述说话人的嘴唇运动帧。
34.为实现上述目的，本技术实施例的第二方面提出了一种基于转换系统的视频语音同步装置，所述装置包括：
35.音频提取模块，用于基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；
36.语音翻译模块，用于将所述原始语音文本输入预设翻译模型进行翻译，得到与所
述原始语音文本对应的目标语音信息；
37.语音合成模块，用于根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音；
38.特征检测散模块，用于基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征；
39.语音同步模块，用于将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧；
40.目标确定模块，用于根据所述嘴唇运动帧更新所述面部特征，得到目标视频。
41.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于转换系统的视频语音同步方法。
42.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于转换系统的视频语音同步方法。
43.本技术提出的基于转换系统的视频语音同步方法和装置、电子设备及存储介质,首先，基于转换系统对视频中的音频进行提取，从而得到原始语音文本以及视频中的语音特征信息，再将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息，从而能够将原始语音文本翻译成对应的语言，实现对特定语言的翻译，之后，根据语音特征信息对目标语音信息进行调整，得到目标合成语音，从而使得翻译后的语音更加流畅，再基于转换系统对视频进行人脸检测，得到说话人的面部特征，便于后续对视频中的人脸进行调节，最后将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，生成与目标合成语音对应的嘴唇运动帧，并根据嘴唇运动帧对视频进行更新，从而得到目标视频，实现视频中说话人的嘴唇和声音相匹配，增加视频中说话人嘴型与配音的匹配度，提高客户在保险展业过程中的体验感。
附图说明
44.图1是本技术实施例提供的基于转换系统的视频语音同步方法的流程图；
45.图2是图1中的步骤s101的流程图；
46.图3是图1中的步骤s102的流程图；
47.图4是图1中的步骤s103的流程图；
48.图5是图4中的步骤s401的流程图；
49.图6是图1中的步骤s104的流程图；
50.图7是图1中的步骤s105的流程图；
51.图8是本技术实施例提供的基于转换系统的视频语音同步装置的结构示意图；
52.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不
用于限定本技术。
54.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
55.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
56.首先，对本技术中涉及的若干名词进行解析：
57.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
58.语音表示学习(speech representation learning)：机器学习算法的成功与否不仅仅取决于算法本身，也取决于数据的表示。数据的不同表示可能会导致有效信息的隐藏或是曝露，这也决定了算法是不是能直截了当地解决问题。表征学习的目的是对复杂的原始数据化繁为简，把原始数据的无效信息剔除，把有效信息更有效地进行提炼，形成特征，这也应和了机器学习的一大任务——可解释性。也正是因为特征的有效提取，使得今后的机器学习任务简单并且精确许多。
59.自动语音识别(automatic speech recognition，asr)：自动语音识别是一种将人的语音转换为文本的技术，语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。
60.隐马尔科夫模型(hidden markov model，hmm)：隐马尔可夫模型是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。是在被建模的系统被认为是一个马尔可夫过程与未观测到的的状态的统计马尔可夫模型。
61.线性预测编码(linear predictive coding，lpc)：线性预测编码(lpc)是主要用于音频信号处理与语音处理中根据线性预测模型的信息用压缩形式表示数字语音信号谱包络的工具。它是最有效的语音分析技术之一，也是低位速下编码方法高质量语音最有用的方法之一，它能够提供非常精确的语音参数预测。
62.基音同步叠加算法(pitch synchronous overlap add，psola)：基音同步叠加算法是用于语音编辑合成语音技术中对合成语音的韵律进行修改的一种算法。基音同步叠加技术的实现可分为三种方式，分别为时域基音同步叠加(也称td-psola)、频域基音同步叠加(也称fd-psola)和线性预测基音同步叠加(也称lp-psola)。与其他语音合成方法相比，
基音同步叠加具有计算简单、合成语音清晰、自然度高等显著优点。
63.信息抽取(information extraction)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
64.多任务级联卷积网络(multi-task cascaded convolutional network，mtcnn)：mtcnn算法是一种基于深度学习的人脸检测和人脸对齐方法，它可以同时完成人脸检测和人脸对齐的任务，相比于传统的算法，它的性能更好，检测速度更快。
65.文本到语音生成(text-to-speech synthesis，tts)：它是同时运用语言学和心理学的杰出之作，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。tts技术对文本文件进行实时转换，转换时间之短可以秒计算。在其特有智能语音控制器作用下，文本输出的语音音律流畅，使得听者在听取信息时感觉自然，毫无机器语音输出的冷漠与生涩感。
66.人脸对齐显示形状回归算法(explicit shape regression，esr)：esr算法显性形状回归的人脸对齐方法是使用矢量回归函数来完成人脸面部形状推断并且最小化训练集数据对齐过程中产生的错误。级联回归学习框架包含固有的形状约束条件,得到由粗到细的特征点位置确认；使用两级提高的回归,方法包含形状索引和基于相关的两种特征确认方法。
67.监督下降法(supervised descent method，sdm)：sdm算法是牛顿法的一种改进，牛顿法在求解梯度的时候需要用到hessian矩阵的逆以及jacobian矩阵，在高维度的情况下这个计算量较大，而且有些情况下hessian矩阵是不可逆的。这篇论文通过监督学习来学习hessian矩阵的逆以及jacobian矩阵的乘积，这样就可以省去复杂的计算过程。
68.基于此，本技术实施例提供了一种基于转换系统的视频语音同步方法和装置、电子设备及存储介质，能够生成包含翻译的音频和经过调整的嘴唇动作的视频，实现视频中说话人的嘴唇和声音相匹配，提高客户在保险展业过程中的体验感。
69.本技术实施例提供的基于转换系统的视频语音同步方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的基于转换系统的视频语音同步方法。
70.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
71.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、基于转换系统的视频语音同步技术、自然语言处理技术以及机器学习/深度学习等几大方向。
72.本技术实施例提供的基于转换系统的视频语音同步方法，涉及人工智能技术领
域。本技术实施例提供的基于转换系统的视频语音同步方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于转换系统的视频语音同步方法的应用等，但并不局限于以上形式。
73.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
74.随着科学技术的发展，语音翻译系统已经非常成熟，从早期的移动手持翻译器，到目前集成在讲座和视频会议中的同声传译系统，这些系统和工具在实际生活和商业操作中起着重要作用，例如，可以应用于保险展业系统、银行培训系统、订单交易系统等等。在保险展业的应用场景下，进行连续翻译对话内容的过程中，首先语音识别出每个句子内容，然后翻译成对应文本，最后将翻译成的目标语言进行语音合成，以向客户介绍相关理财产品的购买过程、理财收益等等。相比之下，演讲、电影和视频会议的同声传译通常是采用字幕的方法。然而，在制作电影或离线视频录音时，字幕会产生干扰。因此，电影通常邀请配音人员进行视频翻译和配音，使用翻译出来的目标语言来代替视频中的原声音，它的成本高昂，需要大量的人力物力，而且容易出现原始视频和目标声音不匹配的情况，并且在配音演员和合成语音的输出过程中，仍然存在原始视频中说话人的嘴唇运动和声音不匹配的问题，从而降低客户再保险展业过程中的体验感。
75.针对上述问题，本实施例提供了一种基于转换系统的视频语音同步方法，包括如下步骤：
76.图1是本技术实施例提供的基于转换系统的视频语音同步方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s106。
77.步骤s101，基于转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；
78.需要说明的是，转换系统包括用于人脸检测和嘴唇同步的视频管道以及用于语音识别和语音转换的音频管道，其中，音频管道还可以进行翻译、语音合成等操作，并且转换系统包括自动语音识别模型、语音转换模型、语音合成模型、对抗网络模型等等。
79.在一些实施例的步骤s101中，基于转换系统对视频中的音频进行提取，从而得到音频的原始语音文本以及音频的语音特征信息，便于后续进行语音文本的翻译，将语音文本翻译成特定的语言，从而扩宽保险展业的应用场景，可以适用于更多的参保用户。
80.需要说明的是，转换系统对视频中音频的处理过程包括但不限于包括根据语音标
注对应文本、识别自然语言中的单词或者音素之间的边界、对音频数据中的情绪进行识别、例如，当前音频中的情绪为开心、生气、伤心等，对音标或者组成音素的音素信息进行标注、对文本信息的韵律进行标注等，其中，不同的标记数据用于不同的任务，从而扩宽保险的参保人群。
81.可以理解的是，视频可以为从开源数据库中获取，或者从任意说话人的拍摄的视频进行获取，本实施例不做具体限制。
82.值得注意的是，该处理过程中可以包括文本规整、词的切分、语法分析和语义分析等自然语言处理过程，例如，原始语音文本可以采用unicode编码进行同形异码替换，避免相同写法的文本的干扰，减小转换误差，其中，为了从带有噪声的语音信号中提取尽可能纯净的语音信号，进而提高语言翻译转换的精确度，可以对提取后的语音特征进行去噪处理，去噪处理可以通过语音增强算法实现，语音增强算法包括但不限于包括基于谱相减的语音增强算法、基于小波分析的语音增强算法、基于独立分量分析的语音增强方法、基于神经网络的语音增强方法等。
83.步骤s102，将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息；
84.在一些实施例的步骤s102中，将原始语音文本输入预设翻译模型进行翻译，通过预设翻译模型与原始语音文本中的语音信号得到与原始语音文本对应的目标语音信息，从而能够将原始语音文本翻译成特定的语言。
85.需要说明的是，预设翻译模型可以将原始语音文本翻译成设置好的语音文本，例如，英语、汉语、韩语、日语等等，当输入的原始语音文本为英语文本，则可以将英语文本转换成汉语文本，当输入的原始语音文本为韩语文本，则可以将韩语文本转换成日语文本等，本实施例不做具体限制。
86.可以理解的是，在进行语音特征信息和目标语音信息整合的过程中，需要先获取语音特征信息中的语音信号，之后再确定与语音信号对应的目标语音信号，从而生成最终的目标合成语音，例如，在原视频中的源语言为英文，目标语言为中文时，需要先获取每段英文的语音信号，之后根据该语音信号生成对应的英文的文本数据，将该段英文的语音信号对应的英文的文本数据翻译为中文的子文本数据，采用语音合成技术将该中文的文本数据合成为中文的语音信号，以此类推，将原视频中所有原始语音文本进行翻译，得到目标语音信息。
87.步骤s103，根据语音特征信息对目标语音信息进行调整，得到目标合成语音；
88.在一些实施例的步骤s103中，根据语音特征信息对目标语音信息进行调整，从而使得翻译后的目标语音信息更加贴合原视频中的语音，增强翻译后的目标语音信息的情感、声调、语速等信息，从而得到目标合成语音。
89.需要说明的是，对目标语音信息进行声学调整的技术可以是线性预测编码技术，基音同步叠加合成技术、基于lma(log magnitude approximate，对数震级近似值)声道模型的语音合成技术等，本实施例不做具体限制。
90.步骤s104，基于转换系统对视频进行人脸检测，得到说话人的面部特征；
91.在一些实施例的步骤s104中，基于转换系统对视频进行人脸检测，从而得到视频中说话人的面部特征，便于后续根据说话人的面部特征生成说话人的嘴唇运动帧。
92.需要说明的是，对视频进行人脸检测可以采用adaboost算法、mtcnn算法等，在人脸检测之后，还可以采用相关滤波算法、例如，sort、deepsort或基于siamnet类的跟踪算法进行跟踪，从而提高人脸检测的精准度，增加人脸检测的效率。
93.可以理解的是，视频中的说话人可以为保险展业的代理人、相关保险产品的介绍人等等，本实施例不做具体限制。
94.步骤s105，将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，得到说话人的嘴唇运动帧；
95.在一些实施例的步骤s105中，将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，从而能够生成与目标合成语音对应的嘴唇形状，得到说话人的嘴唇运动帧，实现翻译后的语音与视频的语音同步和动作同步。
96.步骤s106，根据嘴唇运动帧更新视频，得到目标视频。
97.在一些实施例的步骤s106中，根据嘴唇运动帧对视频中原始的唇部区域进行更新，从而生成目标视频，实现翻译后的语音与视频中说话人的嘴型同步。
98.本技术实施例所示意的步骤s101至步骤s106，首先，基于转换系统对视频中的音频进行提取，从而得到原始语音文本以及视频中的语音特征信息，再将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息，从而能够将原始语音文本翻译成对应的语言，实现对特定语言的翻译，之后，根据语音特征信息对目标语音信息进行调整，得到目标合成语音，从而使得翻译后的语音更加流畅，再基于转换系统对视频进行人脸检测，得到说话人的面部特征，便于后续对视频中的人脸进行调节，最后将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，生成与目标合成语音对应的嘴唇运动帧，并根据嘴唇运动帧对视频进行更新，从而得到目标视频，实现视频中说话人的嘴唇和声音相匹配，增加视频中说话人嘴型与配音的匹配度，提高客户在保险展业过程中的体验感。
99.请参阅图2，在一些实施例中，步骤s101可以包括但不限于包括步骤s201至步骤s203：
100.需要说明的是，转换系统包括自动语音识别模型，其中，自动语音识别模型可以为动态时间规整模型(dyanmic time warping，dtw)、矢量量化模型(vector quantization，vq)、隐马尔可夫模型(hidden markov models，hmm)，自动语音识别模型可以根据语音信息不同的标注手段进行选择，本实施例不做具体限制。
101.步骤s201，基于自动语音识别模型对视频中的音频进行重音检测，得到携带重音信息的原始语音文本；
102.在一些实施例的步骤s201中，基于自动语音识别模型对视频中的音频进行重音检测，将重音信息作为原始语音文本的强调信息，从而得到携带重音信息的原始语音文本，便于后续根据重音信息进行目标语言的翻译。
103.步骤s202，对原始语音文本进行特征提取，得到说话人的音色信息、韵律信息以及音调信息；
104.在一些实施例的步骤s202中，对原始语音文本进行特征提取，得到说话人的音色信息、韵律信息以及音调信息，从而能够提高语音翻译的精准度，提高语音的适配度。
105.需要说明的是，对原始语音文本进行特征提取包括但不限于进行韵律处理、音色
识别、音高判断等等，经过特征提取之后得到原始语音文本的音段特征，其中，音频特征包括原语音的音高、音长、音强、音色、说话频率等，之后采用声学处理技术，得到说话人的音色信息、韵律信息以及音调信息，便于后续翻译后的语音能正确表达语意，提高翻译的准确性。
106.步骤s203，根据音色信息、韵律信息以及音调信息生成语音特征信息。
107.在一些实施例的步骤s203中，对音色信息、韵律信息以及音调信息进行整合，得到语音特征信息。
108.请参阅图3，在一些实施例中，步骤s102可以包括但不限于包括步骤s301：
109.步骤s301，将原始语音文本输入预设翻译模型，使得预设翻译模型根据重音信息对原始语音文本进行翻译，得到目标语音信息。
110.在一些实施例的步骤s301中，将原始语音文本输入预设翻译模型，使得预设翻译模型根据重音信息对原始语音文本进行翻译，从而增加翻译的准确性，得到与原始语音文本对应的目标语音信息。
111.请参阅图4，在一些实施例中，步骤s103可以包括但不限于包括步骤s401至步骤s402：
112.需要说明的是，转换系统包括语音合成模型和语音转换模型。
113.步骤s401，将语音特征信息输入语音转换模型进行语音转换，得到转换序列；
114.步骤s402，将转换序列以及目标语音信息输入语音合成模型，使得语音合成模型根据重音信息将目标语音信息映射至转换序列，得到目标合成语音。
115.在一些实施例的步骤s401至s402中，先将语音特征信息输入语音转换模型进行语音转换，得到转换序列，之后再将转换序列以及目标语音信息输入语音合成模型，从而能够使得语音合成模型根据重音信息将目标语音信息映射至转换序列，通过语音转换模型将生成的合成声音映射到原始说话人的声音，提高目标合成语音的真实度。
116.需要说明的是，语音合成模型可以为文本到语音生成模型、快速高质量语音合成模型(也称fastspeech2模型)，语音转换模型可以为vqmivc模型(vector quantization and mutual information-based unsupervised speech representation disentanglement for one-shot voice conversion，矢量量化和基于互信息的无监督语音表示解纠缠的一次语音转换)，首先通过给定的语音特征信息，生成与语音特征信息对应的多个序列，再对多个序列进行转换和标注，得到携带多个标签的转换序列，例如，音色标签、音高标签、频率标签等，之后再利用fastspeech2模型自带的方差适配器对重音信息进行变量映射，将目标语音信息映射至转换序列，得到目标合成语音，从而解决基于转换系统的视频语音同步过程中一对多的映射问题，提高映射的准确性。
117.请参阅图5，在一些实施例中，步骤s401还可以包括但不限于包括步骤s501至步骤s504：
118.需要说明的是，语音转换模型包括音高编码器、韵律编码器和音色编码器。
119.步骤s501，将音色信息输入音色编码器进行音色转换，得到音色序列；
120.步骤s502，将韵律信息输入韵律编码器进行语音嵌入，得到韵律序列；
121.步骤s503，将音调信息输入音高编码器进行音调预测，得到音调序列；
122.步骤s504，根据音色序列、韵律序列和音调序列生成转换序列。
123.在一些实施例的步骤s501至s504中，将音色信息作为变量输入音色编码器进行音色转换，得到说话人的音色序列，便于后续合成与说话人音色一致的合成语音，将韵律信息输入韵律编码器进行语音嵌入，得到韵律序列，从而便于后续的合成语音与说话人的节奏一致，将音调信息输入音高编码器进行音调预测，得到音调序列，从而避免翻译出来的合成语音的音调过高或者过低，最后根据音色序列、韵律序列以及音调序列生成转换序列，从而解决基于转换系统的视频语音同步过程中一对多的映射问题，提高映射的准确性，保留原始语音的重音和韵律。
124.需要说明的是，语音转换模型还包括内容编码器，能够将原始语音的说话内容进行保留，并且在保险展业的过程中，为了保证语音同步的效果，说话人在介绍相关保险产品的过程中，声音应该尽可能清晰，注意发音、音量、语速等方面的问题，从而实现语音转换后内容的一致，提高保险展业的效率。
125.请参阅图6，在一些实施例，步骤s104包括但不限于包括步骤s601至步骤s604：
126.步骤s601，基于转换系统对视频进行分割，得到视频的视频帧；
127.步骤s602，对视频帧进行人脸检测，得到说话人的面部信息；
128.在一些实施例的步骤s601至步骤s602中，基于转换系统对视频进行分割，得到视频的视频帧，之后再对视频帧进行人脸检测，得到说话人的面部信息，其中，在进行人脸检测的过程中，还需要将检测到的面部的背景进行去除，避免背景信息的干扰。
129.需要说明的是，进行人脸检测过程的人脸检测算法可以为局部二值模式(local binary patterns lbp)算法、线性判别分析(linear discriminant analysis，lda)算法或者特征脸法，本实施例不做具体限制。
130.步骤s603，对面部信息进行特征分割，得到说话人的唇部区域、眼部区域以及鼻部区域；
131.在一些实施例的步骤s603中，对面部信息进行特征分割，得到说话人的唇部区域、眼部区域以及鼻部区域，从而实现对面部的不同区域的精准切割。
132.需要说明的是，在对面部信息进行特征分割的过程中，可以通过设置不同的面部区域的特征点进行提取，例如，眼睛关键点、鼻子关键点、嘴巴关键点、头部关键点等，根据确定的各个区域关键点，对整个面部进行划分，从而得到说话人的唇部区域、眼部区域以及鼻部区域。
133.步骤s604，根据唇部区域、眼部区域和鼻部区域生成面部特征。
134.在一些实施例的步骤s604中，在特征分割得到说话人的唇部区域、眼部区域以及鼻部区域之后，对唇部区、眼部区域以及鼻部区域进行标识，从而能够清楚确定面部区域的各个特征，得到说话人的面部特征。
135.请参阅图7，在一些实施例中，步骤s105可以包括但不限于包括步骤s701至步骤s703：
136.需要说明的是，对抗网络模型包括唇生成模型。
137.步骤s701，将面部特征输入唇生成模型，使得唇生成模型对唇部区域进行特征提取，得到唇形特征；
138.在一些实施例的步骤s701中，将面部特征输入唇生成模型，使得唇生成模型对唇部区域进行特征提取，得到唇形特征，便于后续生成与翻译语音同步的唇形。
139.需要说明的是，对唇部区域进行特征提取包括对唇部区域进行检测和跟踪，对说话人的唇部轮廓进行标注、分析说话人的嘴巴状态，其中，分析说话人的嘴巴状态可以采用人脸对齐显示形状回归算法、监督下降法或者基于深度学习的人脸关键点定位算法检测嘴巴关键点位置或进行唇形检测，对说话人的嘴巴状态进行分析，如果说话人的嘴巴处于张合变化状态，则判断说话人处于说话状态；如果说话人的嘴巴在预设时间区间内保持不变，则判断说话人处于静音状态。
140.步骤s702，根据目标合成语音生成目标唇形帧；
141.在一些实施例的步骤s702中，根据目标合成语音生成目标唇形帧，以生成与目标和成语音对应的唇形帧，便于后续对唇形和语音进行同步。
142.步骤s703，根据目标唇形帧对唇形特征进行语音同步，生成说话人的嘴唇运动帧。
143.在一些实施例的步骤s703中，根据目标唇形帧对唇形特征进行语音同步，从而使得说话人的唇形特征域目标唇形帧的特征一致，生成说话人的嘴唇运动帧，从而实现声音与视频的语音同步以及嘴型同步，提高参保用户的观感。
144.需要说明的是，在得到嘴唇运动帧之后，可以通过转换系统中的级联卷积长短时记忆网络的预测，最终合成唇形同步人脸视频。
145.请参阅图8，本技术实施例还提供一种基于转换系统的视频语音同步装置，可以实现上述基于转换系统的视频语音同步方法，该装置包括：
146.音频提取模块801，用于基于转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；
147.语音翻译模块802，用于将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息；
148.语音合成模块803，用于根据语音特征信息对目标语音信息进行调整，得到目标合成语音；
149.特征检测模块804，用于基于转换系统对视频进行人脸检测，得到说话人的面部特征；
150.语音同步模块805，用于将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，得到说话人的嘴唇运动帧；
151.目标确定模块806，用于根据嘴唇运动帧更新面部特征，得到目标视频。
152.该基于转换系统的视频语音同步装置的具体实施方式与上述基于转换系统的视频语音同步方法的具体实施例基本相同，在此不再赘述。
153.本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于转换系统的视频语音同步方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
154.请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
155.处理器901，可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specificintegrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
156.存储器902，可以采用只读存储器(read only memory，rom)、静态存储设备、动态
存储设备或者随机存取存储器(random access memory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的基于转换系统的视频语音同步方法；
157.输入/输出接口903，用于实现信息输入及输出；
158.通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
159.总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
160.其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
161.本技术实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于转换系统的视频语音同步方法。
162.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
163.本技术实施例提供的基于转换系统的视频语音同步方法、基于转换系统的视频语音同步装置、电子设备及存储介质，首先，基于转换系统对视频中的音频进行提取，从而得到原始语音文本以及视频中的语音特征信息，再将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息，从而能够将原始语音文本翻译成对应的语言，实现对特定语言的翻译，之后，根据语音特征信息对目标语音信息进行调整，得到目标合成语音，从而使得翻译后的语音更加流畅，再基于转换系统对视频进行人脸检测，得到说话人的面部特征，便于后续对视频中的人脸进行调节，最后将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，生成与目标合成语音对应的嘴唇运动帧，并根据嘴唇运动帧对视频进行更新，从而得到目标视频，实现视频中说话人的嘴唇和声音相匹配，增加视频中说话人嘴型与配音的匹配度。
164.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
165.本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
166.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
167.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
168.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
169.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
170.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
171.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
172.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
173.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
174.以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种基于转换系统的视频语音同步方法，其特征在于，所述方法包括：基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；将所述原始语音文本输入预设翻译模型进行翻译，得到与所述原始语音文本对应的目标语音信息；根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音；基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征；将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧；根据所述嘴唇运动帧更新所述视频，得到目标视频。2.根据权利要求1所述的基于转换系统的视频语音同步方法，其特征在于，所述转换系统包括自动语音识别模型；所述基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息，包括：基于所述自动语音识别模型对视频中的音频进行重音检测，得到携带重音信息的原始语音文本；对所述原始语音文本进行特征提取，得到说话人的音色信息、韵律信息以及音调信息；根据所述音色信息、所述韵律信息以及所述音调信息生成语音特征信息。3.根据权利要求2所述的基于转换系统的视频语音同步方法，其特征在于，所述将所述原始语音文本输入预设翻译模型进行翻译，得到与所述原始语音文本对应的目标语音信息，包括：将所述原始语音文本输入预设翻译模型，使得所述预设翻译模型根据所述重音信息对所述原始语音文本进行翻译，得到所述目标语音信息。4.根据权利要求2所述的基于转换系统的视频语音同步方法，其特征在于，所述转换系统包括语音合成模型和语音转换模型；所述根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音，包括：将所述语音特征信息输入所述语音转换模型进行语音转换，得到转换序列；将所述转换序列以及所述目标语音信息输入所述语音合成模型，使得所述语音合成模型根据所述重音信息将所述目标语音信息映射至所述转换序列，得到所述目标合成语音。5.根据权利要求4所述的基于转换系统的视频语音同步方法，其特征在于，所述语音转换模型包括音高编码器、韵律编码器和音色编码器；所述将所述语音特征信息输入所述语音转换模型进行语音转换，得到转换序列，包括：将所述音色信息输入所述音色编码器进行音色转换，得到音色序列；将所述韵律信息输入所述韵律编码器进行语音嵌入，得到韵律序列；将所述音调信息输入所述音高编码器进行音调预测，得到音调序列；根据所述音色序列、所述韵律序列和所述音调序列生成所述转换序列。6.根据权利要求1所述的基于转换系统的视频语音同步方法，其特征在于，所述基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征，包括：基于所述转换系统对所述视频进行分割，得到所述视频的视频帧；对所述视频帧进行人脸检测，得到说话人的面部信息；对所述面部信息进行特征分割，得到所述说话人的唇部区域、眼部区域以及鼻部区域；
根据所述唇部区域、所述眼部区域和所述鼻部区域生成所述面部特征。7.根据权利要求6所述的基于转换系统的视频语音同步方法，其特征在于，所述对抗网络模型包括唇生成模型；所述将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧，包括：将所述面部特征输入所述唇生成模型，使得所述唇生成模型对所述唇部区域进行特征提取，得到唇形特征；根据所述目标合成语音生成目标唇形帧；根据所述目标唇形帧对所述唇形特征进行语音同步，生成所述说话人的嘴唇运动帧。8.一种基于转换系统的视频语音同步装置，其特征在于，所述装置包括：音频提取模块，用于基于所述转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；语音翻译模块，用于将所述原始语音文本输入预设翻译模型进行翻译，得到与所述原始语音文本对应的目标语音信息；语音合成模块，用于根据所述语音特征信息对所述目标语音信息进行调整，得到目标合成语音；特征检测散模块，用于基于所述转换系统对所述视频进行人脸检测，得到说话人的面部特征；语音同步模块，用于将所述面部特征和所述目标合成语音输入训练好的对抗网络模型进行语音同步，得到所述说话人的嘴唇运动帧；目标确定模块，用于根据所述嘴唇运动帧更新所述面部特征，得到目标视频。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于转换系统的视频语音同步方法。10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于转换系统的视频语音同步方法。

技术总结
本申请实施例提供了一种基于转换系统的视频语音同步方法、装置、电子设备及存储介质，属于金融科技技术领域。该方法包括：基于转换系统对视频中的音频进行提取，得到原始语音文本以及语音特征信息；将原始语音文本输入预设翻译模型进行翻译，得到与原始语音文本对应的目标语音信息；根据语音特征信息对目标语音信息进行调整，得到目标合成语音；基于转换系统对视频进行检测，得到说话人的面部特征；将面部特征和目标合成语音输入训练好的对抗网络模型进行语音同步，得到说话人的嘴唇运动帧；根据嘴唇运动帧更新视频，得到目标视频。本申请实施例能够生成包含翻译的音频和经过调整的嘴唇动作的视频，实现视频中说话人的嘴唇和声音相匹配。声音相匹配。声音相匹配。


技术研发人员：张旭龙 王健宗 程宁
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.31
技术公布日：2023/8/24