一种融合语义信息的语音合成方法、系统与流程

1.本技术涉及语音合成领域，尤其涉及一种融合语义信息的语音合成方法、系统。


背景技术：

2.语音合成技术也称为文本到语音(text-to-speech，tts)，目的是通过向设备输入文字，令其转化为人类可以听懂的流畅语音，这一技术是实现人机交互的重要部分，在语音助手、语音导航、智能机器人等方面已有广泛的应用。近几年，深度神经网络的发展使得端到端的语音合成方法成为了研究主流，许多优秀模型的合成语音已经非常接近人声。但是大多数的合成语音仍然存在声音机械、停顿不明确、表现力不足的问题。
3.为了合成出更贴近人生的语音，目前的主流方法中，韵律建模是一种比较有效的方法，韵律建模的目的是使模型学会预测韵律表征的能力，韵律建模有两种不同的方法，对于预测或提取的韵律表征，如果存在实际的物理意义且可以直接通过对数据的处理得到，例如，时长、能量、基频，称之为显式韵律建模；如果没有明显的物理意义，需要通过额外特征提取器得到，称之为隐式韵律建模。另一种是显式韵律建模，通过引入时长、能量、基频使合成语音的表现力得到了一定提升，但仍然存在显式的韵律表征提取容易出现误差，无法将不同的韵律表征进行联系的问题，韵律自然度仍有可以提升的空间。


技术实现要素：

4.本技术实施例提供一种基于融合语义信息的语音合成的方法及装置的相关技术方案，用以解决现有技术中显式的韵律表征提取容易出现误差，无法将不同的韵律表征进行联系的问题，韵律自然度低的技术问题。
5.本技术实施例提供一种基于融合语义信息的语音合成的方法，包括如下步骤：
6.数据准备，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；
7.模型构建，构建融合语义信息的语音合成模型；
8.模型训练，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；
9.模型测试，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。
10.进一步的，所述合成模型包括音素编码器、词编码器、词-音素注意力、编码器、变量适配器以及梅尔谱解码器；所述音素编码器连接到词编码器，所述音素编码器和词编码器分别连接词-音素注意力，词-音素注意力连接编码器，编码器连接变量适配器，变量适配器连接梅尔谱解码器。
11.进一步的，收集整理中文数据集aishell-3以及英文数据集libritts，对中文数据集aishell-3以及英文数据集libritts分别进行预处理，将aishell-3音频对应的中文文本进行拼音化处理，得到文本为拼音的文本序列。
12.进一步的，所述模型训练中使用adam优化器。
13.进一步的，所述打分包括得到10个不同说话人的合成音频得分，并将10个人的得分再次进行平均得到最终模型得分。
14.本技术实施例还提供一种基于融合语义信息的语音合成的装置，包括：
15.数据收集模块，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；
16.模型构建模块，构建融合语义信息的语音合成模型；
17.模型训练模块，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；
18.模型测试模块，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。
19.进一步的，其中，所述合成模型包括音素编码器、词编码器、词-音素注意力、编码器、变量适配器以及梅尔谱解码器；所述音素编码器连接到词编码器，所述音素编码器和词编码器分别连接词-音素注意力，词-音素注意力连接编码器，编码器连接变量适配器，变量适配器连接梅尔谱解码器。
20.进一步的，所述打分包括得到10个不同说话人的合成音频得分，并将10个人的得分再次进行平均得到最终模型得分。
21.本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述的方法的步骤。
22.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的方法的步骤。
23.本发明提供的实施例至少具有以下有益效果：
24.本发明提供一种基于融合语义信息的语音合成的方法，包括如下步骤：数据准备，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；模型构建，构建融合语义信息的语音合成模型；模型训练，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；模型测试，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。采用本技术的技术方案能减少显式韵律建模中韵律表征提取出现的误差，提升韵律自然度。
附图说明
25.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
26.图1为本技术实施例提供的一种基于融合语义信息的语音合成的方法的示意图；
27.图2为本技术实施例提供的融合语义信息的语音合成模型的模块示意图；
28.图3为本技术实施例提供的融合语义信息的词-音素注意力的模块示意图；
29.图4为本技术实施例提供的编码器中改进后的fft结构的示意图。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.如图1-4所示，本技术实施例提供一种基于融合语义信息的语音合成的方法，包括如下步骤：
32.数据准备，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；
33.收集整理中文数据集aishell-3以及英文数据集libritts，对两个数据集分别进行预处理，将aishell-3音频对应的中文文本进行拼音化处理，得到文本为拼音的文本序列，并将声调标注为1，2，3，4声以及轻声5。收集挑选两种语音合适的音素词典，将拼音文本序列以及英语文本序列根据音素词典转化为音素序列。
34.对获得的音频进行处理，首先根据表1中的参数，对语音数据进行重采样，将其采样率转换为22050hz，对重采样后的语音数据进行0.97的预加重处理，随后对音频进行帧移为256，窗长以及帧长为1024的短时傅里叶变换，采用梅尔滤波器组数量为80的梅尔滤波器，从最小频率0提升到最大频率8000，与使用的hifi-gan声码器保持一致。
35.表1音频参数
[0036][0037][0038]
模型构建，构建融合语义信息的语音合成模型；
[0039]
如图2所示，融合语义信息的语音合成模型包括音素编码器(phoneme encoder)，词编码器(word encoder),词-音素注意力(wpattention),编码器(encoder)，变量适配器(variance adaptor)，梅尔谱解码器(mel-spectrogram decoder)
[0040]
音素编码器，由embedding部分以及标准fft块组成，以音素作为输入，使用one-hot编码将其编码为音素序列，通过embedding操作将输入转化为256维隐藏特征，将隐藏特
征经过fft块处理得到隐变量x
p
。
[0041]
词编码器的结构与音素编码器类似，由标准fft块构成，词编码器的目的在于，通过额外的词边界信息处理音素序列，从而获得句子中的语义信息。大多数的模型，仅以音素等显式特征作为输入，这种形式模型无法提取文本中的句法结构信息，因此提取句子的句法信息对于合成表现力高的音频有重要意义。词编码器以音素编码器的输出x
p
以及词边界信息作为输入，首先将两个输入拼接，进行词级的池化操作，池化后的特征经过标准fft处理后得到隐变量xw。
[0042]
词-音素注意力，结构如图3所示。由时长预测器(duration predictor)，长度调节器(length regulator)，多头注意力(multi-head attention)三部分组成。词-音素注意力的输入由词边界信息(word boundary)、音素编码器的输出x
p
与词编码器的输出xw作为输入。时长预测器以word boundary，x
p
为输入，由两个一维卷积，relu激活函数，层归一化以及一个线性层组成，时长预测器将每个时间步中的隐藏状态投影到标量，得到预测的音素时间。长度调节器以xw作为输入，结构设置与fastspeech一致，用于控制语速和部分韵律。多头注意力具有两个头部，以长度调节器的输出q，以及从x
p
复制得到的k，v作为输入，得到隐变量x。词-音素注意力部分的公式如下所示：
[0043]
xd＝dp(x
p
+word)
[0044]
x
l
＝lr(xw+xd)
[0045]
x＝attention(q，k，v)
[0046]
式中x
p
为音素编码器的输出；xw为词编码器的输出，word为词边界信息；dp为时长预测器的相关运算，xd为时长预测器的输出；lr为长度调节器的相关运算；x
l
为长度调节器的输出；q为x
l
的复制；k，v为x
p
的复制。
[0047]
编码器，由4个改进的fft块组成，改进后的fft结构如图4所示，音素编码器的输出x
p
与词编码器的输出xw经过wp attention融合后得到含有文本特征的隐变量x，编码器将隐变量x作为输入，将其复制三份分别命名为q，k，v，送入隐藏维度为256的multi-head attention中，得到隐变量xa，将xa线性转换后与x相加，经过层归一化后得到第一隐藏特征x
第一隐藏特征
，将x
第一隐藏特征
送入新增的双向gru(bi-gru)中，得到隐藏特征x
gru
，通过这种方式，可以弥补self-attention对局部特征关注的不足，从而提高局部依赖关系建模能力。随后x
gru
经过前馈神经网络(ffn)处理后，与x
gru
相加，经过层归一化得到最终的输出变量xe。其中ffn先后包括卷积核大小为9，隐变量维度为1024的一维卷积；relu激活函数；卷积核大小为1，隐变量维度维为256的一维卷积；编码器部分的公式如下所示：
[0048]
x＝wp(x
p
+xw+word)
[0049]
xa＝attention(q，k，v)
[0050]
x
第一隐藏特征
＝ln(x+linear(xa))
[0051]
x
gru
＝bigru(x
第一隐藏特征
)
[0052]
xe＝ln(x
gru
+ffn(x
gru
))
[0053]
式中，word代表词边界信息(word boundary)，x
p
代表音素特征；xw代表文本特征；wp代表词-音素注意力的相关运算；x代表融合后的特征；attention代表multi-head attention的相关操作，xa代表经过注意力运算的隐藏特征；linear代表线性处理；ln代表层归一化；x
第一隐藏特征
代表第一隐藏特征；bigru代表双向gru的相关操作；x
gru
代表经过双向
gru处理后的隐藏特征；ffn代表前馈神经网络的相关操作；xe代表最终fft块的输出，也就是encoder的输出。
[0054]
变量适配器与梅尔谱解码器。遵循基线模型的设置，变量适配器由持续时长预测器、音高预测器、能量预测器构成。三种预测器的结构相同，均由一维卷积、relu激活函数、ln、dropout、一维卷积、relu激活函数、ln、dropout、线性层9部分线性组成。梅尔谱解码器由6个标准的fft块组成。
[0055]
模型训练，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；模型的输入为真实音频，对应的音素序列、时长、能量、基频数据，训练中使用adam优化器，beta值为0.9和0.98。均方误差(mse)对预测的梅尔频谱和真实的梅尔频谱计算损失，同时对时长、能量、基频信息做mae损失，权重系数为1.训练数据为218个说话人，85小时的中文数据集aishell-3，以及2456个说话人，585小时英文数据集libritts(随机挑选400人，约100小时)，将数据集划分为训练集、验证集、测试集，分别用两个数据集的训练集训练模型，训练时的批大小为64，每一批次中的音频数据随机选取，声码器采用普遍使用的训练好的hifi-gan模型，两个数据集上的模型经过10万步的迭代训练后均收敛，得到训练好的模型。模型预测生成音频时，使用的时长、能量、基频为根据文本及音素序列得到的预测数据。
[0056]
模型测试，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。首先随机选取模型测试集中使用某个人的5-10条音频，1条音频标记为标准音频，使用随机句子合成15-20条同一说话人的音频，将除标准音频的所有音频进行混合。邀请10名母语使用者，告知使用国际标准的5分打分制，从0到5依次是：非常差，情感与目标情感完全不贴切，情感表现力极差；很差，情感与目标情感基本贴切，情感表现力极差；中等，情感与目标情感较贴切，情感表现力较好；良好，情感与目标情感较贴切，情感表现力充分；优秀，情感与目标情感贴切，情感表现力突出；每0.5分为1个间隔。首先听标准音频，随后依据标准音频对混合后的音频进行打分，将生成音频的得分进行平均。重复流程，得到10个不同说话人的合成音频得分。并将10个人的得分再次进行平均得到最终模型得分。
[0057]
本技术实施例还提供一种基于融合语义信息的语音合成的装置，包括：
[0058]
数据收集模块，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；
[0059]
模型构建模块，构建融合语义信息的语音合成模型；
[0060]
模型训练模块，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；
[0061]
模型测试模块，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则保留该模型。
[0062]
进一步的，其中，所述合成模型包括音素编码器、词编码器、词-音素注意力、编码器、变量适配器以及梅尔谱解码器；所述音素编码器连接到词编码器，所述音素编码器和词编码器分别连接词-音素注意力，词-音素注意力连接编码器，编码器连接变量适配器，变量适配器连接梅尔谱解码器。
[0063]
进一步的，收集整理中文数据集aishell-3，以及英文数据集libritts，对两个数
据集分别进行预处理，将aishell-3音频对应的中文文本进行拼音化处理，得到文本为拼音的文本序列。
[0064]
进一步的，所述模型训练中使用adam优化器。
[0065]
进一步的，所述打分包括得到10个不同说话人的合成音频得分，并将10个人的得分再次进行平均得到最终模型得分。
[0066]
本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述的方法的步骤。
[0067]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行前述的方法的步骤。
[0068]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0069]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0070]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种基于融合语义信息的语音合成的方法，其特征在于，包括如下步骤：数据准备，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；模型构建，构建融合语义信息的语音合成模型；模型训练，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；模型测试，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。2.根据权利要求1所述的基于融合语义信息的语音合成的方法，其特征在于，所述合成模型包括音素编码器、词编码器、词-音素注意力、编码器、变量适配器以及梅尔谱解码器；所述音素编码器连接到词编码器，所述音素编码器和词编码器分别连接词-音素注意力，词-音素注意力连接编码器，编码器连接变量适配器，变量适配器连接梅尔谱解码器。3.根据权利要求1所述的基于融合语义信息的语音合成的方法，其特征在于，收集整理中文数据集aishell-3以及英文数据集libritts，对中文数据集aishell-3以及英文数据集libritts分别进行预处理，将aishell-3音频对应的中文文本进行拼音化处理，得到文本为拼音的文本序列。4.根据权利要求1所述的基于融合语义信息的语音合成的方法，其特征在于，所述模型训练中使用adam优化器。5.根据权利要求1所述的基于融合语义信息的语音合成的方法，其特征在于，所述打分包括得到10个不同说话人的合成音频得分，并将10个人的得分再次进行平均得到最终模型得分。6.一种基于融合语义信息的语音合成的装置，其特征在于，包括：数据收集模块，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；模型构建模块，构建融合语义信息的语音合成模型；模型训练模块，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；模型测试模块，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则使用该模型进行语音合成。7.根据权利要求6所述的基于融合语义信息的语音合成的装置，其特征在于，所述合成模型包括音素编码器、词编码器、词-音素注意力、编码器、变量适配器以及梅尔谱解码器；所述音素编码器连接到词编码器，所述音素编码器和词编码器分别连接词-音素注意力，词-音素注意力连接编码器，编码器连接变量适配器，变量适配器连接梅尔谱解码器。8.根据权利要求6所述的基于融合语义信息的语音合成的装置，其特征在于，所述打分包括得到10个不同说话人的合成音频得分，并将10个人的得分再次进行平均得到最终模型得分。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，所述
计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本发明提供一种基于融合语义信息的语音合成的方法，包括如下步骤：数据准备，收集语音数据以及对应文本，对数据进行预处理提取音素序列、时长、能量、基频数据；模型构建，构建融合语义信息的语音合成模型；模型训练，输入真实音频对应的音素序列、时长、能量、基频数据对模型进行训练得到训练好的模型；模型测试，对训练好的模型从合成语音质量以及与语音说话人相似度两个方面进行评价打分，若打分结果满足条件，则保留该模型。采用本发明的技术方案能减少显式韵律建模中韵律表征提取出现的误差，提升韵律自然度。提升韵律自然度。提升韵律自然度。


技术研发人员：柯登峰 刘嗣平 张顺 杜宝乐 徐艳艳
受保护的技术使用者：广州九四智能科技有限公司
技术研发日：2023.04.11
技术公布日：2023/7/25