音色转换模型的训练方法、音色转换方法、装置及设备与流程

1.本技术涉及音频处理技术领域，特别涉及一种音色转换模型的训练方法、音色转换方法、装置及设备。


背景技术：

2.语音转换技术是一种将某一个发音人所说的音频内容，转换到另一个发音人的音色上的语音算法技术。本技术主要涉及说话语音的音色转换。
3.语音转换的技术类型可以分为两类：一是只保留发音人a的音频内容信息，转换后的音频由发音人b的发音节奏(每个字的发音时间)和发音特点(音调高低、音量高低、声音起伏等)来表达该内容信息；二是完全保留发音人a在音频中的内容信息、发音节奏和发音特点等，转换后只是用发音人b的音色声纹来表达该音频，通俗的说即将发音人b的音色“套”在该音频上。本技术主要针对上述第二种语音转换技术。
4.然而，目前针对上述第二种语音转换技术，其转换效果还需进一步提升。


技术实现要素：

5.本技术实施例提供了一种音色转换模型的训练方法、音色转换方法、装置及设备。本技术实施例提供的技术方案如下：
6.根据本技术实施例的一个方面，提供了一种音色转换模型的训练方法，所述方法包括：
7.获取样本音频的音频内容信息、音频特征信息和声纹特征，所述音频内容信息用于表征所述样本音频的音频内容，所述音频特征信息用于表征所述样本音频的发音特点；
8.将所述音频内容信息、所述音频特征信息和所述声纹特征，输入至音色转换模型，由所述音色转换模型输出预测的声学特征；
9.根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。
10.根据本技术实施例的一个方面，提供了一种音色转换方法，所述方法包括：
11.获取第一音频的音频内容信息和音频特征信息，所述音频内容信息用于表征所述第一音频的音频内容，所述音频特征信息用于表征所述第一音频的发音特点；
12.将所述音频内容信息、所述音频特征信息以及目标音色的声纹特征，输入至音色转换模型，由所述音色转换模型输出声学特征；
13.根据所述声学特征生成第二音频，所述第二音频是保留所述第一音频的音频内容和发音特点，并将所述第一音频的音色转换为所述目标音色之后的音频。
14.根据本技术实施例的一个方面，提供了一种音色转换模型的训练装置，所述装置包括：
15.获取模块，用于获取样本音频的音频内容信息、音频特征信息和声纹特征，所述音频内容信息用于表征所述样本音频的音频内容，所述音频特征信息用于表征所述样本音频
的发音特点；
16.处理模块，用于将所述音频内容信息、所述音频特征信息和所述声纹特征，输入至音色转换模型，由所述音色转换模型输出预测的声学特征；
17.调整模块，用于根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。
18.根据本技术实施例的一个方面，提供了一种音色转换装置，所述装置包括：
19.获取模块，用于获取第一音频的音频内容信息和音频特征信息，所述音频内容信息用于表征所述第一音频的音频内容，所述音频特征信息用于表征所述第一音频的发音特点；
20.处理模块，用于将所述音频内容信息、所述音频特征信息以及目标音色的声纹特征，输入至音色转换模型，由所述音色转换模型输出声学特征；
21.生成模块，用于根据所述声学特征生成第二音频，所述第二音频是保留所述第一音频的音频内容和发音特点，并将所述第一音频的音色转换为所述目标音色之后的音频。
22.根据本技术实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述音色转换模型的训练方法，或者实现上述音色转换方法。
23.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述音色转换模型的训练方法，或者实现上述音色转换方法。
24.根据本技术实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序以实现上述音色转换模型的训练方法，或者实现上述音色转换方法。
25.本技术实施例提供的技术方案至少包括如下有益效果：
26.通过获取样本音频的音频内容信息、音频特征信息和声纹特征，将样本音频的上述信息输入至音色转换模型，由该音色转换模型输出预测的声学特征，然后根据预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型的参数进行调整，得到训练后的音色转换模型；通过使用上述多种音频特征，对音色转换模型进行训练，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。而且，上述针对音色转换模型的训练过程，是一个自监督的训练过程，无需依赖人工标注等其他处理流程，对于训练音色转换模型非常方便。
附图说明
27.图1是本技术一个实施例提供的方案实施环境的示意图；
28.图2是本技术一个实施例提供的语音转换系统的示意图；
29.图3是本技术一个实施例提供的音色转换模型的训练方法的流程图；
30.图4是本技术一个实施例提供的音色转换模型的训练过程的示意图；
31.图5是本技术一个实施例提供的音色转换方法的流程图；
32.图6是本技术一个实施例提供的音色转换模型的训练装置的框图；
33.图7是本技术一个实施例提供的音色转换装置的框图；
34.图8是本技术一个实施例提供的计算机设备的结构框图。
具体实施方式
35.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
36.请参考图1，其示出了本技术一个实施例提供的方案实施环境的示意图，该方案实施环境可以包括：模型训练设备10和模型使用设备20。
37.模型训练设备10可以是诸如个人计算机、电脑、平板电脑、服务器、智能机器人等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备10用于对音色转换模型15进行训练。在一些实施例中，模型训练设备10可以采用机器学习的方式对音色转换模型15进行训练，以使其具备较好的性能。在模型训练过程中，获取样本音频的音频内容信息、音频特征信息和声纹特征，将样本音频的上述信息输入至音色转换模型15，由音色转换模型15输出预测的声学特征，然后根据该预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型15的参数进行调整，得到训练后的音色转换模型15。对于上述音色转换模型15的具体训练过程，将在下文实施例中作详细介绍，在此不过多赘述。
38.上述训练完成的音色转换模型15可部署在模型使用设备20中使用，以用于对音频进行音色转换。模型使用设备20可以是诸如手机、电脑、智能电视、多媒体播放设备、车载终端设备等终端设备，也可以是服务器，本技术对此不作限定。示例性地，训练完成的音色转换模型15可以根据第一音频的音频内容信息和音频特征信息，以及目标音色的声纹特征，输出声学特征，然后再根据声学特征生成第二音频，该第二音频是保留第一音频的音频内容和发音特点，并将第一音频的音色转换为目标音色之后的音频。
39.在一些实施例中，本技术提供了一个语音转换系统，该语音转换系统旨在通过指定目标音色，对任意音频转换为该目标音色发声的音频，且同时保留原始音频的发音节奏、音调起伏、发音细节等音频特点。
40.示例性地，如图2所示，语音转换系统30包括音频内容获取模型12、音色转换模型15和声码器模型18。
41.音频内容获取模型12用于获取音频的音频内容信息，该音频内容信息用于表征音频的音频内容。示例性地，音频内容信息包括音频的ppg(phonetic posteriorgrams，语音后验概率)特征。ppg特征是一个时间对类别的矩阵，是语音识别过程中的一个中间特征，其表示对于一段语音的每个特定时间帧，每个语音类别(如每个音素)的后验概率。其中，音素是指是根据语音的自然属性划分出来的最小语音单位，是从音质的角度划分出来的最小的线性的语音单位。音素是具体存在的物理现象。依据音节里的发音动作来分析，一个动作构成一个音素。在一些实施例中，音素分为元音与辅音两大类。例如，汉语音节啊(
ā
)只有一个音素，爱(
à
i)有两个音素，代(d
à
i)有三个音素。
42.音色转换模型15用于根据音频内容信息、音频特征信息和声纹特征，生成声学特征。在一些实施例中，音频特征信息包括：第一特征信息和第二特征信息。第一特征信息用于表征音频的基频的变化情况，第二特征信息用于表征音频的轻辅音的变化情况。声纹(voiceprint)是用电声学仪器显示的携带言语信息的声波频谱。研究表明，声纹不仅具有
特定性，而且有相对稳定性的特点。实验证明，无论讲话者是故意模仿他人声音和语气，还是耳语轻声讲话，即使模仿得惟妙惟肖，其声纹却始终不变。因此，声纹特征反映了用户的音色，不同的音色具有不同的声纹特征。
43.声码器模型18用于根据声学特征，生成相应的音频。声码器模型18的输入是声学特征，本技术使用梅尔频谱作为声学特征来学习；输出是音频的波形文件。即是说，声码器模型18的作用是将模型学习的声学特征还原回音频的波形文件。
44.语音转换系统30中的音频内容获取模型12和声码器模型18可以是已经提前预训练好的通用模型，音色转换模型15需要进行针对性的训练。在本技术实施例中，主要讲述音色转换模型15的训练过程。在一些实施例中，音频内容获取模型12使用wenet模型结构，利用10000+小时的音频数据预训练得到。声码器模型18使用univnet结构，利用包含3000+音色接近2000小时的音频数据预训练得到。音色转换模型15可以分如下两个步骤进行训练：
45.(1)利用3000+音色接近2000小时的音频数据预训练一个基础的音色转换模型；
46.(2)根据需要哪些目标音色，用该目标音色的音频来微调训练第一步得到的基础的音色转换模型，得到最终训练完成的音色转换模型。这一步可以只使用一个目标音色数据，也可以使用多个目标音色数据同时训练。如果目标音色数据已经包含在第一步训练使用的数据中，则不需要这一步的微调过程，直接使用基础的音色转换模型即可转换音频。
47.当然，上文针对各个模型的结构以及训练模型所用的数据量，均是示例性和解释性的，这可以结合实际情况进行灵活设计和调整，本技术对此不作限定。
48.本技术实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如pc(personal computer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端设备；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。计算机设备可以是图1中的模型训练设备10，用于执行本技术实施例提供的音色转换模型的训练方法；也可以是模型使用设备20，用于执行本技术实施例提供的音色转换方法。
49.请参考图3，其示出了本技术一个实施例提供的音色转换模型的训练方法的流程图。该方法各步骤的执行主体可以是计算机设备，如上文介绍的模型训练设备。该方法可以包括如下步骤310～330中的至少一个步骤。
50.步骤310，获取样本音频的音频内容信息、音频特征信息和声纹特征。
51.样本音频的音频内容信息用于表征该样本音频的音频内容。在一些实施例中，样本音频的音频内容信息包括该样本音频的ppg特征。在一些实施例中，提取ppg特征时，本技术使用训练好的wenet网络模型作为音频内容获取模型，进行ppg特征的提取。为了让转换过程中，音频的内容信息保留得更完整，我们提取了wenet网络(共12层encoder(编码器))中第8层encoder的输出作为表征音频内容信息的ppg特征。
52.在一些实施例中，通过如下方式获取样本音频的音频内容信息：获取样本音频的声学特征，对样本音频的声学特征进行数据增强处理，得到增强后的声学特征，将该增强后的声学特征输入至音频内容获取模型，由音频内容获取模型输出样本音频的音频内容信息。
53.声学特征指表示语音声学特性的物理量，也是声音诸要素声学表现的统称。如表
示音色的能量集中区、共振峰频率、共振峰强度和带宽，以及表示语音韵律特性的时长、基频、平均语声功率等。在一些实施例中，样本音频的声学特征包括该样本音频的梅尔频谱。
54.在一些实施例中，为了减少除了音频内容信息之外的其他音色信息的特征泄露，本技术使用了特征数据增强的方法，对音频内容获取模型的输入信息(即样本音频的声学特征)进行数据增强处理。在一些实施例中，数据增强处理包括以下至少之一：基频变化、共振峰变化、能量变化。例如，对样本音频的声学特征进行随机的基频变化、共振峰变化和能量变化中的至少之一，得到增强后的声学特征。然后，再将该增强后的声学特征输入至音频内容获取模型，由音频内容获取模型输出样本音频的音频内容信息。
55.对于一个能适应来自不同人、不同场景下的输入待转换音频，语音转换框架就需要增强自身的鲁棒性去完整的提取其发音内容和发音细节。因此，本技术在训练音色转换模型的过程中，对于每一段输入音频都会随机性地对基频、共振峰和频谱频带能量做一定范围的动态变化，去模拟实际过程中可能遇到的输入音频的类型，以增强音色转换模型的转换能力。通过这样的数据增强处理，音频的输入信息在每次迭代都发生随机性的变化，但是这些变化都不会影响ppg特征的提取，因此音色转换模型可以更加专注地从ppg特征学习得到输入音频的内容信息，从而保证了转换中音频内容保留的完整性。另外，本技术所用的数据增强方法不局限于提到的上述3种方法，只要不影响音频内容信息的提取的方法，均可以用于此处增强特征数据的鲁棒性。
56.样本音频的音频特征信息用于表征该样本音频的发音特点。其中，发音特点包括但不限于音调高低、音量高低、声音起伏等。
57.在一些实施例中，样本音频的音频特征信息包括：该样本音频的第一特征信息和第二特征信息。样本音频的第一特征信息用于表征该样本音频的基频的变化情况。样本音频的第二特征信息用于表征该样本音频的轻辅音的变化情况。
58.在一些实施例中，通过如下方式获取样本音频的音频特征信息：将样本音频划分为多个音频片段，获取多个音频片段各自的基频，对于每一个音频片段，根据该音频片段的基频，以及多个音频片段各自的基频的平均值，确定音频片段的基频变化量，根据多个音频片段各自的基频变化量，得到第一特征信息。另外，对于每一个音频片段，根据该音频片段的基频，确定音频片段的轻辅音特征值，轻辅音特征值用于表征音频片段属于轻音片段或辅音片段，根据多个音频片段各自的轻辅音特征值，得到第二特征信息。
59.示例性地，任意一个音频片段的基频变化量deltaf0采用如下公式计算得到：
[0060][0061]
其中，f0表示该音频片段的基频，f0_mean表示样本音频划分得到的多个音频片段各自的基频的平均值。样本音频的第一特征信息，即包括该样本音频划分得到的多个音频片段各自的基频变化量，例如，按照该多个音频片段的时间先后的顺序，对该多个音频片段各自的基频变化量进行排序，得到的一个包含该多个音频片段各自的基频变化量的序列，即为样本音频的第一特征信息。
[0062]
示例性地，任意一个音频片段的轻辅音特征值value采用如下式子表示：
[0063][0064]
其中，f0表示该音频片段的基频，value＝0表示该音频片段属于轻音片段，value＝1表示该音频片段属于辅音片段。当然，在一些其他实施例中，也可以采用value＝0表示该音频片段属于辅音片段，value＝1表示该音频片段属于轻音片段，或者采用其他数值来表示轻音片段和辅音片段，本技术对此不作限定。样本音频的第二特征信息，即包括该样本音频划分得到的多个音频片段各自的轻辅音特征值，例如，按照该多个音频片段的时间先后的顺序，对该多个音频片段各自的轻辅音特征值进行排序，得到的一个包含该多个音频片段各自的轻辅音特征值的序列，即为样本音频的第二特征信息。
[0065]
音频的基频信息可以很好地代表音频发音信息的音调起伏和轻音辅音等发音特点，但是如果直接使用基频的话，很容易带来音色泄露，导致转换后音频的音色相似度与目标音色的相似度不高的问题。因此，本技术采用instance normalization(实例归一化)的方式，对每一个音频片段的基频计算其变化趋势deltaf0，让它既表征了音频特征信息，又减少音色的泄露。同时，为了补充deltaf0对于音频发音特点的表征，v/uv信息(即上述第二特征信息)可以增强转换后轻音和辅音的发音质量，减少转换后音频发音含糊不清、音调不和谐等问题。
[0066]
样本音频的声纹特征用于表征该样本音频的声纹。声纹特征反映了用户的音色，不同的音色具有不同的声纹特征。音频的声纹特征通过声纹提取模型进行提取得到。声纹的提取方式有比较多种，方式也很成熟，本技术在这里不做赘述。
[0067]
步骤320，将上述音频内容信息、音频特征信息和声纹特征，输入至音色转换模型，由音色转换模型输出预测的声学特征。
[0068]
在模型训练阶段，将样本音频的音频内容信息、该样本音频的音频特征信息，以及该样本音频的声纹特征，输入至音色转换模型，由音色转换模型输出预测的声学特征。
[0069]
在一些实施例中，音色转换模型可以是基于神经网络构建的机器学习模型。在本技术实施例中，对音色转换模型的神经网络结构不作限定。示例性地，其可以使用cnn(convolutional neural network，卷积神经网络)、rnn(recurrent neural network，循环神经网络)、transformer等结构。示例性地，本技术使用了一个flow结构作为音色转换模型的网络结构，能够更好地拟合音频声学特征。且flow结构相比transformer结构，在进行字数较多的长段音频合成时，在不损失特征拟合能力的情况下，计算量的增加幅度更小。当合成的文本长度为t时，flow结构的计算复杂度为o(t)，而transformer结构的计算复杂度为o(t*t)。
[0070]
步骤330，根据预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型的参数进行调整，得到训练后的音色转换模型。
[0071]
在一些实施例中，根据预测的声学特征和样本音频的声学特征之间的差异，计算损失函数值，根据损失函数值对音色转换模型的参数进行调整，得到训练后的音色转换模型。其中，样本音频的声学特征可以直接从样本音频中提取得到，例如以梅尔频谱作为声学特征为例，将样本音频的梅尔频谱，作为该样本音频的声学特征。
[0072]
在一些实施例中，可以采用反向传播的方式，以最小化损失函数值为目标，对音色转换模型的参数进行调整，得到训练后的音色转换模型。
[0073]
如图4所示，其示出了音色转换模型15的训练过程的示意图。首先，获取样本音频的声学特征(如梅尔频谱)，对样本音频的声学特征进行数据增强处理(如基频变化、共振峰变化、能量变化等)，得到增强后的声学特征，将该增强后的声学特征输入至预训练好的音频内容获取模型12，由音频内容获取模型12输出样本音频的音频内容信息(如ppg特征)。然后，将样本音频的音频内容信息、该样本音频的音频特征信息(包括第一特征信息和第二特征信息)以及该样本音频的声纹特征，输入至音色转换模型15，由该音色转换模型15输出预测的声学特征。之后，根据预测的声学特征和样本音频的声学特征之间的差异，计算损失函数值，根据损失函数值对音色转换模型15的参数进行调整，得到训练后的音色转换模型。
[0074]
综上所述，本技术实施例提供的技术方案，通过获取样本音频的音频内容信息、音频特征信息和声纹特征，将样本音频的上述信息输入至音色转换模型，由该音色转换模型输出预测的声学特征，然后根据预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型的参数进行调整，得到训练后的音色转换模型；通过使用上述多种音频特征，对音色转换模型进行训练，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。而且，上述针对音色转换模型的训练过程，是一个自监督的训练过程，无需依赖人工标注等其他处理流程，对于训练音色转换模型非常方便。
[0075]
下面，通过实施例对使用上述音色转换模型进行音色转换的流程进行介绍说明，有关该音色转换模型使用过程中涉及的内容和训练过程中涉及的内容是相互对应的，两者互通，如在一侧为作详细说明的地方，可以参考另一侧的描述说明。
[0076]
请参考图5，其示出了本技术一个实施例提供的音色转换方法的流程图。该方法各步骤的执行主体可以是计算机设备，如上文介绍的模型使用设备。该方法可以包括如下步骤510～530中的至少一个步骤。
[0077]
步骤510，获取第一音频的音频内容信息和音频特征信息。
[0078]
第一音频的音频内容信息用于表征该第一音频的音频内容。在一些实施例中，获取第一音频的声学特征，将第一音频的声学特征输入至音频内容获取模型，由音频内容获取模型输出第一音频的音频内容信息。
[0079]
第一音频的音频特征信息用于表征该第一音频的发音特点。在一些实施例中，第一音频的音频特征信息包括：该第一音频的第一特征信息和第二特征信息。其中，第一音频的第一特征信息用于表征该第一音频的基频的变化情况，第一音频的第二特征信息用于表征该第一音频的轻辅音的变化情况。
[0080]
在一些实施例中，将第一音频划分为多个音频片段，获取该多个音频片段各自的基频，对于每一个音频片段，根据该音频片段的基频，以及上述多个音频片段各自的基频的平均值，确定该音频片段的基频变化量，根据多个音频片段各自的基频变化量，得到第一特征信息。另外，对于每一个音频片段，根据该音频片段的基频，确定该音频片段的轻辅音特征值，轻辅音特征值用于表征音频片段属于轻音片段或辅音片段，根据多个音频片段各自的轻辅音特征值，得到第二特征信息。
[0081]
有关音频内容信息和音频特征信息的相关介绍说明，可参见上文实施例，此处不再赘述。
[0082]
步骤520，将第一音频的音频内容信息、该第一音频的音频特征信息，以及目标音色的声纹特征，输入至音色转换模型，由音色转换模型输出声学特征。
[0083]
目标音色是指期望转换至的音色。目标音色的声纹特征可以从具有该目标音色的音频内容中提取得到。
[0084]
步骤530，根据声学特征生成第二音频，第二音频是保留第一音频的音频内容和发音特点，并将第一音频的音色转换为目标音色之后的音频。
[0085]
在一些实施例中，将音色转换模型输出的声学特征，输入至声码器模型，由声码器模型输出第二音频。
[0086]
综上所述，本技术实施例提供的技术方案，通过获取第一音频的音频内容信息和音频特征信息，将第一音频的上述信息和目标音色的声纹特征输入至音色转换模型，由该音色转换模型输出声学特征，然后根据上述声学特征生成音色转换后的第二音频；通过使用上述多种音频特征，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。
[0087]
下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
[0088]
请参考图6，其示出了本技术一个实施例提供的音色转换模型的训练装置的框图。该装置具有实现上述音色转换模型的训练方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置600可以包括：获取模块610、处理模块620和调整模块630。
[0089]
获取模块610，用于获取样本音频的音频内容信息、音频特征信息和声纹特征，所述音频内容信息用于表征所述样本音频的音频内容，所述音频特征信息用于表征所述样本音频的发音特点。
[0090]
处理模块620，用于将所述音频内容信息、所述音频特征信息和所述声纹特征，输入至音色转换模型，由所述音色转换模型输出预测的声学特征。
[0091]
调整模块630，用于根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。
[0092]
在一些实施例中，所述获取模块610，用于获取所述样本音频的声学特征；对所述样本音频的声学特征进行数据增强处理，得到增强后的声学特征；将所述增强后的声学特征输入至音频内容获取模型，由所述音频内容获取模型输出所述样本音频的音频内容信息。
[0093]
在一些实施例中，所述数据增强处理包括以下至少之一：基频变化、共振峰变化、能量变化。
[0094]
在一些实施例中，所述音频特征信息包括：第一特征信息，用于表征所述样本音频的基频的变化情况；第二特征信息，用于表征所述样本音频的轻辅音的变化情况。
[0095]
在一些实施例中，所述获取模块610，用于将所述样本音频划分为多个音频片段；获取所述多个音频片段各自的基频；对于每一个音频片段，根据所述音频片段的基频，以及所述多个音频片段各自的基频的平均值，确定所述音频片段的基频变化量；根据所述多个音频片段各自的基频变化量，得到所述第一特征信息；对于每一个音频片段，根据所述音频片段的基频，确定所述音频片段的轻辅音特征值，所述轻辅音特征值用于表征所述音频片段属于轻音片段或辅音片段；根据所述多个音频片段各自的轻辅音特征值，得到所述第二特征信息。
[0096]
在一些实施例中，所述调整模块630，用于根据所述预测的声学特征和所述样本音频的声学特征之间的差异，计算损失函数值；根据所述损失函数值对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。
[0097]
综上所述，本技术实施例提供的技术方案，通过获取样本音频的音频内容信息、音频特征信息和声纹特征，将样本音频的上述信息输入至音色转换模型，由该音色转换模型输出预测的声学特征，然后根据预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型的参数进行调整，得到训练后的音色转换模型；通过使用上述多种音频特征，对音色转换模型进行训练，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。而且，上述针对音色转换模型的训练过程，是一个自监督的训练过程，无需依赖人工标注等其他处理流程，对于训练音色转换模型非常方便。
[0098]
请参考图7，其示出了本技术一个实施例提供的音色转换装置的框图。该装置具有实现上述音色转换方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置700可以包括：获取模块710、处理模块720和生成模块730。
[0099]
获取模块710，用于获取第一音频的音频内容信息和音频特征信息，所述音频内容信息用于表征所述第一音频的音频内容，所述音频特征信息用于表征所述第一音频的发音特点。
[0100]
处理模块720，用于将所述音频内容信息、所述音频特征信息以及目标音色的声纹特征，输入至音色转换模型，由所述音色转换模型输出声学特征。
[0101]
生成模块730，用于根据所述声学特征生成第二音频，所述第二音频是保留所述第一音频的音频内容和发音特点，并将所述第一音频的音色转换为所述目标音色之后的音频。
[0102]
在一些实施例中，所述音频特征信息包括：第一特征信息，用于表征所述第一音频的基频的变化情况；第二特征信息，用于表征所述第一音频的轻辅音的变化情况。
[0103]
在一些实施例中，所述获取模块710，用于将所述第一音频划分为多个音频片段；获取所述多个音频片段各自的基频；对于每一个音频片段，根据所述音频片段的基频，以及所述多个音频片段各自的基频的平均值，确定所述音频片段的基频变化量；根据所述多个音频片段各自的基频变化量，得到所述第一特征信息；对于每一个音频片段，根据所述音频片段的基频，确定所述音频片段的轻辅音特征值，所述轻辅音特征值用于表征所述音频片段属于轻音片段或辅音片段；根据所述多个音频片段各自的轻辅音特征值，得到所述第二特征信息。
[0104]
在一些实施例中，所述获取模块710，用于获取所述第一音频的声学特征；将所述第一音频的声学特征输入至音频内容获取模型，由所述音频内容获取模型输出所述第一音频的音频内容信息。
[0105]
综上所述，本技术实施例提供的技术方案，通过获取第一音频的音频内容信息和音频特征信息，将第一音频的上述信息和目标音色的声纹特征输入至音色转换模型，由该音色转换模型输出声学特征，然后根据上述声学特征生成音色转换后的第二音频；通过使用上述多种音频特征，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。
[0106]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0107]
请参考图8，其示例性示出了本技术一个实施例提供的计算机设备的结构框图。
[0108]
通常，计算机设备800包括有：处理器801和存储器802。
[0109]
处理器801可以包括一个或多个处理核心，比如4核心处理器、14核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai处理器，该ai处理器用于处理有关机器学习的计算操作。
[0110]
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质存储有计算机程序，该计算机程序由处理器801加载并执行以实现上述音色转换模型的训练方法或上述音色转换方法。
[0111]
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0112]
在一些实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述音色转换模型的训练方法或音色转换方法。
[0113]
可选地，该计算机可读存储介质可以包括：rom(read-only memory，只读存储器)、ram(random-access memory，随机存储器)、ssd(solid state drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括reram(resistance random access memory，电阻式随机存取记忆体)和dram(dynamic random access memory，动态随机存取存储器)。
[0114]
在一些实施例中，还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现上述音色转换模型的训练方法或音色转换方法。
[0115]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本技术实施例对此不作限定。
[0116]
以上仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种音色转换模型的训练方法，其特征在于，所述方法包括：获取样本音频的音频内容信息、音频特征信息和声纹特征，所述音频内容信息用于表征所述样本音频的音频内容，所述音频特征信息用于表征所述样本音频的发音特点；将所述音频内容信息、所述音频特征信息和所述声纹特征，输入至音色转换模型，由所述音色转换模型输出预测的声学特征；根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。2.根据权利要求1所述的方法，其特征在于，所述获取样本音频的音频内容信息，包括：获取所述样本音频的声学特征；对所述样本音频的声学特征进行数据增强处理，得到增强后的声学特征；将所述增强后的声学特征输入至音频内容获取模型，由所述音频内容获取模型输出所述样本音频的音频内容信息。3.根据权利要求2所述的方法，其特征在于，所述数据增强处理包括以下至少之一：基频变化、共振峰变化、能量变化。4.根据权利要求1所述的方法，其特征在于，所述音频特征信息包括：第一特征信息，用于表征所述样本音频的基频的变化情况；第二特征信息，用于表征所述样本音频的轻辅音的变化情况。5.根据权利要求4所述的方法，其特征在于，所述获取样本音频的音频特征信息，包括：将所述样本音频划分为多个音频片段；获取所述多个音频片段各自的基频；对于每一个音频片段，根据所述音频片段的基频，以及所述多个音频片段各自的基频的平均值，确定所述音频片段的基频变化量；根据所述多个音频片段各自的基频变化量，得到所述第一特征信息；对于每一个音频片段，根据所述音频片段的基频，确定所述音频片段的轻辅音特征值，所述轻辅音特征值用于表征所述音频片段属于轻音片段或辅音片段；根据所述多个音频片段各自的轻辅音特征值，得到所述第二特征信息。6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型，包括：根据所述预测的声学特征和所述样本音频的声学特征之间的差异，计算损失函数值；根据所述损失函数值对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。7.一种音色转换方法，其特征在于，所述方法包括：获取第一音频的音频内容信息和音频特征信息，所述音频内容信息用于表征所述第一音频的音频内容，所述音频特征信息用于表征所述第一音频的发音特点；将所述音频内容信息、所述音频特征信息以及目标音色的声纹特征，输入至音色转换模型，由所述音色转换模型输出声学特征；根据所述声学特征生成第二音频，所述第二音频是保留所述第一音频的音频内容和发音特点，并将所述第一音频的音色转换为所述目标音色之后的音频。
8.根据权利要求7所述的方法，其特征在于，所述音频特征信息包括：第一特征信息，用于表征所述第一音频的基频的变化情况；第二特征信息，用于表征所述第一音频的轻辅音的变化情况。9.根据权利要求8所述的方法，其特征在于，所述获取第一音频的音频特征信息，包括：将所述第一音频划分为多个音频片段；获取所述多个音频片段各自的基频；对于每一个音频片段，根据所述音频片段的基频，以及所述多个音频片段各自的基频的平均值，确定所述音频片段的基频变化量；根据所述多个音频片段各自的基频变化量，得到所述第一特征信息；对于每一个音频片段，根据所述音频片段的基频，确定所述音频片段的轻辅音特征值，所述轻辅音特征值用于表征所述音频片段属于轻音片段或辅音片段；根据所述多个音频片段各自的轻辅音特征值，得到所述第二特征信息。10.根据权利要求7至9任一项所述的方法，其特征在于，所述获取第一音频的音频内容信息，包括：获取所述第一音频的声学特征；将所述第一音频的声学特征输入至音频内容获取模型，由所述音频内容获取模型输出所述第一音频的音频内容信息。11.一种音色转换模型的训练装置，其特征在于，所述装置包括：获取模块，用于获取样本音频的音频内容信息、音频特征信息和声纹特征，所述音频内容信息用于表征所述样本音频的音频内容，所述音频特征信息用于表征所述样本音频的发音特点；处理模块，用于将所述音频内容信息、所述音频特征信息和所述声纹特征，输入至音色转换模型，由所述音色转换模型输出预测的声学特征；调整模块，用于根据所述预测的声学特征和所述样本音频的声学特征之间的差异，对所述音色转换模型的参数进行调整，得到训练后的音色转换模型。12.一种音色转换装置，其特征在于，所述装置包括：获取模块，用于获取第一音频的音频内容信息和音频特征信息，所述音频内容信息用于表征所述第一音频的音频内容，所述音频特征信息用于表征所述第一音频的发音特点；处理模块，用于将所述音频内容信息、所述音频特征信息以及目标音色的声纹特征，输入至音色转换模型，由所述音色转换模型输出声学特征；生成模块，用于根据所述声学特征生成第二音频，所述第二音频是保留所述第一音频的音频内容和发音特点，并将所述第一音频的音色转换为所述目标音色之后的音频。13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的音色转换模型的训练方法，或者实现如权利要求7至10任一项所述的音色转换方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的音色转换模型的训练方法，或者实现如权利要求7至10任一项所述的音色转换方法。

技术总结
本申请公开了一种音色转换模型的训练方法、音色转换方法、装置及设备，涉及音频处理技术领域。该方法包括：获取样本音频的音频内容信息、音频特征信息和声纹特征；将上述音频内容信息、音频特征信息和声纹特征，输入至音色转换模型，由音色转换模型输出预测的声学特征；根据预测的声学特征和样本音频的声学特征之间的差异，对音色转换模型的参数进行调整，得到训练后的音色转换模型。通过使用上述多种音频特征，对音色转换模型进行训练，使得采用该模型转换得到的音频与目标音色相似度更高，且发音质量更好。而且，上述针对音色转换模型的训练过程，是一个自监督的训练过程，无需依赖人工标注等其他处理流程，对于训练音色转换模型非常方便。模型非常方便。模型非常方便。


技术研发人员：黄杰雄 关迪聆 轩晓光 吴东海 陈传艺
受保护的技术使用者：广州世音联软件科技有限公司
技术研发日：2023.06.15
技术公布日：2023/8/13