歌声检测模型的训练方法、歌声检测方法、设备及介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种歌声检测模型的训练方法、歌声检测方法、设备及介质。


背景技术：

2.在歌声检测过程中常常需要对一段音乐中出现歌词的部分进行检测，常用的歌声检测方法大多数需要依赖于神经网络模型，而当前的神经网络模型由于缺乏大量的高质量训练样本进行训练，因而对声音的检测准确性不够高，因此，如何改善歌声检测模型检测歌声的准确性，成为了亟待解决的技术问题。


技术实现要素：

3.本技术实施例的主要目的在于提出一种歌声检测模型的训练方法、歌声检测方法、设备及介质，旨在改善歌声检测模型检测歌声的准确性。
4.为实现上述目的，本技术实施例的第一方面提出了一种歌声检测模型的训练方法，所述训练方法包括：
5.获取演唱对象的原始演唱数据，其中，所述原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；
6.基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱；
7.对所述样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，所述参考音频为不包含歌词的音频数据；
8.对所述样本音频数据进行分割处理，得到多个样本音频片段；
9.将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，所述样本歌声时间序列包含所述样本音频数据中存在歌词的时间段；
10.基于所述样本歌声时间序列对所述神经网络模型的损失函数进行优化，以训练所述神经网络模型，得到歌声检测模型。
11.在一些实施例，所述基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱，包括：
12.基于所述声源分离模型对所述原始演唱数据进行分割处理，得到多个原始音频片段；
13.基于所述声源分离模型对所述原始音频片段进行声源分类，得到每一所述原始音频片段的声源类型；
14.根据所述声源类型，从所述原始演唱数据中分离出所述样本人声声谱。
15.在一些实施例，所述对所述样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，包括：
16.对所述样本人声声谱进行信号提取，得到样本音轨数据，并对所述参考音频进行信号提取，得到参考音轨数据；
17.对所述样本音轨数据和所述参考音轨数据进行信号相加，得到所述样本音频数据。
18.在一些实施例，所述将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，包括：
19.将所述样本音频片段输入至所述神经网络模型中，所述神经网络模型包括频谱变换层、卷积层、lstm层、展平层以及全连接层；
20.通过所述频谱变换层对所述样本音频片段进行频谱变换，得到样本梅尔倒谱特征；
21.通过所述卷积层对所述样本梅尔倒谱特征进行特征提取，得到样本音频特征；
22.通过所述lstm层对每一所述样本音频特征进行上下文信息提取，得到中间音频特征；
23.通过所述展平层对所述中间音频特征进行平滑处理，得到变维音频特征；
24.通过所述全连接层对所述变维音频特征进行预测处理，得到每一所述样本音频片段存在歌词的概率值；
25.根据所述概率值对所述样本音频片段进行筛选，得到样本歌声时间段，并根据所述样本歌声时间段，得到所述样本歌声时间序列。
26.在一些实施例，在所述基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱之前，所述方法还包括预先训练所述声源分离模型，具体包括：
27.获取训练音频文件，其中，每一所述训练音频文件包括第一音轨文件和第二音轨文件，所述第一音轨文件包括含有歌词的第一音轨数据和不含有歌词的第二音轨数据，所述第二音轨文件仅包括所述第一音轨数据；
28.将所述第一音轨文件和所述第二音轨文件输入至所述声源分离模型中；
29.基于所述声源分离模型对所述第一音轨文件进行分割处理，得到多个音轨片段；
30.基于所述声源分离模型对所述音轨片段进行音源掩码，得到多个掩码频谱图，并对多个所述掩码频谱图进行拼接处理，得到预测频谱图；
31.基于所述声源分离模型将所述第二音轨文件映射到预设的向量空间，得到目标频谱图；
32.基于所述预测频谱图和所述目标频谱图，计算模型损失值，并根据所述模型损失值对所述声源分离模型进行参数优化，以更新所述声源分离模型。
33.为实现上述目的，本技术实施例的第二方面提出了一种歌声检测方法，所述方法包括：
34.获取目标演唱数据；
35.将所述目标演唱数据输入至歌声检测模型进行歌声检测，得到所述目标音频数据的目标歌声时间序列，其中，所述目标歌声时间序列包含所述目标演唱数据中存在歌词的时间段，所述歌声检测模型根据如第一方面所述的训练方法训练得到。
36.为实现上述目的，本技术实施例的第三方面提出了一种歌声检测模型的训练装
置，所述训练装置包括：
37.原始演唱获取模块，用于获取原始演唱数据，其中，所述原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；
38.声源分离模块，用于基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱；
39.音频融合模块，用于对所述样本人声声谱和预设的参考伴奏音频进行音频融合，得到样本音频数据，所述参考音频为不包含歌词的音频数据；
40.音频分割模块，用于对所述样本音频数据进行分割处理，得到多个样本音频片段；
41.样本歌声检测模块，用于将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，所述样本歌声时间序列包含所述样本音频数据中存在歌词的时间段；
42.模型训练模块，用于基于所述样本歌声时间序列对所述神经网络模型的损失函数进行优化，以训练所述神经网络模型，得到歌声检测模型。
43.为实现上述目的，本技术实施例的第四方面提出了一种歌声检测装置，所述装置包括：
44.目标演唱获取模块，用于获取目标演唱数据；
45.目标歌声检测模块，用于将所述目标演唱数据输入至歌声检测模型进行歌声检测，得到所述目标音频数据的目标歌声时间序列，其中，所述目标歌声时间序列包含所述目标演唱数据中存在歌词的时间段，所述歌声检测模型根据如第三方面所述的训练装置训练得到。
46.为实现上述目的，本技术实施例的第五方面提出了一种电子设备，所述电子设备包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法或者第二方面所述的方法。
47.为实现上述目的，本技术实施例的第六方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法或者第二方面所述的方法。
48.本技术提出的歌声检测模型的训练方法、歌声检测方法、歌声检测模型的训练装置、歌声检测装置、电子设备及计算机可读存储介质，其通过获取演唱对象的原始演唱数据；基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱，能够以样本人声声谱作为歌声检测的基础，能够有效地训练模型对歌声检测的性能，提高模型对样本人声声谱含有歌词部分的学习能力。进一步地，对样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据，能够较好地增加更多的训练样本(即样本音频片段)，以便训练出鲁棒性更好的歌声检测模型。进一步地，对样本音频数据进行分割处理，得到多个样本音频片段，并将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段，能够较为方便地利用神经网络模型来对样本音频片段是否存在歌词进行预测。最后，基于样本歌声时间序列对神经网络模型的损失函数进行优化，训练神经网络模型，得到歌声检测模型，能够较好地改善歌声检测模型检测歌声的准确性。
附图说明
49.图1是本技术实施例提供的歌声检测模型的训练方法的流程图；
50.图2是本技术实施例提供的歌声检测模型的训练方法的另一流程图；
51.图3是图1中的步骤s102的流程图；
52.图4是图1中的步骤s103的流程图；
53.图5是图1中的步骤s105的流程图；
54.图6是本技术实施例提供的歌声检测方法的流程图；
55.图7是本技术实施例提供的歌声检测模型的训练装置的结构示意图；
56.图8是本技术实施例提供的歌声检测装置的结构示意图；
57.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
59.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
60.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
61.首先，对本技术中涉及的若干名词进行解析：
62.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
63.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
64.信息抽取(information extraction，ner)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数
据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
65.在歌声检测过程中常常需要对一段音乐中出现歌词的部分进行检测，常用的歌声检测方法大多数需要依赖于神经网络模型，而当前的神经网络模型由于缺乏大量的高质量训练样本进行训练，因而对声音的检测准确性不够高，因此，如何改善歌声检测模型检测歌声的准确性，成为了亟待解决的技术问题。
66.基于此，本技术实施例提供了一种歌声检测模型的训练方法、歌声检测方法、歌声检测模型的训练装置、歌声检测装置、电子设备及计算机可读存储介质，旨在改善歌声检测模型检测歌声的准确性。
67.本技术实施例提供的歌声检测模型的训练方法、歌声检测方法、歌声检测模型的训练装置、歌声检测装置、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的歌声检测方法。
68.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
69.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
70.本技术实施例提供的歌声检测模型的训练方法或者歌声检测方法，涉及人工智能技术领域。本技术实施例提供的歌声检测模型的训练方法或者歌声检测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现歌声检测模型的训练方法或者歌声检测方法的应用等，但并不局限于以上形式。
71.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
72.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用
户行为数据、用户语音数据、用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
73.图1是本技术实施例提供的歌声检测模型的训练方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s106。
74.步骤s101，获取演唱对象的原始演唱数据，其中，原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；
75.步骤s102，基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱；
76.步骤s103，对样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据；
77.步骤s104，对样本音频数据进行分割处理，得到多个样本音频片段；
78.步骤s105，将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段；
79.步骤s106，基于样本歌声时间序列对神经网络模型的损失函数进行优化，以训练神经网络模型，得到歌声检测模型。
80.本技术实施例所示意的步骤s101至步骤s106，通过获取演唱对象的原始演唱数据；基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱，能够以样本人声声谱作为歌声检测的基础，能够有效地训练模型对歌声检测的性能，提高模型对样本人声声谱含有歌词部分的学习能力。进一步地，对样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据，能够较好地增加更多的训练样本(即样本音频片段)，以便训练出鲁棒性更好的歌声检测模型。进一步地，对样本音频数据进行分割处理，得到多个样本音频片段，并将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段，能够较为方便地利用神经网络模型来对样本音频片段是否存在歌词进行预测。最后，基于样本歌声时间序列对神经网络模型的损失函数进行优化，训练神经网络模型，得到歌声检测模型，能够较好地改善歌声检测模型检测歌声的准确性。
81.在一些实施例的步骤s101中，可以通过编写网络爬虫,设置好数据源之后进行有目标性地爬取数据，得到演唱对象的原始演唱数据，其中，数据源可以是各种类型的网络平台、社交媒体也可以是某些特定的音频数据库等，原始演唱数据可以是演唱对象的音乐素材等。也可以通过其他方式获取原始演唱数据，不限于此。原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱。
82.请参阅图2，在一些实施例的步骤s102之前，歌声检测模型的训练方法还包括预先训练声源分离模型，具体可以包括但不限于包括步骤s201至步骤s206：
83.步骤s201，获取训练音频文件，其中，每一训练音频文件包括第一音轨文件和第二音轨文件，第一音轨文件包括含有歌词的第一音轨数据和不含有歌词的第二音轨数据，第二音轨文件仅包括第一音轨数据；
84.步骤s202，将第一音轨文件和第二音轨文件输入至声源分离模型中；
85.步骤s203，基于声源分离模型对第一音轨文件进行分割处理，得到多个音轨片段；
86.步骤s204，基于声源分离模型对音轨片段进行音源掩码，得到多个掩码频谱图，并对多个掩码频谱图进行拼接处理，得到预测频谱图；
87.步骤s205，基于声源分离模型将第二音轨文件映射到预设的向量空间，得到目标频谱图；
88.步骤s206，基于预测频谱图和目标频谱图，计算模型损失值，并根据模型损失值对声源分离模型进行参数优化，以更新声源分离模型。
89.在一些实施例的步骤s201中，可以通过编写网络爬虫,设置好数据源之后进行有目标性地爬取数据，得到训练音频文件，也可以通过数据库提取或者网络平台下载等其他方式获取训练音频文件，不限于此。例如，训练音频文件可以通过musdb，bean，catalog等音频处理工具获取到，其中，每一个训练音频文件包括第一音轨文件和第二音轨文件，第一音轨文件包括含有歌词的第一音轨数据和不含有歌词的第二音轨数据，第二音轨文件仅包括第一音轨数据
90.以来源于musdb音频处理工具的训练音频文件为例，某个训练音频文件包括5个子文件，即混合音频文件、鼓声音轨文件、贝斯音轨文件、人声音轨文件以及其他音频的音轨文件，则将混合音频文件作为第一音轨文件，该第一音轨文件(即混合音频文件)包含了鼓声、贝斯声、人声等多种声源数据，将人声音轨文件作为第二音轨文件，该第二音轨文件仅包含人声，即演唱对象演唱歌词的数据。
91.在一些实施例的步骤s202中，利用计算机程序或者脚本程序将第一音轨文件和第二音轨文件输入至声源分离模型中，其中，声源分离模型包括人声分离器(spleeter)、分割层以及u-net网络。
92.在一些实施例的步骤s203中，通过分割层将第一音轨文件分割成多个固定时间长度的音轨片段，以该固定时间长度的音轨片段作为训练单元，其中，该固定时间长度可以根据实际需求设置，不做限制。例如，通过分割层将第一音轨文件分割成11.88s的音轨片段。
93.在一些实施例的步骤s204中，通过u-net网络对每个音轨片段进行音源掩码，将每一音轨片段上出现歌词的部分(即人声部分)标记为第一掩码，将音轨片段上的未出现歌词的部分(即非人声部分)标记为第二掩码，并对音轨片段进行音源掩码，实现对音轨片段上的非人声部分的过滤，得到多个掩码频谱图，并根据时间先后顺序对多个掩码频谱图进行拼接处理，得到预测频谱图。
94.在一些实施例的步骤s205中，通过u-net网络将第二音轨文件映射到预设的向量空间，实现第二音轨文件从频谱空间到向量空间的转换，得到目标频谱图，其中，目标频谱图和预测频谱图处于相同的向量维度。
95.在一些实施例的步骤s206中，基于预测频谱图和目标频谱图计算模型损失值时，可以计算目标频谱图和预测频谱图之间的范数，将范数作为模型损失值，从而根据模型损失值对声源分离模型进行参数优化，更新声源分离模型，使得第一音轨文件的预测频谱图
(即经过掩码的第一音轨文件)与第二音轨文件的目标频谱图(即第二音轨文件)尽可能的接近，将使得经过掩码的第一音轨文件和第二音轨文件最接近时的声源分离模型作为最终的声源分离模型。
96.通过上述步骤s201至步骤s206能够较为方便地训练声源分离模型，使得训练得到的声源分离模型具备更好地声源分离性能，能够更为准确地将混合音频中的人声部分分离出来，提高了模型的声源分离准确性。
97.请参阅图3，在一些实施例中，声源分离模型包括人声分离器、分割层以及u-net网络，步骤s102可以包括但不限于包括步骤s301至步骤s303：
98.步骤s301，基于声源分离模型对原始演唱数据进行分割处理，得到多个原始音频片段；
99.步骤s302，基于声源分离模型对原始音频片段进行声源分类，得到每一原始音频片段的声源类型；
100.步骤s303，根据声源类型，从原始演唱数据中分离出样本人声声谱。
101.在一些实施例的步骤s301中，通过分割层对原始演唱数据进行分割处理，得到多个固定时间长度的原始音频片段，其中，该固定时间长度可以根据实际需求设置，不做限制。例如，通过分割层将原始演唱数据分割成10s的原始音频片段。
102.在一些实施例的步骤s302中，通过人声分离器和u-net网络对原始音频片段进行声源识别，确定每一原始音频片段包括人声部分和各种乐器声的部分，从而得到每一原始音频片段的声源类型，若识别到原始音频片段为人声音频，则认为该原始音频片段是人声演唱类型，若识别到原始音频片段为各种乐器音频，则认为该原始音频片段是乐器伴奏类型。
103.在一些实施例的步骤s303中，根据声源类型的不同，将属于人声演唱类型的原始音频片段作为样本人声声谱。
104.通过上述步骤s301至步骤s303能够较为方便地将原始音频数据中含有歌词的人声演唱部分分离出来，作为样本人声声谱，以样本人声声谱作为歌声检测的基础，能够有效地训练模型对歌声检测的性能，提高模型对样本人声声谱含有歌词部分的学习能力，使得模型能够更好地对歌声中的歌词进行检测，提高模型的歌声检测准确性。
105.请参阅图4，在一些实施例中，步骤s103可以包括但不限于包括步骤s401至步骤s402：
106.步骤s401，对样本人声声谱进行信号提取，得到样本音轨数据，并对参考音频进行信号提取，得到参考音轨数据；
107.步骤s402，对样本音轨数据和参考音轨数据进行信号相加，得到样本音频数据。
108.在一些实施例的步骤s401中，可以直接对样本人声声谱进行信号提取，获取样本人声声谱中的音频信号，将该音频信号作为样本音轨数据；同样地，直接对参考音频进行信号提取，获取参考音频中的参考音频信号，将该参考音频信号作为参考音轨数据。需要说明的是，参考音频为不包含歌词的音频数据，例如，参考音频可以是纯音乐，即参考音频可以是由自然乐器演奏形成，和/或，电声乐器演奏形成，其中，自然乐器包括钢琴、小提琴、吉他等等，电声乐器演奏的参考音频可以由重金属音响形成或者其他方式形成，不限于此。
109.在一些实施例的步骤s402中，对样本音轨数据和参考音轨数据进行信号相加，该
信号相加过程可以是直接将样本音轨数据和参考音轨数据这两种不同音源的音轨直接进行相加，得到多个样本音频数据。
110.通过上述步骤s401至步骤s402能够较为方便地实现样本人声声谱和参考音频的音频融合，将从原始音频数据中分离出来的较为干净的人声音频添加上预设的音频信号(例如，包含纯音乐等的参考音频)，能够较好地增加更多的训练样本(即样本音频片段)，以便训练出鲁棒性更好的歌声检测模型。
111.在一些实施例的步骤s104中，根据预设的音频片段长度对样本音频数据进行分割处理，得到多个样本音频片段，其中，音频片段可以根据实际业务需求确定，不做限制。例如，为了提高检测效率，预设的音频片段长度可以是600ms，即可以将样本音频数据分段为多个600ms长度的样本音频片段。
112.请参阅图5，在一些实施例中，步骤s105可以包括但不限于包括步骤s501至步骤s507：
113.步骤s501，将样本音频片段输入至神经网络模型中，神经网络模型包括频谱变换层、卷积层、lstm层、展平层以及全连接层；
114.步骤s502，通过频谱变换层对样本音频片段进行频谱变换，得到样本梅尔倒谱特征；
115.步骤s503，通过卷积层对样本梅尔倒谱特征进行特征提取，得到样本音频特征；
116.步骤s504，通过lstm层对每一样本音频特征进行上下文信息提取，得到中间音频特征；
117.步骤s505，通过展平层对中间音频特征进行平滑处理，得到变维音频特征；
118.步骤s506，通过全连接层对变维音频特征进行预测处理，得到每一样本音频片段存在歌词的概率值；
119.步骤s507，根据概率值对样本音频片段进行筛选，得到样本歌声时间段，并根据样本歌声时间段，得到样本歌声时间序列。
120.在一些实施例的步骤s501中，利用计算机程序或者脚本程序将样本音频片段输入至神经网络模型中，神经网络模型包括频谱变换层、卷积层、lstm层、展平层以及全连接层。
121.在一些实施例的步骤s502中，首先通过频谱变换层对样本音频片段进行短时傅里叶变换，实现样本音频片段从时域空间到频域空间的转换，得到样本频谱图，再通过频谱变换层的梅尔倒谱滤波器对样本频谱图进行滤波处理，即先对样本频谱特征进行对数运算，得到样本对数谱，再对样本对数谱进行傅里叶反变换，得到样本梅尔倒谱，最后对样本梅尔倒谱进行特征提取，得到样本梅尔倒谱特征。
122.在一些实施例的步骤s503中，通过卷积层对样本梅尔倒谱特征进行特征提取，捕捉样本梅尔倒谱特征中的歌词特征信息，得到样本音频特征，其中，该卷积层可以根据卷积神经网络模型构建而成，卷积层的卷积核可以是3
×
3。
123.在一些实施例的步骤s504中，通过lstm层对每一样本音频特征进行上下文信息提取，获取当前样本音频特征对应的样本音频片段的相邻样本音频片段的频谱特征信息，根据获取到的相邻样本音频片段的频谱特征信息，对当前样本音频特征的特征内容进行信息增补，从而得到中间音频特征。
124.在一些实施例的步骤s505中，通过展平层对中间音频特征进行平滑处理，将多维
的中间音频特征转换为一维特征，得到变维音频特征。
125.在一些实施例的步骤s506中，通过全连接层的预测函数对变维音频特征进行预测处理，其中，该预测函数可以是softmax函数或者sigiomd函数等等，以softmax函数为例，采用二分类的方式来预测变维音频特征是否是存在歌词的片段，将变维音频特征是否是存在歌词以概率值的形式表示，得到每一样本音频片段存在歌词的概率值。
126.在一些实施例的步骤s507中，根据概率值对样本音频片段进行筛选，选取概率值大于预设阈值的样本音频片段作为样本歌声时间段，并将所有的样本歌声时间段纳入同一个集合，得到样本歌声时间序列。
127.通过上述步骤s501至步骤s507能够较为方便地利用神经网络模型来对样本音频片段是否存在歌词进行预测，并将存在歌词的样本音频片段聚合成样本歌声时间序列，实现了神经网络模型对音频中存在歌词的时间的准确检测。
128.在一些实施例的步骤s106中，损失函数可以使用交叉熵损失函数，通过交叉熵损失函数计算样本歌声时间序列与原始音频数据中真实存在歌词的时间序列之间的损失值，根据损失值对神经网络模型的损失函数进行优化，训练神经网络模型，使得样本歌声时间序列与原始音频数据中真实存在歌词的时间序列尽可能地接近，得到歌声检测模型。
129.本技术实施例的歌声检测模型的训练方法，其通过获取演唱对象的原始演唱数据；基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱，能够以样本人声声谱作为歌声检测的基础，能够有效地训练模型对歌声检测的性能，提高模型对样本人声声谱含有歌词部分的学习能力。进一步地，对样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据，能够较好地增加更多的训练样本(即样本音频片段)，以便训练出鲁棒性更好的歌声检测模型。进一步地，对样本音频数据进行分割处理，得到多个样本音频片段，并将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段，能够较为方便地利用神经网络模型来对样本音频片段是否存在歌词进行预测。最后，基于样本歌声时间序列对神经网络模型的损失函数进行优化，训练神经网络模型，得到歌声检测模型，能够较好地改善歌声检测模型检测歌声的准确性。
130.图6是本技术实施例提供的歌声检测方法的一个可选的流程图，图6中的方法可以包括但不限于包括步骤s601至步骤s602。
131.步骤s601，获取目标演唱数据；
132.步骤s602，将目标演唱数据输入至歌声检测模型进行歌声检测，得到目标音频数据的目标歌声时间序列，其中，目标歌声时间序列包含目标演唱数据中存在歌词的时间段，歌声检测模型根据上述的训练方法训练得到。
133.在一些实施例的步骤s601中，可以通过编写网络爬虫,设置好数据源之后进行有目标性地爬取数据，得到目标演唱数据，也可以通过数据库提取或者网络平台下载等其他方式获取目标演唱数据，不限于此。
134.在一些实施例的步骤s602中，将目标演唱数据输入至歌声检测模型中，通过歌声检测模型将目标演唱数据分割为多个目标演唱片段，并将每一目标演唱片段转换为对应的目标梅尔倒谱特征，并提取目标梅尔倒谱特征中的歌词内容信息，将经过特征提取的目标
梅尔倒谱特征进行上下文本信息提取和平滑处理，得到一维音频特征，最后利用全连接层来预测出一维音频特征对应的目标演唱片段是否有歌词，即若目标演唱片段的预测值超过阈值，则判定为有歌词，即存在人声演唱，若目标演唱片段的预测值小于阈值，则判定为无歌词，即不存在人声演唱，最后将目标演唱片段的判别结果按照时间先后顺序进行拼接，得到目标歌声时间序列，从而根据目标歌声时间序列确定出整个目标演唱数据中哪些时间段是存在歌词(即存在人声演唱)的。
135.本技术实施例的歌声检测方法，其通过歌声检测模型来对目标演唱数据，能够较为方便地识别目标演唱数据存在歌词(即存在人声演唱)的时间段，提高了检测准确性和检测效率。
136.请参阅图7，本技术实施例还提供一种歌声检测模型的训练装置，可以实现上述歌声检测模型的训练方法，该训练装置包括：
137.原始演唱获取模块701，用于获取原始演唱数据，其中，原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；
138.声源分离模块702，用于基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱；
139.音频融合模块703，用于对样本人声声谱和预设的参考伴奏音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据；
140.音频分割模块704，用于对样本音频数据进行分割处理，得到多个样本音频片段；
141.样本歌声检测模块705，用于将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段；
142.模型训练模块706，用于基于样本歌声时间序列对神经网络模型的损失函数进行优化，以训练神经网络模型，得到歌声检测模型。
143.该歌声检测模型的训练装置的具体实施方式与上述歌声检测模型的训练方法的具体实施例基本相同，在此不再赘述。
144.请参阅图8，本技术实施例还提供一种歌声检测装置，可以实现上述歌声检测方法，该装置包括：
145.目标演唱获取模块801，用于获取目标演唱数据；
146.目标歌声检测模块802，用于将目标演唱数据输入至歌声检测模型进行歌声检测，得到目标音频数据的目标歌声时间序列，其中，目标歌声时间序列包含目标演唱数据中存在歌词的时间段，歌声检测模型根据上述的训练装置训练得到。
147.该歌声检测装置的具体实施方式与上述歌声检测方法的具体实施例基本相同，在此不再赘述。
148.本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述歌声检测模型的训练方法或者歌声检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
149.请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
150.处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理
器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
151.存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的歌声检测模型的训练方法或者歌声检测方法；
152.输入/输出接口903，用于实现信息输入及输出；
153.通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
154.总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
155.其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
156.本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述歌声检测模型的训练方法或者歌声检测方法。
157.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
158.本技术实施例提供的歌声检测模型的训练方法、歌声检测方法、歌声检测模型的训练装置、歌声检测装置、电子设备及计算机可读存储介质，其通过获取演唱对象的原始演唱数据；基于预设的声源分离模型对原始演唱数据进行声源分离，去除配乐音频，得到样本人声声谱，能够以样本人声声谱作为歌声检测的基础，能够有效地训练模型对歌声检测的性能，提高模型对样本人声声谱含有歌词部分的学习能力。进一步地，对样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据，能够较好地增加更多的训练样本(即样本音频片段)，以便训练出鲁棒性更好的歌声检测模型。进一步地，对样本音频数据进行分割处理，得到多个样本音频片段，并将样本音频片段输入至预设的神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段，能够较为方便地利用神经网络模型来对样本音频片段是否存在歌词进行预测。最后，基于样本歌声时间序列对神经网络模型的损失函数进行优化，训练神经网络模型，得到歌声检测模型，能够较好地改善歌声检测模型检测歌声的准确性。
159.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
160.本领域技术人员可以理解的是，图1-6中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
161.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
162.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
163.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
164.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
165.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
166.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
167.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
168.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步
骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
169.以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种歌声检测模型的训练方法，其特征在于，所述训练方法包括：获取演唱对象的原始演唱数据，其中，所述原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱；对所述样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，所述参考音频为不包含歌词的音频数据；对所述样本音频数据进行分割处理，得到多个样本音频片段；将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，所述样本歌声时间序列包含所述样本音频数据中存在歌词的时间段；基于所述样本歌声时间序列对所述神经网络模型的损失函数进行优化，以训练所述神经网络模型，得到歌声检测模型。2.根据权利要求1所述的训练方法，其特征在于，所述基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱，包括：基于所述声源分离模型对所述原始演唱数据进行分割处理，得到多个原始音频片段；基于所述声源分离模型对所述原始音频片段进行声源分类，得到每一所述原始音频片段的声源类型；根据所述声源类型，从所述原始演唱数据中分离出所述样本人声声谱。3.根据权利要求1所述的训练方法，其特征在于，所述对所述样本人声声谱和预设的参考音频进行音频融合，得到样本音频数据，包括：对所述样本人声声谱进行信号提取，得到样本音轨数据，并对所述参考音频进行信号提取，得到参考音轨数据；对所述样本音轨数据和所述参考音轨数据进行信号相加，得到所述样本音频数据。4.根据权利要求1所述的训练方法，其特征在于，所述将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，包括：将所述样本音频片段输入至所述神经网络模型中，所述神经网络模型包括频谱变换层、卷积层、lstm层、展平层以及全连接层；通过所述频谱变换层对所述样本音频片段进行频谱变换，得到样本梅尔倒谱特征；通过所述卷积层对所述样本梅尔倒谱特征进行特征提取，得到样本音频特征；通过所述lstm层对每一所述样本音频特征进行上下文信息提取，得到中间音频特征；通过所述展平层对所述中间音频特征进行平滑处理，得到变维音频特征；通过所述全连接层对所述变维音频特征进行预测处理，得到每一所述样本音频片段存在歌词的概率值；根据所述概率值对所述样本音频片段进行筛选，得到样本歌声时间段，并根据所述样本歌声时间段，得到所述样本歌声时间序列。5.根据权利要求1至4任一项所述的训练方法，其特征在于，在所述基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱之前，所述方法还包括预先训练所述声源分离模型，具体包括：
获取训练音频文件，其中，每一所述训练音频文件包括第一音轨文件和第二音轨文件，所述第一音轨文件包括含有歌词的第一音轨数据和不含有歌词的第二音轨数据，所述第二音轨文件仅包括所述第一音轨数据；将所述第一音轨文件和所述第二音轨文件输入至所述声源分离模型中；基于所述声源分离模型对所述第一音轨文件进行分割处理，得到多个音轨片段；基于所述声源分离模型对所述音轨片段进行音源掩码，得到多个掩码频谱图，并对多个所述掩码频谱图进行拼接处理，得到预测频谱图；基于所述声源分离模型将所述第二音轨文件映射到预设的向量空间，得到目标频谱图；基于所述预测频谱图和所述目标频谱图，计算模型损失值，并根据所述模型损失值对所述声源分离模型进行参数优化，以更新所述声源分离模型。6.一种歌声检测方法，其特征在于，所述方法包括：获取目标演唱数据；将所述目标演唱数据输入至歌声检测模型进行歌声检测，得到所述目标音频数据的目标歌声时间序列，其中，所述目标歌声时间序列包含所述目标演唱数据中存在歌词的时间段，所述歌声检测模型根据如权利要求1至5任一项所述的训练方法训练得到。7.一种歌声检测模型的训练装置，其特征在于，所述训练装置包括：原始演唱获取模块，用于获取原始演唱数据，其中，所述原始演唱数据包括不含歌词的配乐音频和包含歌词的样本人声声谱；声源分离模块，用于基于预设的声源分离模型对所述原始演唱数据进行声源分离，去除所述配乐音频，得到所述样本人声声谱；音频融合模块，用于对所述样本人声声谱和预设的参考伴奏音频进行音频融合，得到样本音频数据，所述参考音频为不包含歌词的音频数据；音频分割模块，用于对所述样本音频数据进行分割处理，得到多个样本音频片段；样本歌声检测模块，用于将所述样本音频片段输入至预设的神经网络模型进行歌声检测，得到所述样本音频数据的样本歌声时间序列，所述样本歌声时间序列包含所述样本音频数据中存在歌词的时间段；模型训练模块，用于基于所述样本歌声时间序列对所述神经网络模型的损失函数进行优化，以训练所述神经网络模型，得到歌声检测模型。8.一种歌声检测装置，其特征在于，所述装置包括：目标演唱获取模块，用于获取目标演唱数据；目标歌声检测模块，用于将所述目标演唱数据输入至歌声检测模型进行歌声检测，得到所述目标音频数据的目标歌声时间序列，其中，所述目标歌声时间序列包含所述目标演唱数据中存在歌词的时间段，所述歌声检测模型根据如权利要求7所述的训练装置训练得到。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现：如权利要求1至5任一项所述的歌声检测模型的训练方法；或者，
如权利要求6所述的歌声检测方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：如权利要求1至5任一项所述的歌声检测模型的训练方法；或者，如权利要求6所述的歌声检测方法。

技术总结
本申请提供了一种歌声检测模型的训练方法、歌声检测方法、设备及介质，属于人工智能技术领域。该方法包括：获取演唱对象的原始演唱数据；基于声源分离模型对原始演唱数据进行声源分离，得到样本人声声谱；对样本人声声谱和参考音频进行音频融合，得到样本音频数据，参考音频为不包含歌词的音频数据；对样本音频数据进行分割处理，得到样本音频片段；将样本音频片段输入至神经网络模型进行歌声检测，得到样本音频数据的样本歌声时间序列，样本歌声时间序列包含样本音频数据中存在歌词的时间段；基于样本歌声时间序列对神经网络模型的损失函数进行优化，以训练神经网络模型，得到歌声检测模型。本申请能够改善歌声检测模型检测歌声的准确性。声的准确性。声的准确性。


技术研发人员：张旭龙 王健宗 孙一夫
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.19
技术公布日：2023/8/9