音频检测的方法、设备和存储介质与流程

1.本公开涉及音频技术领域，特别涉及一种音频检测的方法、设备和存储介质。


背景技术：

2.目前，越来越多的人通过终端中安装的音乐应用程序进行k歌、录唱，音乐应用程序可以采集用户演唱的音频，进而，可以对其进行分析，以实现修音、打分等处理。
3.然而，在进行修音、打分等处理之前，如果无法准确检测出用户是真声演唱还是假声演唱，则修音、打分等处理的效果可能会较差。因此，目前亟需一种能够检测出音频是假声演唱还是真声演唱的方法。


技术实现要素：

4.本公开提供了一种音频检测的方法、设备和存储介质，能够有效检测出音频是假声演唱还是真声演唱的问题。所述技术方案如下：
5.第一方面，提供了一种音频处理的方法，所述方法包括：
6.对待检测音频进行分帧处理，得到多帧音频信号；
7.对于每帧音频信号，确定所述音频信号在目标频段对应的能量；
8.根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，其中，演唱类型为真声演唱或者假声演唱，n为正整数。
9.在一种可能的实现方式中，所述确定所述音频信号在目标频段对应的能量，包括：
10.确定所述音频信号在所述目标频段的各峰值点对应的能量；
11.计算所述各峰值点对应的能量中除极大值和极小值以外的能量的第一能量均值，作为所音频信号在目标频段对应的能量。
12.在一种可能的实现方式中，所述根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，包括：
13.确定所述音频信号中的基音的频率和多个泛音的频率；
14.计算所述多个泛音的频率和所述基音的频率分别对应的能量的第二能量均值；
15.根据所述音频信号在目标频段对应的能量和所述第二能量均值，计算所述音频信号对应的分贝db值；
16.根据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型。
17.在一种可能的实现方式中，所述据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型，包括：
18.计算所述音频信号之前的n帧音频信号分别对应的db值和所述音频信号对应的db值的第一db值均值；
19.获取所述前一帧音频信号之前的n帧音频信号分别对应的db值和所述音频信号的前一帧音频信号对应的db值的第二db值均值；
20.根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型。
21.在一种可能的实现方式中，所述根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型，包括：
22.将所述第一db值均值减去所述第二db值均值，得到第一差值；
23.如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号为假声演唱。
24.在一种可能的实现方式中，所述方法还包括：
25.在演唱时间和参考阈值的对应关系中，确定所述音频信号的演唱时间对应的第一参考阈值。
26.在一种可能的实现方式中，所述根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型，包括：
27.将所述第一db值均值减去所述第二db值均值，得到第一差值；
28.如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号所在的歌词分段对应的音频片段，计算所述音频片段中起始的预设时长的音频信号对应的db值的第三db值均值；
29.将所述音频信号对应的db值减去所述第三db值均值，得到第二差值；
30.如果所述第二差值小于0，且所述第二差值的绝对值大于第二参考阈值，则确定所述音频信号为假声演唱。
31.在一种可能的实现方式中，所述目标频段为4khz到8khz。
32.在一种可能的实现方式中，所述对待检测音频进行分帧处理之前，所述方法还包括：
33.通过语音活性检测vad，过滤所述待处理音频中的静音音频。
34.第二方面，提供了一种音频处理的装置，所述装置包括：
35.分帧模块，用于对待检测音频进行分帧处理，得到多帧音频信号；
36.确定模块，用于对于每帧音频信号，确定所述音频信号在目标频段对应的能量；
37.判断模块，用于根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，其中，演唱类型为真声演唱或者假声演唱，n为正整数。
38.在一种可能的实现方式中，所述确定模块，用于：
39.确定所述音频信号在所述目标频段的各峰值点对应的能量；
40.计算所述各峰值点对应的能量中除极大值和极小值以外的能量的第一能量均值，作为所音频信号在目标频段对应的能量。
41.在一种可能的实现方式中，所述判断模块，用于：
42.确定所述音频信号中的基音的频率和多个泛音的频率；
43.计算所述多个泛音的频率和所述基音的频率分别对应的能量的第二能量均值；
44.根据所述音频信号在目标频段对应的能量和所述第二能量均值，计算所述音频信号对应的分贝db值；
45.根据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型。
46.在一种可能的实现方式中，所述判断模块，用于：
47.计算所述音频信号之前的n帧音频信号分别对应的db值和所述音频信号对应的db值的第一db值均值；
48.获取所述前一帧音频信号之前的n帧音频信号分别对应的db值和所述音频信号的前一帧音频信号对应的db值的第二db值均值；
49.根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型。
50.在一种可能的实现方式中，所述判断模块，用于：
51.将所述第一db值均值减去所述第二db值均值，得到第一差值；
52.如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号为假声演唱。
53.在一种可能的实现方式中，所述判断模块，还用于：
54.在演唱时间和参考阈值的对应关系中，确定所述音频信号的演唱时间对应的第一参考阈值。
55.在一种可能的实现方式中，所述判断模块，用于：
56.将所述第一db值均值减去所述第二db值均值，得到第一差值；
57.如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号所在的歌词分段对应的音频片段，计算所述音频片段中起始的预设时长的音频信号对应的db值的第三db值均值；
58.将所述音频信号对应的db值减去所述第三db值均值，得到第二差值；
59.如果所述第二差值小于0，且所述第二差值的绝对值大于第二参考阈值，则确定所述音频信号为假声演唱。
60.在一种可能的实现方式中，所述目标频段为4khz到8khz。
61.在一种可能的实现方式中，所述装置还包括过滤模块，用于：
62.通过语音活性检测vad，过滤所述待处理音频中的静音音频。
63.第三方面，提供了一种电子设备，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的音频处理的方法。
64.第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的音频处理的方法。
65.第五方面，提供了一种计算机程序产品，所述计算机程序产品中包括有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的音频处理的方法。
66.本公开实施例提供的技术方案带来的有益效果是：
67.在本公开实施例中，对待检测音频进行分帧处理，对于得到的每帧音频信号，进而，确定出音频信号在目标频段对应的能量。由于在目标频段内真声演唱的音频和假声演唱的音频之间会有明显的能量差异，因此，在本公开实施例提供的技术方案中，根据音频信
号在目标频段对应的能量和该音频信号之前的n帧音频信号在目标频段分别对应的能量，实现对音频信号是真声演唱还是假声演唱的判断。
附图说明
68.为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
69.图1是本公开实施例提供的音频处理的方法流程图；
70.图2是本公开实施例提供的音频处理的方法流程图；
71.图3是本公开实施例提供的音频处理的方法流程图；
72.图4是本公开实施例提供的音频处理的装置结构示意图；
73.图5是本公开实施例提供的电子设备装置结构示意图；
74.图6是本公开实施例提供的电子设备装置结构示意图。
具体实施方式
75.为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
76.本公开提供了一种音频处理的方法，该方法可以由电子设备实现，电子设备可以为终端，也可以为服务器。终端可以包括智能手机、平板电脑、笔记本电脑、台式电脑等等。终端可以安装有音乐应用程序，音乐应用程序可以为具有k歌、录唱等功能的应用程序。用户可以通过音乐应用程序进行k歌、录唱，终端采集用户演唱的干声音频。进而，终端可以将采集到的用户演唱的干声音频作为待检测音频，采用本公开提供的音频处理的方法，确定待检测音频中的各帧音频信号是真声演唱还是假声演唱。或者，终端可以将待检测音频发送至服务器，由服务器采用本公开提供的音频处理的方法，确定待检测音频中各音频信号是真声演唱还是假声演唱。
77.在本公开提供的方案中，电子设备对待检测音频进行分帧处理，对于得到的每帧音频信号，确定音频信号在目标频段对应的能量。由于在目标频段内真声演唱的音频和假声演唱的音频之间会有明显的能量差异，因此，本公开根据音频信号在目标频段对应的能量和该音频信号之前的n帧音频信号在目标频段分别对应的能量，实现对音频信号是真声演唱还是假声演唱的判断。
78.图1是本公开实施例提供的一种音频处理的方法的流程图。参见图1，该实施例包括：
79.步骤101、对待检测音频进行分帧处理，得到多帧音频信号。
80.在实施中，待检测音频可以为干声音频，该干声音频可以是用户通过音乐应用程序进行k歌或者录唱时，终端采集到的。
81.在电子设备为终端的情况下，用户通过电子设备中安装的音乐应用程序进行k歌、录唱，电子设备采集用户演唱的干声音频，作为待检测音频。
82.在电子设备为服务器的情况下，终端可以通过上述方式获取到待检测音频，并将
待检测音频发送至服务器。
83.在获取到待检测音频后，电子设备可以对待检测音频进行分帧，得到多帧音频信号。
84.在一种可能的实现中，在待检测音频中可能会包含有静音音频，静音音频可能会对检测产生不利影响，因此，为了排除静音音频对检测的影响，在对待检测音频分帧之前，可以先对待检测音频进行vad(voice activity detection，语音活动检测)处理，过滤掉待检测音频中的静音音频。然后，对过滤掉静音音频的待检测音频进行分帧处理。
85.步骤102、对于每帧音频信号，确定该音频信号在目标频段对应的能量。
86.在实施中，对于每帧音频信号，电子设备可以确定音频信号在目标频段的各峰值点对应的能量。下面对确定音频信号在目标频段的各峰值点对应的能量进行说明，参见图2，该确定方法可以包括如下处理：
87.步骤1021、对该音频信号进行加窗处理。
88.具体的，加窗处理可以采用hanning(汉宁)窗实现。hanning窗的表示方式可以如下：
[0089][0090]
其中，i表示采样点索引。m表示窗长，也即是采样点数量，示例性的，m＝512。cos()为余弦函数。
[0091]
对第n帧音频信号加窗后得到的信号如下：
[0092]
xwn(ln+i)＝x
n(i)·
w(i)
[0093]
其中，xwn(ln+i)表示第n帧音频信号加窗得到的信号。l表示帧移，示例性的，l＝256。i表示采样点索引。xn(i)表示第n帧音频信号，第n帧音频信号为分帧得到的多帧音频信号中的任一帧音频信号。
[0094]
步骤1022、对加窗得到的信号进行傅里叶变换。
[0095]
对于第n帧音频信号加窗得到的信号，进行傅里叶变换，傅里叶变换的结果可以如下：
[0096][0097]
其中，k表示第k个频率点，(n，k)表示第n帧音频信号的第k个频率点，j表示复数，该第k个频率点为第n帧音频信号的任一频率点。
[0098]
步骤1023、根据傅里叶变换的结果，计算该音频信号在各频率点的能量。
[0099]
第n帧音频信号的第k个频率点的能量可以如下：
[0100]
m(n，k)＝|x(n，k)|2[0101]
步骤1024、在该音频信号在各频率点的能量中，获取该音频信号在目标频段的各峰值点的能量。
[0102]
对于第n帧音频信号，可以先将该音频信号在目标频段内各峰值点的能量进行平滑处理。然后，获取各峰值点对应的平滑处理后的能量。在进行平滑处理的情况下，以下步骤中提及的各峰值点的能量均可以是指各峰值点对应的平滑处理后的能量。
[0103]
步骤1025、计算各峰值点对应的能量中除极大值和极小值以外的能量的第一能量均值，作为该音频信号在目标频段对应的能量。
[0104]
在获取到各峰值点的能量后，对各峰值点的能量按照由大到小或者由小到大的顺序进行排序，剔除其中的极大值和极小值。然后，将各峰值点对应的能量中除极大值和极小值以外的能量取平均，得到第一能量均值，作为该音频信号在目标频段对应的能量。
[0105]
在一种可能的实现中，真声演唱的音频和假声演唱的音频在目标频率的能量具有明显区别，经过大量实验验证，该目标频段可以设置为4khz到8khz。当然，将目标频段设置为4khz到8khz仅为一种示例，本公开实施例对此不做限定。
[0106]
步骤103、根据该音频信号在目标频段对应的能量和该音频信号之前的n帧音频信号在目标频段分别对应的能量，确定该音频信号的演唱类型。
[0107]
其中，演唱类型为真声演唱或者假声演唱，n为正整数。
[0108]
在实施中，该步骤103可以有多种实现方式，下面示例性的列举其中几种进行说明。
[0109]
实现方式一：
[0110]
参见图3，该实现方式一可以包括如下处理：
[0111]
步骤1031、确定音频信号中的基音的频率和多个泛音的频率。
[0112]
通过基音检测算法，检测第n帧音频信号的基音的频率，记作f0。示例性的，基音检测算法可以为acf(autocorrelation function，自相关函数)法、amdf(average magnitude difference function，平均幅度差函数)法等。
[0113]
然后，根据基音的频率计算出多个泛音的频率。示例性的，多个泛音可以包括第一泛音、第二泛音、第三泛音和第四泛音，其中，第一泛音的频率可以记作f1，第二泛音的频率可以记作f2，第三泛音的频率可以记作f3，第四泛音的频率可以记作f4，第一泛音的频率、第二泛音的频率、第三泛音的频率、第四泛音的频率和基音的频率之间的关系可以如下：
[0114]
第一泛音的频率f1＝2f0；
[0115]
第二泛音的频率f2＝4f0；
[0116]
第三泛音的频率f3＝6f0；
[0117]
第四泛音的频率f4＝8f0。
[0118]
步骤1032、计算多个泛音的频率和基音的频率分别对应的能量的第二能量均值。
[0119]
电子设备可以对多个泛音的频率和基音的频率分别对应的能量进行平滑处理，然后，将多个泛音的频率分别对应的平滑处理后的能量和基音的频率对应的平滑处理后的能量取平均，得到第二能量均值。
[0120]
步骤1033、根据音频信号在目标频段对应的能量和第二能量均值，计算该音频信号对应的db(decibel，分贝)值。
[0121]
计算音频信号在目标频段对应的能量和第二能量均值的比值。示例性的，将音频信号在目标频段对应的能量记作er，将第二能量均值记作e，相应的，音频信号在目标频段对应的能量和第二能量均值的比值如下：
[0122][0123]
其中，rn表示第n帧音频信号在目标频段对应的能量和第二能量均值的比值。
[0124]
然后，将第n帧音频信号在目标频段对应的能量和第二能量均值的比值，代入如下公式，得到第n帧音频信号对应的db值。
[0125][0126]
其中，pn表示第n帧音频信号对应的db值。
[0127]
步骤1034、根据音频信号对应的db值和该音频信号之前的n帧音频信号分别对应的db值，确定音频信号的演唱类型。
[0128]
该步骤1034的处理可以如下：
[0129]
s1、电子设备将第n帧音频信号之前的n帧音频信号分别对应的db值和第n帧音频信号对应的db值，取均值，得到第一db值均值。示例性的，第一db值均值计算方法可以如下：
[0130][0131]
其中，pn′
表示第一db值均值，p
n-m
表示第n-m帧音频信号对应的db值。对于n的取值，可以由技术人员根据实际需求进行设置，例如，n＝5。
[0132]
s2、电子设备获取第n-1帧音频信号对应的第二db值均值。
[0133]
其中，第二db值均值是对第n-1帧音频信号对应的db值和第n-1帧音频信号之前的n帧音频信号分别对应的db值取均值得到的，该第二db值均值的计算方法和上述第一db值均值的计算方法相同，在此不做赘述。
[0134]
s3、电子设备根据第一db值均值和第二db值均值，确定第n帧音频信号的演唱类型。
[0135]
在该步骤s3中，可以有多种实现方法，下面示例性的例举其中几种进行说明。
[0136]
实现方法一：
[0137]
电子设备将第一db值均值减去第二db值均值，得到第一差值。如果第一差值小于0，且第一差值的绝对值大于第一参考阈值，则确定第n帧音频信号的演唱类型为假声演唱。否则，确定第n帧音频信号的演唱类型为真声演唱。
[0138]
实现方法二：
[0139]
在该实现方法二中，考虑到一个歌词分段的开始部分通常不会是高音，那么，用户演唱开始部分时也通常采用真声演唱，因此，在该实现方法二中，选取歌词分段对应的音频片段的起始的预设时长的音频信号作为参考，来判断第n帧音频信号的演唱类型。具体处理如下：
[0140]
电子设备将第一db值均值减去第二db值均值，得到第一差值。如果第一差值小于0，且第一差值的绝对值大于第一参考阈值，则确定第n帧音频信号所在的歌词分段对应的音频片段，计算该音频片段中起始的预设时长的音频信号对应的db值的第三db值均值。将第n帧音频信号对应的db值减去第三db值均值，得到第二差值。如果第二差值小于0，且第二差值的绝对值大于第二参考阈值，则确定音频信号为假声演唱。否则，确定第n帧音频信号的演唱类型为真声演唱。
[0141]
对于确定第n帧音频信号所在的歌词分段，在歌曲中包括有多个歌词分段，每个歌
词分段有对应的演唱开始时间和演唱结束时间。如果第n帧音频信号对应的演唱时间在某歌词分段的演唱开始时间和演唱结束时间之间，则将该歌词分段，确定为第n帧音频信号所在的歌词分段。
[0142]
上述预设时长的取值可以由技术人员根据实际情况进行设置，例如，预设时长为500ms(毫秒)，假设一帧音频信号为50ms，那么，音频片段中起始的500ms的音频信号，也可以表示为音频片段的前10帧音频信号。
[0143]
在一种可能的实现中，在上述实现方法一和实现方法二中，第一参考阈值可以为固定阈值，也可以为动态阈值。动态阈值即不同演唱时间的音频信号对应的第一参考阈值可以不同。
[0144]
在采用动态阈值的情况下，对于每首歌曲，预先标注有每个字对应音高，而每个字有对应的演唱时间，预先标注了演唱时间和音高的目标对应关系。然后，根据音高和第一参考阈值的对应关系，确定出上述目标对应关系中的各音高对应的第一参考阈值，进而，可以将上述目标对应关系，转换为演唱时间和第一参考阈值的对应关系。上述音高和第一参考阈值的对应关系可以由技术人员预先配置，在进行配置时，技术人员可以参考正常人的真声音域，进行配置，例如，音高超高了正常人的真声音域，则说明正常人在该唱到该演唱时间对应的歌词时，很可能会使用假声演唱，那么，该音高对应的第一参考阈值可以设置的相对低些。又例如，音高在正常人的真声音域内，则说明正常人在该唱到该演唱时间对应的歌词时，大概率不会使用假声演唱，那么，为了尽量避免误判，该音高对应的第一参考阈值可以设置的相对高些。
[0145]
示例性的，演唱时间和第一参考阈值的对应关系可以如下表1所示：
[0146]
表1
[0147][0148]
进而，在实现上述实现方法一或实现方法二时，可以先确定第n帧音频信号的演唱时间，然后，在上述对应关系中，查询第n帧音频信号的演唱时间对应的第一参考阈值。示例性的，标注的第一参考阈值可以在0.4到0.7之间，
[0149]
此外，在上述实现方法二中，第一参考阈值和第二参考阈值可以相同，也可以不同。在第一参考阈值为固定阈值的情况下，例如，第一参考阈值可以为0.5，第二参考阈值也可以为0.5，又例如，第一参考阈值可以为0.5，第二参考阈值可以为0.6。
[0150]
在本公开提供的方案中，对待检测音频进行分帧处理，对于分帧得到的音频信号，确定音频信号在目标频段对应的能量。由于在目标频段内真声演唱的音频和假声演唱的音频之间会有明显的能量差异，因此，本公开根据音频信号在目标频段对应的能量和该音频信号之前的n帧音频信号在目标频段分别对应的能量，实现对音频信号是真声演唱还是假
声演唱的判断。
[0151]
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0152]
基于相同的技术构思，本公开实施例还提供了一种音频处理的装置，如图4所示，所述装置包括分帧模块410、确定模块420和判断模块430：
[0153]
分帧模块410，用于对待检测音频进行分帧处理，得到多帧音频信号；
[0154]
确定模块420，用于对于每帧音频信号，确定所述音频信号在目标频段对应的能量；
[0155]
判断模块430，用于根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，其中，演唱类型为真声演唱或者假声演唱，n为正整数。
[0156]
在一种可能的实现方式中，所述确定模块420，用于：
[0157]
确定所述音频信号在所述目标频段的各峰值点对应的能量；
[0158]
计算所述各峰值点对应的能量中除极大值和极小值以外的能量的第一能量均值，作为所音频信号在目标频段对应的能量。
[0159]
在一种可能的实现方式中，所述判断模块430，用于：
[0160]
确定所述音频信号中的基音的频率和多个泛音的频率；
[0161]
计算所述多个泛音的频率和所述基音的频率分别对应的能量的第二能量均值；
[0162]
根据所述音频信号在目标频段对应的能量和所述第二能量均值，计算所述音频信号对应的分贝db值；
[0163]
根据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型。
[0164]
在一种可能的实现方式中，所述判断模块430，用于：
[0165]
计算所述音频信号之前的n帧音频信号分别对应的db值和所述音频信号对应的db值的第一db值均值；
[0166]
获取所述前一帧音频信号之前的n帧音频信号分别对应的db值和所述音频信号的前一帧音频信号对应的db值的第二db值均值；
[0167]
根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型。
[0168]
在一种可能的实现方式中，所述判断模块430，用于：
[0169]
将所述第一db值均值减去所述第二db值均值，得到第一差值；
[0170]
如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号为假声演唱。
[0171]
在一种可能的实现方式中，所述判断模块430，还用于：
[0172]
在演唱时间和参考阈值的对应关系中，确定所述音频信号的演唱时间对应的第一参考阈值。
[0173]
在一种可能的实现方式中，所述判断模块430，用于：
[0174]
将所述第一db值均值减去所述第二db值均值，得到第一差值；
[0175]
如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号所在的歌词分段对应的音频片段，计算所述音频片段中起始的预设时长的音频
信号对应的db值的第三db值均值；
[0176]
将所述音频信号对应的db值减去所述第三db值均值，得到第二差值；
[0177]
如果所述第二差值小于0，且所述第二差值的绝对值大于第二参考阈值，则确定所述音频信号为假声演唱。
[0178]
在一种可能的实现方式中，所述目标频段为4khz到8khz。
[0179]
在一种可能的实现方式中，所述装置还包括过滤模块，用于：
[0180]
通过语音活性检测vad，过滤所述待处理音频中的静音音频。
[0181]
需要说明的是：上述实施例提供的音频处理的装置在进行音频处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音频处理的装置与音频处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0182]
图5示出了本公开一个示例性实施例提供的电子设备500的结构框图。该电子设备500可以是便携式移动终端，比如：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0183]
通常，电子设备500包括有：处理器501和存储器502。
[0184]
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0185]
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本公开中方法实施例提供的音频处理的方法。
[0186]
在一些实施例中，电子设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。
[0187]
外围设备接口503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0188]
射频电路504用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括nfc(near field communication，近距离无线通信)有关的电路，本公开对此不加以限定。
[0189]
显示屏505用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置在电子设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在电子设备500的不同表面或呈折叠设计；在另一些实施例中，显示屏505可以是柔性显示屏，设置在电子设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0190]
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0191]
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以
包括耳机插孔。
[0192]
定位组件508用于定位电子设备500的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件508可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
[0193]
电源509用于为电子设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0194]
在一些实施例中，电子设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
[0195]
加速度传感器511可以检测以电子设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
[0196]
陀螺仪传感器512可以检测电子设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对电子设备500的3d动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0197]
压力传感器513可以设置在电子设备500的侧边框和/或显示屏505的下层。当压力传感器513设置在电子设备500的侧边框时，可以检测用户对电子设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在显示屏505的下层时，由处理器501根据用户对显示屏505的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0198]
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置在电子设备500的正面、背面或侧面。当电子设备500上设置有物理按键或厂商logo时，指纹传感器514可以与物理按键或厂商logo集成在一起。
[0199]
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制显示屏505的显示亮度。具体地，当环境光强度较高时，调高显示屏505的显示亮度；当环境光强度较低时，调低显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
[0200]
接近传感器516，也称距离传感器，通常设置在电子设备500的前面板。接近传感器516用于采集用户与电子设备500的正面之间的距离。在一个实施例中，当接近传感器516检
测到用户与电子设备500的正面之间的距离逐渐变小时，由处理器501控制显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与电子设备500的正面之间的距离逐渐变大时，由处理器501控制显示屏505从息屏状态切换为亮屏状态。
[0201]
本领域技术人员可以理解，图5中示出的结构并不构成对电子设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0202]
图6是本公开实施例提供的一种电子设备的结构示意图，该电子设备600可以为服务器，电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0203]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中音频处理的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是rom(read-only memory，只读存储器)、ram(random access memory，随机存取存储器)、cd-rom(compact disc read-only memory，光盘只读存储器)、磁带、软盘和光数据存储设备等。
[0204]
需要说明的是，本公开所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号(包括但不限于用户终端与其他设备之间传输的信号等)，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的干声音频、待检测音频等都是在充分授权的情况下获取的。
[0205]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0206]
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

技术特征：
1.一种音频处理的方法，其特征在于，所述方法包括：对待检测音频进行分帧处理，得到多帧音频信号；对于每帧音频信号，确定所述音频信号在目标频段对应的能量；根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，其中，演唱类型为真声演唱或者假声演唱，n为正整数。2.根据权利要求1所述的方法，其特征在于，所述确定所述音频信号在目标频段对应的能量，包括：确定所述音频信号在所述目标频段的各峰值点对应的能量；计算所述各峰值点对应的能量中除极大值和极小值以外的能量的第一能量均值，作为所音频信号在目标频段对应的能量。3.根据权利要求2所述的方法，其特征在于，所述根据所述音频信号在目标频段对应的能量和所述音频信号之前的n帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，包括：确定所述音频信号中的基音的频率和多个泛音的频率；计算所述多个泛音的频率和所述基音的频率分别对应的能量的第二能量均值；根据所述音频信号在目标频段对应的能量和所述第二能量均值，计算所述音频信号对应的分贝db值；根据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型。4.根据权利要求3所述的方法，其特征在于，所述根据所述音频信号对应的db值和所述音频信号之前的n帧音频信号分别对应的db值，确定所述音频信号的演唱类型，包括：计算所述音频信号之前的n帧音频信号分别对应的db值和所述音频信号对应的db值的第一db值均值；获取所述前一帧音频信号之前的n帧音频信号分别对应的db值和所述音频信号的前一帧音频信号对应的db值的第二db值均值；根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型，包括：将所述第一db值均值减去所述第二db值均值，得到第一差值；如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音频信号为假声演唱。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在演唱时间和参考阈值的对应关系中，确定所述音频信号的演唱时间对应的第一参考阈值。7.根据权利要求4所述的方法，其特征在于，所述根据所述第一db值均值和所述第二db值均值，确定所述音频信号的演唱类型，包括：将所述第一db值均值减去所述第二db值均值，得到第一差值；如果所述第一差值小于0，且所述第一差值的绝对值大于第一参考阈值，则确定所述音
频信号所在的歌词分段对应的音频片段，计算所述音频片段中起始的预设时长的音频信号对应的db值的第三db值均值；将所述音频信号对应的db值减去所述第三db值均值，得到第二差值；如果所述第二差值小于0，且所述第二差值的绝对值大于第二参考阈值，则确定所述音频信号为假声演唱。8.根据权利要求2-7中任一项所述的方法，其特征在于，所述目标频段为4khz到8khz。9.根据权利要求2-7中任一项所述的方法，其特征在于，所述对待检测音频进行分帧处理之前，所述方法还包括：通过语音活性检测vad，过滤所述待处理音频中的静音音频。10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求9任一项所述的音频处理的方法所执行的操作。11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的音频处理的方法所执行的操作。

技术总结
本公开提供了一种音频检测的方法、设备和存储介质，属于音频技术领域。所述方法包括：对待检测音频进行分帧处理，得到多帧音频信号；对于每帧音频信号，确定所述音频信号在目标频段对应的能量；根据所述音频信号在目标频段对应的能量和所述音频信号之前的N帧音频信号在所述目标频段分别对应的能量，确定所述音频信号的演唱类型，其中，演唱类型为真声演唱或者假声演唱，N为正整数。本公开可以实现对音频信号是真声演唱还是假声演唱的判断。号是真声演唱还是假声演唱的判断。号是真声演唱还是假声演唱的判断。


技术研发人员：李博文
受保护的技术使用者：腾讯音乐娱乐科技（深圳）有限公司
技术研发日：2023.05.16
技术公布日：2023/8/9