分离并采集非鼻化元音中的鼻音和口音的方法及隔音装置

1.本发明涉及语音信号处理领域，具体为一种分离并采集非鼻化元音中的鼻音和口音的方法及隔音装置。


背景技术：

2.声音通过声门振动产生，并经过声道调制，最终经由嘴唇、鼻孔辐射到空间中。语音中蕴含丰富的说话人特征信息，提取该信息的技术在金融、刑侦、国防等领域具有广泛的应用场景。语音的个性化特征是由发音器官的结构决定。发音器官从下到上包括声门、喉腔、咽腔、口腔、上颚、鼻腔、嘴唇等。口腔和鼻腔是重要的共鸣器官，对声音的调制起到不可忽视的作用。口腔通过调整舌头的位置调节口腔内通道的形状，发出不同的音节。鼻腔则有着稳定的内部结构，且不同的说话人之间鼻腔形态差异较大，包含丰富的区分说话人身份的信息。研究鼻腔共鸣对语音特征的影响，有助于丰富对说话人个性化特征的研究。
3.鼻腔的形态较为复杂，它由两个不对称的鼻通道组成，还连接着四对副鼻窦：额窦、上颌窦、蝶窦和筛窦。鼻窦是一个入口狭窄，内部面积较大的腔体，形状类似亥姆霍兹共鸣器。其声学作用是吸收鼻音中某些特定频率的音频。四对鼻窦的大小差异较大，吸纳音频的频率互不相同。鼻通道的不对称性也会造成某些频率能量升高或降低。
4.鼻腔对发音的影响主要有两种方式。第一种是发生在鼻音和鼻化元音的发音过程中，通过软腭的上抬和下降来控制腭咽口的打开与闭合，称为口鼻耦合作用。普通元音发音时，软腭通常上抬至与腭壁相接，关闭口腔到鼻腔的通道。鼻化元音区别于普通元音，汉语里的鼻化元音是指在鼻辅音前后的元音，受鼻辅音的影响，腭咽口成不完全闭合状态，此时鼻腔被视为声道的分支。第二种是声音通过软腭振动作用从口腔传递到鼻腔，为与前者区分，称为经软腭耦合作用。经软腭耦合作用是鼻腔参与非鼻化元音和浊塞音发音的主要方式。传递到鼻腔的声音由鼻孔辐射到空间，与嘴唇辐射音相互作用，共同组成语音。
5.经软腭耦合作用对语音声学特征影响的实验研究很少，单独测量鼻腔共振的技术有限。利用说话人的mri图像模拟其鼻腔形态，从而计算鼻腔共振的频谱是一种较为精确的技术。但鼻腔内部形态复杂，而受医疗设备限制，精度难以达到要求，或价格十分昂贵。
6.为研究经软腭耦合作用对语音特征的影响，需分别记录说话人的嘴唇辐射音和鼻孔辐射音。也即利用隔音工具，分隔口腔鼻腔并采集二者音频。传统的分离方法包括使用口鼻气流计和隔音板。口鼻气流计是检测气流、分析发音空气动力学数据的有效工具，不适用于采集音频。若想有效阻止嘴唇辐射音和鼻孔辐射音混合，需要一块巨大轻薄的隔音板。材料不易获取且浪费空间，不便于使用。二者均不是理想的隔音工具。


技术实现要素：

7.针对上述存在的技术不足，本发明的目的是提供分离并采集非鼻化元音中的鼻音和口音的方法及隔音装置，该方法能分别录制较为纯净的从口腔传递的声音和从鼻腔传递的声音。
8.为解决上述技术问题，本发明采用如下技术方案：本发明提供一种隔音装置，其特征在于，包括鼻音消音器和口音消音器；所述鼻音消音器主体为挂耳式鼻用空气过滤器，挂耳式鼻用空气过滤器鼻罩下方的排气孔和侧方连接挂绳的出孔通过胶水粘贴塑料封闭；所述挂耳式鼻用空气过滤器鼻罩上方打孔，且鼻罩内部放置医用绷带；所述口音消音器由主体口罩、长管和隔音箱三部分组成，主体口罩呈漏斗形状，主体口罩下端为圆形管状结构；所述主体口罩外包围超级粘土；长管一端和主体口罩下端通过胶水粘接固定，长管周身设置紧密包裹的热缩管；所述隔音箱内壁贴有一层橡胶板，橡胶板上粘贴海绵垫；隔音箱两侧面分别设置有圆形孔，且两侧面的圆形孔一个偏上，另一个偏下；长管的另一端插入至隔音箱一侧的圆形孔内，且长管另一端内置圆锥体状稀疏材料；隔音箱另一侧的圆形孔内插入塑料圆管。
9.进一步的，所述长管另一端内置的圆锥体状稀疏材料使用木质竹签制作。
10.本发明还涉及一种分离并采集非鼻化元音中的鼻音和口音的方法，其特征在于，包括如下步骤：步骤一、带上鼻音消音器，利用鼻音消音器排除鼻孔辐射音的干扰，录制纯净的口腔传递的声音；步骤二、将口音消音器主体口罩对准口部，利用口音消音器排除嘴唇辐射音的干扰，录制较为纯净的鼻腔传递的声音；步骤三、录制数据集：设计语料，即说话人录制的语音文本；选择受试者，确定录制人数；录制三种类型的语音数据：自然语音，口腔传递的声音和鼻腔传递的声音；自然语音也即口腔鼻腔混合语音，被试者佩戴麦克风正常录制；记录口腔传递的声音时，被试人佩戴鼻音消音器；记录鼻腔传递的声音时，被试人的嘴巴对准口音消音器；步骤四、分析步骤三采集的语音数据，从三方面检验隔音装置有效性；首先，分析语音的波形图，对比三种语音数据的声音响度是否符合规律；预计声音响度从大到小为：自然语音，口腔传递的声音，鼻腔传递的声音；然后，计算同一文本内容下的三种音频振幅，得到声音的传递损失；最后，对比同一说话人录制的开元音和闭元音的波形图；相较于开元音，闭元音的经软腭耦合作用更强，应当有较强的鼻孔辐射音；典型的开元音是/a/，闭元音是/i/。
11.有益效果在于：本装置材料轻便易获取，使用方便；能分别录制较为纯净的从口腔传递的声音和从鼻腔传递的声音。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1为本发明实施例提供的使用鼻音消音器的示意图；图2为本发明实施例提供的使用口音消音器的示意图；
图3为本发明实施例提供的说话人zy元音/a/的三种语音波形图；图4为本发明实施例提供的说话人zy元音/a/和元音/i/的波形图。
14.附图标记说明：1、鼻音消音器；2、麦克风；3、主体口罩；4、无反射长管；5、隔音箱。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.实施例1如图1-图2所示，一种分离并采集非鼻化元音中的鼻音和口音的方法，包括如下步骤：步骤一：制作鼻音消音器1。对比多家厂商的产品，选用霾星人生产的挂耳式鼻用空气过滤器。该鼻罩的密闭性较好，与说话人的面部紧密贴合。挂耳式设计方便佩戴。为最大化减弱鼻音的传播，同时保持鼻腔内外气压不变，用塑料粘接专用胶水将鼻罩下方的排气孔和侧方连接挂绳的出孔完全封堵，并在鼻罩的上方重新打孔。最后放置医用绷带于鼻罩内部。
17.步骤二：制作口音消音器。此隔音工具分为三部分：口罩、长管、隔音箱5。口罩呈漏斗形状，上为椭圆形，下为圆形，横截面从上到下缩窄。裁剪矿泉水瓶的前端，保留瓶口，用超级粘土包围瓶身，减少漏音。口罩的椭圆形前端长度宽度适中，能贴合成年人的嘴唇周围并露出鼻孔。圆形后端连接内径3cm，长1m的铝制长管，用塑料粘接专用胶水连接固定。铝制长管的周身用热缩管紧密包裹，铝管一端连接口罩，另一端插入隔音箱5。插入隔音箱5的一端内置圆锥体状稀疏材料，这里使用木质竹签制作。隔音箱5为木制，长40cm，宽30cm，高16cm。木板内部贴一层5mm厚橡胶板，在橡胶板上粘贴3cm厚海绵垫。在隔音箱5两侧宽高面分别打直径3.5cm的圆形孔，一个孔偏上，另一个孔偏下。录音时，将铝制长管插入隔音箱5两侧的一个孔，另一个孔插入直径3.4cm的塑料圆管。插入距离均为10cm。
18.步骤三：录制数据集。语料分为两部分：汉语元音和汉语短句。元音包括/a/，/o/，/e/，/i/，/u/，/v/。汉语短句为“我也误以为语义无意义”。录音人共一人，简称zy。录制时每个元音重复三遍，短句也重复三遍。录音声卡型号为雅马哈ag03，麦克风2型号为铁三角at9904。音频采样频率16khz，采样位数16，通道数目为单通道，音频格式为wav格式。录制自然语音时，麦克风2置于距离嘴唇5cm处。录制嘴唇辐射音时，佩戴改进过的鼻罩，麦克风2置于相同位置。录制鼻孔辐射音时，嘴唇置于口音消音器的口罩一端，保持唇周贴合无缝隙，麦克风2置于距离鼻孔2cm处。
19.步骤四：分析数据，利用数学软件matlab分析步骤三得到的音频数据。绘制波形图，横轴为时间，纵轴为声音响度。绘制频谱图，横轴为频率，纵轴为振幅。为描绘频谱图的特征走势，用倒谱分析法计算频谱包络并绘制在频谱图上。元音的声道形状是静态的，其频谱图可以采用短时傅里叶频谱图，选取平稳信号段中的任一帧即可。短句对应的声道形状是动态的，长时平均傅里叶频谱图适用于短句的频谱分析，即将每一帧的频谱相加取平均。具体参数如表1所示。
20.表1 短时语音频谱图参数采样频率16000hz帧长100ms帧位移50ms傅里叶点数4096窗函数汉宁窗数据分析结果如图3-图4和表2所示。从元音/a/的波形图上能直观的对比出，正常语音的声音响度最大，鼻腔传递的声音响度最小。在1khz处的声音传递损失是34db。对比元音/a/和元音/i/的波形图，正常录制的元音/a/有着较强的声音响度，对应的鼻音较弱。实验结果与设计方案中的步骤四的预期相符。
21.表2说话人zy经软腭耦合作用的声音传递损失500hz1khz1.5khz2khz2.5khz鼻音-50-53-54-55-52正常语音-17-19-21-27-26显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种隔音装置，其特征在于，包括鼻音消音器和口音消音器；所述鼻音消音器主体为挂耳式鼻用空气过滤器，挂耳式鼻用空气过滤器鼻罩下方的排气孔和侧方连接挂绳的出孔通过胶水粘贴塑料封闭；所述挂耳式鼻用空气过滤器鼻罩上方打孔，且鼻罩内部放置医用绷带；所述口音消音器由主体口罩、长管和隔音箱三部分组成，主体口罩呈漏斗形状，主体口罩下端为圆形管状结构；所述主体口罩外包围超级粘土；长管一端和主体口罩下端通过胶水粘接固定，长管周身设置紧密包裹的热缩管；所述隔音箱内壁贴有一层橡胶板，橡胶板上粘贴海绵垫；隔音箱两侧面分别设置有圆形孔，且两侧面的圆形孔一个偏上，另一个偏下；长管的另一端插入至隔音箱一侧的圆形孔内，且长管另一端内置圆锥体状稀疏材料；隔音箱另一侧的圆形孔内插入塑料圆管。2.根据权利要求1所述的一种隔音装置，其特征在于，所述长管另一端内置的圆锥体状稀疏材料使用木质竹签制作。3.一种分离并采集非鼻化元音中的鼻音和口音的方法，其特征在于，包括如下步骤：步骤一、带上鼻音消音器，利用鼻音消音器排除鼻孔辐射音的干扰，录制纯净的口腔传递的声音；步骤二、将口音消音器主体口罩对准口部，利用口音消音器排除嘴唇辐射音的干扰，录制较为纯净的鼻腔传递的声音；步骤三、录制数据集：设计语料，即说话人录制的语音文本；选择受试者，确定录制人数；录制三种类型的语音数据：自然语音，口腔传递的声音和鼻腔传递的声音；自然语音也即口腔鼻腔混合语音，被试者佩戴麦克风正常录制；记录口腔传递的声音时，被试人佩戴鼻音消音器；记录鼻腔传递的声音时，被试人的嘴巴对准口音消音器；步骤四、分析步骤三采集的语音数据，从三方面检验隔音装置有效性；首先，分析语音的波形图，对比三种语音数据的声音响度是否符合规律；预计声音响度从大到小为：自然语音，口腔传递的声音，鼻腔传递的声音；然后，计算同一文本内容下的三种音频振幅，得到声音的传递损失；最后，对比同一说话人录制的开元音和闭元音的波形图；相较于开元音，闭元音的经软腭耦合作用更强，应当有较强的鼻孔辐射音；典型的开元音是/a/，闭元音是/i/。

技术总结
本发明公开了分离并采集非鼻化元音中的鼻音和口音的方法及隔音装置，属于语音信号处理领域，旨在解决传统的分离方法不适用于采集音频的问题。隔音装置包括鼻音消音器和口音消音器；所述鼻音消音器主体为挂耳式鼻用空气过滤器，挂耳式鼻用空气过滤器鼻罩下方的排气孔和侧方连接挂绳的出孔通过胶水粘贴塑料封闭；所述挂耳式鼻用空气过滤器鼻罩上方打孔，且鼻罩内部放置医用绷带；所述口音消音器由主体口罩、长管和隔音箱三部分组成，主体口罩呈漏斗形状，主体口罩下端为圆形管状结构；所述主体口罩外包围超级粘土。本隔音装置材料轻便易获取，使用方便；本方法能分别录制较为纯净的从口腔传递的声音和从鼻腔传递的声音。口腔传递的声音和从鼻腔传递的声音。口腔传递的声音和从鼻腔传递的声音。


技术研发人员：魏建国 朱梓毓
受保护的技术使用者：天津大学
技术研发日：2023.06.13
技术公布日：2023/8/13