一种基于CSC语音识别技术的供电服务指挥交互方法及系统与流程

一种基于csc语音识别技术的供电服务指挥交互方法及系统
技术领域
1.本技术涉及供电服务指挥系统语音识别技术领域，设计一种基于csc语音识别技术的供电服务指挥交互方法及系统。


背景技术：

2.现有技术中，应用于供电服务指挥系统语音识别技术已经比较成熟，但是客户供电服务交互中语音识别错误率高，还需要人工校验。
3.供电服务指挥系统中，由于语音识别技术的不准确，往往采取人工填写业务单的方式，工作人员需要反复听取录音提取关键字，手工填写业务单，如采用自动生成业务单的方式，可以提高日常业务处理效率。
4.综合以上考虑，本发明提供一种基于csc语音识别技术的供电服务指挥交互方法及系统，以解决现有技术中语音识别准确率差的技术缺陷，是很有必要的。


技术实现要素：

5.本技术实施例的目的在于提供一种基于csc语音识别技术的供电服务指挥交互方法及系统，极大的提高了日常业务处理效率，语音识别的准确率。
6.为实现上述目的，本技术提供如下技术方案：
7.第一方面，本技术实施例提供一种基于csc语音识别技术的供电服务指挥交互系统，包括语音获取模块、语音模型检测模块、校正模块、模糊查询特征提取模块、业务单生成模块，
8.所述的语音获取模块，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；
9.所述语音模型检测模块对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；
10.所述校正模块，根据语音模型检测模块的输出生成正确符合语音语义的字符；
11.所述模糊查询特征提取模块，依靠生成的文本信息，进行模糊匹配，提取关键字；
12.所述业务单生成模块，将关键字填入不同的位置，自动生成问题业务单。
13.第二方面，本技术实施例提供一种基于csc语音识别技术的供电服务指挥交互方法，包括以下步骤：
14.步骤一：语音获取，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；
15.步骤二：语音模型检测，对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；
16.步骤三：校正模块根据语音模型检测模块的输出生成正确符合语音语义的字符；
17.步骤四：语音模型检测模块和校正模块收敛；
18.步骤五：依靠生成的文本信息，进行模糊匹配，提取关键字；
19.步骤六：将关键字填入不同的位置，自动生成问题业务单。
20.所述语音模型检测，包括以下步骤：
21.1)给定序列xw＝(xw1,xw2,...xwn),语音模型检测模块检测每一个字符xwi是否正确i属于1到n，分别使用标签1和0标记拼写错误的字和正确的字；
22.2)检测模块形式化如下：yd＝softmax(fdet(e(ew)))，其中ew＝
23.(ew1,ew2,...,ewn)是xw的字嵌入，e是预训练的编码器，并且fdet是将语句表示映射到二进制序列yd＝(y
d 1,yd2,...,ydn),ydi∈{0,1}的全连接层；
24.3)使用perri表示字符xwi是错误的概率：perri＝p(ydi＝1|xw；θd),其中θd是语音模型检测模块的参数。
25.所述校正模块根据语音模型检测模块的输出生成正确符合语音语义的字符具体为，
26.1)使用pypinyin工具生成拼音序列xp，从嵌入层获得拼音嵌入ep，并通过线性组合将其与单词嵌入ew融合：
27.em＝(1-perr)*ew+perr*ep
28.2)该组合使用语音模型检测模块预测的拼写概率作为权重来平衡字符嵌入和拼音嵌入的重要性，其中，如果perri＝0，则表示检测到字符xwi是正确的，并且模型只使用其字嵌入em，如果perri＝1,意味着检测到字符是错误的，并且模型使用其拼音嵌入ep，
29.3)通过完全连接层fcrt，预测校正结果y:
30.y＝softmax(fcrt(e(em)))。
31.所述语音模型检测模块和校正模块收敛具体为，
32.1)训练检测参数fdet，调整检测和校正参数，以达到最佳平衡，共同优化检测损失ld和校正损失lc,即：
[0033][0034][0035]
其中θd和θc分别是检测和校验模块的参数，是实际真实的检测结果并且是检测模块的预测；
[0036]
2)校正损失是通过检测结果的概率加权的负对数似然度，这是为了区分两个任务的责任，当检测结果的概率低时，lc减小，并且模型将更加关注于优化ld，而当检测概率高时，模型平衡地优化lc和ld，
[0037]
3)利用两个损失函数之和共同收敛语义修正模型：
[0038]
l＝ld+lc。
[0039]
所述依靠生成的文本信息，进行模糊匹配，提取关键字具体为，
[0040]
1)针对于校验模块输出的文本，解析出省，市，区，街道，详细地址，手机，姓名，业务问题这些关键字内容进行自动识别；
[0041]
2)手机号采用正则表达式进行匹配，姓名构建百家姓数据表，匹配第一个字，且字数不超过五个，采用长度对比，数组里长度最长的当做地址来解析，排除手机号，剩下的当做姓名；
[0042]
3)对于省市区，业务问题，采用模糊查询概率计算，首先在数据库中加入省市区，以及业务问题关键字，根据具体内容，以及字数进行匹配，从而获取到关键词。
[0043]
所述将关键字填入不同的位置，自动生成问题业务单具体为，
[0044]
1)根据模糊匹配提取的关键字，首先以默认模板建立文档对象，读取默认文档，建立文档对象。
[0045]
2)设置文档格式，默认字体，页面边距；
[0046]
3)在文档对象中加入文本表格等信息，将校验模块得到的正确语义信息填写到文档中，并保存文档。
[0047]
与现有技术相比，本技术的有益效果是：解决了传统语音识别技术应用于供电系统日常处理业务中，语音识别不准确的问题，通过检测模块和校验模块对客户的语音进行准确识别，并根据语音识别后的文字获取客户的需求，从而采用模糊匹配提取关键词，随后利用关键词自动生成业务单，进行下发，提高供电服务系统日常业务处理效率。
附图说明
[0048]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0049]
图1为本发明实施例的方法流程图；
[0050]
图2为本发明实施例的系统图。
具体实施方式
[0051]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0052]
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0053]
术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0054]
参照图1，本技术实施例提供一种基于csc语音识别技术的供电服务指挥交互方法，包括以下具体步骤：
[0055]
步骤一：语音获取模块，采用录音方式，能够将采集客户语音数据信息，并将采集到的客户语音数据信息，上传到语音模型检测模块，形式上对于将客户语音数据信息，转化为序列xw＝(xw1,xw2,...xwn),其中xwi均是汉字。
[0056]
步骤二：语音模型检测模块，包括以下步骤：
[0057]
1)给定序列xw＝(xw1,xw2,...xwn),语音模型检测模块检测每一个字符xwi是否正确。对于这个标记问题，分别使用标签1和0标记拼写错误的字和正确的字。
[0058]
2)检测模块形式化如下：yd＝softmax(fdet(e(ew)))，其中ew＝
[0059]
(ew1,ew2,...,ewn)是xw的字嵌入，e是预训练的编码器，并且fdet是将语句表示映射到二进制序列yd＝(yd1,yd2,...,ydn),ydi∈{0,1}的全连接层。
[0060]
3)接下来使用perri表示字符xwi是错误的概率：perri＝p(ydi＝1
[0061]
|xw；θd),其中θd是语音模型检测模块的参数。
[0062]
步骤三：校正模块，包括以下步骤：
[0063]
1)使用pypinyin工具生成拼音序列xp，从嵌入层获得拼音嵌入ep，并通过线性组合将其与单词嵌入ew融合：
[0064]
em＝(1-perr)*ew+perr*ep
[0065]
2)该组合使用语音模型检测模块预测的拼写概率作为权重来平衡语义特征(字符嵌入)和语音特征(拼音嵌入)的重要性，其中，如果perri＝0，则表示检测到字符xwi是正确的，并且模型只使用其字嵌入em。如果perri＝1,意味着检测到字符是错误的，并且模型使用其拼音嵌入。
[0066]
3)最后，通过完全连接层fcrt，预测校正结果y:
[0067]
y＝softmax(fcrt(e(em)))
[0068]
其中嵌入的参数，编码器e和校正网络fcrt由mlm-phonetics初始化。
[0069]
在预修中，对mlm-phonetice进行训练，从常混淆的对应词和拼音中重构正确的字符，从而用融合嵌入进行变化。
[0070]
步骤四：语音模型检测模块和校正模块收敛，包括一下步骤：
[0071]
1)我们的模型有两个目标：训练检测参数fdet，调整检测和校正参数，以达到最佳平衡，共同优化检测损失ld和校正损失lc,即：
[0072][0073][0074]
其中θd和θc分别是检测和校验模块的参数，是实际真实的检测结果并且是检测模块的预测，它们的值都是0或1。
[0075]
2)利用校正损失是通过检测结果的概率p(ydi|xw；θd)∈(0.5,1]加权的负对数似然度，这是为了区分两个任务的责任。当检测模块给出低置信度预测，即p(ydi|xw；θd)接近0.5时，它们用相似权重融合语义i和语音特征。但是，在电网客户语音交互系统中，我们希望检测模块能够提供对或错的明确判断，即p(ydi|xw；θd)接近1，使得它们可以由语义特征或语音特征控制。在这种情况下，错误词的改正将不会受到em中的语义特征的干扰，反之亦然。因此，我们惩罚由检测模块给出的低置信度预测。具体地，当检测结果的概率低时，lc减小，并且模型将更加关注于优化ld而当检测概率高时，模型平衡地优化lc和ld。
[0076]
3)最后，利用自适应加权目标使我们能够利用两个损失函数之和共同收敛我们的语义修正模型：
[0077]
l＝ld+lc
[0078]
4)预先训练的语言模型，mlm-phonetics，整合语音特征，解决标准掩蔽语言模型在我们的汉语拼写纠正(csc)结构中使用的问题，利用预训练的技术，我们修改了预训练的任务。在标准掩蔽语言模型(mlm-base)的预训练中，通过预测15％的随机选择字符来训练模型，这些字符被[mask]标记、随机字符和自身来代替，采样率分别为80％、10％和10％，它有助于用相应的拼音标记聚类类似发音的字符。
[0079]
步骤五：模糊查询特征提取模块，包括以下步骤：
[0080]
1)针对于校验模块输出的文本，解析出客户编号，手机号码，姓名，业务问题等关键字内容进行自动识别。
[0081]
2)手机号采用正则表达式进行匹配，姓名构建百家姓数据表，匹配第一个字，且字数不超过五个，采用长度对比，数组里长度最长的当做地址来解析，排除手机号，剩下的当做姓名。
[0082]
3)对于省市区，业务问题，采用模糊查询概率计算，首先在数据库中加入省市区，以及业务问题关键字，根据具体内容，进行匹配，从而获取到关键词。
[0083][0084]
步骤六：业务单生成模块，包括以下步骤：
[0085]
1)根据模糊匹配提取的关键字，首先以默认模板建立文档对象，读取默认文档，建立文档对象。
[0086]
2)设置文档格式，默认字体，页面边距；
[0087]
[0088][0089]
在文档对象中加入文本表格等信息，将校验模块得到的正确语义信息填写到文档中，并保存文档。
[0090]
参照图2，本技术实施例提供一种基于csc语音识别技术的供电服务指挥交互系统，其特征在于，包括语音获取模块、语音模型检测模块、校正模块、模糊查询特征提取模块、业务单生成模块，
[0091]
所述的语音获取模块，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；
[0092]
所述语音模型检测模块对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；
[0093]
所述校正模块，根据语音模型检测模块的输出生成正确符合语音语义的字符；
[0094]
所述模糊查询特征提取模块，依靠生成的文本信息，进行模糊匹配，提取关键字；
[0095]
所述业务单生成模块，将关键字填入不同的位置，自动生成问题业务单。
[0096]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于csc语音识别技术的供电服务指挥交互系统，其特征在于，包括语音获取模块、语音模型检测模块、校正模块、模糊查询特征提取模块、业务单生成模块，所述的语音获取模块，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；所述语音模型检测模块对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；所述校正模块，根据语音模型检测模块的输出生成正确符合语音语义的字符；所述模糊查询特征提取模块，依靠生成的文本信息，进行模糊匹配，提取关键字；所述业务单生成模块，将关键字填入不同的位置，自动生成问题业务单。2.一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，包括以下步骤：步骤一：语音获取，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；步骤二：语音模型检测，对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；步骤三：校正模块根据语音模型检测模块的输出生成正确符合语音语义的字符；步骤四：语音模型检测模块和校正模块收敛；步骤五：依靠生成的文本信息，进行模糊匹配，提取关键字；步骤六：将关键字填入不同的位置，自动生成问题业务单。3.根据权利要求2所述的一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，所述语音模型检测，包括以下步骤：1)给定序列x
w
＝(x
w
1,x
w
2,...x
w
n),语音模型检测模块检测每一个字符x
w
i是否正确i属于1到n，分别使用标签1和0标记拼写错误的字和正确的字；2)检测模块形式化如下：y
d
＝softmax(fdet(e(e
w
)))，其中ew＝(e
w
1,e
w
2,...,e
w
n)是x
w
的字嵌入，e是预训练的编码器，并且fdet是将语句表示映射到二进制序列y
d
＝(y
d
1,y
d
2,...,y
d
n),y
d
i∈{0,1}的全连接层；3)使用perri表示字符xwi是错误的概率：perri＝p(y
d
i＝1|x
w
；θd),其中θd是语音模型检测模块的参数。4.根据权利要求2所述的一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，所述校正模块根据语音模型检测模块的输出生成正确符合语音语义的字符具体为，1)使用pypinyin工具生成拼音序列xp，从嵌入层获得拼音嵌入ep，并通过线性组合将其与单词嵌入ew融合：em＝(1-perr)*ew+perr*ep2)该组合使用语音模型检测模块预测的拼写概率作为权重来平衡字符嵌入和拼音嵌入的重要性，其中，如果perri＝0，则表示检测到字符xwi是正确的，并且模型只使用其字嵌入em，如果perri＝1,意味着检测到字符是错误的，并且模型使用其拼音嵌入ep，3)通过完全连接层fcrt，预测校正结果y:y＝softmax(fcrt(e(em)))。5.根据权利要求2所述的一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，所述语音模型检测模块和校正模块收敛具体为，
1)训练检测参数fdet，调整检测和校正参数，以达到最佳平衡，共同优化检测损失ld和校正损失lc,即：校正损失lc,即：其中θ
d
和θ
c
分别是检测和校验模块的参数，是实际真实的检测结果并且是检测模块的预测；2)校正损失是通过检测结果的概率加权的负对数似然度，这是为了区分两个任务的责任，当检测结果的概率低时，lc减小，并且模型将更加关注于优化ld，而当检测概率高时，模型平衡地优化lc和ld，3)利用两个损失函数之和共同收敛语义修正模型：l＝ld+lc。6.根据权利要求2所述的一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，所述依靠生成的文本信息，进行模糊匹配，提取关键字具体为，1)针对于校验模块输出的文本，解析出省，市，区，街道，详细地址，手机，姓名，业务问题这些关键字内容进行自动识别；2)手机号采用正则表达式进行匹配，姓名构建百家姓数据表，匹配第一个字，且字数不超过五个，采用长度对比，数组里长度最长的当做地址来解析，排除手机号，剩下的当做姓名；3)对于省市区，业务问题，采用模糊查询概率计算，首先在数据库中加入省市区，以及业务问题关键字，根据具体内容，以及字数进行匹配，从而获取到关键词。7.根据权利要求2所述的一种基于csc语音识别技术的供电服务指挥交互方法，其特征在于，所述将关键字填入不同的位置，自动生成问题业务单具体为，1)根据模糊匹配提取的关键字，首先以默认模板建立文档对象，读取默认文档，建立文档对象，2)设置文档格式，默认字体，页面边距；3)在文档对象中加入文本表格等信息，将校验模块得到的正确语义信息填写到文档中，并保存文档。

技术总结
本申请涉及一种基于CSC语音识别技术的供电服务指挥交互方法及系统，系统包括语音获取模块、语音模型检测模块、校正模块、模糊查询特征提取模块、业务单生成模块，所述的语音获取模块，采用录音方式，采集客户语音数据信息，并将采集到的客户语音数据信息上传到语音模型检测模块；所述语音模型检测模块对于获取到的语音数据信号进行处理，将语音数据信号转化为文本信息；所述校正模块，根据语音模型检测模块的输出生成正确符合语音语义的字符；所述模糊查询特征提取模块，依靠生成的文本信息，进行模糊匹配，提取关键字；所述业务单生成模块，将关键字填入不同的位置，自动生成问题业务单。本申请极大的提高了日常业务处理效率，语音识别的准确率。音识别的准确率。音识别的准确率。


技术研发人员：熊子菡 余志远 周午阳 刘文鑫 吴凡 王晟 杨堰川 朱晓宇 王璇 谢晶晶 路洪岐 何永波 邓涛 王均芳 皮石甫
受保护的技术使用者：国网湖北省电力有限公司十堰供电公司
技术研发日：2023.03.28
技术公布日：2023/7/18