一种基于虚拟声卡的RPA呼叫技术及系统的制作方法

一种基于虚拟声卡的rpa呼叫技术及系统
技术领域
1.本发明涉及智能语音呼叫领域，特别涉及一种基于虚拟声卡的rpa呼叫技术及系统。


背景技术：

2.随着ai技术的发展，智能语音交互技术已经相对成熟，各行业都开始陆续考虑引入该技术方案，但智能语音交互能力的需与客户现有系统进行高度集成后才能使用，传统的集成开发方案存在成本高、周期长等问题。
3.现有的智能语音呼叫系统需要直接对接运营商的线路，获取到与客户通话的channel后，获取语音流进行语音识别实现对话接收，再将合成的音频流播放在channel里实现对话输出，以此来实现智能语音交互。但这种方式很难将智能语音对话的能力集成在已有的客户系统中，因为客户系统为实现呼叫功能，本身已经对接了运营商的线路，如果要集成整套的智能呼叫系统需要投入巨大的系统建设、集成成本。
4.rpa技术能够自动完成复杂的任务，通过对业务流程进行模拟，模拟人的操作，实现对人工作业的流程自动化，具有快速搭建、无侵入、执行成本低、可扩展性强等优点。
5.虚拟声卡技术的应用是虚拟设备技术的一项重要技术实践，它为voip不同通信客户端的互通带来了新的思路，虚拟声卡音频输入端与音频输出端直连的特性使得各voip通信软件的互通问题可以绕过各种异构的通信协议，而直接从获取pcm格式音频流的方法来解决。


技术实现要素：

6.本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于虚拟声卡的rpa呼叫技术及系统。
7.本发明提供了如下的技术方案：
8.本发明提供一种基于虚拟声卡的rpa呼叫技术及系统，该系统包括以下模块：
9.一、虚拟声卡技术应用；二、rpa呼叫控制；三、智能交互能力集成；四、自动呼叫分配能力集成；
10.系统模块二中，其基于虚拟声卡的rpa呼叫流程如下：
11.(1)建立rpa呼叫控制脚本，通过系统界面控制呼叫的发起、挂断；
12.(2)通过虚拟声卡软件设置两条通道，与客户通话的扬声器和与ai通话的麦克风绑定在第一声道上，与客户通话的麦克风和与ai通话的扬声器绑定在第二声道上；
13.(3)通过freeswitch平台集成ai语音对话能力，将客户说话的语音传给ai，将ai播报的语音传给客户的扬声器，实现客户与ai的智能交互对话；
14.(4)利用rpa技术调用接口将接通的通话送入freeswitch平台的队列中，实现话务自动分配给坐席；
15.系统模块一中，虚拟声卡技术应用如下：
16.虚拟声卡软件在计算机中为每一个虚拟声卡开辟一块内存，应用程序可以通过虚拟声卡的音频输出端将音频流存储到开辟的内存中，同时可以通过虚拟声卡的输入端读取内存中的音频流；每一个虚拟声卡的音频输入输出端的内部都是直连的，声音源程序产生(播放)声音，将声音送到虚拟声卡的音频输出端，虚拟声卡驱动程序直接将声音传到虚拟声卡的音频输入端，如下：
17.应用程序《
‑‑‑‑‑‑‑‑‑‑
》虚拟声卡(输出端
‑‑‑‑‑
》一块内存
‑‑‑‑‑
》虚拟声卡驱动程序
‑‑‑‑‑
》音频输入)；
18.系统模块三中的智能交互包括以下：
19.其智能语音交互涉及到的模块有五个，包含：语音识别、自然语言理解、对话控制、自然语言生成、语音合成这五个模块；
20.其中语音识别包括以下内容：
21.用户语音进入语音识别模块首先经过预处理、特征提取、解码，解码过程又需要依赖词典、语言模型、声学模型共同完成，解码后输出出来的就是文本信息；
22.自然语言理解包括以下内容：
23.(1)关键信息抽取，具体为名词实体识别、短语词组实体识别、同义识别；
24.(2)用户意图分析，理解用户的具体需求(基于规则的正则匹配方法、基于生成模板的模糊匹配方法、基于深度学习的方法(消歧))；
25.对话控制包括以下内容：
26.(1)根据当前状态机状态、槽值映射表、逻辑形式三种输入，更新槽值映射表；
27.(2)根据当前状态机状态、槽值映射表，跳转状态；
28.自然语言生成包括以下内容：
29.基于lstm的encoder-decoder形式，将问题信息、语义槽值和对话行为类型结合起来生成正确的答案；同时利用了注意力机制来处理对解码器当前解码状态的关键信息，根据不同的行为类型生成不同的回复；
30.语音合成包括以下内容：
31.首先对文本信息进行分析，结合语法知识库以及语法词典，分析句子底层结构以及每个包含的音素；分析后的文本内容结合语音语料库内容，经过神经网络韵律生成，变为带有韵律的字词句；最终将全部韵律的字词句组合起来变为整段韵律的句子，以及附加感情色彩的句子进行输出；
32.系统模块四中的自动呼叫分配包括以下内容：
33.acd即自动呼叫分配，将接入的话务按特定规则自动转接到正确的座席员前或进行其它自动处理如排队或留言等。
34.作为本发明的一种优选技术方案，其rpa呼叫技术如下：
35.rpa系统核心组件包含设计器、中控、执行器三个组成部分；
36.中控的职责是：协同、调度多个执行器按需执行；监督、查看执行器的运行结果；
37.设计器的职责是：设计、规范执行器的操作逻辑；调试、测试执行器执行结果是否符合预期；
38.执行器的职责是：精准高效，替代繁琐的人工操作。
39.作为本发明的一种优选技术方案，系统模块四中的自动呼叫分配所包含的自动分
配功能以及排队功能为以下所示：
40.(1)自动分配：
41.系统根据特定算法，合理安排流量资源，同时针对客户的来电号码、来电时间、所选服务等要素；生成有效的通信队列，随时根据传入的信息，调整队列算法，分配队列能力，适应瞬时需求，充分利用系统资源，进行系统处理；
42.(2)排队功能：
43.排队是指在内线都忙的情况下，外部再打来一个电话时按一定规则进行排队，一旦内线空闲时进行接入；
44.其中自动分配所包含的分配策略包含以下：
45.ring-all：振铃所有坐席，哪个先接就选择哪个；
46.long-ide1-agent：选择空闲时间最长的坐席；
47.round-robin：轮循；
48.top-down：按固定的顺序选择；
49.agent-with-least-talk-time：总是选择通话时间最短的坐席；
50.agent-with-fewest-calls：总是选择接电话次数最少的坐席；
51.sequentially-by-agent-order：根据梯队和顺序选择；
52.random：随机选择。
53.与现有技术相比，本发明的有益效果如下：
54.本方案提出的基于虚拟声卡的rpa呼叫技术及系统则无需客户系统进行任何开发改动，本方案是通过建立虚拟声卡将已有channel中的音频转传输到虚拟声卡中，再设置sip软话机(及时语音、微信属于异步传输)监听该虚拟声卡，从而实现与客户对话的输入输出控制，本方案具有无侵入性、集成快速、适用性广等特点。
附图说明
55.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
56.图1是本发明的rpa呼叫流程中的rpa-ai呼叫实现示意图；
57.图2是本发明的rpa呼叫流程中的预测试外呼实现示意图；
58.图3是本发明的基于虚拟声卡的rpa呼叫技术及系统方案的流程图；
59.图4是本发明中虚拟声卡技术中的音频传输示意图；
60.图5是本发明中的智能交互流程示意图；
61.图6是本发明中自动呼叫分配(acd)的自动分配及排队功能示意图。
具体实施方式
62.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
63.实施例1
64.如图1-6，本发明提供一种基于虚拟声卡的rpa呼叫技术及系统，该系统包括以下
模块：
65.一、虚拟声卡技术应用；二、rpa呼叫控制；三、智能交互能力集成；四、自动呼叫分配能力集成；
66.系统模块二中，其基于虚拟声卡的rpa呼叫流程如下：
67.(1)建立rpa呼叫控制脚本，通过系统界面控制呼叫的发起、挂断；
68.(2)通过虚拟声卡软件设置两条通道，与客户通话的扬声器和与ai通话的麦克风绑定在第一声道上，与客户通话的麦克风和与ai通话的扬声器绑定在第二声道上；
69.(3)通过freeswitch平台集成ai语音对话能力，将客户说话的语音传给ai，将ai播报的语音传给客户的扬声器，实现客户与ai的智能交互对话；
70.(4)利用rpa技术调用接口将接通的通话送入freeswitch平台的队列中，实现话务自动分配给坐席；
71.系统模块一中，虚拟声卡技术应用如下：
72.虚拟声卡软件在计算机中为每一个虚拟声卡开辟一块内存，应用程序可以通过虚拟声卡的音频输出端将音频流存储到开辟的内存中，同时可以通过虚拟声卡的输入端读取内存中的音频流；每一个虚拟声卡的音频输入输出端的内部都是直连的，声音源程序产生(播放)声音，将声音送到虚拟声卡的音频输出端，虚拟声卡驱动程序直接将声音传到虚拟声卡的音频输入端，如下：
73.应用程序《
‑‑‑‑‑‑‑‑‑‑
》虚拟声卡(输出端
‑‑‑‑‑
》一块内存
‑‑‑‑‑
》虚拟声卡驱动程序
‑‑‑‑‑
》音频输入)；
74.系统模块三中的智能交互包括以下：
75.其智能语音交互涉及到的模块有五个，包含：语音识别、自然语言理解、对话控制、自然语言生成、语音合成这五个模块；
76.其中语音识别包括以下内容：
77.用户语音进入语音识别模块首先经过预处理、特征提取、解码，解码过程又需要依赖词典、语言模型、声学模型共同完成，解码后输出出来的就是文本信息；
78.自然语言理解包括以下内容：
79.(1)关键信息抽取，具体为名词实体识别、短语词组实体识别、同义识别；
80.(2)用户意图分析，理解用户的具体需求(基于规则的正则匹配方法、基于生成模板的模糊匹配方法、基于深度学习的方法(消歧))；
81.对话控制包括以下内容：
82.(1)根据当前状态机状态、槽值映射表、逻辑形式三种输入，更新槽值映射表；
83.(2)根据当前状态机状态、槽值映射表，跳转状态；
84.自然语言生成包括以下内容：
85.基于lstm的encoder-decoder形式，将问题信息、语义槽值和对话行为类型结合起来生成正确的答案；同时利用了注意力机制来处理对解码器当前解码状态的关键信息，根据不同的行为类型生成不同的回复；
86.语音合成包括以下内容：
87.首先对文本信息进行分析，结合语法知识库以及语法词典，分析句子底层结构以及每个包含的音素；分析后的文本内容结合语音语料库内容，经过神经网络韵律生成，变为
带有韵律的字词句；最终将全部韵律的字词句组合起来变为整段韵律的句子，以及附加感情色彩的句子进行输出；
88.系统模块四中的自动呼叫分配包括以下内容：
89.acd即自动呼叫分配，将接入的话务按特定规则自动转接到正确的座席员前或进行其它自动处理如排队或留言等。
90.其rpa呼叫技术如下：
91.rpa系统核心组件包含设计器、中控、执行器三个组成部分；
92.中控的职责是：协同、调度多个执行器按需执行；监督、查看执行器的运行结果；
93.设计器的职责是：设计、规范执行器的操作逻辑；调试、测试执行器执行结果是否符合预期；
94.执行器的职责是：精准高效，替代繁琐的人工操作。
95.系统模块四中的自动呼叫分配所包含的自动分配功能以及排队功能为以下所示：
96.(1)自动分配：
97.系统根据特定算法，合理安排流量资源，同时针对客户的来电号码、来电时间、所选服务等要素；生成有效的通信队列，随时根据传入的信息，调整队列算法，分配队列能力，适应瞬时需求，充分利用系统资源，进行系统处理；
98.(2)排队功能：
99.排队是指在内线都忙的情况下，外部再打来一个电话时按一定规则进行排队，一旦内线空闲时进行接入；
100.其中自动分配所包含的分配策略包含以下：
101.ring-all：振铃所有坐席，哪个先接就选择哪个；
102.long-ide1-agent：选择空闲时间最长的坐席；
103.round-robin：轮循；
104.top-down：按固定的顺序选择；
105.agent-with-least-talk-time：总是选择通话时间最短的坐席；
106.agent-with-fewest-calls：总是选择接电话次数最少的坐席；
107.sequentially-by-agent-order：根据梯队和顺序选择；
108.random：随机选择。
109.进一步的，本方案中所涉及到的虚拟声卡技术、rpa呼叫技术、智能交互能力、自动呼叫分配能力如下所示：
110.虚拟声卡技术：
111.虚拟声卡是通过软件技术实现了软声卡及声卡的驱动程序。
112.rpa呼叫技术：
113.机器人流程自动化(roboticprocessautomation，简称rpa)是一种应用程序，它通过模仿最终用户在电脑的手动操作方式，实现了业务操作流程自动化，rpa呼叫指使用自动化的方式操作三方系统，执行发起呼叫、挂断呼叫等动作。
114.智能交互能力：
115.通过对话流程控制、语音识别、自然语音理解、语音合成、多轮交互等技术实现的ai与人工对话交互。
116.自动呼叫分配能力：
117.通过freeswitch的acd模块将通话自动按规定的模式寻找空闲的座席进行分配。
118.本方案提出的基于虚拟声卡的rpa呼叫技术及系统则无需客户系统进行任何开发改动，本方案是通过建立虚拟声卡将已有channel中的音频转传输到虚拟声卡中，再设置sip软话机(及时语音、微信属于异步传输)监听该虚拟声卡，从而实现与客户对话的输入输出控制。
119.本方案具有无侵入性、集成快速、适用性广等特点。
120.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于虚拟声卡的rpa呼叫技术及系统，其特征在于，该系统包括以下模块：一、虚拟声卡技术应用；二、rpa呼叫控制；三、智能交互能力集成；四、自动呼叫分配能力集成；系统模块二中，其基于虚拟声卡的rpa呼叫流程如下：(1)建立rpa呼叫控制脚本，通过系统界面控制呼叫的发起、挂断；(2)通过虚拟声卡软件设置两条通道，与客户通话的扬声器和与ai通话的麦克风绑定在第一声道上，与客户通话的麦克风和与ai通话的扬声器绑定在第二声道上；(3)通过freeswitch平台集成ai语音对话能力，将客户说话的语音传给ai，将ai播报的语音传给客户的扬声器，实现客户与ai的智能交互对话；(4)利用rpa技术调用接口将接通的通话送入freeswitch平台的队列中，实现话务自动分配给坐席；系统模块一中，虚拟声卡技术应用如下：虚拟声卡软件在计算机中为每一个虚拟声卡开辟一块内存，应用程序可以通过虚拟声卡的音频输出端将音频流存储到开辟的内存中，同时可以通过虚拟声卡的输入端读取内存中的音频流；每一个虚拟声卡的音频输入输出端的内部都是直连的，声音源程序产生(播放)声音，将声音送到虚拟声卡的音频输出端，虚拟声卡驱动程序直接将声音传到虚拟声卡的音频输入端，如下：应用程序<
‑‑‑‑‑‑‑‑‑‑
＞虚拟声卡(输出端
‑‑‑‑‑
＞一块内存
‑‑‑‑‑
＞虚拟声卡驱动程序
‑‑‑‑‑
＞音频输入)；系统模块三中的智能交互包括以下内容：其智能语音交互涉及到的模块有五个，包含：语音识别、自然语言理解、对话控制、自然语言生成、语音合成这五个模块；其中语音识别包括以下内容：用户语音进入语音识别模块首先经过预处理、特征提取、解码，解码过程又需要依赖词典、语言模型、声学模型共同完成，解码后输出出来的就是文本信息；自然语言理解包括以下内容：(1)关键信息抽取，具体为名词实体识别、短语词组实体识别、同义识别；(2)用户意图分析，理解用户的具体需求(基于规则的正则匹配方法、基于生成模板的模糊匹配方法、基于深度学习的方法(消歧))；对话控制包括以下内容：(1)根据当前状态机状态、槽值映射表、逻辑形式三种输入，更新槽值映射表；(2)根据当前状态机状态、槽值映射表，跳转状态；自然语言生成包括以下内容：基于lstm的encoder-decoder形式，将问题信息、语义槽值和对话行为类型结合起来生成正确的答案；同时利用了注意力机制来处理对解码器当前解码状态的关键信息，根据不同的行为类型生成不同的回复；语音合成包括以下内容：首先对文本信息进行分析，结合语法知识库以及语法词典，分析句子底层结构以及每个包含的音素；分析后的文本内容结合语音语料库内容，经过神经网络韵律生成，变为带有
韵律的字词句；最终将全部韵律的字词句组合起来变为整段韵律的句子，以及附加感情色彩的句子进行输出；系统模块四中的自动呼叫分配包括以下内容：acd即自动呼叫分配，将接入的话务按特定规则自动转接到正确的座席员前或进行其它自动处理如排队或留言等。2.根据权利要求1所述的一种基于虚拟声卡的rpa呼叫技术及系统，其特征在于，其rpa呼叫技术如下：rpa系统核心组件包含设计器、中控、执行器三个组成部分；中控的职责是：协同、调度多个执行器按需执行；监督、查看执行器的运行结果；设计器的职责是：设计、规范执行器的操作逻辑；调试、测试执行器执行结果是否符合预期；执行器的职责是：精准高效，替代繁琐的人工操作。3.根据权利要求1所述的一种基于虚拟声卡的rpa呼叫技术及系统，其特征在于，系统模块四中的自动呼叫分配所包含的自动分配功能以及排队功能为以下所示：(1)自动分配：系统根据特定算法，合理安排流量资源，同时针对客户的来电号码、来电时间、所选服务等要素；生成有效的通信队列，随时根据传入的信息，调整队列算法，分配队列能力，适应瞬时需求，充分利用系统资源，进行系统处理；(2)排队功能：排队是指在内线都忙的情况下，外部再打来一个电话时按一定规则进行排队，一旦内线空闲时进行接入；其中自动分配所包含的分配策略包含以下：ring-all：振铃所有坐席，哪个先接就选择哪个；long-idel-agent：选择空闲时间最长的坐席；round-robin：轮循；top-down：按固定的顺序选择；agent-with-least-talk-time：总是选择通话时间最短的坐席；agent-with-fewest-calls：总是选择接电话次数最少的坐席；sequentially-by-agent-order：根据梯队和顺序选择；random：随机选择。

技术总结
本发明公开了一种基于虚拟声卡的RPA呼叫技术及系统，该系统包括以下模块：一、虚拟声卡技术应用；二、RPA呼叫控制；三、智能交互能力集成；四、自动呼叫分配能力集成。本方案提出的基于虚拟声卡的RPA呼叫技术及系统则无需客户系统进行任何开发改动，本方案是通过建立虚拟声卡将已有channel中的音频转传输到虚拟声卡中，再设置sip软话机(及时语音、微信属于异步传输)监听该虚拟声卡，从而实现与客户对话的输入输出控制，本方案具有无侵入性、集成快速、适用性广等特点。适用性广等特点。适用性广等特点。


技术研发人员：李鑫
受保护的技术使用者：上海望潮数据科技有限公司 安庆和君纵达数据科技有限公司 宿州和君纵达数据科技有限公司 宁夏和君纵达数据科技有限公司 合肥和君纵达数据科技有限公司 徐州和君纵达数据科技有限公司 君和数据科技（昆山）有限公司
技术研发日：2023.03.29
技术公布日：2023/7/21