沉浸式语音交互方法、装置、智能书桌以及可读存储介质与流程

1.本技术涉及语音处理领域，尤其涉及一种沉浸式语音交互方法、装置、智能书桌及可读存储介质。


背景技术：

2.在教育信息化的今天，随着信息化教学环境的日益普及，使用多媒体教材辅助教学成为必不可少的教学手段。多媒体教学是以声音媒体的形式传递信息的，合理的运用这些信息不仅可以形象、生动、准确的表达教学内容，传达教学信息，也可以表达细节、情感、节奏、韵律等信息，同时由声音塑造出的相应时空结构，还可以营造画外空间，更好的对重点、难点进行表述。但是现有技术中将声音配合画面的设计时，往往比较机械并不能做到因材施教，造成多媒体教学的结果不尽如意。如何解决现有多媒体教学的不足，让学童能够根据自身情况有的放矢，弥补自身不足显得至关重要。


技术实现要素：

3.本技术实施例的主要目的在于提供一种沉浸式语音交互方法、装置、智能书桌及可读存储介质，旨在解决现有多媒体教学的不足，让用户能够根据自身知识点的不足进行有针对性的学习，提高用户学习的积极性，进而帮助用户提升自己的学业。
4.第一方面，本技术实施例提供一种沉浸式语音交互方法，包括：
5.获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；
6.根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；
7.将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；
8.根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；
9.将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；
10.接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；
11.根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。
12.第二方面，本技术实施例还提供一种沉浸式语音交互的装置，包括：
13.数据采集模块，用户获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；
14.数据处理模块，用于根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；
15.数据识别模块，用于将所述第二语音数据进行语音识别获得所述第二语音数据对
应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；
16.数据推理模块，用于根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；
17.数据发布模块，用于将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；
18.数据分析模块，用于接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；
19.策略生成模块，用于根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。
20.第三方面，本技术实施例还提供一种智能书桌，智能书桌包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本技术说明书提供的任一项沉浸式语音交互方法的步骤。
21.第四方面，本技术实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书提供的任一项的沉浸式语音交互方法的步骤。
22.本技术实施例提供一种沉浸式语音交互方法、装置、智能书桌以及存储介质，其中，该方法包括获取智能书桌所处环境的声场并采集智能书桌所处环境中的语音数据；根据智能书桌所处环境的声场确定噪音类型进行选择相应的去噪方式对语音数据进行去噪获得语音数据对应的去噪语音数据；将去噪语音数据进行语音识别获得去噪语音数据对应的文本数据；根据文本数据进行特征提取获得知识点数据；根据文本数据、知识点数据和知识点图谱获得知识点数据对应的测试数据；将测试数据根据智能书桌所处环境的声场发布至所处环境中；接收用户对测试数据对应的响应数据，并根据响应数据得到用户的得分信息；根据用户的得分信息制定相应的学习策略，以使得用户完成知识点数据的学习。进而解决现有教学中的问题，从而可以更清楚的明确用户未掌握的知识点内容，更有针对性的对用户制定学习策略，进而提高用户的学习积极性，提升用户的学习成绩。
附图说明
23.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本技术实施例提供的一种沉浸式语音交互方法的流程示意图；
25.图2为图1中步骤s4的一种具体实施方式对应的步骤流程图；
26.图3为本技术实施例提供的一种知识点图谱示意图；
27.图4为本技术实施例提供的一种沉浸式语音交互装置的模块结构示意图；
28.图5为本技术实施例提供的一种智能书桌的结构示意框图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
31.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
32.本技术实施例提供一种沉浸式语音交互方法、装置、智能书桌以及存储介质。其中，该沉浸式语音交互方法可以由智能书桌执行，也可以由智能书桌中的芯片执行，也可以由与智能书桌相连的设备执行，如服务器，用户触发智能书桌中的控件，以触发智能书桌向服务器上报由智能书桌采集的医疗诊断图像和诊断文本以使得服务器执行本技术实施例提供的沉浸式语音交互方法。
33.其中，本技术实施例提供一种沉浸式语音交互方法、装置、智能书桌以及存储介质，其中，该方法包括获取智能书桌所处环境的声场并采集智能书桌所处环境中的语音数据；根据智能书桌所处环境的声场确定噪音类型进行选择相应的去噪方式对语音数据进行去噪获得语音数据对应的去噪语音数据；将去噪语音数据进行语音识别获得去噪语音数据对应的文本数据；根据文本数据进行特征提取获得知识点数据；根据文本数据、知识点数据和知识点图谱获得知识点数据对应的测试数据；将测试数据根据智能书桌所处环境的声场发布至所处环境中；接收用户对测试数据对应的响应数据，并根据响应数据得到用户的得分信息；根据用户的得分信息制定相应的学习策略，以使得用户完成知识点数据的学习。进而解决现有教学中的问题，从而可以更清楚的明确用户未掌握的知识点内容，更有针对性的对用户制定学习策略，进而提高用户的学习积极性，提升用户的学习成绩。
34.下面结合附图，对本技术的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
35.请参照图1，图1为本技术实施例提供的一种沉浸式语音交互方法的流程示意图。
36.如图1所示，该沉浸式语音交互方法包括步骤s1至步骤s7。
37.步骤s1：获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据。
38.示例性地，获取智能书桌所处环境的声场，声场包括但不限于智能书桌播放声音在房间的反射强度、所处环境的隔音效果。采集用户在智能书桌所处环境中的第一语音数据。
39.例如，通过智能书桌播放声音在房间的反射强度、所处环境的隔音效果获得智能书桌所处环境的声场类型，进而调整采集音频的参数获得质量较优的语音数据，便于后续的使用。
40.在一些实施方式中，所述声场包括所述智能书桌所处环境的大小、所述智能书桌所处环境的失真比例，所述智能书桌至少包括红外测距仪、声音测试仪，所述获取智能书桌所处环境的声场，包括：根据所述红外测距仪获得所述智能书桌所处环境的大小；根据所述
声音测试仪获得所述智能书桌所处环境的失真比例。
41.示例性地，声场包括智能书桌所处环境的大小、所述智能书桌所处环境的失真比例，智能书桌中至少安装有红外测距仪和声音测试仪。根据智能书桌中的红外测距仪获得智能书桌所处环境的大小，根据智能书桌中的声音测试仪测试所处环境的失真比例。
42.步骤s2：根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据。
43.示例性地，根据声场可以了解到智能书桌所处环境的状况，进而根据相应环境状况对第一语音数据进行处理获得对应的第二语音数据。
44.例如，根据声场中智能书桌所处环境的大小、智能书桌所处环境的失真比例等信息，可以得到该智能书桌所处环境中在采集音频时，有多余噪音，因此，可以对第一语音数据进行去除噪音处理获得对应的第二语音数据。
45.或者，根据声场中智能书桌所处环境的大小、智能书桌所处环境的失真比例等信息，可以得到该智能书桌所处环境中在采集音频时，音量较低，因此，可以对第一语音数据进行语音加强处理获得对应的第二语音数据。
46.为了更加了解采集第一语音数据的环境信息，可以根据声场信息得到采集第一语音数据时的环境信息，进而更准确的对第一语音数据进行处理。
47.在一些实施方式中，所述根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据，包括：根据所述声场和预置的声场类型映射表获得所述声场对应的语音处理类型；根据所述语音处理类型将所述语音数据进行相应的语音处理获得所述第二语音数据。
48.示例性地，采集实际环境中声场，并将采集得到的多种声场数据进行划分得到声场类型，并针对不同的声场类型实验获得对应的语音处理类型，将声场类型以及声场类型对应的语音处理类型存储成映射表的形式。当获得第一语音数据时，根据当前的声场在映射表中查询获得当前声场对应的语音处理类型，进而根据获得的语音处理类型对第一语音处理进行数据处理，获得第二语音数据。
49.例如，经过实际数据可知，声场可以分为声场类型1、声场类型2、声场类型3，声场类型1对应的语音处理类型为语音增强、声场类型2对应的语音处理类型为语音降噪、声场类型3对应的语音处理类型为语音增强和语音降噪。因此，当前声场为声场类型1则对第一语音数据进行语音增强获得第二语音数据；当前声场为声场类型2则对第一语音数据进行语音降噪获得第二语音数据，以此类推。
50.步骤s3：将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据。
51.示例性地，将第二语音数据发送给服务器，通过asr(automatic speech recognition，自动语音识别)技术将第二语音数据转换为对应的文本数据，接收服务器发送的文本数据。将文本数据根据正则表达式进行特征提取获得文本数据对应的知识点数据。
52.可选地，将第二语音数据转换为文本数据中语音识别技术包括但不限制于隐马尔可夫模型、矢量量化或者paddlepaddle深度学习框架等。
53.可选地，将文本数据进行特征提取还可以利用命名实体识别技术获得文本数据中
对应地知识点数据。
54.在一些实施方式中，所述根据所述文本数据进行特征提取获得知识点数据，包括：将所述文本数据进行命名实体识别获得所述文本数据对应的实体数据；将所述实体数据进行数据统一获得所述知识点数据。
55.示例性地，确定待识别的知识点数据的类型并根据待识别知识点数据的类型建立命名实体识别模型。进而通过命名实体识别模型识别文本数据中的实体数据；将实体数据经过数据统一处理，进而将含义相同但是表述不同的实体数据转换为表述统一的样式，从而获得文本数据对应的知识点数据。
56.例如，待识别的知识点数据的类型包括语文知识点、数学知识点、物理知识点，根据命名实体识别模型识别文本数据获得语文知识点、数学知识点、物理知识点分别对应的实体数据。如文本数据为“如何使用微分呢”，则命名实体识别模型对文本数据进行数据处理后可以得到实体数据为，数学知识点：微分。
57.例如，若实体数据中包含微分、积分、微积分，三者表示同一个知识点，为方便后续数据的使用可以进行数据统一，则可以在获得实体数据包含微分时，根据关键词匹配转换为三者的统一表示，如微积分。
58.步骤s4：根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据。
59.示例性地，根据文本数据进行文本分类获得文本数据对应的类型，根据知识点数据和知识点图谱确定知识点数据相关的知识数据，进而根据知识数据确定相应题库，再根据文本数据对应的类型确定题库中对应的测试数据。
60.例如，根据文本数据确定用户的意图，需要加强知识点学习或者补足知识点，再根据知识点数据从知识点图谱中确定知识点相关的知识数据，如微积分-导数，进而根据获得微积分和导数对应的微积分题库和导数题库，再结合用户的意图，从微积分题库和导数题库选择相应的试题，进而确定测试数据。
61.在一些实施方式中，如图2所示，所述步骤s4包括步骤s41至s44。
62.步骤s41、获得知识点数据对应的题目数据集，并将所述题目数据集中的题目以及题目属性分别当作实体，通过所述题目及所述题目属性之间的关联信息构成所述知识点图谱。
63.示例性地，利用网络爬虫技术，收集知识点对应的题目数据集，包括题目、题目答案、题目属性，其中题目属性包括但不限于题目类别、相关知识点、题目难度等级，根据题目和题目属性之间的关联信息组成知识点图谱。
64.例如，题目1对应的题目属性为微积分、导数、难度等级一级，题目2对应的题目属性为导数、常微分、难度等级二级，则题目1和题目2组成的知识点图谱如图3所示。
65.步骤s42、根据所述知识点图谱中的点与边之间的关系获得所述题目的知识特征向量。
66.示例性地，知识特征向量着眼于挖掘题目与题目属性间的关联关系，使用知识图谱对深层特征进行向量表示。由于知识图谱是一种特殊网络，其中每个节点代表现实世界中的实体，而节点间的边表示实体之间的关系。因此，一般用三元组形式表示内涵知识，构建三元组集合知识库s{(h，r，l)}，其中h代表头实体，l代表尾实体，r代表从头实体到尾实
体的关系。进而可以通过transe或者transr技术获得题目的知识特征向量。
67.步骤s43、根据所述文本数据和所述题目数据集进行相关度计算获得所述题目的相似特征向量。
68.示例性地，通过题目数据集中所有题目与文本数据的相关度计算获得用户和题目间的相关度，进而获得用户与题目的相似特征向量。
69.例如，将文本数据和题目均进行特征表示获得文本特征向量和题目特征向量，将文本特征向量和题目特征向量进行余弦相似度计算，当余弦相似度满足条件时，则将文本特征向量和题目特征向量进行元素相乘，进而将元素相乘结果作为用户与题目的相似特征向量。
70.步骤s44、根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据。
71.示例性地，根据所述知识特征向量和所述相似特征向量进行进行特征交互，为特征向量加上权重，然后进行向量的加权平均操作获得聚合处理结果。最后根据聚合处理结果筛选出知识点数据对应的测试数据。
72.在一些实施方式中，所述根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据，包括：将所述知识特征向量和所述相似特征向量进行聚合处理，进而获得聚合向量；根据所述聚合向量和预设条件获得所述知识点数据对应的测试数据。
73.示例性地，将知识特征向量和相似特征向量采用加和方式来聚合向量信息，或者将知识特征向量和所述相似特征向量分别通过平均池化层后获得向量的平均值。进而计算向量的模值，当模值大于预设条件时，则该知识特征向量和相似特征向量对应的题目可以作为测试数据。
74.步骤s5:将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中。
75.示例性地，根据智能书桌所处环境的声场确定当前智能书桌在进行语音播放时的要求，并根据该要求将用户对应的测试数据进行发布，以使得用户能够通过语音接收到相应的测试数据。
76.例如，经过实际数据可知，声场可以分为声场类型1、声场类型2，声场类型1对应的语音播放要求为声音音量为70分贝、声场类型2对应的语音播放要求为声音音量为50分贝。因此，当前声场为声场类型1时，则在播放音频时声音音量设置为70分贝。
77.步骤s6:接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息。
78.示例性地，接收用户对测试数据对应的响应数据，其中，响应数据形式可以为文本或音频。通过将响应数据和测试数据对应的答案数据进行相似度比对，进而获得测试数据的正确度，进而根据全部测试数据对应的正确度获得用户的得分数据。
79.在一些实施方式中，所述接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息，包括：接收用户对所述测试数据对应的响应数据并将所述响应数据进行意图分析获得所述响应数据对应的意图类别；根据所述意图类别和所述响应数据确定所述用户的答复数据；根据所述答复数据和所述测试数据对应的答案数据得到所述用户的得分信息。
80.示例性地，当响应数据为音频数据时，首先将音频数据进行语音识别获得响应数据对应的文本响应数据，进而对文本响应数据进行意图分类，筛选出文本响应数据中是对测试数据进行答复的内容，即将与测试数据进行答复不相关的数据进行删除，从而得到用户的答复数据，将用户的答复数据和测试数据进行相似度计算，根据相似度结果换算得到用户的得分信息。
81.示例性地，当响应数据为文本类型时，则可以直接将响应数据作为用户的答复数据，将用户的答复数据和测试数据进行相似度计算，根据相似度结果换算得到用户的得分信息。
82.步骤s7:根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。
83.示例性地，在得到用户的得分信息之后，根据用户的得分信息获得用户对知识点的掌握程度，进而根据用户对知识点的掌握程度制定相应的学习策略，使得用户完成所述知识点数据的学习。
84.例如，根据用户的得分信息可以将知识点的掌握等级划分为a、b、c、d四个等级，a为优秀，d为较差，当用户得分在85分以上时则将用户对知识点的掌握等级划分为a，75以上为b，60以上c、60以下d。则当用户对知识点的掌握等级划分为a时，则表明用户已经掌握该知识点，可以给用户提供一些更加具有难度的试题，进一步提升用户能力，当用户对知识点的掌握等级划分为d时，则表明用户当前对该知识点没有掌握，则可以根据知识点之间的关联测试用户需要从哪个知识点进行开始补足，进而一步步实现知识点数据的学习。
85.请参阅图4，图4为本技术实施例提供的一种沉浸式语音交互装置200，该沉浸式语音交互装置200包括数据采集模块201、数据处理模块202、数据识别模块203、数据推理模块204、数据发布模块205、数据分析模块206、策略生成模块207，其中，数据采集模块201，用户获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；数据处理模块202，用于根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；数据识别模块203，用于将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；数据推理模块204，用于根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；数据发布模块205，用于将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；数据分析模块206，用于接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；策略生成模块207，用于根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。
86.在一些实施方式中，所述声场包括所述智能书桌所处环境的大小、所述智能书桌所处环境的失真比例，所述智能书桌至少包括红外测距仪、声音测试仪，数据采集模块201在所述获取智能书桌所处环境的声场过程中，执行：
87.根据所述红外测距仪获得所述智能书桌所处环境的大小；
88.根据所述声音测试仪获得所述智能书桌所处环境的失真比例。
89.在一些实施方式中，数据处理模块202在所述根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据过程中，执行：
90.根据所述声场和预置的声场类型映射表获得所述声场对应的语音处理类型；
91.根据所述语音处理类型将所述语音数据进行相应的语音处理获得所述第二语音数据。
92.在一些实施方式中，数据识别模块203在所述根据所述文本数据进行特征提取获得知识点数据过程中，执行：
93.将所述文本数据进行命名实体识别获得所述文本数据对应的实体数据；
94.将所述实体数据进行数据统一获得所述知识点数据。
95.在一些实施方式中，数据推理模块204在所述根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据过程中，执行：
96.获得知识点数据对应的题目数据集，并将所述题目数据集中的题目以及题目属性分别当作实体，通过所述题目及所述题目属性之间的关联信息构成所述知识点图谱；
97.根据所述知识点图谱中的点与边之间的关系获得所述题目的知识特征向量；
98.根据所述文本数据和所述题目数据集进行相关度计算获得所述题目的相似特征向量；
99.根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据。
100.在一些实施方式中，数据推理模块204在所述根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据过程中，执行：
101.将所述知识特征向量和所述相似特征向量进行聚合处理，进而获得聚合向量；
102.根据所述聚合向量和预设条件获得所述知识点数据对应的测试数据。
103.在一些实施方式中，数据分析模块206在所述接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息过程中，执行：
104.接收用户对所述测试数据对应的响应数据并将所述响应数据进行意图分析获得所述响应数据对应的意图类别；
105.根据所述意图类别和所述响应数据确定所述用户的答复数据；
106.根据所述答复数据和所述测试数据对应的答案数据得到所述用户的得分信息。
107.在一些实施方式中，沉浸式语音交互装置200应用于智能书桌。
108.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述沉浸式语音交互方法实施例中的对应过程，在此不再赘述。
109.请参阅图5，图5为本技术实施例提供的智能书桌的结构示意性框图。
110.如图5所示，智能书桌300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为i2c(inter-integrated circuit)总线。
111.具体地，处理器301用于提供计算和控制能力，支撑整个服务器的运行。处理器301可以是中央处理单元(central processing unit，cpu)，该处理器301还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
112.具体地，存储器302可以是flash芯片、只读存储器(rom，read-only memory)磁盘、
光盘、u盘或移动硬盘等。
113.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术实施例方案相关的部分结构的框图，并不构成对本技术实施例方案所应用于其上的智能书桌的限定，具体的智能书桌可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
114.其中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现本技术任一实施例提供的沉浸式语音交互方法。
115.在一些实施方式中，处理器301用于运行存储在存储器中的计算机程序，应用于智能书桌，并在执行计算机程序时实现如下步骤：
116.获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；
117.根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；
118.将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；
119.根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；
120.将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；
121.接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；
122.根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。
123.在一些实施方式中，所述声场包括所述智能书桌所处环境的大小、所述智能书桌所处环境的失真比例，所述智能书桌至少包括红外测距仪、声音测试仪，处理器301在所述获取智能书桌所处环境的声场过程中，执行：
124.根据所述红外测距仪获得所述智能书桌所处环境的大小；
125.根据所述声音测试仪获得所述智能书桌所处环境的失真比例。
126.在一些实施方式中，处理器301在所述根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据过程中，执行：
127.根据所述声场和预置的声场类型映射表获得所述声场对应的语音处理类型；
128.根据所述语音处理类型将所述语音数据进行相应的语音处理获得所述第二语音数据。
129.在一些实施方式中，处理器301在所述根据所述文本数据进行特征提取获得知识点数据过程中，执行：
130.将所述文本数据进行命名实体识别获得所述文本数据对应的实体数据；
131.将所述实体数据进行数据统一获得所述知识点数据。
132.在一些实施方式中，处理器301在所述根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据过程中，执行：
133.获得知识点数据对应的题目数据集，并将所述题目数据集中的题目以及题目属性分别当作实体，通过所述题目及所述题目属性之间的关联信息构成所述知识点图谱；
134.根据所述知识点图谱中的点与边之间的关系获得所述题目的知识特征向量；
135.根据所述文本数据和所述题目数据集进行相关度计算获得所述题目的相似特征向量；
136.根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据。
137.在一些实施方式中，处理器301在所述根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据过程中，执行：
138.将所述知识特征向量和所述相似特征向量进行聚合处理，进而获得聚合向量；
139.根据所述聚合向量和预设条件获得所述知识点数据对应的测试数据。
140.在一些实施方式中，处理器301在所述接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息过程中，执行：
141.接收用户对所述测试数据对应的响应数据并将所述响应数据进行意图分析获得所述响应数据对应的意图类别；
142.根据所述意图类别和所述响应数据确定所述用户的答复数据；
143.根据所述答复数据和所述测试数据对应的答案数据得到所述用户的得分信息。
144.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的智能书桌的具体工作过程，可以参考前述沉浸式语音交互方法实施例中的对应过程，在此不再赘述。
145.本技术实施例还提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书实施例提供的任一项沉浸式语音交互方法的步骤。
146.其中，存储介质可以是前述实施例的智能书桌的内部存储单元，例如智能书桌内存。存储介质也可以是智能书桌的外部存储设备，例如智能书桌上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
147.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且
可包括任何信息递送介质。
148.应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
149.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本技术的具体实施例，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种沉浸式语音交互方法，其特征在于，所述方法包括：获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。2.根据权利要求1所述的方法，其特征在于，所述声场包括所述智能书桌所处环境的大小、所述智能书桌所处环境的失真比例，所述智能书桌至少包括红外测距仪、声音测试仪，所述获取智能书桌所处环境的声场，包括：根据所述红外测距仪获得所述智能书桌所处环境的大小；根据所述声音测试仪获得所述智能书桌所处环境的失真比例。3.根据权利要求1所述的方法，其特征在于，所述根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据，包括：根据所述声场和预置的声场类型映射表获得所述声场对应的语音处理类型；根据所述语音处理类型将所述语音数据进行相应的语音处理获得所述第二语音数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述文本数据进行特征提取获得知识点数据，包括：将所述文本数据进行命名实体识别获得所述文本数据对应的实体数据；将所述实体数据进行数据统一获得所述知识点数据。5.根据权利要求1所述的方法，其特征在于，所述根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据，包括：获得知识点数据对应的题目数据集，并将所述题目数据集中的题目以及题目属性分别当作实体，通过所述题目及所述题目属性之间的关联信息构成所述知识点图谱；根据所述知识点图谱中的点与边之间的关系获得所述题目的知识特征向量；根据所述文本数据和所述题目数据集进行相关度计算获得所述题目的相似特征向量；根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据。6.根据权利要求5所述的方法，其特征在于，所述根据所述知识特征向量和所述相似特征向量进行聚合处理，获得所述知识点数据对应的测试数据，包括：将所述知识特征向量和所述相似特征向量进行聚合处理，进而获得聚合向量；根据所述聚合向量和预设条件获得所述知识点数据对应的测试数据。7.根据权利要求1所述的方法，其特征在于，所述接收用户对所述测试数据对应的响应
数据，并根据所述响应数据得到所述用户的得分信息，包括：接收用户对所述测试数据对应的响应数据并将所述响应数据进行意图分析获得所述响应数据对应的意图类别；根据所述意图类别和所述响应数据确定所述用户的答复数据；根据所述答复数据和所述测试数据对应的答案数据得到所述用户的得分信息。8.一种沉浸式语音交互装置，其特征在于，包括：数据采集模块，用户获取智能书桌所处环境的声场并采集所述智能书桌所处环境中的第一语音数据；数据处理模块，用于根据所述声场对所述第一语音数据进行处理获得所述第一语音数据对应的第二语音数据；数据识别模块，用于将所述第二语音数据进行语音识别获得所述第二语音数据对应的文本数据，并根据所述文本数据进行特征提取获得知识点数据；数据推理模块，用于根据所述文本数据、所述知识点数据和知识点图谱获得所述知识点数据对应的测试数据；数据发布模块，用于将所述测试数据根据所述智能书桌所处环境的声场发布至所处环境中；数据分析模块，用于接收用户对所述测试数据对应的响应数据，并根据所述响应数据得到所述用户的得分信息；策略生成模块，用于根据所述用户的得分信息制定相应的学习策略，以使得所述用户完成所述知识点数据的学习。9.一种智能书桌，其特征在于，所述智能书桌包括处理器、存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的沉浸式语音交互方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述的沉浸式语音交互步骤。

技术总结
本申请实施例涉及语音处理领域，具体提供了一种沉浸式语音交互方法、装置、智能书桌以及可读存储介质。该方法包括：获取智能书桌所处环境的声场并采集第一语音数据；根据声场对第一语音数据进行处理获得第二语音数据；将第二语音数据进行语音识别获得文本数据，并根据文本数据进行特征提取获得知识点数据；根据文本数据、知识点数据和知识点图谱获得测试数据；将测试数据根据声场发布至所处环境中；接收用户对测试数据对应的响应数据，并根据响应数据得到用户的得分信息；根据用户的得分信息制定相应的学习策略，以使得用户完成知识点数据的学习。从而根据用户自身需求更有针对性的对用户制定学习策略，进而提高用户的学习积极性。性。


技术研发人员：孙炼 许坚旺 吴雁辉 赵伟根 郭培倩
受保护的技术使用者：珠海华章科技有限公司
技术研发日：2023.04.25
技术公布日：2023/7/21