车载中控的交互方法及相关设备与流程

1.本发明涉及车载中控交互技术领域，尤其涉及一种车载中控的交互方法及相关设备。


背景技术：

2.目前在车载领域，大部分场景下，用户没有空余的手来点击屏幕实现交互；所以，语音交互是用户和中控屏幕进行交互的主要形式。在语音控制中控屏幕的情况下，开发者需要针对每一项功能进行语音适配，而且，对于动态更新内容的页面，无法做到事先适配，只能支持固定的语义指令。
3.因此，现有技术还有待于改进和发展。


技术实现要素：

4.本发明的主要目的在于解决现有技术所存在背景技术中所提到的技术问题。
5.本发明第一方面提供了一种车载中控的交互方法，所述车载中控的交互方法包括：
6.监听车载中控操作系统中的页面跳转事件；
7.响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；
8.获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；
9.将各个所述功能描述文字及各个所述功能描述文字对应的所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；
10.接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；
11.获取所述功能描述文字对应的所述控件元素的所述位置；
12.生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。
13.在本发明第一方面一种可选的实施方式中，所述响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描包括；
14.解析跳转后的所述页面的组成，获得所述控件元素在跳转后的所述页面中的分布；
15.基于所述分布对跳转后的所述页面进行分割，并提取得到控件图像集；
16.利用ocr识别技术对所述控件图像集进行逐个扫描识别。
17.在本发明第一方面一种可选的实施方式中，所述接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字包括：
18.接收用户的语音指令，通过预置的语音转文字算法获得所述语音指令对应的文本；
19.将所述文本输入到所述预置文本搜索引擎中进行拆词处理，得到若干的词组；
20.将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频；
21.若各个所述词组的所述词频不全为零，则基于各个所述词组的所述词频为各个所述词组分配权重系数；
22.对于所述数据表中的每一所述功能描述文字，计算所述功能描述文字包含的所述词组的所述权重系数之和；
23.以所述权重系数之和最大的所述功能描述文字作为所述语音指令匹配的所述功能描述文字。
24.在本发明第一方面一种可选的实施方式中，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频包括：
25.获取所述词组的词性；
26.判断所述词组的词性是否为预设类别；
27.若所述词组属于所述预设类别，则将所述词组删除；
28.若所述词组不属于所述预设类别，则将所述词组与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频。
29.在本发明第一方面一种可选的实施方式中，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频之后还包括：
30.若各个所述词组的所述词频全为零，则将所述文本输入到预置的网络搜索框中；
31.获取所述文本的网络搜索结果并展示给用户。
32.在本发明第一方面一种可选的实施方式中，所述利用ocr识别技术对所述控件图像集进行逐个扫描识别包括：
33.对所述控件图像集中的每张控件图像进行预处理，所述预处理包括尺寸标准化、灰度化和二值化；
34.对预处理后的每张所述控件图像进行单字切割，获得若干的单字图像；
35.对每张所述单字图像提取文字特征向量并与预置特征模板库进行模板粗分类和模板细匹配，识别出每张所述单字图像对应的文字；
36.对组成每张所述控件图像的若干所述单字图像分别得到的所述文字进行收集汇总。
37.在本发明第一方面一种可选的实施方式中，所述生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作包括:
38.生成所述位置的模拟点击指令并判断所述车载中控操作系统是否开启无障碍模式；
39.若所述车载中控操作系统开启了所述无障碍模式，则调用所述无障碍模式提供的功能接口执行所述模拟点击指令；
40.若所述车载中控操作系统未开启所述无障碍模式，则生成需要开启所述无障碍模式的提醒弹窗，在所述提醒弹窗上生成跳转至开启所述无障碍模式的路径链接。
41.本发明第二方面提供了一种车载中控的交互系统，所述车载中控的交互系统包括：
42.监听模块，用于监听车载中控操作系统中的页面跳转事件；
43.扫描模块，用于响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；
44.文字/位置获取模块，用于获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；
45.数据写入模块，用于将各个所述功能描述文字及各个所述功能描述文字对应的所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；
46.语音搜索模块，用于接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；
47.位置查找模块，用于获取所述功能描述文字对应的所述控件元素的所述位置；
48.指令生成模块，用于生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。
49.本发明第三方面提供了一种车载中控，所述车载中控包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
50.所述至少一个处理器调用所述存储器中的所述指令，以使得所述车载中控执行如上述任一项所述的车载中控的交互方法。
51.本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的车载中控的交互方法。
52.有益效果：本发明提供了一种车载中控的交互方法及相关设备，方法包括监听车载中控操作系统中的页面跳转事件；响应于页面跳转事件对跳转后的页面中的控件元素进行扫描；获取各个控件元素的功能描述文字以及各个控件元素在跳转后的页面中的位置；将各个功能描述文字及各个功能描述文字对应的控件元素在页面中的位置绑定写入到预置文本搜索引擎的数据表中；接收用户的语音指令，通过预置文本搜索引擎搜索到语音指令匹配的功能描述文字；获取功能描述文字对应的控件元素的所述位置；生成位置的模拟点击指令并执行。本发明将语义指令转化成模拟点击进行人机交互，结合搜索引擎实现语音文本内容匹配，无需事先适配，支持动态更新的页面。
附图说明
53.图1为本发明一种车载中控的交互方法的一个实施例示意图；
54.图2为本发明一种车载中控的交互系统的一个实施例示意图；
55.图3为本发明一种车载中控的一个实施例示意图。
具体实施方式
56.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚
地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
57.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明第一方面提供了一种车载中控的交互方法，所述车载中控的交互方法包括：
58.s100、监听车载中控操作系统中的页面跳转事件；在本发明中，为了实现对车载中控操作系统中的页面跳转事件的监听，可以在系统后台常驻一个监听进程实时监听页面跳转，当监听到页面发生跳转时，进入步骤s200；
59.s200、响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；在本发明中，页面每发生一次挑跳转，就会执行一次页面扫描，扫描的目的在于获取得到页面中所存在的控件以便于后续完成对控件的模拟点击；
60.s300、获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；在本发明中，目的就是要实现车载中控的语音控制，要实现控件的语音控制，首先就需要知道控件的名称，在知道控件的名称之后，还需要知道控件在界面上的准确位置；
61.s400、将各个所述功能描述文字及各个所述功能描述文字对应的所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；在本发明中，所述功能描述文字具体指的就是控件在界面上的显示名称，所述控件元素在所述页面中的所述位置指的可以是所述控件元素图形对象的中心位置，在所述控件元素不存在图形对象时，所述控件元素在所述页面中的所述位置也可以指的是控件元素功能描述文字中某个文字的中心点坐标；
62.s500、接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；在本发明中，接收到用户语音之后，系统内置的语音引擎会把语音转换成文本，再用得到的文本到文本搜索引擎进行搜索，获得匹配的功能描述文字；
63.s600、获取所述功能描述文字对应的所述控件元素的所述位置；在本发明中，预置文本搜索引擎的数据表中所述功能描述文字及所述功能描述文字是同行不同列存储的，在得到了匹配的功能描述文字之后，往右遍历即可得到所述功能描述文字对应的位置；
64.s700、生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。在本发明中，由于是通过扫描控件在界面上的名称，通过名称获得控件在界面上的位置之后模拟点击来完成车载中控系统的操作的，这样就无需预先对车载中控系统的每一项功能进行预先适配，降低了方案的实施难度，并且还可以实现对车载中控系统软件的语音操控。
65.在本发明第一方面一种可选的实施方式中，所述响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描包括；
66.解析跳转后的所述页面的组成，获得所述控件元素在跳转后的所述页面中的分布；具体来说，车载中控界面上的所有元素并不都是控件元素，对于非控件元素是不能点击的，所以在扫描界面的时候需要先把控件元素挑出来，这一步可以通过解析跳转后的所述页面的代码来实现，一般来讲，在页面使用的代码组成中不同元素类型的标识是不相同的，通过分析元素标识就可以得到界面中包含的控件元素，而在元素标识的后面会写有对应控件元素的图片资源以及控件元素的显示参数(包括中心位置)，所以这一步骤可以直接到界
面的代码层进行；
67.基于所述分布对跳转后的所述页面进行分割，并提取得到控件图像集；在该步骤中，如果是直接在代码层进行的控件元素解析，这一步就是从控件元素标识后面获取得到空间元素的图像资源，收集所有控件元素的图像资源得到所述控件图像集；
68.利用ocr识别技术对所述控件图像集进行逐个扫描识别。在该步骤中，就是通过ocr识别出控件元素图像上的文字，以便于通过文字确定语音控制的是哪个控件和获取到这个控件的位置。
69.在本发明第一方面一种可选的实施方式中，所述接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字包括：
70.接收用户的语音指令，通过预置的语音转文字算法获得所述语音指令对应的文本；在该步骤中，语音转文字算法的具体处理步骤包括收集语音的音频信号，然后对音频信号进行切割，之后对切割得到的音频信号片段进行向量化，之后将得到的向量输入到声学模型转换成字母，再将字母转换成拼音，通过拼音得到所述语音指令对应的文本；
71.将所述文本输入到所述预置文本搜索引擎中进行拆词处理，得到若干的词组；在本发明中，一般来讲，用户的语音指令会包括有很多不属于功能描述文字的成分，所以直接进行匹配肯定是匹配不到对应的控件的，所以需要先对语音指令得到的文本进行拆词处理，获得词组；
72.将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频；为了减小不必要的匹配量，对于上步得到的词组一般会先除去开头的控制描述的通用词(例如打开，播放等)，词性一般为动词，之后在剩余的词组中进行匹配；
73.若各个所述词组的所述词频不全为零，基于各个所述词组的所述词频为各个所述词组分配权重系数；在实际的应用场景中，可以会存在多个控件元素存在相同的词组，通过收集词组的词频，就可以获得词组的代表性，词频越大这种词组的代表性越弱，对应的，这种词组的权重系数也会更低；权重系数的计算过程可以是先各个所述词组的所述词频的倒数之比；然后用1除以所有所述词频的倒数之和得到权重系数均值，再用权重系数均值乘以所述词组的所述词频的倒数，获得所述词组对应的权重系数；
74.对于所述数据表中的每一所述功能描述文字，计算所述功能描述文字包含的所述词组的所述权重系数之和；在本发明中，对于各个所述功能描述文字，所述功能描述文字中包括的所述词组可以有1个或者是多个，通过计算各个所述功能描述文字包括的所述词组的权重系数之和，就可以得到所述功能描述文字的计算匹配度，一般来讲，所述功能描述文字包括的所述词组越多且每个所述词组的词频越小，计算得到的权重系数之和越大，也就代表着所述功能描述文字越匹配；
75.以所述权重系数之和最大的所述功能描述文字作为所述语音指令匹配的所述功能描述文字。在本发明中，最后通过获取得到权重系数之和最大的所述功能描述文字，就可以得到最能代表所述语音指令意思的所述功能描述文字。
76.在本发明第一方面一种可选的实施方式中，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频包括：
77.获取所述词组的词性；在本发明中，所述词性包括动词，名词和形容词等；
78.判断所述词组的词性是否为预设类别；在本发明中，所述预设类别一般来说指的
是动词；
79.若所述词组属于所述预设类别，则将所述词组删除；在本发明中，在词组比较之前，需要先把动词部分删除以减少需要比较的次数；
80.若所述词组不属于所述预设类别，则将所述词组与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频。在本发明中，如果一个所述词组找到了n个所述功能描述文字包含所述词组，则这个所述词组的词频就为n。
81.在本发明第一方面一种可选的实施方式中，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频之后还包括：
82.若各个所述词组的所述词频全为零，则将所述文本输入到预置的网络搜索框中；在本发明中，各个所述词组的所述词频全为零，也就是说语音指令对应的文本匹配不到对应的所述功能描述文字，也语音指令对应的文本不是点击控件的指令，而是网络搜索的指令，此时，将语音指令对应的文本输入预设的网络搜索框中进行搜索即可，所述网络搜索框中常驻与车载操作系统的顶部，不会随页面的切换而变化；
83.获取所述文本的网络搜索结果并展示给用户。在本发明中，当搜索到结果之后，所述网络搜索框的下边缘会自动向下延伸出下拉栏以承载所述文本的网络搜索结果。
84.在本发明第一方面一种可选的实施方式中，所述利用ocr识别技术对所述控件图像集进行逐个扫描识别包括：
85.对所述控件图像集中的每张控件图像进行预处理，所述预处理包括尺寸标准化、灰度化和二值化；对预处理后的每张所述控件图像进行单字切割，获得若干的单字图像；对每张所述单字图像提取文字特征向量并与预置特征模板库进行模板粗分类(模板粗分类的意思就是例如2张图片，同一像素点均为1或均为0则模板相似性计数数加1，最后统计计数大于某一阈值的模板)和模板细匹配(二次统计模板中黑色像素点的相同量或白色像素点的相同量与另一阈值进行对比)，识别出每张所述单字图像对应的文字；对组成每张所述控件图像的若干所述单字图像分别得到的所述文字进行收集汇总。
86.在本发明第一方面一种可选的实施方式中，所述生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作包括:
87.生成所述位置的模拟点击指令并判断所述车载中控操作系统是否开启无障碍模式；若所述车载中控操作系统开启了所述无障碍模式，则调用所述无障碍模式提供的功能接口执行所述模拟点击指令；若所述车载中控操作系统未开启所述无障碍模式，则生成需要开启所述无障碍模式的提醒弹窗，在所述提醒弹窗上生成跳转至开启所述无障碍模式的路径链接。
88.参见图2，本发明第二方面提供了一种车载中控的交互系统，所述车载中控的交互系统包括：
89.监听模块10，用于监听车载中控操作系统中的页面跳转事件；
90.扫描模块20，用于响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；
91.文字/位置获取模块30，用于获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；
92.数据写入模块40，用于将各个所述功能描述文字及各个所述功能描述文字对应的
所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；
93.语音搜索模块50，用于接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；
94.位置查找模块60，用于获取所述功能描述文字对应的所述控件元素的所述位置；
95.指令生成模块70，用于生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。
96.在本发明第二方面一种可选的实施方式中，所述扫描模块包括；
97.页面解析单元，用于解析跳转后的所述页面的组成，获得所述控件元素在跳转后的所述页面中的分布；
98.页面分割单元，用于基于所述分布对跳转后的所述页面进行分割，并提取得到控件图像集；
99.文字识别单元，用于利用ocr识别技术对所述控件图像集进行逐个扫描识别。
100.在本发明第二方面一种可选的实施方式中，所述语音搜索模块包括：
101.语音识别单元，用于接收用户的语音指令，通过预置的语音转文字算法获得所述语音指令对应的文本；
102.拆词单元，用于将所述文本输入到所述预置文本搜索引擎中进行拆词处理，得到若干的词组；
103.比较单元，用于将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频；
104.系数分配单元，用于若各个所述词组的所述词频不全为零，则基于各个所述词组的所述词频为各个所述词组分配权重系数；
105.计算单元，用于对于所述数据表中的每一所述功能描述文字，计算所述功能描述文字包含的所述词组的所述权重系数之和；
106.匹配单元，用于以所述权重系数之和最大的所述功能描述文字作为所述语音指令匹配的所述功能描述文字。
107.在本发明第二方面一种可选的实施方式中，所述比较单元包括：
108.词性获取子单元，用于获取所述词组的词性；
109.判断子单元，用于判断所述词组的词性是否为预设类别；
110.筛选子单元，用于若所述词组属于所述预设类别，则将所述词组删除；
111.比对子单元，用于若所述词组不属于所述预设类别，则将所述词组与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频。
112.在本发明第二方面一种可选的实施方式中，所述语音搜索模块还包括：
113.网络搜索单元，用于若各个所述词组的所述词频全为零，则将所述文本输入到预置的网络搜索框中；
114.结果展示单元，用于获取所述文本的网络搜索结果并展示给用户。
115.在本发明第二方面一种可选的实施方式中，所述文字识别单元包括：
116.预处理子单元，用于对所述控件图像集中的每张控件图像进行预处理，所述预处理包括尺寸标准化、灰度化和二值化；
117.图像切割子单元，用于对预处理后的每张所述控件图像进行单字切割，获得若干
的单字图像；
118.文字匹配子单元，用于对每张所述单字图像提取文字特征向量并与预置特征模板库进行模板粗分类和模板细匹配，识别出每张所述单字图像对应的文字；
119.文字汇总子单元，用于对组成每张所述控件图像的若干所述单字图像分别得到的所述文字进行收集汇总。
120.在本发明第二方面一种可选的实施方式中，所述指令生成模块包括:
121.指令生生成和环境判断单元，用于生成所述位置的模拟点击指令并判断所述车载中控操作系统是否开启无障碍模式；
122.指令执行单元，用于若所述车载中控操作系统开启了所述无障碍模式，则调用所述无障碍模式提供的功能接口执行所述模拟点击指令；
123.权限开启提示单元，用于若所述车载中控操作系统未开启所述无障碍模式，则生成需要开启所述无障碍模式的提醒弹窗，在所述提醒弹窗上生成跳转至开启所述无障碍模式的路径链接。
124.图3是本发明实施例提供的一种车载中控的结构示意图，该车载中控可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器80(central processing units，cpu)(例如，一个或一个以上处理器)和存储器90，一个或一个以上存储应用程序或数据的存储介质100(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对车载中控中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在车载中控上执行存储介质中的一系列指令操作。
125.车载中控还可以包括一个或一个以上电源110，一个或一个以上有线或无线网络接口120，一个或一个以上输入输出接口130，和/或，一个或一个以上操作系统，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图3示出的车载中控结构并不构成对车载中控的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
126.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述的车载中控的交互方法的步骤。
127.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或系统、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
128.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
129.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种车载中控的交互方法，其特征在于，所述车载中控的交互方法包括：监听车载中控操作系统中的页面跳转事件；响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；将各个所述功能描述文字及各个所述功能描述文字对应的所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；获取所述功能描述文字对应的所述控件元素的所述位置；生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。2.根据权利要求1所述的车载中控的交互方法，其特征在于，所述响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描包括；解析跳转后的所述页面的组成，获得所述控件元素在跳转后的所述页面中的分布；基于所述分布对跳转后的所述页面进行分割，并提取得到控件图像集；利用ocr识别技术对所述控件图像集进行逐个扫描识别。3.根据权利要求2所述的车载中控的交互方法，其特征在于，所述接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字包括：接收用户的语音指令，通过预置的语音转文字算法获得所述语音指令对应的文本；将所述文本输入到所述预置文本搜索引擎中进行拆词处理，得到若干的词组；将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频；若各个所述词组的所述词频不全为零，则基于各个所述词组的所述词频为各个所述词组分配权重系数；对于所述数据表中的每一所述功能描述文字，计算所述功能描述文字包含的所述词组的所述权重系数之和；以所述权重系数之和最大的所述功能描述文字作为所述语音指令匹配的所述功能描述文字。4.根据权利要求3所述的车载中控的交互方法，其特征在于，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频包括：获取所述词组的词性；判断所述词组的词性是否为预设类别；若所述词组属于所述预设类别，则将所述词组删除；若所述词组不属于所述预设类别，则将所述词组与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频。5.根据权利要求3所述的车载中控的交互方法，其特征在于，所述将各个所述词组依次与所述数据表中的所述功能描述文字进行匹配，获得所述词组的词频之后还包括：若各个所述词组的所述词频全为零，则将所述文本输入到预置的网络搜索框中；获取所述文本的网络搜索结果并展示给用户。
6.根据权利要求2所述的车载中控的交互方法，其特征在于，所述利用ocr识别技术对所述控件图像集进行逐个扫描识别包括：对所述控件图像集中的每张控件图像进行预处理，所述预处理包括尺寸标准化、灰度化和二值化；对预处理后的每张所述控件图像进行单字切割，获得若干的单字图像；对每张所述单字图像提取文字特征向量并与预置特征模板库进行模板粗分类和模板细匹配，识别出每张所述单字图像对应的文字；对组成每张所述控件图像的若干所述单字图像分别得到的所述文字进行收集汇总。7.根据权利要求6所述的车载中控的交互方法，其特征在于，所述生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作包括:生成所述位置的模拟点击指令并判断所述车载中控操作系统是否开启无障碍模式；若所述车载中控操作系统开启了所述无障碍模式，则调用所述无障碍模式提供的功能接口执行所述模拟点击指令；若所述车载中控操作系统未开启所述无障碍模式，则生成需要开启所述无障碍模式的提醒弹窗，在所述提醒弹窗上生成跳转至开启所述无障碍模式的路径链接。8.一种车载中控的交互系统，其特征在于，所述车载中控的交互系统包括：监听模块，用于监听车载中控操作系统中的页面跳转事件；扫描模块，用于响应于所述页面跳转事件，对跳转后的页面中的控件元素进行扫描；文字/位置获取模块，用于获取各个所述控件元素的功能描述文字以及各个所述控件元素在跳转后的所述页面中的位置；数据写入模块，用于将各个所述功能描述文字及各个所述功能描述文字对应的所述控件元素在所述页面中的所述位置绑定写入到预置文本搜索引擎的数据表中；语音搜索模块，用于接收用户的语音指令，通过所述预置文本搜索引擎搜索到所述语音指令匹配的所述功能描述文字；位置查找模块，用于获取所述功能描述文字对应的所述控件元素的所述位置；指令生成模块，用于生成所述位置的模拟点击指令并执行，以实现所述语音指令对所述车载中控的操作。9.一种车载中控，其特征在于，所述车载中控包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述车载中控执行如权利要求1-7中任一项所述的车载中控的交互方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的车载中控的交互方法。

技术总结
本发明提供了一种车载中控的交互方法及相关设备，其中，方法包括：监听车载中控操作系统中的页面跳转事件；响应于页面跳转事件对跳转后的页面中的控件元素进行扫描；获取各个控件元素的功能描述文字以及各个控件元素在跳转后的页面中的位置；将各个功能描述文字及各个功能描述文字对应的控件元素在页面中的位置绑定写入到预置文本搜索引擎的数据表中；接收用户的语音指令，通过预置文本搜索引擎搜索到语音指令匹配的功能描述文字；获取功能描述文字对应的控件元素的所述位置；生成位置的模拟点击指令并执行。本发明将语义指令转化成模拟点击进行人机交互，结合搜索引擎实现语音文本内容匹配，无需事先适配，支持动态更新的页面。面。面。


技术研发人员：钟涌 杨德文 皮碧虹 龙丁奋
受保护的技术使用者：深圳市同行者科技有限公司
技术研发日：2023.03.30
技术公布日：2023/7/20