一种输入检测装置、系统及其相关设备的制作方法

1.本技术涉及电子技术领域，尤其是一种输入检测装置、系统及其相关设备。


背景技术：

2.现有电脑终端主要是依靠触摸屏、触控板或鼠标来进行输入。在多人会议场景下，每个与会人的位置不同，但触摸屏、触控板和鼠标等输入装置在某一时刻下只能处在一个位置，需要通过换位置或者“抢夺鼠标”来对电脑终端的输入进行控制，或者由专门的一个与会人对电脑终端的输入进行控制(例如手握鼠标，或者靠近电脑终端可以触碰电脑终端的触摸屏或触控板的人对电脑终端进行输入)，其他人只能通过“隔空比划”请求控制电脑终端输入的人在电脑设备上输入。由此可以看出，现有技术中的电脑终端的这种输入方式导致会议效率低。


技术实现要素：

3.本技术提供了一种输入检测装置、系统及其相关设备，通过提供一种新的输入检测装置，可以提高会议效率，并且还可以降低成本。
4.第一方面，本技术实施例提供了一种输入检测装置，该输入检测装置包括处理模块以及与处理模块耦合的麦克风阵列。其中，该麦克风阵列包括至少两个麦克风；该至少两个麦克风可以采集声源发出的目标音频信号；该处理模块可以利用数模转换(analog-to-digital converter，adc)获取各个麦克风采集到的目标音频信号，并对目标音频信号进行信号处理，得到目标音频信号的特征信息。然后该处理模块根据目标音频信号中的特征信息以及至少两个麦克风的位置信息，确定声源在声源检测区域中的发声位置，并根据声源在声源检测区域中的发声位置，在与声源检测区域关联的操作执行区域中确定执行位置。进一步的，该处理模块还可以根据目标音频信号中的特征信息确定目标操作，并在执行位置中执行目标操作对应的操作指令。
5.本技术实施例中的输入检测装置增加了麦克风阵列，提供一种新的输入检测装置，基于声源定位来确定作为声源的目标操作的发声位置，并根据该发声位置关联确定执行位置，在根据声源产生的目标音频信号的特征信息识别出具体的目标操作的情况下，在执行位置执行该目标操作对应的操作指令，从而实现替代外置的鼠标以及较大体积的触控板的输入方式，实施本技术实施例，可以降低产品成本，减少堆叠体积，并且可以在多人会议场景中提高会议效率，操作便捷。
6.结合第一方面，在第一种可能的实现方式中，上述处理模块还可以在检测到唤醒信号的情况下，根据目标音频信号中的特征信息以及至少两个麦克风的位置信息，确定声源在声源检测区域中的发声位置；其中，该目标音频信号为在检测到唤醒信号之后，从至少两个麦克风获取到的音频信号。由于麦克风阵列时刻在采集外界的声音，在没有操作的情况下，麦克风采集到的都是背景噪声，所以实施本技术实施例，可以在检测到唤醒信号之后，处理模块才去确定发声位置，减小处理模块的运算量，并且可以减小误触检测。
7.结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，上述唤醒信号包括第一唤醒音频帧信号和第二唤醒音频帧信号；其中，该第一唤醒音频帧信号与该第二唤醒音频帧信号之间的时间间隔小于第一预设时间间隔，且该第一唤醒音频帧信号与该第二唤醒音频帧信号的信号幅值均大于第一阈值。
8.结合第一方面或结合第一方面上述任意一种可能的实现方式，在第三种可能的实现方式中，上述处理模块根据目标音频信号中的特征信息确定目标操作，具体实现为：
9.上述处理模块可以在检测到目标音频信号中只包括一个第一有效音频帧信号的情况下，确定目标操作为单击操作；其中，第一有效音频帧信号对应的信号幅值大于第二阈值。
10.结合第一方面、结合第一方面第一种可能的实现方式或结合第一方面第二种可能的实现方式，在第四种可能的实现方式中，上述处理模块根据目标音频信号中的特征信息确定目标操作，具体实现为：
11.上述处理模块还可以在检测到目标音频信号中包括两个第二有效音频帧信号的情况下，确定目标操作为双击操作；其中，两个第二有效音频帧信号之间的时间间隔小于第二预设时间间隔，且两个第二有效音频帧信号的信号幅值均大于第三阈值；两个第二有效音频帧信号对应的发声位置相同，任一第二有效音频帧信号对应的发声位置为处理模块根据任一第二有效音频帧信号的特征信息以及至少两个麦克风的位置信息确定。
12.结合第一方面、结合第一方面第一种可能的实现方式或结合第一方面第二种可能的实现方式，在第五种可能的实现方式中，上述处理模块根据目标音频信号中的特征信息确定目标操作，具体实现为：
13.处理模块可以在检测到目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定目标操作为滑动滚轮操作或光标移动操作；
14.其中，各个第三有效音频帧信号的信号幅值大于第四阈值；每个第三有效音频帧信号对应的发声位置不同，任一第三有效音频帧信号对应的发声位置为处理模块根据任一第三有效音频帧信号的特征信息以及至少两个麦克风的位置信息确定。
15.结合第一方面第五种可能的实现方式，在第六种可能的实现方式中，上述处理模块在检测到目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定目标操作为滑动滚轮操作或光标移动操作，具体包括：
16.处理模块在检测到目标音频信号中包括至少两个连续第三有效音频帧信号和第一预设数量个第四有效音频帧信号的情况下，确定目标操作为滑动滚轮操作；
17.其中，第四有效音频帧信号对应的信号幅值大于第五阈值；若第一预设数量大于1，则各个相邻的第四有效音频帧信号之间的时间间隔小于第三预设时间间隔。
18.结合第一方面第五种可能的实现方式，在第七种可能的实现方式中，上述处理模块在检测到目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定目标操作为滑动滚轮操作或光标移动操作，具体包括：
19.处理模块在检测到目标音频信号中包括至少两个连续第三有效音频帧信号和第二预设数量个第五有效音频帧信号的情况下，确定目标操作为光标移动操作；
20.其中，第五有效音频帧信号的信号幅值大于第六阈值；若第二预设数量大于1，则各个相邻的第五有效音频帧信号之间的时间间隔小于第四预设时间间隔。
21.结合第一方面第一种可能的实现方式或结合第一方面第二种可能的实现方式，在第八种可能的实现方式中，上述唤醒信号包括第一唤醒音频帧信号；上述处理模块可以根据该第一唤醒音频帧信号以及至少两个麦克风的位置信息，确定该第一唤醒音频帧信号对应的发声位置；并根据该第一唤醒音频帧信号对应的发声位置确定上述声源检测区域。
22.结合第一方面第八种可能的实现方式，在第九种可能的实现方式中，上述输入检测装置还包括可编程增益放大模块，其中该可编程增益放大模块设于麦克风阵列与处理模块之间。具体实现中，该可编程增益放大模块可以接收上述处理模块发送的调节信息，并根据调节信息改变麦克风阵列对目标音频信号的放大倍数；其中，该调节信息为上述处理模块根据声源检测区域与麦克风阵列之间的距离确定。
23.结合第一方面或结合第一方面上述任意一种可能的实现方式，在第十种可能的实现方式中，上述目标音频信号为特定频率的音频信号。本技术实施例中，克风阵列采集到高信噪比的特定频率的音频信号，可以提高输入检测装置的检测精度，减小误触检测。
24.结合第一方面或结合第一方面上述任意一种可能的实现方式，在第十一种可能的实现方式中，上述声源检测区域为固体介质的一部分；上述麦克风阵列中的各个麦克风与该固体介质接触。本技术实施例通过固体介质来采集目标音频信号，可以提高音频信号的传播质量。
25.第二方面，本技术实施例提供了一种输入检测系统，该输入检测系统包括声波发生器以及结合第一方面第十种可能的实现方式中的输入检测装置；其中，该声波发生器可以发出特定频率的音频信号。
26.结合第二方面，在第一种可能的实现方式中，上述声波发生器可以在敲击固体介质时发出所述特定频率的音频信号。
27.第三方面，本技术实施例提供了一种电子设备，该电子设备包括显示装置以及结合第一方面或结合第一方面上述任意一种可能的实现方式中的输入检测装置。该显示装置可以对输入检测装置的操作执行进行显示。
28.第四方面，本技术实施例提供了一种电子设备，该电子设备包括显示装置以及结合二方面或结合第二方面第一种可能的实现方式中的输入检测装置。该显示装置可以对输入检测装置的操作执行进行显示。
29.应理解的是，本技术上述多个方面的实现和有益效果可互相参考。
附图说明
30.图1为本技术实施例提供的输入检测装置的一应用场景示意图；
31.图2为本技术实施例提供的输入检测系统的一系统架构图；
32.图3为本技术实施例提供的输入检测装置的一结构框图；
33.图4为本技术实施例提供的声源在声源检测区域中的发声位置的一曲线；
34.图5为本技术实施例提供的声源在声源检测区域中的发声位置的又一曲线；
35.图6a至图6d为本技术实施例中提供的目标音频信号的波形示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.下面结合附图来对本技术的技术方案的实施作进一步的详细描述。
38.参见图1，图1为本技术实施例提供的输入检测装置的一应用场景示意图。如图1所示，本技术实施例提供的输入检测装置10可以应用于多人会议场景。示例性的，用户小王通过手指在固体介质(如桌面)敲击或滑动形成声源，该声源产生的音频信号可以通过桌面传播至输入检测装置10中的麦克风阵列102。
39.麦克风阵列102中的各个麦克风分别与输入检测装置10中的处理模块101耦合，处理模块101可以接收每个麦克风采集到的音频信号。处理模块101基于每个麦克风采集到的目标音频信号，采用现有技术中的声源定位算法，确定用户小王的手指在声源检测区域a中敲击或滑动的位置(即声源的发声位置)。示例性的，该声源检测区域a可以例如是图1中示出的固体介质(如桌面)的一部分，其中，每个麦克风与固体介质(如桌面)直接接触，可以提高音频信号的传播质量。
40.在一些可行的实施方式中，该声源检测区域a可以是预先设置的区域，或者，该声源检测区域a可以是根据用户小王的特定操作确定的，此时该特定操作可以产生特定的音频信号(例如第一唤醒音频帧信号)，则处理模块101可以根据该第一唤醒音频帧信号对应的发声位置确定声源检测区域a。
41.处理模块101将该声源检测区域a与操作执行区域建立关联关系，由此可以将声源在声源检测区域a的发声位置映射到操作执行区域中的执行位置。处理模块101根据声源产生的目标音频信号中的特征信息识别出目标操作(例如单击操作、双击操作、滑动滚轮操作或光标移动操作)，在操作执行区域中的执行位置执行该目标操作对应的操作指令。
42.在一些可行的实施方式中，目标音频信号中的特征信息可以包括目标音频信号对应的信号幅值、该目标音频信号包括的有效音频帧信号的数量和相邻两个有效音频帧信号之间的时间间隔中的至少一个。
43.进一步的，在一些可行的实施方式中，处理模块101还可以控制显示装置(例如显示装置11和显示装置12)的显示。例如，处理模块101按照显示装置11的显示区域的大小来确定操作执行区域的大小，并按照对应的比例与声源检测区域a建立关联关系，当用户小王在声源检测区域a进行单击操作时，处理模块101可以控制显示装置11在对应的位置显示光标单击。显示装置12可以理解为显示装置11的投屏处理，具体实现过程可以参考现有技术的投屏显示。
44.本技术实施例中的输入检测装置10和显示装置11可以适用于笔记本电脑或平板电脑等电子设备中，区别于现有技术中的鼠标、触控板和触摸板等输入方式，本技术实施例提供了一种新的电子设备的输入检测方式，通过用户操作在固体介质(如桌面)形成声源，产生目标音频信号，在电子设备中设置的麦克风阵列102通过该固体介质接收该目标音频信号，该电子设备中的处理模块101基于该目标音频信号进行信号处理，采用声源定位算法确定用户操作的位置(即声源的发声位置)，并基于目标音频信号的特征信息识别目标操作，从而处理模块101可以在与声源的发声位置对应的执行位置执行该目标操作对应的操作指令。实施本技术实施例，可以替代外置的鼠标以及较大体积的触控板，可以降低产品成
本，减少堆叠体积，并且可以在多人会议场景中提高会议效率，操作便捷。
45.在一些可行的实施方式中，参见图2，图2为本技术实施例提供的输入检测系统的一系统架构图。如图2所示，该输入检测系统包括声波发生器21和输入检测装置20，区别于图1中示出的用户通过手指敲击固体介质(如桌面)产生音频信号，本技术实施例可以是用户通过声波发生器敲击固体介质(如桌面)发出音频信号，且该声波发生器发出的音频信号具有特定的频率。
46.该输入检测装置20包括处理模块201以及与该处理模块201耦合的麦克风阵列202。该麦克风阵列202中的各个麦克风采集声波发生器21发出的音频信号，由于该声波发生器21发出的音频信号具有特定的频率，则麦克风阵列202中的各个麦克风的选用可以根据该特定的频率来确定，比如声波发生器21发出的音频信号的频率为1khz，则麦克风可以选用在频率段0.8khz至1.2khz之间的型号。处理模块201也可以依据该特定的频率来设置数字滤波器，将不是声波发生器21发出的音频信号进行滤除。此时，该处理模块201则可以基于麦克风阵列202中的各个麦克风采集到的音频信号，采用现有技术中的声源定位算法，确定声波发生器21在声源检测区域a中敲击或滑动的位置(即声源的发声位置)。
47.处理模块201也可以根据声波发生器21发出的特定频率的音频信号中的特征信息识别出目标操作(例如单击操作、双击操作、滑动滚轮操作或光标移动操作)，在操作执行区域中的执行位置执行该目标操作对应的操作指令。
48.该特定频率的音频信号中的特征信息可以信号幅值、有效音频帧数量、相邻有效音频帧信号之间的时间间隔和信号频率中的至少一个，可以理解的是，声波发生器21发出的特定频率的音频信号与手指敲击或滑动产生的音频信号的区别在于，手指敲击或滑动产生的音频信号具有多个随机的频率，而声波发生器21的音频信号具有确定的某个或几个频率，可以与外界的声音信号有明显的区分。
49.进一步的，在一些可行的实施方式中，处理模块201也可以控制显示装置(图中未示出)的显示，具体实现可以参考处理模块101控制显示装置的描述，此处不作赘述。
50.实施本技术实施例，采用声波发生器来发出特定频率的音频信号，可以保证麦克风阵列采集到高信噪比的音频信号，从而提高输入检测装置的检测精度，减小误触检测。
51.在一些可行的实施方式中，本技术实施例中的电子设备可以包括上述的声波发生器21和输入检测装置20。比如说，输入检测装置20可以具体实现为笔记本电脑或平板电脑等，而声波发生器21可以具体实现现有技术中的鼠标、触控板和触摸板等配件的输入功能。本技术实施例提供了一种新的电子设备的输入检测方式，通过声波发生器21在固体介质(如桌面)敲击形成声源，产生目标音频信号，在输入检测装置20中设置的麦克风阵列202通过该固体介质接收该目标音频信号，该输入检测装置20中的处理模块201基于该目标音频信号进行信号处理，采用声源定位算法确定声波发生器21的敲击位置(即声源的发声位置)，并基于目标音频信号的特征信息识别目标操作，从而处理模块201可以在与声源的发声位置对应的执行位置执行该目标操作对应的操作指令。区别于只有输入检测装置的电子设备，本技术实施例提供的电子设备包括声波发生器，该声波发生器可以发出特定频率的音频信号，可以保证麦克风阵列采集到高信噪比的音频信号，从而提高输入检测装置的检测精度，减小误触检测。换句话来说，本技术实施例提供的电子设备具有较高的检测精度。
52.下面结合附图对本技术实施例提供的输入检测装置的具体结构进行详细说明。
53.参见图3，图3为本技术实施例提供的输入检测装置的一结构框图。如图3所示，输入检测装置包括处理模块301以及与处理模块301耦合的麦克风阵列302。其中，麦克风阵列302包括至少两个麦克风。
54.需要首先说明的是，在实际产品应用中，本技术中的处理模块可以具体实现为至少一个芯片或者是可以建立通信连接的多个芯片。示例性的，该处理模块可以是微控制单元(micro control unit，mcu)、中央处理单元(central processing unit，cpu)、其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
55.麦克风阵列302中的至少两个麦克风可以采集声源发出的目标音频信号。其中，该目标音频信号可以是由用户操作产生的，例如用户敲击固体介质(如桌面)，或者用户在固体介质(如桌面)滑动产生目标音频信号。其中，每个麦克风通过空气介质来采集目标音频信号，也可以与固体介质(如桌面)直接接触，通过固体介质来采集目标音频信号，提高音频信号的传播质量。
56.处理模块301与各个麦克风之间具有连接关系，该处理模块301可以利用数模转换(analog-to-digital converter，adc)获取各个麦克风采集到的目标音频信号，并对目标音频信号进行信号处理，得到目标音频信号的特征信息。此时，该处理模块301可以根据目标音频信号中的特征信息以及至少两个麦克风的位置信息，确定声源在声源检测区域中的发声位置。
57.可选的，处理模块301进一步对该目标音频信号进行滤波，比如说，处理模块301可以对该目标音频信号进行傅里叶变换得到该目标音频信号的信号频率随时间变化的关系。由于背景噪声一直存在，则会导致该目标音频信号中也会存在恒定频率的信号，为了去除背景噪声，处理模块301可以将该目标音频信号的恒定频率(比如120hz)的信号进行滤除。
58.在一些可行的实施方式中，处理模块301可以在检测到唤醒信号的情况下，根据目标音频信号中的特征信息以及至少两个麦克风的位置信息，确定声源在声源检测区域中的发声位置。此时，该目标音频信号是处理模块301在检测到唤醒信号之后，利用adc从各个麦克风中获取到的音频信号。
59.例如，该唤醒信号可以包括第一唤醒音频帧信号和第二唤醒音频帧信号，其中，该第一唤醒音频帧信号与该第二唤醒音频帧信号之间的时间间隔小于第一预设时间间隔，且该第一唤醒音频帧信号与该第二唤醒音频帧信号的信号幅值均大于第一阈值。可以理解的是，该唤醒信号也可以是音频信号，经过各个麦克风采集之后，由处理模块301利用adc从各个麦克风中获取得到。
60.示例性的，该唤醒信号可以具体实现为双击操作，换句话来说，处理模块301在检测到双击操作之后，开始执行发声位置确定的步骤。可选的，处理模块301可以根据任一麦克风采集到的音频信号来确定唤醒信号到来。
61.可选的，该唤醒信号可以具体实现为按钮按下，则处理模块301可以通过对按钮是否按下进行检测，在检测到唤醒按钮按下的情况下，确定唤醒信号到来，开始执行发声位置确定的步骤。
62.由于麦克风阵列302时刻在采集外界的声音，在用户没有操作的情况下，麦克风采
集到的都是背景噪声，所以实施本技术实施例，可以在检测到唤醒信号之后，处理模块才去确定发声位置，减小处理模块的运算量，并且可以减小误触检测。
63.进一步的，在一些可行的实施方式中，处理模块301可以根据第一唤醒音频帧信号以及两个麦克风的位置信息，采用声源定位算法确定第一唤醒音频帧信号对应的发声位置，并根据该第一唤醒音频帧信号对应的发声位置确定声源检测区域。比如说，以第一唤醒音频帧信号对应的发声位置为圆心，以第一预设半径为半径确定得到的圆形为声源检测区域。或者，以第一唤醒音频帧信号对应的发声位置为矩形对顶角的交点，以第一预设边长和第二预设边长得到的矩形为声源检测区域等。
64.可选的，在一些可行的实施方式中，输入检测装置还包括可编程增益放大模块303，该可编程增益放大模块303设于麦克风阵列302与处理模块301之间。具体实现中，处理模块301确定了声源检测区域，则处理模块301可以根据声源检测区域与麦克风阵列之间的距离(例如声源检测区域的中心与麦克风阵列的中心)确定调节信息，并将该调节信息发送至可编程增益放大模块303。可以理解的是，可编程增益放大模块303可以对麦克风阵列中的各个麦克风采集到的目标音频信号进行放大，而处理模块301发送的调节信息中携带有放大倍数或者携带有减小或增大放大倍数的指令。示例性的，处理模块301可以在声源检测区域与麦克风阵列之间的距离大于第一距离的时候，向可编程增益放大模块303发送增大放大倍数的指令；而处理处理模块301在声源检测区域与麦克风阵列之间的距离小于第二距离的时候，向可编程增益放大模块303发送减小放大倍数的指令。实施本技术实施例，可以提高输入检测的精度。
65.示例性的，下面结合图4至图5对本技术实施例如何确定发声位置进行详细说明。
66.参见图4，图4为本技术实施例提供的声源在声源检测区域中的发声位置的一曲线。如图4所示，麦克风阵列302中的两个麦克风的位置分别为f1(-a，0)和f2(a，0)，由于麦克风之间的位置不同，导致两个麦克风之间采集同一声源产生的音频信号具有时间差。此时，根据双曲线的数学定义，可以确定图4中示出的曲线1。则声源的发声位置在曲线1上。
67.为了进一步地确定声源的发声位置的具体坐标，参见图5，图5为本技术实施例提供的声源在声源检测区域中的发声位置的又一曲线。图5在图4的基础上增加了一个麦克风，位置为f3(b，c)。每两个麦克风可以确定一条曲线，以位置在f3(b，c)的麦克风和位置在f2(a，0)的麦克风采集到同一声源产生的音频信号的时间差确定图5中示出的曲线2。此时曲线1与曲线2的交点m(x，y)即为声源的发声位置。
68.由结合图4和图5的描述可以看出，声源的发声位置的确定包括两个步骤：一是处理模块301确定声源发出的目标音频信号到达两个麦克风之间的相对时间差；二是处理模块301利用两个麦克风之间的相对时间差，结合麦克风的位置，计算声源的发声位置。
69.示例性的，处理模块可以采用广义互相关方法或自适应波束形成算法，确定声源发出的目标音频信号到达两个麦克风之间的相对时间差。
70.具体实现中，处理模块301可以先通过现有的时延算法(例如最小均方自适应延时估计方法)大致估计两个麦克风之间的相对时间差，通过估计得到的两个麦克风之间的相对时间差确定图5中示出的曲线1和曲线2，此时处理模块301可以判断声源的发声位置m(x，y)与参考麦克风(即麦克风阵列中第一个采集到声源产生的目标音频信号的麦克风)之间的距离r，若r《2d2/λ，则处理模块301确定执行近场模型的算法来进一步确定两个麦克风之
间的相对时间差；若r》2d2/λ，则处理模块301确定执行远场模型的算法来进一步确定两个麦克风之间的相对时间差。其中，d为麦克风阵列中各个麦克风之间的排列间距，比如各个麦克风按圆形阵列排布，那d就是圆的直径，或者各个麦克风按照矩形阵列来排布，那d就是矩形最小的边长；λ为目标音频信号的波长，可以是目标音频信号中的最大频率对应的波长。
71.可以理解的是，近场模型与远场模型之间的区别在于，目标音频信号的声波到达麦克风阵列302的波形情况。
72.在近场模型的情况下，麦克风阵列302中的各个麦克风采集到的目标音频信号是球面波，此时，处理模块301采用广义互相关方法优化两个麦克风之间的相对时间差的计算。即处理模块301通过计算两个麦克风采集到的目标音频信号的互相关函数，将互相关函数的峰值对应的时间点作为两个麦克风之间的相对时间差。其中的具体过程可以参考现有技术，此处不作赘述。
73.在远场模型的情况下，麦克风阵列302中的各个麦克风采集到的目标音频信号是平面波，此时，处理模块301采用自适应波束形成算法优化两个麦克风之间的相对时间差的计算。即处理模块301通过对每个麦克风采集到的目标音频信号进行信号滤波，并进行加权、延迟相加，最后形成波束，利用波束在全局范围内进行角度扫描，将输出功率最大的角度作为声源的角度。可以理解的是，在平面波中，确定了声源的角度，已知两个麦克风之间的排列间距，可以根据几何关系计算得到两个麦克风之间的相对时间差。
74.进一步的，处理模块301利用两个麦克风之间的相对时间差，结合麦克风的位置，计算声源的发声位置。其中，各个麦克风是预先设置在输入检测装置中的，相对位置是固定的，即可以理解为麦克风的位置已知。
75.处理模块301根据声源在声源检测区域中的发声位置，在与声源检测区域关联的操作执行区域中确定执行位置。具体实现中，处理模块301确定的声源检测区域与操作执行区域之间具有映射关系。比如说，声源检测区域的是长为10厘米，宽为3厘米的矩形区域，而操作执行区域也是长为10厘米，宽为3厘米的矩形区域，则声源检测区域与操作执行区域之间的是一一对应的映射关系。即声源在声源检测区域中的发声位置坐标是(1,1)时，对应在操作执行区域中的执行位置坐标也是(1,1)。如果两者之间具有比例关系，也可以按照比例来进行映射，此处不对声源检测区域如何与操作执行区域之间的关联关系进行限制。示例性的，当该处理模块301具体用于笔记本电脑时，该操作执行区域与笔记本电脑的显示屏的大小有关。
76.处理模块301还可以根据目标音频信号中的特征信息确定目标操作，并在执行位置中执行目标操作对应的操作指令。具体实现中，处理模块301可以根据目标音频信号对应的信号幅值、该目标音频信号包括的有效音频帧信号的数量和相邻两个有效音频帧信号之间的时间间隔，确定目标操作。
77.在一些可行的实施方式中，处理模块301在检测到目标音频信号中只包括一个第一有效音频帧信号的情况下，确定目标操作为单击操作。此时，该目标音频信号的波形图可以如图6a所示。从图6a可以看出，处理模块301可以是在检测到唤醒信号之后，再检测到一个第一有效音频帧信号，确定该目标操作为单击操作，并在操作执行区域中的执行位置执行预设好的单击操作对应的单击操作指令。其中，唤醒信号中包括的第一唤醒音频帧信号
和第二唤醒音频帧信号均大于第一阈值th1，第一有效音频帧信号对应的信号幅值大于第二阈值th2。需要说明的是，图6a中示出的第一阈值th1大于第二阈值th2。但在实际的应用中，第一阈值th1与第二阈值th2是可以根据输入检测装置的应用场景预先设置的，可以是第一阈值th1大于第二阈值th2，也可以是第一阈值th1小于第二阈值th2，或者第一阈值th1与第二阈值th2相等。换句话来说，本技术实施例不对第一阈值和第二阈值之间的相对大小关系进行限制。
78.在一些可行的实施方式中，处理模块301在检测到目标音频信号中包括两个第二有效音频帧信号的情况下，确定目标操作为双击操作。此时该目标音频信号的波形图可以如图6b所示。从图6b中可以看出，处理模块301可以是在检测到唤醒信号之后，再检测到两个第二有效音频帧信号，确定该目标操作为双击操作，并在操作执行区域中的执行位置执行预设好的双击操作对应的双击操作指令。其中，唤醒信号中包括的第一唤醒音频帧信号和第二唤醒音频帧信号均大于第一阈值th1，两个第二有效音频帧信号的信号幅值均大于第三阈值th3。需要说明的是，图6b中示出的第一阈值th1大于第三阈值th3。但在实际的应用中，第一阈值th1与第三阈值th3是可以根据输入检测装置的应用场景预先设置的，例如唤醒信号可以具体实现为双击操作唤醒，则唤醒信号对应的信号幅值判断与双击操作对应的信号幅值判断可以相等，即第一阈值th1等于第三阈值th3。本技术实施例不对第一阈值和第三阈值之间的相对大小关系进行限制。
79.进一步的，第二有效音频帧信号之间的时间间隔小于第二预设时间间隔。并且，处理模块301可以根据任一第二有效音频帧信号的特征信息以及至少两个麦克风的位置信息确定该任一第二有效音频帧信号对应的发声位置，其中，两个第二有效音频帧信号对应的发声位置相同。可以理解的是，两个第二有效音频帧信号之间的时间间隔和两个第二有效音频帧信号对应的发声位置用来区别双击操作与两次单击操作。
80.在一些可行的实施方式中，处理模块301在检测到目标音频信号中包括至少两个连续第三有效音频帧信号和第一预设数量个第四有效音频帧信号的情况下，确定目标操作为滑动滚轮操作。此时，该目标音频信号的波形图可以如图6c所示。从图6c可以看出，处理模块301可以是在检测到唤醒信号之后，再检测到第一预设数量个第四有效音频帧信号以及至少两个连续的第三有效音频帧信号，确定该目标操作为滑动滚轮操作，并在操作执行区域中的执行位置执行预设好的滑动滚轮操作对应的滑动滚轮操作指令。其中，唤醒信号中包括的第一唤醒音频帧信号和第二唤醒音频帧信号均大于第一阈值th1，各个第三有效音频帧信号的信号幅值大于第四阈值th4，第四有效音频帧信号对应的信号幅值大于第五阈值th5。需要说明的是，图6c中示出的第一阈值th1大于第四阈值th4，且第四阈值th4大于第五阈值th5。但在实际应用中，第一阈值th1、第四阈值th4和第五阈值th5是可以根据输入检测装置的应用场景预先设置的，可以是第一阈值th1大于第四阈值th4，第四阈值th4与第五阈值th5相等。本技术实施例不对第一阈值、第四阈值和第五阈值之间的相对大小关系进行限制。
81.图6c以第一预设数量是1为例，则本技术实施例可以具体实现为用户在固体介质(如桌面)进行单击操作后，在固体介质(如桌面)连续滑动为滑动滚轮操作。示例性的，若第一预设数量大于1，则各个相邻的第四有效音频帧信号之间的时间间隔小于第三预设时间间隔。
82.进一步的，处理模块301根据任一第三有效音频帧信号的特征信息以及至少两个麦克风的位置信息确定该任一第三有效音频帧信号对应的发声位置，其中，每个第三有效音频帧信号对应的发声位置不同。可以理解的是，各个第三有效音频帧信号对应的发声位置不同，区别于双击操作中的两个有效音频帧信号对应的发声位置相同。
83.在一些可行的实施方式中，处理模块301在检测到目标音频信号中包括至少两个连续第三有效音频帧信号和第二预设数量个第五有效音频帧信号的情况下，确定目标操作为光标移动操作。此时，该目标音频信号的波形图可以如图6d所示。从图6d可以看出，处理模块301可以是在检测到唤醒信号之后，再检测到第二预设数量个第五有效音频帧信号以及至少两个连续的第三有效音频帧信号，确定该目标操作为光标移动操作，并在操作执行区域中的执行位置执行预设好的光标移动操作对应的光标移动操作指令。可以理解的是，该第二预设数量与上述第一预设数量的取值不同，则处理模块301根据不同数量的有效音频帧来区分光标移动操作和滑动滚轮操作。例如单击操作之后的连续第三有效音频帧信号为滑动滚轮操作，双击操作之后的连续第三有效音频帧信号为光标移动操作。
84.其中，唤醒信号中包括的第一唤醒音频帧信号和第二唤醒音频帧信号均大于第一阈值th1，各个第三有效音频帧信号的信号幅值大于第四阈值th4，第五有效音频帧信号的信号幅值大于第六阈值th6。同理的，图6d中示出的第一阈值th1大于第四阈值th4，且第四阈值th4大于第六阈值th6。但在实际应用中，第一阈值th1、第四阈值th4和第六阈值th6是可以根据输入检测装置的应用场景预先设置的，可以是第一阈值th1大于第四阈值th4，第四阈值th4与第六阈值th6相等。其中，第六阈值th6与第五阈值th5可以相等。
85.综上可得，本技术实施例不对各个阈值(例如第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值)之间的相对大小关系进行限制，具体的取值与输入检测装置的应用场景有关。
86.图6d以第二预设数量是2为例，各个相邻的第五有效音频帧信号之间的时间间隔小于第四预设时间间隔。换句话来说，处理模块301可以在第四预设时间间隔内检测到两个第五有效音频帧信号(即处理模块301可以检测到双击操作)。
87.在一些可行的实施方式中，处理模块301还可以通过其他的方式确定目标操作。例如，处理模块301可以在检测到目标音频信号中包括第一频率的音频帧信号的情况下，确定目标操作为单击操作；处理模块301可以在检测到目标音频信号中包括第二频率的音频帧信号的情况下，确定目标操作为双击操作；处理模块301可以在检测到目标音频信号中包括第三频率的音频帧信号的情况下，确定目标操作为滑动滚轮操作；处理模块301可以在检测到目标音频信号中包括第四频率的音频帧信号的情况下，确定目标操作为光标移动操作。
88.本技术实施例中的输入检测装置增加了麦克风阵列，提供一种新的输入检测装置，基于声源定位来确定作为声源的目标操作的发声位置，并根据该发声位置关联确定执行位置，在根据声源产生的目标音频信号的特征信息识别出具体的目标操作的情况下，在执行位置执行该目标操作对应的操作指令，从而实现替代外置的鼠标以及较大体积的触控板的输入方式，实施本技术实施例，可以降低产品成本，减少堆叠体积，并且可以在多人会议场景中提高会议效率，操作便捷。
89.需要说明的是，上述术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
90.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种输入检测装置，其特征在于，所述输入检测装置包括处理模块以及与所述处理模块耦合的麦克风阵列；所述麦克风阵列包括至少两个麦克风；所述至少两个麦克风，用于采集声源发出的目标音频信号；所述处理模块，用于根据所述目标音频信号中的特征信息以及所述至少两个麦克风的位置信息，确定所述声源在声源检测区域中的发声位置；所述处理模块，还用于根据所述声源在声源检测区域中的发声位置，在与所述声源检测区域关联的操作执行区域中确定执行位置；所述处理模块，还用于根据所述目标音频信号中的特征信息确定目标操作，并在所述执行位置中执行所述目标操作对应的操作指令。2.根据权利要求1所述的输入检测装置，其特征在于，所述处理模块，用于根据所述目标音频信号中的特征信息以及所述至少两个麦克风的位置信息，确定所述声源在声源检测区域中的发声位置，具体包括：在检测到唤醒信号的情况下，根据所述目标音频信号中的特征信息以及所述至少两个麦克风的位置信息，确定所述声源在声源检测区域中的发声位置；其中，所述目标音频信号为在检测到所述唤醒信号之后，从所述至少两个麦克风获取到的音频信号。3.根据权利要求2所述的输入检测装置，其特征在于，所述唤醒信号包括第一唤醒音频帧信号和第二唤醒音频帧信号；其中，所述第一唤醒音频帧信号与所述第二唤醒音频帧信号之间的时间间隔小于第一预设时间间隔，且所述第一唤醒音频帧信号与所述第二唤醒音频帧信号的信号幅值均大于第一阈值。4.根据权利要求1-3任一项所述的输入检测装置，其特征在于，所述处理模块，还用于根据所述目标音频信号中的特征信息确定目标操作，具体包括：所述处理模块，还用于在检测到所述目标音频信号中只包括一个第一有效音频帧信号的情况下，确定所述目标操作为单击操作；其中，所述第一有效音频帧信号对应的信号幅值大于第二阈值。5.根据权利要求1-3任一项所述的输入检测装置，其特征在于，所述处理模块，还用于根据所述目标音频信号中的特征信息确定目标操作，具体包括：所述处理模块，还用于在检测到所述目标音频信号中包括两个第二有效音频帧信号的情况下，确定所述目标操作为双击操作；其中，所述两个第二有效音频帧信号之间的时间间隔小于第二预设时间间隔，且所述两个第二有效音频帧信号的信号幅值均大于第三阈值；所述两个第二有效音频帧信号对应的发声位置相同，任一第二有效音频帧信号对应的发声位置为所述处理模块根据所述任一第二有效音频帧信号的特征信息以及所述至少两个麦克风的位置信息确定。6.根据权利要求1-3任一项所述的输入检测装置，其特征在于，所述处理模块，还用于根据所述目标音频信号中的特征信息确定目标操作，具体包括：所述处理模块，还用于在检测到所述目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定所述目标操作为滑动滚轮操作或光标移动操作；其中，各个第三有效音频帧信号的信号幅值大于第四阈值；每个第三有效音频帧信号对应的发声位置不同，任一第三有效音频帧信号对应的发声位置为所述处理模块根据所述任一第三有效音频帧信号的特征信息以及所述至少两个麦克风的位置信息确定。
7.根据权利要求6所述的输入检测装置，其特征在于，所述处理模块，还用于在检测到所述目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定所述目标操作为滑动滚轮操作或光标移动操作，具体包括：所述处理模块，还用于在检测到所述目标音频信号中包括所述至少两个连续第三有效音频帧信号和第一预设数量个第四有效音频帧信号的情况下，确定所述目标操作为滑动滚轮操作；其中，所述第四有效音频帧信号对应的信号幅值大于第五阈值；若所述第一预设数量大于1，则各个相邻的第四有效音频帧信号之间的时间间隔小于第三预设时间间隔。8.根据权利要求6所述的输入检测装置，其特征在于，所述处理模块，还用于在检测到所述目标音频信号中包括至少两个连续第三有效音频帧信号的情况下，确定所述目标操作为滑动滚轮操作或光标移动操作，具体包括：所述处理模块，还用于在检测到所述目标音频信号中包括所述至少两个连续第三有效音频帧信号和第二预设数量个第五有效音频帧信号的情况下，确定所述目标操作为光标移动操作；其中，所述第五有效音频帧信号的信号幅值大于第六阈值；若所述第二预设数量大于1，则各个相邻的第五有效音频帧信号之间的时间间隔小于第四预设时间间隔。9.根据权利要求2或3所述的输入检测装置，其特征在于，所述唤醒信号包括第一唤醒音频帧信号；所述处理模块，还用于根据所述第一唤醒音频帧信号以及所述至少两个麦克风的位置信息，确定所述第一唤醒音频帧信号对应的发声位置；所述处理模块，还用于根据所述第一唤醒音频帧信号对应的发声位置确定所述声源检测区域。10.根据权利要求9所述的输入检测装置，其特征在于，所述输入检测装置还包括可编程增益放大模块，其中所述可编程增益放大模块设于所述麦克风阵列与所述处理模块之间；所述可编程增益放大模块，用于接收所述处理模块发送的调节信息，并根据所述调节信息改变所述麦克风阵列对所述目标音频信号的放大倍数；其中，所述调节信息为所述处理模块根据所述声源检测区域与所述麦克风阵列之间的距离确定。11.根据权利要求1-10任一项所述的输入检测装置，其特征在于，所述目标音频信号为特定频率的音频信号。12.根据权利要求1-11任一项所述的输入检测装置，其特征在于，所述声源检测区域为固体介质的一部分；所述麦克风阵列中的各个麦克风与所述固体介质接触。13.一种输入检测系统，其特征在于，所述输入检测系统包括声波发生器以及如权利要求11所述的输入检测装置；其中，所述声波发生器用于发出特定频率的音频信号。14.根据权利要求13所述的输入检测系统，其特征在于，所述声波发生器用于在敲击固体介质时发出所述特定频率的音频信号。15.一种电子设备，其特征在于，所述电子设备包括显示装置以及如权利要求1-12任一项所述的输入检测装置；所述显示装置用于所述输入检测装置的操作执行进行显示。16.一种电子设备，其特征在于，所述电子设备包括显示装置以及如权利要求13-14任
一项所述的输入检测系统；所述显示装置用于所述输入检测装置的操作执行进行显示。

技术总结
本申请提供了一种输入检测装置、系统及其相关设备，该输入检测装置包括处理模块以及与处理模块耦合的麦克风阵列。其中，麦克风阵列包括至少两个麦克风；该至少两个麦克风采集声源发出的目标音频信号；处理模块根据目标音频信号中的特征信息以及至少两个麦克风的位置信息，确定声源在声源检测区域中的发声位置，并根据声源在声源检测区域中的发声位置，在与声源检测区域关联的操作执行区域中确定执行位置。进一步的，该处理模块还可以根据目标音频信号中的特征信息确定目标操作，并在执行位置中执行目标操作对应的操作指令。实施本申请，通过提供一种新的输入检测装置，可以提高会议效率，并且还可以降低成本。并且还可以降低成本。并且还可以降低成本。


技术研发人员：吴融融 鞠峥 戴娜
受保护的技术使用者：华为技术有限公司
技术研发日：2021.12.31
技术公布日：2023/7/13