人机交互系统、方法、设备及存储介质

1.本发明涉及人工智能计算领域，尤其是涉及一种人机交互系统、方法、设备及存储介质。


背景技术：

2.在人机交互中，触摸或手写控制是最直观和方便的操作方式，使用触摸板设备，触摸板设备的操作原理分别有电阻式和电容式两类，两类均存在功耗高的问题。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种人机交互系统，能够降低人机交互系统使用的触摸板设备的功耗。
4.本发明还提出一种人机交互方法。
5.本发明还提出一种人机交互设备。
6.本发明还提出一种计算机可读存储介质。
7.第一方面，本发明的一个实施例提供了人机交互系统，包括：
8.触摸输入模块，所述触摸输入模块包括若干摩擦纳米发电机，所述摩擦纳米发电机包括：薄膜层和导电电极层；
9.所述薄膜层内部的电荷分布根据表面滑动发生改变，得到电荷变化信号；其中，所述电荷变化信号表征电荷变化情况；
10.所述导电电极层包括若干导电电极，设置于所述薄膜层下方，所述导电电极层与所述薄膜层连接，所述导电电极根据所述电荷变化信号和地端产生电流，以得到滑动电信号；
11.信号传输模块，用于实时对所述滑动电信号进行采样，得到时序电信号；
12.指令识别模块，用于将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令；
13.控制模块，用于将所述目标控制指令传输至外接设备，以使所述外接设备根据所述目标控制指令执行对应的操作。
14.本发明实施例的人机交互系统至少具有如下有益效果：用户在触摸输入模块的表面上滑动，滑动经过若干摩擦纳米发电机，摩擦纳米发电机的薄膜层内部的电荷分布根据表面滑动的轨迹发生改变，得到表征电荷变化情况的电荷变化信号，摩擦纳米发电机的导电电极层根据电荷变化信号在导电电极上产生静电电荷，导电电极层产生的静电电荷和地端产生电流，以得到滑动电信号，信号传输模块实时采样导电电极在不同时刻生成的滑动电信号，以得到若干时序电信号，指令识别模块将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令，控制模块将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。通过基于若干摩擦纳米发电机设计触摸输入模块，用户在触摸输入模块上滑动，使摩擦纳米发电机的薄膜层上发生电荷变化，并在摩擦纳米发
电机的导电电极层上产生静电电荷，静电电荷与地端产生电流，以得到滑动电信号，信号输入模块根据时间戳实时采样滑动电信号，得到时序电信号，指令识别模块将时序电信号输入指令生成模型生成目标控制指令，控制模块将目标控制指令传输至外接设备，使外接设备根据目标控制指令执行对应的操作，能够降低人机交互系统使用的触摸板设备的功耗。
15.根据本发明的另一些实施例的人机交互系统，若干所述导电电极根据预设的密铺规则排布，且排布的形状为蜂窝状；
16.所述导电电极为第一电极、第二电极和空电极中的任意一种，所述空电极设置于所述第一电极右侧，所述第二电极设置于所述空电极右侧，所述第一电极设置于所述第二电极右侧；
17.相邻的所述第一电极通过导电材料连接，相邻的所述第二电极通过导电材料连接，以使同一种所述导电电极之间形成导电通道。
18.根据本发明的另一些实施例的人机交互系统，所述第一电极包括第一窄条状结构，所述第二电极包括第二窄条状结构，所述第一窄条状结构和所述第二窄条状结构的形状不同，以产生不同的所述滑动电信号。
19.根据本发明的另一些实施例的人机交互系统，所述信号传输模块包括：
20.信号采集单元，用于通过所述信号采集单元内置的电阻分压电路实时采集所述滑动电信号，得到所述时序电信号；
21.信号传输单元，用于将所述时序电信号传输至所述指令识别模块。
22.第二方面，本发明的一个实施例提供了人机交互方法，应用于第一方面所述人机交互系统，所述人机交互系统包括触摸输入模块、信号传输模块、指令识别模块和控制模块，所述触摸输入模块包括若干摩擦纳米发电机，所述摩擦纳米发电机包括：薄膜层和导电电极层，所述方法包括：
23.所述导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号；其中，所述电荷变化信号为所述薄膜层内部的电荷分布根据表面滑动发生改变得到；
24.所述信号传输模块实时对所述滑动电信号进行采样，得到时序电信号；
25.所述指令识别模块将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令；
26.所述控制模块将所述目标控制指令传输至外接设备，以使所述外接设备根据所述目标控制指令执行对应的操作。
27.本发明实施例的人机交互方法至少具有如下有益效果：用户在触摸输入模块的表面上滑动，滑动经过若干摩擦纳米发电机，摩擦纳米发电机的薄膜层内部的电荷分布根据表面滑动的轨迹发生改变，得到表征电荷变化情况的电荷变化信号，摩擦纳米发电机的导电电极层根据电荷变化信号在导电电极上产生静电电荷，导电电极层产生的静电电荷和地端产生电流，以得到滑动电信号，信号传输模块实时采样导电电极在不同时刻生成的滑动电信号，以得到若干时序电信号，指令识别模块将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令，控制模块将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。通过基于若干摩擦纳米发电机设计触摸输入模块，用户在触摸输入模块上滑动，使摩擦纳米发电机的薄膜层上发生电荷变化，并在摩擦纳米发电机的导电电极层上产生静电电荷，静电电荷与地端产生电流，以得到滑动电信号，信号输
入模块根据时间戳实时采样滑动电信号，得到时序电信号，指令识别模块将时序电信号输入指令生成模型生成目标控制指令，控制模块将目标控制指令传输至外接设备，使外接设备根据目标控制指令执行对应的操作，能够降低人机交互系统使用的触摸板设备的功耗。
28.根据本发明的另一些实施例的人机交互方法，所述导电电极包括第一电极、第二电极和空电极，所述第一电极包括第一窄条状结构，所述第二电极包括第二窄条状结构，所述滑动电信号包括第一电信号、第二电信号、第三电信号、第四电信号和第五电信号，所述导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号，包括：
29.若所述电荷变化信号为表面滑动经过所述空电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第一电信号；
30.若所述电荷变化信号为表面滑动经过所述第一电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第二电信号；
31.若所述电荷变化信号为表面滑动经过所述第一窄条状结构产生，所述导电电极根据电荷变化信号和地端产生电流以得到第三电信号；
32.若所述电荷变化信号为表面滑动经过所述第二电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第四电信号；
33.若所述电荷变化信号为表面滑动经过所述第二窄条状结构产生，所述导电电极根据电荷变化信号和地端产生电流以得到第五电信号。
34.根据本发明的另一些实施例的人机交互方法，所述信号传输模块实时对所述滑动电信号进行采样，得到时序电信号，包括：
35.所述信号传输模块获取当前的时间戳，得到当前时刻；
36.所述信号传输模块对所述当前时刻的所述滑动电信号进行采样，得到目标电信号；
37.所述信号传输模块根据所述当前时刻对所述目标电信号进行信号排列组合，得到所述时序电信号。
38.根据本发明的另一些实施例的人机交互方法，所述指令识别模块将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令，包括：
39.所述指令识别模块将所述时序电信号输入所述指令生成模型进行轨迹识别，得到滑动轨迹信息；
40.所述指令识别模块根据所述滑动轨迹信息从候选控制指令筛选出所述目标控制指令。
41.第三方面，本发明的一个实施例提供了人机交互设备，包括：
42.至少一个处理器，以及，
43.与所述至少一个处理器通信连接的存储器；其中，
44.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第二方面所述的人机交互方法。
45.第四方面，本发明的一个实施例提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第二方面所述的人机交互方法。
46.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变
得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
47.图1是本发明实施例中人机交互系统的一具体实施例模块框图；
48.图2是图1中导电电极层的一具体实施例示意图；
49.图3是图1中信号传输模块的一具体实施例模块框图；
50.图4是本发明实施例中人机交互方法的一具体实施例流程示意图；
51.图5是图4中步骤s401的一具体实施例流程示意图；
52.图6是图4中步骤s402的一具体实施例流程示意图；
53.图7是图4中步骤s403的一具体实施例流程示意图；
54.图8是图1中导电电极层的另一具体实施例示意图；
55.图9是图1中导电电极层生成滑动电信号的一具体实施例示意图；
56.图10是图1中滑动电信号的一具体实施例示意图；
57.图11是图1中滑动电信号的另一具体实施例示意图。
58.附图标记说明：
59.触摸输入模块101、薄膜层1011、导电电极层1012、信号传输模块102、指令识别模块103、控制模块104；
60.信号采集单元301、信号传输单元302。
具体实施方式
61.以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
62.在为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
63.需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
64.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
65.在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
66.在人机交互中，触摸或手写控制是最直观和方便的操作方式，传统的触摸输入方式一般使用触摸板设备，触摸板设备的操作原理有电阻式和电容式两类，但是普遍存在功耗高、分辨率低、扩展性受限等诸多问题。另外，在人机界面应用中，对传感器的灵敏度需求十分强烈，能否迅速响应是评价人机界面性能的指标之一。因此，需要寻找一种低功耗、高灵敏度、高分辨率且易于扩展的人机界面设备。
67.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种人机交互系统，能够降低人机交互系统使用的触摸板设备的功耗。
68.请参照图1，图1示出了本发明实施例中人机交互系统的模块框图。在一些实施例中，人机交互系统包括：触摸输入模块101、薄膜层1011、导电电极层1012、信号传输模块102、指令识别模块103和控制模块104，触摸输入模块101、信号传输模块102、指令识别模块103和控制模块104通信连接。
69.触摸输入模块101包括若干摩擦纳米发电机，摩擦纳米发电机包括：薄膜层1011和导电电极层1012。薄膜层1011内部的电荷分布根据表面滑动发生改变，得到电荷变化信号；其中，电荷变化信号表征电荷变化情况。导电电极层1012包括若干导电电极，设置于薄膜层1011下方，导电电极层1012与薄膜层1011连接，导电电极1012根据电荷变化信号和地端产生电流，以得到滑动电信号。信号传输模块102实时对滑动电信号进行采样，得到时序电信号。指令识别模块103将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令。控制模块104将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。
70.用户在触摸输入模块101的表面上滑动，滑动经过若干摩擦纳米发电机，摩擦纳米发电机的薄膜层1011内部的电荷分布根据表面滑动的轨迹发生改变，得到表征电荷变化情况的电荷变化信号，摩擦纳米发电机的导电电极层1012根据电荷变化信号在导电电极上产生静电电荷，导电电极层1012产生的静电电荷和地端产生电流，以得到滑动电信号。信号传输模块102实时采样导电电极1012在不同时刻生成的滑动电信号，以得到若干时序电信号，指令识别模块103将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令。控制模块104将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。通过基于若干摩擦纳米发电机设计触摸输入模块101，用户在触摸输入模块101上滑动，使摩擦纳米发电机的薄膜层1011上发生电荷变化，并在摩擦纳米发电机的导电电极层1012上产生静电电荷，静电电荷与地端产生电流，以得到滑动电信号，信号输入模块102根据时间戳实时采样滑动电信号，得到时序电信号，指令识别模块103将时序电信号输入指令生成模型生成目标控制指令，控制模块104将目标控制指令传输至外接设备，使外接设备根据目标控制指令执行对应的操作，能够降低人机交互系统使用的触摸板设备的功耗。
71.需要说明的是，摩擦纳米发电机(triboelectric nanogenerator,teng)是一种新兴技术，其原理基于接触起电和静电感应现象，当两种不同电负性的材料相互接触时会产生感应电荷，当不同电负性的材料被机械力分开时，接触引起的摩擦电荷产生电势差，摩擦纳米发电机可以驱动电荷在这两种材料上下表面的两个电极之间流动，以产生电流。基于以上原理，摩擦纳米发电机对机械刺激响应十分灵敏，在传感领域有巨大的价值，同时由于它的自供电工作特性，使得它可以嵌入到低功耗的人机交互系统中发挥自身的优势。将摩
擦纳米发电机应用到人机界面系统中，可以有效解决人机界面中使用的传感器功耗大、灵敏度低、分辨率低、扩展性不好等问题。
72.触摸输入模块101的制作工艺为pcb工艺，可以制备成可穿戴式电子纹身，制作触摸输入模块101的材料可以是硬质的，也可以是柔性的。触摸输入模块101还包括基底层，基底层用于结构支撑，基底层设置于导电电极1012的底部，其中，基底层的硬质材料为玻璃纤维、环氧树脂，厚度在本技术优选为1.6mm，基底层的厚度可以根据实际情况进行选取，在本技术不进行具体限定。导电电极1012的材料优选为铜，但还可以使用金、银、铝、铜合金、金合金、银合金、铝合金、氧化物等金属或非金属导电材料，导电电极1012的材料可以根据实际情况进行选取，在本技术不进行具体限定。薄膜层1011在本技术优选为氟化乙烯丙烯共聚物，但还可以使用聚四氟乙烯、聚酰亚胺等材料，薄膜层1011的材料可以根据实际情况进行选取，在本技术不进行具体限定。
73.触摸输入模块101将摩擦纳米发电机作为传感器使用，触摸输入模块101的工作原理是基于摩擦纳米发电机的单电极工作模式，其中，一个导电电极对应设置一个摩擦纳米发电机。由于摩擦起电以及手指与薄膜层1011的电荷的电负性不同，在手指与薄膜层1011接触的过程中，导电电极层1012会在导电电极表面产生静电电荷。当手指在触摸输入模块101表面滑动时，薄膜层1011上的电荷分布会发生变化，导电电极与地端之间就会产生电流。
74.在一些实施例中，当用户将手指接触到触摸输入模块101时，摩擦纳米发电机的表面由于接触起电作用会产生静电荷。当用户的手指在沿着不同方向水平移动时，接触产生的感应电荷会发生分离并形成感应电势差，在外界回路中形成电流。
75.在一些实施例中，用户将手指在触摸输入模块101上滑动，触摸输入模块101收集用户手指在其上滑动操作产生的机械能，并通过摩擦电效应和静电感应现象的原理将其转化为电能，产生交流电信号。其中，滑动操作包括沿着二维平面的不同方向滑动手指和手写数字的操作。
76.请参照图2，图2示出了本发明实施例中导电电极层1012的示意图。在一些实施例中，若干导电电极根据预设的密铺规则排布，且排布的形状为蜂窝状。导电电极为第一电极、第二电极和空电极中的任意一种，空电极设置于第一电极右侧，第二电极设置空电极右侧，第一电极设置于第二电极右侧。相邻的第一电极通过导电材料连接，相邻的第二电极通过导电材料连接，以使同一种导电电极之间形成导电通道，能够节约计算资源，在导电电极数据量较少的情况下实现比较复杂的信号识别。
77.需要说明的是，空电极表征没有设置任何电极。预设的密铺规则排布包括：第一电极和第二电极的数量相等，交替排列于基底层上。空电极设置于第一电极右侧，第二电极设置于空电极右侧，第一电极设置于第二电极右侧，3个导电电极不停循环排列，直至铺满整个基底层。
78.导电电极的形状为六边形，六边形的电极形状设计采用于大自然的蜂巢形状，有利于无限密铺排列。
79.若干导电电极根据预设的密铺规则排布，且排布的规则为分形结构，电极形状具有自相似的特性；导电电极可以是若干个电极和空电极中的任意一种，同一种导电电极之间通过导电材料连接，形成导电通道。
80.在一些实施例中，第一电极包括第一窄条状结构，第二电极包括第二窄条状结构，第一窄条状结构和第二窄条状结构的形状不同，以产生不同的滑动电信号。
81.导电电极带有分形结构，分形结构有利于在导电电极数量较少的前提下提高触摸输入模块101的分辨率。
82.电极包括内部细微的窄条装或其他分形结构，在不同方向上的结构有所差异，以产生不同的滑动电信号，滑动电信号是可检测的。
83.参照图2，图2最左侧的导电电极为第二电极，图2最右侧的导电电极为第一电极，第二电极包括中心区域的六边形导电电极，以及周围三个方向的窄条状分形结构即为第二窄条状结构，第一电极包括中心区域的六边形导电电极，周围的窄条状分形结构即为第一窄条状结构，并且第一电极和第二电极的中心区域大小相同，第一窄条状结构和第二窄条状结构的宽度相同。
84.为了使手指在中心区域和窄条状分形结构上滑动产生的信号有明显区别，设置窄条状分形结构的宽度与六边形的直径之比优选为1：12，直径之比可以根据实际情况选取，在本技术不进行具体限定。因此，当手指在窄条状分形结构和六边形电极上滑动时，会在负载电阻两端产生不同幅值和宽度的脉冲电压。第一窄条状结构和第二窄条状结构的形状不同而且处于不同的相对位置，导电电极层1012的内部包含空隙结构，空隙结构处无导电材料填充，基底层直接与薄膜层1011接触。
85.第一电极和第二电极的相对大小保持固定，第一电极和第二电极的大小可以根据滑动的物体的尺度而定，使得由滑动的物体在表面摩擦产生的电信号分辨率适应不同应用场景。制备触摸输入模块101使用的导电电极数量在本技术不进行限定，满足密铺规则的传感器可以相互拼接、延伸扩展。
86.参照图8，图8示出了导电电极层1012的示意图，在一些实施例中，同一种导电电极之间靠铜线路连接，有两个焊盘分别与第一电极、第二电极连接，作为触摸输入模块101的输出接口。
87.请参照图3，图3示出了本发明实施例中信号传输模块102的模块框图。在一些实施例中，信号传输模块102包括：信号采集单元301通过内置的电阻分压电路实时采集滑动电信号，得到时序电信号。信号传输单元302将时序电信号传输至指令识别模块103。
88.需要说明的是，由信号采集单元301将滑动电信号采样得到时序电信号，信号传输单元302将时序电信号进行编码后，通过有线或无线的方式传输至指令识别模块103。指令识别模块103作为接收端接收到编码后的时序电信号，指令识别模块103通过指令生成模型对接收到的信号解码得到时序电信号。
89.信号采集单元301采集滑动电信号的方式可以为测量电阻分压法、测量短路电流法或测量开路电压法等中的任意一种，在本技术不进行具体限定。在一些实施例中，采用了测量电阻分压法获取导电电极上产生的滑动电信号，能够获得更大的振幅和更稳定的输出信号。其中，外置串联电阻采用与摩擦纳米发电机匹配的阻抗大小。
90.具体地，参照图8，在第一电极和第二电极处分别引出导线和焊盘，分别在导线和公共的地端之间接入100兆ω的电阻，信号采集单元301测量电阻两端的电压，得到时序电信号。
91.在一些实施例中，指令识别模块103的指令生成模型采用基于一维卷积神经网络
的分类算法，依次由第一卷积层，第二卷积层，第一池化层，第三卷积层，第四卷积层，第二池化层，第五卷积层，第六卷积层，第七卷积层，第三池化层，第八卷积层，第九卷积层，第四池化层和第一全连接层组成。在每一层的卷积层中，卷积核以滑动的方式与输入的时序电信号进行多次卷积运算，得到新的特征地图，作为下一层神经网络的输入信号。每一层的卷积层的计算公式(1)所示：
[0092][0093]
池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合，其具体操作与卷积层的操作基本相同，不过池化层的卷积核为只取对应位置的最大值、平均值等。
[0094]
具体地，第一卷积层所含卷积核大小为10，输入维度为2，输出维度为100；第二卷积层所含卷积核大小为10，输入维度为100，输出维度为16；第一池化层所含池化核大小为3，输入维度为100，输出维度为100，特征数缩小到原来的1/3；第三卷积层所含卷积核大小为10，输入维度为100，输出维度为160；第四卷积层所含卷积核大小为10，输入维度为160，输出维度为160；第二池化层所含池化核大小为3，输入维度为160，输出维度为160，特征数缩小到原来的1/3；第五卷积层所含卷积核大小为10，输入维度为160，输出维度为240；第六卷积层所含卷积核大小为10，输入维度为240，输出维度为240；第七卷积层所含卷积核大小为10，输入维度为240，输出维度为240；第三池化层所含池化核大小为3，输入维度为240，输出维度为240，特征数缩小到原来的1/3；第八卷积层所含卷积核大小为10，输入维度为240，输出维度为300；第九卷积层所含卷积核大小为10，输入维度为300，输出维度为300；第四池化层为平均池化层，输入维度为300，输出维度为300；第一线性层输入维度为300，输出维度为18。此一维卷积神经网络的最终输出向量中最大元素所在位置的索引值即分类网络的最终输出，每一个索引值对应一个种类。得到不同的分类结果后，不同的目标控制指令被发送到外接设备上，控制外接设备执行对应的操作。
[0095]
另外，本技术实施例还公开了人机交互方法，请参照图4，图4示出了本发明实施例中人机交互方法的流程示意图。在一些实施例中，应用于上述实施例中的任一项人机交互系统，人机交互系统包括触摸输入模块101、信号传输模块102、指令识别模块103和控制模块104，触摸输入模块101包括若干摩擦纳米发电机，摩擦纳米发电机包括：薄膜层1011和导电电极层1012，其具体包括但不限于包括步骤s401至步骤s404。
[0096]
步骤s401，导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号；其中，电荷变化信号为薄膜层内部的电荷分布根据表面滑动发生改变得到；
[0097]
步骤s402，信号传输模块实时对滑动电信号进行采样，得到时序电信号；
[0098]
步骤s403，指令识别模块将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令；
[0099]
步骤s404，控制模块将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。
[0100]
在本实施例所示意的步骤s401至步骤s404，用户在触摸输入模块的表面上滑动，滑动经过若干摩擦纳米发电机，摩擦纳米发电机的薄膜层内部的电荷分布根据表面滑动的轨迹发生改变，得到表征电荷变化情况的电荷变化信号，摩擦纳米发电机的导电电极层根据电荷变化信号在导电电极上产生静电电荷，导电电极层产生的静电电荷和地端产生电
流，以得到滑动电信号。信号传输模块实时采样导电电极在不同时刻生成的滑动电信号，以得到若干时序电信号，指令识别模块将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令。控制模块将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。通过基于若干摩擦纳米发电机设计触摸输入模块，用户在触摸输入模块上滑动，使摩擦纳米发电机的薄膜层上发生电荷变化，并在摩擦纳米发电机的导电电极层上产生静电电荷，静电电荷与地端产生电流，以得到滑动电信号，信号输入模块根据时间戳实时采样滑动电信号，得到时序电信号，指令识别模块将时序电信号输入指令生成模型生成目标控制指令，控制模块将目标控制指令传输至外接设备，使外接设备根据目标控制指令执行对应的操作，能够降低人机交互系统使用的触摸板设备的功耗。
[0101]
请参照图5，图5示出了本发明实施例中人机交互方法的流程示意图。在一些实施例中，导电电极包括第一电极、第二电极和空电极，第一电极包括第一窄条状结构，第二电极包括第二窄条状结构，滑动电信号包括第一电信号、第二电信号、第三电信号、第四电信号和第五电信号，导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号包括但不限于包括步骤s501至步骤s505。
[0102]
步骤s501，若电荷变化信号为表面滑动经过空电极产生，导电电极根据电荷变化信号和地端产生电流以得到第一电信号；
[0103]
步骤s502，若电荷变化信号为表面滑动经过第一电极产生，导电电极根据电荷变化信号和地端产生电流以得到第二电信号；
[0104]
步骤s503，若电荷变化信号为表面滑动经过第一窄条状结构产生，导电电极根据电荷变化信号和地端产生电流以得到第三电信号；
[0105]
步骤s504，若电荷变化信号为表面滑动经过第二电极产生，导电电极根据电荷变化信号和地端产生电流以得到第四电信号；
[0106]
步骤s505，若电荷变化信号为表面滑动经过第二窄条状结构产生，导电电极根据电荷变化信号和地端产生电流以得到第五电信号。
[0107]
在本实施例所示意的步骤s501至步骤s505，当手指滑动经过空电极的区域时，导电电极根据电荷变化信号和地端产生电流以得到第一电信号，第一电信号在本技术优选为信号“0”。当手指滑动经过第二电极的中心六边形区域时，导电电极根据电荷变化信号和地端产生电流以得到第四电信号，第四电信号在本技术优选为信号“1”。当手指滑动经过第二电极的第二窄条状结构区域时，导电电极根据电荷变化信号和地端产生电流以得到第五电信号，第五电信号在本技术优选为信号“1”。当手指滑动经过第一电极的中心六边形区域时，导电电极根据电荷变化信号和地端产生电流以得到第二电信号，第二电信号在本技术优选为信号“2”。当手指滑动经过第一电极的第一窄条状结构区域时，导电电极根据电荷变化信号和地端产生电流以得到第三电信号，第三电信号在本技术优选为信号“2”。通过导电电极在不同方向上有的不同排列组合形式，使得不同方向上电极与空隙部分的形状、数量和尺度不同，能够使物体在表面沿不同方向滑动操作时产生不同的滑动电信号，用以对物体在表面滑动时产生的滑动电信号进行编码。
[0108]
具体地，请参照图9，图9示出了导电电极层生成滑动电信号的示意图。在一些实施例中，根据中心处电极的不同，将触摸输入模块分为三种基本的工作模式，每个模式包含6个滑动方向，共有18个基本滑动方向。模式1的中心处为空电极，周围第一电极和第二电极
交替排列，从中心处向周围六个方向滑动可以产生六组不同的信号组合，分别是“0-1-2”、“0-2-1-1”、“0-2”、“0-2-1”、“0-2-2-2”、“0-1-1-1”；模式2的中心处为第二电极，周围第一电极和空电极交替排列，从中心处向周围六个方向滑动可以产生六组不同的信号组合，“1-2-0”、“1-2-2-2”、“1-1-1-0”、“1-1-2”、“1-1-2-0”、“1-2”；模式3的中心处为第一电极，周围第二电极和空电极交替排列，从中心处向周围六个方向滑动可以产生六组不同的信号组合，“2-1-1”、“2-2-0”、“2-1-1-1”、“2-1-0”、“2-2-1-1”、“2-0”。上述18种不同的排列方式对应不同的输出信号，可以表示沿18种不同方向滑动，18种不同方向滑动生成18种不同的编码。
[0109]
需要说明的是，导电电极的进制和编码形式取决于电极的电极数量和密铺规则，不同的导电电极产生的信号作为不同的基本个体，产生的信号总位数取决于导电电极的数量和面积。最小面积的导电电极形状产生的信号为编码方式中的最小位，其他的非最小面积导电电极代表的编码信息与最小面积导电电极代表的编码信息呈函数关系，其中，函数关系为面积大的导电电极信号时间长，面积小的导电电极信号时间短。例如，导电电极包括第一电极、第二电极和空电极，则进制为三进制，以此类推。
[0110]
导电电极包括至少一种电极和空电极，电极内部可以使用窄条结构、栅格结构、分形结构和其他几何结构，用户在电极表面滑动时，导电电极表面的电荷分布会发生相应的变化，电荷变化导致导电电极和地端产生电流，以得到滑动电信号，不同几何形态的电极产生的滑动电信号有所区别。
[0111]
请参照图6，图6示出了本发明实施例中人机交互方法的流程示意图。在一些实施例中，信号传输模块实时对滑动电信号进行采样，得到时序电信号包括但不限于包括步骤s601至步骤s603。
[0112]
步骤s601，信号传输模块获取当前的时间戳，得到当前时刻；
[0113]
步骤s602，信号传输模块对当前时刻的滑动电信号进行采样，得到目标电信号；
[0114]
步骤s603，信号传输模块根据当前时刻对目标电信号进行信号排列组合，得到时序电信号。
[0115]
在本实施例所示意的步骤s601至步骤s603，当触摸输入模块中有滑动电信号产生时，信号传输模块实时记录当前时刻的时间戳，得到当前时刻，并且在记录当前时刻的时间戳的同时，信号传输模块对当前时刻产生的滑动电信号进行采样，得到目标电信号，信号传输模块根据当前时刻对目标电信号进行排列组合，以将目标电信号根据时间顺序排列，得到时序电信号。通过获取生成目标电信号时的时间戳，并根据时间戳按时间顺序排列目标电信号，得到时序电信号，能够通过时序电信号表征物体滑动的轨迹。
[0116]
例如，参照图10，图10示出了滑动电信号的一具体实施例示意图，图10中e1的曲线表示第二电极产生的电信号，图10中e2的曲线表示第一电极产生的电信号。图10中的三个电信号根据时间戳从左到右排列，并且三个电信号组合后得到时序电信号。
[0117]
请参照图7，图7示出了本发明实施例中人机交互方法的流程示意图。在一些实施例中，指令识别模块将时序电信号输入预设的指令生成模型进行指令生成包括但不限于包括步骤s701至步骤s702。
[0118]
步骤s701，指令识别模块将时序电信号输入指令生成模型进行轨迹识别，得到滑动轨迹信息；
[0119]
步骤s702，指令识别模块根据滑动轨迹信息从候选控制指令筛选出目标控制指令。
[0120]
在本实施例所示意的步骤s701至步骤s702，指令识别模块将时序电信号输入指令生成模型，指令生成模型根据分类算法得到18个不同方向的轨迹信息，即滑动轨迹信息，指令识别模块根据滑动轨迹信息从预先设置的候选控制指令中进行筛选，以得到滑动轨迹信息对应的目标控制指令。通过指令识别模块将时序电信号分类识别得到18个不同方向的轨迹信息，并根据轨迹信息筛选出对应的目标控制指令，能够从时序电信号中筛选得到用户所需的控制指令，以使外接设备根据用户滑动执行相应的操作。
[0121]
需要说明的是，指令识别模块在接收到时序电信号后，先将时序电信号用低通滤波器进行滤波，再将时序电信号输入指令生成模型，能够使时序电信号识别的准确率达到96.5％。
[0122]
指令识别模块将信号传输模块采集到的时序电信号解读为外界输入信息，即转换为表征用户输入的方向手势的信号或手写字母、数字的信号。或者，可解读为不同方向的运动控制指令，包含运动方向和运动速度等信息，用以驱动外接设备和运动装置；以及解读为文字信息，作为人机交互的信息输入外接设备。
[0123]
与现有技术相比，本发明的有益效果在于：本发明提出的基于摩擦电的人机交互系统，人机交互系统通过触摸输入模块、信号传输模块、指令识别模块和控制模块，使得用户的输入手势可以被识别并用于外接设备、运动装置的驱动与控制，或作为人机交互的输入信息，通过特殊的触摸输入模块结构设计，能够以低传感器功耗、高灵敏度、高分辨率、丰富扩展性的特性实现多方向滑动手势识别和字符识别输入功能。本发明还具有以下优势：
[0124]
第一，触摸输入模块基于摩擦纳米发电机设计，能将物体在其表面沿不同方向滑动产生的低频机械能转化为电能，可以减少传感器部署所需要的能源，而且由于摩擦纳米发电机的高灵敏度特性，能够使本传感器对外界激励做出迅速响应。
[0125]
第二，触摸输入模块采用分形几何设计，能够在使用较少传感通道的条件下实现较高的分辨率，同时由于数据采集通道数量较少可以降低后续的计算资源和复杂度；在导电电极结构的末端有细微的结构，可以提高系统能够识别的触摸分辨率。
[0126]
第三，导电电极采用基本单元式设计，整个触摸输入模块由基本单元按照一定规则重复组合构成，能够实现导电电极的模块化、密铺或任意比例放缩、拼接，同时仍保留原始的传感通道和识别功能。
[0127]
第四，指令识别模型采用基于一维卷积神经网络的识别算法可以获得可靠的识别结果，同时降低计算复杂度。
[0128]
在一些实施例中，例如触摸输入模块的制作工艺为柔性pcb工艺，基板材料为聚酰亚胺，厚度为30um，导电电极使用铜，薄膜层1011使用机物薄膜层材质，厚度为30um。导电电极采用密铺方式，制作10cm
×
10cm的触摸输入模块101。在触摸输入模块上，用户可以手写阿拉伯数字0-9，会得到不同的滑动电信号，得到的滑动电信号如图11所示，图11示出了滑动电信号的一具体实施例示意图。将触摸输入模块产生的滑动电信号滤波后，使用指令识别模型进行分类，不同的是输出维度10，分别代表不同数字，识别的准确率可以达到99％。
[0129]
其中，本发明上述任一实施例中的人机交互系统的操作过程具体参照如上描述图4、图5、图6和图7中的人机交互方法步骤s401至步骤s404、步骤s501至步骤s505、步骤s601
至步骤s603和步骤s701和步骤s702，此处不再赘述。
[0130]
本发明的另一个实施例公开了一种人机交互设备，包括：至少一个处理器，以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如图4中的控制方法步骤s401至步骤s404、图5中的控制方法步骤s501至步骤s505、图6中的控制方法步骤s601至步骤s603以及图7中的控制方法步骤s701和步骤s702的人机交互方法。
[0131]
本发明的另一个实施例公开了一种存储介质，存储介质包括：存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行图4中的控制方法步骤s401至步骤s404、图5中的控制方法步骤s501至步骤s505、图6中的控制方法步骤s601至步骤s603以及图7中的控制方法步骤s701和步骤s702的人机交互方法。
[0132]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0133]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0134]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

技术特征：
1.一种人机交互系统，其特征在于，包括：触摸输入模块，所述触摸输入模块包括若干摩擦纳米发电机，所述摩擦纳米发电机包括：薄膜层和导电电极层；所述薄膜层内部的电荷分布根据表面滑动发生改变，得到电荷变化信号；其中，所述电荷变化信号表征电荷变化情况；所述导电电极层包括若干导电电极，设置于所述薄膜层下方，所述导电电极层与所述薄膜层连接，所述导电电极根据所述电荷变化信号和地端产生电流，以得到滑动电信号；信号传输模块，用于实时对所述滑动电信号进行采样，得到时序电信号；指令识别模块，用于将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令；控制模块，用于将所述目标控制指令传输至外接设备，以使所述外接设备根据所述目标控制指令执行对应的操作。2.根据权利要求1所述的人机交互系统，其特征在于，若干所述导电电极根据预设的密铺规则排布，且排布的形状为蜂窝状；所述导电电极为第一电极、第二电极和空电极中的任意一种，所述空电极设置于所述第一电极右侧，所述第二电极设置于所述空电极右侧，所述第一电极设置于所述第二电极右侧；相邻的所述第一电极通过导电材料连接，相邻的所述第二电极通过导电材料连接，以使同一种所述导电电极之间形成导电通道。3.根据权利要求2所述的人机交互系统，其特征在于，所述第一电极包括第一窄条状结构，所述第二电极包括第二窄条状结构，所述第一窄条状结构和所述第二窄条状结构的形状不同，以产生不同的所述滑动电信号。4.根据权利要求3所述的人机交互系统，其特征在于，所述信号传输模块包括：信号采集单元，用于通过所述信号采集单元内置的电阻分压电路实时采集所述滑动电信号，得到所述时序电信号；信号传输单元，用于将所述时序电信号传输至所述指令识别模块。5.一种人机交互方法，其特征在于，应用于权利要求1至4任一项所述人机交互系统，所述人机交互系统包括触摸输入模块、信号传输模块、指令识别模块和控制模块，所述触摸输入模块包括若干摩擦纳米发电机，所述摩擦纳米发电机包括：薄膜层和导电电极层，所述方法包括：所述导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号；其中，所述电荷变化信号为所述薄膜层内部的电荷分布根据表面滑动发生改变得到；所述信号传输模块实时对所述滑动电信号进行采样，得到时序电信号；所述指令识别模块将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令；所述控制模块将所述目标控制指令传输至外接设备，以使所述外接设备根据所述目标控制指令执行对应的操作。6.根据权利要求5所述的人机交互方法，其特征在于，所述导电电极包括第一电极、第二电极和空电极，所述第一电极包括第一窄条状结构，所述第二电极包括第二窄条状结构，
所述滑动电信号包括第一电信号、第二电信号、第三电信号、第四电信号和第五电信号，所述导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号，包括：若所述电荷变化信号为表面滑动经过所述空电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第一电信号；若所述电荷变化信号为表面滑动经过所述第一电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第二电信号；若所述电荷变化信号为表面滑动经过所述第一窄条状结构产生，所述导电电极根据电荷变化信号和地端产生电流以得到第三电信号；若所述电荷变化信号为表面滑动经过所述第二电极产生，所述导电电极根据电荷变化信号和地端产生电流以得到第四电信号；若所述电荷变化信号为表面滑动经过所述第二窄条状结构产生，所述导电电极根据电荷变化信号和地端产生电流以得到第五电信号。7.根据权利要求6所述的人机交互方法，其特征在于，所述信号传输模块实时对所述滑动电信号进行采样，得到时序电信号，包括：所述信号传输模块获取当前的时间戳，得到当前时刻；所述信号传输模块对所述当前时刻的所述滑动电信号进行采样，得到目标电信号；所述信号传输模块根据所述当前时刻对所述目标电信号进行信号排列组合，得到所述时序电信号。8.根据权利要求7所述的人机交互方法，其特征在于，所述指令识别模块将所述时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令，包括：所述指令识别模块将所述时序电信号输入所述指令生成模型进行轨迹识别，得到滑动轨迹信息；所述指令识别模块根据所述滑动轨迹信息从候选控制指令筛选出所述目标控制指令。9.一种人机交互设备，其特征在于，包括：至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求5至8任一项所述的人机交互方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求5至8任一项所述的人机交互方法。

技术总结
本发明公开了一种人机交互系统、方法、设备及存储介质，人机交互系统包括：触摸输入模块，触摸输入模块包括若干摩擦纳米发电机，摩擦纳米发电机包括：薄膜层和导电电极层，薄膜层内部的电荷分布根据表面滑动发生改变，得到电荷变化信号，导电电极根据电荷变化信号和地端产生电流，以得到滑动电信号，信号传输模块，用于实时对滑动电信号进行采样，得到时序电信号，指令识别模块，用于将时序电信号输入预设的指令生成模型进行指令生成，得到目标控制指令，控制模块，用于将目标控制指令传输至外接设备，以使外接设备根据目标控制指令执行对应的操作。能够降低人机交互系统使用的触摸板设备的功耗。备的功耗。备的功耗。


技术研发人员：丁文伯 杨絮 尹季鸿 王子涵 黄绍伦 陈鑫磊
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：2023.05.22
技术公布日：2023/9/23