隔空输入方法、设备以及系统与流程

1.本技术涉及电子设备，尤其涉及一种隔空输入方法、设备以及系统。


背景技术：

2.隔空输入系统可以满足教学、会议、大量办公等等团队协作场景的需求，是面向团队协作的新终端品类。目前，隔空输入系统被广泛应用于金融行业、教培行业、医疗行业等等，为简化这些行业的办公的复杂性起到重要的作用。
3.如图1所示，隔空输入系统包括隔空输入设备110以及定点设备120。其中，隔空输入设备110可以包括但不限于：智慧屏、电子白板、投影设备、会议平板等等。下文中将以智慧屏为例进行说明。用户可以通过定点设备120隔空在智慧屏上进行输入。用户通过定点设备120隔空在智慧屏上进行输入是指：定点设备120与智慧屏并没有接触，用户通过定点设备120在空中产生定点轨迹，相应地，就能够在智慧屏上显示出与定点轨迹相对应的定点痕迹。这里，定点设备120与智慧屏的距离可以是50厘米、1米、2米、3米甚至更多。在理想状态下，用户通过定点设备120在空中描绘出的定点轨迹和在智慧屏上显示出的定点痕迹的形状应该是相同的，大小可以是成比例的。例如，定点轨迹和定点痕迹是1：2的圆形，定点轨迹和定点痕迹是1：1的正方形等等，定点轨迹和定点痕迹是2：1的三角形等等。应理解，上述定点轨迹和定点痕迹均以规则的图形为例进行说明，在实际应用中，定点轨迹和定点痕迹还可以是不规则的图形、数字、字符、字母、文字等等，此处不作具体限定。
4.通过定点设备120的隔空输入功能，用户在远离智慧屏的位置上，也可以通过定点设备120隔空完成在智慧屏的输入，而无需走到智慧屏前面进行输入，为用户提供了极大的方便。例如，在老师在讲台上通过智慧屏显示演讲文稿时，如果有学生对其中某部分提出疑问，学生可以在自己的座位上通过定点设备120在智慧屏上的演讲文稿进行标记，而无需从自己的座位走到智慧屏前再在演讲文稿进行标记。
5.但是，由于定点设备120中的惯性测量单元(inertial measurement unit，imu)存在漂移误差的问题，使用包含imu的定点设备进行隔空输入时，定点设备120在空中的定点轨迹和在智慧屏显示的定点痕迹往往不相同，例如，如图1所示，用户在空中以a点为起始点顺时针写下的定点轨迹为标准的圆形，但是，在智慧屏显示的定点痕迹却是以a’点顺时针写下的不规则的图形。


技术实现要素：

6.本技术提供了一种隔空输入方法、设备以及系统，能够提高确定空中的定点轨迹的准确性。
7.第一方面，提供了一种隔空输入方法，包括：
8.隔空输入设备在显示区域中确定定点起点；第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间
的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。
9.这里，第一视觉传感器和第二视觉传感器可以是同一个视觉传感器，也可以是两个不同的视觉传感器，例如，第一视觉传感器和第二视觉传感器可以是同一个立体相机，也可以是两个不同的立体相机。或者，第一视觉传感器可以是立体相机，第二视觉传感器是激光雷达等等。类似地，第一定点设备和第二定点设备可以是同一个设备，也可以不是同一个设备。当第一定点设备和第二定点设备是同一个设备时，第一imu和第二imu是同一个imu，当第一定点设备和第二定点设备是两个不同的设备时，第一imu和第二imu是两个不同的imu。在一些种可能的场景中，第一视觉传感器和第二视觉传感器是同一个视觉传感器，但是，第一定点设备和第二定点设备是不同的定点设备。或者，第一视觉传感器和第二视觉传感器是同一个视觉传感器，第一定点设备和第二定点设备是同一个定点设备。或者，第一视觉传感器和第二视觉传感器是不同的视觉传感器，但是，第一定点设备和第二定点设备是同一个定点设备。或者，第一视觉传感器和第二视觉传感器是不同的视觉传感器，第一定点设备和第二定点设备也不同的定点设备。
10.通过训练获得映射关系和使用映射关系确定定点轨迹可以是同时发生的，也可以是不同时发生的。当通过训练获得映射关系和使用映射关系确定定点轨迹是同时发生时，训练获得映射关系和使用映射关系确定定点轨迹是在相同的时空发生的，因此，在使用映射关系确定定点轨迹的同时，映射关系可以不断发生变化，以在使用映射关系的过程中，不断提高映射关系的准确性。当通过训练获得映射关系和使用映射关系确定定点轨迹是不同时发生时，可以先通过训练获得映射关系，然后，再使用映射关系确定定点轨迹。即，通过训练获得映射关系是在过去的时空发生的，而，使用映射关系确定定点轨迹是在现在的时空发生的，因此，在使用映射关系确定定点轨迹的同时，映射关系可以不再发生变化。因此，隔空输入设备可以不需要承担训练获得映射关系的任务，减轻隔空输入设备的负荷。当然，也可以根据实际情况，而仍然设置由隔空输入设备来训练获得映射关系。
11.上述方案中，在确定第一定点设备在空中的定点轨迹时，同时参考了第一视觉传感器采集的第一定点设备的位姿信息和所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息，即，通过多角度的传感器采集的第一定点设备的位姿信息来确定第一定点设备在空中的定点轨迹，从而提高了确定空中的定点轨迹的准确性。
12.在一些可能的设计中，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。
13.这里，第一定点设备的三维模型中的点可以是第一定点设备的三维模型中的任意点，例如，可以是第一定点设备的端点、中点等等。在一更具体的实施例中，当第一定点设备是书写笔时，第一定点设备的三维模型中的点可以是书写笔的笔尖。
14.上述方案中，是通过第一视觉传感器采集用户的三维数据和第一定点设备的三维数据来建立三维模型，并通过用户的三维模型和所述第一定点设备的三维模型来确定第一
定点设备的位姿信息，因为通过视觉传感器采集三维数据建模具有准确度非常高的特点，采集的第一定点设备的位姿信息的准确度也非常高，因此，确定第一定点设备在空中的定点轨迹准确性也非常高。
15.在一些可能的设计中，所述定点起点是所述用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点。
16.这里，用户的三维模型的特定部位可以是用户的三维模型中的任意部位，例如，眼睛部位、鼻尖部位、手指尖端部位等等。并且，可以结合不同的条件设置用户的三维模型的特定部位的优先等级，例如，当用户是用手指指向显示区域时，优先使用手指尖端部位来确定定点起点，当用户没有用手指指向显示区域时，优先使用眼睛部位来确定定点起点。第一定点设备的三维模型中的特定部位可以是第一定点设备的三维模型中的任意部位，例如，端点部位、中心部位等等。
17.在现有的技术方案中，是根据第一定点设备中的imu的位姿信息来确定定点起点的，因此，根据imu的位姿信息来确定的定点起点往往不是用户想要的定点起点，用户往往需要多次调整定点设备才能够定点到用户想要的定点起点，造成效率非常低下。而在本方案中，是结合视觉传感器来确定定点起点的，能够更加准确以及高效地确定用户想要的定点起点。另外，因为通过视觉传感器采集三维数据建模具有准确度非常高的特点，通过视觉传感器采集的三维数据建立的用户的三维模型或所述第一定点设备的三维模型来确定定点起点准确性也非常高。
18.在一些可能的设计中，所述定点起点是所述用户的三维模型中眼睛部位的法向量与所述显示区域的交点。
19.上述方案中，通过用户的三维模型中眼睛部位的法向量与所述显示区域的交点来确定定点起点，不仅具有准确度高的特点，而且，用户眼睛看哪里，定点起点就在哪里，使用起来非常方便以及人性化，对用户非常友好。
20.在一些可能的设计中，确定所述第一定点设备在空中的定点轨迹之前，所述方法还包括：
21.接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行定点运动得到的；
22.接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时的所述第二定点设备的位姿信息；
23.通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。
24.上述方案中，通过机械手臂产生定点轨迹比人工产生定点轨迹的准确度高，稳定性好，在训练时使用机械手臂产生定点轨迹可以获得更准确的映射关系。
25.在一些可能的设计中，所述第一视觉传感器包括立体相机、激光雷达、深度相机或单目相机。这里，在对定点轨迹准确度要求较高的场景时，可以采用激光雷达，深度相机以及立体相机以作为第一视角传感器，在对定点轨迹准确度要求不高的情况下，可以采用单目相机以降低成本，但是，在使用单目相机前，需要对单目相机进行训练以使得单目相机具有获取三维数据的能力。
26.在一些可能的设计中，所述第一视觉传感器设置于所述显示区域中，也可以设置
在所述显示区域之外。这里，当第一视觉传感器设置在所述显示区域中时，第一视觉传感器的视线轴心线和显示区域的法线的夹角为零，此时，在确定根据第一视角传感器建立的用户的三维模型和第一定点设备的三维模型的特定部位的法向量与所述显示区域的交点时，可以简化计算的复杂度。当第一视觉传感器设置在显示区域之外时，可以增加第一视觉传感器设置的自由度，尤其是某些特定的场合中，第一视角传感器不方便设置在显示区域中时，还可以设置在显示区域之外。
27.第二方面，提供了一种隔空输入设备，包括：处理器以及显示单元，所述处理器连接所述显示单元，
28.所述处理器用于在所述显示单元产生的显示区域中确定定点起点，第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹；
29.所述显示单元用于在所述显示区域中显示所述定点痕迹。
30.在一些可能的设计中，所述设备还包括接收器，所述接收器用于接收所述第一视觉传感器采集的所述第一定点设备的位姿信息，其中，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。
31.在一些可能的设计中，所述定点起点是所述用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点。
32.在一些可能的设计中，所述定点起点是所述用户的三维模型中眼睛部位的法向量与所述显示区域的交点。
33.在一些可能的设计中，所述接收器还用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行定点运动得到的；所述接收器还用于接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时所述第二定点设备的位姿信息；所述处理器还用于通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。
34.在一些可能的设计中，所述第一视觉传感器包括立体相机、激光雷达、深度相机或单目相机。
35.第三方面，提供了一种隔空输入系统，包括：
36.第一定点设备，用于在空中进行三维定点运动，以及，通过所述第一定点设备中的第一imu采集所述第一定点设备的位姿信息；
37.第一视觉传感器，用于采集所述第一定点设备的位姿信息；
38.隔空输入设备，用于在所述隔空输入设备产生的显示区域中确定定点起点，在第
一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹；
39.所述隔空输入设备，还用于在所述显示区域中显示所述定点痕迹。
40.这里，隔空输入设备可以是智慧屏，也可以是带有定点痕迹确定功能的投影仪等等。当隔空输入设备为智慧屏时，所述隔空输入设备产生的显示区域是指智慧屏的显示区域，当隔空输入设备为带有定点痕迹确定功能的投影仪时，所述隔空输入设备产生的显示区域是指所述投影仪产生的投影区域。
41.在一种可能的实施方式中，定点痕迹确定功能由外设的定点痕迹确定设备实现，而没有跟投影仪集成在一起。该定点痕迹确定功能包括接收第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息，并根据第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息确定定点痕迹。投影仪可以用于在投影区域中显示所述定点痕迹。
42.在一些可能的设计中，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。
43.在一些可能的设计中，所述定点起点是所述用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点。
44.在一些可能的设计中，所述定点起点是所述用户的三维模型中眼睛部位的法向量与所述显示区域的交点。
45.在一些可能的设计中，所述隔空输入设备，还用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行三维定点运动得到的；
46.所述隔空输入设备，还用于接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时所述第二定点设备的位姿信息；
47.所述隔空输入设备，还用于通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。
48.在一些可能的设计中，所述第一视觉传感器包括立体相机、激光雷达、深度相机或单目相机。
49.第四方面，提供了一种隔空输入设备，包括：
50.起点确定单元，用于在显示区域中确定定点起点；
51.轨迹确定单元，用于在第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的
所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；
52.痕迹确定单元，用于根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。
53.在一些可能的设计中，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。
54.在一些可能的设计中，所述定点起点是所述用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点。
55.在一些可能的设计中，所述定点起点是所述用户的三维模型中眼睛部位的法向量与所述显示区域的交点。
56.在一些可能的设计中，所述设备还包括训练单元，所述训练单元用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行三维定点运动得到的；接收所述第一位姿信息，通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。
57.在一些可能的设计中，所述第一视觉传感器包括立体相机、激光雷达、深度相机或单目相机。
58.第五方面，提供了一种计算机可读存储介质，其特征在于，包括指令，当所述指令在隔空输入设备上运行时，使得所述隔空输入设备执行如第一方面任一项所述的方法。
附图说明
59.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
60.图1是本技术涉及的一种隔空输入场景的示意图；
61.图2是本技术涉及的一种隔空输入系统的结构示意图；
62.图3是本技术提供的一种智慧屏的结构示意图；
63.图4是本技术提供的一种定点设备的结构示意图；
64.图5是本技术提供的一种imu的结构示意图；
65.图6是本技术提供的一种隔空输入系统的结构示意图；
66.图7是本技术提供的一种投影设备的结构示意图；
67.图8是本技术提供的一种隔空输入方法的流程示意图；
68.图9是本技术提供的imu采集的定点设备的位姿信息的示意图；
69.图10是本技术提供的一种根据用户的三维模型的眼睛部分确定定点起点的示意图；
70.图11是本技术提供的一种轨迹预测模型的示意图；
71.图12示出了本技术提供的一种隔空输入设备的结构示意图；
72.图13示出了本技术提供的一种隔空输入设备的结构示意图。
具体实施方式
73.参见图2，图2是本技术提供的一种隔空输入系统的结构示意图。如图2所示，本技术提供的隔空输入系统，包括：智慧屏110、定点设备120以及视觉传感器130。
74.如图3所示，智慧屏110可包括：处理器112、存储器113、无线通信模块114、电源开关115、有线局域网(local area network，lan)通信模块116、高清多媒体接口(high definition multimedia interface，hdmi)通信模块117、通用串行总线(universal serial bus，usb)通信模块118和显示器119。其中：
75.处理器112可用于读取和执行计算机可读指令。具体实现中，处理器112可主要包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等，也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。
76.在一些实施例中，处理器112可以用于解析无线通信模块114和/或有线lan通信模块116接收到的信号。处理器112可以用于根据解析结果进行相应的处理操作，如生成探测响应，又如根据该显示请求或显示指令驱动显示器119执行显示，等等。
77.在一些实施例中，处理器112还可以用于生成无线通信模块114和/或有线lan通信模块116向外发送的信号，如蓝牙广播信号、信标信号，又如向电子设备发送的用于反馈显示状态(如显示成功、显示失败等)的信号。
78.存储器113与处理器112耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器113可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器113可以存储操作系统，例如ucos、vxworks、rtlinux等嵌入式操作系统。存储器113还可以存储通信程序，该通信程序可用于与一个或多个服务器，或附加设备进行通信。
79.无线通信模块114可以包括蓝牙(bluetooth)通信模块114a、无线局域网(wireless local area networks，wlan)通信模块114b中的一项或多项。
80.在一些实施例中，蓝牙(bt)通信模块114a、wlan通信模块114b中的一项或多项可以监听到其他设备发射的信号，如探测请求、扫描信号等等，并可以发送响应信号，如探测响应、扫描响应等，使得其他设备可以发现智慧屏110，并与其他设备建立无线通信连接，通过蓝牙或wlan中的一种或多种无线通信技术与其他设备进行通信。
81.在另一些实施例中，蓝牙通信模块114a、wlan通信模块114b中的一项或多项也可以发射信号，如广播蓝牙信号、信标信号，使得其他设备可以发现智慧屏110，并与其他设备建立无线通信连接，通过蓝牙或wlan中的一种或多种无线通信技术与其他设备进行通信。
82.无线通信模块114还可以包括：蓝牙、wlan、近场通信(near field communication，nfc)、超宽带(ultra wide band，uwb)、红外等等。
83.电源开关115可用于控制电源向智慧屏110的供电。
84.有线lan通信模块116可用于通过有线lan和同一个lan中的其他设备进行通信，还可用于通过有线lan连接到广域网，可与广域网中的设备通信。
85.hdmi通信模块117可用于通过hdmi接口(未示出)与其他设备进行通信。
86.usb通信模块118可用于通过usb接口(未示出)与其他设备进行通信。
87.显示器119可用于显示图像，视频等。显示器119可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)显示屏，有源矩阵有机发光二极体(active-matrix organic light emitting diode，amoled)显示屏，柔性发光二极管(flexible light-emitting diode，fled)显示屏，量子点发光二极管(quantum dot light emitting diodes，qled)显示屏等等。
88.在一些实施例中，智慧屏110还可以包括音频模块(未示出)。音频模块可用于通过音频输出接口输出音频信号，这样可使得智慧屏110支持音频播放。音频模块还可用于通过音频输入接口接收音频数据。智慧屏110可以为电视机等媒体播放设备。
89.在一些实施例中，智慧屏110还可以包括rs-232接口等串行接口。该串行接口可连接至其他设备，如音箱等音频外放设备，使得智慧屏110和音频外放设备协作播放音视频。
90.可以理解的是图3示意的结构并不构成对智慧屏110的具体限定。在本技术另一些实施例中，智慧屏110可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
91.如图4所示，定点设备120可以是设置有imu的绘制设备。定点设备可以是笔状的设备，也可以是其他形状的设备。定点设备可以是书写笔、控制器等等。定点设备120可包括：处理器122、存储器123、无线通信模块124、充电管理模块125、usb接口126、电池127、电源管理模块128以及imu 129。
92.处理器122可用于读取和执行计算机可读指令。具体实现中，处理器122可主要包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等，也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。此外，处理器122也可以采用异构架构，例如，arm+dsp的架构，arm+asic的架构，arm+ai芯片的架构等等。
93.存储器123与处理器122耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器123可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器123可以存储操作系统，例如ucos、vxworks、rtlinux等嵌入式操作系统。
94.无线通信模块124可以包括蓝牙(bt)通信模块、wlan通信模块、近场通信(near field communication，nfc)、超宽带(ultra wide band，uwb)、红外等等中的一项或多项。
95.充电管理模块125用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块125可以通过usb接口126接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块125可以通过无线充电线圈接收无线充电输入。充电管理模块125为电池127充电的同时，还可以通过电源管理模块128为定点设备供电。
96.电源管理模块128用于连接电池127，充电管理模块125与处理器122。电源管理模块128接收电池127和/或充电管理模块125的输入，为处理器122，存储器123和无线通信模块124，imu129等供电。电源管理模块128还可以用于监测电池容量，电池循环次数，电池健
康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块128也可以设置于处理器122中。在另一些实施例中，电源管理模块128和充电管理模块125也可以设置于同一个器件中。
97.imu129是测量物体三轴角速度和加速度的设备。一个imu内可能会装有三轴陀螺仪和三轴加速度计，来测量物体在三维空间中的角速度和加速度。严格意义上的imu只为用户提供三轴角速度以及三轴加速度数据。垂直参考单元(vertical reference unit，vru)是在imu的基础上，以重力向量作为参考，用卡尔曼或者互补滤波等算法为用户提供有重力向量参考的俯仰角、横滚角以及无参考标准的航向角。通常所说的6轴姿态模块就属于这类系统。航向角没有参考，不管模块朝向哪里，启动后航向角都为0
°
(或一个设定的常数)。随着模块工作时间增加，航向角会缓慢累计误差。俯仰角，横滚角由于有重力向量参考，低机动运动情况下，长时间不会有累积误差。航姿参考系统(attitude and heading reference system，ahrs)系统是在vru的基础上增加了磁力计或光流传感器，用卡尔曼或者互补滤波等算法为用户提供拥有绝对参考的俯仰角、横滚角以及航向角的设备，这类系统用来为飞行器提供准确可靠的姿态与航行信息。我们通常所说的9轴姿态传感器就属于这类系统，因为航向角有地磁场的参考，所以不会漂移。但地磁场很微弱，经常受到周围带磁物体的干扰，所以如何在高机动情况下抵抗各种磁干扰成为ahrs研究的热门。如图5所示，将加速度计、陀螺仪、磁力计等作为基本输入，通过数据采集单元、校准与补偿单元、数据融合单元、输出与配置单元输出用户所需要的姿态信息、位置信息以及速度信息。
98.可以理解的是图4示意的结构并不构成对定点设备120的具体限定。在本技术另一些实施例中，定点设备120可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
99.视觉传感器130可以是经过训练具有获取三维数据能力的单目摄像机、立体相机、深度相机或激光雷达等等，此处不作具体限定。在一具体的实施例中，视觉传感器可以和隔空输入设备是集成设置的，也可以是分别单独设置的，此处不作具体限定。
100.可以理解的是图2示意的结构并不构成对隔空输入系统的具体限定。在本技术另一些实施例中，隔空输入系统可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
101.参见图6，图6是本技术提供的一种隔空输入系统的结构示意图。如图6所示，本技术提供的隔空输入系统，包括：带有定点痕迹确定功能的投影仪210、定点设备220以及视觉传感器230。
102.如图7所示，带有定点痕迹确定功能的投影仪210可包括：处理器212、存储器213、无线通信模块214、电源开关215、有线lan通信模块216、hdmi通信模块217、光源控制器218和图像投影器219。其中：
103.处理器212可用于读取和执行计算机可读指令。具体实现中，处理器212可主要包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责执行定点或浮点算数运算操作、移位操作以及逻辑操作等，也可以执行地址运算和转换。寄存器主要负责保存指令执行过程中临时存放的寄存器操作数和中
间操作结果等。
104.在一些实施例中，处理器212可以用于解析无线通信模块214和/有线lan通信模块216接收到的信号，如广播的探测请求，投影请求，云投影服务提供商的服务器发送的投影指令，等等。处理器212可以用于根据解析结果进行相应的处理操作，如生成探测响应，又如根据该投影请求或投影指令驱动光源控制器218和图像投影器执行投影操作，等等。
105.在一些实施例中，处理器212还可以用于生成无线通信模块214和/有线lan通信模块216向外发送的信号，如蓝牙广播信号、信标信号，又如向电子设备发送的用于反馈投影状态(如投影成功、投影失败等)的信号。
106.存储器213与处理器212耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器213可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器213可以存储操作系统，例如ucos、vxworks、rtlinux等嵌入式操作系统。存储器213还可以存储通信程序，该通信程序可用于与一个或多个服务器，或附加设备进行通信。
107.无线通信模块214可以包括蓝牙(bt)通信模块214a、wlan通信模块214b中的一项或多项。
108.在一些实施例中，蓝牙(bt)通信模块、wlan通信模块中的一项或多项可以监听到其他设备发射的信号，如探测请求、扫描信号等等，并可以发送响应信号，如探测响应、扫描响应等，使得其他设备可以发现投影仪210，并与其他设备建立无线通信连接，通过蓝牙或wlan中的一种或多种无线通信技术与其他设备进行通信。
109.在另一些实施例中，蓝牙(bt)通信模块、wlan通信模块中的一项或多项也可以发射信号，如广播蓝牙信号、信标信号，使得其他设备可以发现投影仪210，并与其他设备建立无线通信连接，通过蓝牙或wlan中的一种或多种无线通信技术与其他设备进行通信。
110.无线通信模块214还可以包括蜂窝移动通信模块(未示出)。蜂窝移动通信模块可以通过蜂窝移动通信技术与其他设备(如服务器)进行通信。
111.电源开关215可用于控制电源向投影仪210的供电。
112.有线lan通信模块216可用于通过有线lan和同一个lan中的其他设备进行通信，还可用于通过有线lan连接到广域网，可与广域网中的设备通信。
113.hdmi通信模块217可用于通过hdmi接口(未示出)与其他设备进行通信。
114.图像投影器219可具有光源(未示出)，可根据图像数据对从光源处射出的光进行调制并在屏幕上投影图像。
115.光源控制器218可用于控制图像投影器219具有的光源的点亮。
116.可以理解的是图6示意的结构并不构成对带有定点痕迹确定功能的投影仪210的具体限定。在本技术另一些实施例中，带有定点痕迹确定功能的投影仪210可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
117.定点设备220以及视觉传感器230可以参见图2所示的定点设备120以及视觉传感器130。
118.此外，定点痕迹确定功能可以由外设的定点痕迹确定设备实现，而没有跟投影仪集成在一起。该定点痕迹确定功能包括接收第一视觉传感器采集的第一定点设备的位姿信
息以及第一imu采集所述第一定点设备的位姿信息，并根据第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息确定定点痕迹。投影仪可以用于在投影区域中显示所述定点痕迹。
119.参见图8，图8是本技术提供的一种隔空输入方法的流程示意图。如图8所示，本技术提供的隔空输入方法，包括：
120.s101：第一定点设备在空中进行三维定点运动，并通过第一定点设备中的第一imu采集所述第一定点设备的位姿信息。
121.在一具体的实施例中，第一定点设备可以是图2或者图6所示的隔空输入系统中的定点设备。第一定点设备的具体构成请参见图2或者图6以及相关描述，此处不再展开赘述。
122.在一具体的实施例中，第一imu采集的第一定点设备的位姿信息包括：第一定点设备的三维坐标以及第一定点设备的角度。结合图5，第一定点设备通过第一imu中的陀螺仪、加速度计以及磁力计进行数据测量，并将测量到的数据依次输入数据采集单元、校准与补偿单元、数据融合单元以及输出与配置单元进行采集、校准与补偿、数据融合以及输出配置，从而得到第一定点设备的三维坐标(图5中的位置信息)以及第一定点设备的角度(图5中的姿态信息)。
123.下面将结合图9中的具体实施例进行说明。第一imu采集的第一定点设备的位姿信息为(x_pen，y_pen，z_pen，yaw，roll，pitch)，其中，x_pen为第一定点设备相对于起始时刻在x轴的坐标值，y_pen为第一定点设备相对于起始时刻在y轴的坐标值，z_pen为第一定点设备相对于起始时刻在z轴的坐标值，yaw为第一定点设备相对于起始时刻的俯仰角、roll为第一定点设备相对于起始时刻的横滚角以及pitch为第一定点设备相对于起始时刻的航向角。其中，第一imu采集的原始数据为x轴、y轴以及z轴的加速度和x轴、y轴以及z轴的角速度，位姿信息x_pen是对x轴的加速度进行两次积分后得到的，位姿信息y_pen是对y轴的加速度进行两次积分后得到的，位姿信息z_pen是对z轴的加速度进行两次激愤后得到的，位姿信息yaw是对x轴的角速度进行一次积分后得到的，位姿信息roll是对y轴的角速度进行一次积分后得到的，位姿信息pitchl是对z轴的角速度进行一次积分后得到的。因为第一imu采集的x轴、y轴以及z轴的加速度和x轴、y轴以及z轴的角速度均存在系统误差和随机误差，而积分的过程会放大这些误差，导致得到的位姿信息的误差比较大。
124.s102：第一视觉传感器采集所述第一定点设备的位姿信息。
125.在一具体的实施例中，第一视觉传感器可以是图2或者图6所示的隔空输入系统中的视觉传感器。第一视觉传感器的具体构成请参见图2或者图6以及相关描述，此处不再展开赘述。
126.在一具体的实施例中，所述第一视觉传感器可以设置于所述显示区域中，也可以设置在所述显示区域之外。这里，当第一视觉传感器设置在所述显示区域中时，第一视觉传感器的视线轴心线和显示区域的法线的夹角为零，此时，可以简化后续计算的复杂度。当第一视觉传感器设置在显示区域之外时，可以增加第一视觉传感器设置的自由度，尤其是某些特定的场合中，第一视角传感器不方便设置在显示区域中时，还可以设置在显示区域之外。
127.在一具体的实施例中，第一视觉传感器采集用户的三维数据以及第一定点设备的三维数据，此时采集的用户的三维数据以及第一定点设备的三维数据均是以第一视觉传感
器的视点作为坐标原点，需要通过坐标变换关系，将以第一视觉传感器的视中心作为坐标原点的用户的三维数据以及第一定点设备的三维数据转化为以以显示区域的中心作为坐标原点的用户的三维数据以及第一定点设备的三维数据。根据转换后的用户的三维数据建立用户的三维模型，根据转换后的第一定点设备的三维数据建立第一定点设备的三维模型。然后，根据用户的三维模型以及第一定点设备的三维模型来确定第一定点设备的位姿信息。第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度。
128.当第一视觉传感设置在智慧屏中，即，第一视觉传感器集成在智慧屏中时，第一视觉传感器和智慧屏的显示区域的中心之间的位置关系是不会发生变化的，因此，可以在出厂前就提前进行标定，以确定第一视觉传感器的视中心到显示区域的中心之间的坐标变换关系，出厂后，该坐标变换关系不会发生变化。
129.当第一视觉传感设置在智慧屏之外，即，第一视觉传感器是智慧屏的外部设备时，可以在智慧屏的外框设置一个或者几个放置位置，该一个或者几个放置位置和智慧屏的显示区域的中心之间的位置关系是不会发生变化的，因此，可以在出厂前就提前进行标定，以确定设置在该一个或者几个放置位置的第一视觉传感器到显示区域的中心之间的坐标变换关系，出厂后，该坐标变换关系不会发生变化。或者，第一视觉传感器设置在可以拍摄到智慧屏的显示区域的任何一个位置，然后，在智慧屏的显示区域播放标定图像，并根据标定图像进行标定，以确定第一视觉传感器的视中心到显示区域的中心之间的坐标变换关系。
130.当第一视觉传感设置在带有定点痕迹确定功能的投影仪之外时，可以通过制定投影边界以设置一个或者几个放置位置，例如，可以将第一视觉传感设置在投影边界的左上角或者右上角。该一个或者几个放置位置和投影仪的显示区域的中心之间的相对位置关系是明确的，因此，可以在确定设置在该一个或者几个放置位置的第一视觉传感器到显示区域的中心之间的坐标变换关系。或者，第一视觉传感器设置在可以拍摄到投影仪的显示区域的任何一个位置，然后，在投影仪的显示区域播放标定图像，并根据标定图像进行标定，以确定第一视觉传感器的视中心到显示区域的中心之间的坐标变换关系。可以理解，当带有定点痕迹确定功能的投影仪采用定点痕迹确定设备和投影仪的组合进行替换时，坐标变换关系的标定方法也相类似，此处不再展开描述。
131.以智慧屏的中心点为坐标原点(0，0，0)，第一视觉传感器采集的第一定点设备的位姿信息为(x_tip，y_tip，z_tip，θ_x，θ_y，θ_z)，其中，x_tip为第一定点设备的三维模型中的点相对于坐标原点(0，0，0)在x轴的坐标值，y_tip为第一定点设备的三维模型中的点相对于坐标原点(0，0，0)在y轴的坐标值，z_tip为第一定点设备的三维模型中的点相对于坐标原点(0，0，0)在z轴的坐标值，θ_x为第一定点设备的三维模型相对用户的三维模型中的手腕部位的俯仰角、θ_y为第一定点设备的三维模型相对用户的三维模型中的手腕部位的横滚角以及θ_z为第一定点设备的三维模型相对用户的三维模型中的手腕部位的航向角。
132.在一具体的实施例中，第一用户的三维模型中的手腕部位可以通过将第一用户的三维模型输入提取模型中提取出来的，其中，提取模型可以是深度学习(deeplearning，dl)网络、卷积神经网络(convolutional neural networks，cnn)等等。输入提取模型可以使用
大量的第二用户的三维模型和第二用户的三维模型的手腕部分进行训练得到的。第一用户的三维模型是通过第一视觉传感器采集得到的，第二用户的三维模型可以是通过第二视觉传感器采集得到的，第二用户的三维模型可以是人工标注得到的。这里，第一视觉传感器和第二视觉传感器可以是同一个视觉传感器，也可以是两个不同的视觉传感器，例如，第一视觉传感器和第二视觉传感器可以是同一个立体相机，也可以是两个不同的立体相机。或者，第一视觉传感器可以是立体相机，第二视觉传感器是激光雷达等等。类似地，第一imu和第二imu可以是同一个视觉传感器，也可以是两个不同的视觉传感器。
133.在一具体的实施例中，第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度可以是通过以下这种方式确定的：将第一定点设备的三维模型中的点与用户的三维模型中的手腕部位中的点进行连线，然后，求出该连线相对于以手腕部位中的点为坐标原点的坐标系的旋转角。
134.在一具体的实施例中，第一定点设备的三维模型中的点可以是第一定点设备的三维模型中的任意点，例如，可以是第一定点设备的三维模型的顶点(例如，书写笔的三维模型中的笔尖)，第一定点设备的三维模型的质心以及第一定点设备的三维模型的端点等等。在本技术的实施例中，都以第一定点设备的三维模型中的笔尖为例进行说明。
135.在一具体的实施例中，用户的三维模型中的手腕部位中的点可以是用户的三维模型中的手腕部位中的任意点，例如，可以是用户的三维模型中的手腕部位中的中心点等等。其中，用户的三维模型中的手腕部位中的中心点可以是对用户的三维模型中的手腕部位的各个点得坐标值求平均得到的。上述例子中均以用户的三维模型中的手腕部位中的点为一个点进行说明，在其他的实施例中，也可以是两个点，三个点甚至更多点，此处不作具体限定。
136.可以理解，第一视觉传感器可以提供相对于显示区域的中心点的较为准确的绝对位姿信息，但是，第一视觉传感器通常无法提供连续的绝对位姿信息。因此，本发明实施例中，引入了第一imu，该第一imu可以连续提供相对于起始位置的较为准确的相对位姿信息。通过两种传感器的相互配合，既可以提供连续的位姿信息同时也可以避免单纯利用imu而引发的系统误差和随机误差，能够提高确定空中的定点轨迹的准确性。
137.s103：第一定点设备将所述第一imu采集的所述第一定点设备的位姿信息发送给隔空输入设备。相应地，隔空输入设备接收第一定点设备发送的所述第一imu采集的所述第一定点设备的位姿信息。
138.在一具体的实施例中，结合图3、图4以及图7，第一定点设备设置有无线通信模块或者usb接口中的一种或者多种。相应地，隔空输入设备也设置有无线通信模块以及usb通信模块中的一种或者多种。当第一定点设备和隔空输入设备之间采用无线方式进行通信时，第一定点设备和隔空输入设备之间没有数据连接的线，可以使得第一定点设备的使用更加方便。当第一定点设备和隔空输入设备之间采用usb方式进行通信时，可以使得第一定点设备和隔空输入设备之间的数据通信更加流畅。第一定点设备可以设置有无线通信模块或者usb接口中的一种或者多种。
139.s104：第一视觉传感器采集到的所述第一定点设备的位姿信息发送给隔空输入设备。相应地，隔空输入设备接收第一视觉传感器发送的所述视觉传感器采集的所述第一定点设备的位姿信息。
140.在一具体的实施例中，第一视觉传感器设置有无线通信模块、usb接口或者有线lan通信模块、hdmi通信模块中的一种或者多种。相应地，隔空输入设备也设置有无线通信模块以及usb通信模块。当第一视觉传感器和隔空输入设备之间采用无线方式进行通信时，第一视觉传感器和隔空输入设备之间没有数据连接的线，可以使得第一视觉传感器的使用更加方便。当第一视觉传感器和隔空输入设备之间采用usb方式、有线lan方式或者hdmi方式进行通信时，可以使得第一视觉传感器和隔空输入设备之间的数据通信更加流畅。
141.s105：隔空输入设备在显示区域中确定定点起点。
142.在一具体的实施例中，隔空输入设备可以是图2中的智慧屏或者图6中的带有定点痕迹确定功能的投影仪，或者由定点痕迹确定设备以及投影仪组成的隔空输入设备等等。隔空输入设备的具体构成请参见图2或者图6以及相关描述，此处不再展开赘述。
143.在一具体的实施例中，显示区域可以是能够显示定点轨迹的区域，例如，可以是智慧屏的可显示区域，或者，投影仪的投影区域等等。
144.在一具体的实施例中，隔空输入设备在显示区域中确定定点起点，具体可以是：隔空输入设备的处理器从隔空输入设备的存储器获取从第一视觉传感器采集到的用户的三维数据、第一定点设备的三维数据。隔空输入设备的处理器根据用户的三维数据以及第一定点设备的三维数据分别建立用户的三维模型以及第一定点设备的三维模型。然后，隔空输入设备的处理器将用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点确定为定点起点。这里，用户的三维模型的特定部位可以是用户的三维模型中的任意部位，例如，眼睛部位、鼻尖部位、手指尖端部位等等。并且，可以结合不同的条件设置用户的三维模型的特定部位的优先等级，例如，当用户是用手指指向显示区域时，优先使用手指尖端部位来确定定点起点，当用户没有用手指指向显示区域时，优先使用眼睛部位来确定定点起点。第一定点设备的三维模型中的特定部位可以是第一定点设备的三维模型中的任意部位，例如，端点部位、中心部位等等。在一更具体的实施例中，当第一定点设备是书写笔时，第一定点设备的三维模型中的点可以是书写笔的笔尖。下面将结合图10中的具体实施例进行说明。以智慧屏的中心点为坐标原点(0，0，0)，用户的三维模型中眼睛部分的坐标为(x_eye，y_eye，z_eye)，法向量为(x_n，y_n，z_n)，则定点起点为用户的三维模型中眼睛部分的法向量(x_n，y_n，z_n)与智慧屏的交点(x，y，0)。在现有的技术方案中，是根据第一定点设备中的imu的位姿信息来确定定点起点的，因此，根据imu的位姿信息来确定的定点起点往往不是用户想要的定点起点，用户往往需要多次调整定点设备才能够定点到用户想要的定点起点，造成效率非常低下。而在本技术中，是结合视觉传感器来确定人的眼睛所注视的部位来确定绘制起来，能够更加准确以及高效地确定用户想要的定点起点，而且，用户眼睛看哪里，定点起点就在哪里，使用起来非常方便以及人性化，对用户非常友好。另外，因为通过视觉传感器采集三维数据建模具有准确度非常高的特点，通过视觉传感器采集的三维数据建立的用户的三维模型或所述第一定点设备的三维模型来确定定点起点的准确性也非常高。
145.s106：隔空输入设备确定所述第一定点设备在空中的定点轨迹。
146.在一具体的实施例中，隔空输入设备确定所述第一定点设备在空中的定点轨迹，具体为：在第一定点设备在空中运动过程中，隔空输入设备的处理器根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的imu采集的所述第一定点设
备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹。其中，所述映射关系中的第一位姿信息包括第二视觉传感器采集的位姿信息和第二imu采集的位姿信息。
147.在一更具体的实施例中，隔空输入设备的处理器根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息以及轨迹预测模型确定所述第一定点设备在空中的定点轨迹。其中，轨迹预测模型是根据第二视觉传感器采集的第一位姿信息以及第二imu采集的位姿信息以及第一定点轨迹进行训练得到的。轨迹预测模型可以是(deep neural networks，dnn)、线性回归模型等等。
148.在一具体的实施例中，轨迹预测模型可以表示为：
149.y＝f(state1，state2)
150.其中，y为第一定点设备在空中的定点轨迹，state1为第一视觉传感器采集的所述第一定点设备的位姿信息，state2为第一imu采集的第一定点设备的位姿信息，f()为映射关系。在一具体的实施例中，state1为第一视觉传感器采集的第一定点设备的位姿信息为(x_tip，y_tip，z_tip，θ_x，θ_y，θ_z)，state2为第一imu采集的第一定点设备的位姿信息为(x_pen，y_pen，z_pen，yaw，roll，pitch)。
151.在一更具体的实施例中，如图11所示，轨迹预测模型可以包括输入层、隐藏层以及输出层。
152.输入层：
153.假设输入层的输入为s1，s2，其中，s1是第一视觉传感器采集的所述第一定点设备的位姿信息，s2是第一imu采集的第一定点设备的位姿信息，输出和输入相等，即，不对输入进行任何处理。为了陈述简便，此处假设输入层不作任何处理，但是，在实际应用中，可以对输入层进行归一化等等处理，此处不作具体限定。
154.隐藏层：
155.将输入层输出的s1，s2作为隐藏层的输入，假设总共l(l2)层隐藏层，设z
l
表示第l层的输出结果，当l＝1时，其中，1≤l≤l，那么，第l层和第l+1层之间的关系为：
[0156][0157][0158]
其中，w
1l
为第l层的的权值向量，w
2l
为第l层的z
2l
的权值向量，b
l
为第l层的偏置向量，a
l+1
为第l+1层的中间向量，f
1l+1
为第l+1层的第一激励函数，为第l+1层的第二激励函数，z
l+1
为第l+1层的隐藏层结果。第一激励函数和第二激励函数可以是sigmoid函数，双曲正切函数，relu函数等等中的任意一种。
[0159]
输出层：
[0160]
假设第l层的输出结果z
l
具体为：
[0161]zl
＝w
1l-1z1l-1
+w
2l-1z2l-1
+b
l-1
[0162]
其中，w
1l-1
为第l-1层的z
1l-1
的权值向量，w
2l
为第l层的z
2l
的权值向量，b
l
为第l层
的偏置向量，
[0163]
在一具体的实施例中，在使用轨迹预测模型之前，需要先对轨迹预测模型进行训练。对轨迹预测模型进行训练的过程具体为：获取大量第一位姿信息和对应的第一定点轨迹。其中，第一位姿信息包括第二视觉传感器采集第二定点设备的位姿信息、第二imu采集的第二定点设备的位姿信息和对应的第一定点轨迹。然后，将第二视觉传感器采集的第二定点设备的位姿信息、第二imu采集的第二定点设备的位姿信息和对应的第一定点轨迹多次输入未训练好的轨迹预测模型进行重复训练，直到轨迹预测模型能够正确对定点轨迹进行预测。对于单次训练来说，因为轨迹预测模型的输出尽可能的接近真正想要预测的值，所以，可以将第二视觉传感器采集的第二定点设备的位姿信息、第二imu采集的第二定点设备的位姿信息输入轨迹预测模型，从而得到该数据的预测值，并将第一定点轨迹作为真正想要的目标值，比较当前的预测值和真正想要的目标值，再根据两者之间的差异情况来更新轨迹预测模型中的深度神经网络的每一层的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为轨迹预测模型中的各层预先配置参数)，比如，如果轨迹预测模型的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到轨迹预测模型能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么轨迹预测模型的训练就变成了尽可能缩小这个loss的过程。
[0164]
这里，第一视觉传感器和第二视觉传感器可以是同一个视觉传感器，也可以是两个不同的视觉传感器，例如，第一视觉传感器和第二视觉传感器可以是同一个立体相机，也可以是两个不同的立体相机。或者，第一视觉传感器可以是立体相机，第二视觉传感器是激光雷达等等。类似地，第一定点设备和第二定点设备可以是同一个设备，也可以不是同一个设备。当第一定点设备和第二定点设备是同一个设备时，第一imu和第二imu是同一个imu，当第一定点设备和第二定点设备是两个不同的设备时，第一imu和第二imu是两个不同的imu。在一些种可能的场景中，第一视觉传感器和第二视觉传感器是同一个视觉传感器，但是，第一定点设备和第二定点设备是不同的定点设备。或者，第一视觉传感器和第二视觉传感器是同一个视觉传感器，第一定点设备和第二定点设备是同一个定点设备。或者，第一视觉传感器和第二视觉传感器是不同的视觉传感器，但是，第一定点设备和第二定点设备是同一个定点设备。
[0165]
通过训练获得映射关系和使用映射关系确定定点轨可以是同时发生的，也可以是不同时发生的。
[0166]
当通过训练获得映射关系和使用映射关系确定定点轨是同时发生时，训练获得映射关系和使用映射关系确定定点轨迹是在相同的时空发生的，因此，在使用映射关系确定定点轨迹的同时，映射关系可以不断发生变化，以在使用映射关系的过程中，不断提高映射关系的准确性。在这种场景中，在使用映射关系确定定点轨迹时用到的第一视觉传感器采集到的第一定位设备的位姿信息，第一imu采集到的第一定位设备的位姿信息可以作为第一位姿信息，使用映射关系确定的定点轨迹可以作为第一定点轨迹来对隔空输入设备中的轨迹预测模型进行训练。
[0167]
当通过训练获得映射关系和使用映射关系确定定点轨迹是不同时发生时，可以先
通过训练获得映射关系，然后，再使用映射关系确定定点轨迹。即，通过训练获得映射关系是在过去的时空发生的，而，使用映射关系确定定点轨迹是在现在的时空发生的。此时，可以由专门的训练设备承担训练获得映射关系的任务，来减轻隔空输入设备的负荷。当然，也可以根据实际情况，而仍然设置由隔空输入设备来训练获得映射关系。换言之，是通过历史采集的数据来训练获得映射关系的。在这种场景中，可以采用机械手臂控制所述第二定点设备在空中进行定点运动。即，可以通过机械手臂模拟人的手臂在空中进行三维定点运动。为了更好地模拟人的手臂，机械手臂可以采用媲美真人手臂的仿生手臂。机械手臂控制第二定点设备在空中进行三维定点运动得到的轨迹就是第一定点轨迹。在机械手臂控制所述第二定点设备在空中进行定点运动时，第二视觉传感器采集到机械手臂的三维数据和第二定点设备的三维数据，根据机械手臂的三维数据建立机械手臂的三维模型，根据第二定点设备的三维数据建立第二定点设备的三维模型，然后，根据机械手臂的三维模型以及第二定点设备的三维模型来确定的第二定点设备的位姿信息(具体请参见步骤s102中第一视觉传感器确定第一定点设备的位置信息的过程)；以及，机械手臂控制第二定点设备在空中进行定点运动时，第二定点设备中的第二imu采集的第二定点设备的位姿信息(具体请参见步骤s101中第一定点设备的第一imu采集所述第一定点设备的位姿信息的过程)。第二视觉传感器采集到的第二定点设备的位姿信息以及第二定点设备中的第二imu采集的第二定点设备的位姿信息统称为第一位姿信息。机械手臂将第一定点轨迹发送给隔空输入设备或者训练设备，第二视觉传感器将第二视觉传感器采集到的第二定点设备的位姿信息发送给隔空输入设备或者训练设备，第二定点设备将第二定点设备中的第二imu采集的第二定点设备的位姿信息发送给隔空输入设备或者训练设备来对轨迹预测模型进行训练。
[0168]
上述例子中，是假设第一视觉传感器和第二视觉传感器的位置不变的情况下进行说明的，例如，第一视觉传感器可以设置在智慧屏的上边缘的正中，第二视觉传感器也可以设置在智慧屏的上边缘的正中。但是在实际应用中，第一视觉传感器的位置和第二视觉传感器的位置也可能发生变化。例如，第一视觉传感器可以设置在智慧屏的上边缘的正中，第二视觉传感器可以设置在智慧屏的左上角。此时，需要重新标定第二视角传感器和显示区域中心的转换关系，并通过该转换关系将第二视角传感器采集的以第二视角传感器的视中心为坐标原点的机械手臂的三维数据和第二定点设备的三维数据，转换为以显示区域的中心为坐标原点的机械手臂的三维数据和第二定点设备的三维数据。
[0169]
通过训练获得映射关系和使用映射关系确定定点轨迹是同时发生时，往往使用的第一视觉传感器和第二视觉传感器是同一个视觉传感器，第一定点设备和第二定点设备是同一个定点设备。通过训练获得映射关系和使用映射关系确定定点轨是不同时发生时，第一视觉传感器和第二视觉传感器可以是同一个视觉传感器，但是，第一定点设备和第二定点设备可以是不同的定点设备。或者，第一视觉传感器和第二视觉传感器是同一个视觉传感器，第一定点设备和第二定点设备是同一个定点设备。或者，第一视觉传感器和第二视觉传感器是不同的视觉传感器，但是，第一定点设备和第二定点设备是同一个定点设备。或者，第一视觉传感器和第二视觉传感器是不同的视觉传感器，第一定点设备和第二定点设备也是不同的定点设备。
[0170]
s107：隔空输入设备根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。
[0171]
在一具体的实施例中，隔空输入设备的处理器根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。
[0172]
s108：隔空输入设备在显示区域显示定点痕迹。
[0173]
在一具体的实施例中，当隔空输入设备是智慧屏时，可以在智慧屏的显示器的显示区域显示定点痕迹；当隔空输入设备是带有定点痕迹确定功能的投影仪或者带有定点痕迹确定功能的设备以及投影仪组成的隔空输入设备时，可以通过投影仪的图像投影器将定点痕迹投影至投影区域。
[0174]
上述实施例中，是以隔空输入设备可以执行接收第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息，并根据第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息确定定点痕迹，投影仪可以用于在投影区域中显示所述定点痕迹，以及在显示区域显示定点痕迹的步骤为例进行说明的。在一种可能的实施例中，隔空输入设备可以包括定点痕迹确定设备以及投影仪，其中，定点痕迹确定设备用于接收第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息，并根据第一视觉传感器采集的第一定点设备的位姿信息以及第一imu采集所述第一定点设备的位姿信息确定定点痕迹，投影仪可以用于在投影区域中显示所述定点痕迹，此处不作具体限定。
[0175]
上述实施例中，步骤s102以及s104中是第一视觉传感器采集用户的三维数据以及第一定点设备的三维数据，进而根据用户的三维数据以及第一定点设备的三维数据确定第一定点设备的位姿信息，在其他的实施例中，也可以第一视觉传感器采集用户的三维数据以及第一定点设备的三维数据，将第一视觉传感器采集的用户的三维数据以及第一定点设备的三维数据发送给隔空输入设备，并由隔空输入设备根据用户的三维数据以及第一定点设备的三维数据确定第一定点设备的位姿信息。同理，第二视觉传感器也可以将采集机械手臂的三维数据以及第二定点设备的三维数据发送给隔空输入设备或者训练设备，并由隔空输入设备或者训练设备根据机械手臂的三维数据以及第二定点设备的三维数据确定第二定点设备的位姿信息。
[0176]
上述实施例中，步骤s101和s102的执行顺序不分先后，可以先执行步骤s101，再执行步骤s102，或者，先执行步骤s102，再执行步骤s101，或者，同时执行步骤s101以及步骤s102。步骤s103和步骤s104的执行顺序不分先后，可以先执行步骤s103，再执行步骤s104，或者，先执行步骤s103，再执行步骤s104，或者，同时执行步骤s103以及步骤s104。
[0177]
请参见图12，图12示出了本技术提供的一种隔空输入设备的结构示意图。如图12所示，隔空输入设备包括：
[0178]
起点确定单元310用于在显示区域中确定定点起点。
[0179]
轨迹确定单元320用于在第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息。
[0180]
痕迹确定单元330用于根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。
[0181]
其中，起点确定单元310、轨迹确定单元320以及痕迹确定单元330协同工作，以实现上述s104中隔空输入设备执行的步骤。具体地，起点确定单元310用于执行上述s105中确定定点起点的步骤，轨迹确定单元320用于执行上述106中确定第一定点设备在空中的定点轨迹的步骤，痕迹确定单元330用于执行上述106中确定在所述显示区域的定点痕迹的步骤。
[0182]
可选地，隔空输入设备还可以包括训练单元(图未示)，所述训练单元用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行三维定点运动得到的；接收所述第一位姿信息，通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。
[0183]
可选地，隔空输入设备还可以包括接收单元(图未示)，用于接收第一视觉传感器采集的第一定点设备的位姿信息(或者，第一视觉传感器采集的用户的三维数据以及第一定点设备的三维数据)，第一imu采集的所述第一定点设备的位姿信息。此外，还可以用于接收第二视觉传感器采集的第二定点设备的位姿信息(或者，第二视觉传感器采集的机械手臂的三维数据以及第二定点设备的三维数据)，第二imu采集的所述第二定点设备的位姿信息，机械手臂发送的第一定点轨迹等等。
[0184]
可选地，隔空输入设备还可以包括显示单元(图未示)，用于在显示区域显示定点痕迹。
[0185]
可选地，隔空输入设备可以包括定点痕迹确定设备以及投影仪，其中，起点确定单元310、轨迹确定单元320以及痕迹确定单元330设置在痕迹确定设备中，显示单元设置于投影仪中，此处不作具体限定。
[0186]
另外，起点确定单元310确定的定点起点的位置、定点起点的确定方法参见图8中步骤s105中相关的介绍。轨迹确定单元320中用到的第一视觉传感器采集的所述第一定点设备的位姿信息、第一imu采集的所述第一定点设备的位姿信息、第一位姿信息、第一定点轨迹的定义以及获取方法、映射关系的训练方法请参见图8中步骤s101、步骤s102以及步骤s105中的相关介绍，此处不再展开描述。
[0187]
请参见图13，图13示出了本技术提供的一种隔空输入设备的结构示意图。该隔空输入设备用于执行上述隔空输入方法中隔空输入设备执行的步骤。
[0188]
如图13所示，隔空输入设备包括存储器410、处理器420、通信接口430以及总线440。其中，存储器410、处理器420、通信接口430通过总线440实现彼此之间的通信连接。
[0189]
存储器410可以是只读存储器(read only memory,rom)，静态存储设备、动态存储设备或者随机存取存储器(random access memory,ram)。存储器410可以存储计算机指令，例如：起点确定单元310中的计算机指令、轨迹确定单元320中的计算机指令、痕迹确定单元330中的计算机指令等。当存储器410中存储的计算机指令被处理器420执行时，处理器420和通信接口430用于执行上述步骤s104至s106所述的部分或全部方法。存储器410还可以存储数据，例如：存储处理器420在执行过程中产生的中间数据或结果数据，例如，第一视觉传感器采集的用户的三维数据、第一定点设备的三维数据、用户的三维模型、第一定点设备的三维模型、映射关系、第一视觉传感器采集的位姿信息，第一imu采集的位姿信息等。
[0190]
处理器420可以采用cpu、微处理器、专用集成电路(application specific integrated circuit,asic)、图形处理器(graphics processing unit,gpu)或者一个或多
个集成电路。
[0191]
处理器420还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，隔空输入设备的部分或全部功能可以通过处理器420中的硬件的集成逻辑电路或者软件形式的指令完成。处理器420还可以是通用处理器、数据信号处理器(digital signal process,dsp)、现场可编程逻辑门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件，分立门或者晶体管逻辑器件，分立硬件组件，从而实现或者执行本技术实施例中公开的方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器410，处理器420读取存储器410中的信息，结合其硬件完成上述隔空输入方法中步骤s105至步骤s108。
[0192]
通信接口430使用例如但不限于收发器一类的收发模块，来实现计算设备与其他设备(例如，摄像设备、麦克风、服务器)之间的通信。
[0193]
总线440可以包括在隔空输入设备中的各个部件(例如，存储器410、处理器420、通信接口430)之间传送信息的通路。
[0194]
在一些实施例中，隔空输入设备可以作为团队协作交流的终端设备。因此，可选的，隔空输入设备还可以包括摄像设备450、麦克风460，以用于实时采集图像信号、声音信号。或者，隔空输入设备还可以通过通信接口430与摄像设备450、麦克风460进行连接，以用于实时采集图像信号、声音信号。
[0195]
可以理解，定点痕迹确定设备的结构与图13所示的隔空输入设备相类似，但是，定点痕迹确定设备不需要执行上述隔空输入方法中在显示区域显示定点痕迹的步骤。
[0196]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态存储盘solid state disk(ssd))等。

技术特征：
1.一种隔空输入方法，其特征在于，包括：在显示区域中确定定点起点；第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一惯性测量单元imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。2.根据权利要求1所述的方法，其特征在于，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。3.根据权利要求2所述的方法，其特征在于，所述定点起点是所述用户的三维模型或所述第一定点设备的三维模型中的特定部位的法向量与所述显示区域的交点。4.根据权利要求3所述的方法，其特征在于，所述定点起点是所述用户的三维模型中眼睛部位的法向量与所述显示区域的交点。5.根据权利要求1至4任一权利要求所述的方法，其特征在于，确定所述第一定点设备在空中的定点轨迹之前，所述方法还包括：接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行定点运动得到的；接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时的所述第二定点设备的位姿信息；通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。6.一种隔空输入设备，其特征在于，包括：处理器以及显示单元，所述处理器连接所述显示单元，所述处理器用于在所述显示单元产生的显示区域中确定定点起点，第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹；所述显示单元用于在所述显示区域中显示所述定点痕迹。7.根据权利要求6所述的设备，其特征在于，所述设备还包括接收器，所述接收器用于接收所述第一视觉传感器采集的所述第一定点设备的位姿信息，其中，所述第一视觉传感器采集的所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的
手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。8.根据权利要求7所述的设备，其特征在于，所述接收器还用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行定点运动得到的；所述接收器还用于接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时所述第二定点设备的位姿信息；所述处理器还用于通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。9.一种隔空输入系统，其特征在于，包括：第一定点设备，用于在空中进行三维定点运动，以及，通过所述第一定点设备中的第一imu采集所述第一定点设备的位姿信息；第一视觉传感器，用于采集所述第一定点设备的位姿信息；隔空输入设备，用于在所述隔空输入设备产生的显示区域中确定定点起点，在第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一imu采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二imu采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹；所述隔空输入设备，还用于所述显示区域中显示所述定点痕迹。10.根据权利要求9所述的系统，其特征在于，所述第一定点设备的位姿信息包括所述第一定点设备的三维模型中的点的三维坐标，以及，所述第一定点设备的三维模型相对用户的三维模型中的手腕部位的旋转角度，所述用户的三维模型和所述第一定点设备的三维模型是根据所述第一视觉传感器采集的所述用户的三维数据和所述第一定点设备的三维数据建立的。11.根据权利要求9或10所述的系统，其特征在于，所述隔空输入设备，还用于接收机械手臂发送的所述第一定点轨迹，其中，所述第一定点轨迹是所述机械手臂控制所述第二定点设备在空中进行三维定点运动得到的；所述隔空输入设备，还用于接收所述第二定点设备的第一位姿信息，其中，所述第一位姿信息是所述机械手臂控制所述第二定点设备在空中进行定点运动时所述第二定点设备的位姿信息；所述隔开输入设备，还用于通过所述第一位姿信息和所述第一定点轨迹对神经网络进行训练，得到所述映射关系。

技术总结
本申请涉及一种隔空输入方法、设备以及系统。所述方法包括：在显示区域中确定定点起点；第一定点设备在空中进行三维定点运动过程中，根据第一视觉传感器采集的所述第一定点设备的位姿信息、所述第一定点设备中的第一惯性测量单元采集的所述第一定点设备的位姿信息以及第一位姿信息与第一定点轨迹之间的映射关系确定所述第一定点设备在空中的定点轨迹，其中，所述第一位姿信息包括第二视觉传感器采集的第二定点设备的位姿信息，和，第二惯性测量单元采集的所述第二定点设备的位姿信息；根据所述定点起点以及所述定点轨迹，确定在所述显示区域的定点痕迹。上述方案能够提高确定空中的定点轨迹的准确性。的定点轨迹的准确性。的定点轨迹的准确性。


技术研发人员：郑文植 何梦佳 柏忠嘉 张行 程林松
受保护的技术使用者：华为技术有限公司
技术研发日：2022.03.25
技术公布日：2023/10/7