一种显示的方法、装置、存储介质及电子设备与流程

1.本技术涉及虚拟现实技术领域，具体而言，涉及一种显示的方法、装置、存储介质及电子设备。


背景技术：

2.增强现实(augmented reality，ar)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段。
3.目前，在ar技术下为了实现对用户触及不到的范围的远端对象的交互控制，通常对用户的手部形态进行检测，生成对应的延伸射线控制远端对象。然而，对手部形态进行检测需要进行算法计算，检测的准确率和效率无法保证，进而影响对远端对象的控制准确度。
4.因此，如何提供一种准确度较高的显示的方法的技术方案成为亟需解决的技术问题。


技术实现要素：

5.本技术的一些实施例的目的在于提供一种显示的方法、装置、存储介质及电子设备，通过本技术的实施例的技术方案可以实现ar设备对远端界面的显示控制，控制方式简便，且准确度较高。
6.第一方面，本技术的一些实施例提供了一种显示的方法，应用于ar设备，包括：显示第一界面和第二界面；获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。
7.本技术的一些实施例通过获取用户在第一界面上的操作指令，进而实现对第二界面的显示结果的控制。本技术的实施例可以通过近端的第一界面实现对远端的第二界面的控制，控制方式简便，且准确度较高。
8.在一些实施例，所述第一界面包括虚拟控制菜单，所述虚拟控制菜单包括：多个菜单项；所述第一界面的显示位置与所述用户的手臂触及范围相关。
9.本技术的一些实施例通过在第一界面上设置对应的虚拟控制菜单且在用户可以触及的范围内，可以便于用户在第一界面上进行操作，进而实现对第二界面的控制。
10.在一些实施例，所述获取所述用户在所述第一界面上的操作指令，包括：获取所述用户在所述多个菜单项中任一菜单项上的操作指令，其中，所述操作指令的类型包括如下类型中的至少一种：点击、双击、拖拉和滑动。
11.本技术的一些实施例通过用户在第一界面上的操作，生成对应的操作指令，提升了对用户操作的识别准确率。
12.在一些实施例，所述第一界面与所述用户的距离小于所述第二界面与所述用户的距离，所述第一界面的尺寸小于所述第二界面，所述第一界面为交互面板，所述第二界面为显示屏。
13.本技术的一些实施例通过第一界面和第二界面距离用户的距离和大小，可以准确
区分第一界面和第二界面，通过交互面板实现与用户的交互，通过显示屏显示控制结果，实现了对远端的界面的准确控制。
14.在一些实施例，所述多个菜单项中包括：多个视频主题项，其中，所述获取所述用户在所述第一界面上的操作指令，包括：响应于所述用户在所述多个视频主题项中任一视频主题项的选中操作，生成播放指令，其中，所述播放指令为所述操作指令，所述播放指令用于控制所述第二界面播放与所述任一视频主题项对应的视频内容。
15.本技术的一些实施例通过选中任一视频主题项生成播放指令，可以控制第二界面播放对应的视频内容，准确度较高，且易于操作。
16.在一些实施例，所述多个菜单项中包括：视频进度条，其中，当所述第二界面播放目标视频时，所述获取所述用户在所述第一界面上的操作指令，包括：所述第一界面响应于所述用户在所述视频进度条上的拖拉操作，生成视频播放调整指令，其中，所述视频播放调整指令为所述操作指令，所述视频播放调整指令用于控制所述第二界面播放与所述视频播放调整指令对应的时间点的视频内容。
17.本技术的一些实施例通过用户在第一界面的操作，可以实现对第二界面正在播放的视频进度的控制，准确度较高，且易于操作。
18.第二方面，本技术的一些实施例提供了一种显示的装置，应用于ar设备，包括：显示模块，被配置为显示第一界面和第二界面；操作模块，被配置为获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。
19.第三方面，本技术的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。
20.第四方面，本技术的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。
21.第五方面，本技术的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。
附图说明
22.为了更清楚地说明本技术的一些实施例的技术方案，下面将对本技术的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
23.图1为本技术的一些实施例提供的一种显示的系统图；
24.图2为本技术的一些实施例提供的一种显示的方法流程图；
25.图3为本技术的一些实施例提供的显示结果的示意图之一；
26.图4为本技术的一些实施例提供的显示结果的示意图之二；
27.图5为本技术的一些实施例提供的一种显示的装置组成框图；
28.图6为本技术的一些实施例提供的一种电子设备示意图。
具体实施方式
29.下面将结合本技术的一些实施例中的附图，对本技术的一些实施例中的技术方案进行描述。
30.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
31.相关技术中，在ar使用环境下，经常需要用户通过肢体、手部，与虚拟对象进行交互。对于近处对象，在手臂可以触及的范围内，可以用手直接进行交互。对于远处对象，手臂无法直接触及时，经常使用如下两种方法：一种是需要增加额外的硬件设备，例如使用体感手柄或空鼠，延伸射线对远处对象进行方向指示。另一种是通过手部形态检测，延伸出射线。但是，该方法需要对手部形态检测，消耗一定的图像计算性能，存在准确率降低的问题，而且在实际应用时会造成延迟、指向不准确、点击动作识别不准确等问题。由上述相关技术可知，现有技术中在ar环境下对远处对象的控制的准确度较低，控制方式不够简捷。
32.鉴于此，本技术的一些实施例提供了一种显示的方法，应用于ar设备，该方法在ar环境下可以显示有第一界面和第二界面，用户通过在第一界面上进行操作生成操作指令，通过操作指令可以控制第二界面的显示结果。本技术的一些实施例通过用户在第一界面的操作实现对第二界面的控制，易于操作，且准确度较高。
33.下面结合附图1示例性阐述本技术的一些实施例提供的显示的系统的整体组成结构。
34.如图1所示，本技术的一些实施例提供了一种显示的系统，该显示的系统包括：ar眼镜100(作为ar设备的一个具体示例)、第一界面110和第二界面120。其中，当用户佩戴ar眼镜100后，启动应用程序或处理器后，可以在用户的视野内显示第一界面110和第二界面120。用户可以在第一界面110上进行操作，ar眼镜内部部署的应用程序或处理器会生成对应的操作指令，通过操作指令可以实现对第二界面120的显示结果的控制。需要说明的是，ar眼镜部署的应用程序或处理器中含有相关的数据内容，例如，在视频应用场景中，应用程序或处理器中包括多个视频主题。在监控应用场景中，应用程序或处理器中包括录制完成的多个监控视频。具体的可以根据实际的应用场景确定数据内容，本技术实施例并不局限于此。
35.需要说明的是，第一界面110和第二界面120只有佩戴ar眼镜100的人才可以看到，且第一界面110和第二界面120以悬浮的方式显示在用户的视野内。
36.在本技术的一些实施例中，所述第一界面包括虚拟控制菜单，所述虚拟控制菜单包括：多个菜单项；所述第一界面的显示位置与所述用户的手臂触及范围相关。
37.例如，在本技术的一些实施例中，第一界面110可以作为近处对象，设置在用户的手臂可以触及的范围内且易于操作的任一位置均可以，具体的，可以基于用户的使用习惯进行灵活设置。或灵活拖动第一界面110，以调整其位置。第一界面110上可以设置有对应的虚拟控制菜单，虚拟控制菜单内还可以包含多个菜单项以供用户进行选择。具体的，虚拟控制菜单的种类可以根据实际的应用场景进行设置，例如，在视频选择场景中，虚拟控制菜单可以是与视频控制相关的菜单项，也可以每个菜单项设置有对应的选择按钮或选择框。在视频播放场景中，虚拟控制菜单可以是与视频播放相关的菜单项，也可以每个菜单项设置
有对应的选择按钮、进度条或选择框等等。本技术实施例在此不作具体限定。
38.在本技术的一些实施例中，所述第一界面与所述用户的距离小于所述第二界面与所述用户的距离，所述第一界面的尺寸小于所述第二界面，所述第一界面为交互面板，所述第二界面为显示屏。
39.例如，在本技术的一些实施例中，第二界面120可以作为远处对象，设置在用户的手臂不能触及的范围且易于观看的任一位置均可以。在本技术的一些实施例中，为了实现更加真实的效果，显示屏的显示尺寸可以大于交互面板的显示尺寸。具体的，可以根据实际情况进行灵活设定，本技术实施例在此不作具体限定。
40.下面结合附图2示例性阐述本技术的一些实施例提供的由ar眼镜内部的处理器执行的显示的实现过程。
41.请参见附图2，图2为本技术的一些实施例提供的一种显示的方法流程图，该显示的方法应用于ar设备，该方法包括：
42.s210，显示第一界面和第二界面。
43.例如，在本技术的一些实施例中，用户可以佩戴ar眼镜110，并开启ar眼镜110中的应用软件或程序，此时，ar眼镜110可以在用户的视野中显示交互面板和显示大屏(也就是显示屏)。用户可以根据自己是使用习惯，拖拽交互面板，以使得交互面板可以位于用户指定的位置。用户也可以在交互面板上调整显示大屏的位置，ar眼镜110的处理器可以生成对应的调整指令以实现对显示大屏位置的调整。具体的，可以根据实际情况进行设定，本技术实施例并不局限于此。
44.s220，获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。
45.例如，在本技术的一些实施例中，用户可以在交互面板上的虚拟控制菜单上进行选择，此时处理器会基于选择操作生成对应的操作指令，通过操作指令可以实现对显示大屏的显示结果的控制。
46.在本技术的一些实施例中，s220可以包括：获取所述用户在所述多个菜单项中任一菜单项上的操作指令，其中，所述操作指令的类型包括如下类型中的至少一种：点击、双击、拖拉和滑动。
47.例如，在本技术的一些实施例中，用户可以在交互面板上对任一菜单项进行点击、双击、拖拉或滑动中的任何一种操作方式实现对菜单项的选中和控制。具体的，用户在交互面板的操作类型除了上述列举的几种之外，还可以采用其他的操作类型，本技术实施例并不局限于此。
48.下面以视频播放的应用场景为例，示例性阐述本技术的一些实施例提供的显示的方法的具体过程。需要说明的是，在执行下述实施例中，用户已经佩戴完成ar眼镜，并在用户视野中显示了如图3所示的交互面板310(作为第一界面的一个具体示例)、显示大屏320(作为第二界面的一个具体示例)、视频进度条311和操作按钮312(作为虚拟控制菜单的一个具体示例)。
49.在本技术的一些实施例中，s220可以包括：响应于所述用户在所述多个视频主题项中任一视频主题项的选中操作，生成播放指令，其中，所述播放指令为所述操作指令，所述播放指令用于控制所述第二界面播放与所述任一视频主题项对应的视频内容。
50.例如，在本技术的一些实施例中，图3中的交互面板310中显示有第一视频1，第二视频2，第三视频3...第n视频n(作为多个视频主题项的一个具体示例，一个视频为一个视频主题项)。视频主题项可以为电视剧和电影等拍摄的视频，也可以为监控视频等等。用户可以通过点击操作选择需要播放的视频。例如，用户点击第二视频2(作为任一视频主题项的一个具体示例)之后，处理器生成播放指令，以使得显示大屏播放第二视频2(作为显示结果的一个具体示例)。另外，交互面板310除了显示多个视频主题项之外还可以显示视频暂停、快进和后退等操作按钮312。应理解，本技术实施例并不局限于此。此时，交互面板310可以是停留在有多个视频主题项的初始页面，也可以与显示大屏320进行同步视频播放。本技术实施例在此不作具体限定。
51.下面结合附图4，以视频播放进度调整的应用场景为例，示例性阐述本技术的一些实施例提供的显示的方法的具体过程。
52.在本技术的一些实施例中，所述多个菜单项中包括：视频进度条，其中，当所述第二界面播放目标视频时，s220可以包括：响应于所述用户在所述视频进度条上的拖拉操作，生成视频播放调整指令，其中，所述视频播放调整指令为所述操作指令，所述视频播放调整指令用于控制所述第二界面播放与所述视频播放调整指令对应的时间点的视频内容。
53.例如，在本技术的一些实施例中，交互面板310上显示有视频进度条311。用户可以在视频进度条上进行拖拉操作或点击操作，处理器接收到拖拉操作或点击操作的指令后生成视频播放调整指令，通过视频播放调整指令可以调整显示大屏上目标视频的播放进度(作为显示结果的另一个具体示例)。视频播放调整指令用于控制显示大屏320的目标视频的播放时间节点。例如，第二视频2的总时长为1小时，用户想看第30分钟的内容，用户可以将视频进度条从时间节点a拖拉至30分钟(也就是图4中的时间节点b)的位置，也可以点击视频进度条311的30分钟对应的位置节点，处理器会生成进度设为30分钟的视频播放调整指令，此时，显示大屏320从当前第二视频2在播放第3分钟(也就是图4中的时间节点a)对应的内容，调整为播放第30分钟(也就是图4中的时间节点b)对应的视频内容。具体的，可以根据实际情况进行灵活调整，本技术实施例并不局限于此。
54.通过上述本技术提供的一些实施例中的ar眼镜可以在第一界面进行操作后，实现对第二界面的显示结果的控制，实现了对远端对象的交互，且保证了第二界面的显示结果的准确度。
55.请参考图5，图5示出了本技术的一些实施例提供的显示的装置的组成框图。应理解，该显示的装置与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该显示的装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
56.图5的显示的装置包括至少一个能以软件或固件的形式存储于存储器中或固化在显示的装置中的软件功能模块，该显示的装置应用于ar设备，包括：显示模块510，被配置为显示第一界面和第二界面；操作模块520，被配置为获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。
57.在本技术的一些实施例中，所述第一界面包括虚拟控制菜单，所述虚拟控制菜单包括：多个菜单项；所述第一界面的显示位置与所述用户的手臂触及范围相关。
58.在本技术的一些实施例中，操作模块520，被配置为获取所述用户在所述多个菜单项中任一菜单项上的操作指令，其中，所述操作指令的类型包括如下类型中的至少一种：点
击、双击、拖拉和滑动。
59.在本技术的一些实施例中，所述第一界面与所述用户的距离小于所述第二界面与所述用户的距离，所述第一界面为交互面板，所述第一界面的尺寸小于所述第二界面，所述第二界面为显示屏。
60.在本技术的一些实施例中，所述多个菜单项中包括：多个视频主题项，其中，操作模块520，被配置为响应于所述用户在所述多个视频主题项中任一视频主题项的选中操作，生成播放指令，其中，所述播放指令为所述操作指令，所述播放指令用于控制所述第二界面播放与所述任一视频主题项对应的视频内容。
61.在本技术的一些实施例中，所述多个菜单项中包括：视频进度条，其中，当所述第二界面播放目标视频时，操作模块520，被配置为响应于所述用户在所述视频进度条上的拖拉操作，生成视频播放调整指令，其中，所述视频播放调整指令为所述操作指令，所述视频播放调整指令用于控制所述第二界面播放与所述视频播放调整指令对应的时间点的视频内容。
62.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
63.本技术的一些实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
64.本技术的一些实施例还提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
65.如图6所示，本技术的一些实施例提供一种电子设备600，该电子设备600包括：存储器610、处理器620以及存储在存储器610上并可在处理器620上运行的计算机程序，其中，处理器620通过总线630从存储器610读取程序并执行所述程序时可实现如上述任意实施例的方法。
66.处理器620可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器620可以是微处理器。
67.存储器610可以用于存储由处理器620执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本技术实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器620可以用于执行存储器610中的指令以实现上述所示的方法。存储器610包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
68.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
69.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
70.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种显示的方法，其特征在于，应用于ar设备，包括：显示第一界面和第二界面；获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。2.如权利要求1所述的方法，其特征在于，所述第一界面包括虚拟控制菜单，所述虚拟控制菜单包括：多个菜单项；所述第一界面的显示位置与所述用户的手臂触及范围相关。3.如权利要求2所述的方法，其特征在于，所述获取所述用户在所述第一界面上的操作指令，包括：获取所述用户在所述多个菜单项中任一菜单项上的操作指令，其中，所述操作指令的类型包括如下类型中的至少一种：点击、双击、拖拉和滑动。4.如权利要求1-3中任一项所述的方法，其特征在于，所述第一界面与所述用户的距离小于所述第二界面与所述用户的距离，所述第一界面的尺寸小于所述第二界面，所述第一界面为交互面板，所述第二界面为显示屏。5.如权利要求2或3所述的方法，其特征在于，所述多个菜单项中包括：多个视频主题项，其中，所述获取所述用户在所述第一界面上的操作指令，包括：响应于所述用户在所述多个视频主题项中任一视频主题项的选中操作，生成播放指令，其中，所述播放指令为所述操作指令，所述播放指令用于控制所述第二界面播放与所述任一视频主题项对应的视频内容。6.如权利要求2或3所述的方法，其特征在于，所述多个菜单项中包括：视频进度条，其中，当所述第二界面播放目标视频时，所述获取所述用户在所述第一界面上的操作指令，包括：响应于所述用户在所述视频进度条上的拖拉操作，生成视频播放调整指令，其中，所述视频播放调整指令为所述操作指令，所述视频播放调整指令用于控制所述第二界面播放与所述视频播放调整指令对应的时间点的视频内容。7.一种显示的装置，其特征在于，应用于ar设备，包括：显示模块，被配置为显示第一界面和第二界面；操作模块，被配置为获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器运行时执行如权利要求1-6中任意一项权利要求所述的方法。9.一种计算机程序产品，其特征在于，所述的计算机程序产品包括计算机程序，其中，所述计算机程序被处理器运行时执行如权利要求1-6中任意一项权利要求所述的方法。10.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器运行时执行如权利要求1-6中任意一项权利要求所述的方法。

技术总结
本申请的一些实施例提供了一种显示的方法、装置、存储介质及电子设备，该显示的方法应用于AR设备，包括：显示第一界面和第二界面；获取所述用户在所述第一界面上的操作指令，其中，所述操作指令用于控制所述第二界面的显示结果。本申请的一些实施例可以在AR下实现对远端对象的控制，准确度较高。准确度较高。准确度较高。


技术研发人员：褚跃跃 张鹏飞 夏勇峰
受保护的技术使用者：北京蜂巢世纪科技有限公司
技术研发日：2023.05.16
技术公布日：2023/8/13