自动关闭虚拟会议中的视觉中断符号的制作方法

1.本技术涉及用于响应于在接收到相关联的中断符号举起信号之后检测到声学信号并且清除视觉中断符号而自动地更新提供虚拟会议的应用的会议界面的系统和方法。


背景技术：

2.虚拟会晤/会议允许在多个地方的两个或更多人在在线会议中通过视频、音频和文本传输来彼此通信，这在面对面会议不可用或负担重时是特别有用的。在虚拟会议中，出席者/参与者能够举手以指示他/她想发言。在当前的虚拟会议系统中，在参与者在会议中发言之后，要么参与者必须手动地降下举起的手，要么将在特定时间段之后由系统降下手。使用这些降下手的方法的技术问题在于：举起的手可能未及时降下，并且因此对虚拟会议中后续的交互产生负面影响。一方面，手动操作给会议参与者带来了降下举起的手的负担，并且因此损害了参与者在虚拟会议中的体验(例如，参与者必须记住在他/她发言之后降下手)。更重要的是，参与者何时或者是否将降下他/她的手是不可预测的。另一方面，系统难以确定适当的时间间隔来降下特定参与者的手，并且因此可能造成混乱。例如，如果在参与者在会议中已经发言之后没有及时降下参与者举起的手，那么(例如，虚拟会议的组织者)可能要求参与者再次发言，即使他/她无意这样做。
3.因此，需要一种用于自动并且及时地降下由在线虚拟会议中的会议参与者虚拟举起的手的系统和方法。


技术实现要素：

4.在一个方面中，一种用于响应于在接收到相关联的中断符号举起信号之后检测到声学信号而自动地适应提供虚拟会议的应用的会议界面的举手管理系统，包括：处理器；以及被耦合到所述处理器的存储器，其被配置为存储可执行指令。所述指令当由所述处理器执行时，使得所述处理器用于：从提供所述虚拟会议的所述应用的第一会议界面接收中断信号，其中，所述第一会议界面在与在针对所述虚拟会议的相应参与者集合的相应客户端设备集合上提供所述虚拟会议的所述应用相关联的会议界面集合中；响应于接收到所述中断信号，通过通信网络向所述会议界面集合中的每个会议界面发送所述中断符号举起信号，以打开来自第一参与者的视觉中断符号；响应于在接收到所述中断符号举起信号之后检测到来自所述第一参与者的第一声学信号：自动地生成中断符号降下信号；并且将所生成的中断符号降下信号发送至所述客户端设备集合中的每个客户端设备，以自动地更新每个会议界面并且关闭所述视觉中断符号。
5.在另一方面中，一种响应于在接收到相关联的中断符号举起信号之后检测到声学信号而自动地适应提供虚拟会议的应用的会议界面的方法，包括：从提供所述虚拟会议的所述应用的第一会议界面接收中断信号，其中，所述第一会议界面在与在针对所述虚拟会议的相应参与者集合的相应客户端设备集合上提供所述虚拟会议的所述应用相关联的会议界面集合中；响应于接收到所述中断信号，通过通信网络向所述会议界面集合中的每个
会议界面发送所述中断符号举起信号，以打开来自第一参与者的视觉中断符号；响应于在接收到所述中断符号举起信号之后检测到来自所述第一参与者的第一声学信号：自动地生成中断符号降下信号；并且将所生成的中断符号降下信号发送至所述客户端设备集合中的每个客户端设备，以自动地更新每个会议界面并且关闭所述视觉中断符号。
6.提供本概要是为了以简化的形式引入概念的选择，这些概念在下文的详细描述中进一步描述。本概要并不旨在识别所要求保护的主题的关键特征或基本特征，也并不是旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中所提到的任何或所有缺点的实现方式。
附图说明
7.附图仅作为示例而不是作为限制描绘了根据本教导的一个或多个实现方式。在附图中，相似的参考数字指代相同或项似的元素。此外，应当理解，附图不一定是按比例绘制的。
8.图1是示例性举手管理系统的框图。
9.图2是举手管理组件的示例性组件的框图。
10.图3是降下由虚拟会议中的参与者举起的手的总体过程的框图。
11.图4是响应于在由虚拟会议服务器的举手管理组件接收到相关联的中断符号举起信号之后检测到声学信号而自动地适应提供虚拟会议的应用的会议界面的示例性方法的流程图。
12.图5a是向参与者呈现“举手”选项的示例性图形用户界面。
13.图5b是示出了视觉中断符号的示例性图形用户界面。
14.图5c是示出了“非静音”提醒的示例性图形用户界面。
15.图5d是示出了降下手通知的示例性图形用户界面。
16.图5e是由降下举起的手产生的示例性图形用户界面。
17.图6是可以在其上实现本公开的各方面的示例性计算机系统的功能框图。
具体实施方式
18.在下文的详细描述中，通过示例阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，很明显，当前的教导可以在没有这些细节的情况下实践。在其他实例中，已经在没有细节的相对较高级别上描述了公知的方法、过程、组件和/或电路，以便避免不必要地模糊本教导的各方面。
19.现有的虚拟会议系统包括不能自动和/或及时地关闭表示参与者对虚拟会议发表意见的请求的视觉中断符号的技术问题。在一个特定示例中，所述视觉中断符号对应于microsoft或应用中的举手符号。在现有的系统中，所述视觉中断符号可以由参与者在他/她选择的随机时间手动地关闭，或者可以在参与者在会议中发言之后的指定时间自动地关闭。在前一种场景中，参与者在他/她记得关闭视觉中断符号时选择关闭所述视觉中断符号，或者他/她可能只是忘记关闭所述视觉中断符号。因此，关闭所述视觉中断符号可能被延迟数十秒或者根本没有完成。在后一种场景中，在不考虑虚拟会议中的交互、与交互相关联的网络带宽和速度的情况下，关闭所述视觉中断符号也可能经历不合理的长
延迟。例如，当来自一个参与者的发言出乎意料地长时，所述视觉中断符号可能被提前关闭，尤其是在其他参与者也举起其手并且等待轮到他们发言的顺序时。因此，由即时应用所解决的技术问题之一是确定关闭所述视觉中断符号的适当时间，并且在所确定的时间自动地关闭所述视觉中断符号。
20.在本技术中所描述的技术解决方案允许在关闭视觉中断符号时的快速响应时间。在一种实现方式中，所述技术解决方案包括(一个或多个)服务器和客户端设备。所述(一个或多个)服务器可以经由与第一参与者相关联的会议界面接收中断信号以用于请求在虚拟会议中发言的许可，并且向与所述虚拟会议相关联的每个客户端设备发送中断符号举起信号，以利用视觉中断符号来更新每个会议界面。所述视觉中断符号可以是举手符号，所述举手符号指示第一参与者经由会议界面在会议中举起虚拟手。
21.与第一参与者相关联的客户端设备然后可以检测来自虚拟会议的环境中的各种源的各种声学信号(例如，参与者说话、狗叫声)，并且确定所检测到的声学信号是否包括来自第一参与者的语音。所检测到的第一参与者的语音或者经由第一会议界面接收到的第一声学信号指示第一参与者已经开始发言或者已经发表意见。如果特定客户端设备不能够在本地处理语音检测和识别，则也可以远程实现所述语音检测和识别。响应于接收到所述第一声学信号，所述(一个或多个)服务器可以生成中断符号降下信号，并且将该信号发送到每个客户端设备以关闭每个会议界面上的视觉中断符号，例如，降下由第一参与者虚拟举起的手。应当注意，在一些实现方式中，客户端设备也可以检测来自第一参与者的网络业务，并且基于网络业务来激活中断符号降下信号的生成。在这样的情况下，网络业务是检测到的声学信号的指示标志。下文将参考图2来详细描述对网络业务的检测的细节。
22.为此，所述技术方案可以在检测到第一参与者已经开始说话时自动地降下所述举手符号，而无需等待第一参与者停止说话。因此，一旦参与者开始说话，他/她的手就将被实时地降下。替代地或另外地，所述技术方案可以基于会议中对应参与者的发表意见/发言和会议中其他参与者的交互而自动地降下举起的手，由此有效地防止当其他人主动请求发言时一个参与者主导会议。在本文中所描述的技术解决方案的技术益处至少包括消除或减少当前虚拟会议系统中存在的延迟，其中，视觉中断符号(例如，举手符号)可以在随机时间、在长时间之后被关闭或者永远不会被关闭。另外，通过在客户端设备与(一个或多个)服务器之间的通信信道中自动地生成和交换信号，功能被(一个或多个)对应的服务器/客户端设备划分和有效地实现，并且对应的结果被同步地反映在会议界面上(例如，在每个会议界面上同时“降下”视觉中断符号)。
23.错误！未找到参考源是示例性举手管理系统100的框图。如所示的，系统100包括虚拟会议服务器101以及一个或多个客户端设备103a-103n，其被耦合用于经由网络109进行电子通信。应当理解，通过示例提供在图1中所描绘的系统100，并且本公开设想到的系统100和/或另外的系统可以包括额外和/或更少的组件，可以组合组件和/或将所述组件中的一个或多个组件划分为额外的组件等。例如，系统100可以包括任意数量的虚拟会议服务器101、客户端设备103a-103n或者网络109。
24.网络109可以是常规类型、有线和/或无线，并且可以具有许多不同的配置，包括星形配置、令牌环配置或者其他配置。例如，网络109可以包括一个或多个局域网(lan)、广域网(wan)(例如，因特网)、公共网络、专用网络、虚拟网络、网状网络、对等网络和/或多个设
备可以跨其通信的其他互连数据路径。网络109也可以被耦合到或者包括电信网络的各部分，以用于以各种不同的通信协议发送数据。在一种实现方式中，网络109包括用于发送和接收数据的通信网络或蜂窝通信网络，包括经由短消息服务(sms)、多媒体消息服务(mms)、超文本传输协议(http)、直接数据连接、wap、电子邮件等。
25.客户端设备103a-103n(或者被统称为客户端设备103)可以包括虚拟或物理计算机处理器、(一个或多个)存储器、(一个或多个)通信界面/(一个或多个)设备等，其与客户端设备103的其他组件一起经由信号线113a-113n被耦合到网络109，以用于与系统100的其他实体通信。在一种实现方式中，由用户125a-125n分别经由信号线115a-115n访问的客户端设备103a-103n可以向(一个或多个)其他客户端设备103和/或虚拟会议服务器101发送数据和从其接收数据，并且可以进一步分析和处理所述数据。例如，客户端设备103a-103n可以与虚拟会议服务器101通信，以生成和更新用于在客户端设备103a-103n中的每个客户端设备上显示的会议界面。客户端设备103的非限制性示例可以包括膝上型计算机、台式计算机、平板计算机、移动电话、个人数字助理(pda)、移动电子邮件设备或者能够处理信息并且访问网络109的任何其他电子设备。
26.在一种实现方式中，客户端设备103a-103n包括举手管理组件105的实例105a-105n。举手管理组件105可以基于检测到参与者已经对会议发表意见而自动地关闭虚拟会议中参与者的视觉中断符号，并且更新与客户端设备103a-103n相关联的会议界面，以向所有会议参与者反映参与者的参与者状态变化。下文将参考图2更详细地描述举手管理组件105。
27.虚拟会议服务器101是与一个或多个客户端设备103通信以托管在线虚拟会议并且处理与一个或多个客户端设备103交换的数据的计算设备。在一种实现方式中，虚拟会议服务器101经由客户端设备103a接收来自用户125a(例如，会议组织者)的请求，以建立在线会议的虚拟空间。虚拟会议服务器101支持聊天服务、呼叫服务以及其他服务，从而多个参与者能够在虚拟空间中相互听到、看到、聊天和共享数据。虚拟会议服务器101也可以跟踪和分析在虚拟会议中所使用的通信消息/信号，以指示一个或多个客户端设备103利用关闭针对特定参与者的视觉中断符号的信息来自动地更新会议界面。在一种实现方式中，虚拟会议服务器101可以包括服务器侧应用，以与驻留在客户端设备103上的客户端侧应用通信，并且经由会议界面向参与者提供虚拟会议。所述应用可以是microsoft应用、应用等。虚拟会议服务器101经由信号线111被通信地耦合到网络109。
28.如所描绘的，虚拟会议服务器101也包括举手管理组件105o的实例。例如，举手管理组件105o可以是提供虚拟会议的服务器侧应用的一部分，而举手管理组件105a-105n包含于被安装在客户端服务器103a-103n上的对应客户端侧应用中。每个实例105a-105o可以包括在图2中所描绘的举手管理组件105的一个或多个组件，并且可以被配置为根据实例驻留的位置来完全或部分地执行在其中所描述的功能。在一种实现方式中，虚拟会议服务器101可以是云服务器，所述云服务器具有比客户端设备103a更大的计算能力和计算资源，并且因此可以执行比客户端设备103a能够执行的更复杂的计算。例如，虚拟会议服务器101可以基于检测到参与者的语音来确定参与者已经对虚拟会议发表意见，并且指示与所有会议参与者相关联的客户端设备103更新对应的会议界面以用于显示。虚拟会议服务器101也可以包括数据存储107，数据存储107用于存储从多个客户端设备103接收的数据以及为实现
与虚拟会议服务器101相关的功能而生成和需要的任何其他数据。
29.取决于系统配置和应用需求，功能的实现方式可以在系统100的不同实体之间平衡，如下文在所描述的第一场景和第二场景中所反映的。所述系统配置包括但不限于：与虚拟会议相关联的客户端设备103的类型、客户端设备103的地理位置、虚拟会议服务器101的类型和位置、网络带宽、网络速度等。所述应用要求包括但不限于：与虚拟会议相关联的客户端设备103的总数、具有有限容量的客户端设备103(例如，手持设备)的总数的百分比等。
30.在第一场景中，响应于从虚拟会议中的参与者的第一会议界面接收中断信号，与所述参与者相关联的客户端设备103可以检测所述参与者在会议中的语音，并且确定所述参与者已经对会议发表意见。可以响应于参与者在会议中举起他/她的虚拟手而生成所述中断信号。一旦在本地做出所述确定，客户端设备103就可以联系虚拟会议服务器101以修改参与者的状态(例如，将举手状态改变为降下手状态)，并且相应地更新所有会议参与者的用户界面。在该场景中，客户端设备103与虚拟会议服务器101交换有限量的数据和信号，由此减少带宽的消耗。同样地，虚拟会议服务器101可以生成用于实时更新会议界面的信号，由此减少处理延时。当大量(例如，超过阈值数量)的用户加入虚拟会议时和/或当用于访问会议的客户端设备103的特定百分比(例如，超过阈值百分比)具有相对高的容量(例如，台式计算机而不是手持设备)时，这是特别有利的。
31.在第二场景中，替代特定客户端设备103本地检测和确定参与者是否在虚拟会议中发言或者已经发言，虚拟会议服务器101可以接管这样的功能，并且进一步向与会议参与者相关联的客户端设备103发出信号以相应地更新所述会议界面。由于虚拟会议服务器101执行大量的计算和处理，因此在该场景中的客户端设备103能够是具有有限容量的手持设备。与第一场景相比，较低的设备要求可以允许更多的用户加入虚拟会议，由此提高虚拟会议系统的兼容性和可行性。然而，客户端设备103可以与虚拟会议服务器101交换大量数据/信号以用于实现所需的功能，这可能增加带宽使用和处理时间。
32.图2是举手管理组件105的示例性组件的框图。举手管理组件105包括硬件和/或软件逻辑，以用于接收表示第一参与者对虚拟会议发表意见的请求的中断信号，并且检测第一参与者是否实际上对虚拟会议发表意见。一旦第一参与者已经对会议发表意见，举手管理组件105生成中断符号降下信号以关闭视觉中断符号，例如，降下第一参与者的举起的手，并且更新与每个客户端设备相关联的每个会议界面以向其他会议参与者示出第一参与者的手降下。通过基于检测到参与者在会议中已经发言而自动地降下参与者的举起的手，举手管理组件105解除了参与者手动地关闭所述视觉中断符号(例如，降下他/她的手)，并且也避免了由于没有及时关闭视觉中断符号而引起的任何混乱(例如，参与者可能因为过时的“举手”状态而被要求再次发言)，由此改善用户导航体验并且提高操作效率。
33.在一种实现方式中，举手管理组件105包括检测模块201、识别引擎203、动作引擎205和用户界面模块207。检测模块201从虚拟会议的参与者(例如，第一参与者)接收中断信号，并且作为响应，检测来自虚拟会议环境的声学信号。所述中断信号表示第一参与者对虚拟会议发表意见的请求。在一种实现方式中，第一参与者可以经由与第一参与者相关联的第一会议界面发送中断信号，以请求在会议中发言而不中断所述会议。所述第一会议界面在客户端设备103上为每个会议参与者显示的与虚拟会议相关联的会议界面中。例如，第一参与者可以通过选择/点击/触摸被包含在第一会议界面中的“举手”选项来用信号通知他/
她希望发言或对会议发表意见。在一种实现方式中，所述中断信号与时间戳相关联。所述时间戳示出了第一参与者请求发言许可的时间。
34.驻留在与所述第一参与者相关联的客户端设备103a上的检测模块201可以接收所述中断信号，并且与举手管理组件105a的(一个或多个)其他模块/(一个或多个)引擎通信，以用于在本地处理信号。在另一种实现方式中，所述信号也可以通过通信网络(例如，网络109)被传送到驻留在虚拟会议服务器101上的检测模块201，以用于远程地处理。
35.在一种实现方式中，响应于接收到指示第一参与者请求对会议发表意见的中断信号，所述检测模块201可以生成中断符号举起信号并且通过通信网络(例如，网络109)发送到客户端设备103中的每个客户端设备，以在与每个参与者相关联的每个会议界面上打开第一参与者的视觉中断符号。所述视觉中断符号可以是识别独有“举手”状态的图标、标志、按钮或者其他类型的图形符号，亦即，第一参与者正在请求发言或者发表意见的许可。例如，视觉中断符号是如在图5b中所示的举手符号。
36.响应于接收中断符号举起信号，检测模块201也检测来自虚拟会议环境的声学信号。所述虚拟会议环境可以包括会议室、办公室或者参与者加入虚拟会议的其他地方。所述声学信号可以包括来自虚拟会议环境中的各种来源的各种类型的语音和非语音噪声，例如，人说话、狗叫、电视播放电影、汽车经过、孩子大笑等。检测模块201可以在预定义的时间量内(例如，数秒钟或数分钟)检测声学信号。替代地，检测模块201可以跟踪特定声学信号直到所述信号消失。检测模块201识别声学信号的一个或多个时间戳，以用于存储为与声学信号相关联的元数据的一部分。时间戳可以指示声学信号的开始时间、结束时间和/或持续时间，其可以被用在如下文参考识别引擎203所描述的语音识别中。
37.在一种实现方式中，检测模块201进一步检测第一参与者用于访问虚拟会议的特定客户端设备(例如，客户端设备103a)。如果第一会议界面包括“静音”按钮/选项，则检测模块201也检测第一会议界面的静音状态或非静音状态。静音状态指示“静音”按钮开启，并且非静音状态指示“静音”按钮关闭。检测模块201将所检测到的声学信号、元数据(例如，时间戳)和其他检测到的信息传输到识别引擎203和动作引擎205以用于进一步处理。
38.除了检测所述声学信号之外，检测模块201也可以经由第一会议界面检测来自第一参与者的其他网络业务。例如，当第一会议界面的“静音”按钮开启并且第一参与者正在讲话时，尽管第一参与者的语音或声学信号没有通过网络发送，但是检测模块201可以捕获与第一参与者的发言相关联的数据分组。检测模块201可以将所捕获的数据分组传输到识别引擎203，以用信号通知第一参与者的发表意见。在这样的场景下，常常生成提醒，并且被显示给第一参与者，以关闭“静音”按钮。应当注意，由于语音不通过网络传输，因此仅有驻留在本地客户端设备(而不是远程服务器)上的检测模块201能够接收数据分组或者检测这样的网络业务信号。网络业务信号是检测到的声学信号的指示标志。为了简单和清楚起见，下文的公开内容主要集中于与检测声学信号有关的操作，但是在特定场景下声学信号和网络业务信号是可交换的。
39.识别引擎203分析从检测模块201接收的检测到的声学信号，以识别来自在虚拟会议中举起他/她的手的第一参与者的语音。为了被虚拟会议中的其他参与者听到和理解，请求对会议发表意见的第一参与者通常以特定的强度和/或特定的长度进行讲话。在一种实现方式中，识别引擎203可以确定所述声学信号中的每个声学信号的强度水平，并且根据所
述声学信号来识别强度水平超过阈值水平的一个或多个声学信号。所述阈值水平可以相对于预先确定或者在前一时间段中测量的背景强度水平来设置。例如，所述阈值水平可以是高于背景强度水平的设定量和/或倍数。也可以考虑背景阈值滤波器来设置背景强度水平。使用背景阈值滤波器有助于避免由于背景噪声之间的静默期而将背景强度水平设置得过低。如果没有准确地将声学信号与背景噪声区分开来，则一个或多个参与者也能够调整所述阈值水平。这具有让一个或多个参与者调整系统对他们的语音或另一参与者的语音的敏感度的效果。通过使用阈值化，识别引擎203可以移除低强度的声学信号，诸如远处的背景噪声，例如，在房间的远端移动家具的声音。在一些情况下，识别引擎203可以根据是否满足标准而从声学信号中识别一个或多个声学信号。所述标准能够包括以下中的一项或多项：关于强度的上阈值和/或下阈值、关于强度的变化率的上阈值和/或下阈值、频率范围、频率分布以及对频率分布的变化的限制。如上文所描述的，对于阈值水平，一个或多个参与者也能够调整标准以改善从背景噪声中滤除声学信号。在另一实现方式中，识别引擎203可以从相关联的时间戳中取回声学信号的长度信息，并且基于声学信号的长度对声学信号进行滤波。识别引擎203可以排除长度小于阈值长度的声学信号，例如，突然打喷嚏。
40.响应于基于强度和/或长度检查获得一个或多个经滤波的声学信号，识别引擎203可以从经滤波的信号中识别一个或多个会议参与者的语音。在一种实现方式中，识别引擎203基于音频模式识别从非语音噪声(例如，大声的狗叫)中分离人声。识别引擎203然后确定一个或多个会议参与者的语音是否包括已经举起他/她的手并且激活所述中断信号的第一参与者的声音。例如，识别引擎203识别来自第一参与者的注册设备(例如，手持机、台式机)的语音，并且确定所述语音属于所述第一参与者。在一种实现方式中，与会议参与者相关联的信息(诸如他们注册的设备、地理位置、日历等)被存储在数据库(例如，虚拟会议服务器101的数据存储107)中。识别引擎203取回所存储的与第一参与者相关联的信息，以用于识别来自第一参与者的语音。在另一实现方式中，来自第一参与者的语音样本也可以被存储在数据库中，这允许识别引擎203将所接收到的语音与所存储的语音样本相匹配，并且基于语音匹配来识别和认证所述第一参与者的语音。
41.一旦识别所述第一参与者的语音，识别引擎203确定从所述第一参与者接收到反映所述第一参与者对虚拟会议的发表意见的第一声学信号。在一种实现方式中，识别引擎203将所述第一声学信号传输到动作引擎205。所述第一声学信号或者对所述第一参与者语音的识别指示所述第一参与者已经开始讲话，这可以触发动作引擎205以修改所述第一参与者的举手状态，即，降下由所述第一参与者虚拟举起的手。
42.应当注意，所述第一声学信号不是用于关闭视觉中断符号的语音命令。响应于所述第一参与者请求在会议中发言并且根据所述请求实际上已经在会议中发言，自动地生成所述第一声学信号。所述第一参与者的语音的内容与所述第一声学信号的生成无关。所述第一参与者可能已经问了问题、回答了问题、对特定参与者讲话等。只要第一参与者已经对会议发表意见，就生成所述第一声学信号。尽管该信号稍后可以被用于关闭视觉中断符号，但是当生成时，所述信号仅与第一参与者的发表意见有关。因此，所述第一声学信号不是控制系统操作的语音命令，诸如“嗨，系统，关闭视觉中断符号”。
43.在一种实现方式中，响应于接收反映第一参与者对虚拟会议的发表意见的第一声学信号，动作引擎205可以关闭视觉中断符号(例如，降下第一参与者举起的手)。在响应于
第一参与者举起他/她的手而接收到来自提供虚拟会议的应用的第一会议界面的中断信号之后，在与每个参与者相关联的每个会议界面上打开第一参与者的视觉中断符号(例如，图标、标志)。因此，为了降下举起的手，动作引擎205自动地生成中断符号降下信号，并且将所述中断符号降下信号发送到客户端设备103中的每个客户端设备，使得客户端设备103的用户界面模块207(下文所描述的)能够自动地更新每个会议界面的显示并且关闭所述视觉中断符号。例如，作为关闭所述视觉中断符号的结果，动作引擎205可以从与其他出席者或参与者相关联的所有会议界面的显示中自动地移除表示第一参与者的“举手”状态的标志。
44.动作引擎205可以在两种场景中降下第一参与者的手：(1)在检测到第一参与者开始讲话之后，或者(2)在检测到第一参与者停止讲话之后。在第一场景中，动作引擎205可以在检测到一个或多个语音包括来自第一参与者的语音或接收到第一声学信号的特定时间量之后生成中断符号降下信号以降下“举起的手”。例如，动作引擎205可以通过在第一参与者已经开始讲话一段时间量(例如，五秒)之后关闭视觉中断符号来降下手。当第一参与者还在讲话时，手可能会降下。
45.在一种实现方式中，具体的时间量是预定的。在另一实现方式中，所述具体的时间量可以基于虚拟会议中的参与者交互来确定。例如，动作引擎205可以保持生成所述中断符号降下信号以降下第一参与者举起的手，直到发生特定交互，例如，检测到来自第二参与者的响应。在又一实现方式中，动作引擎205也可以组合第一会议界面的静音/非静音状态，以确定在检测到第一参与者的语音之后生成中断符号降下信号的特定时间。通常，第一会议界面包括“静音”按钮/选项，第一用户能够点击/轻敲/选择所述按钮/选项来开启/关闭。当“静音”按钮关闭时，第一会议界面处于非静音状态。当“静音”按钮开启时，第一会议界面处于静音状态。如果检测到或识别出第一参与者的语音，即，接收到第一声学信号，则非静音状态可以指示第一参与者仍在讲话或者将要讲话(例如，在短暂停顿之后)。在这种情况下，动作引擎205可以确定不降下第一参与者举起的手，直到特定的时间量过去或者在虚拟会议中发生特定的事件/交互。然而，静音状态可能指示第一参与者已经停止讲话。结果，动作引擎205可以确定降下举起的手。
46.在第二场景中，在检测到一个或多个语音不再包括来自第一参与者的语音时，即，当识别引擎203从检测模块201跟踪的声学信号中不再检测到第一参与者的声音时，动作引擎205可以生成中断符号降下信号。换言之，动作引擎205在第一参与者在会议中完成讲话之后降下他/她的手。
47.在一种实现方式中，在自动地生成所述中断符号降下信号之前，动作引擎205可以与用户界面模块207协作，以经由第一会议界面通知第一参与者生成所述中断符号降下信号。因此，第一参与者知道他/她不需要手动地降下他/她举起的手，因为手将自动地降下。动作引擎205也可以与用户界面模块207通信，以在第一会议界面上向第一参与者提供配置是否接收所述中断符号降下信号的通知的选项。选择不接收所述通知的第一参与者可能不会注意到他/她的举手指示被关闭或消失。
48.在一种实现方式中，动作引擎205也可以指示用户界面模块207生成其他通知。在虚拟会议中，当“静音”按钮开启时，第一参与者的语音可以被捕获，但是不被传送到其他参与者。如果第一参与者的手已经举起，则所捕获的语音可以示出第一参与者准备发言。因此，动作引擎205可以生成提示并且指示用户界面模块207将提示提供给与第一参与者相关
联的第一会议界面。提示提醒第一参与者将“静音”按钮切换到“关闭”，从而第一参与者可以在虚拟会议中实际发言。替代地，例如，当第一参与者的语音的强度水平超过特定阈值时，或者当从请求讲话的第一参与者接收到中断信号之后的阈值时间量已经过去时，或者当经由与第一参与者相关联的第一会议界面接收到用于“自动地关闭静音按钮”的配置选项的选择时，动作引擎205也可以自动地关闭在会议中将发言的第一参与者的静音按钮。
49.用户界面模块207从动作引擎205接收(一个或多个)指令以将图形数据发送到客户端设备103，使得客户端设备103向用户或参与者呈现用户界面。示例性用户界面在图5a-5f中被示出。在一种实现方式中，用户界面模块207生成图形数据，以用于提供用户界面，所述用户界面向参与者呈现可选择的“举手”选项，或者一旦参与者选择了“举手”选项，就为参与者显示视觉中断符号。在另一实现方式中，用户界面模块207可以生成通知或提示，以用于在与一个或多个用户相关联的会议界面上进行显示。在又一实现方式中，用户界面模块207可以生成允许参与者提供用于配置特定功能的输入的会议界面。用户界面模块207可以生成图形数据，以用于向会议参与者提供其他用户界面。
50.图3是降下由虚拟会议中的参与者举起的手的总体过程300的框图。每个参与者使用客户端设备103来加入虚拟会议。所述虚拟会议的参与者中的一个参与者(参与者x)经由在客户端设备103a上显示的会议界面选择301处的“举手”选项。所述选择触发将在303处发送到虚拟会议服务器101的中断信号。在一种实现方式中，该选择也可以触发被开启并且被显示在与参与者x相关联的会议界面上的视觉中断符号(例如，举手符号)。响应于接收到所述中断信号，在305处，虚拟会议服务器101与每个客户端设备103通信，以更新与虚拟会议中的每个参与者相关联的会议界面，并且开启每个会议界面上的视觉中断符号。
51.然后，确定参与者x在会议中是否发表意见或讲话。在307处，客户端设备103a检测参与者x的发表意见。在309处，客户端设备103a向虚拟会议服务器101发送反映所检测到的发表意见的第一声学信号。响应于接收到第一声学信号，虚拟会议服务器101在311处确定何时生成中断符号降下信号，例如，在检测到与参与者x相关联的会议界面处于非静音状态之后，或者在接收到来自不同参与者(例如，参与者y)的响应之后。然后，虚拟会议服务器101在313处生成中断符号降下信号，并且在315a和315b处将该信号发送至包括参与者x在内的所有会议参与者。一旦与所有参与者相关联的客户端设备103接收到中断符号降下信号，每个客户端设备103更新对应的会议界面，其中，参与者x的视觉中断符号被关闭，如在317a和317b处所示的。
52.图3图示了在虚拟会议服务器101和与会议参与者相关联的客户端设备103之间的功能划分。一些操作，例如在诸如301、317a和317b的会议界面上的操作，由客户端设备103本地实现。通过虚拟会议服务器101远程地实现一些操作，例如，诸如305、315a和315b向所有客户端设备103发信号。然而，特定操作(例如，虚线步骤311)可以由客户端设备103或者由虚拟会议服务器101来实现。如所图示的，虚拟会议服务器101可以跟踪虚拟会议中的活动，并且执行步骤311以确定直到特定交互发生(例如，参与者y开始讲话，接收到来自参与者z的响应等)，才生成中断符号降下信号。然而，如果不需要获得虚拟会议中参与者和/或不同于参与者x的交互的信息，仅与参与者x相关联的客户端设备103a可以在不与虚拟会议服务器101或者其他基础设施通信的情况下做出关于何时降下参与者x的手的本地决定。例如，客户端设备103a可以检测到参与者x正在讲话，并且响应于所述检测，通知虚拟会议服
务器101生成中断符号降下信号，以使每个会议界面上的参与者x的视觉中断符号被移除。通过在305或315处生成单个信号以激活对多个设备上的多个会议界面的更新，客户端设备103a-103n和虚拟会议服务器101至少协调和同步在这些实体之间传送的信号。这进一步促进了通信，并且推进了用于关闭所述视觉中断符号的延时减少。
53.图4是用于响应于在由虚拟会议服务器101的举手管理组件105接收到相关联的中断符号举起信号之后检测到声学信号而自动地适配提供虚拟会议的应用的会议界面的示例性方法400的流程图。在一种实现方式中，驻留在虚拟会议服务器101上的举手管理组件105可以执行在该图中的步骤401-409，以识别参与者举起他/她的手以请求许可在虚拟会议中讲话，并且指示客户端设备103在他/她在会议中讲话之后降下他/她的手。
54.在框401处，举手管理组件105从提供虚拟会议的应用的第一会议界面接收中断信号。所述中断信号表示第一参与者对虚拟会议发表意见的意图/请求。所述第一会议界面在与在相应会议参与者集合的相应客户端设备103集合上提供虚拟会议的应用相关联的会议界面集合中。在框403处，举手管理组件105通过通信网络向每个客户端设备发送中断符号举起信号，以在会议界面集合的每个会议界面上开启来自第一参与者的视觉中断符号。所述视觉中断符号可以是识别独有“举手”状态的图标、标志、按钮或者其他类型的图形符号，亦即，第一参与者正在请求发言或发表意见的许可。
55.在框405处，举手管理组件105在接收到所述中断符号举手信号之后，通过通信网络从第一参与者检测第一声学信号。所述第一声学信号反映第一参与者对虚拟会议的发表意见。在一种实现方式中，举手管理组件105检测来自虚拟会议环境的各种源的声学信号，分析所检测到的声学信号以滤除非语音噪声，并且从剩余语音中识别第一参与者的语音。举手管理组件105基于声学信号的强度水平、长度和/或其他特性并其使用(一种或多种)音频模式识别算法来识别所述第一参与者的语音。对所述第一参与者语音的识别是第一参与者对虚拟会议的发表意见的指示，其激活第一声学信号的生成和传输。
56.在框407处，响应于所接收到的第一声学信号，举手管理组件105自动地生成中断符号降下信号。所述中断符号降下信号被用于降下由所述第一参与者举起的手。在框409处，举手管理组件105向所述客户端设备中的每个客户端设备发送所生成的中断符号降下信号，以自动地更新每个会议界面并且关闭所述视觉中断符号。例如，作为关闭所述视觉中断符号的结果，举手管理组件105可以从与其他出席者或参与者相关联的所有会议界面的显示中自动地移除表示所述第一参与者的“举手”状态的标志。
57.图5a图示了向参与者呈现“举手”选项的示例性图形用户界面500。用户界面500是向特定会议参与者(即，在501处的用户jd)显示与在线虚拟会议相关联的会议界面。会议界面500包括用于显示参与者的视觉表示的区域503。尽管虚拟会议的参与者的总数如在505处所示为16，但是由于有限的空间，在区域503中仅显示部分参与者。示出会议参与者的总数的图标被包含在动作条507中。动作条507也包括示出虚拟会议的进度的时间指示符以及其他选项，例如，在509中的“举手”选项。当会议出席者或参与者想要表达发言的愿望时，参与者能够简单地点击“举手”选项509以举起虚拟的手。
58.图5b图示了示出视觉中断符号的示例性图形用户界面520。一旦jd选择了如在图5a中所示的“举手”选项，则在会议界面520上显示视觉中断符号521，以示出由jd举起的虚拟手。在一种实现方式中，生成中断符号举起信号以发起对用户界面的更新来示出视觉中
断符号。在用户界面520中，视觉中断符号523示出pm也举起手来表达他/她的发言请求。然而，jd和pm都没有在会议上发言。相反，在阴影框525中的ds正在会议中发言。仅有在jd和pm在会议在已经发言或者发表意见的情况下，他们由视觉中断符号521和523指示的“举起的手”将降下。
59.图5c图示了示出“非静音”提醒的示例性图形用户界面540。用户界面540是当jd在541处准备在举起他/她的手之后讲话时jd的会议界面。举手管理组件105可以捕获jd的语音，但是不将其传送给其他客户端设备，因为jd是静音的，如在543处所示的。举手管理组件105可以生成通知545，以提醒jd他/她是否希望不静音以讲话。如果jd响应于他/她的举手请求而想要发言，则他/她可以在547中选择“是”。结果，举手管理组件105可以自动地取消jd的静音。否则，jd能够通过在549中点击“否”来选择保持静音。替代地，不像在图5c中，举手管理组件105可以自动地取消jd的静音以传送他/她的语音以被其他会议参与者听到。
60.图5d图示了示出降下手通知的示例性图形用户界面560。用户界面560是在jd响应于他/她的举手请求在会议中讲话之后在561处参与者jd的会议界面。在一种实现方式中，举手管理组件105响应于接收反映jd已经对会议发表意见的声学信号而生成中断符号降下信号。在实际动作以降下jd的举起的手之前，举手管理组件105生成对jd的通知563。取决于jd是否想再次发言或者继续发言，jd能够在565中选择“是”或者在567中选择“否”。举手管理组件105将自动地清除jd的视觉中断符号(即，降下jd的手)或者保持视觉中断符号不变。
61.图5e图示了由降下举起的手产生的示例性图形用户界面580。一旦举手管理组件105响应于检测到jd已经对会议发表意见而生成中断符号降下信号，举手管理组件105就动作以关闭jd的视觉中断符号521，如在图5b中所示的。结果，在581中jd不再被标记有视觉中断符号。然而，pm的视觉中断符号583仍然开启，并且pm正在发言，如在585中所示的。一旦pm完成讲话，举手管理组件105也将自动地清除pm的视觉中断符号583。
62.图6是可以在其上实现本公开的各方面的示例性计算机系统600的功能框图。将理解，图6中所示的逻辑块表示功能，并不一定在一对一的基础上对应于特定的硬件。计算机系统600可以包括通过总线602耦合到指令存储器或主存储器606、只读存储器608和存储设备610的数据处理器604。指令存储器606可以包括可取回地存储计算机可读指令的有形介质，所述指令当由数据处理器604执行时，使得处理器执行在本文中所描述的功能、过程和操作，例如，参考图1-4。
63.计算机系统600还可以包括显示器612、用户界面或其他输入设备614和光标控件616，或者作为单独的设备或者例如组合为触摸屏显示器。计算机系统600还可以包括通信界面618，其被配置为通过总线620与本地网络622界面，用于访问本地主机服务器624，并且通过isp 626与互联网628通信，以及访问远程服务器630。
64.一些实现方式包括包含可执行指令的计算机可读存储介质，所示可执行指令当在至少一个处理器上执行时，使得处理器执行上述方法中的任何一个。
65.尽管已经描述了各种实现方式，但该描述旨在为示例性的，而不是限制性的，并且应理解，在实现方式的范围内还有更多的实现方式。尽管在附图中示出并且在本详细描述中讨论了许多可能的特征组合，但所公开的特征的许多其他组合是可能的。除非特别限制，否则任何实现方式的任何特征可以与任何其他实现方式中的任何其他特征或元素组合使用或替代任何其他特征或元素。因此，将理解，在本公开中示出和/或讨论的任何特征可以
以任何合适的组合一起实现。因此，实现方式不受限制，除非根据所附权利要求及其等同物。此外，可以在所附权利要求的范围内进行各种修改和变化。
66.尽管前述已经描述了被认为是最佳模式和/或其他示例，但应当理解，可以在其中进行各种修改，并且可以以各种形式和示例实现本文公开的主题，并且可以在许多应用中应用这些教导，在本文中仅描述了其中的一些应用。下文的权利要求旨在要求保护落入本教导的真实范围内的任何和所有应用、修改和变化。
67.除非另有说明，否则在本说明书中包括后续的权利要求中阐述的所有的测量、价值、额定值、位置、幅度、尺寸和其他规格是近似的，而不是精确的。其旨在具有合理的范围，该范围与其所涉及的功能和其所涉及的技术领域中的习惯相一致。
68.保护范围仅受现在所跟随的权利要求的限制。该范围旨在并应解释为与当鉴于该说明书和随后的起诉历史解释时在权利要求中使用的语言的普通含义一致，并包含所有结构和功能的等价物。尽管如此。由此拒绝任何无意中包含此类主题的内容。
69.除上文所述外，所述或所示的任何内容都不打算或不应当被解释为导致将任何组件、步骤、特征、目的、利益、好处或等价物奉献给公众，无论其是否在权利要求中被记叙。
70.应当理解，本文使用的术语和表达方式具有就其对应的相应调查和研究领域而言赋予这些术语和表达方式的普通含义，除非本文已另外阐述了特定含义。诸如“第一”和“第二”等的关系术语可以仅用于区分一个实体或动作与另一实体或动作，而不必要求或暗示在这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或者其任何其他变体旨在涵盖非排他性包含，使得包括元素列表的过程、方法、物品或装置不仅包括这些元素，还可以包括未明确列出或此类过程、方法、物品或装置固有的其他元素。由“一”或“一个”开头的元素不排除在包含该元素的过程、方法、物品或装置中存在额外的相同元素，而没有进一步的限制。
71.提供本公开的摘要以允许读者快速确定技术公开内容的性质。在提交时可以理解，本摘要不用于解释或限制权利要求的范围或意义。此外，在前面的详细描述中，可以看到，为了简化本公开的目的，在各种示例中将各种特征分组在一起。本公开方法不应当被解释为反映权利要求要求比每个权利要求中明确记叙更多特征的意图。相反，如下文的权利要求所反映的，本发明的主题并不在于单个公开的示例的所有特征。因此，在此将以下权利要求合并到详细描述中，其中每个权利要求单独作为单独的权利要求主题。

技术特征：
1.一种用于响应于在接收到相关联的中断符号举起信号之后检测到声学信号而自动地适应提供虚拟会议的应用的会议界面的系统，所述系统包括：处理器；以及被耦合到所述处理器的存储器，其被配置为存储可执行指令，所述可执行指令当由所述处理器执行时，使得所述处理器用于：从提供所述虚拟会议的所述应用的第一会议界面接收中断信号，其中，所述第一会议界面在与在针对所述虚拟会议的相应参与者集合的相应客户端设备集合上提供所述虚拟会议的所述应用相关联的会议界面集合中；响应于接收到所述中断信号，通过通信网络向所述会议界面集合中的每个会议界面发送所述中断符号举起信号，以打开来自第一参与者的视觉中断符号；在由第一参与者使用的设备处检测第一声学信号，或者检测在网络服务器处从由第一参与者使用的设备接收的第一声学信号；以及响应于在接收到所述中断符号举起信号之后检测到来自所述第一参与者的所述第一声学信号：自动地生成中断符号降下信号；以及将所生成的中断符号降下信号发送至所述客户端设备集合中的每个客户端设备，以自动地更新每个会议界面并且关闭所述视觉中断符号。2.根据权利要求1所述的系统，其中，所述第一声学信号不包括用于关闭所述视觉中断符号的任何语音命令。3.根据权利要求1或2所述的系统，其中，所述视觉中断符号是举手符号，所述举手符号指示所述第一参与者经由所述第一会议界面在所述会议中举起虚拟手。4.根据权利要求1至3中的任一项所述的系统，其中，所述可执行指令还包括当由所述处理器执行时使得所述处理器用于以下操作的指令：从与所述虚拟会议相关联的多个源接收多个声学信号；确定针对所述多个声学信号中的每个声学信号的强度水平；以及根据所述多个声学信号来识别具有超过阈值水平的强度水平的一个或多个声学信号。5.根据任一前述权利要求所述的系统，其中，为了检测来自所述第一参与者的所述第一声学信号，所述可执行指令还包括当由所述处理器执行时使得所述处理器用于以下操作的指令：根据所述一个或多个声学信号识别来自所述虚拟会议的一个或多个参与者的一个或多个语音；以及基于所述一个或多个语音是否包括来自所述第一参与者的语音来检测所述第一参与者是否对所述虚拟会议发表意见。6.根据权利要求5所述的系统，其中，所述可执行指令还包括当由所述处理器执行时使得所述处理器用于以下操作的指令：确定所述第一会议界面是处于静音状态还是处于非静音状态；以及响应于确定所述一个或多个语音包括来自所述第一参与者的所述语音并且所述第一会议界面处于所述非静音状态，生成所述中断符号举起信号。7.根据权利要求5或6所述的系统，其中，所述中断符号降下信号是在检测到所述一个
或多个语音包括来自所述第一参与者的所述语音的特定时间量之后生成的。8.根据权利要求7所述的系统，其中，所述特定时间量是根据所述虚拟会议中的参与者交互来确定的。9.根据权利要求5至8中的任一项所述的系统，其中，所述中断符号降下信号是在检测到所述一个或多个语音不再包括来自所述第一参与者的所述语音时生成的。10.根据任一前述权利要求所述的系统，其中，在自动地生成所述中断符号降下信号之前，所述可执行指令还包括当由所述处理器执行时使得所述处理器用于以下操作的指令：经由所述第一会议界面通知所述第一参与者生成所述中断符号降下信号。11.根据任一前述权利要求所述的系统，其中，在检测所述第一声学信号之前，所述可执行指令还包括当由所述处理器执行时使得所述处理器自动地关闭针对所述第一参与者的静音按钮的指令。12.根据任一前述权利要求所述的系统，其中，在检测所述第一声学信号之前，所述可执行指令还包括当由所述处理器执行时使得所述处理器提示所述第一参与者采取非静音动作的指令。13.一种用于响应于在接收到相关联的中断符号举起信号之后检测到声学信号而自动地适应提供虚拟会议的应用的会议界面的方法，所述方法包括：从提供所述虚拟会议的所述应用的第一会议界面接收中断信号，其中，所述第一会议界面在与在针对所述虚拟会议的相应参与者集合的相应客户端设备集合上提供所述虚拟会议的所述应用相关联的会议界面集合中；响应于接收到所述中断信号，通过通信网络向所述会议界面集合中的每个会议界面发送所述中断符号举起信号，以打开来自第一参与者的视觉中断符号；在由第一参与者使用的设备处检测第一声学信号，或者检测在网络服务器处从由第一参与者使用的设备接收的第一声学信号；以及响应于在接收到所述中断符号举起信号之后检测到来自所述第一参与者的所述第一声学信号：自动地生成中断符号降下信号；以及将所生成的中断符号降下信号发送至所述客户端设备集合中的每个客户端设备，以自动地更新每个会议界面并且关闭所述视觉中断符号。14.根据权利要求13所述的方法，其中，所述第一声学信号不包括用于关闭所述视觉中断符号的任何语音命令。15.根据权利要求13或14所述的方法，其中，所述视觉中断符号是举手符号，所述举手符号指示所述第一参与者经由所述第一会议界面在所述会议中举起虚拟手。16.根据权利要求13至15所述的方法，还包括：从与所述虚拟会议相关联的多个源接收多个声学信号；确定针对所述多个声学信号中的每个声学信号的强度水平；以及根据所述多个声学信号来识别具有超过阈值水平的强度水平的一个或多个声学信号。17.根据权利要求16所述的方法，还包括检测来自所述第一参与者的所述第一声学信号，并且其中，为了检测所述第一声学信号，所述方法还包括：根据所述一个或多个声学信号识别来自所述虚拟会议的一个或多个参与者的一个或
多个语音；以及基于所述一个或多个语音是否包括来自所述第一参与者的语音来检测所述第一参与者是否对所述虚拟会议发表意见。18.根据权利要求17所述的方法，还包括：确定所述第一会议界面是处于静音状态还是处于非静音状态；以及响应于确定一个或多个语音包括来自所述第一参与者的所述语音并且所述第一会议界面处于所述非静音状态，生成所述中断符号举起信号。19.一种包括可执行指令的计算机可读存储介质，所述可执行指令当在至少一个处理器上执行时，使得所述处理器执行根据权利要求13-18所述的方法。

技术总结
一种用于保护匿名发现服务的方法和系统可以包括：从客户端设备接收请求，所述请求被定向到匿名自动发现服务；识别所述请求源自所述客户端设备内的源，并且响应于所述源是第一类型的源，向客户端发送第一响应，以及响应于所述源是第二类型的源，向所述客户端发送第二响应。所述第一响应不向服务端点返回统一资源定位符(URL)，所述第二响应向服务端点返回URL。此外，所述匿名发现服务可能是不需要认证的发现服务。的发现服务。的发现服务。


技术研发人员：A
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2021.12.07
技术公布日：2023/8/14