远程协助的方法和设备与流程

1.本公开涉及一种用于远程协助的方法和设备。


背景技术：

2.机器广泛应用于生活和生产的各个领域。随着技术的发展，机器具有越来越多的功能，因此变得越来越复杂。在操作或维修机器时，可能会遇到各种问题。当前，需要专家在工作现场来为在操作或维修机器方面经验不足的人提供帮助。或者，遇到问题的人可以通过音频或视频通信与远程专家联系，以口头方式描述他的问题，并从远程专家那里收到口头指示。已有一些工作致力于解决上述问题。一些技术使用一个远程虚拟现实助手系统使远端专家通过虚拟现实空间中的虚拟助手与工人通信。这些技术关注的是促进人际交流和理解，手段是提供多种途径以更好地将远端专家想对工人说的话传达给工人，例如，通过在虚拟现实空间中的移动、手势、表情、对话、信息窗口等。但是，一些情形下，即使远端专家能够清楚地表达他想表达的内容，工人仍旧不能正确地执行一项操作。


技术实现要素：

3.为了解决当前重点放在人际交流的方法的至少一些缺点，本公开提供了一种远程协助方法和设备，能够通过重点在于人与机器交互的远程协助方法，帮助提高工人的实际动手能力。
4.各个实施例提供了一种用于远程协助的方法。该方法可以包括：
5.将机器的数字孪生调整为与部署在工作现场的机器处于同一状态；
6.使用部署在远程场所的远程呈现设备在远程场所进行所述数字孪生的呈现，以使远程场所的远程人员能够对所述数字孪生进行操作；
7.使用部署在工作现场的现场呈现设备，将操作效果呈现为映射到工作现场的机器上的视觉辅助信息。
8.通过呈现远程人员对数字孪生进行操作的视觉效果，将其映射到工作场所的机器上，该方法可以由远程协助人员向工作场所的工人提供直接的帮助以提高工人的动手能力，从而使远程协助更加直观和高效，缩短了因工人未能完成任务或维修机器而引起的机器操作的中断时间。
9.在一些实施例中，将数字孪生调整为机器所处状态的过程可以包括：
10.从工作现场的设备获取有关机器状态的信息；
11.使用所述信息调整数字孪生。
12.这样，使用从工作现场收集的机器信息来调整数字孪生，可以使机器仿真更加准确。
13.在一些实施例中，获取有关机器状态的信息的过程可以包括以下至少一项：
14.从机器的控制装置接收机器的参数作为所述信息；
15.从耦合到机器的至少一个传感器接收传感器数据作为所述信息。
16.可以看出，当机器由控制设备控制时，一些信息可以直接从控制设备中采集；传感器也可用于收集机器的状态信息，尤其是在控制设备不可用时。
17.在一些实施例中，使用所述信息调整数字孪生的过程可以包括：
18.修改数字孪生的参数，直到数字孪生的模拟状态与所述信息指定的状态相同为止。
19.使用所述信息来检查模拟数字孪生是否与机器处于同一状态，可以确保模拟数字孪生可以准确地呈现机器状态，从而方便远程人员从远程场所了解机器的准确状态，并向工作现场的人提供适当的帮助。
20.在一些实施例中，在远程场所呈现所述数字孪生的过程包括：
21.向远程呈现设备提供数字孪生的图像；
22.使用远程设备采集远程人员的手势，从而在数字孪生中识别远程人员正在操作的组件；
23.改变由远程呈现设备呈现的图像中所述组件的视觉效果。
24.这样，通过向远程人员提供关于操作的实时反馈，可以使远程人员能够调整他们的动作以获得期望的效果。
25.在一些实施例中，将操作的效果呈现映射到工作现场的机器上的视觉辅助信息的过程可以包括：
26.识别与远程人员正在操作的数字孪生的组件相对应的机器组件；
27.根据数字孪生上的操作产生的效果，生成操作的视觉内容；
28.使现场呈现设备在机器组件的位置呈现所述视觉内容。
29.这样，在作为远程操作的对象的组件的位置处呈现视觉内容，使得被协助者快速定位到在远程场所被操作的物理模块，因此视觉辅助信息更加直观、容易理解。
30.在一些实施例中，使现场呈现设备在机器组件的位置处呈现视觉内容的过程可以包括：
31.获得描述该工作场所的工作现场图像，所述工作现场图像包括所述机器；
32.生成覆盖图像，所述覆盖图像在与工作现场图像中的组件相对应的位置处包括所述视觉内容；及
33.使现场呈现设备呈现叠加图像，使叠加图像叠加到所述工作现场图像上。
34.通过将视觉内容的图像叠加到机器的图像上，该方法可以生成增强现实的效果，从而使远程协助更加有效。
35.在一些实施例中，使现场呈现设备在机器组件的位置处呈现视觉内容的过程可以包括：
36.获取机器部件的位置和尺寸；
37.生成包括所述视觉内容的投影图像，所述投影图像具有与所述组件的位置和尺寸相对应的位置和尺寸；及
38.使现场呈现设备将所述投影图像投影到所述机器上。
39.通过将视觉内容直接投影到机器上，该方法可以使远程协助更加有效。
40.在一些实施例中，该方法还可以包括：
41.通过使用远程呈现设备将第二操作的效果呈现在远程场所，所述第二操作由工作
现场的现场人员在机器上执行。
42.通过使现场人员执行的操作对远程人员可见，该方法可以为远程人员提供机会发现现场人员的操作中的缺陷，并向现场人员提供准确的帮助和指导。
43.在一些实施例中，视觉内容可以包括以下至少之一：
44.在机器部件上制作的数字标记；
45.呈现一只手执行操作的动图；
46.呈现组件在操作后的不同状态的视觉内容。
47.上面列出的视觉内容可有效地在寻求帮助的一方与提供帮助的一方之间传达通信信息。
48.在一些实施例中，该方法还可以包括：
49.将操作转换为控制命令；
50.使机器执行所述控制命令指定的操作。
51.通过将远程操作转换为用于机器的控制命令，该方法可以使远程人员能够远程控制机器，因此可以通过在工作现场进行演示，将所需的控制操作更好地传达给寻求帮助的人员。
52.在一些实施例中，该方法还可以包括：
53.使远程呈现设备呈现机器处理的工件的信息，供远程人员提供反馈；
54.使现场呈现设备呈现远程人员对工件的反馈信息。
55.这样，通过呈现对远程人员可见的工件信息，远程人员可以检查工件是否满足要求，因此该方法可以进行远程质量检查并保证现场人员通过协助掌握技能。
56.在一些实施例中，该方法还可以包括：
57.将辅助信息条目存储到数据库中，所述辅助信息条目包括以下至少一项：远程人员执行的所述操作、调整后的所述数字孪生的数据、所述机器的状态的信息、通过人机界面获得的所述机器的任务信息、所述机器处理的工件的信息；
58.响应于协助请求，响应于确定数据库中存储的辅助信息条目与请求中的信息匹配，使用部署在第二机器的第二工作现场的第二现场呈现设备，将辅助信息条目中指定的视觉辅助信息映射到第二机器上。
59.可以看出，通过将关于视觉辅助信息的信息存储到数据库中，并在第二台机器的工作现场呈现由存储的信息指定的视觉辅助信息，该方法可以重用远程人员提供的视觉辅助信息，并随时随地提供帮助信息。
60.各种实施例还提供了用于实现任一实施例中的方法的计算设备和计算机可读存储介质。
附图说明
61.下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
62.图1是本公开实施例的示例性系统的示意图。
63.图2是本公开实施例的另一示例性系统的示意图。
64.图3是本公开实施例的计算设备的示意图。
65.图4是本公开各实施例的用于远程协助的方法的流程图。
66.图5a-5c是本公开各实施例的在工作呈现设备处呈现的视觉内容的示例的示意图。
67.图6是本公开实施例的远程控制机器以执行处理的过程的示意图。
68.图7是本公开实施例的对工人操作进行远程检查的过程的流程图。
69.图8是本公开实施例的对现场操作的远程检查的示意图。
70.图9是本公开实施例的工件的远程检查的示意图。
71.图10是本公开实施例的提供远程协助的过程的示意图。
72.其中，附图标记如下：
73.[0074][0075]
具体实施方式
[0076]
在下文中将参考附图和示例来更详细地描述本公开。在以下描述中，描述了许多
具体细节以便透彻理解本公开。然而，显而易见的是，本公开的实现不依赖于这些具体细节。在另一些情形中，未详细描述一些功能、方法和结构，以免不必要地模糊本公开内容。如本文所使用的，术语“包括”是指包括但不限于，术语“基于”是指至少部分地基于。另外，术语“一”和“一个”旨在表示某种对象中的至少一个。
[0077]
当人员在操作或维修机器时遇到问题并且在工作现场没有专家、同时在手册中也找不到该问题的解决方案时，本公开的实施例可以使远端专家可以对工作现场的工作人员提供针对性的帮助信息，帮助工作人员快速提高动手能力。
[0078]
可以在不同的系统结构中实现各实施例，图1和图2中示出了两个示例性系统结构。
[0079]
图1是本公开实施例的示例性系统的示意图。如图1所示，该系统可以包括在工作现场的机器50、以及试图操作或修理机器50的人(以下称为现场人员70)。这里的“现场”是指靠近工作现场。
[0080]
当现场人员70有针对机器50的问题时，例如，在操作或维修机器50时，现场人员70能够使用现场计算设备10通过网络60与位于远程场所的远程人员80的远程计算设备20进行通信。此处的“远程”是指远离工作现场。现场计算设备10可以提供关于机器50的实时状态的信息，以使远程计算设备20能够使用远程呈现设备40向远程人员80呈现机器50的数字孪生的图像。远程计算设备20可以提供关于远程人员80在数字孪生上执行的操作的信息，以使现场计算设备10能够使用现场呈现设备30向现场人员70呈现该操作的效果作为视觉辅助信息。
[0081]
图2是本公开实施例的另一示例性系统的示意图。与图1的系统相比，图2的系统的不同在于，图2的系统还包括服务器90。现场计算设备10和远程计算设备20与服务器90通信。
[0082]
服务器90可以处理关于机器50的实时信息。关于机器50的信息可以由现场计算设备10或由另一现场设备(未示出)，诸如数据采集(daq)设备、工业互联网等中的主机等，提供。
[0083]
服务器90可以提供表示机器50的实时状态的数字孪生。例如，服务器90可以预先存储机器50的数字孪生的数据，并且能够调整数字孪生的参数从而模拟机器50的实时状态。在一些示例中，服务器90可以将数字孪生的(2d或3d)图像提供给远程计算设备20，并在每次调整后响应于机器50的状态变化提供数字孪生的更新图像，从而实现数字孪生与机器50的实时同步。在一些其他示例中，服务器90可以将数字孪生的数据提供给远程计算设备20，并更新远程计算设备20中数字孪生的参数，以实现数字孪生与机器50的实时同步。
[0084]
服务器90还可以使现场计算设备10与远程计算设备20之间进行其他通信，例如以下实施例中所述的通信。
[0085]
服务器90、现场计算设备10和远程计算设备20可以具有相似的物理结构，例如图3所示的结构。图3是本公开实施例的计算设备的示意图。
[0086]
如图3所示，该计算设备可以包括处理器21、存储器22、i/o接口23、网络通信接口24、以及实现组件之间通信的耦合机构29。
[0087]
i/o接口23可以包括一个或多个人/机接口，例如输入接口、输出接口。输入接口可能能够与以下一个或多个进行交互：键盘、鼠标、触控板、触摸屏、数据手套、操纵杆、麦克
风、扫描仪、照相机等。输出接口可能能够与以下中的一个或多个进行交互：触觉输出设备(例如通过触摸屏，数据手套或操纵杆的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如扬声器，耳机)、视觉输出设备(例如屏幕，包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕，每个屏幕都具有或不具有触摸屏输入功能，每个屏幕都具有或不具有触觉反馈功能，其中一些可能能够输出二维视觉输出或通过立体输出实现多于三维的输出)、虚拟现实眼镜、全息显示器和打印机等。
[0088]
网络通信接口24可以提供可连接到一个或多个通信网络的接口。网络可以是，例如无线网络、有线网络、光网络。网络还可以是现场网络、广域网络、城域网、车联网和工业网络、实时网络、耐延迟网络等。网络的示例包括局域网，例如以太网、无线lan、包括gsm，3g，4g，5g，lte等的蜂窝网络、有线电视网络、或包括有线电视、卫星电视和地面广播的无线广域数字电视网络、车联网和包括canbus的工业网络等。一些网络通常需要连接到某些通用数据端口或外围总线的外部网络接口适配器。其他网络接口通常通过连接到耦合机制24而集成在处理器21中(例如，pc计算机系统中以太网接口或智能手机计算机系统的蜂窝网络接口)。使用这些网络中的任何一个，计算设备可以与其他实体通信。这样的通信可以是单向的仅接收(例如，广播电视)、单向的仅发送(例如，到某些canbus设备的canbus)、或双向通信(例如，使用现场或广域的数字网络与其他计算机系统的通信)。可以在每个如上所述的网络和网络接口上使用某些协议和协议栈。
[0089]
一个或多个处理器21能够执行存储在存储器22中的计算机可读指令以执行各种操作。
[0090]
存储器22可以包括操作系统25、用于处理与i/o接口23交互的数据的i/o模块26、用于处理与网络通信接口24交互的数据的通信模块27以及远程协助模块28。
[0091]
远程协助模块28可以由计算机可读指令的形式实现，这些指令可以由处理器21执行，以实现各种实施例的方法。在其他实施例中，远程协助模块28可以基于成本和效率考虑由硬件模块实现。
[0092]
远程协助模块28可以包括数据采集模块281、模拟模块282和可视化模块283。
[0093]
数据采集模块281能够从工作现场和/或远程场所获得数据。这些数据可以包括例如，机器50的实时状态的信息，现场人员27和/或远程人员28的输入，由机器50加工的工件的信息等。
[0094]
模拟模块282能够调整预定义的数字孪生，以模拟机器50的实时状态。
[0095]
可视化模块283能够使现场人员27和/或远程人员28看到数字孪生和/或现场人员27和/或远程人员28的输入。
[0096]
下文中描述各种实施例的由计算设备执行的处理的细节。
[0097]
在各实施例中，使机器50的真实状态对远程人员80可见，从而使与仅依赖于对机器50状态的口头描述相比，远程人员80能够快速全面地了解机器50的状态。图4是本公开各实施例的用于远程协助的方法的流程图。该方法可以由计算设备执行，例如服务器90、现场计算设备10或远程计算设备20。参照图4，该方法可以包括以下步骤。
[0098]
步骤s11，计算设备可以将机器50的数字孪生调整为与部署在工作现场的机器50处于相同状态。
[0099]
机器50可以是用于某些目的的任何机械或电气设备，例如用于发电、制造、测量、
测试等的设备。工作现场是指机器50所在的地方。
[0100]
数字孪生是指物理产品或过程的虚拟表现，用于理解和预测物理机器的性能特征。机器50的数字孪生具有与机器50的物理结构相同的虚拟结构，展现出与机器50的机械或电气特性相同的虚拟特性，并且可以模拟机器50的部件的运动和/或内部处理。
[0101]
机器50的状态可以指机器50的物理和/或电气状况。该状态可以由以下信息中的一个或多个体现，例如，电压、电流、轴的转速、移动部件的速度、部件的位置、机器输出的测量数据、机器输出的警报信号等。关于机器50的状态的信息可以由嵌入在机器50中的控制单元，或者与机器50独立的控制设备、或者耦合到机器50的传感器来提供。计算设备可以从与收集信息的设备的直接通信连接获得这些信息，或通过另一设备或网络间接地获得这些信息。
[0102]
步骤s12，计算设备可以使用部署在远程场所的远程呈现设备40来在远程场所呈现数字孪生，以使远程场所的远程人员80能够对数字孪生执行操作。
[0103]
远程场所是指被咨询的远程人员80所处的位置，并且远离工作现场。
[0104]
远程呈现设备可以是具有屏幕的视觉输出设备，也可以是能够提供立体输出的输出设备，例如虚拟现实眼镜，全息显示器等。
[0105]
该计算设备可以使远程人员80能够，例如经由输入设备，在呈现的数字孪生上执行操作。可以从例如键盘、鼠标、触控板、触摸屏、数据手套、操纵杆、麦克风、扫描仪、照相机等中选择输入设备。例如，计算设备可以通过以下方式捕捉远程人员80的运动。例如，使用数据手套，并使用获得的运动来引起光标的移动，以在远程场所中呈现的可视内容中确定被操作的元素。根据另一示例，计算设备可以通过例如一个或多个相机捕捉远程人员80的手势，并且使用获得的手势来促使呈现在远程数字孪生的图像上的虚拟手进行运动。其他示例可以使用不同的或不同组合的输入设备来捕捉远程人员80在数字孪生上的操作。这些操作可以选自，例如，突出显示数字孪生的组件、在指定位置添加标记、改变数字孪生的组件的状态(例如，空间位置、角度位置、开/关状态等)、执行操纵数字孪生的组件的动作，等。
[0106]
步骤s13，计算设备可以使用部署在工作现场处的现场呈现设备来将操作的效果呈现为映射到工作现场处的机器50上的视觉辅助信息的。
[0107]
该操作的效果是指远程人员80通过执行的操作对数字孪生或数字孪生的图像进行的改变，例如在数字孪生的呈现图像中的指定位置处添加的标记、虚拟手操纵数字孪生的组件，数字孪生的组件状态变化等。
[0108]
计算设备可以将操作的效果映射到机器50上，并在工作现场使该效果作为视觉辅助信息呈现。在一些示例中，现场呈现设备30可以在机器50的图像上呈现视觉辅助信息。在一些其他示例中，现场呈现设备30可以将视觉辅助信息投影到机器50上。
[0109]
这样，通过呈现远程人员对数字孪生进行操作的视觉效果，并将其映射到工作现场机器上，该方法可以通过远程协助人员向工作现场的工人提供直观的帮助以提高工人的动手能力，从而使远程协助更加直观和高效，并缩短由于工人无法完成任务或维修机器而导致的机器操作的中断。
[0110]
使用数字孪生机实时仿真机器
[0111]
建立数字孪生涉及多物理场仿真、数据分析和机器学习等技术。过去，数字孪生被用来演示诸如由设计变更、使用场景、环境条件和其他变量造成的影响，从而可以不必构建
物理原型，减少开发时间并提高最终产品或工艺的质量。
[0112]
本公开的各实施例利用数字孪生对机器的精确建模，使用数字孪生来在远程场所处呈现机器的实时状态或性能，以使得能够为机器操作、机器故障诊断等，提供远程协助。
[0113]
为了准确地模拟机器50的实时性能，计算设备可以从工作现场的设备获得机器50的状态的信息，并使用该信息来调整数字孪生。
[0114]
在一些实施例中，计算设备可以从机器50的控制装置接收机器50的参数作为上述信息。在一些示例中，这些参数可以包括机器50的操作参数。操作参数是指与机器50的操作有关的参数，例如，电源参数、机器50的运动部件的运动参数等。这些参数还可以包括工艺参数。工艺参数是指正在监视或控制的工艺中特定部件的当前测量值。在其他示例中，可以获得其他参数作为上述信息。这样，使用从工作现场收集的机器信息来调整数字孪生，可以使机器仿真更加准确。
[0115]
在一些实施例中，计算设备可以从耦合到机器50的至少一个传感器接收传感器数据作为上述信息。传感器通常耦合到机器50以确定机器50的实时性能、操作情况以及随时间的变化，以用于诸如异常检测、偏移校正等目的。计算设备可以将传感器数据用作上述信息，用于调整机器50的数字孪生。
[0116]
可以看出，当机器由控制装置控制时，一些信息可以直接从控制设备中采集；传感器也可用于采集机器的状态信息，尤其是在没有控制装置时。在其他实施例中，计算设备可以获取关于机器50的其他数据作为上述信息。
[0117]
计算设备可以从工作现场的一个或多个设备获得上述信息。在一个示例中，提供上述信息的工作现场的设备可以包括机器50内嵌的控制装置，例如，微控制器、cnc机器的计算机控制单元等，并具有数据传输接口，例如opc(面向过程控制的ole)ua(统一体系结构)。在另一示例中，提供上述信息的工作现场的设备还可以包括与机器50独立的控制设备，例如驱动器、工作站、主机等。在又一示例中，提供上述信息的工作现场的设备还可以包括数据采集(daq)设备，边缘设备等，其从一个或多个数据源收集机器50的实时数据。以上仅是一些示例，在其他示例中，计算设备可以从其他设备获取上述信息。
[0118]
计算设备可以使用上述信息来持续更新数字孪生，从而在整个远程协助过程中将对机器50的任何改变反映给机器50，以实现及时和准确的远程协助。在一些实施例中，计算设备可以修改数字孪生的参数，直到模拟出的数字孪生的状态与上述信息表示的状态相同为止。
[0119]
使用该信息来检查模拟出的数字孪生是否与机器处于同一状态，可以确保模拟出的数字孪生可以准确地呈现机器状态，从而方便远程人员从远程场所了解机器的准确状态，并向工作现场的人员提供准确的帮助。
[0120]
在示例中，服务器90是服务器集群或云系统中的服务器设备。服务器90可以访问存储机床的数字孪生模型的数据库。在从现场计算设备10接收到远程协助请求之后，服务器90可以识别与远程协助请求中指定的机床对应的数字孪生模型。服务器90可以从数据库获得关于该机床的当前状态的信息，该数据库记录了daq设备从机床的工作现场持续报告的机床的性能信息。服务器90可以将数字模型调整为机床的状态，并且将与机床实时同步的数字孪生模型发送到远程计算设备20。远程人员80可以通过ar眼镜和ar手套与数字孪生模型进行交互。远程计算设备20可以将远程人员80与数字孪生模型的交互发送到服务器
90。服务器90可以模拟远程人员80的操作，并将操作的效果发送到现场计算设备10。现场计算设备10可以使用ar设备(例如，现场人员70佩戴的ar眼镜)将效果呈现为可视的远程协助信息。
[0121]
在远程场所的呈现
[0122]
为了使远程人员80能够快速全面地了解机器50的状态，可以通过远程呈现设备40在远程场所处呈现数字孪生的2d或3d图像。在一些实施例中，计算设备可以将数字孪生的图像提供给远程呈现设备40，使用远程设备捕捉远程人员的手势，在数字孪生中识别由远程人员80操作的组件，并更改由远程呈现设备呈现的图像中该组件的视觉效果。
[0123]
在示例中，现场计算设备10可以根据机器50的状态来调整数字孪生，并且将数字孪生的图像发送到使用远程呈现设备40呈现该图像的远程计算设备20。
[0124]
在另一个示例中，远程计算设备20可以从现场计算设备10或daq设备获得关于机器50的信息，相应地调整数字孪生，并使用远程呈现设备40来呈现数字孪生的图像。
[0125]
在又一个示例中，服务器90可以从现场计算设备10或daq设备获得关于机器50的信息，相应地调整数字孪生，并且将数字孪生的图像发送到使用远程呈现设备40呈现该图像的远程计算设备20。
[0126]
以上仅是一些示例，在其他示例中，现场计算设备10、远程计算设备20和服务器90可以以不同的方式协作，以使机器50的数字孪生在远程呈现设备40处呈现。
[0127]
这样，通过向远程人员提供关于操作的实时反馈，可以使远程人员能够调整他们的动作以获得期望的效果。
[0128]
在工作现场的呈现
[0129]
在远程人员80通过基于呈现的数字孪生执行操作来输入辅助信息之后，可以以视觉内容的形式在工作现场呈现辅助信息，以使现场人员70容易地理解辅助信息。为了获得更好的远程协助效果，可以将视觉协助信息映射到工作现场的机器50上，以便清楚地识别出该协助信息中涉及的组件或操作。在一些实施例中，计算设备可以识别与远程人员80正在操作的数字孪生的组件相对应的机器50的组件，根据由对数字孪生的操作导致的影响来产生操作的视觉内容，并使现场呈现设备30在机器50的该组件的位置上呈现这些视觉内容。这样，在作为远程操作的对象的组件的位置上呈现视觉内容，可以使人员快速定位到远程场所中所操作的物理模块，因此可视化的帮助信息对于被帮助人员更加直观、易于理解。
[0130]
视觉内容可以是远程人员80旨在帮助现场人员70的任何效果。图5a-5c是本公开各实施例的在现场呈现设备30处呈现的视觉内容的示例的示意图。
[0131]
例如，视觉内容可以是在机器50的组件上做出的数字化标记。如图5a所示，远程人员80可以经由远程计算设备20在用户界面中提供的选项来选择在数字孪生的图像上绘制标记32。标记32可以绘制在数字孪生的控制面板的按钮上。计算设备可以使现场呈现设备30在机器50的控制面板31上的相应按钮的位置处呈现标记32的视觉内容。在工作现场和/或远程场所处的呈现视觉效果可以如图5a所示。
[0132]
对于另一个示例，视觉内容可以是呈现操作之后处于不同状态的组件的视觉内容。如图5b所示，远程人员80可以经由远程计算设备20在用户界面中提供的选项选择操作数字孪生的组件。计算设备可以使现场呈现设备30在机器50的相应物理组件的位置处呈现组件在远程人员80操作之后的视觉内容(例如，外观)。如图5b所示，远程人员80可以执行操
作以转动数字孪生的控制面板上的旋钮33以指向另一个值，可以在机器50的面板31的相应旋钮之上，将旋钮33的外观呈现为指向另一个值。
[0133]
又例如，视觉内容可以是呈现出一只手正在执行操作的动图。如图5c所示，远程人员80可以经由远程计算设备20在用户界面中提供的选项选择使用数字孪生来执行演示操作。计算设备可以使现场呈现设备30在与数字孪生的被操纵的组件相对应的物理组件的位置处呈现演示操作的视觉内容。参照图5c，远程人员80可以执行将数字孪生的摇把旋转的操作，相应地，可以在机器50的摇把35上绘制沿顺时针方向移动的手34的动图。
[0134]
以上仅是用于说明在工作场所呈现的视觉辅助信息的一些示例。其他实施例可以根据需要呈现其他类型的视觉辅助信息。
[0135]
由于视觉内容在传达所需的操作方面比口头描述更高效，因此本公开的实施例可以改善远程协助效果。
[0136]
在各种实施例中，计算设备可以使用各种可能的技术来识别在其上呈现视觉辅助信息的组件的位置。例如，计算设备可以通过使用模式识别技术或使用用于图像处理的机器学习系统等来识别在工作现场采集的图像中的位置或组件。在一个示例中，计算设备可以首先在工作现场的实时图像中识别机器50的位置和角度。然后，计算设备可以检查图像中是否存在所关注的部件。响应于确定该部件不存在于该图像中，计算设备可以发出信息，提示现场人员移动以获得包括该部件的工作现场的另一图像。计算设备在识别出工作场所图像中的部件位置后，可以使视觉辅助信息呈现在该部件的位置，以将视觉辅助信息映射到合适的位置，以达到在物理机50上执行虚拟操作的视觉效果。
[0137]
可以采用各种方法将视觉辅助信息映射到物理机器50。以下是两个示例，仅用于说明。
[0138]
例子一：图像叠加
[0139]
在一些实施例中，计算设备可以通过将包括视觉内容的图像叠加到机器50的图像上，以使现场呈现设备30在机器50的组件的位置处呈现视觉内容。计算设备可以获取描述该工作现场的工作现场图像，其中包括机器50，生成覆盖图像，该覆盖图像在与该工作现场图像中的组件相对应的位置处包括可视内容，并使现场呈现设备30呈现该覆盖图像时将覆盖图像叠加到工作现场图像上。
[0140]
在一些实施例中，现场呈现设备30可以是现场人员70佩戴的ar眼镜。在示例中，计算设备可以提示现场人员移动到适当的位置以使得ar眼镜获得包括机器50的控制面板31或摇把35的图像，并且使ar眼镜将标记32、或旋钮33的外观、或者模拟手34的运动的动图对应的视觉内容，叠加到工作现场的图像中的控制面板31或摇把35对应的区域上，以达到如图5a-5c所示的呈现效果。
[0141]
通过将视觉内容的图像叠加到机器的图像上，该方法可以产生增强现实的效果，从而使远程协助更加有效。
[0142]
示例二：图像投影
[0143]
在一些实施例中，计算设备可以通过将视觉内容投影到机器50的适当位置上来使现场呈现设备30在机器50的相应组件的位置处呈现视觉内容。作为示例，计算设备可以获取机器50的部件的位置和尺寸，生成包括视觉内容的投影图像，该视觉内容具有与该部件的位置和尺寸相应的位置和尺寸，并使现场呈现设备30将投影图像投影到机器50上。
[0144]
在一些实施例中，现场呈现设备30可以是部署在机器50附近或部署在现场人员70佩戴的可穿戴设备中的一个或多个投影设备。在示例中，计算设备可以提示现场人员移动到适当位置，使得现场人员70佩戴的可穿戴设备中的照相机获得包括机器50的控制面板31或摇把35的图像，确定图像中控制面板31或摇把35的位置和尺寸，生成包括标记32或旋钮33的外观的图像，或展示具有相应位置和相应大小的模拟手34运动的运动图片，并使投影设备将一幅或多幅投影图像投影到机器50上，以达到如图5a-5c所示的呈现效果。
[0145]
通过将视觉内容直接投影到机器上，该方法可以使远程协助更加有效。
[0146]
遥控机器50进行演示
[0147]
在一些实施例中，远程人员80可以经由ui中的选项来选择通过遥控机器50执行操作，例如用于向现场人员展示机器50如何正确地处理工件。计算设备可以将由远程人员80执行的操作转换为控制命令，并且使机器50执行由控制命令指定的操作。
[0148]
图6是本公开实施例的远程控制机器以执行处理的过程的示意图。参照图6，该过程可以包括以下步骤。
[0149]
步骤s21，计算设备接收呼叫专家的请求。
[0150]
当计算设备是现场计算设备10时，现场计算设备10可以经由用户界面接收该请求。
[0151]
当计算设备是远程计算设备20或服务器90时，可以从现场计算设备10接收该请求。
[0152]
步骤s22，计算设备接收关于机器的信息。
[0153]
该信息与机器的实时状态有关。
[0154]
步骤s23，计算设备使虚拟数字孪生呈现在远程呈现设备40处。
[0155]
步骤s24，计算设备接收专家(即，远程人员80)执行的操作。
[0156]
远程人员80可以使用用户界面中提供的选项来选择执行远程控制还是远程协助。
[0157]
步骤s25，计算设备生成与该操作相对应的远程控制命令。
[0158]
步骤s26，计算设备将远程控制命令发送到工作现场的设备，以使机器50执行相应操作。
[0159]
通过将远程操作转换为用于机器的控制命令，该方法使远程人员能够远程控制机器，因此可以通过在工作现场进行的示例将所需的控制操作更好地传达给寻求帮助的人员。
[0160]
检查工人操作
[0161]
在一些实施例中，现场人员70的操作可以被呈现给远程人员80以进行检查。在一个实施例中，计算设备可以使使用在远程场所的远程呈现设备40呈现第二操作的效果的可视化内容。第二操作由工作现场的现场人员70在机器50上执行。
[0162]
第二操作的效果可以是呈现机器状态变化的视觉内容，或者可以是示出由现场人员70执行的操作的动图。例如，计算设备可以获得由摄像机捕获的视频数据，该视频数据显示了现场人员70操纵机器50的过程，并使远程呈现设备40呈现该视频数据作为可视化内容。另一个示例中，计算设备可以生成操纵数字孪生的虚拟手以模拟现场人员70的该第二操作，并使远程呈现设备40呈现操纵数字孪生的虚拟手。
[0163]
图7是本公开实施例的对工人操作进行远程检查的过程的流程图。参照图7，该过
程可以包括以下步骤。
[0164]
步骤s31，计算设备接收用于远程检查的请求。
[0165]
该请求可以由现场人员70或远程人员80在远程协助过程的任何阶段发起。
[0166]
图8是本公开实施例的对现场操作的远程检查的示意图。参照图8，现场人员70可以经由现场计算设备10向服务器90发起对远程检查的请求。
[0167]
步骤s32，计算设备使工作现场的设备采集关于现场人员70的操作的信息。
[0168]
在图8所示的示例中，服务器90可以请求工作现场的ar设备36采集由现场人员70执行的操作的信息(简称为现场操作)。
[0169]
步骤s33，计算设备使用关于机器50的信息来调整数字孪生以模拟机器50的实时状态。
[0170]
步骤s34，计算设备获得呈现现场人员70的操作的视觉内容。
[0171]
服务器90可以使用该信息来生成现场人员70的模拟运动，或者将拍摄的现场人员70的视频数据用作视觉内容。
[0172]
步骤s35，计算设备使视觉内容呈现这些操作，并在远程呈现设备40处呈现数字孪生。
[0173]
在图8所示的示例中，关于现场操作和实时同步数字孪生的视觉内容可以在远程场所处呈现为虚拟人77和虚拟机器55，以使在远程人员80看来，现场人员70和机器50都像在远程场所一样。
[0174]
步骤s36，计算设备接收由远程人员80提供的评估结果，并判断评估结果是否表明现场操作合格。响应于确定现场操作是合格的，可以执行步骤s37中的操作。响应于确定现场操作不合格，该流程可以返回到步骤s32处的操作以继续进行远程检查过程。
[0175]
步骤s37，计算设备将评估结果提供给现场人员70。
[0176]
步骤s38，计算设备可以将评估结果和关于现场操作的信息存储到数据库中。
[0177]
步骤39，结束过程。
[0178]
在一些示例中，工人(即，现场人员70)可以佩戴ar设备36(例如，ar眼镜和数字手套)来操作机床。计算设备可以使用由ar设备收集的数据和数字孪生的数据来实现工人处理的实时模拟，例如，可以将模拟操作与数字孪生进行合成，并且可以将合成的数据呈现给远程专家(即远程人员80)。
[0179]
远程专家通过远程场所的ar设备检查工人处理的实时模拟情况，并可以提供指导。例如，远程专家可以对实时仿真数据的视觉内容执行操作，例如在视觉内容上做出手势或添加标记。计算设备可以将远程专家的操作传输到工作人员的ar设备，以指导工作人员完成任务。该过程类似于图4所示的过程。视觉效果可以类似于图5a-5c中所示。
[0180]
通过使远程专家可以看到工人进行的操作，该方法可以为远程人员提供发现工人操作中的缺陷的机会，并为工人提供准确的帮助和指导。
[0181]
工件的检查
[0182]
在一些实施例中，可以将关于由机器50处理的工件的信息呈现给远程人员80以进行检查。在一个实施例中，计算设备可以使机器50处理的工件的信息由远程呈现设备40呈现给远程人员80，以获得反馈，并使得远程呈现人员80对工件做出的反馈信息通过现场呈现设备70呈现。
[0183]
图9是本公开实施例的工件的远程检查的示意图。服务器90可以接收由现场人员70或远程人员80发起的对工件的远程检查的请求。服务器90可以接收由机器50处理的工件56的信息，例如，至少一个传感器检测到的传感器数据，例如，工件56的尺寸，工件56的重量，工件56的形状等。服务器90将工件56的数字版本的数据，即虚拟工件57，发送到远程计算设备20。该远程计算设备20使用远程呈现设备40来呈现虚拟工件57。服务器90可以将从远程计算设备20接收到反馈信息，例如，在虚拟工件57上做出的标记或评估结果，传输到现场计算设备10。在一些示例中，服务器90可以将反馈信息和工件56的数据存储到数据库中。
[0184]
这样，通过呈现对远程人员可见的工件信息，远程人员可以检查工件是否满足要求，因此该方法可以进行远程质量检查并通过协助来保证现场人员掌握技能。
[0185]
视觉辅助信息的重复利用
[0186]
专家提供的帮助信息是宝贵的经验。在各种实施例中，辅助信息可以被存储并在随后被重复使用。计算设备可以存储各种辅助信息，包括在数字孪生或工件上执行的操作、用于远程控制机器50的操作、关于现场操作或工件的评估信息等。
[0187]
根据一个示例，在如图4所示的处理之后，计算设备可以创建辅助信息条目并将其存储在数据库中。该辅助信息条目可以包括以下各项中的至少一项：远程人员80执行的操作、调整后的数字孪生的数据、机器50的状态的信息、通过人机界面获得的机器50的任务信息等。
[0188]
根据另一个示例，在机器50的远程控制之后，计算设备可以在数据库中创建和存储辅助信息条目。辅助信息条目可以包括以下各项中的至少一项：远程人员80所执行的操作、控制命令、远程控制之前和之后的机器50的状态的信息、通过人机界面获取的机器50的任务的信息等。
[0189]
根据又一个示例，在对现场操作进行远程检查之后，计算设备可以在数据库中创建和存储辅助信息条目。该辅助信息条目可以包括以下至少一项：被远程人员80评估为合格的现场操作的信息，远程人员80提供的反馈信息，关于现场操作之前和之后机器50的状态的信息。通过人机界面等获得的关于机器50的任务的信息。
[0190]
根据又一个示例，在对工件进行远程检查之后，计算设备可以在数据库中创建和存储辅助信息条目。辅助信息条目可以包括以下各项中的至少一项：工件的信息、由远程人员80提供的反馈信息、在加工工件时机器50的状态的信息、通过人机界面获得的机器50的任务信息等。
[0191]
响应于来自第二人的帮助请求，响应于确定数据库中存储的辅助信息条目与请求中的信息匹配，计算设备可以使用部署在第二机器的第二工作现场的第二现场呈现设备，将在辅助信息条目中指定的视觉辅助信息映射到第二机器上。
[0192]
图10是本公开实施例的提供远程协助的过程的示意图。参照图10，该过程可以包括以下步骤。
[0193]
步骤s41，计算设备接收由工人发起的对远程协助的请求。
[0194]
步骤s42，计算设备获得机器数据和任务信息。
[0195]
机器数据可以包括识别机器类型的信息，例如，机器的品牌和型号，机器的id等。计算设备可以使用机器id从机器数据库获得关于机器的细节。机器数据可以通过工作现场的输入设备输入，例如，通过手动输入或选择、通过接收语音的麦克风、通过扫描机器的快
速响应代码的扫描设备等来输入。
[0196]
任务信息是指要完成的任务。任务信息可以通过输入设备输入，例如通过键盘、通过鼠标键单击选项、通过麦克风接收语音等。
[0197]
步骤s43，计算设备在数据库中搜索与机器数据和任务数据匹配的辅助信息条目。
[0198]
步骤s44，响应于确定找到了与机器数据和任务数据匹配的辅助信息条目，计算设备使工人的呈现设备呈现辅助信息条目中的视觉辅助信息。
[0199]
步骤s45，响应于确定未找到与机器数据和任务数据匹配的辅助信息条目，计算设备建立与远程专家的连接，并从远程专家向工人提供视觉辅助信息。
[0200]
步骤s46，计算设备获得工人在机器上的操作。
[0201]
步骤s47，计算设备提供评估信息。
[0202]
当找到辅助信息条目时，计算设备可以将关于工人的操作的信息与辅助信息条目中的操作的信息进行比较，并且基于比较结果来生成评估结果。
[0203]
当连接到专家时，计算设备可以执行对工人操作的远程检查过程，例如，如图7所示的过程。
[0204]
步骤s48，计算机设备判断工作人员的操作是否合格；响应于确定工人操作不合格，可以执行步骤s45的过程以连接到专家，从而获得进一步的帮助；响应于确定工人操作合格，可以执行步骤s49的操作。
[0205]
步骤s49，计算设备将评估结果提供给工人，并且可以响应于确定评估结果由远程专家提供而创建和存储辅助信息条目。
[0206]
可以看出，通过将关于视觉辅助信息的信息存储到数据库中，并在第二台机器的工作现场呈现由存储的信息表示的视觉辅助信息，该方法可以重用远程人员提供的视觉辅助信息，并随时随地提供帮助信息。
[0207]
本公开还提供了一种其中存储有一个或多个指令的非暂时性计算机可读存储介质，当由计算设备执行该指令时，该指令使计算设备实现上述计算设备的至少一些组件。特别地，它可以提供一种配备有存储介质的系统或设备，该存储介质上存储有用于实现上述实施例中的任何一个的功能的软件程序代码，以及计算机(或该系统或设备的cpu或mpu)读取并执行存储在存储介质中的程序代码。在这种情况下，从存储介质读取的程序代码本身可以实现上述实施例中的任何一个的功能，因此，程序代码和存储该程序代码的存储介质构成本公开的一部分。非暂时性计算机可读存储介质包括硬盘，软盘，磁盘，光盘(例如cd-rom，cd-r，cd-rw，dvd-rom，dvd-ram，dvd-rw和dvd+rw)，磁带，闪存卡，rom等。可选地，可以经由通信网络从服务器计算机下载程序代码。
[0208]
除非另有明确说明，否则本说明书中公开的每个特征(包括任何所附权利要求，摘要和附图)可以由具有相同，等同或相似目的的替代特征代替。因此，除非另有明确说明，否则所公开的每个特征仅是一系列等同或相似特征的示例。

技术特征：
1.远程协助方法，其特征在于，包括：将机器的数字孪生调整为与部署在工作现场的机器处于同一状态；使用部署在远程场所的远程呈现设备在远程场所进行所述数字孪生的呈现，以使远程场所的远程人员能够对所述数字孪生进行操作；使用部署在工作现场的现场呈现设备，将所述操作的效果呈现为映射到工作现场的所述机器上的视觉辅助信息。2.根据权利要求1所述的方法，其特征在于，将所述操作的效果呈现为映射到工作现场的机器上的视觉辅助信息包括：识别与远程人员正在操作的数字孪生的所述组件相对应的所述机器的组件；根据数字孪生上的所述操作产生的效果，生成所述操作的视觉内容；使现场呈现设备在所述机器的所述组件的位置呈现所述视觉内容。3.根据权利要求2所述的方法，其特征在于，使现场呈现设备在所述机器的所述组件的位置呈现所述视觉内容包括：获得描绘该工作场所的工作现场图像，所述工作现场图像包括所述机器；生成覆盖图像，所述覆盖图像在与工作现场图像中的所述组件相对应的位置处包括所述视觉内容；及使现场呈现设备呈现所述叠加图像，使所述叠加图像叠加到所述工作现场图像上。4.根据权利要求2所述的方法，其特征在于，使现场呈现设备在所述机器的所述组件的位置呈现所述视觉内容包括：获取机器部件的位置和尺寸；生成包括所述视觉内容的投影图像，所述投影图像具有与所述组件的位置和尺寸相对应的位置和尺寸；及使现场呈现设备将所述投影图像投影到所述机器上。5.根据权利要求1所述的方法，其特征在于，进一步包括：通过使用远程呈现设备将第二操作的效果呈现在远程场所，所述第二操作由工作现场的现场人员在所述机器上执行。6.根据权利要求2或5所述的方法，其特征在于，所述视觉内容包括以下中的至少一个：在机器部件上制作的数字化标记；呈现一只手执行操作的动图；呈现组件在操作后的不同状态的视觉内容。7.根据权利要求1所述的方法，其特征在于，进一步包括：将所述操作转换为控制命令；使所述机器执行所述控制命令指定的操作。8.根据权利要求1所述的方法，其特征在于，进一步包括：使远程呈现设备呈现所述机器加工的工件的信息，供远程人员提供反馈；使现场呈现设备呈现远程人员对工件的反馈信息。9.根据权利要求1所述的方法，其特征在于，将数字孪生调整为机器所处状态包括：从工作现场的设备获取所述机器状态的信息；使用所述信息调整所述数字孪生。
10.根据权利要求9所述的方法，其特征在于，从工作现场的设备获取所述机器状态的信息包括以下的至少一个：从机器的控制装置接收机器的参数作为所述信息；从耦合到机器的至少一个传感器接收传感器数据作为所述信息。11.根据权利要求9所述的方法，其特征在于，使用所述信息调整所述数字孪生包括：修改所述数字孪生的参数，直到模拟出的所述数字孪生的状态与所述信息表示的状态相同为止。12.根据权利要求1所述的方法，其特征在于，在远程场所呈现所述数字孪生包括：向远程呈现设备提供数字孪生的图像；使用远程设备采集远程人员的手势，从而在数字孪生中识别远程人员正在操作的组件；改变由远程呈现设备呈现的图像中所述组件的视觉效果。13.根据权利要求1-12中任一权利要求所述的方法，其特征在于，进一步包括：将辅助信息条目存储到数据库中，所述辅助信息条目包括以下至少一项：远程人员执行的所述操作、调整后的所述数字孪生的数据、所述机器的状态的信息、通过人机界面获得的所述机器的任务信息、所述机器处理的工件的信息；响应于协助请求，响应于确定数据库中存储的辅助信息条目与请求中的信息匹配，使用部署在第二机器的第二工作现场的第二现场呈现设备，将辅助信息条目中指定的视觉辅助信息映射到第二机器上。14.计算设备，其特征在于，包括至少一个处理器和存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令可以使所述至少一个处理器执行用于实现如权利要求1至13中任一项所述的方法。15.计算机可读存储介质，存储有计算机可读指令，其特征在于，所述计算机可读指令可以使至少一个处理器执行用于实现如权利要求1至13中任一项所述的方法。

技术总结
本公开提供了一种远程协助方法和设备。所述方法可以包括：将机器的数字孪生调整为与部署在工作现场的机器处于同一状态；使用部署在远程场所的远程呈现设备在远程场所进行所述数字孪生的呈现，以使远程场所的远程人员能够对所述数字孪生进行操作；使用部署在工作现场的现场呈现设备，将所述操作的效果呈现为映射到工作现场的所述机器上的视觉辅助信息。到工作现场的所述机器上的视觉辅助信息。到工作现场的所述机器上的视觉辅助信息。


技术研发人员：阿明
受保护的技术使用者：西门子股份公司
技术研发日：2020.08.14
技术公布日：2023/8/9