机器人的控制方法、系统、存储介质及电子设备与流程

1.本公开涉及设备控制技术领域，具体地，涉及一种机器人的控制方法、系统、存储介质及电子设备。


背景技术：

2.火力发电厂中，会使用皮带输送机将物料(如煤炭等燃料)输送至锅炉中进行燃烧发电，皮带输送机的皮带在使用过程中会出现撕裂、跑偏、打滑等现象，容易造成物料洒落。
3.现有技术中，可以通过机器人在皮带输送机上进行巡检，采集传送皮带的运行图像并发送至终端，使得工作人员可以通过终端确定传送皮带的运行是否存在异常。但是，通过工作人员确定传送皮带的运行是否存在异常，需要耗费大量时间且容易出错，导致生产效率低下。


技术实现要素：

4.本公开的目的是提供一种机器人的控制方法、系统、存储介质及电子设备，用于确定传送皮带的运行是否存在异常。
5.为了实现上述目的，第一方面，本公开提供一种机器人的控制系统，所述系统包括皮带输送机、机器人和控制器；所述机器人与所述控制器连接；所述机器人包括摄像装置和红外传感器；
6.所述皮带输送机，用于输送发电燃料；
7.所述机器人，用于通过所述摄像装置获取所述皮带输送机的传送皮带的运行图像，以及通过所述红外传感器获取所述传送皮带的红外图像；
8.所述控制器，用于获取所述机器人发送的所述运行图像和所述红外图像；并根据所述运行图像和所述红外图像，通过预设异常确定模型确定所述传送皮带的运行是否异常。
9.可选地，所述控制器，用于将所述运行图像和所述红外图像，作为所述预设异常确定模型的输入，得到所述预设异常确定模型的输出结果，所述输出结果用于表征所述传送皮带的运行是否异常。
10.可选地，所述控制器，还用于获取图像样本，所述图像样本包括运行图像样本和红外图像样本；根据所述图像样本，对预设网络模型进行训练，得到所述预设异常确定模型。
11.可选地，用于通过预设损失函数确定训练后的所述预设网络模型的损失值，并在所述损失值满足预设评价条件的情况下，将训练后的所述预设网络模型作为所述预设异常确定模型。
12.可选地，所述控制器，还用于在所述传送皮带存在异常的情况下，确定所述传送皮带在所述运行图像和所述红外图像中的异常位置；根据所述异常位置确定告警图像。
13.可选地，所述告警图像包括第一告警图像和第二告警图像；所述控制器，用于对所述运行图像中的所述异常位置进行标注，得到所述第一告警图像；
14.对所述红外图像中的所述异常位置进行标注，得到所述第二告警图像。
15.可选地，所述系统还包括终端；所述终端与所述控制器连接；
16.所述控制器，还用于将所述第一告警图像和所述第二告警图像发送至所述终端；
17.所述终端，用于展示所述第一告警图像和所述第二告警图像。
18.可选地，所述控制器，还用于根据所述第一告警图像和/或所述第二告警图像，向所述机器人发送告警信号；
19.所述机器人，还用于在接收到所述告警信号的情况下，发出告警提示。
20.第二方面，本公开提供一种机器人的控制方法，应用于控制器；所述方法包括：
21.获取所述机器人发送的皮带输送机的传送皮带的运行图像和红外图像；
22.根据所述运行图像和所述红外图像，通过预设异常确定模型确定所述传送皮带的运行是否异常。
23.可选地，所述通过预设异常确定模型确定所述传送皮带的运行是否异常包括：
24.将所述运行图像和所述红外图像，作为所述预设异常确定模型的输入，得到所述预设异常确定模型的输出结果，所述输出结果用于表征所述传送皮带的运行是否异常。
25.可选地，所述方法还包括：
26.获取图像样本，所述图像样本包括运行图像样本和红外图像样本；根据所述图像样本，对预设网络模型进行训练，得到所述预设异常确定模型。
27.可选地，所述方法还包括：
28.通过预设损失函数确定训练后的所述预设网络模型的损失值，并在所述损失值满足预设评价条件的情况下，将训练后的所述预设网络模型作为所述预设异常确定模型。
29.可选地，所述方法还包括：
30.在所述传送皮带存在异常的情况下，确定所述传送皮带在所述运行图像和所述红外图像中的异常位置；根据所述异常位置确定告警图像。
31.可选地，所述告警图像包括第一告警图像和第二告警图像；所述根据所述异常位置确定告警图像包括：
32.对所述运行图像中的所述异常位置进行标注，得到所述第一告警图像；
33.对所述红外图像中的所述异常位置进行标注，得到所述第二告警图像。
34.可选地，所述方法还包括：
35.将所述第一告警图像和所述第二告警图像发送至终端；所述终端用于展示所述第一告警图像和所述第二告警图像。
36.可选地，所述方法还包括：
37.根据所述第一告警图像和/或所述第二告警图像，向所述机器人发送告警信号；所述机器人用于在接收到所述告警信号的情况下，发出告警提示。
38.第三方面，本公开提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二方面提供的机器人的控制方法。
39.第四方面，本公开提供一种控制器，包括：
40.存储器，其上存储有计算机程序；
41.处理器，用于执行所述存储器中的所述计算机程序，以实现上述第二方面提供的机器人的控制方法。
42.根据上述技术方案，通过结合运行图像和红外图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。
43.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
44.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
45.图1是根据一示例性实施例示出的一种机器人的控制系统的结构框图。
46.图2是根据图1的示例性实施例示出的一种机器人的控制系统的结构框图。
47.图3是根据一示例性实施例示出的一种机器人的控制方法的流程图。
48.图4是根据一示例性实施例示出的另一种机器人的控制方法的流程图。
49.图5是根据图4的示例性实施例示出的一种机器人的控制方法的流程图。
50.图6是根据一示例性实施例示出的一种控制器的结构框图。
51.图7是根据一示例性实施例示出的另一种控制器的结构框图。
具体实施方式
52.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
53.首先，对本公开的应用场景进行介绍，本公开应用在通过机器人监测皮带输送机传送皮带运行情况的场景下，在火力发电厂中，会使用皮带输送机的传送皮带将物料(如煤炭等燃料)输送至锅炉中进行燃烧发电，传送皮带在运行过程中，容易出现打滑、撕裂、跑偏等现象，造成设备故障，降低物料传送的效率，从而降低工作效率。
54.现有技术中，可以通过机器人对皮带输送机进行巡检，通过与机器人连接的照相机采集传送皮带的运行图像，并发送至终端，使得工作人员可以通过终端查看运行图像，从而确定传送皮带的运行是否存在异常，并在确定皮带运行存在异常的情况下，及时进行维修。但是，照相机采集的运行图像清晰度较低，工作人员很难发现异常情况，需要耗费大量时间且容易出错，导致生产效率低下。
55.为了解决上述问题，本公开提供一种机器人的控制方法、系统、存储介质及电子设备，该系统包括皮带输送机、机器人和控制器；该机器人与该控制器连接；该机器人包括摄像装置和红外传感器；该皮带输送机，用于输送发电燃料；该机器人，用于通过该摄像装置获取该皮带输送机的传送皮带的运行图像，以及通过该红外传感器获取该传送皮带的红外图像；该控制器，用于获取该机器人发送的该运行图像和该红外图像；并根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常；通过结合运行图像和红外图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。
56.图1是根据一示例性实施例示出的一种机器人的控制系统100，该系统100包括皮带输送机110、机器人120和控制器130；该机器人120与该控制器130连接；该机器人包括摄像装置和红外传感器；
57.该皮带输送机110，用于输送发电燃料。示例地，该皮带输送机可以是输煤栈桥中
的皮带输送机，该发电燃料可以是固体燃料，例如，无烟煤、烟煤、褐煤或油页岩等。
58.该机器人120，用于通过该摄像装置获取该皮带输送机的传送皮带的运行图像，以及通过该红外传感器获取该传送皮带的红外图像。
59.示例地，该摄像装置可以是可见光相机、照相机或摄像机等；该红外传感器可以是红外成像仪或红外相机等。
60.该控制器130，用于获取该机器人发送的该运行图像和该红外图像；并根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常。示例地，该预设网络模型可以是深度学习网络模型。
61.在一些实施例中，该控制器还可以用于获取图像样本，该图像样本包括运行图像样本和红外图像样本；根据该图像样本，对预设网络模型进行训练，得到该预设异常确定模型；通过预设损失函数确定训练后的该预设网络模型的损失值，并在该损失值满足预设评价条件的情况下，将训练后的该预设网络模型作为该预设异常确定模型。
62.示例地，可以在该预设损失函数的损失值大于或等于预设损失阈值的情况下，确定该损失值满足预设评价条件；该预设损失函数可以是均方差损失函数、平均绝对误差损失函数或分位数损失函数等。这样，可以通过模型训练和模型评价，提前确定出预设异常确定模型，在获取到运行图像和红外图像后，直接通过预设异常确定模型确定该传送皮带的运行是否异常，减少了分析时间，提高了工作效率。
63.根据上述技术方案，通过结合运行图像和红外图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。
64.在一些实施例中，该控制器还可以用于在该传送皮带存在异常的情况下，确定该传送皮带在该运行图像和该红外图像中的异常位置；根据该异常位置确定告警图像。这样，可以方便工作人员查找异常位置，提高工作效率。
65.在另一些实施例中，该告警图像包括第一告警图像和第二告警图像；该控制器还可以通过以下方式，根据异常位置确定告警图像：该控制器可以用于对该运行图像中的该异常位置进行标注，得到该第一告警图像；对该红外图像中的该异常位置进行标注，得到该第二告警图像。这样，分别对第一告警图像和第二告警图像进行标注，可以突出显示异常位置，方便工作人员快速查找异常，及时进行维修。
66.图2是根据图1的示例性实施例示出的一种机器人的控制系统的结构框图，如图2所示，该系统100还包括终端140；该终端140与该控制器130连接；
67.该控制器130，还用于将该第一告警图像和该第二告警图像发送至该终端；该终端140，用于展示该第一告警图像和该第二告警图像。
68.其中，该终端可以是移动终端、计算机或笔记本电脑等，此处不做限定。这样，工作人员可以通过终端查看告警图像，快速确定异常位置。
69.在一些实施例中，该控制器还用于根据该第一告警图像和/或该第二告警图像，向该机器人发送告警信号；该机器人，还用于在接收到该告警信号的情况下，发出告警提示。例如，该告警提示可以是语音提示或灯光提示等，此处不作限定。
70.示例地，该控制器可以用于在获取到第一告警图像的情况下，向该机器人发送告警信号；或者，用于在获取到第二告警图像的情况下，向该机器人发送告警信号；或者，用于在获取到第一告警图像和第二告警图像，并确定该第一告警图像和该第二告警图像被标注
的异常位置均相同的情况下，向该机器人发送告警信号。这样，可以在确定传送皮带运行异常的情况下，通知现场的工作人员，使得工作人员可以及时对传送皮带进行维修。
71.图3是根据一示例性实施例示出的一种机器人的控制方法，应用于控制器；该方法包括以下步骤：
72.s301、获取该机器人发送的皮带输送机的传送皮带的运行图像和红外图像。
73.s302、根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常。
74.根据上述技术方案，通过结合运行图像和红外图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。
75.在一些实施例中，上述步骤s302中根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常还可以通过以下方式：将该运行图像和该红外图像，作为该预设异常确定模型的输入，得到该预设异常确定模型的输出结果，该输出结果用于表征该传送皮带的运行是否异常。
76.在另一些实施例中，该预设异常确定模型可以通过以下方式得到：获取图像样本，该图像样本包括运行图像样本和红外图像样本；根据该图像样本，对预设网络模型进行训练，得到该预设异常确定模型；通过预设损失函数确定训练后的该预设网络模型的损失值，并在该损失值满足预设评价条件的情况下，将训练后的该预设网络模型作为该预设异常确定模型。
77.图4是根据一示例性实施例示出的另一种机器人的控制方法的流程图，如图4所示，所述机器人的控制方法还可以包括以下步骤：
78.s303、在该传送皮带存在异常的情况下，确定该传送皮带在该运行图像和该红外图像中的异常位置。
79.s304、根据该异常位置确定告警图像。
80.图5是根据图4的示例性实施例示出的一种机器人的控制方法的流程图，如图5所示，该告警图像包括第一告警图像和第二告警图像；上述步骤s304中的根据该异常位置确定告警图像可以包括以下步骤：
81.s3041、对该运行图像中的该异常位置进行标注，得到该第一告警图像。
82.s3042、对该红外图像中的该异常位置进行标注，得到该第二告警图像。
83.在一些实施例中，该方法还可以包括：将该第一告警图像和该第二告警图像发送至终端；该终端用于展示该第一告警图像和该第二告警图像。
84.在另一些实施例中，该方法还可以包括：根据该第一告警图像和/或该第二告警图像，向该机器人发送告警信号；该机器人用于在接收到该告警信号的情况下，发出告警提示。
85.综上所述，本公开提供一种机器人的控制方法、系统、存储介质及电子设备，该系统包括皮带输送机、机器人和控制器；该机器人与该控制器连接；该机器人包括摄像装置和红外传感器；该皮带输送机，用于输送发电燃料；该机器人，用于通过该摄像装置获取该皮带输送机的传送皮带的运行图像，以及通过该红外传感器获取该传送皮带的红外图像；该控制器，用于获取该机器人发送的该运行图像和该红外图像；并根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常；通过结合运行图像和红外
图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。
86.图6是根据一示例性实施例示出的一种控制器600的框图。如图6所示，该控制器600可以包括：处理器601，存储器602。该控制器600还可以包括多媒体组件603，输入/输出接口604，以及通信组件605中的一者或多者。
87.其中，处理器601用于控制该控制器600的整体操作，以完成上述的机器人的控制方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该控制器600的操作，这些数据例如可以包括用于在该控制器600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该控制器600与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件605可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
88.在一示例性实施例中，控制器600可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的机器人的控制方法。
89.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的机器人的控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器602，上述程序指令可由控制器600的处理器601执行以完成上述的机器人的控制方法。
90.图7是根据一示例性实施例示出的一种控制器700的框图。例如，控制器700可以被提供为一服务器。参照图7，控制器700包括处理器722，其数量可以为一个或多个，以及存储器732，用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器722可以被配置为执行该计算机程序，以执行上述的机器人的控制方法。
91.另外，控制器700还可以包括电源组件726和通信组件750，该电源组件726可以被配置为执行控制器700的电源管理，该通信组件750可以被配置为实现控制器700的通信，例如，有线或无线通信。此外，该控制器700还可以包括输入/输出接口758。控制器700可以操作基于存储在存储器732的操作系统。
92.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的机器人的控制方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器732，上述程序指令可由控制器700的处理器722执行以完成上述的机器人的控制方法。
93.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的机器人的控制方法的代码部分。
94.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
95.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

技术特征：
1.一种机器人的控制系统，其特征在于，所述系统包括皮带输送机、机器人和控制器；所述机器人与所述控制器连接；所述机器人包括摄像装置和红外传感器；所述皮带输送机，用于输送发电燃料；所述机器人，用于通过所述摄像装置获取所述皮带输送机的传送皮带的运行图像，以及通过所述红外传感器获取所述传送皮带的红外图像；所述控制器，用于获取所述机器人发送的所述运行图像和所述红外图像；并根据所述运行图像和所述红外图像，通过预设异常确定模型确定所述传送皮带的运行是否异常。2.根据权利要求1所述的系统，其特征在于，所述控制器，用于将所述运行图像和所述红外图像，作为所述预设异常确定模型的输入，得到所述预设异常确定模型的输出结果，所述输出结果用于表征所述传送皮带的运行是否异常。3.根据权利要求1所述的系统，其特征在于，所述控制器，还用于获取图像样本，所述图像样本包括运行图像样本和红外图像样本；根据所述图像样本，对预设网络模型进行训练，得到所述预设异常确定模型。4.根据权利要求3所述的系统，其特征在于，所述控制器，用于通过预设损失函数确定训练后的所述预设网络模型的损失值，并在所述损失值满足预设评价条件的情况下，将训练后的所述预设网络模型作为所述预设异常确定模型。5.根据权利要求1所述的系统，其特征在于，所述控制器，还用于在所述传送皮带存在异常的情况下，确定所述传送皮带在所述运行图像和所述红外图像中的异常位置；根据所述异常位置确定告警图像。6.根据权利要求5所述的系统，其特征在于，所述告警图像包括第一告警图像和第二告警图像；所述控制器，用于对所述运行图像中的所述异常位置进行标注，得到所述第一告警图像；对所述红外图像中的所述异常位置进行标注，得到所述第二告警图像。7.根据权利要求6所述的系统，其特征在于，所述系统还包括终端；所述终端与所述控制器连接；所述控制器，还用于将所述第一告警图像和所述第二告警图像发送至所述终端；所述终端，用于展示所述第一告警图像和所述第二告警图像。8.根据权利要求6所述的系统，其特征在于，所述控制器，还用于根据所述第一告警图像和/或所述第二告警图像，向所述机器人发送告警信号；所述机器人，还用于在接收到所述告警信号的情况下，发出告警提示。9.一种机器人的控制方法，其特征在于，应用于控制器；所述方法包括：获取所述机器人发送的皮带输送机的传送皮带的运行图像和红外图像；根据所述运行图像和所述红外图像，通过预设异常确定模型确定所述传送皮带的运行是否异常。10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求9中所述方法的步骤。11.一种控制器，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求9中所述方法的步骤。

技术总结
本公开涉及一种机器人的控制方法、系统、存储介质及电子设备，该系统包括皮带输送机、机器人和控制器；该机器人与该控制器连接；该机器人包括摄像装置和红外传感器；该皮带输送机，用于输送发电燃料；该机器人，用于通过该摄像装置获取该皮带输送机的传送皮带的运行图像，以及通过该红外传感器获取该传送皮带的红外图像；该控制器，用于获取该机器人发送的该运行图像和该红外图像；并根据该运行图像和该红外图像，通过预设异常确定模型确定该传送皮带的运行是否异常；通过结合运行图像和红外图像确定传送皮带的运行是否异常，避免了人工识别运行异常造成的耗时较长且准确性较低的问题，提高了生产效率。提高了生产效率。提高了生产效率。


技术研发人员：张立强 杨敏 张新亮 林德平 苏宏刚 薛素平 丁国栋 亓俊波
受保护的技术使用者：山西鲁晋王曲发电有限责任公司
技术研发日：2023.03.09
技术公布日：2023/7/25