刮板输送机的控制方法、装置、电子设备及介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种刮板输送机的控制方法、装置、电子设备及介质。


背景技术：

2.在煤炭的生产过程中，需要借助刮板输送机运输煤炭。然而，当刮板输送机运送的煤炭量少而刮板输送机的运输速度快时，刮板输送机的能力不能得到充分发挥，能量损耗大，易造成经济损失；而当刮板输送机运送的煤炭量大而刮板输送机的运输速度慢时，刮板输送机的动力不足，从采煤机落入刮板输送机的煤炭不能被及时运出，容易发生堆煤。如何对刮板输送机进行控制是十分重要的。


技术实现要素：

3.本技术的目的旨在至少在一定程度上解决上述技术问题之一。
4.为此，本技术提出了一种刮板输送机的控制方法，通过采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现基于深度学习技术，根据多个视觉检测装置对刮板输送机进行监测得到的第一图像和第二图像，获取第一图像对应的第一深度图和第二图像对应的第二深度图，进一步地，可以根据各第一深度图和各第二深度图，自动预测刮板输送机在第一时刻输送的总煤炭体积，从而可以基于总煤炭体积，实现对刮板输送机的运输速度的控制。
5.本技术第一方面实施例提出了一种刮板输送机的控制方法，方法包括：
6.采用多个视觉检测装置对所述刮板输送机进行监测，以获取所述多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，所述刮板输送机在所述第一时刻处于有煤状态，所述刮板输送机在所述第二时刻处于无煤状态；
7.针对任一所述视觉检测装置，将所述视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到所述第一图像对应的第一深度图和所述第二图像对应的第二深度图；
8.根据所述第一深度图和所述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积；
9.根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积，并根据所述总煤炭体积对所述刮板输送机的运输速度进行控制。
10.可选地，作为第一方面的第一种可能的实现方式，所述根据所述第一深度图和所
述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积，包括：对所述第一图像进行语义分割，以得到所述第一图像中的第一煤炭区域；根据所述第一煤炭区域在所述第一图像中的第一位置，从所述第一深度图中确定与所述第一位置匹配的第一目标区域，及从所述第二深度图中确定与所述第一位置匹配的第二目标区域；根据所述第一目标区域中各第一像素单元的第一深度和所述第二目标区域中各第二像素单元的第二深度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。
11.可选地，作为第一方面的第二种可能的实现方式，所述对所述第一图像进行语义分割，以得到所述第一图像中的第一煤炭区域，包括：采用经过训练的目标语义分割模型，对所述第一图像进行语义分割，以得到所述第一煤炭区域；其中，所述目标语义分割模型采用以下步骤训练得到：获取至少一个第一训练图像，其中，每个所述第一训练图像上标注有第二煤炭区域；针对任一所述第一训练图像，将所述第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域；基于所述第二煤炭区域在所述第二训练图像中的第二位置和所述煤炭分割区域在所述第二训练图像中的第三位置之间的差异，对所述初始语义分割模型进行训练，以得到目标语义分割模型。
12.可选地，作为第一方面的第三种可能的实现方式，所述根据所述第一目标区域中各第一像素单元的第一深度和所述第二目标区域中各第二像素单元的第二深度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积，包括：针对所述第一目标区域中任一所述第一像素单元，从所述第二目标区域中确定与所述第一像素单元位置匹配的第二像素单元；基于所述第一像素单元的第一深度和所述匹配的第二像素单元的第二深度，确定所述第一像素单元对应的煤炭高度；根据所述第一目标区域中各所述第一像素单元对应的煤炭面积和所述煤炭高度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。
13.可选地，作为第一方面的第四种可能的实现方式，所述根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积，包括：根据所述多个视觉检测装置的煤炭体积的累加和，确定目标系数；获取修正系数，其中，所述修正系数是根据相邻的视觉检测装置的视野重叠范围确定的；基于所述修正系数对所述目标系数进行修正，以得到所述刮板输送机在所述第一时刻输送的总煤炭体积。
14.可选地，作为第一方面的第五种可能的实现方式，所述视觉检测装置为双目摄像设备，所述将所述视觉检测装置采集的第一图像输入至深度估计模型，以得到所述第一图像对应的第一深度图，包括：将所述第一图像输入所述深度估计模型，以获取所述第一图像对应的第一视差图；其中，所述第一图像为所述双目摄像设备采集的左目图像或者右目图像；根据所述第一视差图，以及根据采集所述第一图像的双目摄像设备对应的基线和焦距，获取所述第一图像对应的第一深度图。
15.可选地，作为第一方面的第六种可能的实现方式，所述深度估计模型采用以下步骤训练得到：采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，所述训练图像对包括所述样本双目摄像设备采集的左目训练图像和右目训练图像；将第一参考训练图像输入初始的深度估计模型，以得到所述第一参考训练图像对应的第一样本视差图；其中，所述第一参考训练图像为所述左目训练图像或所述右目训练图像；基于所述第一样本视差图，对所述训练图像对中除所述第一参考训练图像之外的第二参考训练图
像进行反向投影，以获取反向投影图像；根据所述第一参考训练图像和所述反向投影图像之间的差异，对所述初始的深度估计模型进行训练，以获取经过训练的所述深度估计模型。
16.本技术实施例的刮板输送机的控制方法，通过采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现基于深度学习技术，根据多个视觉检测装置对刮板输送机进行监测得到的第一图像和第二图像，获取第一图像对应的第一深度图和第二图像对应的第二深度图，进一步地，可以根据各第一深度图和各第二深度图，自动预测刮板输送机在第一时刻输送的总煤炭体积，从而可以基于总煤炭体积，实现对刮板输送机的运输速度的控制。
17.本技术第二方面实施例提出了一种刮板输送机的控制装置，所述装置包括：
18.第一监测模块，用于采用多个视觉检测装置对所述刮板输送机进行监测，以获取所述多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，所述刮板输送机在所述第一时刻处于有煤状态，所述刮板输送机在所述第二时刻处于无煤状态；
19.第一输入模块，用于针对任一所述视觉检测装置，将所述视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到所述第一图像对应的第一深度图和所述第二图像对应的第二深度图；
20.第一确定模块，用于根据所述第一深度图和所述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积；
21.第二确定模块，用于根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积；
22.控制模块，用于根据所述总煤炭体积对所述刮板输送机的运输速度进行控制。
23.可选地，作为第二方面的第一种可能的实现方式，所述第一确定模块，用于：对所述第一图像进行语义分割，以得到所述第一图像中的第一煤炭区域；根据所述第一煤炭区域在所述第一图像中的第一位置，从所述第一深度图中确定与所述第一位置匹配的第一目标区域，及从所述第二深度图中确定与所述第一位置匹配的第二目标区域；根据所述第一目标区域中各第一像素单元的第一深度和所述第二目标区域中各第二像素单元的第二深度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。
24.可选地，作为第二方面的第二种可能的实现方式，所述第一确定模块，用于：采用经过训练的目标语义分割模型，对所述第一图像进行语义分割，以得到所述第一煤炭区域；其中，所述目标语义分割模型采用以下步骤训练得到：获取至少一个第一训练图像，其中，每个所述第一训练图像上标注有第二煤炭区域；针对任一所述第一训练图像，将所述第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域；基于所述第二煤炭区域在所述第二训练图像中的第二位置和所述煤炭分割区域在所述第二训练图像中的第三位置之间的差异，对所述初始语义分割模型进行训练，以得到目标语义分割模型。
25.可选地，作为第二方面的第三种可能的实现方式，所述第一确定模块，用于：针对所述第一目标区域中任一所述第一像素单元，从所述第二目标区域中确定与所述第一像素单元位置匹配的第二像素单元；基于所述第一像素单元的第一深度和所述匹配的第二像素单元的第二深度，确定所述第一像素单元对应的煤炭高度；根据所述第一目标区域中各所述第一像素单元对应的煤炭面积和所述煤炭高度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。
26.可选地，作为第二方面的第四种可能的实现方式，所述第二确定模块，用于：根据所述多个视觉检测装置的煤炭体积的累加和，确定目标系数；获取修正系数，其中，所述修正系数是根据相邻的视觉检测装置的视野重叠范围确定的；基于所述修正系数对所述目标系数进行修正，以得到所述刮板输送机在所述第一时刻输送的总煤炭体积。
27.可选地，作为第二方面的第五种可能的实现方式，所述视觉检测装置为双目摄像设备，所述第一输入模块，用于：将所述第一图像输入所述深度估计模型，以获取所述第一图像对应的第一视差图；其中，所述第一图像为所述双目摄像设备采集的左目图像或者右目图像；根据所述第一视差图，以及根据采集所述第一图像的双目摄像设备对应的基线和焦距，获取所述第一图像对应的第一深度图。
28.可选地，作为第二方面的第六种可能的实现方式，所述深度估计模型采用以下模块训练得到：
29.第二监测模块，用于采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，所述训练图像对包括所述样本双目摄像设备采集的左目训练图像和右目训练图像；
30.第二输入模块，用于将第一参考训练图像输入初始的深度估计模型，以得到所述第一参考训练图像对应的第一样本视差图；其中，所述第一参考训练图像为所述左目训练图像或所述右目训练图像；
31.反向投影模块，用于基于所述第一样本视差图，对所述训练图像对中除所述第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像；
32.训练模块，用于根据所述第一参考训练图像和所述反向投影图像之间的差异，对所述初始的深度估计模型进行训练，以获取经过训练的所述深度估计模型。
33.本技术实施例的刮板输送机的控制装置，通过采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现基于深度学习技术，根据多个视觉检测装置对刮板输送机进行监测得到的第一图像和第二图像，获取第一图像对应的第一深度图和第二图像对应的第二深度图，进一步地，可以根据各第一深度图和各第二深度图，自动预测刮板输送机在第一时刻输送的总煤炭体积，从而可以基于总煤炭体积，实现对刮板输送机的运输速度的控制。
34.本技术第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的刮板输送机的控制方法。
35.本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的刮板输送机的控制方法。
36.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
37.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
38.图1为本技术实施例一所提供的刮板输送机的控制方法的流程示意图；
39.图2为本公开所提供的单个视觉检测装置的工作示意图；
40.图3为本公开所提供的多个视觉检测装置的工作示意图；
41.图4为本技术实施例二所提供的刮板输送机的控制方法的流程示意图；
42.图5为本技术实施例三所提供的刮板输送机的控制方法的流程示意图；
43.图6为本技术实施例四所提供的一种刮板输送机的控制装置的结构示意图；
44.图7为本技术实施例五所提供的电子设备的结构示意图。
具体实施方式
45.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
46.相关技术中，可以采用以下两种方法实现煤炭体积的测量或预测：
47.1.采用激光雷达、机器视觉等方法，获取转载机或带式输送机上的煤炭体积信息，以预测刮板输送机上的煤量。
48.该方法在工作面的落煤量稳定时较为精确，然而当采煤机的出煤量发生变化时，难以体现刮板输送机上的真实煤量。且，通过测量刮板输送机后续运输装备的煤炭体积信息预测刮板机上的实时煤量，具有一定的滞后性，无法反映刮板输送机上的实时煤量的真实数据，而刮板输送机变频调节的主要依据是刮板输送机上的实时煤量。
49.2.通过采煤机或刮板输送机的电流、电压、运行速度等数据，采用刮板输送机的煤量计算模型计算刮板输送机上的煤量。
50.该方法计算的煤量结果的精度强依赖所建立的刮板输送机的煤量计算模型的合理性、多种传感器的误差等，无法直观的展现刮板输送机上的煤量。比如，根据采煤机的采高、截深、行走速度等采煤相关参数构建刮板输送机煤量计算模型的技术，需要对上述参数的准确测量与精确控制，并强依赖于模型的建立与开采过程的相符程度。
51.针对上述问题，本技术实施例提出一种刮板输送机的控制方法、装置、电子设备及介质。
52.下面结合图1，对本技术提供的刮板输送机的控制方法进行详细说明。
53.本技术实施例以该刮板输送机的控制方法被配置于刮板输送机的控制装置中来
举例说明，该刮板输送机的控制装置可以应用于任一电子设备中，以使该电子设备可以执行刮板输送机的控制功能。
54.其中，电子设备可以为任一具有计算能力的设备，例如可以为pc(personal computer，个人电脑)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
55.图1为本技术实施例一所提供的刮板输送机的控制方法的流程示意图。
56.如图1所示，该刮板输送机的控制方法包括以下步骤：
57.步骤101，采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态。
58.在本技术实施例中，视觉检测装置比如可以为摄像机或者相机等，以用于采集图像；且多个视觉检测装置可以为分布式分布。
59.在本技术实施例中，第一时刻可以是刮板输送机在有煤状态下的时刻，而第二时刻可以是刮板输送机在无煤状态下的时刻。
60.需要说明的是，针对任一视觉检测装置，在第一时刻采集的第一图像中的刮板输送机的料槽位置，可以与第二时刻采集的第二图像中的刮板输送机的料槽位置相同。
61.在本技术实施例中，可以采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态。
62.需要说明的是，为了保证多个视觉检测装置在同一时刻采集的各图像能够覆盖刮板输送机的输送区域，相邻的视觉检测装置的最小视场可以具有视场重叠区域或者视场相邻。
63.作为一种示例，视觉检测装置为相机，相机可以安装在液压支架顶梁位置，且相机镜头朝向刮板输送机对应的输送区域。单个视觉检测装置的工作示意图如图2所示，其中，21为液压支架顶梁，22为相机，23为光源，24为刮板输送机；多个视觉检测装置的工作示意图如图3所示，其中，31为同步采集控制与计算单元，32为刮板输送机控制器，33为液压支架，34为相机，35为刮板输送机，36为采煤机。为了保证多个相机在同一时刻采集的各图像能够覆盖刮板输送机的输送区域，假设相邻的相机的最小视场视场相邻，可以确定相邻的相机的最大距离，比如，相机视场角为θ，相机的安装高度为h，液压支架的中心距为d，相邻的相机的最大距离w为：
[0064][0065]
相邻的相机之间间隔的液压支架数量的最大值s可以为：
[0066][0067]
其中，floor()为向下取整函数。
[0068]
步骤102，针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图。
[0069]
在本技术实施例中，第一深度图中任一像素单元的像素值可以指示第一图像中对应像素单元的深度。
[0070]
在本技术实施例中，第二深度图中任一像素单元的像素值可以指示第二图像中对应像素单元的深度。
[0071]
在本技术实施例中，针对任一视觉检测装置，可以将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图。
[0072]
步骤103，根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0073]
在本技术实施例中，可以根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0074]
步骤104，根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。
[0075]
在本技术实施例中，可以根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积。
[0076]
作为一种可能的实现方式，可以根据多个视觉检测装置的煤炭体积的累加和，确定目标系数；并可以获取修正系数，其中，修正系数可以是根据相邻的视觉检测装置的视野重叠范围确定的；可以基于修正系数对目标系数进行修正，以得到刮板输送机在第一时刻输送的总煤炭体积。
[0077]
作为一种示例，假设存在m个视觉检测装置，第j个视觉检测装置的煤炭体积为vj，j∈[1,m]，且j为整数，根据m个视觉检测装置的煤炭体积的累加和，确定目标系数h为：
[0078][0079]
可以获取修正系数δ，并可以基于该修正系数对目标系数进行修正，以得到刮板输送机在第一时刻输送的总煤炭体积vs：
[0080]vs
＝δh； (4)
[0081]
本技术实施例的刮板输送机的控制方法，通过采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现基于深度学习技术，根据多个视觉检测装置对刮板输送机进行监测得到的第一图像和第二图像，获取第一图像对应的第一深度图和第二图像对应的第二深度图，进一步地，可以根据各第一深度图和各第二深度图，自动预测刮板输送机在第一时刻输送的总煤炭体积，从而可以基于总煤炭体积，实现对刮板输送机的运输速度的控制。
[0082]
为了清楚说明本技术上述实施例中，是如何根据第一深度图和第二深度图，确定
视觉检测装置在第一时刻对应的监测区域的煤炭体积的，本技术还提出一种刮板输送机的控制方法。
[0083]
图4为本技术实施例二所提供的刮板输送机的控制方法的流程示意图。
[0084]
如图4所示，该刮板输送机的控制方法可以包括以下步骤：
[0085]
步骤401，采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态。
[0086]
步骤402，针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图。
[0087]
步骤401至步骤402的执行过程可以参见本技术任一实施例的执行过程，在此不做赘述。
[0088]
步骤403，对第一图像进行语义分割，以得到第一图像中的第一煤炭区域。
[0089]
在本技术实施例中，第一煤炭区域可以为第一图像中的煤炭区域。
[0090]
在本技术实施例中，可以对第一图像进行语义分割，比如，可以采用基于深度学习的语义分割模型(比如fcn(fully convolutional networks,全卷积网络)模型、u-net模型、ocrnet(object-contextual representations for semantic segmentation，基于对象上下文表示实现语义分割)模型等)，对第一图像进行语义分割，从而可以得到第一图像中的第一煤炭区域。
[0091]
作为一种可能的实现方式，可以采用经过训练的目标语义分割模型，对第一图像进行语义分割，以得到第一煤炭区域。
[0092]
在本技术实施例中，目标语义分割模型比如可以为fcn模型、u-net模型、ocrnet模型等，本技术对此不作限制。
[0093]
为了获取经过训练的目标语义分割模型，在本技术实施例的一种可能的实现方式，可以采用以下步骤训练得到目标语义分割模型：
[0094]
1.获取至少一个第一训练图像，其中，每个第一训练图像上标注有第二煤炭区域。
[0095]
在本技术实施例中，第一训练图像中可以具有第二煤炭区域，并可以标注第一训练图像中的第二煤炭区域。
[0096]
在本技术实施例中，可以获取第一训练图像，其中，第一训练图像的数量可以为一个，或者也可以为多个，本技术对此不作限制。
[0097]
2.针对任一第一训练图像，将第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域。
[0098]
在本技术实施例中，初始语义分割模型比如可以为fcn模型、u-net模型、ocrnet模型等，本技术对此不作限制。
[0099]
在本技术实施例中，针对任一第一训练图像，可以将第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域。
[0100]
3.基于第二煤炭区域在第二训练图像中的第二位置和煤炭分割区域在第二训练图像中的第三位置之间的差异，对初始语义分割模型进行训练，以得到目标语义分割模型。
[0101]
作为一种可能的实现方式，可以基于第二煤炭区域在第二训练图像中的第二位置
和煤炭分割区域在第二训练图像中的第三位置之间的差异，生成第一损失值；并可以根据第一损失值，对初始语义分割模型进行训练，以得到目标语义分割模型。
[0102]
在本技术实施例中，第一损失值可以与第二煤炭区域在第二训练图像中的第二位置和煤炭分割区域在所述第二训练图像中的第三位置之间的差异为正向关系(即呈正相关关系)，即差异越小，第一损失值的取值越小，差异越大，第一损失值的取值越大。
[0103]
从而本技术中，可以根据第一损失值，对初始语义分割模型进行训练，以得到目标语义分割模型。比如，可以根据第一损失值，对初始语义分割模型进行训练，以使第一损失值的取值最小化。
[0104]
需要说明的是，上述仅以初始语义分割模型的训练的终止条件为第一损失值最小化进行示例，实际应用时，还可以设置其他终止条件，比如，训练次数达到设定次数，训练时长达到设定时长，第一损失值收敛等等，本技术对此并不做限制。
[0105]
由此，通过对初始语义分割模型进行训练，可以有效获取训练好的目标语义分割模型。
[0106]
步骤404，根据第一煤炭区域在第一图像中的第一位置，从第一深度图中确定与第一位置匹配的第一目标区域，及从第二深度图中确定与第一位置匹配的第二目标区域。
[0107]
在本技术实施例中，可以根据第一煤炭区域在第一图像中的第一位置，从第一深度图中确定与第一位置匹配(或者相同)的第一目标区域，并可以从第二深度图中确定与第一位置匹配(或者相同)的第二目标区域。
[0108]
步骤405，根据第一目标区域中各第一像素单元的第一深度和第二目标区域中各第二像素单元的第二深度，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0109]
作为一种可能的实现方式，针对第一目标区域中任一第一像素单元，可以从第二目标区域中确定与第一像素单元位置匹配(或相同)的第二像素单元；基于第一像素单元的第一深度和匹配的第二像素单元的第二深度，确定第一像素单元对应的煤炭高度；根据第一目标区域中各第一像素单元对应的煤炭面积和煤炭高度，可以确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0110]
需要说明的是，各第一像素单元对应的煤炭面积可以是基于视觉检测装置的标定过程和视觉检测装置的实际安装高度确定的，且各第一像素单元对应的煤炭面积可以相同。
[0111]
作为一种示例，假设第一目标区域中存在n个第一像素单元，针对第一目标区域中第i个第一像素单元，可以从第二目标区域中确定与第一像素单元位置匹配(或相同)的第二像素单元；基于第i个第一像素单元的第一深度hi和匹配的第二像素单元的第二深度hi′
，可以按照以下公式，确定第一像素单元对应的煤炭高度δhi：
[0112]
δhi＝h
i-hi′
； (5)
[0113]
其中，i∈[1,n]，且i为正整数。
[0114]
假设各第一像素单元对应的煤炭面积为s，根据各第一目标区域中各第一像素单元对应的煤炭面积和煤炭高度，可以按照以下公式，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积v：
[0115]
[0116]
由此，可以有效确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0117]
步骤406，根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。
[0118]
步骤406的执行过程可以参见本技术任一实施例的执行过程，在此不作赘述。
[0119]
本技术实施例的刮板输送机的控制方法，通过对第一图像进行语义分割，以得到第一图像中的第一煤炭区域；根据第一煤炭区域在第一图像中的第一位置，从第一深度图中确定与第一位置匹配的第一目标区域，及从第二深度图中确定与第一位置匹配的第二目标区域；根据第一目标区域中各第一像素单元的第一深度和第二目标区域中各第二像素单元的第二深度，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。由此，可以基于深度学习技术，从第一图像中确定属于煤炭的第一煤炭区域，进一步地，可以从第一深度图中确定与第一煤炭区域的第一位置匹配的第一目标区域，以及从第二深度图中确定与第一位置匹配的第二目标区域，从而可以实现根据第一目标区域中各第一像素单元的第一深度和第二目标区域中各第二像素单元的第二深度，自动确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0120]
为了清楚说明本技术实施例中，是如何将视觉检测装置采集的第一图像输入至深度估计模型，以得到第一图像对应的第一深度图的，本技术还提出一种刮板输送机的控制方法。
[0121]
图5为本技术实施例三所提供的刮板输送机的控制方法的流程示意图。
[0122]
如图5所示，该刮板输送机的控制方法可以包括以下步骤：
[0123]
步骤501，采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态。
[0124]
步骤501的执行过程可以参见本技术任一实施例的执行过程，在此不作赘述。
[0125]
在本技术实施例中，视觉检测装置可以为双目摄像设备。
[0126]
也就是说，可以采用多个双目摄像设备对刮板输送机进行监测，以获取多个双目摄像设备在第一时刻采集的第一图像和在第二时刻采集的第二图像。
[0127]
需要说明的是，第一图像和第二图像均可以包括左目图像和右目图像。在本技术中，将第一图像中的左目图像标记为第一左目图像，将第一图像中的右目图像标记为第一右目图像。
[0128]
步骤502，针对任一视觉检测装置，将第一图像输入深度估计模型，以获取第一图像对应的第一视差图；其中，第一图像为双目摄像设备采集的左目图像或者右目图像。
[0129]
在本技术实施例中，深度估计模型可以为单目深度估计模型，比如可以为monodepthv2(monocular depth estimation version 2，单目深度估计版本2)模型、plade-net(pixel-level accuracy for depth estimation net，像素级精确深度估计网络)模型等，本技术对此不作限制。
[0130]
在本技术实施例中，第一图像可以为双目摄像设备采集的左目图像或者右目图像。
[0131]
在本技术实施例中，第一视差图中任一像素单元对应的像素值可以指示第一图像中对应像素单元的视差值。
[0132]
在本技术实施例中，针对任一视觉检测装置，可以将视觉检测装置在第一时刻采集的第一图像中输入深度估计模型，以获取第一图像对应的第一视差图。
[0133]
作为一种示例，针对任一视觉检测装置，可以将视觉检测装置在第一时刻采集的第一左目图像输入深度估计模型，以获取第一左目图像对应的第一视差图。
[0134]
作为另一种示例，针对任一视觉检测装置，可以将视觉检测装置在第一时刻采集的第一右目图像输入深度估计模型，以获取第一右目图像对应的第一视差图。
[0135]
步骤503，根据第一视差图，以及根据采集第一图像的双目摄像设备对应的基线和焦距，获取第一图像对应的第一深度图。
[0136]
在本技术实施例中，可以根据第一视差图，以及根据采集第一图像的双目摄像设备对应的基线和焦距，获取第一图像对应的第一深度图。
[0137]
比如，根据第一视差图，确定第一图像中任一像素单元对应的视差值为d，采集第一图像的双目摄像设备对应的基线为b，双目摄像设备的焦距为f，可以根据以下公式，确定第一图像该任一像素单元对应的深度z：
[0138]
z＝f*b/d；(7)
[0139]
由此，可以确定第一图像中任一像素单元对应的深度，进一步地，可以获取第一图像对应的第一深度图。
[0140]
为了获取经过训练的深度估计模型，在本技术实施例的一种可能的实现方式，可以采用以下步骤训练得到深度估计模型：
[0141]
1.采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，训练图像对包括样本双目摄像设备采集的左目训练图像和右目训练图像。
[0142]
在本技术实施例中，可以采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，训练图像对可以包括样本双目摄像设备采集的左目训练图像和右目训练图像。
[0143]
需要说明的是，训练图像对的数量可以为但不限于为一对，本技术对此不作限制。
[0144]
2.将第一参考训练图像输入初始的深度估计模型，以得到第一参考训练图像对应的第一样本视差图；其中，第一参考训练图像为左目训练图像或右目训练图像。
[0145]
在本技术实施例中，第一参考训练图像可以为训练图像对中的左目训练图像，或者，也可以为训练图像对中的右目训练图像，本技术对此不作限制。
[0146]
在本技术实施例中，第一样本视差图可以指示第一参考训练图像对应的视差图。
[0147]
在本技术实施例中，将第一参考训练图像输入初始的深度估计模型，以得到第一参考训练图像对应的第一样本视差图。
[0148]
作为一种示例，可以将左目训练图像输入初始的深度估计模型，以得到左目训练图像对应的第一样本视差图。
[0149]
作为另一种示例，可以将右目训练图像输入初始的深度估计模型，以得到右目训练图像对应的第一样本视差图。
[0150]
3.基于第一样本视差图，对训练图像对中除第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像。
[0151]
在本技术实施例中，第二参考训练图像可以为训练图像对中除第一参考训练图像之外的图像。比如，当第一参考训练图像为左目训练图像时，第二参考图像为右目训练图
像；当第一参考训练图像为右目训练图像时，第二参考图像为左目训练图像。
[0152]
在本技术实施例中，可以基于第一样本视差图，对训练图像对中除第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像。
[0153]
作为一种示例，将左目训练图像i
t
输入初始深度估计模型，可以得到左目训练图像对应的第一样本视差图d
t
，并可以基于第一样本视差图d
t
和样本双目摄像设备的标定过程，对右目训练图像i
t
′
进行反向投影，以得到反向投影图像i
t
′→
t
：
[0154]it
′→
t
＝i
t
′
《proj(d
t
,t
t
′→
t
,k)》；(8)
[0155]
其中，t
t
′→
t
为右目训练图像与左目训练图像的相对位姿变换矩阵；k为双目摄像设备归一化后的内参矩阵；proj()函数为投影计算公式，该函数可以基于d
t
、t
t
′→
t
和k计算得到重投影的二维坐标；《》为采样运算符。
[0156]
作为一种示例，将右目训练图像i
t
′
输入初始深度估计模型，可以得到右目训练图像对应的第一样本视差图d
t
′
，并可以基于第一样本视差图d
t
′
和样本双目摄像设备的标定过程，对左目训练图像i
t
进行反向投影，以得到反向投影图像i
t
→
t
′
：
[0157]it
→
t
′
＝i
t
《proj(d
t
′
,t
t
→
t
′
,k)》；(9)
[0158]
其中，t
t
→
t
′
为左目训练图像与右目训练图像的相对位姿变换矩阵；k为双目摄像设备归一化后的内参矩阵；proj()为投影计算函数，该函数可以基于d
t
′
、d
t
′
和k计算得到重投影的二维坐标；《》为采样运算符。
[0159]
4.根据第一参考训练图像和反向投影图像之间的差异，对初始的深度估计模型进行训练，以获取经过训练的深度估计模型。
[0160]
在本技术实施例中，可以根据第一参考训练图像和反向投影图像之间的差异，对初始的深度估计模型进行训练，以获取经过训练的深度估计模型。
[0161]
作为一种可能的实现方式，可以根据第一参考训练图像和反向投影图像之间的差异，生成第二损失值；并可以根据可以根据第二损失值，对初始的深度估计模型进行训练，以得到经过训练的深度估计模型。
[0162]
在本技术实施例中，可以根据第一参考训练图像和反向投影图像之间的差异，生成第二损失值。比如，假设第一参考训练图像为i
t
，反向投影图像为i
t
′→
t
，上述第一参考训练图像和反向投影图像之间的差异为||i
t-i
t
′→
t
||1，第二损失值为l
p
：
[0163][0164][0165]
其中，pe()函数可以计算第一参考训练图像和反向投影图像的光度误差；ssim()函数可以计算第一参考训练图像和反向投影图像的结构相似性；α为预先设定的设定系数，比如可以为0.85、0.8等，本技术对此不作限制。
[0166]
从而本技术中，可以根据第二损失值，对初始的深度估计模型进行训练，以得到经过训练的深度估计模型。比如，可以根据第二损失值，对初始的深度估计模型进行训练，以使第二损失值的取值最小化。
[0167]
需要说明的是，上述仅以初始的深度估计模型的训练的终止条件为第而损失值最小化进行示例，实际应用时，还可以设置其他终止条件，比如，训练次数达到设定次数，训练
时长达到设定时长，第二损失值收敛等等，本技术对此并不做限制。
[0168]
由此，可以有效获取经过训练的深度估计模型。
[0169]
步骤504，将第二图像输入至深度估计模型，以得到第二图像对应的第二深度图。
[0170]
步骤504的执行过程可以参见本技术任一实施例的执行过程，在此不作赘述。
[0171]
需要说明的是，将第二图像输入至深度估计模型，以得到第二图像对应的第二深度图的方法，与将第一图像输入至深度估计模型，以得到第一图像对应的第一深度图的方法类似，在此不作赘述。
[0172]
步骤505，根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0173]
步骤506，根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。
[0174]
在本技术实施例中，步骤505至步骤506的执行过程可以参见本技术任一实施例的执行过程，在此不作赘述。
[0175]
本技术实施例的刮板输送机的控制方法，通过将第一图像输入深度估计模型，以获取第一图像对应的第一视差图；根据第一视差图，以及根据采集第一图像的双目摄像设备对应的基线和焦距，获取第一图像对应的第一深度图。由此，可以有效获取第一图像对应的第一深度图。
[0176]
作为一种应用场景，以本技术的刮板输送机的控制方法应用于刮板输送机的控制系统进行示例性说明，该刮板输送机的控制系统可以包括分布式的视觉检测装置、同步采集触发装置、照明装置、采煤机滚筒检测模块、计算单元、通信单元。视觉检测装置(即双目摄像设备)和照明装置分布安装在液压支架顶梁位置，由同步采集发触发装置触发视觉检测装置，以采集图像数据，计算单元可以基于视觉测量技术，实现对刮板输送机上煤炭的煤炭高度的预测，并可以根据煤炭高度得到第一时刻对应监测区域刮板输送机上的煤炭体积；由采煤机滚筒检测模块检测采煤机位置，并由计算单元统计采煤机行进方向后方的各视觉检测装置对应的监测区域的煤炭体积之和，作为刮板输送机输送的总煤炭体积；通信单元可以将总煤炭体积发送给刮板输送机的控制系统，实现根据刮板输送机输送的总煤炭体积对刮板输送机的运输速度进行控制。
[0177]
需要说明的是，为了保证多个视觉检测装置在同一时刻采集的各图像能够覆盖刮板输送机的输送区域，相邻的视觉检测装置的最小视场可以具有视场重叠区域或者视场相邻。
[0178]
其中，在确定刮板输送机输送的总煤炭体积时：
[0179]
1、预先构建并训练煤炭语义分割模型(在本技术中记为目标语义分割模型)
[0180]
构建初始煤炭语义分割模型，采用双目摄像设备获取至少一个第一训练图像，其中，每个第一训练图像上标注有第二煤炭区域；针对任一第一训练图像，将第一训练图像输入初始煤炭语义分割模型进行语义分割，以得到煤炭分割区域；基于第二煤炭区域在第二训练图像中的第二位置和煤炭分割区域在第二训练图像中的第三位置之间的差异，对初始煤炭语义分割模型进行训练，以得到经过训练的煤炭语义分割模型。
[0181]
2、预先构建并训练煤炭深度估计模型(在本技术中记为深度估计模型)
[0182]
构建初始的煤炭深度估计模型，采用样本双目摄像设备对样本刮板输送机进行监
测，以获取训练图像对；其中，训练图像对包括样本双目摄像设备采集的左目训练图像和右目训练图像；将第一参考训练图像输入初始的煤炭深度估计模型，以得到第一参考训练图像对应的第一样本视差图；其中，第一参考训练图像为左目训练图像或右目训练图像；基于第一样本视差图，对训练图像对中除第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像；根据第一参考训练图像和反向投影图像之间的差异，对初始的煤炭深度估计模型进行训练，以获取经过训练的煤炭深度估计模型。
[0183]
作为一种示例，在采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对之后，将左目训练图像i
t
输入初始的煤炭深度估计模型，可以得到左目训练图像对应的第一样本视差图d
t
，并可以基于第一样本视差图d
t
和样本双目摄像设备的标定过程，对右目训练图像i
t
′
进行反向投影，按照公式(8)，可以得到反向投影图像i
t
′→
t
，公式(8)中，t
t
′→
t
为右目训练图像与左目训练图像的相对位姿变换矩阵；k为双目摄像设备归一化后的内参矩阵；proj()函数为投影计算公式，该函数可以基于d
t
、t
t
′→
t
和k计算得到重投影的二维坐标；《》为采样运算符。
[0184]
采用光度误差作为深度估计模型的损失函数，即根据左目训练图像i
t
和反向投影图像i
t
′→
t
之间的差异||i
t-i
t
′→
t
||1，按照公式(10)和(11)生成第二损失值l
p
，公式(10)和(11)中，pe()函数可以计算左目训练图像和反向投影图像的光度误差；ssim()函数可以计算左目训练图像和反向投影图像的结构相似性；α可以为0.85。
[0185]
从而，可以根据第二损失值l
p
，对初始的煤炭深度估计模型进行训练，以使第二损失值的取值最小化。
[0186]
由此，可以有效获取经过训练的煤炭深度估计模型。
[0187]
3、煤炭语义分割模型和煤炭深度估计模型应用
[0188]
采煤机滚筒检测单元可以采用安装在采煤机与液压支架上的红外对射开关或视觉目标检测的方法来确定采煤机滚筒的位置，以检测采煤机行进方向后方的滚筒所对应的液压支架，并根据滚筒所对应的液压支架的排序，确定需要采用的双目摄像设备的个数。
[0189]
假设采用m个双目摄像设备对刮板输送机进行监测，以获取m个双目摄像设备在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态，j∈[1,m]，且j为整数，m为正整数；针对m个双目摄像设备中的第j个双目摄像设备，将第一图像输入煤炭深度估计模型，以获取第一图像对应的第一视差图；其中，第一图像为第j个双目摄像设备采集的左目图像或者右目图像；根据第一视差图，以及根据采集第一图像的第j个双目摄像设备对应的基线和焦距，获取第一图像对应的第一深度图；同理，将第j个双目摄像设备采集的第二图像分别输入至煤炭深度估计模型，以得到第二图像对应的第二深度图；采用经过训练的煤炭语义分割模型，对第一图像进行语义分割，以得到第一煤炭区域；根据第一煤炭区域在第一图像中的第一位置，从第一深度图中确定与第一位置匹配的第一目标区域，及从第二深度图中确定与第一位置匹配的第二目标区域；针对第一目标区域中第i个第一像素单元，从第二目标区域中确定与第一像素单元位置匹配的第二像素单元；基于第一像素单元的第一深度hi和匹配的第二像素单元的第二深度h
′i，根据公式(5)，确定第i个第一像素单元对应的煤炭高度δhi；其中，i∈[1,n]，且i为正整数，n为第一目标区域中第一像素单元的个数，且n为正整数；根据第一目标区域中各第一像素单元对应的煤炭面积s和煤炭高度，可以根据公式(6)，确定
第j个双目摄像设备在第一时刻对应的监测区域的煤炭体积。
[0190]
需要说明的是，第一像素单元对应的煤炭面积s的取值与双目摄像设备内参和双目摄像设备与煤炭表面距离相关，因此，s可以根据双目摄像设备的标定结果及实际安装高度确定为常数。
[0191]
最后，根据m个双目摄像设备的煤炭体积的累加和，根据公式(3)，确定目标系数h；获取修正系数δ，其中，修正系数δ是根据相邻的双目摄像设备的视野重叠范围确定的；基于修正系数对目标系数进行修正，按照公式(4)，可以得到刮板输送机在第一时刻输送的总煤炭体积vs。
[0192]
综上，本技术的刮板输送机的控制方法，基于分布式的视觉检测装置，采用深度估计模型，可以预测刮板输送机上煤炭的总煤炭体积，以在煤炭开采运输过程中，可以根据总煤炭体积实现对刮板输送机的智能调速，使得变频刮板输送机可以智能地根据刮板输送机上的实时煤量(即总煤炭体积)调节工作状态，即能够对刮板输送机的运输速度进行控制，实现节能降耗的目的。
[0193]
与上述几种实施例提供的刮板输送机的控制方法相对应，本技术的一种实施例还提供一种刮板输送机的控制装置。由于本技术实施例提供的刮板输送机的控制装置与上述几种实施例提供的刮板输送机的控制方法相对应，因此在刮板输送机的控制方法的实施方式也适用于本实施例提供的刮板输送机的控制装置，在本实施例中不再详细描述。
[0194]
图6为本技术实施例四所提供的一种刮板输送机的控制装置的结构示意图。
[0195]
如图6所示，该刮板输送机的控制装置600，可以包括：第一监测模块601、第一输入模块602、第一确定模块603、第二确定模块604和控制模块605。。
[0196]
其中，第一监测模块601，用于采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，刮板输送机在第一时刻处于有煤状态，刮板输送机在第二时刻处于无煤状态。
[0197]
第一输入模块602，用于针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图。
[0198]
第一确定模块603，用于根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0199]
第二确定模块604，用于根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积。
[0200]
控制模块605，用于根据总煤炭体积对刮板输送机的运输速度进行控制。
[0201]
在本技术实施例的一种可能的实现方式中，第一确定模块603，用于：对第一图像进行语义分割，以得到第一图像中的第一煤炭区域；根据第一煤炭区域在第一图像中的第一位置，从第一深度图中确定与第一位置匹配的第一目标区域，及从第二深度图中确定与第一位置匹配的第二目标区域；根据第一目标区域中各第一像素单元的第一深度和第二目标区域中各第二像素单元的第二深度，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0202]
在本技术实施例的一种可能的实现方式中，第一确定模块603，用于：采用经过训练的目标语义分割模型，对第一图像进行语义分割，以得到第一煤炭区域；其中，目标语义
分割模型采用以下步骤训练得到：获取至少一个第一训练图像，其中，每个第一训练图像上标注有第二煤炭区域；针对任一第一训练图像，将第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域；基于第二煤炭区域在第二训练图像中的第二位置和煤炭分割区域在第二训练图像中的第三位置之间的差异，对所初始语义分割模型进行训练，以得到目标语义分割模型。
[0203]
在本技术实施例的一种可能的实现方式中，第一确定模块603，用于：针对第一目标区域中任一第一像素单元，从第二目标区域中确定与第一像素单元位置匹配的第二像素单元；基于第一像素单元的第一深度和匹配的第二像素单元的第二深度，确定第一像素单元对应的煤炭高度；根据第一目标区域中各第一像素单元对应的煤炭面积和煤炭高度，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积。
[0204]
在本技术实施例的一种可能的实现方式中，第二确定模块604，用于：根据多个视觉检测装置的煤炭体积的累加和，确定目标系数；获取修正系数，其中，修正系数是根据相邻的视觉检测装置的视野重叠范围确定的；基于修正系数对目标系数进行修正，以得到刮板输送机在第一时刻输送的总煤炭体积。
[0205]
在本技术实施例的一种可能的实现方式中，视觉检测装置为双目摄像设备，第一输入模块，用于：将第一图像输入深度估计模型，以获取第一图像对应的第一视差图；其中，第一图像为双目摄像设备采集的左目图像或者右目图像；根据第一视差图，以及根据采集第一图像的双目摄像设备对应的基线和焦距，获取第一图像对应的第一深度图。
[0206]
在本技术实施例的一种可能的实现方式中，深度估计模型采用以下模块训练得到：
[0207]
第二监测模块，用于采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，训练图像对包括样本双目摄像设备采集的左目训练图像和右目训练图像。
[0208]
第二输入模块，用于将第一参考训练图像输入初始的深度估计模型，以得到第一参考训练图像对应的第一样本视差图；其中，第一参考训练图像为左目训练图像或右目训练图像。
[0209]
反向投影模块，用于基于第一样本视差图，对训练图像对中除第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像。
[0210]
训练模块，用于根据第一参考训练图像和反向投影图像之间的差异，对初始的深度估计模型进行训练，以获取经过训练的深度估计模型。
[0211]
本技术实施例的刮板输送机的控制装置，通过采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现基于深度学习技术，根据多个视觉检测装置对刮板输送机进行监测得到的第一图像和第二图像，获取第一图像对应的第一深度图和第二图像对应的第二深度图，进一步地，可以根据各第一深度图和各第二深度
图，自动预测刮板输送机在第一时刻输送的总煤炭体积，从而可以基于总煤炭体积，实现对刮板输送机的运输速度的控制。
[0212]
为了实现上述实施例，本技术还提出一种电子设备，图7为本技术实施例五所提供的电子设备的结构示意图。该电子设备包括：
[0213]
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
[0214]
处理器702执行所述程序时实现上述实施例中提供的刮板输送机的控制方法。
[0215]
进一步地，电子设备还包括：
[0216]
通信接口703，用于存储器701和处理器702之间的通信。
[0217]
存储器701，用于存放可在处理器702上运行的计算机程序。
[0218]
存储器701可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0219]
处理器702，用于执行所述程序时实现上述实施例所述的刮板输送机的控制方法。
[0220]
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0221]
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
[0222]
处理器702可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0223]
为了实现上述实施例，本技术实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中提供的刮板输送机的控制方法。
[0224]
为了实现上述实施例，本技术实施例还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现上述实施例中提供的刮板输送机的控制方法。
[0225]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0226]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三
个等，除非另有明确具体的限定。
[0227]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0228]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0229]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0230]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0231]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0232]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种刮板输送机的控制方法，其特征在于，所述方法包括：采用多个视觉检测装置对所述刮板输送机进行监测，以获取所述多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，所述刮板输送机在所述第一时刻处于有煤状态，所述刮板输送机在所述第二时刻处于无煤状态；针对任一所述视觉检测装置，将所述视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到所述第一图像对应的第一深度图和所述第二图像对应的第二深度图；根据所述第一深度图和所述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积；根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积，并根据所述总煤炭体积对所述刮板输送机的运输速度进行控制。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度图和所述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积，包括：对所述第一图像进行语义分割，以得到所述第一图像中的第一煤炭区域；根据所述第一煤炭区域在所述第一图像中的第一位置，从所述第一深度图中确定与所述第一位置匹配的第一目标区域，及从所述第二深度图中确定与所述第一位置匹配的第二目标区域；根据所述第一目标区域中各第一像素单元的第一深度和所述第二目标区域中各第二像素单元的第二深度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行语义分割，以得到所述第一图像中的第一煤炭区域，包括：采用经过训练的目标语义分割模型，对所述第一图像进行语义分割，以得到所述第一煤炭区域；其中，所述目标语义分割模型采用以下步骤训练得到：获取至少一个第一训练图像，其中，每个所述第一训练图像上标注有第二煤炭区域；针对任一所述第一训练图像，将所述第一训练图像输入初始语义分割模型进行语义分割，以得到煤炭分割区域；基于所述第二煤炭区域在所述第二训练图像中的第二位置和所述煤炭分割区域在所述第二训练图像中的第三位置之间的差异，对所述初始语义分割模型进行训练，以得到目标语义分割模型。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标区域中各第一像素单元的第一深度和所述第二目标区域中各第二像素单元的第二深度，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积，包括：针对所述第一目标区域中任一所述第一像素单元，从所述第二目标区域中确定与所述第一像素单元位置匹配的第二像素单元；基于所述第一像素单元的第一深度和所述匹配的第二像素单元的第二深度，确定所述第一像素单元对应的煤炭高度；根据所述第一目标区域中各所述第一像素单元对应的煤炭面积和所述煤炭高度，确定
所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积。5.根据权利要求1所述的方法，其特征在于，所述根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积，包括：根据所述多个视觉检测装置的煤炭体积的累加和，确定目标系数；获取修正系数，其中，所述修正系数是根据相邻的视觉检测装置的视野重叠范围确定的；基于所述修正系数对所述目标系数进行修正，以得到所述刮板输送机在所述第一时刻输送的总煤炭体积。6.根据权利要求1所述的方法，其特征在于，所述视觉检测装置为双目摄像设备，所述将所述视觉检测装置采集的第一图像输入至深度估计模型，以得到所述第一图像对应的第一深度图，包括：将所述第一图像输入所述深度估计模型，以获取所述第一图像对应的第一视差图；其中，所述第一图像为所述双目摄像设备采集的左目图像或者右目图像；根据所述第一视差图，以及根据采集所述第一图像的双目摄像设备对应的基线和焦距，获取所述第一图像对应的第一深度图。7.根据权利要求6所述的方法，其特征在于，所述深度估计模型采用以下步骤训练得到：采用样本双目摄像设备对样本刮板输送机进行监测，以获取训练图像对；其中，所述训练图像对包括所述样本双目摄像设备采集的左目训练图像和右目训练图像；将第一参考训练图像输入初始的深度估计模型，以得到所述第一参考训练图像对应的第一样本视差图；其中，所述第一参考训练图像为所述左目训练图像或所述右目训练图像；基于所述第一样本视差图，对所述训练图像对中除所述第一参考训练图像之外的第二参考训练图像进行反向投影，以获取反向投影图像；根据所述第一参考训练图像和所述反向投影图像之间的差异，对所述初始的深度估计模型进行训练，以获取经过训练的所述深度估计模型。8.一种刮板输送机的控制装置，其特征在于，所述装置包括：第一监测模块，用于采用多个视觉检测装置对所述刮板输送机进行监测，以获取所述多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像，其中，所述刮板输送机在所述第一时刻处于有煤状态，所述刮板输送机在所述第二时刻处于无煤状态；第一输入模块，用于针对任一所述视觉检测装置，将所述视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到所述第一图像对应的第一深度图和所述第二图像对应的第二深度图；第一确定模块，用于根据所述第一深度图和所述第二深度图，确定所述视觉检测装置在所述第一时刻对应的监测区域的煤炭体积；第二确定模块，用于根据所述多个视觉检测装置的煤炭体积，确定所述刮板输送机在所述第一时刻输送的总煤炭体积；控制模块，用于根据所述总煤炭体积对所述刮板输送机的运输速度进行控制。9.一种电子设备，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的刮板输送机的控制方法。10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的刮板输送机的控制方法。

技术总结
本申请提出了一种刮板输送机的控制方法、装置、电子设备及介质，涉及图像处理技术领域，方法包括：采用多个视觉检测装置对刮板输送机进行监测，以获取多个视觉检测装置在第一时刻采集的第一图像和在第二时刻采集的第二图像；针对任一视觉检测装置，将视觉检测装置采集的第一图像和第二图像分别输入至深度估计模型，以得到第一图像对应的第一深度图和第二图像对应的第二深度图；根据第一深度图和第二深度图，确定视觉检测装置在第一时刻对应的监测区域的煤炭体积；根据多个视觉检测装置的煤炭体积，确定刮板输送机在第一时刻输送的总煤炭体积，并根据总煤炭体积对刮板输送机的运输速度进行控制。由此，可以实现自动控制刮板输送机的运输速度。的运输速度。的运输速度。


技术研发人员：李佳城 张俊升 王洪磊 杨晓辉 王振 朱西硕 朱伟
受保护的技术使用者：煤炭科学研究总院有限公司
技术研发日：2023.02.20
技术公布日：2023/7/21