一种基于单幅煤场二维图像的煤堆体积校核方法

1.本技术涉及煤场管理技术领域，尤其涉及一种基于单幅煤场二维图像的煤堆体积校核方法。


背景技术：

2.当下电力行业中，虽然各类新能源发电项目正在蓬勃发展，但传统火力发电仍然作为发电量的主体，其发电量占全类型发电量的60％以上。然而在传统火力发电厂的发电成本中煤矿花费所占份额最大，约占全部发电生产成本的75％以上，其占用电厂日常生产中的现金流资金巨大，所以对煤进行资源管理对于电力行业的生产实为重中之重。
3.电厂根据生产需求和现存煤量情况来制定相应的生产调度、采购和库存决策，不但可以有效地优化燃煤库存，避免资金积压，提高资金周转率，还可以从根本上解决亏吨、潜亏等燃料管理缺陷，实现企业的收支平衡。同时，在当前煤炭价格不断上涨、发电企业利润持续下降的形势下，大型燃煤电厂为了降低燃料成本、提高经济效益普遍采取掺烧经济煤种。及时盘存煤场各煤种存煤量，也为准确配煤作业提供实现的技术手段，同时为燃煤电厂科学合理地组织生产、经济调度、成本分析、经济效益评估提供重要依据。
4.自上世纪90年代起，很多高校、电厂及一些从业企展开对煤场储煤量的精确测量的研究，各研究机构根据不同的测量原理，研究开发出不同的盘煤系统，包括由脉冲超声测距传感器、数据采集仪和微机组成的自动测量系统；基于无棱镜的全站仪盘煤系统；由激光器和线阵ccd摄像机组成的光电探测系统；激光便携式盘煤系统等等，并在电力、钢铁、冶金等资源型企业的煤堆盘存中得到了广泛的应用，一定程度上解决了电厂存煤量的自动化盘存问题，但也普遍存在盘煤工作量大、测量误差大，盘存工作受天气、环境影响大、只能定期盘存，不能实时、动态反映煤场存煤和不同煤种状态等问题。
5.现存盘存煤矿的技术实现路径多种多样，其中以激光扫描测量技术和基于计算机视觉测量技术为主，其余还有基于超声波的测量技术和无人机倾斜摄影测量技术等。
6.激光扫描测量技术中，由于三维激光扫描仪价格昂贵，国内激光盘煤产品均使用了二维激光扫描仪，根据二维激光扫描仪的搭载平台不同，激光盘煤系统可以分为便携式激光盘煤系统、固定式激光盘煤系统和基于行走机器人的激光盘煤系统。如图1所示，各系统工作时用二维激光扫描仪对煤场表面进行断面扫描，获得煤场断面轮廓的二维坐标数据，最后与位移传感器或者角度传感器获得的位置信息相匹配，通过软件的一系列处理，获得被测目标的表面形态和三维坐标数据，再进行煤场储量计算、三维模型建立与展示最后得到煤场形态数据进而达到对煤的管理。
7.激光扫描盘煤技术发展成熟且应用广泛，但仍然受到各类限制，想要更加精确的盘煤，就需要用到大型的仪器设备。比如固定式激光盘煤系统，运用斗轮机进行扫描，这样相较于便携式的盘煤仪普遍存在盘煤工作量大、测量误差大，盘存工作受天气、环境影响大、只能定期盘存，不能实时、动态反映煤场存煤和不同煤种状态等问题，虽然提高了精确度和结果的收敛性，但是大大增加了盘煤所需的时间成本和设备运行检修的成本。
8.超声波盘煤的原理是通过超声波遇障碍返回的时间差，乘以超声波的传播速度得出距离的方法。由于超声波在测量过程中，时间的精确度不能很好地控制，会引起测量误差，尤其需要对大面积的点进行精确测量时，超声波测量无法达到应用要求。另外，超声波的传播速度也会根据不同的传输介质而产生变化，因此引起的不确定性将更大。煤场存在的粉尘也会对测量造成很大的影响。
9.无论是激光扫描盘煤还是倾斜摄影盘煤，无论是便携式盘煤、固定式盘煤还是无人机盘煤，他们都有各自的优点和缺点，也分别适用于不同的作业场合。但是现有的盘煤技术和产品时间成本及运维成本都无法与现在计算机视觉的方法相比较。
10.基于计算机视觉的测量技术则是通过激光测距仪打点测距，数码相机围绕整个煤场进行拍摄，由图像拼接拼成完整的煤场，从而完成图像采集的工作，再把采集到的煤场表面散乱坐标数据进行插值处理，然后通过图像拟合修正插值，最后完成煤场三维重建和体积计算。现存的计算机视觉测量技术主要还是基于视觉slam为主的三维重建工作，其技术实现路径如图2所示。
11.而三维重建工作对于盘煤而言，主要是通过运动恢复结构(structure from motion，sfm)即从不同角度获取的图像序列中解算出相机参数，恢复场景三维结构的过程，通常利用两视图或多视图像间特征匹配点的对极几何关系，恢复相机位置姿态信息和场景三维结构。相机位置姿态信息即相机外部参数，包括拍摄过程中的相机旋转角度和相机平移量。利用三维点云描述场景的三维结构，通过将一定数量的二维图像特征点映射到三维空间坐标系上，形成三维点云，实现场景三维结构恢复，二维平面到三维空间的映射关系由相机外部参数和相机内部参数构成的投影矩阵表示，其中，相机内部参数包括相机的焦距、像主点坐标以及像素大小等，相机的内部参数通过相机标定获得。传统的运动恢复结构算法的流程如图3所示，将二维图像特征点映射到三维空间坐标系上设计到一系列的坐标转换，但是归根结底是从像素坐标系到世界坐标系的转换，根据上述相机标定、特征点提取与匹配、对极几何原理分别得到相机内部参数矩阵、匹配点像素坐标、相机旋转矩阵和相机平移向量，利用这些参数可以恢复出相机投影矩阵，找到二维像素坐标点与三维空间坐标点的映射关系，解算出图像像素点对应的三维空间坐标，生成三维点云，恢复场景三维结构。
12.然而，通过计算机视觉测量技术进行盘煤，相比激光扫描测量技术和基于超声波的测量技术减少了设备建设成本和运营维护成本，但传统方法通过运动恢复结构的计算机方法对煤堆进行三维重建，仍然需要大量的准备工作，比如全局式运动恢复结构鲁棒性不足，旋转矩阵求解时l1范数对外点相对鲁棒，而摄像机位置求解时相对平移关系对匹配外点比较敏感；场景完整性，过滤外极几何边，可能丢失部分图像等等问题，或者需要标定系统外部参数来确定每场的空间信息，以及对初始图像对选择及摄像机的添加顺序敏感；场景漂移,大场景重建时的累计误差；效率不足,反复的捆绑调整需要大量的计算时间。这些问题都导致了现有的基于计算机视觉的技术不能实时地对煤堆进行监盘，因为监盘的时间成本被迫提高进而降低了电厂的盘煤效率。
13.综上可知，基于计算机视觉的测量技术由于图片采样过程中所需不同视点的图片过多而导致重建过程过于繁琐、所需目标特征点提取过于复杂，算法实现具有难度。但由于该技术设备花费成本较少，可更新性强，随着当代信息化技术日新月异仍然有很大的发展空间，因此解决计算机视觉测量技术中存在的问题以提高盘煤效率，是本技术需要解决的
问题。


技术实现要素：

14.本技术提供了一种基于单幅煤场二维图像的煤堆体积校核方法，其技术目的是减少传统三维重建所需图片拍摄数量和时间，并在减少计算机处理时间的同时提升计算机盘煤的精确程度，提高煤场盘煤效率。
15.本技术的上述技术目的是通过以下技术方案得以实现的：
16.一种基于单幅煤场二维图像的煤堆体积校核方法，包括：
17.s1：对煤堆的多批次单目照片进行获取，并对所述单目照片对应的煤堆体积数据进行获取；
18.s2：根据所述单目照片和所述煤堆体积数据构建数据集，对所述数据集进行预处理后将其划分成训练集和测试集；
19.s3：对煤堆体积校核模型的参数进行设定，然后通过训练集对煤堆体积校核模型进行训练，得到训练后的煤堆体积校核模型；
20.s4：将测试集输入到训练后的煤堆体积校核模型进行测试，当训练后的煤堆体积校核模型输出的预测体积达到预设准确率时，得到最终煤堆体积校核模型；
21.s5：通过最终煤堆体积校核模型对煤堆体积进行校核。
22.本技术的有益效果在于：
23.(1)仅通过单张图片及体积数据的采集，就可实现体积测量，可观地减少电厂传统盘存煤矿所需的时间成本，实现了实时对煤堆进行盘煤的效果，降低了管理成本和运维成本并提升了精确度。
24.(2)算法无需过多前置训练成本，仅需相关煤场多批次煤堆图片以及煤堆对应体积数据做算法训练使用即可。
25.(3)无需购置额外特殊设备，例如双目摄像机、景深摄像机等设备，设备购置成本及维护成本低。
26.(4)对可用于不同种类煤场，适用范围极广。
附图说明
27.图1为现有技术中二维激光扫描仪对煤场表面进行断面扫描示意图；
28.图2为现有技术中计算机视觉slam技术的流程图；
29.图3为现有技术中计算机视觉slam技术盘煤实现示意图；
30.图4为本技术所述方法的流程图；
31.图5为煤堆的二维图片示意图；
32.图6为残差块结构示意图；
33.图7为回归残差网络进行训练的流程图；
34.图8为本技术实施例中提供的煤场数据整备图；
35.图9为本技术实施例中提供的模型训练过程即最终损失计算示意图。
具体实施方式
36.下面将结合附图对本技术技术方案进行详细说明。
37.如图4所示，本技术所述的基于单幅煤场二维图像的煤堆体积校核方法，包括：
38.s1：对煤堆的多批次单目照片进行获取，并对所述单目照片对应的煤堆体积数据进行获取。
39.具体地，获取单目照片及其对应的煤堆体积数据后，按照特定方式对其进行遍历读取，标记并保存单目照片及其对应的煤堆体积数据。
40.对煤场之中的煤堆进行体积校核时，煤场煤堆数据的要求如下：
41.二维图片(即单目图片)：具体是指相机的内部、外部参数一致情况下高度足够且能覆盖整个煤场形状信息的单目图片，图片的像素和内部参数精度应当足以记录煤场煤堆形状的原图。将煤场煤堆图片及点云数据保存至一起后，算法将会遍历所属文件夹，读取其中多幅图片，按照预先设定的像素规格(如230*180)进行填充。煤堆的二维图片如图5所示。
42.煤堆体积数据：记录上述单目图片中目标煤堆的体积，并对应煤堆二维图片的文件名保存在csv文件中便于算法读取，形式为csv文件中存在两列，第一列保存煤堆二维图片文件名，第二列为文件名对应图片中煤堆的体积(无需体积单位)。
43.s2：根据所述单目照片和所述煤堆体积数据构建数据集，对所述数据集进行预处理后将其划分成训练集和测试集。
44.作为具体实施例地，所述训练集和所述测试集的比例为9:1。
45.具体地，对所述数据集进行预处理包括：对单目图片进行像素填充和对煤堆体积数据进行归一化处理。
46.对单目图片进行像素填充时，本步骤需要对获取的样本数据中进行特征提取部分的参数进行确立。单目图片按照rgb矩阵通道读取至张量中表示为：
[0047][0048]
其中，pi表示第i张单目图片的矩阵；p
hw
表示单目图片中各像素点值，且p
hw
∈[0,255]；h表示单目图片分辨率的横向总数，w表示单目图片分辨率的纵向总数，即图片为分辨率h*w。矩阵pi并不包括梯度信息，为读取输入二维图片信息保存格式。
[0049]
pi作为输入信息需要进行预扩充，数据集中的图片数据由于煤堆边界的起伏以及煤场大小的不确定所以需要将输入的图片数据进行填充，以保证数据样本相同，为后续训练提供平衡的数据。具体填充方式为：填充0至矩阵pi以形成三通道的230*180矩阵，填充后的矩阵表示为：
[0050][0051]
对煤堆体积数据进行归一化处理，数据处理之后有助于分析。此过程将遍历csv文
件体积列并寻址最大数值、最小值进行保存，并且严格按照最大最小标准化(min-max normalization)进行归一化处理，采取该种方法会有如下优点：(1)归一化后加快了梯度下降求最优解的速度，也即加快训练网络的收敛性；(2)归一化提高了目标计算时的精度。该过程中归一化的目的就是使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1])，从而消除奇异样本数据导致的不良影响。
[0052]
s3：对煤堆体积校核模型的参数进行设定，然后通过训练集对煤堆体积校核模型进行训练，得到训练后的煤堆体积校核模型。
[0053]
具体地，所述煤堆体积校核模型为改进后的回归残差网络，该回归残差网络包括依次连接的4个残差块和1个1*1的全连接层。残差网络原本多用于视觉分类任务中，但本技术将其用于实际物理工程问题中，通过添加原输入图片信息和体积作为算法训练集，在重建不满足要求时的多次训练、修正，该方案通过反复训练可提高算法的准确度，在此过程中为了提高算法运行速度和算法简洁性，同时为了解决样本少选择浅层残差网络会产生过拟合的问题，最后选择了参考残差网络。每个残差块包括依次连接的1个卷积层和1个全连接层，该全连接层包括依次包括线性处理、非线性处理和线性处理，如图6所示。残差块的输出为其全连接层的输出与其卷积层的输入之和，残差块1卷积层的输入即经预处理后的训练集数据，残差块1的输出即训练集数据与其全连接层的输出之和；残差块2的输入即残差块1的输出，以此类推，直至残差块4的输出经过1*1的全连接层进行输出。
[0054]
如图6所示，从输入流input分支一条信息流至输出流output中，这样的操作会使在反向传播时梯度计算时梯度不会消失，进而增加反向传播效率提高模型参数修正的频率。参照上述模型结构进行模型搭建，对络进行调试，前部已经对输入进行了调试，而至于输出，传统resnet在分类任务中都回采取softmax层进行输出，本技术改进在最后一个全连接层，将最终输出调整为维度为1的全连接层，其算法流程如图7所示。
[0055]
通过训练集对煤堆体积校核模型进行训练，包括：将预处理后的训练集输入残差块，最后通过1*1的全连接层输出预测体积；根据输入的训练集中的煤堆体积数据和预测体积进行误差损失的判定，并由损失函数进行参数的反向传播，直至煤堆体积校核模型达到预设精度，完成训练并输出训练完成的煤堆体积校核模型。
[0056]
如图4和图7所示，通过训练集对煤堆体积校核模型进行训练时，首先将训练集输入到煤堆体积校核模型，对训练集中的单目照片进行特征提取得到特征图片，通过特征图片和煤堆体积数据得到三维空间信息特征，再根据三维空间信息特征得到预测体积，对预测体积是否合格进行判断，若合格则输出预测体积，若不合格则对煤堆体积校核模型进行参数优化，直至完成煤堆体积校核模型的训练，得到训练后的煤堆体积校核模型。
[0057]
作为具体实施例地，回归残差网络的常见超参数设置如表1所示：
[0058]
batch_size(单次传递的用以训练的样本个数)shufflelearnrate(学习率)10false1e-4
[0059]
表1网络设计其他超参数设置
[0060]
如图7所示，回归残差网络输出扩散结果即预测体积后，根据最初输入的体积参数进行误差损失的判定，并由误差函数进行参数的反向传播，该阶段中的损失计算主要包括对预测体积和预存的煤堆体积数据进行损失计算，本技术中损失函数选择pytorch中自带的l1loss和mseloss两个函数一同计算，最终损失则是两个函数之和，并记录当次训练的损
失输出在训练过程之中。
[0061]
最终损失表示为：
[0062][0063]
其中，表示函数所接收的目标预测值；y表示函数所接受的目标真实值，即绝对值损失。双损失计算的反向传播效率远高于常见的损失函数计算。双损失函数的选择源于在模型测试时，单损失的效果一直不好，算法重复训练至500轮时才可大幅度降低损失，而双损失函数计算效果较好，在剩余设置参照本技术设计时可以在200轮甚至150轮时收敛训练，完成模型参数的调整。
[0064]
在损失计算后进行进行反向传播传播过程的学习率调整选择adam算法配合multisteplr算法，设置如表2所示：
[0065]
optimizermilestonesgammaoptimizer[50,200]0.5
[0066]
表2 multisteplr算法超参数设置
[0067]
表2中，optimizer表示训练的记录器，milestones表示学习率调整区间，gamma表示调整倍率。
[0068]
完成煤堆体积校核模型的训练后将.pth训练文件至运行路径，在此后将测试集测试结果保存至csv文件进行结果展示。
[0069]
s4：将测试集输入到训练后的煤堆体积校核模型进行测试，当训练后的煤堆体积校核模型输出的预测体积达到预设准确率时，得到最终煤堆体积校核模型。
[0070]
具体地，将测试集输入到训练后的煤堆体积校核模型进行测试时，首先将测试集输入到训练后的煤堆体积校核模型中，对测试集中的单目照片进行特征提取得到特征图片，通过特征图片和煤堆体积数据得到三维空间信息特征，再根据三维空间信息特征得到预测体积，对预测体积是否合格进行判断，若合格则输出预测体积，若不合格则对训练后的煤堆体积校核模型继续进行参数优化直至输出的预测体积达到预设准确率，得到最终煤堆体积校核模型。
[0071]
s5：通过最终煤堆体积校核模型对煤堆体积进行校核。
[0072]
以下将结合一个具体运行示例对本技术技术方案进行详细说明，数据来源为某电厂盘煤所产生的图像，如图8所示，煤场形状为条形，其中多数规格为50m*170m，要求收集图像尽可能避免空白部分，后将盘煤所得体积数据输入。具体工作流程如下：
[0073]
(1)收集图像数据并在名称处标记各图像，此处图像采取了以煤场中心为球心的球坐标[0 50 100]进行图像采集。
[0074]
(2)收集煤堆对应体积数据，并将其按照对应的图片名称标记保存至csv文件中便于算法读取，读取工具使用pdf.to_csv进行体积数据的读取。
[0075]
(3)文件共224份选取最后10份做为测试集，其余214份作为训练集。
[0076]
(4)对前214进行数据的读取，将每一份文件的名称、图片信息rbg矩阵、以及最终体积保存至同一张量中。
[0077]
(5)运行程序，等待网络训练，结束后会生成算法损失函数图以及测试集结果，如
图9所示。
[0078]
算法最终输出结果如表3所示：
[0079]
nametrue volumepredict volumeerror1a_20210531_093941.png101259713.9224.06％1a_20210630_092853.png1960920407.9514.07％1a_20210731_102908.png2285723178.1431.41％1a_20210831_112055.png3065431798.4533.73％1a_20210930_093850.png2326623917.9632.80％1a_20211029_144900.png1408213500.9994.13％1a_20211129_091622.png1888319154.2751.44％1a_20211231_102226.png1950619562.4530.29％1a_20220130_085010.png2292622796.6560.56％1a_20220228_085408.png105839749.7567.87％
[0080]
表3煤堆体积校核模型最终预测结果展示
[0081]
其中，name为煤场所标记的名称，true volume为经过大型设备盘煤后所得的体积数据，predict volume为模型预测体积，error为上述两者误差，测试集测得的最大误差为+7.87％，平均误差为+3.04％，后续将224份煤场重选测试集并重复实验得到表4和
[0082]
表5。
[0083][0084][0085]
表4模型重选测试集测试结果展示
[0086]
nametruevolumepredictvolumeerror1b_20210531_093941.png87568824.1270.78％1b_20210630_092853.png2827029257.1683.49％1b_20210731_102908.png1090511234.9133.03％1b_20210831_112055.png1794318306.7772.03％1b_20210930_093850.png2544725758.9921.23％1b_20211029_144900.png2213023043.7424.13％
1b_20211129_091622.png1452215016.9953.41％1b_20211231_102226.png2517326479.855.19％1b_20220130_085010.png1687917485.8953.60％1b_20220228_085408.png8117.00057591.4446.47％
[0087]
表5模型重复实验数据展示
[0088]
由表4和表5可知，多次测试后综合平均误差为2.93％，该煤堆体积校核模型表现良好可以满足实际运用需求。
[0089]
以上为本技术示范性实施例，本技术的保护范围由权利要求书及其等效物限定。

技术特征：
1.一种基于单幅煤场二维图像的煤堆体积校核方法，其特征在于，包括：s1：对煤堆的多批次单目照片进行获取，并对所述单目照片对应的煤堆体积数据进行获取；s2：根据所述单目照片和所述煤堆体积数据构建数据集，对所述数据集进行预处理后将其划分成训练集和测试集；s3：对煤堆体积校核模型的参数进行设定，然后通过训练集对煤堆体积校核模型进行训练，得到训练后的煤堆体积校核模型；s4：将测试集输入到训练后的煤堆体积校核模型进行测试，当训练后的煤堆体积校核模型输出的预测体积达到预设准确率时，得到最终煤堆体积校核模型；s5：通过最终煤堆体积校核模型对煤堆体积进行校核。2.如权利要求1所述的方法，其特征在于，对所述数据集进行预处理包括对单目照片进行像素填充和对煤堆体积数据进行归一化处理；对单目照片进行像素填充，将单目图片的rgb矩阵扩充成三通道的230*180矩阵，表示为：其中，p
′
i
表示第i张单目图片经像素填充后的矩阵，p
hw
表示单目图片中各像素点值，且p
hw
∈[0,255]，h表示扩充前单目图片分辨率的横向总数，w表示扩充前单目图片分辨率的纵向总数。3.如权利要求1所述的方法，其特征在于，所述训练集和所述测试集的比例为9:1。4.如权利要求1所述的方法，其特征在于，所述煤堆体积校核模型为改进后的回归残差网络，该回归残差网络包括依次连接的4个残差块和1个1*1的全连接层；通过训练集对煤堆体积校核模型进行训练，包括：将预处理后的训练集输入残差块，最后通过1*1的全连接层输出预测体积；根据输入的训练集中的煤堆体积数据和预测体积进行误差损失的判定，并由损失函数进行参数的反向传播，直至煤堆体积校核模型达到预设精度，完成训练并输出训练完成的煤堆体积校核模型。5.如权利要求4所述的方法，其特征在于，所述损失函数包括l1loss函数和mseloss函数，表示为：其中，表示函数所接收的目标预测值；y表示函数所接受的目标真实值，即绝对值损失。6.如权利要求4所述的方法，其特征在于，每个所述残差块包括依次连接的1个卷积层和1个全连接层，该全连接层包括依次包括线性处理、非线性处理和线性处理；所述残差块
的输出为其卷积层的输入与其全连接层的输出之和。7.如权利要求4所述的方法，其特征在于，所述反向传播的过程中学习率调整选择adam算法配合multisteplr算法。

技术总结
本发明公开了一种基于单幅煤场二维图像的煤堆体积校核方法，涉及煤场管理技术领域，解决了基于计算机视觉测量技术盘煤效率较低的技术问题，其技术方案要点是通过训练多张煤堆照片以达到后续算法实现过程中仅通过单张无景深图片即可直接校核煤堆体积的效果，保证了实时性。在此过程中图片仅要求单目相机拍摄，无需多购置双目、景深相机或激光盘煤仪等大型设备，为算法达到经济性目标做了保障。最后通过设计算法框架实现更为准确、快速的校核煤堆体积的目的。本发明仅通过单二维图片实现煤场的煤堆体积校核，从而可靠地实现盘煤，成本低廉、方便快捷且能实现对煤场的实时监测。方便快捷且能实现对煤场的实时监测。方便快捷且能实现对煤场的实时监测。


技术研发人员：程力 罗皓轩 李柯宜 张喻铭 李乐之
受保护的技术使用者：东南大学
技术研发日：2023.04.13
技术公布日：2023/8/9