基于视频识别的搅拌站智能卸料方法、系统及控制设备与流程

1.本发明涉及一种基于视频识别的搅拌站智能卸料方法、系统及控制设备，属于搅拌站智能卸料技术领域。


背景技术：

2.作为一项新兴技术，搅拌站智能卸料系统将计算机视觉相关方法，如图像处理、目标检测、图像分类、图像分割等，应用到传统的混凝土卸料领域，提高了混凝土装卸效率。视频监控取代了人眼观察，在提升精准度的同时降低了用人成本，在未来有广泛的应用前景。
3.目前现有的智能卸料技术主要包括倒车监控、对齐检测、溢料检测等几个阶段，以三一汽车制造有限公司为代表的国内部分企业在该技术领域已有相关成果并得以实际使用。通过在搅拌站出料口周围安装摄像头，实时监控拍摄现场画面，将视频流送至后台控制器，控制器调用相关算法进行检测识别，并将识别结果转化为相应的控制信号，输送回现场设备。其中倒车监控通过车牌识别确认车辆信息，后台人员通过摄像头画面监控倒车过程，确保安全性。对齐检测的目的是在卸料之前保证出料口中心与接料斗中心处于对齐状态，防止卸料时因出料口与接料斗偏离过大出现漏料撒料的问题。常用方法包括目标检测或阈值分割。在确定料口对齐后，溢料检测算法会实时检测卸料状态，当出现溢料风险时会采取相应措施控制料流，防止溢料。常用方法包括图像语义分割或图像分类。
4.在整个卸料过程中无需人工参与，凭借智能识别算法实时分析现场状态，真正实现了卸料的无人化、自动化和智能化。
5.现有的智能卸料检测技术的主要问题如下：1. 现有的倒车引导过程大多采用信号灯提醒司机倒车状态，无法做到画面上的精确提示和实时提示，与司机的交互不够友好直观。
6.2. 现有专利和论文等文献的对齐过程中采用基于固定阈值的对齐误差，对于不同型号，不同尺寸的料斗，其入料口的大小和位置都会有所差异，很难保证计算上的对齐结果符合实际情况，可能会出现料口偏离，造成溢料风险。
7.3. 现有专利和论文等文献的用于对齐检测的料斗区域主要通过安装在出料口正后方的摄像头进行识别，相较于侧方拍摄画面，料斗形状的变形程度小。但对于某些环境受限的搅拌站，只能通过侧方摄像头判断的情况下，常规的目标检测方法对于料斗形状的拟合效果较差。
8.4. 现有的溢料检测方法大多采用基于语义分割的料位检测法。基于语义分割的料位检测法需要对料位区域进行精确分割，提高了数据处理的成本，同时需要学习的特征维度更高，网络模型的复杂性也更高。


技术实现要素：

9.本发明要解决的技术问题是：提供一种基于视频识别的搅拌站智能卸料方法、系统及控制设备，实现卸料过程的精确化和智能化。
10.本发明所述基于视频识别的搅拌站智能卸料方法，包括：出料口检测：采用目标检测识别画面出料口位置，记录区域坐标和中心坐标；接料斗检测：检测画面中的接料斗区域，当接料斗中心落入可行域范围内，则判定当前车辆为对齐状态，若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测；溢料检测：判断当前料位状态为正常、即将溢料或正在溢料，当料位处于即将溢料或正在溢料状态时，控制出料口开度。
11.出料口检测完成后进行倒车对齐检测。摄像头实时拍摄现场画面，旋转目标检测模型检测画面中的接料斗区域，当接料斗中心与出料口中心之间的水平距离小于某预设阈值时，计算接料斗直径与出料口直径之间的比例关系，作为可行域范围的调整权重，保证对于不同尺寸的接料斗均有相对应的较为合适的可行域范围。
12.优选的，所述接料斗检测，具体包括如下步骤：步骤b1、实时拍摄现场画面，检测画面中的料斗区域；步骤b2、旋转目标检测模型检测画面中的接料斗区域，当接料斗中心与出料口中心之间的水平距离小于某预设阈值时，计算接料斗直径与出料口直径之间的比例关系，作为可行域范围的调整权重；步骤b3、给定可行域范围的初始值len，通过实时计算接料斗直径与出料口直径的比例，确定最终的可行域范围lenf=len；步骤b4、当接料斗中心落入可行域范围内，则判定当前车辆为对齐状态；步骤b5、若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测。
13.在此，给定可行域范围的初始值len，通过实时计算接料斗直径与出料口直径的比例，确定最终的可行域范围lenf=len。对于较大的接料斗，生成的可行域范围更大，即容错范围更大；对于较小的接料斗，偏移距离对其带来的影响更大，所以要求其对应更小的容错范围。
14.为保证检测的实时性，降低计算量，可以采用隔帧检测的方式进行料斗检测，每隔帧检测一次，为预设的料斗检测帧间隔。
15.当接料斗中心落入可行域范围内，则判定当前车辆为对齐状态，若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测。
16.优选的，所述可行域范围生成条件，具体如下：当料斗检测模型检测到料斗出现时，开始拟合料斗边缘并计算中心点，与出料口中心的水平距离，为料斗中心横坐标，为出料口中心横坐标，当与图像宽度满足如下关系时开始生成可行域：其中，为预设的经验比例值。
17.将接料斗边缘与接料斗挡料板的两个交点作为接料斗平面上的两个关键点，，将接料斗内料位平面的中心点作为料位平面的关键点，采用关键点检测方法实时检
测上述三个关键点。通过计算与、之间的距离关系，判断当前料位状态（正常，即将溢料，正在溢料），当料位处于即将溢料或正在溢料状态时，控制系统发出警报，并控制出料口开度。
18.优选的，所述出料口检测， 具体包括如下步骤：步骤a1、实时拍摄现场画面，得到出料口检测数据集；步骤a2、在预训练模型的基础上替换新的出料口数据集继续训练，最终得到目标出料口检测模型；步骤a3、实时拍摄现场画面，得到接料斗检测数据集；步骤a4、通过在水平框目标检测模型的检测头部加入角度回归分支，将0-179
°
的角度作为180个类别进行分类，使模型能够预测目标框在0-179
°
范围内的旋转角度；步骤a5、在接料斗数据集上训练旋转目标检测模型，得到接料斗检测模型。
19.步骤a6、的预测结果中包括旋转框的四个角点坐标及其置信度，通过预先设定的目标置信度阈值及iou阈值对预测结果进行过滤，得到置信度最高的目标框作为预测结果；步骤a6、提取过滤后的四个角点坐标，采用椭圆拟合算法拟合出接料斗的边缘形状，计算椭圆中心及椭圆长轴长度。
20.具体的，实时拍出料口摄现场画面通过拍摄不同角度的出料口图像，拍摄白天、夜晚、不同光照强度的出料口图像，拍摄车辆出现前、倒车中和对齐后的出料口图像，保证识别模型适应各种场景的变化。
21.水平和旋转目标检测模型都已可以采用两阶段的rcnn系列模型、sppnet、单阶段的yolo系列模型、retinanet、ssd等或其他目标检测模型。
22.优选的，所述溢料检测，具体包括如下步骤：步骤c1 、将接料斗边缘与接料斗挡料板的两个交点作为接料斗平面上的两个关键点，，将接料斗内料位平面的中心点作为料位平面的关键点，采用关键点检测模型实时检测上述三个关键点；步骤c2、通过计算与、之间的距离关系，判断当前料位状态为正常、即将溢料或正在溢料；步骤c3、当料位处于即将溢料或正在溢料状态时，控制系统发出警报，并控制出料口开度。
23.优选的，所述采用关键点检测模型实时检测上述三个关键点，具体包括如下步骤：步骤c11、关键点评价指标采用oks（关键点相似度），计算公式如下：步骤c11、关键点评价指标采用oks（关键点相似度），计算公式如下：表示第个目标的oks，表示当前目标第个关键点预测位置和真实位置间的欧氏距离，表示当前目标第个关键点的权重，表示第个目标的尺度：
表示第个目标预测框面积，表示第个目标图像面积；表示当前目标第个关键点是否可见，整体关键点损失为所有关键点oks损失之和：oks损失之和：为关键点数量；步骤c12 、在接料斗检测数据集上训练关键点检测模型，得到最终的溢料检测模型；步骤c13、溢料检测模型输出三个关键点的坐标值，料斗平面关键点，，料位平面关键点。
24.优选的，所述判断当前料位状态，具体包括如下步骤：步骤c21、连接所述料斗平面关键点和得到料斗平面上一直线的方程：过点的直线的法线方程记作，点所在的水平直线方程记作，与的交点记作，表示0料位时的料位点。
25.步骤c22 、判断点与的关系，若在上方，即：表明此时的料位平面超过料斗平面，发生溢料；否则，计算时刻料位平面上升的相对距离；步骤c23、分别计算点到的距离，点到的距离，则时刻料位平面上升的相对距离为：；步骤c24、根据，判断料位状态：
26.在溢料检测的同时要保持料斗检测，用以检测当前车辆是否卸料结束并准备离开，若检测到车辆离开则重新进入下一轮检测过程。
27.为保证检测的实时性，降低计算量，可以采用隔帧检测的方式进行溢料检测，每隔m帧检测一次，m为预设的溢料检测帧间隔。
28.优选的，所述接料斗检测数据集具体通过如下方法得到：对原始视频进行解码，对解码后的视频截取包含接料斗区域的视频片段，对截取的视频片段进行拆帧，对拆帧后的图像进行数据清洗，去除冗余图像，对清洗后的图像数据标注接料斗位置，将标注完的数据按照7:1:2的比例关系划分为训练集、验证集和测试集，得到接料斗检测数据集。
29.本发明所述的基于视频识别的搅拌站智能卸料系统，包括监控视频流获取模块、出料口检测模块、接料斗检测模块、可行域生成模块、溢料检测模块，监控视频流获取模块，用于识别现场画面中的相关目标，包括出料口区域、接料斗区域及接料斗内料位平面区域；出料口检测模块，用于识别出料口位置及中心坐标，作为倒车对齐判定中的基准点；接料斗检测模块，用于识别倒车及卸料过程中接料斗的区域及中心，根据接料斗中心及出料口中心之间的距离关系判断是否对齐；可行域生成模块，用于对不同尺寸的接料斗生成对应的倒车对齐误差范围溢料检测模块，用于识别卸料过程中料位平面关键点与料斗平面关键点，计算关键点之间的距离关系判断当前料位状态。
30.上述三个检测模块中使用不同的基于深度学习的神经网络模型，在获取的现场监控图像样本中通过数据处理、数据清洗、数据标注等方法生成训练数据集，基于各个训练数据集训练适用于不同阶段的识别模型。
31.本发明所述的基于视频识别的搅拌站智能卸料方法的控制设备，包括计算设备和至少一个监控摄像头，计算设备，用于识别所述至少一个监控摄像头拍摄的现场画面。
32.根据真实的搅拌站工作场景及特点，选取合适的摄像头参数，确定摄像头的安装位置和安装角度，保证摄像头能够拍摄到较长一段距离的倒车画面和较为完整清晰的接料斗区域。
33.为保证摄像头的拍摄质量，具体包括：根据搅拌站现场情况确定摄像头的安装位置，通常安装在搅拌站出料口的侧后方或正后方。安装在侧后方可以判断倒车时的前后对齐误差，安装在正后方可以判断倒车时的左右对齐误差。安装角度采用俯视角拍摄，同时为保证拍摄的画面深度并控制画面的畸变程度（画面边沿畸变区域面积小于图像总面积的10%），最终选用一个合适焦距的摄像头c，安装在出料口侧后方。
34.当检测过程启动后，所述摄像头c首先采集一帧现场画面，采用目标检测识别出料口位置，标记出料口中心。由于出料口在一个搅拌站内的位置固定且长时间不会发生变化，摄像头的位置也相对固定不变，故出料口检测仅需执行一次，记录下区域坐标和中心坐标，直接用于后续的倒车监测和对齐判断即可。
35.所述计算设备为普通cpu计算机或带有gpu的高性能计算机。
36.与现有技术相比，本发明具有以下有益效果：1. 本发明创新性地提出了动态可变可行域生成方法，与现有技术方案相比，本方法能够适应不同车型的不同尺寸大小的接料斗，接料斗越大（小），倒车对齐过程中的偏差对最终对齐效果的影响越小（大），故允许的可行域生成范围越大（小），解决了固定范围对
不同尺寸的接料斗的对齐判定效果的差异，提高了对齐检测的准确性。
37.2. 本发明创新性地提出了将旋转目标检测方法用于料斗检测，对于某些环境受限的搅拌站，摄像头可能无法安装在出料口的正后方，只能安装在侧（后）方。在该种场景下画面中的料斗形状会出现不同程度的变形。水平目标检测方法很难拟合出实际的料斗边缘，而采用旋转目标检测方法首先识别出料斗区域的旋转框，进一步根据旋转框拟合椭圆边界，不同的旋转角度能够适应不同程度变形的料斗边缘，扩大了技术方案的适用场景。
38.3. 本发明创新性地提出了将关键点检测方法用于溢料检测，关键点检测技术与图像分割相比需要的特征维度大大降低，模型需要学习的特征数量也有效减少，使模型更加专注于几个目标关键点的学习，提高模型对溢料检测的识别准确性；同时采用关键点检测模型的样本标注成本更低，标注难度降低，有利于针对不同场景实现模型的快速迭代优化。
附图说明
39.图1为本发明所述的一种基于视频识别的搅拌站智能卸料方法的流程图；图2为料斗旋转检测（左）与水平检测（右）对比图；图3为对齐检测示意图；图4为对齐检测效果图；图5为溢料检测示意图；图6为溢料检测效果图；图7为本发明所述的一种基于视频识别的搅拌站智能卸料系统的结构框图。
具体实施方式
40.为解决现有技术中存在的问题，本技术提供一种基于视频识别的搅拌站智能卸料方法、系统及控制设备。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
41.针对现有技术的存在的问题，本专利提出了一种基于视频识别的搅拌站智能卸料方法、系统及控制设备，实现了传统卸料过程的自动化和智能化，提高整个卸料过程的效率。基于目标检测技术识别出料口位置及其中心点，基于旋转目标检测技术识别接料斗区域，根据接料斗区域框的角点进行形状拟合，拟合出接料斗边缘及其中心点。同时计算出料口宽度与接料斗宽度的比例关系，作为倒车对齐过程中可行域范围的调整权重，保证可行域范围可以根据不同的接料斗尺寸动态调整，降低由于固定范围带来的对齐错误率。当接料斗中心落入对齐可行域内则判定为车辆对齐，之后进入溢料检测。溢料检测采用关键点检测技术，将接料斗边缘与接料斗挡料板的两个交点作为接料斗平面上的两个关键点，将料位平面上的中心点作为溢料识别的一个关键点，根据三个关键点之间的相对位置关系判定当前料位状态。当料位平面关键点接近或超过料斗平面关键点时，判为溢料状态，通过控制器发出警报并控制出料口的开度，防止进一步溢料。通过前台界面显示的实时渲染画面，司机和后台控制室人员可以实时监控当前对齐与溢料状态。
42.实施例1如图1所示，本发明实施例提供了一种基于视频识别的搅拌站智能卸料方法，实现
了混凝土装车过程的智能化引导，卸料过程中卸料状态的实时检测判别。具体包括如下步骤：a出料口检测：采用目标检测识别画面出料口位置，记录区域坐标和中心坐标。
43.步骤a1、实时拍摄现场画面，得到出料口检测数据集。
44.将拍摄到的现场视频传输到本地计算机进行处理：对原始视频进行解码，对解码后的视频截取包含出料口区域的视频片段，对截取的视频片段进行拆帧，对拆帧后的图像进行数据清洗，去除冗余图像，对清洗后的图像数据标注出料口位置，将标注完的数据按照7:1:2的比例关系划分为训练集、验证集和测试集，得到出料口检测数据集。
45.步骤a2、选择目标检测模型，修改数据配置文件和相关参数，下载预训练权重文件，在预训练模型的基础上替换新的出料口数据集继续训练，最终得到目标出料口检测模型。
46.步骤a3、实时拍摄现场画面，得到接料斗检测数据集。
47.将拍摄到的现场视频传输到本地计算机进行处理：对原始视频进行解码，对解码后的视频截取包含接料斗区域的视频片段，对截取的视频片段进行拆帧，对拆帧后的图像进行数据清洗，去除冗余图像，对清洗后的图像数据标注出料口位置，将标注完的数据按照7:1:2的比例关系划分为训练集、验证集和测试集，得到接料斗检测数据集。
48.步骤a4、如图2所示，因为摄像头安装在出料口侧后方的缘故，摄像头拍摄到的接料斗区域在画面中呈现椭圆形，常规的水平框目标检测方法虽然能够检测目标区域，计算中心点，但却无法很好地拟合出画面中的接料斗边缘。于是采用旋转框目标检测方法进行识别，旋转框在进行标注时能够较为准确地表示当前料斗区域。通过在水平框目标检测模型的检测头部加入角度回归分支，将0-179
°
的角度作为180个类别进行分类，使模型能够预测目标框在0-179
°
范围内的旋转角度。
49.步骤a5、在接料斗数据集上训练旋转目标检测模型，得到接料斗检测模型。
50.步骤a6、的预测结果中包括旋转框的四个角点坐标及其置信度，通过预先设定的目标置信度阈值及iou阈值对预测结果进行过滤，得到置信度最高的目标框作为预测结果。
51.步骤a7、提取过滤后的四个角点坐标，采用椭圆拟合算法拟合出接料斗的边缘形状，计算椭圆中心及椭圆长轴长度。
52.b接料斗检测：如图3和图4所示，检测画面中的料斗区域，当料斗中心落入可行域范围内，则判定当前车辆为对齐状态，若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测。
53.步骤b1、出料口检测完成后开始运行料斗检测模型，实时检测画面中的料斗区域。为降低设备的计算压力，可以采取隔帧检测的方式进行检测，如每隔10帧或每隔15帧检测一次，因为车辆在倒车过程中路线相对固定，搅拌站空间有限，车辆很少出现大尺度的偏移，故两次检测之间的帧序列可以采用初始帧的检测结果。例如采用每隔10帧检测一次，则第2-10帧的结果可以近似为第1帧的检测结果，第12-20帧的结果近似为第11帧的检测结果。
54.步骤b2、当料斗检测模型检测到料斗出现时，开始拟合料斗边缘并计算中心点，
与出料口中心的水平距离，为料斗中心横坐标，为出料口中心横坐标，当与图像宽度满足如下关系时开始生成可行域：其中为预设的经验比例值。
55.步骤b3、可行域生成：可行域初始化宽度，为预设经验值，可行域长度调整因子：其中为出料口直径，则最终生成的可行域宽度。
56.步骤b4、根据生成的，计算可行域左右边界：，，当时判定为车辆对齐，否则为未对齐。
57.步骤b5、当检测到车辆连续帧为对齐状态时，开始进入溢料检测部分。
58.c溢料检测：如图5和图6所示，判断当前料位状态为正常、即将溢料或正在溢料，当料位处于即将溢料或正在溢料状态时，控制出料口开度。
59.步骤c1 、将接料斗边缘与接料斗挡料板的两个交点作为接料斗平面上的两个关键点，，将接料斗内料位平面的中心点作为料位平面的关键点，采用关键点检测模型实时检测上述三个关键点。
60.步骤c11、选择关键点检测模型，修改相应的数据读取和加载方法，损失函数的计算方法，关键点评价指标采用oks（关键点相似度），计算公式如下：关键点评价指标采用oks（关键点相似度），计算公式如下：（关键点相似度），计算公式如下：表示第个目标的oks，表示当前目标第个关键点预测位置和真实位置间的欧氏距离，表示当前目标第个关键点的权重，表示第个目标的尺度（第个目标预测框面积占图像面积的比值）：的比值）：表示当前目标第个关键点是否可见。整体关键点损失为所有关键点oks损失之和：oks损失之和：为关键点数量。
61.步骤c12 、实时拍摄现场画面，得到溢料检测数据集；在溢料检测数据集上训练关
键点检测模型，得到最终的溢料检测模型；将拍摄到的现场视频传输到本地计算机进行处理：对原始视频进行解码，对解码后的视频截取包含溢料区域的视频片段，对截取的视频片段进行拆帧，对拆帧后的图像进行数据清洗，去除冗余图像，对清洗后的图像数据标注溢料位置，将标注完的数据按照7:1:2的比例关系划分为训练集、验证集和测试集，得到溢料检测数据集。
62.步骤c13、溢料检测模型输出三个关键点的坐标值，料斗平面关键点，，料位平面关键点。
63.步骤c2、通过计算与、之间的距离关系，判断当前料位状态为正常、即将溢料或正在溢料。
64.步骤c21、连接所述料斗平面关键点和得到料斗平面上一直线的方程：过点的直线的法线方程记作，点所在的水平直线方程记作，与的交点记作，表示0料位时的料位点。
65.步骤c22 、判断点与的关系，若在上方，即：表明此时的料位平面超过料斗平面，发生溢料；否则，计算时刻料位平面上升的相对距离。
66.步骤c23、分别计算点到的距离，点到的距离，则时刻料位平面上升的相对距离为：；步骤c24、根据，判断料位状态：
67.步骤c3、当料位处于即将溢料或正在溢料状态时，控制系统发出警报，并控制出料口开度。
68.当程序判定当前状态为即将溢料时，程序向控制系统发送即将溢料信号，控制系统减小出料口的开度，直至料位平面恢复至正常状态，控制系统恢复出料口的开度；当程序判定当前状态为正在溢料时，程序向控制系统发送正在溢料信号，控制系统关闭出料口，停止卸料，直至料位平面恢复至正常状态，再次开启出料口，恢复卸料。
69.在卸料过程中，考虑到溢料过程通常在2-3秒内发生，逐帧检测会较大程度影响溢料检测的实时性，可以采用隔帧检测的方式，每隔帧检测一次。为避免溢料检测结果存在较大的滞后性，通常在内取值，为当前视频流的帧率。采用的计算设备性能
越高，取值可以越小，检测的实时性越高。本实施例中的程序在windows的x86架构cpu上运行，。
70.在卸料过程中，料斗检测模型每隔帧检测一次，用于判定当前车辆是否卸料完成，准备离开。当时刻检测到料斗中心横坐标时，判定为车辆准备离开，当连续帧（fps为帧率）均为离开状态则判定为车辆离开，当前溢料检测结束，开启下一轮检测过程。
71.本发明中使用的旋转目标检测方法和关键点检测方法可用其他传统图像处理方法（边缘检测、图像滤波、形态学处理等）或其他目标检测、识别、分割、跟踪等方法代替。
72.本发明中的目标检测方法均为基于单帧图像的识别方法，也可以采用基于视频的识别方法，如视频理解、视频分类等代替。
73.本发明仅使用单个摄像头实现整个识别过程，也可以增加摄像头数量，从多个安装位置拍摄不同视角的图像，基于多路视频流进行识别。
74.通过三种不同类型的深度学习模型对不同的目标进行识别，针对不同的场景和目标特征选用不同的方法，保证本发明在实际使用时的有效性和稳定性。
75.实施例2如图7所示，本发明实施例2提供了一种基于视频识别的搅拌站智能卸料系统，用于实施例1所述的一种基于视频识别的搅拌站智能卸料方法，包括监控视频流获取模块、出料口检测模块、接料斗检测模块、可行域生成模块、溢料检测模块，监控视频流获取模块，用于识别现场画面中的相关目标，包括出料口区域、接料斗区域及接料斗内料位平面区域；出料口检测模块，用于识别出料口位置及中心坐标，作为倒车对齐判定中的基准点；接料斗检测模块，用于识别倒车及卸料过程中接料斗的区域及中心，根据接料斗中心及出料口中心之间的距离关系判断是否对齐；可行域生成模块，用于对不同尺寸的接料斗生成对应的倒车对齐误差范围；溢料检测模块，用于识别卸料过程中料位平面关键点与料斗平面关键点，计算关键点之间的距离关系判断当前料位状态。
76.实施例3本发明实施例3提供了一种基于视频识别的搅拌站智能卸料方法的控制设备，用于实施例1所述的一种基于视频识别的搅拌站智能卸料系统，包括计算设备和至少一个监控摄像头，计算设备，用于识别所述至少一个监控摄像头拍摄的现场画面。
77.根据真实的搅拌站工作场景及特点，选取合适的摄像头参数，确定摄像头的安装位置和安装角度，保证摄像头能够拍摄到较长一段距离的倒车画面和较为完整清晰的接料斗区域。
78.现场测量搅拌站及搅拌车的相关数据，确定摄像头的大致安装位置。具体包括出料口平面距地高度，出料口直径或边长，不同型号搅拌车的料斗平均直径，料斗平面平均距地高度，料斗平均深度，摄像头平面与搅拌站侧墙间的距离等。
79.根据测量数据及摄像头安装范围估算摄像头的工作距离，即摄像头与料斗平面中心点之间的距离。
80.一般来说，镜头焦距越短，相同工作距离内能够拍摄的视野范围越大，但画面中呈现的物体的畸变程度越大，即越靠近画面边缘的物体其形变（边缘弯曲）越明显。当畸变区域面积大于图像总面积的10%时，对于倒车过程中的料斗检测和后续的溢料检测会有较大影响。焦距为6mm的镜头对应的工作距离为5-10m，可以充分容纳上述估算距离。同时相较于4mm焦距镜头，其能够满足对于画面的畸变程度的要求，也能够拍摄到更长的搅拌站范围，对于料斗内部区域拍摄也更加清晰。同时，搅拌站内的监控场景相对单一，但空间相对有限，摄像头周围光照较差。在倒车过程中会进一步阻挡进光量，造成较为昏暗的环境。所以应选择较小的镜头光圈f值，f值越小对应的光圈越大，进光量也越大，成像效果越好。传感器靶面尺寸选择监控摄像头常用的，增大进光量的同时保证成像质量。
81.摄像头安装完成后开始拍摄现场视频，设置摄像头拍摄参数，如亮度、对比度，分辨率，码率，动态范围等，保证拍摄到的目标清晰可见。

技术特征：
1.一种基于视频识别的搅拌站智能卸料方法，其特征在于，包括：出料口检测：采用目标检测识别画面出料口位置，记录区域坐标和中心坐标；接料斗检测：检测画面中的接料斗区域，当接料斗中心落入可行域范围内，则判定当前车辆为对齐状态，若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测；溢料检测：判断当前料位状态为正常、即将溢料或正在溢料，当料位处于即将溢料或正在溢料状态时，控制系统发出警报，并控制出料口开度。2.根据权利要求1所述的基于视频识别的搅拌站智能卸料方法，其特征在于，所述接料斗检测，具体包括如下步骤：步骤b1、实时拍摄现场画面，检测画面中的料斗区域；步骤b2、旋转目标检测模型检测画面中的接料斗区域，当接料斗中心与出料口中心之间的水平距离小于某预设阈值时，计算接料斗直径与出料口直径之间的比例关系，作为可行域范围的调整权重；步骤b3、给定可行域范围的初始值len，通过实时计算接料斗直径与出料口直径的比例，确定最终的可行域范围len
f = len；步骤b4、当接料斗中心落入可行域范围内，则判定当前车辆为对齐状态；步骤b5、若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测。3.根据权利要求2所述的基于视频识别的搅拌站智能卸料方法，其特征在于，所述可行域范围生成条件，具体如下：当料斗检测模型检测到料斗出现时，开始拟合料斗边缘并计算中心点，与出料口中心的水平距离，为料斗中心横坐标，为出料口中心横坐标，当与图像宽度满足如下关系时开始生成可行域：其中，为预设的经验比例值。4.根据权利要求1所述的基于视频识别的搅拌站智能卸料方法，其特征在于：所述出料口检测，具体包括如下步骤：步骤a1、实时拍摄现场画面，得到出料口检测数据集；步骤a2、在预训练模型的基础上替换新的出料口数据集继续训练，最终得到目标出料口检测模型；步骤a3、实时拍摄现场画面，得到接料斗检测数据集；步骤a4、通过在水平框目标检测模型的检测头部加入角度回归分支，将0-179
°
的角度作为180个类别进行分类，使模型能够预测目标框在0-179
°
范围内的旋转角度；步骤a5、在接料斗数据集上训练旋转目标检测模型，得到接料斗检测模型；步骤a6、的预测结果中包括旋转框的四个角点坐标及其置信度，通过预先设定的目标置信度阈值及iou阈值对预测结果进行过滤，得到置信度最高的目标框作为预测结果；步骤a6、提取过滤后的四个角点坐标，采用椭圆拟合算法拟合出接料斗的边缘形状，计
算椭圆中心及椭圆长轴长度。5.根据权利要求1所述的基于视频识别的搅拌站智能卸料方法，其特征在于，所述溢料检测，具体包括如下步骤：步骤c1、将接料斗边缘与接料斗挡料板的两个交点作为接料斗平面上的两个关键点，，将接料斗内料位平面的中心点作为料位平面的关键点，采用关键点检测模型实时检测上述三个关键点；步骤c2、通过计算与、之间的距离关系，判断当前料位状态为正常、即将溢料或正在溢料；步骤c3、当料位处于即将溢料或正在溢料状态时，控制系统发出警报，并控制出料口开度。6.根据权利要求5所述的基于视频识别的搅拌站智能卸料方法，其特征在于，所述采用关键点检测模型实时检测上述三个关键点，具体包括如下步骤：步骤c11、关键点评价指标采用oks（关键点相似度），计算公式如下：步骤c11、关键点评价指标采用oks（关键点相似度），计算公式如下：表示第个目标的oks，表示当前目标第个关键点预测位置和真实位置间的欧氏距离，表示当前目标第个关键点的权重，表示第个目标的尺度：个目标的尺度：表示第个目标预测框面积，表示第个目标图像面积；表示当前目标第个关键点是否可见，整体关键点损失为所有关键点oks损失之和：失之和：为关键点数量；步骤c12 、在溢料检测数据集上训练关键点检测模型，得到最终的溢料检测模型；步骤c13、溢料检测模型输出三个关键点的坐标值，料斗平面关键点，，料位平面关键点。7.根据权利要求5所述的基于视频识别的搅拌站智能卸料方法，其特征在于：所述判断当前料位状态，具体包括如下步骤：步骤c21、连接所述料斗平面关键点和得到料斗平面上一直线的方程：
过点的直线的法线方程记作，点所在的水平直线方程记作，与的交点记作，表示0料位时的料位点；步骤c22 、判断点与的关系，若在上方，即：表明此时的料位平面超过料斗平面，发生溢料；否则，计算时刻料位平面上升的相对距离；步骤c23、分别计算点到的距离，点到的距离，则时刻料位平面上升的相对距离为：；步骤c24、根据，判断料位状态：。8.根据权利要求4所述的基于视频识别的搅拌站智能卸料方法，其特征在于：所述接料斗检测数据集具体通过如下方法得到：对原始视频进行解码，对解码后的视频截取包含接料斗区域的视频片段，对截取的视频片段进行拆帧，对拆帧后的图像进行数据清洗，去除冗余图像，对清洗后的图像数据标注接料斗位置，将标注完的数据按照7:1:2的比例关系划分为训练集、验证集和测试集，得到接料斗检测数据集。9.一种用于权利要求1-8任一项所述的基于视频识别的搅拌站智能卸料方法的系统，其特征在于：包括监控视频流获取模块、出料口检测模块、接料斗检测模块、可行域生成模块、溢料检测模块，监控视频流获取模块，用于识别现场画面中的相关目标，包括出料口区域、接料斗区域及接料斗内料位平面区域；出料口检测模块，用于识别出料口位置及中心坐标，作为倒车对齐判定中的基准点；接料斗检测模块，用于识别倒车及卸料过程中接料斗的区域及中心，根据接料斗中心及出料口中心之间的距离关系判断是否对齐；可行域生成模块，用于对不同尺寸的接料斗生成对应的倒车对齐误差范围；溢料检测模块，用于识别卸料过程中料位平面关键点与料斗平面关键点，计算关键点之间的距离关系判断当前料位状态。10.一种用于权利要求9所述的基于视频识别的搅拌站智能卸料系统的控制设备，其特征在于：包括计算设备和至少一个监控摄像头，计算设备，用于识别所述至少一个监控摄像头拍摄的现场画面。

技术总结
本发明涉及一种基于视频识别的搅拌站智能卸料方法、系统及控制设备，属于搅拌站智能卸料技术领域；卸料方法，包括：出料口检测：采用目标检测识别画面出料口位置，记录区域坐标和中心坐标；接料斗检测：检测画面中的接料斗区域，若对齐状态持续一段时间不再发生变化，则判定当前车辆处于对齐且停稳状态，此时控制系统结束对齐检测，开始进入溢料检测；溢料检测：判断当前料位状态为正常、即将溢料或正在溢料，当料位处于即将溢料或正在溢料状态时，控制出料口开度；卸料系统，包括监控视频流获取模块、出料口检测模块、接料斗检测模块、可行域生成模块、溢料检测模块；控制设备，包括计算设备和至少一个监控摄像头。设备和至少一个监控摄像头。设备和至少一个监控摄像头。


技术研发人员：刘伟业 王祎超 曹书腾 徐维军 李海军 李歧强
受保护的技术使用者：山东博硕电子有限公司
技术研发日：2023.06.08
技术公布日：2023/7/22