一种基于视觉的船运水泥装卸货监控方法及系统与流程

1.本发明涉及水泥运输领域，尤其涉及一种基于视觉的船运水泥装卸货监控方法及系统。


背景技术：

2.水泥是一种常见的建筑材料，在建筑工程中起到至关重要的作用。随着基础设施建设的迅速发展，水泥工业的规模也在不断扩大，这对水泥运输业的发展提出了更高的要求。由于水泥具有易散性和易挥发性，确保水泥在运输和装卸过程中的质量和安全性是水泥企业的一项重要任务。其中，船运水泥在水泥物流运输中扮演着至关重要的角色。这是因为它可以在大量物料之间快速地运输水泥。传统的水泥装卸方式多依赖于人工监控，这不仅效率低下，而且存在安全隐患和偷换货等问题，导致运输成本增加。因此，采用先进的监控技术对船运水泥的装卸货过程进行监控和管理，是提高运输效率和安全性、降低运营成本、为水泥企业带来更多利益的必要措施。
3.目前一种方法是通过在溜筒的两侧上端安装一对溜筒监控摄像机来监控下料口是否位于船的船舱中间位置，以及在码头边安装两个立柱船舶监控摄像机来监控船舶的位置和状态，从而实现对船舶的水泥物料装卸的监控和自动控制，同时能够提供装卸效率、减少人为操作的安全风险。但这种方法只能对进港到岸的船舶有效，一旦船舶装卸完成后离港，就无法在运输过程中对其进行有效监管。另一种方法是通过在特定场地位置上安装摄像机来获取事件图像序列，把获取的事件图像序列分别用于目标检测和光流处理，得到对应的目标位置图像和光流信息图像；然后，把得到的目标位置图像和光流信息图像进行融合处理，得到融合图像；最后，把融合图像进行装卸货事件检测。这种方法安装场地固定，而不能在任意地点任意时刻进行实时检测。


技术实现要素：

4.本发明提供了一种基于视觉的船运水泥装卸货监控方法及系统，用于在船舶的运输过程中实时监控并且提高装卸效率和质量，同时预防在运输过程中偷卸货行为的发生。
5.本发明第一方面提供了一种基于视觉的船运水泥装卸货监控方法，所述基于视觉的船运水泥装卸货监控方法包括：分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过所述高清监控摄像头采集水泥装卸货管道信息，以及将所述水泥装卸货管道信息存储至预置的终端硬盘；获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集；对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检
测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台；获取用户输入的船舶id，并根据所述船舶id从所述服务器平台中查询所述第二水泥装卸货事件信息，以及对所述第二水泥装卸货事件信息进行可视化管理。
6.结合第一方面，在本发明第一方面的第一实施方式中，所述获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集，包括：获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据；通过预置的ffmpeg工具，对所述视频数据进行图像分帧，得到多个视频帧；对所述多个视频帧进行图像分类和图像筛选，得到装货事件图像和卸货事件图像；通过预置的labelme图像标注工具，对所述装货事件图像和所述卸货事件图像进行标注，得到标注数据集。
7.结合第一方面，在本发明第一方面的第二实施方式中，所述对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型，包括：对所述标注数据集进行翻转、旋转、色彩变换以及缩放，得到扩充数据集；将所述扩充数据集对预置的yolov5目标检测模型，其中，所述yolov5目标检测模型包括：骨干网络、颈部网络和头部网络；通过所述yolov5目标检测模型对所述扩充数据集进行预测，得到预测结果；基于所述预测结果，对所述yolov5目标检测模型进行参数调优，得到船舶水泥装卸货检测模型。
8.结合第一方面，在本发明第一方面的第三实施方式中，所述获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息，包括：获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型；通过所述船舶水泥装卸货检测模型中的骨干网络进行特征提取，得到特征图像数据；将所述特征图像数据输入所述船舶水泥装卸货检测模型中的颈部网络进行特征融合，得到特征融合数据；将所述特征融合数据输入所述船舶水泥装卸货检测模型中的头部网络进行水泥装卸货检测，输出第一水泥装卸货事件信息。
9.结合第一方面，在本发明第一方面的第四实施方式中，所述对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台，包括：当所述第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对
所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；当所述第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；将所述第二水泥装卸货事件信息上传至预置的服务器平台。
10.结合第一方面，在本发明第一方面的第五实施方式中，所述当所述第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，包括：当所述第一水泥装卸货事件信息为装货事件时，获取上料管道图像中的四个坐标点位置；获取上料管道在图像中的第一概率值，并根据预置的第一概率阈值对所述第一概率值进行初步筛选；通过所述坐标点位置中的、最远装料口坐标点和最近装料口坐标点进行距离计算，得到目标距离值；其中，所述目标距离值的计算公式为：；；；其中，表示所述坐标点位置中的和最远装料口坐标点之间的垂直距离，表示所述坐标点位置中的和最近装料口坐标点之间的垂直距离，表示目标距离值；对所述目标距离值与预设的距离阈值进行比较，当≤时，确定存在装货事件，并将所述装货事件输出为第二水泥装卸货事件信息。
11.结合第一方面，在本发明第一方面的第六实施方式中，所述当所述第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，包括：当所述第一水泥装卸货事件信息为卸货事件时，获取卸料管道图像中的四个坐标点位置；获取卸料管道在图像中的第二概率值，并根据预置的第二概率阈值对所述第二概率值进行初步筛选；在所述卸料管道图像中框定一个矩形框并设定四个矩形框坐标点，并根据所述四个矩形框坐标点计算矩形框的交并比，得到iou值；
其中，所述iou值的计算公式为：；；；；；；；；；其中，表示卸料管道在图像的四个坐标点所形成的矩形的宽度，表示卸料管道在图像的四个坐标点所形成的矩形的高度，表示设定四个矩形框坐标点所形成的矩形的宽度，表示设定四个矩形框坐标点所形成的矩形的高度，表示两个矩形框相交所形成的矩形的最小横坐标值，表示两个矩形框相交所形成的矩形的最小纵坐标值，表示两个矩形框相交所形成的矩形的最大横坐标值，表示两个矩形框相交所形成的矩形的最大纵坐标值，表示两个矩形框相交所形成的矩形的面积，表示两个矩形框的面积减去相交的矩形框的面积；对所述iou值与预设的iou阈值进行比较，当iou≥时，确定存在卸货事件，并将所述卸货事件输出为第二水泥装卸货事件信息。
12.本发明第二方面提供了一种基于视觉的船运水泥装卸货监控系统，所述基于视觉的船运水泥装卸货监控系统包括：采集模块，用于分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过所述高清监控摄像头采集水泥装卸货管道信息，以及将所述水泥装卸货管道信息存储至预置的终端硬盘；标注模块，用于获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集；训练模块，用于对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；检测模块，用于获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；判定模块，用于对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台；查询模块，用于获取用户输入的船舶id，并根据所述船舶id从所述服务器平台中查询所述第二水泥装卸货事件信息，以及对所述第二水泥装卸货事件信息进行可视化管
等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
18.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于视觉的船运水泥装卸货监控方法的一个实施例包括：s101、分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过高清监控摄像头采集水泥装卸货管道信息，以及将水泥装卸货管道信息存储至预置的终端硬盘；可以理解的是，本发明的执行主体可以为基于视觉的船运水泥装卸货监控系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
19.需要说明的是，本实施例采用高清监控摄像头、gps、无线通讯模块等技术，实现对船运水泥的装卸货过程进行监测，通过物联网技术实现数据的采集、传输、处理及展示，实现了船运水泥装卸货的实时监测。本实施例由监控模块、数据处理模块和数据展示模块组成。监控模块包括两个高清监控摄像头、gps和无线通讯模块，用于采集船运水泥装卸货过程的图像、位置和状态信息；数据处理模块包括终端主机、yolov5目标检测模型、二次判定规则和网络传输模块，用于对采集的数据进行处理和分析，并将结果通过网络传输至数据展示模块；数据展示模块包括服务平台和用户界面，用于展示实时数据、历史数据和船舶信息等。
20.具体的，服务器进行设备安装，把终端主机安装在驾驶舱内，连接上驾驶舱中的电源；在船舶的船头驾驶舱的外壳上安装两个高清监控摄像头，分别把摄像头对准船舶水泥的装料口和卸料口并与终端主机相连；把gps线和信号接收线安装在驾驶舱外壳表面，与终端主机相连；把sim卡插入到终端主机，与服务平台联网进行相关信息绑定，这样便于两者之间通过网络进行信息传输。
21.s102、获取水泥装卸货时间，根据水泥装卸货时间从终端硬盘中提取视频数据，并对视频数据进行图像分帧以及信息标注，得到标注数据集；具体的，服务器获取水泥装卸货时间，根据水泥装卸货时间从终端硬盘中提取视频数据；服务器通过预置的ffmpeg工具，对视频数据进行图像分帧，得到多个视频帧；服务器对多个视频帧进行图像分类和图像筛选，得到装货事件图像和卸货事件图像；服务器通过预置的labelme图像标注工具，对装货事件图像和卸货事件图像进行标注，得到标注数据集。
22.s103、对标注数据集进行数据扩增，得到扩充数据集，并基于扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；需要说明的是，服务器对标注数据集进行翻转、旋转、色彩变换以及缩放，得到扩充数据集；服务器将扩充数据集对预置的yolov5目标检测模型，其中，yolov5目标检测模型包括：骨干网络、颈部网络和头部网络；服务器通过yolov5目标检测模型对扩充数据集进行
预测，得到预测结果；服务器基于预测结果，对yolov5目标检测模型进行参数调优，得到船舶水泥装卸货检测模型。
23.s104、获取待检测的目标图像数据，并将目标图像数据输入船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；具体的，服务器获取待检测的目标图像数据，并将目标图像数据输入船舶水泥装卸货检测模型；服务器通过船舶水泥装卸货检测模型中的骨干网络进行特征提取，得到特征图像数据；服务器将特征图像数据输入船舶水泥装卸货检测模型中的颈部网络进行特征融合，得到特征融合数据；服务器将特征融合数据输入船舶水泥装卸货检测模型中的头部网络进行水泥装卸货检测，输出第一水泥装卸货事件信息。
24.s105、对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将第二水泥装卸货事件信息上传至预置的服务器平台；具体的，服务器当第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；服务器当第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；服务器将第二水泥装卸货事件信息上传至预置的服务器平台。
25.s106、获取用户输入的船舶id，并根据船舶id从服务器平台中查询第二水泥装卸货事件信息，以及对第二水泥装卸货事件信息进行可视化管理。
26.具体的，用户查询。用户可以通过网站或应用程序输入想要查询的船舶id，服务平台会根据输入的id信息，从数据库中查询相应的船舶信息，包括船舶的装卸货画面、现场实时画面、船舶航行轨迹、历史画面等。查询结果将以图像或文字形式呈现给用户，用户可以随时随地的查看船舶的相关信息。同时，服务平台还提供了船舶状态监控、报警等功能，能够在船舶出现异常情况时及时通知用户并进行处理。为了保证用户信息的安全性，服务平台会对用户信息进行加密处理，并采用安全传输协议，确保用户的隐私不被泄露。
27.本实施例通过在船舶的船头驾驶舱的外壳上安装两个高清监控摄像头，分别对准船运水泥的装料口和卸料口，用于采集水泥装卸货过程中的图像数据；把摄像头采集到的水泥装卸货管道信息存储在终端硬盘中，对硬盘视频数据进行提取，转换成图像格式。对图像进行筛选、清洗和分析，保留存在装卸货事件的图像。使用专业的图像标注工具对图像进行标定，框定出包含水泥装卸货的管道，得到标定数据；将标定数据输入到yolov5模型中，对模型yolov5进行训练；将训练好的模型部署到摄像头主机终端设备中，终端设备实时获取摄像头端数据，然后输入到模型中对水泥装卸货事件检测并进行二次判定规则计算后把事件结果信息上传到服务器平台；用户打开平台网站，搜索船舶id，平台根据船舶id显示该船舶的水泥装卸货事件以及对应的图像等信息。用户可以随时随地的查看船舶的水泥装卸货事件、装卸货时间、船舶航行轨迹、船舶的实时画面以及船舶的详细信息等，能够更好的对船舶进行监控，提高水泥的运输效率和安全性，防止运输过程中偷换货事件的发生。
28.本发明实施例中，采集水泥装卸货管道信息；提取视频数据并进行图像分帧以及信息标注，得到标注数据集；进行数据扩增，得到扩充数据集并对yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；将待检测的目标图像数据输入船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；对第一水泥装卸货事件信
息进行二次判定，得到第二水泥装卸货事件信息，并获取用户输入的船舶id查询第二水泥装卸货事件信息，本发明通过在船舶的船头驾驶舱的外壳上安装监控摄像头，对船舶的装卸料口的图像信息进行建模，计算当前时刻船舶的水泥装卸货事件，其计算结果可以实时显示，避免了在船舶的运输过程中无法实时监控的问题。同时，还能提高装卸效率和质量，并能够预防在运输过程中偷卸货行为的发生。利用视觉传感器和计算机视觉技术来实现对水泥装卸过程的实时监控。提高了装卸效率和质量，同时也可以预防在运输过程中发生偷卸货行为。本发明可以随时随地进行实时检测，不受场地的限制，能够对进出港的船舶都进行有效监管。
29.在一具体实施例中，执行步骤s102的过程可以具体包括如下步骤：（1）获取水泥装卸货时间，根据水泥装卸货时间从终端硬盘中提取视频数据；（2）通过预置的ffmpeg工具，对视频数据进行图像分帧，得到多个视频帧；（3）对多个视频帧进行图像分类和图像筛选，得到装货事件图像和卸货事件图像；（4）通过预置的labelme图像标注工具，对装货事件图像和卸货事件图像进行标注，得到标注数据集。
30.具体的，服务器采集水泥装卸货标注数据，根据水泥装卸货时间，把监控摄像头采集的视频数据从终端主机硬盘中提取出来。首先，使用ffmpeg工具对视频数据进行提取，分解成一帧一帧的图像数据；然后，对得到的图像数据进行处理，处理后的图像数据包括无事件图像、装货事件图像和卸货事件图像；最后，使用labelme图像标注工具对图像进行人工标注，对图像中包含装卸货事件的使用矩形框标注出事件目标的位置和事件目标所属的类别。本发明的目的是要监控船运水泥的装卸货，故需要标注的是水泥上料管道和水泥卸料管道，如图7和图8所示，图7为监控装料口摄像头安装示意图，图8为监控卸料口摄像头安装示意图。
31.在一具体实施例中，如图2所示，执行步骤s103的过程可以具体包括如下步骤：s201、对标注数据集进行翻转、旋转、色彩变换以及缩放，得到扩充数据集；s202、将扩充数据集对预置的yolov5目标检测模型，其中，yolov5目标检测模型包括：骨干网络、颈部网络和头部网络；s203、通过yolov5目标检测模型对扩充数据集进行预测，得到预测结果；s204、基于预测结果，对yolov5目标检测模型进行参数调优，得到船舶水泥装卸货检测模型。
32.具体的，服务器基于标注数据进行模型训练。在本实施例中，需要使用机器学习的方法对图像进行处理，以便实现对船运水泥装卸货的检测。在进行模型训练前，需要对图像数据进行数据扩增，以解决数据量少、重复性强的问题，从而提高模型的鲁棒性和准确率。使用的方法包括翻转、旋转、色彩变换、缩放等。图像数据扩充后，使用yolov5目标检测模型进行训练。yolov5是一种目标检测算法，它的核心思想是将目标检测任务视为一个回归问题，通过对图像中的每个像素点进行多通道的特征提取，并将其映射到目标检测结果上，最终得到目标的位置、类别等信息。yolov5目标检测模型包括三部分，即骨干网络（进行特征提取）、颈部网络（进行特征融合）和头部网络（检测结果输出），具体如图9所示，图9为yolov5目标检测模型训练结构框图。本实施例在模型训练之前，对标定图像数据进行了数据扩充处理，在保证了不影响目标事件的前提下，增加了图像数据的多样性，从而丰富了输
入图像数据的特征，更好地提高了模型的鲁棒性和泛化能力。这样可以更好地满足实际需求，提高水泥装卸货事件检测的准确率和可靠性。
33.在一具体实施例中，如图3所示，执行步骤s104的过程可以具体包括如下步骤：s301、获取待检测的目标图像数据，并将目标图像数据输入船舶水泥装卸货检测模型；s302、通过船舶水泥装卸货检测模型中的骨干网络进行特征提取，得到特征图像数据；s303、将特征图像数据输入船舶水泥装卸货检测模型中的颈部网络进行特征融合，得到特征融合数据；s304、将特征融合数据输入船舶水泥装卸货检测模型中的头部网络进行水泥装卸货检测，输出第一水泥装卸货事件信息。
34.具体的，服务器获取待检测的目标图像数据，并将目标图像数据输入船舶水泥装卸货检测模型；服务器通过船舶水泥装卸货检测模型中的骨干网络进行特征提取，得到特征图像数据；服务器将特征图像数据输入船舶水泥装卸货检测模型中的颈部网络进行特征融合，得到特征融合数据；服务器将特征融合数据输入船舶水泥装卸货检测模型中的头部网络进行水泥装卸货检测，输出第一水泥装卸货事件信息。
35.在一具体实施例中，如图4所示，执行步骤s105的过程可以具体包括如下步骤：s401、当第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；s402、当第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；s403、将第二水泥装卸货事件信息上传至预置的服务器平台。
36.具体的，服务器船运水泥装卸货事件检测。首先，将训练好的yolov5模型部署到终端主机中。其次，终端主机获取摄像头端图像数据，并将图像数据输入到部署好的模型中，计算得到初步的第一水泥装卸货事件信息，包括目标的坐标位置和类别信息。再次，根据目标的坐标位置、类别和概率进行二次判定，二次判定规则采用先验知识和经验法则相结合的方法，通过多次实验调试得到，可有效减少模型的误判率。
37.在一具体实施例中，执行步骤s401的过程可以具体包括如下步骤：（1）当第一水泥装卸货事件信息为装货事件时，获取上料管道图像中的四个坐标点位置；（2）获取上料管道在图像中的第一概率值，并根据预置的第一概率阈值对第一概率值进行初步筛选；（3）通过坐标点位置中的、最远装料口坐标点和最近装料口坐标点进行距离计算，得到目标距离值；其中，目标距离值的计算公式为：；
；；其中，表示所述坐标点位置中的和最远装料口坐标点之间的垂直距离，表示所述坐标点位置中的和最近装料口坐标点之间的垂直距离，表示目标距离值；（4）对目标距离值与预设的距离阈值进行比较，当≤时，确定存在装货事件，并将装货事件输出为第二水泥装卸货事件信息。
38.具体的，当初步检测到的事件为装货事件时，会得到上料管道在图像中的四个坐标点位置，从左到右，从上到下为以及对应的概率；设定第一概率阈值，根据事件的概率初步筛选掉低于第一概率阈值的事件；然后，把事件在图像中最下面的两个坐标点与船舶在图像中出现的最远装料口坐标点和最近装料口坐标点进行距离计算，其平均距离计算公式为：；；；其中，表示所述坐标点位置中的和最远装料口坐标点之间的垂直距离，表示所述坐标点位置中的和最近装料口坐标点之间的垂直距离，表示目标距离值；最后，设定距离阈值，当≤时，则表明存在装货事件，并将装货事件输出为第二水泥装卸货事件信息。
39.在一具体实施例中，执行步骤s402的过程可以具体包括如下步骤：（1）当第一水泥装卸货事件信息为卸货事件时，获取卸料管道图像中的四个坐标点位置；（2）获取卸料管道在图像中的第二概率值，并根据预置的第二概率阈值对第二概率值进行初步筛选；（3）在卸料管道图像中框定一个矩形框并设定四个矩形框坐标点，并根据四个矩形框坐标点计算矩形框的交并比，得到iou值；
其中，iou值的计算公式为：；；；；；；；；；其中，表示卸料管道在图像的四个坐标点所形成的矩形的宽度，表示卸料管道在图像的四个坐标点所形成的矩形的高度，表示设定四个矩形框坐标点所形成的矩形的宽度，表示设定四个矩形框坐标点所形成的矩形的高度，表示两个矩形框相交所形成的矩形的最小横坐标值，表示两个矩形框相交所形成的矩形的最小纵坐标值，表示两个矩形框相交所形成的矩形的最大横坐标值，表示两个矩形框相交所形成的矩形的最大纵坐标值，表示两个矩形框相交所形成的矩形的面积，表示两个矩形框的面积减去相交的矩形框的面积；（4）对iou值与预设的iou阈值进行比较，当iou≥时，确定存在卸货事件，并将卸货事件输出为第二水泥装卸货事件信息。
40.具体的，当初步检测到的事件为卸货事件时，与上面一样也会得到四个坐标点位置，从左到右，从上到下为以及对应的概率；设定第二概率阈值，根据事件的概率初步筛选掉低于第二概率阈值的事件；然后，在卸料口的摄像头图像画面中框定出一个矩形框，设定好四个坐标点，计算初步检测到的四个坐标点组成的矩形框与设定的矩形框之间的交并比，即iou（intersetionover union）值，其计算公式为：；；；；；；
；；；其中，表示卸料管道在图像的四个坐标点所形成的矩形的宽度，表示卸料管道在图像的四个坐标点所形成的矩形的高度，表示设定四个矩形框坐标点所形成的矩形的宽度，表示设定四个矩形框坐标点所形成的矩形的高度，表示两个矩形框相交所形成的矩形的最小横坐标值，表示两个矩形框相交所形成的矩形的最小纵坐标值，表示两个矩形框相交所形成的矩形的最大横坐标值，表示两个矩形框相交所形成的矩形的最大纵坐标值，表示两个矩形框相交所形成的矩形的面积，表示两个矩形框的面积减去相交的矩形框的面积；最后，设定iou阈值，当iou≥时，则表明存在卸货事件。
41.在获取到水泥装卸货事件信息后，终端主机会将相关信息通过网络发送到服务器平台上进行存储和显示。
42.上面对本发明实施例中基于视觉的船运水泥装卸货监控方法进行了描述，下面对本发明实施例中基于视觉的船运水泥装卸货监控系统进行描述，请参阅图5，本发明实施例中基于视觉的船运水泥装卸货监控系统一个实施例包括：采集模块501，用于分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过所述高清监控摄像头采集水泥装卸货管道信息，以及将所述水泥装卸货管道信息存储至预置的终端硬盘；标注模块502，用于获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集；训练模块503，用于对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；检测模块504，用于获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；判定模块505，用于对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台；查询模块506，用于获取用户输入的船舶id，并根据所述船舶id从所述服务器平台中查询所述第二水泥装卸货事件信息，以及对所述第二水泥装卸货事件信息进行可视化管理。
43.通过上述各个组成部分的协同合作，采集水泥装卸货管道信息；提取视频数据并进行图像分帧以及信息标注，得到标注数据集；进行数据扩增，得到扩充数据集并对yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；将待检测的目标图像数据输入船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并获取用户输入的船
舶id查询第二水泥装卸货事件信息，本发明通过在船舶的船头驾驶舱的外壳上安装监控摄像头，对船舶的装卸料口的图像信息进行建模，计算当前时刻船舶的水泥装卸货事件，其计算结果可以实时显示，避免了在船舶的运输过程中无法实时监控的问题。同时，还能提高装卸效率和质量，并能够预防在运输过程中偷卸货行为的发生。利用视觉传感器和计算机视觉技术来实现对水泥装卸过程的实时监控。提高了装卸效率和质量，同时也可以预防在运输过程中发生偷卸货行为。本发明可以随时随地进行实时检测，不受场地的限制，能够对进出港的船舶都进行有效监管。
44.上面图5从模块化功能实体的角度对本发明实施例中的基于视觉的船运水泥装卸货监控系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于视觉的船运水泥装卸货监控设备进行详细描述。
45.图6是本发明实施例提供的一种基于视觉的船运水泥装卸货监控设备的结构示意图，该基于视觉的船运水泥装卸货监控设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，cpu）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于视觉的船运水泥装卸货监控设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于视觉的船运水泥装卸货监控设备600上执行存储介质630中的一系列指令操作。
46.基于视觉的船运水泥装卸货监控设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，macos x，unix，linux，freebsd等等。本领域技术人员可以理解，图6示出的基于视觉的船运水泥装卸货监控设备结构并不构成对基于视觉的船运水泥装卸货监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
47.本发明还提供一种基于视觉的船运水泥装卸货监控设备，所述基于视觉的船运水泥装卸货监控设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于视觉的船运水泥装卸货监控方法的步骤。
48.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于视觉的船运水泥装卸货监控方法的步骤。
49.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
50.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机
设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory， rom）、随机存取存储器（randomacces memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
51.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于视觉的船运水泥装卸货监控方法，其特征在于，所述基于视觉的船运水泥装卸货监控方法包括：分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过所述高清监控摄像头采集水泥装卸货管道信息，以及将所述水泥装卸货管道信息存储至预置的终端硬盘；获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集；对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台；获取用户输入的船舶id，并根据所述船舶id从所述服务器平台中查询所述第二水泥装卸货事件信息，以及对所述第二水泥装卸货事件信息进行可视化管理。2.根据权利要求1所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集，包括：获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据；通过预置的ffmpeg工具，对所述视频数据进行图像分帧，得到多个视频帧；对所述多个视频帧进行图像分类和图像筛选，得到装货事件图像和卸货事件图像；通过预置的labelme图像标注工具，对所述装货事件图像和所述卸货事件图像进行标注，得到标注数据集。3.根据权利要求1所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型，包括：对所述标注数据集进行翻转、旋转、色彩变换以及缩放，得到扩充数据集；将所述扩充数据集对预置的yolov5目标检测模型，其中，所述yolov5目标检测模型包括：骨干网络、颈部网络和头部网络；通过所述yolov5目标检测模型对所述扩充数据集进行预测，得到预测结果；基于所述预测结果，对所述yolov5目标检测模型进行参数调优，得到船舶水泥装卸货检测模型。4.根据权利要求1所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息，包括：获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型；通过所述船舶水泥装卸货检测模型中的骨干网络进行特征提取，得到特征图像数据；将所述特征图像数据输入所述船舶水泥装卸货检测模型中的颈部网络进行特征融合，
得到特征融合数据；将所述特征融合数据输入所述船舶水泥装卸货检测模型中的头部网络进行水泥装卸货检测，输出第一水泥装卸货事件信息。5.根据权利要求1所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台，包括：当所述第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；当所述第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息；将所述第二水泥装卸货事件信息上传至预置的服务器平台。6.根据权利要求5所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述当所述第一水泥装卸货事件信息为装货事件时，基于预设的装货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，包括：当所述第一水泥装卸货事件信息为装货事件时，获取上料管道图像中的四个坐标点位置；获取上料管道在图像中第一概率值，并根据预置的第一概率阈值对所述第一概率值进行初步筛选；通过所述坐标点位置中的、最远装料口坐标点和最近装料口坐标点进行距离计算，得到目标距离值；其中，所述目标距离值的计算公式为：；；；其中，表示所述坐标点位置中的和最远装料口坐标点之间的垂直距离，表示所述坐标点位置中的和最近装料口坐标点之间的垂直距离，表示目标距离值；对所述目标距离值与预设的距离阈值进行比较，当≤时，确定存在装货事件，并将所述装货事件输出为第二水泥装卸货事件信息。7.根据权利要求5所述的基于视觉的船运水泥装卸货监控方法，其特征在于，所述当所述第一水泥装卸货事件信息为卸货事件时，基于预设的卸货事件判定规则对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，包括：当所述第一水泥装卸货事件信息为卸货事件时，获取卸料管道图像中的四个坐标点位
置；获取卸料管道在图像中的第二概率值，并根据预置的第二概率阈值对所述第二概率值进行初步筛选；在所述卸料管道图像中框定一个矩形框并设定四个矩形框坐标点，并根据所述四个矩形框坐标点计算矩形框的交并比，得到iou值；其中，所述iou值的计算公式为：；；；；；；；；；其中，表示卸料管道在图像的四个坐标点所形成的矩形的宽度，表示卸料管道在图像的四个坐标点所形成的矩形的高度，表示设定四个矩形框坐标点所形成的矩形的宽度，表示设定四个矩形框坐标点所形成的矩形的高度，表示两个矩形框相交所形成的矩形的最小横坐标值，表示两个矩形框相交所形成的矩形的最小纵坐标值，表示两个矩形框相交所形成的矩形的最大横坐标值，表示两个矩形框相交所形成的矩形的最大纵坐标值，表示两个矩形框相交所形成的矩形的面积，表示两个矩形框的面积减去相交的矩形框的面积；对所述iou值与预设的iou阈值进行比较，当iou≥时，确定存在卸货事件，并将所述卸货事件输出为第二水泥装卸货事件信息。8.一种基于视觉的船运水泥装卸货监控系统，其特征在于，所述基于视觉的船运水泥装卸货监控系统包括：采集模块，用于分别在目标船舶的水泥装料口和水泥卸料口安装高清监控摄像头，并通过所述高清监控摄像头采集水泥装卸货管道信息，以及将所述水泥装卸货管道信息存储至预置的终端硬盘；标注模块，用于获取水泥装卸货时间，根据所述水泥装卸货时间从所述终端硬盘中提取视频数据，并对所述视频数据进行图像分帧以及信息标注，得到标注数据集；
训练模块，用于对所述标注数据集进行数据扩增，得到扩充数据集，并基于所述扩充数据集对预置的yolov5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；检测模块，用于获取待检测的目标图像数据，并将所述目标图像数据输入所述船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；判定模块，用于对所述第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并将所述第二水泥装卸货事件信息上传至预置的服务器平台；查询模块，用于获取用户输入的船舶id，并根据所述船舶id从所述服务器平台中查询所述第二水泥装卸货事件信息，以及对所述第二水泥装卸货事件信息进行可视化管理。9.一种基于视觉的船运水泥装卸货监控设备，其特征在于，所述基于视觉的船运水泥装卸货监控设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于视觉的船运水泥装卸货监控设备执行如权利要求1-7中任一项所述的基于视觉的船运水泥装卸货监控方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于视觉的船运水泥装卸货监控方法。

技术总结
本发明涉及水泥运输领域，公开了一种基于视觉的船运水泥装卸货监控方法及系统，用于在船舶的运输过程中实时监控并且提高装卸效率和质量，同时预防在运输过程中偷卸货行为的发生。方法包括：采集水泥装卸货管道信息；提取视频数据并进行图像分帧以及信息标注，得到标注数据集；进行数据扩增，得到扩充数据集并对YOLOV5目标检测模型进行模型训练，得到船舶水泥装卸货检测模型；将待检测的目标图像数据输入船舶水泥装卸货检测模型进行水泥装卸货检测，得到第一水泥装卸货事件信息；对第一水泥装卸货事件信息进行二次判定，得到第二水泥装卸货事件信息，并获取用户输入的船舶ID查询第二水泥装卸货事件信息。二水泥装卸货事件信息。二水泥装卸货事件信息。


技术研发人员：苗少光 刘阳 邓熊狮
受保护的技术使用者：深圳市汉德网络科技有限公司
技术研发日：2023.07.10
技术公布日：2023/8/9