船舶靠泊碰撞预警方法、系统及存储介质与流程

1.本发明涉及船舶靠泊技术领域，尤其涉及一种船舶靠泊碰撞预警方法、系统及存储介质。


背景技术：

2.随着全球海运量不断增长和船舶大型化、高速化发展，航道通航密度日益增大，海损事故频发，严重影响了码头装卸效率，也造成了一定的经济损失。而船舶在靠泊过程中，高大的船体影响操作船员的观测，船舶上层建筑或船舷易与岸上装卸设备碰撞，同时，超大重量船体的巨大惯性会带来操船延时。相关技术中，由于操作船员对于船舶状态以及周围空间方位把握的不准确，船舶自身与岸上设备容易发生碰撞，船舶靠泊碰撞事故频发。


技术实现要素：

3.为了解决上述技术问题的至少之一，本发明提出一种船舶靠泊碰撞预警方法、系统及存储介质，能够较为精确地预判船舶动向，实现对船舶靠泊的预警监测，有效减少船舶靠泊碰撞事故的发生。
4.一方面，本发明实施例提供了一种船舶靠泊碰撞预警方法，包括以下步骤：
5.获取船舶自动识别系统数据；
6.对所述船舶自动识别系统数据进行预处理，得到船舶预处理数据；
7.根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值；
8.将所述航速预测值和所述航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据；
9.将所述船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列；其中，根据所述船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建所述预设迭代块；
10.根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据；
11.将所述船舶坐标预测序列和所述视频目标图像数据进行融合，得到船舶预测轨迹图像；
12.根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。
13.根据本发明实施例的一种船舶靠泊碰撞预警方法，至少具有如下有益效果：本实施例首先获取船舶自动识别系统数据，并对船舶自动识别系统数据进行预处理，得到船舶预处理数据。接着，本实施例根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值。然后，本实施例将航速预测值和航向预测值输入船舶轨迹动力学方程模型进行求解得到船舶轨迹数据，并根据船舶动力学方程模型和双隐层径向基函数网络模型构建预设迭代块，以将船舶轨迹数据输入预设迭代块的方式迭代得到船舶坐标预测序列。本实施例通过对船舶轨迹以及船舶坐标进行预测，能够较为精确地预判船舶动向，从而能够预留充的时间对船舶进行调整，缓解船舶靠泊的碰撞问题。进一步地，本实施例根据船
舶雷达数据和视频监控数据进行融合得到视频目标图像数据，并通过将船舶坐标预测序列和视频目标图像数据进行融合的方式，得到船舶预测轨迹图像，从而根据吧预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息，实现对船舶靠泊的预警监测，有效减少船舶靠泊碰撞事故的发生。同时，本实施例通过将船舶雷达数据和视频监控数据进行融合，能够有效地识别船舶的位置动向，大大降低船舶靠泊过程中发生碰撞事故的概率。
14.根据本发明的一些实施例，所述对所述船舶自动识别系统数据进行预处理，包括：
15.根据所述船舶自动识别系统数据进行筛选，得到异常数据；其中，所述异常数据包括错误数据和缺失数据；
16.对所述异常数据进行分类，得到数据分类结果；
17.根据所述数据分类结果对所述错误数据进行剔除操作；
18.根据所述数据分类结果对所述缺失数据进行修复操作。
19.根据本发明的一些实施例，所述预设神经网络包括卷积层、池化层以及全连接层；
20.所述根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值，包括：
21.将所述船舶预处理数据输入所述卷积层进行第一处理，得到局部区域特征数据；
22.将所述局部区域特征数据输入所述池化层进行第二处理，得到特征映射数据；
23.将所述特征映射数据输入所述全连接层进行第三处理，得到所述航速预测值和所述航向预测值；其中，所述第三处理包括连接、组合以及运算。
24.根据本发明的一些实施例，所述根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据，包括：
25.根据所述船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据；
26.通过预设目标检测算法对所述视频监控数据进行识别，得到船舶目标；
27.根据所述船舶目标通过视频图像空间和地理空间映射关系，得到船舶位置数据；
28.根据所述船舶空间数据和所述船舶位置数据进行融合，得到所述视频目标图像数据。
29.根据本发明的一些实施例，所述根据所述船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据，包括：
30.根据所述船舶雷达数据通过树形数据结构构建得到点云簇；
31.根据欧氏距离算法将所述点云簇按照空间向量划分得到子集云簇；
32.计算所述子集云簇中第一云簇的各个云点与预设云点的距离，得到点距离数据；其中，所述预设云点包括所述第一云簇内的所述云点，以及与所述第一云簇相邻的第二云簇内的各个云点；
33.根据所述点距离数据对所述子集云簇中的所述云点进行聚类分析，得到聚类结果；
34.对所述聚类结果的几何中心进行估算，得到几何中心数据；
35.通过所述几何中心数据计算得到所述聚类结果的所述船舶空间数据。
36.根据本发明的一些实施例，所述根据所述船舶空间数据和所述船舶位置数据进行融合，得到所述视频目标图像数据，包括：
37.对所述船舶空间数据和所述船舶位置数据进行时间同步操作，得到时间同步数
据；
38.根据所述时间同步数据进行坐标系变换操作，得到预设坐标同步数据；其中，所述预设坐标同步数据包括船舶空间坐标同步数据和船舶位置坐标同步数据；
39.根据所述船舶空间坐标同步数据和所述船舶位置坐标同步数据进行关联匹配，得到所述视频目标图像数据。
40.根据本发明的一些实施例，所述根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息，包括：
41.根据碰撞时间构建船舶碰撞预警模型；
42.将所述船舶预测轨迹图像输入所述船舶碰撞预警模型进行预测，得到所述碰撞预警信息。
43.另一方面，本发明实施例还提供了一种船舶靠泊碰撞预警系统，包括：
44.获取模块，用于获取船舶自动识别系统数据；
45.预处理模块，用于对所述船舶自动识别系统数据进行预处理，得到船舶预处理数据；
46.预测模块，用于根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值；
47.解算模块，用于将所述航速预测值和所述航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据；
48.迭代模块，用于将所述船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列；其中，根据所述船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建所述预设迭代块；
49.第一融合模块，用于根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据；
50.第二融合模块，用于将所述船舶坐标预测序列和所述视频目标图像数据进行融合，得到船舶预测轨迹图像；
51.预警模块，用于根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。
52.另一方面，本发明实施例还提供了一种船舶靠泊碰撞预警系统，包括：
53.至少一个处理器；
54.至少一个存储器，用于存储至少一个程序；
55.当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如上述实施例所述的船舶靠泊碰撞预警方法。
56.另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如上述实施例所述的船舶靠泊碰撞预警方法。
附图说明
57.图1是本发明实施例提供的船舶靠泊碰撞预警方法流程图；
58.图2是本发明实施例提供的船舶靠泊碰撞预警系统原理框图；
59.图3是本发明实施例提供的预设迭代块原理框图。
具体实施方式
60.本技术实施例所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
61.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
62.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
63.在对本技术实施例进行介绍说明之前，首先对本技术中涉及的相关名词进行解释说明。
64.船舶自动识别系统(automatic identification system,简称ais系统)：由岸基(基站)设施和船载设备共同组成，是一种新型的集网络技术、现代通讯技术、计算机技术、电子信息显示技术为一体的数字助航系统和设备。
65.径向基函数网络(radial basis function network，缩写:rbf network)：是一种使用径向基函数作为激活函数的人工神经网络。径向基函数网络的输出是输入的径向基函数和神经元参数的线性组合。径向基函数网络具有多种用途，包括函数近似法、时间序列预测、分类和系统控制。
66.随着全球海运量不断增长和船舶大型化、高速化发展，航道通航密度日益增大，海损事故频发，严重影响了码头装卸效率，也造成了一定的经济损失。而船舶在靠泊过程中，高大的船体影响操作船员的观测，船舶上层建筑或船舷易与岸上装卸设备碰撞，同时，超大重量船体的巨大惯性会带来操船延时。相关技术中，由于操作船员对于船舶状态以及周围空间方位把握的不准确，船舶自身与岸上设备容易发生碰撞，船舶靠泊碰撞事故频发。
67.本发明的一个实施例提供了一种船舶靠泊碰撞预警方法、系统及存储介质，能够较为精确地预判船舶动向，实现对船舶靠泊的预警监测，有效减少船舶靠泊碰撞事故的发生。参照图1，本发明实施例的方法包括但不限于步骤s110、步骤s120、步骤s130、步骤s140、步骤s150、步骤s160、步骤s170和步骤s180。
68.具体地，本发明实施例的方法应用过程包括但不限于以下步骤：
69.s110：获取船舶自动识别系统数据。
70.s120：对船舶自动识别系统数据进行预处理，得到船舶预处理数据。
71.s130：根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值。
72.s140：将航速预测值和所述航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据。
73.s150：将船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列。其中，根据船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建预设迭代块。
74.s160：根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据。
75.s170：将船舶坐标预测序列和视频目标图像数据进行融合，得到船舶预测轨迹图像。
76.s180：根据船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。
77.在本具体实施例工作过程中，本实施例首先获取船舶自动识别系统数据。具体地，本实施例通过船舶自动识别(ais)系统自动识别船舶目标，获取船舶ais数据，即船舶自动识别系统数据。其中，本实施例中船舶自动识别系统数据包括船舶动态信息和静态信息，动态信息包括船舶的经度、纬度、对地航速、对地航向，静态信息包括识别编码、水上移动通信业务标识码、呼号、船名、船长、船宽、吨位、船舶类型。同时，本实施例通过串口服务器转发的从ais接收器接收的原始ais语句进行轨迹预测。本实施例先对船舶自动识别系统数据进行预处理，得到船舶预处理数据。例如，获取的船舶自动识别系统数据中可能存在损坏数据或者错误数据，本实施例通过对船舶ais数据进行预处理，从而提高数据的可靠性。接着，本实施例根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值。本实施例将船舶预处理数据输入预设神经网络以对下一时刻的船舶航速以及航向进行预测，得到相应的航速预测值和航向预测值。进一步地，本实施例通过将航速预测值以及航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据。具体地，本实施例中船舶轨迹动力学方程模型如下式(1)至(5)所示：
[0078][0079]
β＝4.635
×
10-6
ꢀꢀ
(4)
[0080][0081]
其中，式中l
on0
为经度初值，l
at0
为纬度初值。若已知航速函数speed(t)、航向函数course(t)及船舶初始经度l
on0
和初始纬度l
at0
,就可以计算任意时刻的船舶位置。
[0082]
进一步地，本实施例将船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列。具体地，参照图3，本实施例根据船舶轨迹动力学方程模型311和双隐层径向基函数网络模型312构建预设迭代块310。其中，本实施例中双隐层径向基函数网络模型312的公式如下式(6)至(8)所示：
[0083]
h1＝k(x；c，σ)
ꢀꢀ
(6)
[0084]
h2＝sigmoid(w2h1+b2)
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0085]
y＝w3h2十b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0086]
其中，式中x为由经度和纬度组成的向量，y为航速或航向，c为基函数的中心，σ为基函数的宽度；h1为第一隐层的输出值，h2为第二隐层的输出值，w2为第二隐层的权值，b2为第二隐层的偏值，w3为输出层的权值，b3为输出层的偏值，k()为基函数取高斯基函数,如下式(9)所示：
[0087]
[0088]
进一步地，本实施例根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据。具体地，本实施例中通过雷达子系统获取船舶雷达数据，其中包括毫米波雷达以及毫米波雷达的点云信号处理。同时，本实施例通过4k可见光和红外双光极低照度摄像头对码头警戒区域进行视频监控，得到视频监控数据，并在监控界面显示视频画面。然后，本实施例将船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据。接着，本实施例将船舶坐标预测序列和视频目标图像数据进行融合，得到船舶预测轨迹图像。本实施例将预测得到的船舶经纬度预测序列，即船舶坐标预测序列，和视频目标图像数据进行融合，得到船舶预测轨迹图像，将船舶轨迹与船舶空间图像进行结合，从而能够精确地预判船舶动向。进一步地，本实施例根据船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。本实施例通过融合了多源信息的船舶预测轨迹图像进行船舶碰撞预警，实现了对船舶靠泊的预警监测，有效减少了船舶靠泊碰撞事故的发生。
[0089]
需要说明的是，在本发明的一些实施例中，本实施例通过船舶显示报警子系统进行多源信息融合处理，以及碰撞预警和定向广播。同时，本实施例还通过船舶显示报警子系统进行声光报警，并且能够进行电子海图显示模块，卫星图片显示，ais船舶目标显示功能支持码头日常工作。
[0090]
在本发明的一些实施例中，对船舶自动识别系统数据进行预处理，包括但不限于：
[0091]
根据船舶自动识别系统数据进行筛选，得到异常数据。其中，异常数据包括错误数据和缺失数据。
[0092]
对异常数据进行分类，得到数据分类结果。
[0093]
根据数据分类结果对错误数据进行剔除操作。
[0094]
根据数据分类结果对缺失数据进行修复操作。
[0095]
在本具体实施例中，本实施例首先根据船舶自动识别系统数据进行筛选得到异常数据。然后，本实施例对异常数据进行分类得到数据分类结果，以根据数据分类结果对错误数据进行剔除操作，并根据数据分类结果对缺失数据进行修复操作，从而得到船舶预处理数据。具体地，本实施例中异常数据包括错误数据和缺失数据。本实施例将识别得到的异常数据分为错误状态和缺失状态，即错误数据和缺失数据。然后，本实施例将错误数据和缺失数据的类型进行分类，得到相应的数据分类结果。进一步地，本实施例根据不同类型的异常数据进行相应的剔除操作或者修复操作，从而构建得到船舶预处理数据。
[0096]
在本发明的一些实施例中，预设神经网络包括卷积层、池化层以及全连接层。相应地，本实施例中根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值，包括但不限于：
[0097]
将船舶预处理数据输入卷积层进行第一处理，得到局部区域特征数据。
[0098]
将局部区域特征数据输入池化层进行第二处理，得到特征映射数据。
[0099]
将特征映射数据输入全连接层进行第三处理，得到航速预测值和航向预测值。其中，第三处理包括连接、组合以及运算。
[0100]
在本具体实施例中，预设神经网络由卷积层、池化层以及全连接层构成。本实施例首先通过卷积层对船舶预处理数据进行第一处理得到局部区域特征数据，然后将局部区域特征数据输入池化层进行第二处理，得到特征映射数据。接着，本实施通过全连接层对特征映射数据进行第三处理得到航速预测值和航向预测值。同时，本实施例中第三处理包括连
接、组合以及运算处理。具体地，本实施例中卷积层包括卷积核和激活函数。本实施例通过卷积层对船舶预处理数据进行卷积操作以提取相应的局部区域特征数据。其中，每个卷积核内部含有多个神经元，不同卷积核大小相当于不同的特征提取器。本实施例中池化层设置于卷积层之后，卷积层的输出与池化层的输入连接。本实施例通过对局部区域特征数据进行池化，如特征选择、降低特征数量以及减少参数的数量，从而得到特征映射数据。其中，本实施例中的第二处理包括最大池化处理和平均池化处理。进一步地，本实施例中全连接层位于预设神经网络的顶层，全连接层的输入端与池化层的输出端连接。本实施例通过全连接层将池化得到的特征映射数据进行连接、组合以及运算，从而输出最终的结果，即航速预测值和航向预测值。容易理解的是，本实施例通过将夯实有预测值和航向预测值再次输入预设神经网络，进行多次迭代，从而能够得到未来时刻的航速预测序列和航向预测序列，即得到预设次的航速预测值和航向预测值。
[0101]
在本发明的一些实施例中，根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据，包括但不限于：
[0102]
根据船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据。
[0103]
通过预设目标检测算法对视频监控数据进行识别，得到船舶目标。
[0104]
根据船舶目标通过视频图像空间和地理空间映射关系，得到船舶位置数据。
[0105]
根据船舶空间数据和船舶位置数据进行融合，得到视频目标图像数据。
[0106]
在本具体实施例中，本实施例首先根据船舶雷达数据通过欧氏距离算法和聚类算法按计算得到船舶空间数据，然后通过预设目标检测算法对视频监控数据进行识别，得到船舶目标。接着，本实施例根据船舶目标通过视频图像空间和地理空间映射关系得到船舶位置数据，从而根据船舶空间数据和船舶位置数据进行融合得到视频目标图像数据。具体地，本实施例通过欧氏距离算法和聚类算法对雷达子系统采集得到的点云数据，即船舶雷达数据，进行计算，以得到船舶空间数据，如船舶的体积、长度、宽度、高度等。接着，本实施例通过预设目标检测算对视频监控数据进行识别得到视频监控数据中的船舶目标。示例性地，本实施例通过摄像头记录得到视频监控数据后，通过yolov3算法从视频监控数据中识别出船舶目标。其中，yolov3算法由不同的网络层构成，本实施例中网络层包括编码层与解码层，编码层由若干卷积层和激活函数以及池化层组成，用来提出图像中的高阶抽象特征。同时，解码层包括卷积层，池化层与全连接层，解码层通过学习编码层传递的数据的特征，输出预测结果，即输出识别得到的船舶目标。进一步地，本实施例根据识别得到的船舶目标通过视频监控数据的视频图像空间与地理空间之间的映射关系识别得到船舶的具体位置信息，即船舶位置数据。然后，本实施例将船舶空间数据和船舶位置数据进行融合，从而得到视频目标图像数据。容易理解的是，本实施例中视频目标图像数据结合了船舶的空间数据和船舶的位置信息，能够有效提高船舶靠泊预警的准确性。
[0107]
在本发明的一些实施例中，根据船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据，包括但不限于：
[0108]
根据船舶雷达数据通过树形数据结构构建得到点云簇。
[0109]
根据欧氏距离算法将点云簇按照空间向量划分得到子集云簇；
[0110]
计算子集云簇中第一云簇的各个云点与预设云点的距离，得到点距离数据。其中，预设云点包括第一云簇内的云点，以及与第一云簇相邻的第二云簇内的各个云点。
[0111]
根据点距离数据对子集云簇中的云点进行聚类分析，得到聚类结果。
[0112]
对聚类结果的几何中心进行估算，得到几何中心数据。
[0113]
通过几何中心数据计算得到聚类结果的船舶空间数据。
[0114]
在本具体实施例中，本实施例首先根据船舶乐达数据通过树形数据结构构建点云簇。具体地，本实施例通过毫米波雷达获取到船舶雷达数据后，将船舶雷达数据输入树形数据结构(kdtree结构)中，以在离散的点云数据点之间建立相应的拓扑关系，得到点云簇m，从而能够进行快速的领域点集搜索。其中，kdtree是一种多维的二叉树结构，能够组织和存储高维数据，kdtree可以将数据空间划分为多个子空间，每个子空间互相不相交，二叉树上的每个节点将其数据空间划分为两个子空间。如果每个节点中包含的数据小于预先设计的数值下限，则不再划分更小的数据空间。同时，由于点云信号是三维的空间数据，通常会针对其三维信息进行处理。接着，本实施例根据欧氏距离算法将点云簇按照空间向量划分得到子集云簇。例如，本实施例根据欧式距离算法，将点云簇m按照空间向量d＝{d1,d2,
…
,dn}划分为不同的子集点云簇m＝{m1,m2,
…
,mn}。进一步地，本实施例通过计算子集云簇中第一云簇的各个云点与预设云点的距离，得到点距离数据。其中，预设云点包括第一云簇内的云点，以及与第一云簇相邻的第二云簇内的各个云点，即计算子集云簇中第一云簇的各个云点与第一云簇中，除了该云点以外的其他云点之间的距离，以及与第一云簇相邻的第二云簇内的各个云点之间的距离。示例性地，本实施例首先创建一个空的聚类列表r用来保存聚类的结果索引。然后，本实施例根据每个点云簇mi＝{p1,p2,
…
,pi}中，即第一云簇，的每个云点pi的坐标数据(x
pi
,y
pi
)求解其在mi以及与mi相邻的点云簇，即第二云簇内的公共云点的距离d，其中，求解公式如下是(10)所示：
[0115][0116]
进一步地，本实施例根据点距离数据对子集云簇中的云点进行聚类分析，得到聚类结果。具体地，本实施例中若存在关系d≤di则可以判断两点属于同一特征聚类，并将两点标记为特征聚类ri。另外，当每个邻域内的点集均完成了上述过程后，应剔除误差点所带来的影响。本实施例通过设定最小点数p
min
，其中r《p
min
为误差点集合，若r中的点数p满足条件p≥p
min
，则将ri添加至r。重复该过程，将每个mi∈{p1,p2,
…
,pi}均历遍一次，根据r中的所有聚类的欧式距离，并将类别进行合并，直到列表r中的所有聚类之间的欧式距离均大于距离阈值di。其中，di通过下式(11)计算得出：
[0117][0118]
其中，式中di∈{d1,d2,
…
,dn}是距离划分区域的值，ζ为松弛系数，其大小与数据预处理过程中的降采样数值大小有关，为激光雷达的水平分辨角，与激光雷达的物理结构有关，在旋转频率一定时，其值为定值。至此，本实施例得到最终的聚类结果列表r。
[0119]
进一步地，本实施例对聚类结果的几何中心进行估算得到几何中心数据，并通过几何中心数据计算得到聚类结果的船舶空间数据。具体地，本实施例中得到的聚类结果ri∈r。本实施例通过对各个聚类得到的聚类结果的几何中心进行计算，以得到各聚类结果的几何中心数据。接着，本实施例通过下式(12)对聚类后的各个聚类结果的尺寸进行计算，得到船舶空间数据。
[0120][0121]
其中，式中vn、ln、dn、hn,分别代表第n个聚类结果的体积、长度、宽度、高度，,分别代表第n个聚类结果的体积、长度、宽度、高度，分别为第n的聚类结果中x坐标的最大值，x坐标的最小值，分别为第n的聚类结果中y坐标的最大值，y坐标的最小值，分别为第n的聚类结果中z坐标的最大值，z坐标的最小值。
[0122]
在本发明的一些实施例中，根据船舶空间数据和船舶位置数据进行融合，得到视频目标图像数据，包括但不限于：
[0123]
对船舶空间数据和船舶位置数据进行时间同步操作，得到时间同步数据。
[0124]
根据时间同步数据进行坐标系变换操作，得到预设坐标同步数据。其中，预设坐标同步数据包括船舶空间坐标同步数据和船舶位置坐标同步数据。
[0125]
根据船舶空间坐标同步数据和船舶位置坐标同步数据进行关联匹配，得到视频目标图像数据。
[0126]
在本具体实施例中，本实施例首先对船舶空间数据和船舶位置数据进行时间同步操作，以得到时间同步数据。具体地，在本实施例的时间戳对齐策略中，分别通过时间序列1和时间序列2表示两个不同的传感器进行数据处理的时间进程。其中，本实施例分别通过t1和t2表示时间序列1中的传感器a算法处理的平均时间和传感器b算法处理的平均时间。当系统从t0开始工作，当时间到达t1时传感器a的数据处理完成，但根据之前的对系统的设计，此时并不上传该处理结果。接着，当时间到达t2时，传感器b的算法处理完成，此时应当将两部分处理的结果同时上传。同时，在时间到达t3之前，两部分应分别挂起，等待下一周期开始，且在这期间系统应让出cpu使用权，以保证系统的实时性。当时间到达t3时，新的周期开始，重复以上过程，从而保证数据的时间同步。进一步地，本实施例根据时间同步数据进行坐标系变换操作，得到预设坐标同步数据。具体地，本实施例中，预设坐标同步数据包括船舶空间坐标同步数据和船舶位置坐标同步数据。示例性地，在本实施例的坐标系空间变换中，首先将雷达坐标系和船身坐标系进行刚体变换，再将图像坐标系的内参矩阵进行统一，在通过刚体后可以与点云坐标系进行统一至船身坐标系并进行匹配。另外，本实施例中对于图像目标而言，一般都基于小孔成像原理，能够实现大地坐标到像素坐标的转化。由于本实施例为了获得更大的视角，采用四目摄像头，并且图像经过裁剪拼接形成一整张图。本实施例通过基于方位的一维坐标轴进行融合，图像的畸变矫正同样进行忽略处理。基于小孔成像原理，对于图像而言一张图片包含视角范围内的所有图像信息，不同像素位置相对摄像机在视角中方位固定，因此可得目标方位坐标如下式(13)所示：
[0127][0128]
进一步地，本实施例根据船舶空间坐标同步数据和船舶位置坐标同步数据进行关联匹配，得到视频目标图像数据。具体地，在本实施例的特征关联匹配中，需提取图像中的检测框与点云中的检测框，并将点云的检测框通过主视图进行投影，计算点云中的每个目标框与图像中的每一个检测框的相对距离值，然后从所有求得的距离中保留最小值，若最
小值小于设定的最小误差值，则进行关联匹配，从而得到视频目标图像数据。容易理解的是，本实施例通过将视频跟踪目标信息与ais目标预测数据信息相融合，并将预测得到的连续的经纬度序列与图像中的方位坐标进行关联，从而能够将得到船舶的预测轨迹图像，即视频目标图像数据显示到cctv(闭路电视监控系统)视频中。
[0129]
在本发明的一些实施例中，根据船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息，包括但不限于：
[0130]
根据碰撞时间构建船舶碰撞预警模型。
[0131]
将船舶预测轨迹图像输入船舶碰撞预警模型进行预测，得到碰撞预警信息。
[0132]
在本具体实施例中，本实施例首先根据碰撞时间构建船舶碰撞预警模型。具体地，本实施例通过基于碰撞时间(ttc)模型构建船舶碰撞预警模型。其中，ttc模型是根据船舶与码头目标之间的距离与速度比值关系进行预警的方法，其表达式如下式(14)所示：
[0133][0134]
其中，式中t1、t2表示两个不同时刻，d1、d2分别表示在t1、t2时刻下船舶与码头的相对距离。
[0135]
进一步地，本实施例将船舶预测轨迹图像输入船舶碰撞预警模型进行预测，得到碰撞预警信息。具体地，在本实施例在碰撞预警中，根据t
ttc
的值设定不同的阈值，将预警分为三个等级。其中，当vd》0时，表示船和码头的间距不断增大，这种情况下t
ttc
》0恒成立，因此不需要进行预警。而当vd≤0时,根据t
ttc
的值不同，将预警级别进行划分为三个等级，进行分级预警。示例性地，当t
ttc
大于0时，预警系统输出0，不进行预警。当-120《t
ttc
≤0时输出一级预警；当-300《t
ttc
≤-120时输出二级预警。当t
ttc
≤-300时输出三级预警。相应地，本实施例中一级预警包括广播正常语速呼叫及ais短信发送一级警报信息，其中，广播不定向。本实施例中二级警报包括广播较快语速呼叫，并通过ais短信发送二级警报信息。同时，在一定区域内，广播跟踪目标船播报。本实施例中三级警报包括广播最快语速呼叫、ais短信发送及vhf语音发送三级警报信息。同时，在一定区域内，广播跟踪目标船播报。另外，容易理解的是，本实施例在夜晚时，将探照灯对准船舶前进方向水面闪烁(勿直接照射船舶)，以在水面划线做行进路线指示。
[0136]
需要说明的是，在本发明的一些实施例中，本实施例对有靠泊风险的船舶进行定向广播时，支持通过麦克风和广播系统，在任意客户端人工播发语音信息和其他信息，并且同一时刻只能有一个客户端发声，支持抢占机制和最大时长限制，超过限制时长，自动释放语音控制，以给予其他客户端抢占机会。另外，本实施例支持手动调节广播云台，指向特定方向或目标。其中，广播在无风状态下可以至少传送声音到1000米处。本实施例中声光报警探照灯可以远程控制开启，并且能够随云台转动指向特定方向或目标。同样地，本实施例中报警器可以远程控制开启，以闪烁报警灯和鸣响报警器。本实施例通过vhf通讯设备支持在任意客户端，收听16频道或其他频道的通讯信息，并且支持在许可的客户端，通过许可的频道人工呼叫船舶进行通讯或播发警告信息，并且支持最大发言时长限制，超过时长限制值，自动释放控制，以允许其他客户端抢占发声，自动通过vhf许可频道，播发警告驱离信息或其他信息。
[0137]
需要说明的是，在本发明的一些实施例中，本实施例设置有电子海图显示模块。其
中，电子海图显示模块用于支持ihos57格式、ihos-63格式的标准电子海图以及cj-57格式的电子航道图的加载和更新。同时，本实施例的电子海图显示模块支持海图按ihos-52611的要求，以矢量方式显示。另外，本实施例的电子海图显示模块包括但不限于白天、晨昏、黑夜颜色模式的切换，基本、标准、全部显示组的切换和自定义显示组等，并且支持海图的放大、缩小、平移、旋转等基本操作。本实施例支持在显示比例尺变化时，自动显示合适编辑比例尺的海图，并且能够查询海图上任意物标的属性信息。另外本实施例还能够在海图上标绘点、线、面、矩形、椭圆等符号，支持标绘海图特有符号，能够在海图上进行测量，包括距离、方位、面积等的测量。
[0138]
需要说明的是，在本发明的一些实施例中，本实施例以卫星图片的方式显示监控水域。其中，卫星图片和电子海图配准，坐标一致。同时，本实施例能够进行多级放大缩小，支持平移、旋转。其中，卫星图片和电子海图共用一套监控区域设置，能够在海图显示模式和卫星图片显示模式之间切换。
[0139]
需要说明的是，在本发明的一些实施例中，通过ais船舶目标显示模块接收以码头南沿中点为圆心，至少半径2公里范围内的船舶的ais信号，并在电子海图显示模块或卫星图上显示ais船舶目标。同时，ais船舶目标显示模块支持以列表方式显示ais船舶目标信息，通过点击ais目标，以在信息窗口查看船舶的ais静态信息和实时变化的动态信息。另外，本实施例中可以选择以中文名称、英文名称、呼号、mmsi号等在海图上标示ais目标，以及选择是否显示ais船舶目标的尾迹、速度矢量线、艏向、转向提示等。
[0140]
需要说明的是，在本发明的一些实施例中，本实施例还设置有信息管理子系统，用于添加用户、删除用户、修改用户权限、编辑船舶库中船舶的信息，包括中文名称等，以及录入和编辑船舶白名单。其中，白名单中的船舶进入警戒区不会报警。
[0141]
需要说明的是，在本发明的一些实施例中，本实施例设置有记录回放单元，用于选定回放时间范围，系统会读取保存的ais和雷达目标的历史信息，以及视频历史数据，在和系统的监控界面一样的界面上，完全重放当时的情况，包括船舶航行的轨迹、摄像机记录的视频以及产生的报警信息。其中，此时回放相应的报警信息不用通过广播、ais或vhf发送，也不用点亮探照灯和触发报警器，但回放设备有报警声，包括播放的合成的语音报警。
[0142]
需要说明的是，在本发明的一些实施例中，本实施例通过中心服务单元向客户端提供ais信息服务。同时，本实施例通过响应警戒区设定请求，并保存警戒区设定，以向客户端提供警戒区查询服务。相应地，本实施例实时判断雷达目标、ais目标是否进入警戒区，向客户端提供分级报警信息服务。接着，本实施例的中心服务单元还能够响应历史回放请求，查询雷达目标、ais目标历史记录，向客户端按速度播发雷达目标和ais目标数据，以及响应权限管理、信息管理等请求，保存数据，数据保存与备份。
[0143]
本发明的一个实施例还提供了一种船舶靠泊碰撞预警系统，包括：
[0144]
获取模块，用于获取船舶自动识别系统数据。
[0145]
预处理模块，用于对船舶自动识别系统数据进行预处理，得到船舶预处理数据。
[0146]
预测模块，用于根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值。
[0147]
解算模块，用于将航速预测值和航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据。
[0148]
迭代模块，用于将船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列。其中，根据船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建预设迭代块。
[0149]
第一融合模块，用于根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据。
[0150]
第二融合模块，用于将船舶坐标预测序列和视频目标图像数据进行融合，得到船舶预测轨迹图像。
[0151]
预警模块，用于根据船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。
[0152]
参照图2，本发明的一个实施例还提供了一种船舶靠泊碰撞预警系统，包括：
[0153]
至少一个处理器210。
[0154]
至少一个存储器220，用于存储至少一个程序。
[0155]
当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如上述实施例描述的船舶靠泊碰撞预警方法。
[0156]
本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行以上实施例描述的步骤。
[0157]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0158]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

技术特征：
1.一种船舶靠泊碰撞预警方法，其特征在于，包括以下步骤：获取船舶自动识别系统数据；对所述船舶自动识别系统数据进行预处理，得到船舶预处理数据；根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值；将所述航速预测值和所述航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据；将所述船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列；其中，根据所述船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建所述预设迭代块；根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据；将所述船舶坐标预测序列和所述视频目标图像数据进行融合，得到船舶预测轨迹图像；根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。2.根据权利要求1所述的船舶靠泊碰撞预警方法，其特征在于，所述对所述船舶自动识别系统数据进行预处理，包括：根据所述船舶自动识别系统数据进行筛选，得到异常数据；其中，所述异常数据包括错误数据和缺失数据；对所述异常数据进行分类，得到数据分类结果；根据所述数据分类结果对所述错误数据进行剔除操作；根据所述数据分类结果对所述缺失数据进行修复操作。3.根据权利要求1所述的船舶靠泊碰撞预警方法，其特征在于，所述预设神经网络包括卷积层、池化层以及全连接层；所述根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值，包括：将所述船舶预处理数据输入所述卷积层进行第一处理，得到局部区域特征数据；将所述局部区域特征数据输入所述池化层进行第二处理，得到特征映射数据；将所述特征映射数据输入所述全连接层进行第三处理，得到所述航速预测值和所述航向预测值；其中，所述第三处理包括连接、组合以及运算。4.根据权利要求1所述的船舶靠泊碰撞预警方法，其特征在于，所述根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据，包括：根据所述船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据；通过预设目标检测算法对所述视频监控数据进行识别，得到船舶目标；根据所述船舶目标通过视频图像空间和地理空间映射关系，得到船舶位置数据；根据所述船舶空间数据和所述船舶位置数据进行融合，得到所述视频目标图像数据。5.根据权利要求4所述的船舶靠泊碰撞预警方法，其特征在于，所述根据所述船舶雷达数据通过欧氏距离算法和聚类算法计算得到船舶空间数据，包括：根据所述船舶雷达数据通过树形数据结构构建得到点云簇；根据欧氏距离算法将所述点云簇按照空间向量划分得到子集云簇；计算所述子集云簇中第一云簇的各个云点与预设云点的距离，得到点距离数据；其中，
所述预设云点包括所述第一云簇内的所述云点，以及与所述第一云簇相邻的第二云簇内的各个云点；根据所述点距离数据对所述子集云簇中的所述云点进行聚类分析，得到聚类结果；对所述聚类结果的几何中心进行估算，得到几何中心数据；通过所述几何中心数据计算得到所述聚类结果的所述船舶空间数据。6.根据权利要求4所述的船舶靠泊碰撞预警方法，其特征在于，所述根据所述船舶空间数据和所述船舶位置数据进行融合，得到所述视频目标图像数据，包括：对所述船舶空间数据和所述船舶位置数据进行时间同步操作，得到时间同步数据；根据所述时间同步数据进行坐标系变换操作，得到预设坐标同步数据；其中，所述预设坐标同步数据包括船舶空间坐标同步数据和船舶位置坐标同步数据；根据所述船舶空间坐标同步数据和所述船舶位置坐标同步数据进行关联匹配，得到所述视频目标图像数据。7.根据权利要求1所述的船舶靠泊碰撞预警方法，其特征在于，所述根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息，包括：根据碰撞时间构建船舶碰撞预警模型；将所述船舶预测轨迹图像输入所述船舶碰撞预警模型进行预测，得到所述碰撞预警信息。8.一种船舶靠泊碰撞预警系统，其特征在于，包括：获取模块，用于获取船舶自动识别系统数据；预处理模块，用于对所述船舶自动识别系统数据进行预处理，得到船舶预处理数据；预测模块，用于根据所述船舶预处理数据通过预设神经网络预测得到所述船舶的航速预测值和航向预测值；解算模块，用于将所述航速预测值和所述航向预测值输入船舶轨迹动力学方程模型进行求解，得到船舶轨迹数据；迭代模块，用于将所述船舶轨迹数据输入预设迭代块进行迭代，得到船舶坐标预测序列；其中，根据所述船舶轨迹动力学方程模型和双隐层径向基函数网络模型构建所述预设迭代块；第一融合模块，用于根据船舶雷达数据和视频监控数据进行融合，得到视频目标图像数据；第二融合模块，用于将所述船舶坐标预测序列和所述视频目标图像数据进行融合，得到船舶预测轨迹图像；预警模块，用于根据所述船舶预测轨迹图像进行船舶碰撞预警，得到碰撞预警信息。9.一种船舶靠泊碰撞预警系统，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的船舶靠泊碰撞预警方法。10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至7任一项所述的船舶靠泊碰
撞预警方法。

技术总结
本发明公开一种船舶靠泊碰撞预警方法、系统及存储介质，应用于船舶靠泊技术领域，能够精确地预判船舶动向，实现对船舶靠泊的预警监测，减少船舶靠泊碰撞事故的发生。该方法包括：获取船舶自动识别系统数据，并进行预处理得到船舶预处理数据；根据船舶预处理数据通过预设神经网络预测得到船舶的航速预测值和航向预测值；将航速预测值和航向预测值输入船舶轨迹动力学方程模型求解得到船舶轨迹数据；将船舶轨迹数据输入预设迭代块进行迭代得到船舶坐标预测序列；根据船舶雷达数据和视频监控数据融合得到视频目标图像数据；将船舶坐标预测序列和视频目标图像数据融合得到船舶预测轨迹图像；根据船舶预测轨迹图像进行船舶碰撞预警得到碰撞预警信息。得到碰撞预警信息。得到碰撞预警信息。


技术研发人员：万程鹏 敖新培 曹高杰 范亮 张笛 李聚珍 明星月 徐紫东 袁居鹏
受保护的技术使用者：广东省内河港航产业研究有限公司
技术研发日：2023.01.18
技术公布日：2023/5/12