多源数据支持下的船舶航程OD信息提取方法

多源数据支持下的船舶航程od信息提取方法
技术领域
1.本发明属于船舶航程规划与管理技术领域，尤其涉及一种多源数据支持下的船舶航程od信息提取方法。


背景技术：

2.海洋运输占据全球贸易总量的90％以上，它对全球经济、贸易和社会的发展有着巨大影响。船舶在港口间通航，在全球范围内建立起各大洲和国家之间的贸易网络。船舶航程od信息在海洋航运领域中十分重要，一方面，船舶航程od信息可以帮助航运公司和港口管理者进行航线规划和优化，认识船舶在各港口的停靠频次和货物流量，还有助于港口管理者进行港口设施规划和布局。另一方面，由船舶航程od信息构建海运网络，对其展开分析，可以了解整个海洋运输网络的特性和变化，从而对网络进行优化。这有助于提高运输的可靠性和安全性，减少运输时间，缩短货物的运输路径，同时降低运输的环境影响。然而，如何获取正确的船舶航程od信息是一个亟待解决的问题。
3.船舶自动识别系统（ais）是一种船舶定位、追踪和通信系统。船舶上安装的ais系统所广播的船舶位置、速度、航向以及其他相关信息可以被其他船舶、岸基监控站以及海上交通管制中心接收和监测。ais系统记录的数据具有即时性、开放性、全球性和高频率等特点，有助于挖掘全球范围内船舶航程od信息。
4.但是，原始ais信息的数据量过大、可获得的数据的精度不够详尽等问题导致现有基于ais数据挖掘船舶航程链的技术和方法在计算、存储等方面造成资源的大量消耗，如通过识别船舶到港和离港事件判断船舶停留事件，从而建立完整的船舶航行信息列表。因此，船舶航程od信息提取方法是海运从业者和相关研究人员十分关注的问题。


技术实现要素：

5.本发明的目的在于提供一种多源数据支持下的船舶航程od信息提取方法，有效解决当前无法准确的获取船舶航程od信息的问题。
6.为解决上述技术问题，本发明采用的技术方案是：一种多源数据支持下的船舶航程od信息提取方法，包括以下步骤：s1、从开放的、基于社区的网站和移动应用程序获取包含船舶类型描述文本、mmsi和imo的船舶类型静态信息，根据描述文本解析船型编号，建立船舶类型编号数据。
7.s2、输入原始ais数据和船舶类型编号数据，对原始ais数据进行预处理，包括数据清洗、数据过滤、数据融合及数据存储，构建船舶ais轨迹数据库。
8.s3、输入原始的港口数据，对同时具有港区和锚地信息的港口进行清洗，将港口分为大型港口与小型港口，分别建立大型港口数据库和小型港口数据库进行存储。所述大型港口是港口数据中的港口类型属性值为port的港口，大型港口同时具有港口记录和锚地记录，去除其中的锚地记录，所述小型港口是港口数据中的港口类型属性值为marina和small harbour的港口。
9.s4、基于船舶类型编号数据和步骤s3中的港口划分结果，将船舶ais轨迹数据库中的ais数据按照船舶的长度、宽度、吃水及船舶类型属性字段进行分类，将船舶分为大型船舶和小型船舶，并分别存储至大型船舶数据库和小型船舶数据库，所述大型船舶是停靠在大型港口的船舶，包含货船、客船与油轮，所述小型船舶是停靠在小型港口的船舶，包含游船和游艇。
10.s5、在大型港口数据库、小型港口数据库、大型船舶数据库和小型船舶数据库的支持下，分别计算大型船舶停靠港口与小型船舶停靠港口的空间窗口参数，根据各类型船舶的平均航行时长，设定时间窗口，然后基于时间窗口进行滑窗计算。
11.s6、筛选并保留各港口的空间窗口参数范围内的所有船舶轨迹数据。
12.s7、基于各类型船舶的时间窗口，依照mmsi或imo划分不同船舶的ais数据，使用滑动窗口法判别船舶在同一港口内多次经停的轨迹信息，得到船舶经停信息。
13.s8、基于mmsi对所述船舶经停信息进行分组，按照经停轨迹的utc时间戳顺序排列经停轨迹点，依次连接经停轨迹点得到完整的船舶航程od信息，最后存储至船舶航行信息数据库。
14.进一步地，在步骤s1中，参照ais消息船型编号要求对所有船舶类型描述文本进行解析，建立船舶类型编号数据，在解析船舶类型描述文本时，需参照船舶类型描述文本和船型编号一般原则对ais轨迹所属的船舶类型编号进行设置。
15.进一步地，所述船型编号一般原则是：ais船型由两位数字组成，第一位代表船舶的一般类别，其中，数字1代表保留、数字2代表地效翼船、数字3代表特殊类别、数字4代表高速船、数字5代表特殊类别、数字6代表客船、数字7代表货船、数字8代表油轮、数字9代表其他；第二位代表供船舶货物类型的其他信息，其中数字1代表主要危险或危险a、数字2代表危险或危险b、数字3代表轻微危险或危险c、数字4代表可识别危险或危险d。
16.进一步地，在步骤s2中，所述数据清洗是指对原始ais数据中存在的重复、错误和缺失的数据进行修正处理，提取有用数据；基于清洗后的ais数据，按照导航状态属性值和对地速度对船舶轨迹数据进行所述数据过滤，过滤出导航状态属性值为1和5，且对地速度属性值小于1的ais轨迹；所述数据融合是指按照mmsi和imo区分不同的船舶，进行数据融合，更正ais数据中的船舶类型编号；基于数据融合后的ais数据，构建船舶ais轨迹数据库，所述船舶ais轨迹数据库包含船舶的静态信息、动态信息和航程信息，所述静态信息和航程信息用于区分不同船只，所述动态信息用于船舶航程信息提取。
17.进一步地，所述静态信息指mmsi、imo、船舶名称和船舶类型编号，所述动态信息指经度、纬度、utc时间戳、对地速度和对地航向，所述航程信息指导航状态和吃水。
18.进一步地，在步骤s5中，所述空间窗口参数的确定方法为：计算各港口与其余所有同类型港口的最短距离，当所述最短距离小于设置的阈值时，则取1/4最短距离为所述港口的空间窗口参数，否则，取1/2阈值为所述港口的空间窗口参数。
19.进一步地，在步骤s6中，首先，输入步骤s2中经数据融合后的ais数据和各港口数据，遍历所有的港口，根据港口的经纬度和港口的空间窗口参数，在球面坐标系下反算上下左右四个方位的直线的经度或纬度，然后进行判断；对于轨迹点ni（lati,loni），若latn《lati《lats且lonw《loni《lone，则所述轨迹点在所述港口内，将所述港口的信息添加至ais数据中，保留所述港口的空间窗口参数范围内的所有船舶轨迹数据；反之则不在；其中，lati和
loni分别代表轨迹点ni的经度和纬度坐标，latn、lats、lonw和lone分别表示港口上下左右四个方位的经纬度。
20.进一步地，在步骤s7中，采用滑动窗口法判别同一港口内任意相邻的两个轨迹点之间的时间间隔，首先按mmsi属性值将不同船舶的ais数据进行分组，组内仅包含同一船舶的ais轨迹点，再将不同港口内的ais数据进行分组；依次判断归属同一条船舶的在各港口内轨迹间的时间间隔，当相邻轨迹点之间的时间间隔大于等于该船舶的时间窗口时，记录相邻两个轨迹点中的后者为该船重复抵达同一港口的停泊点，反之删除，得到船舶经停信息。
21.进一步地，所述滑动窗口法包含一个固定大小的内容集合，所述内容集合就是滑动窗口，所述内容集合在所有的数据集上滑动，依次遍历整个数据集并对窗口内的数据进行处理操作；所述内容集合包含一条船舶的相邻的两个ais轨迹点，所述数据集为一条船舶所有的ais数据，所述处理操作为轨迹点间时间间隔与时间窗口的判别。
22.本发明的有益技术效果是：本发明利用ais数据、船舶类型描述文本数据和港口数据，通过数据融合、空间窗口筛选和时间滑窗计算的方法，实现了船舶航程od信息的获取，具有高精度、低成本、低计算复杂度、原理简单且适用范围较广等优点，该方法可应用于大范围的船舶航程od信息提取，计算所需数据均可从公开的数据提供者处获得，因此本发明具有很大的实用和推广价值。
附图说明
23.图1是本发明的船舶航程od信息提取方法的流程示意图。
具体实施方式
24.一种多源数据支持下的船舶航程od信息提取方法，参照图1，包括以下步骤：首先是数据预处理，包括下述步骤s1、s2、s3和s4。其次是od计算，包括下述步骤s5、s6、s7和s8。
25.s1、从开放的、基于社区的网站和移动应用程序获取包含船舶类型描述文本、水上移动业务标识码（mmsi）和国际海事组织编号（imo）的船舶类型静态信息，根据描述文本解析船型编号，建立船舶类型编号数据。
26.在步骤s1中，参照自动识别系统（ais）消息船型编号要求对所有船舶类型描述文本进行解析，建立船舶类型编号数据，在解析船舶类型描述文本时，需参照船舶类型描述文本和船型编号一般原则对ais轨迹所属的船舶类型编号进行设置。
27.所述船型编号一般原则是：ais船型由两位数字组成，第一位代表船舶的一般类别，其中，数字1代表保留、数字2代表地效翼船、数字3代表特殊类别、数字4代表高速船、数字5代表特殊类别、数字6代表客船、数字7代表货船、数字8代表油轮、数字9代表其他。第二位代表供船舶货物类型的其他信息，其中数字1代表主要危险或危险a、数字2代表危险或危险b、数字3代表轻微危险或危险c、数字4代表可识别危险或危险d。
28.s2、输入原始自动识别系统（ais）数据和船舶类型编号数据，对原始ais数据进行预处理，首先进行数据清洗，之后进行数据过滤，再之后进行数据融合，最后进行数据存储，构建船舶ais轨迹数据库。
29.所述数据清洗是指对原始ais数据中存在的重复、错误和缺失的数据进行修正处
理，提取有用数据。
30.基于清洗后的ais数据，按照导航状态属性值和对地速度对船舶轨迹数据进行所述数据过滤，过滤出ais轨迹数据导航状态属性值为1和5，且对地速度属性值小于1的ais轨迹。ais数据中导航状态属性值代表船舶不同的运动状态，其中1和5分别为锚地停留状态与泊位停留状态。船舶在港内停留，轨迹点对地速度属性值小于航行中的轨迹点，对地速度单位为节。
31.所述数据融合是指按照mmsi和imo区分不同的船舶，进行数据融合，更正ais数据中的船舶类型编号。
32.基于数据融合后的ais数据，构建船舶ais轨迹数据库，所述船舶ais轨迹数据库包含船舶的静态信息（mmsi、imo、船舶名称、船舶类型编号等）、动态信息（经度、纬度、utc时间戳、对地速度、对地航向等）和航程信息（导航状态、吃水），所述航程信息由船员手动输入至ais发射器，所述静态信息和航程信息用于区分不同船只，所述动态信息用于船舶航程信息提取。所述动态信息中的经度和纬度精确到小数点后五位，utc时间戳精确到秒，对地速度精确到小数点后一位。
33.s3、输入原始的港口数据，对同时具有港区和锚地信息的港口进行清洗，将港口分为大型港口与小型港口，分别建立大型港口数据库和小型港口数据库进行存储。所述大型/小型港口数据库包含港口的归属国、港口名称、港口类型（大型港口和小型港口）、港口位置（经纬度坐标对）等信息。
34.所述大型港口同时具有港口记录和锚地记录，去除其中的锚地记录，这样做是为了步骤s6中，筛选出港区范围内的船舶轨迹。港口类型属性值包含port、anchorage和marina/small harbour，去除anchorage对应的记录，port类型数据对应的港口则为大型港口，marina/small harbour类型数据对应的港口为小型港口。
35.s4、基于船舶类型编号数据和步骤s3中的港口划分结果，将船舶ais轨迹数据库中的ais数据按照船舶的长度、宽度、吃水及船舶类型属性字段进行分类，将船舶分为大型船舶和小型船舶，并分别存储至大型船舶数据库和小型船舶数据库。
36.所述大型船舶是停靠在大型港口的船舶，包含货船、客船与油轮，所述小型船舶是停靠在小型港口的船舶，包含游船和游艇。其中，船舶类型编号36/37代表游船或帆船、60-69代表客船、70-79代表货船、80-89代表油轮。此外，游船中可能包含大型游船，这些大型游船无法停靠在游船码头，需将船舶长度大于20m的游船划分至大型船舶。
37.s5、在大型港口数据库、小型港口数据库、大型船舶数据库和小型船舶数据库的支持下，分别计算大型船舶停靠港口与小型船舶停靠港口的空间窗口参数，根据各类型船舶的平均航行时长，设定时间窗口，然后基于时间窗口进行滑窗计算。
38.确定空间窗口参数的方法为：首先，计算各港口与其余所有同类型港口的最短距离，当所述最短距离小于或等于设置的阈值时，则取1/4最短距离为所述港口的空间窗口参数，否则，取1/2阈值为所述港口的空间窗口参数。所述空间窗口参数是所述空间窗口的边长的一半。
39.确定类型船舶的时间窗口，当计算的ais数据的覆盖时间较长时，港口内会包含同一船舶多次经停记录，为将同一条船多次抵达同一港口的ais数据区分开来，而设定时间窗口。不同类型船舶的时间窗口是其平均航行时长，大型船舶经停港口间距离较长，两次靠岸
间隔在数天至一周左右，而游船、帆船等观光船的一次航行时长一般在数小时。
40.s6、筛选并保留各港口的空间窗口参数范围内的所有船舶轨迹数据。首先，输入步骤s2中经数据融合后的ais数据和各港口数据，依次遍历所有的港口，根据港口的经纬度和港口的空间窗口参数，在球面坐标系下反算上下左右四个方位的直线的经度或纬度，然后进行判断。对于轨迹点ni（lati,loni），若latn《lati《lats且lonw《loni《lone，则所述轨迹点在所述港口内，将所述港口的信息添加至ais数据中，保留所述港口的空间窗口参数范围内的所有船舶轨迹数据。反之则不在。其中，lati和loni分别代表轨迹点ni的经度和纬度坐标，latn、lats、lonw和lone分别表示港口上下左右四个方位的经纬度。
41.已知港口经纬度和港口与目标位置的间隔距离，求各正方向目标位置经纬度，如公式（1）和公式（2）所示。。（1）。（2）其中分别为港口点的纬度和经度；代表球心角，球心角中的表示空间窗口参数，代表地球半径；分别为目标位置的纬度和经度，为方向角。
42.s7、基于各类型船舶的时间窗口，依照mmsi或imo划分不同船舶的ais数据，使用滑动窗口法判别船舶在同一港口内多次经停的轨迹信息，得到船舶经停信息。
43.在步骤s7中，采用滑动窗口法判别同一港口内任意相邻的两个轨迹点之间的时间间隔，首先按mmsi属性值将不同船舶的ais数据进行分组，组内仅包含同一船舶的ais轨迹点，再将不同港口内的ais数据进行分组；依次判断归属同一条船舶的在各港口内轨迹间的时间间隔，当相邻轨迹点之间的时间间隔大于等于该船舶的时间窗口时，记录相邻两个轨迹点中的后者为该船重复抵达同一港口的停泊点，反之删除，得到船舶经停信息。
44.所述滑动窗口法包含一个固定大小的内容集合，所述内容集合就是滑动窗口，所述内容集合在所有的数据集上滑动，依次遍历整个数据集并对窗口内的数据进行处理操作。所述内容集合包含一条船舶的相邻的两个ais轨迹点，所述数据集为一条船舶所有的ais数据，所述处理操作为轨迹点间时间间隔与时间窗口的判别。
45.s8、基于mmsi对所述船舶经停信息进行分组，按照经停轨迹的协调世界时（utc）时间戳顺序排列经停轨迹点，依次连接经停轨迹点得到完整的船舶航程od信息，最后存储至船舶航行信息数据库。
46.本发明在ais数据、船舶类型描述文本数据和港口数据的支持下，通过水上移动业务标识码（mmsi）划分ais数据，识别各港区内船舶的多次经停信息，连接船舶经停信息，构建一定时段内的船舶航行od信息数据库，为航运复杂网络建模及分析提供数据支撑和决策支持。本发明使得船舶经停od信息获取工作变得更加快捷、准确。
47.当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

技术特征：
1.一种多源数据支持下的船舶航程od信息提取方法，其特征在于，包括以下步骤：s1、从开放的、基于社区的网站和移动应用程序获取包含船舶类型描述文本、mmsi和imo的船舶类型静态信息，根据描述文本解析船型编号，建立船舶类型编号数据；s2、输入原始ais数据和船舶类型编号数据，对原始ais数据进行预处理，包括数据清洗、数据过滤、数据融合及数据存储，构建船舶ais轨迹数据库；s3、输入原始的港口数据，对同时具有港区和锚地信息的港口进行清洗，将港口分为大型港口与小型港口，分别建立大型港口数据库和小型港口数据库进行存储，所述大型港口是港口数据中的港口类型属性值为port的港口，大型港口同时具有港口记录和锚地记录，去除其中的锚地记录，所述小型港口是港口数据中的港口类型属性值为marina和small harbour的港口；s4、基于船舶类型编号数据和步骤s3中的港口划分结果，将船舶ais轨迹数据库中的ais数据按照船舶的长度、宽度、吃水及船舶类型属性字段进行分类，将船舶分为大型船舶和小型船舶，并分别存储至大型船舶数据库和小型船舶数据库，所述大型船舶是停靠在大型港口的船舶，包含货船、客船与油轮，所述小型船舶是停靠在小型港口的船舶，包含游船和游艇；s5、在大型港口数据库、小型港口数据库、大型船舶数据库和小型船舶数据库的支持下，分别计算大型船舶停靠港口与小型船舶停靠港口的空间窗口参数，根据各类型船舶的平均航行时长，设定时间窗口，然后基于时间窗口进行滑窗计算；s6、筛选并保留各港口的空间窗口参数范围内的所有船舶轨迹数据；s7、基于各类型船舶的时间窗口，依照mmsi或imo划分不同船舶的ais数据，使用滑动窗口法判别船舶在同一港口内多次经停的轨迹信息，得到船舶经停信息；s8、基于mmsi对所述船舶经停信息进行分组，按照经停轨迹的utc时间戳顺序排列经停轨迹点，依次连接经停轨迹点得到完整的船舶航程od信息，最后存储至船舶航行信息数据库。2.根据权利要求1所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，在步骤s1中，参照ais消息船型编号要求对所有船舶类型描述文本进行解析，建立船舶类型编号数据，在解析船舶类型描述文本时，需参照船舶类型描述文本和船型编号一般原则对ais轨迹所属的船舶类型编号进行设置。3.根据权利要求2所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，所述船型编号一般原则是：ais船型由两位数字组成，第一位代表船舶的一般类别，其中，数字1代表保留、数字2代表地效翼船、数字3代表特殊类别、数字4代表高速船、数字5代表特殊类别、数字6代表客船、数字7代表货船、数字8代表油轮、数字9代表其他，第二位代表供船舶货物类型的其他信息，其中，数字1代表主要危险或危险a、数字2代表危险或危险b、数字3代表轻微危险或危险c、数字4代表可识别危险或危险d。4.根据权利要求3所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，在步骤s2中，所述数据清洗是指对原始ais数据中存在的重复、错误和缺失的数据进行修正处理，提取有用数据；基于清洗后的ais数据，按照导航状态属性值和对地速度对船舶轨迹数据进行所述数据过滤，过滤出导航状态属性值为1和5，且对地速度属性值小于1的ais轨迹；所述数据融合是指按照mmsi和imo区分不同的船舶，进行数据融合，更正ais数据中的船舶
类型编号；基于数据融合后的ais数据，构建船舶ais轨迹数据库，所述船舶ais轨迹数据库包含船舶的静态信息、动态信息和航程信息，所述静态信息和航程信息用于区分不同船只，所述动态信息用于船舶航程信息提取。5.根据权利要求4所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，所述静态信息指mmsi、imo、船舶名称和船舶类型编号，所述动态信息指经度、纬度、utc时间戳、对地速度和对地航向，所述航程信息指导航状态和吃水。6.根据权利要求5所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，在步骤s5中，所述空间窗口参数的确定方法为：计算各港口与其余所有同类型港口的最短距离，当所述最短距离小于设置的阈值时，则取1/4最短距离为所述港口的空间窗口参数，否则，取1/2阈值为所述港口的空间窗口参数。7.根据权利要求6所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，在步骤s6中，首先，输入步骤s2中经数据融合后的ais数据和各港口数据，遍历所有的港口，根据港口的经纬度和港口的空间窗口参数，在球面坐标系下反算上下左右四个方位的直线的经度或纬度，然后进行判断；对于轨迹点n
i
（lat
i
,lon
i
），若lat
n
<lat
i
<lat
s
且lon
w
<lon
i
<lon
e
，则所述轨迹点在所述港口内，将所述港口的信息添加至ais数据中，保留所述港口的空间窗口参数范围内的所有船舶轨迹数据；反之则不在；其中，lat
i
和lon
i
分别代表轨迹点n
i
的经度和纬度坐标，lat
n
、lat
s
、lon
w
和lon
e
分别表示港口上下左右四个方位的经纬度。8.根据权利要求7所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，在步骤s7中，采用滑动窗口法判别同一港口内任意相邻的两个轨迹点之间的时间间隔，首先按mmsi属性值将不同船舶的ais数据进行分组，组内仅包含同一船舶的ais轨迹点，再将不同港口内的ais数据进行分组；依次判断归属同一条船舶的在各港口内轨迹间的时间间隔，当相邻轨迹点之间的时间间隔大于等于该船舶的时间窗口时，记录相邻两个轨迹点中的后者为该船重复抵达同一港口的停泊点，反之删除，得到船舶经停信息。9.根据权利要求8所述的多源数据支持下的船舶航程od信息提取方法，其特征在于，所述滑动窗口法包含一个固定大小的内容集合，所述内容集合就是滑动窗口，所述内容集合在所有的数据集上滑动，依次遍历整个数据集并对窗口内的数据进行处理操作；所述内容集合包含一条船舶的相邻的两个ais轨迹点，所述数据集为一条船舶所有的ais数据，所述处理操作为轨迹点间时间间隔与时间窗口的判别。

技术总结
本发明属于船舶航程规划与管理技术领域，具体公开一种多源数据支持下的船舶航程OD信息提取方法，用于为航运复杂网络建模及分析提供数据支撑和决策支持。本发明利用自动识别系统数据、船舶类型描述文本数据和港口数据，通过数据融合、空间窗口筛选约束和时间滑窗计算的方法，得到船舶经停信息，并按照经停轨迹的协调世界时时间戳顺序排列经停轨迹点，依次连接经停轨迹点得到完整的船舶航程OD信息。具有高精度、低成本、低计算复杂度、原理简单且适用范围较广等优点，该方法可应用于大范围的船舶航程OD信息提取，计算所需数据均可从公开的数据提供者处获得，因此本发明具有很大的实用和推广价值。推广价值。推广价值。


技术研发人员：信睿 潘佳乐 张玉娟 张倩然 艾波 宿殿鹏 杨剑
受保护的技术使用者：山东科技大学
技术研发日：2023.09.01
技术公布日：2023/10/7