基于视频识别与AIS数据融合的船舶移动标签跟踪方法与流程

基于视频识别与ais数据融合的船舶移动标签跟踪方法
技术领域
1.本发明涉及船舶监控技术领域，特别涉及一种基于视频识别与ais数据融合的船舶移动标签跟踪方法。


背景技术：

2.目前，海上监控船舶的方法一般包括有两种，一种是：基于机器视觉与多源数据融合的海上船舶检测方法。该方法结合yolov5目标检测算法、雷达、普通监控设备以及ais系统实现海上监控船舶；另一种海上监控船舶方法是：基于视觉与多源雷达的自适应加权数据融合方法。此方案与方案一类似，主要是通过利用视觉传感器获取目标船舶的图像信息中的位置和雷达传感器获取目标船舶的数据信息中的位置，对二者进行融合，从而提高了视觉信息与雷达、ais位置信息融合的准确性。
3.上述两种海上船舶监控方法都存在以下缺陷：一、该上述方案需要融合多个设备的数据，系统部署较为复杂，成本较高；二、该上述方案的视频监控设备只能监控近距离的船舶，该设备监控能力较差，无法获取远距离目标信息；三、由于雷达无法判断障碍物类型，同样导致无法对远距离船舶的跟踪定位；四、该上述方法准确率难以保证，当船舶之间距离较近时，容易将距离较近的船舶目标识别为一个目标。五、ais数据更新频率较慢，船舶跟踪容易发生漂移。


技术实现要素：

4.本发明的主要目的是克服上述技术缺陷，提供一种不仅可以对近远距离海上船舶进行监控，还可以通过视频识别与ais数据相融合，简化了监控跟踪和实现难度，降低了成本，以移动标签自动跟踪的方式实现对过往船舶的跟踪监控的一种基于视频识别与ais数据融合的船舶移动标签跟踪方法。
5.为实现上述发明目的，本发明提出一种基于视频识别与ais数据融合的船舶移动标签跟踪方法，包括如下方法：步骤1）将船舶上传的ais经纬度转为云台安装位置所在坐标系下的笛卡尔坐标数据；步骤2）将该笛卡尔坐标数据传输至视频识别装置坐标下；步骤3）依据视频识别装置坐标数据，对船舶出现的位置进行预测；步骤4）将预测到的坐标位置转为图像坐标；步骤5）将图像坐标转为屏幕坐标，通过船舶ais经纬度数据计算出船舶处于屏幕中的位置；步骤6）将由ais数据计算出的船舶在屏幕中的位置、视频识别装置中得到的船舶
在屏幕中的位置进行线性融合计算，得出船舶应处于屏幕中的位置；步骤7）、获取到实时船舶屏幕坐标后，将移动标签与船舶屏幕坐标绑定，实现移动标签的跟踪挂牌。
6.所述视频识别装置包括ar鹰眼识别设备。
7.所述步骤1）通过船舶上传ais数据，所述ar鹰眼识别设备识别进入监控区域的船舶。
8.所述步骤3）包括对船舶的下一时刻的在ar鹰眼相机坐标下的坐标位置进行预测，预测出下一时刻船舶的相机坐标位置。
9.所述步骤6）包括将ar鹰眼识别设备检测得到的船舶在屏幕中的坐标与由ais的经纬度坐标计算出的船舶在屏幕中的坐标进行融合计算，得出船舶在屏幕中实时的位置。
10.所述步骤6）包括通过ar鹰眼识别设备检测得到的船舶经纬度坐标与ais的经纬度坐标进行融合计算，避免标签出现异常或标签发生漂移的情况。
11.所述步骤7）计算得到船舶的屏幕坐标后，通过限制移动标签在屏幕坐标与船舶在屏幕坐标的欧式距离，将移动标签与船舶绑定，通过获取ais数据中的船舶属性数据，将船舶属性显示在移动标签中。
12.本发明提供技术方案的有益效果是：本发明基于视频识别设备，对海上过往船舶进行监控，通过融合船舶的ais数据信息和ar鹰眼设备的视频数据，实现在监控视频中自动对过往船舶的船号等信息的标注，并使标注的标签能够持续跟踪定位船舶；本发明可以对近远距离海上船舶进行监控，简化了监控跟踪和实现难度，以移动标签自动跟踪的方式实现对过往船舶的跟踪监控；本发明方法易于操作，降低了成本，适于普遍推广。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
14.图1为本发明实施例一种基于视频识别与ais数据融合的船舶移动标签跟踪方法流程图；图2为本发明实施例一种基于视频识别与ais数据融合的船舶移动标签跟踪方法另一流程图；图3为本发明实施例一种基于视频识别与ais数据融合的船舶移动标签跟踪方法的数据获取和处理方框图;图4为本发明实施例一种基于视频识别与ais数据融合的船舶移动标签跟踪方法的经纬度计算示意图。
15.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基
于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后
……
）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
18.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
19.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
20.本发明提出一种基于视频识别与ais数据融合的船舶移动标签跟踪方法。
21.参照图1，在本发明一实施例中，该基于视频识别与ais数据融合的船舶移动标签跟踪方法，包括如下方法：步骤1）步骤1）将船舶上传的ais经纬度转为云台安装位置所在坐标系下的笛卡尔坐标数据s100；步骤2）将该笛卡尔坐标数据传输至视频识别装置坐标下；本实施例，优选地，所述所述视频识别装置包括ar鹰眼识别设备；该ar鹰眼识别设备包括ar鹰眼云台；步骤2）中包括将ar鹰眼云台下的笛卡尔坐标进行坐标转换s200；将转换后的坐标数据传输至ar鹰眼云台坐标下s300；步骤3）依据视频识别装置坐标数据，对船舶出现的位置进行预测s400；步骤4）将预测到的坐标位置转为图像坐标s500；步骤5）将图像坐标转为屏幕坐标s600；所述步骤5）通过船舶ais经纬度数据计算出船舶处于屏幕中的位置，也就是计算出船舶处于屏幕中的坐标s700；步骤6）将由ais数据计算出的船舶在屏幕中的位置、视频识别装置中得到的船舶在屏幕中的位置进行线性融合计算，得出船舶应处于屏幕中的位置s800；步骤7）、获取到实时船舶屏幕坐标后，将移动标签与船舶屏幕坐标绑定，实现移动标签的跟踪挂牌s900。
22.本实施例，优选地，所述步骤1）通过船舶上传ais数据，所述ar鹰眼识别设备识别进入监控区域的船舶。
23.本实施例，本发明所述的ais表示为船舶自动识别系统(automatic identification system，ais)；ais的经纬度坐标表示为船舶自动识别系统的经纬度坐标。
24.本实施例中，所述移动标签监控视频中自动对过往船舶的船号等信息的标注标签；优选地，以窗口展示在船舶右上方。
25.本实施例中，优选地，所述步骤3）包括对船舶的下一时刻的在ar鹰眼相机坐标下的坐标位置进行预测，预测出下一时刻船舶的相机坐标位置。
26.所述步骤3）包括对船舶的未来时刻的在ar鹰眼相机坐标下的坐标位置进行预测，预测出下一时刻船舶的相机坐标位置本实施例中，优选地，所述步骤6）将ar鹰眼识别设备检测得到的船舶在屏幕中的坐标与由ais的经纬度坐标计算出的船舶在屏幕中的坐标进行融合计算，得出船舶在屏幕中实时的位置。
27.参看图4，本实施中，所述融合计算包括：（1）由ais坐标计算得到船只位于以ａｒ鹰眼为坐标原点的坐标系的位置：纬度离心率系数：；纬度方向的距离： ；经度方向的距离： ；其中：d为纬度离心率系数；er为地球赤道半径；pr为地球极半径；lat为纬度；lon为经度；ais为船舶位置；il为云台安装位置。
28.（2）ar鹰眼与云台安装位置存在坐标变换关系，假设变换关系为ｒ，平移关系为ｔ，则船舶相对于ａｒ鹰眼的坐标位置为： ; （3）使用霍尔特指数预测船舶下一位置：（3）使用霍尔特指数预测船舶下一位置：（3）使用霍尔特指数预测船舶下一位置：
ꢀ
；其中，t为船舶向ar鹰眼上传ａｉｓ数据的频率； s
f(t)
为时间序列第ｔ期的x
ar
，y
ar
平滑值； a
f(t)
为时间序列第ｔ期的实际值（）；b
f(t)
为时间序列第ｔ期x
ar
，y
ar
的趋势值；f
f(t+m)
为在当前时间序列第ｔ期的基础上预测ｍ期的预测船舶位置（x,y）。
29.（4）经过上面过程，能够通过船舶的ais信息得到船舶在ａｒ鹰眼坐标系的实时预测位置位置，进一步将预测坐标转为图像坐标：
ꢀꢀ
；（5）将图像坐标转为像素坐标：；本实施例，所述线性融合计算包括获取到了由船只ais数据计算得出的船舶在屏幕中的位置。将超脑ai计算到的船舶在屏幕中的位置（设为u
ai
,v
ai
) 与ais预测的船舶在屏幕中的位置（设为u
ais
,v
ais
) 进行线性融合，最后结果为（设为u,v)：
ꢀꢀ
；本实施例，优选地，所述步骤6）包括通过ar鹰眼识别设备检测得到的船舶经纬度坐标与ais的经纬度坐标进行融合计算，避免标签出现异常或标签发生漂移的情况。
30.所述步骤6）包括通过ar鹰眼识别设备检测得到的船舶经纬度坐标与ais的经纬度坐标进行融合计算，避免船舶数量较多的情况下，出现将多条船识别为一条，或者由于船舶相邻太近，标签出现异常（一条船跟随了多个移动标签，标签属性跟船舶不一致等），或者标签发生漂移的情况。
31.本实施例，优选地，所述步骤7）计算得到船舶的屏幕坐标后，通过限制移动标签在屏幕坐标与船舶在屏幕坐标的欧式距离，将移动标签与船舶绑定，通过获取ais数据中的船舶属性数据，将船舶属性显示在移动标签中。
32.本实施例中，所述欧式距离包括：本实施中，所述移动标签在屏幕中的uv坐标为
，船舶在屏幕中的uv坐标为(u,v) ，设两个坐标之间的欧式距离为p，则移动标签与船舶绑定的过程即为将p限制在一定范围内的过程，c为任意常数，该计算公式如下：。
33.参看图3，本发明数据获取主要是基于网络通信获取得到船舶的ais数据、基于ar鹰眼摄像机获取得到过往船舶的实时录像视频流。
34.数据处理与显示部分主要是ar鹰眼识别设备基于获取得到的船舶ais数据以及实时船舶监控视频流，通过坐标转换算法，融合船舶的ais坐标数据和ar相机坐标数据，计算得出船舶标签的实时屏幕坐标。
35.参看图2，本发明获取数据的方法包括如下步骤：步骤i）、ais基站发出数据s800；步骤ii)、通过ais数据接收模块接收数据s810；步骤iii）、将ais数据过滤s820；步骤ⅳ)、所述ais数据通过业务数据管理模块进行分析处理s830；步骤
ⅴ
）、所述ais数据通过标签管理模块生成标签信息s840；步骤ⅵ）、通过ar鹰眼识别设备识别该标签信息s850；进一步，通过识别该标签信息对船舶进行ai识别s851；步骤ⅶ）、通过船舶标签位置计算模块计算出船舶位置s860；步骤
ⅷ
）、通过船舶显示模块显示出船舶位置。
36.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：
1.一种基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：包括如下方法：步骤1）将船舶上传的ais经纬度转为云台安装位置所在坐标系下的笛卡尔坐标数据；步骤2）将该笛卡尔坐标数据传输至视频识别装置坐标下；步骤3）依据视频识别装置坐标数据，对船舶出现的位置进行预测；步骤4）将预测到的坐标位置转为图像坐标；步骤5）将图像坐标转为屏幕坐标，通过船舶ais经纬度数据计算出船舶处于屏幕中的位置；步骤6）将由ais数据计算出的船舶在屏幕中的位置、视频识别装置中得到的船舶在屏幕中的位置进行线性融合计算，得出船舶应处于屏幕中的位置；步骤7）、获取到实时船舶屏幕坐标后，将移动标签与船舶屏幕坐标绑定，实现移动标签的跟踪挂牌。2.根据权利要求1所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述视频识别装置包括ar鹰眼识别设备。3.根据权利要求2所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述步骤1）通过船舶上传ais数据，所述ar鹰眼识别设备识别进入监控区域的船舶。4.根据权利要求2所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述步骤3）包括对船舶的下一时刻的在ar鹰眼相机坐标下的坐标位置进行预测，预测出下一时刻船舶的相机坐标位置。5.根据权利要求2所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述步骤6）包括将ar鹰眼识别设备检测得到的船舶在屏幕中的坐标与由ais的经纬度坐标计算出的船舶在屏幕中的坐标进行融合计算，得出船舶在屏幕中实时的位置。6.根据权利要求2所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述步骤6）包括通过ar鹰眼识别设备检测得到的船舶经纬度坐标与ais的经纬度坐标进行融合计算，避免标签出现异常或标签发生漂移的情况。7.根据权利要求2所述的基于视频识别与ais数据融合的船舶移动标签跟踪方法，其特征在于：所述步骤7）计算得到船舶的屏幕坐标后，通过限制移动标签在屏幕坐标与船舶在屏幕坐标的欧式距离，将移动标签与船舶绑定，通过获取ais数据中的船舶属性数据，将船舶属性显示在移动标签中。

技术总结
本发明公开一种基于视频识别与AIS数据融合的船舶移动标签跟踪方法，包括：1、将船舶上传的AIS经纬度转为笛卡尔坐标数据；2、传输至视频识别装置坐标下；3、对船舶出现的位置进行预测；4、将预测到的坐标位置转为图像坐标；5、将图像坐标转为屏幕坐标；6、得出船舶应处于屏幕中的位置；7、将移动标签与船舶屏幕坐标绑定，实现移动标签的跟踪挂牌。本发明提供一种不仅可以对近远距离海上船舶进行监控，还可以通过视频识别与AIS数据相融合，简化了监控跟踪和实现难度，降低了成本，以移动标签自动跟踪的方式实现对过往船舶的跟踪监控的一种基于视频识别与AIS数据融合的船舶移动标签跟踪方法。方法。方法。


技术研发人员：刘月胜 钟子洋 田池 孙雪涛 易中立
受保护的技术使用者：中华人民共和国深圳海事局
技术研发日：2023.02.21
技术公布日：2023/6/26