一种基于AIS、深度学习和单目测距的船舶自动瞭望系统和方法与流程

一种基于ais、深度学习和单目测距的船舶自动瞭望系统和方法
技术领域
1.本发明涉及智能船舶领域，具体涉及一种基于ais、深度学习和单目测距的船舶自动瞭望系统和方法。


背景技术：

2.在智能船舶领域，船舶驾驶主要还是靠人工瞭望，随着深度学习算法对于图像的处理的成熟，将深度学习技术运用于智能船舶驾驶领域，实现ais信息和视频图像的融合，使得周围船舶信息直观化、可视化，使得船舶驾驶更加智能化、便捷化、高效化，大大增强船舶行驶过程中的安全性。
3.传统的人工瞭望，主要靠驾驶人员每间隔一定时间就要观察一下驾驶舱外的情况。但是人工的瞭望方式主要依赖于驾驶人员的主动性，而一旦有丝毫的疏漏，就有可能造成船舶安全事故的发生。而自动瞭望技术可以24小时不间断全方位瞭望，以辅助驾驶员观测海面情况，并且在夜间也具备一定的可观测范围。同时在恶劣天气下仍可正常工作，辅助船舶的驾驶员观测海面情况。算法能够识别各种海面上的船舶，以警示船舶的驾驶人员。
4.深度学习的出现使得计算机能够像人类一样较精准的识别船舶等目标，完全排除了光线、船舶晃动等干扰。视频测距算法可以精准的计算出视频内的船舶距离本船的距离和角度。
5.但目前还未有技术将ais、深度学习和视频测距即单目测距结合起来形成匹配的算法，辅助船员在船舶行驶过程中，协助观察船舶周围的情况，以提高船员警惕，大大提升了船舶行驶过程中的安全性和可靠性。


技术实现要素：

6.为弥补人工瞭望的间断性和非实时性，以及夜间瞭望和恶劣天气下瞭望不清楚、可视范围狭窄导致船舶驾驶人员不能直观、可视化的了解海面船舶信息的问题，本发明提供了一种基于ais、深度学习和单目测距的船舶自动瞭望系统和方法。将ais数据与目标识别和单目测距方法计算的对方船舶到本船的距离和角度深度融合，实现24小时自动瞭望。也具备一定的可观测范围；减少了驾驶人员工作量，增强了船舶行驶过程中的安全性和可靠性。
7.一种基于ais、深度学习和单目测距的船舶自动瞭望系统，包括：
8.海面目标检测单元：所述海面目标检测单元利用摄像机实时拍摄附近海面，捕捉拍摄海面视频图像，并检测视频中是否存在船舶目标，若存在船舶目标将其视为对方船舶，通过深度学习技术识别该目标并进行目标跟踪；
9.ais数据处理单元：所述ais数据处理单元包括接收船舶ais数据的ais数据接收模块，并对接收到的船舶ais数据进行处理、筛选和计算的ais数据处理模块；所述接收到的船舶ais数据包括本船和对方船舶ais数据；所述计算是根据筛选后本船和对方船舶的ais数
据计算两船之间的距离和角度；
10.单目测距单元：所述单目测距单元获取所述海面目标检测单元中包含对方船舶信息的视频图像，通过单目测距方法计算所述对方船舶与本船之间的距离和角度；
11.视频船体和ais数据匹配单元：将所述ais数据处理单元计算的本船和对方船舶之间的距离和角度与所述单目测距单元计算的所述对方船舶与本船之间的距离和角度进行匹配，并将所述匹配结果输出到可视化视频界面；
12.可视化视频界面：接收所述视频船体和ais数据匹配单元的对方船舶与本船之间的距离和角度匹配结果和海面目标检测单元的视频画面，并实时显示在可视化视频界面。
13.进一步地，所述海面目标检测单元通过目标识别训练模块和目标跟踪模块识别视频中船舶目标；所述目标识别训练模块采用深度学习yolov5算法进行移动目标的打标、训练；所述目标跟踪模块借助经过训练的yolov5算法对视频中的船舶目标识别并进行目标跟踪，给出跟踪的目标框坐标及跟踪id。
14.进一步地，所述yolov5算法利用nvidia的deepstream框架进行视频分析，使用了deepstream中读取数据源、视频解码、图像预处理、模型推理、预测结果可视化和结果后的目标跟踪单元。
15.进一步地，所述ais数据接收模块使用无线电设备,以tdma的通信方式接收海面上规定范围内的实时船舶ais数据；所述ais数据内容包含船舶识别编码、海上移动业务识别码、呼号、船名、船宽及船舶类型、定位仪天线在船上的位置、船吃水深度等静态信息，船舶经纬度、utc时间和真航向的动态信息。
16.进一步地，所述ais数据处理模块对接收到的船舶ais数据进行处理、筛选和计算的方法为：
17.s1：实时更新本船的ais信息，记录本船经纬度、真航向、吃水深度等信息；
18.s2：对除本船外的所有船舶ais信息进行记录，并根据筛选条件对ais数据进行筛选，根据经纬度数据描绘其行驶轨迹；根据本船的的经纬度，以及对方船舶的经纬度，计算对方船舶相对于本船的距离da，以及两船连线和地球正北方向的夹角；根据本船真航向ts，计算对方船舶相对于本船的角度aa；
19.s3：对于丢失的ais数据，根据船舶经纬度信息及航速信息，预测船舶的实时经纬度，描绘出预测行驶轨迹。
20.进一步地，所述筛选条件包括：
21.d.去除经纬度不合规的数据，包括经度小于0，或者大于180度；
22.e.去除经纬度跳变较大的数据，比如两次ais数字中经纬度距离大于n海里；
23.f.ais轨迹线路有不正常折角，船只的行驶时为一条圆滑的直线或者曲线，若出现忽然的跳变，计算轨迹线的夹角角度，角度小于某一阈值，则此轨迹有异常；出现一次异常则降低此轨迹的置信度，置信度降低到某一阈值ta，此轨迹作废。
24.进一步地，所述单目测距方法步骤包括：
25.s1：计算相机的安装角度：
26.s2：计算世界坐标系下相机到视频下边缘的距离c；
27.s3：计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy；
28.s4：计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx；
29.s5：利用s3-s4计算的纵向距离dy和横向距离dx计算在世界坐标系下点pt1到相机的距离do和角度ao。
30.进一步地，计算相机安装角度的方法为：
31.s1:根据摄像机的成像原理：根据摄像机自带参数获取视频画面分辨率wi*hi，相机垂直视场角度为2γ，相机焦距f；
32.s2：取视频画面的纵向中轴线上的某条水平横线作为参考目标，此横线的左右两点坐标分别为pta、ptb，此目标中心点坐标为ptc，目标在世界坐标系中宽度为w1；
33.s3：通过相机的垂直视场角计算摄像机的cmos宽度ws：ws＝2ftanγ；
34.s4：根据摄像机的视场角等计算目标在cmos上成像宽度w0：
35.s5：根据s1-s4计算镜头到ptc的实际距离d1：
[0036][0037]
s6：根据相机高度hc与d1计算相机安装角度：
[0038]
进一步地，所述相机高度hc通过相机安装绝对高度和本船吃水深度差值计算求得。
[0039]
进一步地，计算世界坐标系下相机到视频下边缘的距离c的方法为：
[0040][0041]
hc为相机高度、α为相机安装角度和2γ为相机垂直视场角度。
[0042]
进一步地，计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy的方法为:
[0043]
s1：在世界坐标系下，相机高度hc和相机到视频下边缘pt0的距离c的关系为：
[0044][0045]
s2：在世界坐标系下，相机高度hc和纵向距离dy的关系为：
[0046][0047]
dy＝y+c
[0048]
s3:在世界坐标系下，对方船舶的位置pt1在画面纵向中轴线的水平投影点为pt3，求出pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角β:
[0049][0050]
s4：求出在世界坐标系下对方船舶位置pt1到相机的纵向距离，即pt3到相机的距离dy；
[0051]
其中：α为相机安装角度，2γ为相机垂直视场角度，py为pt3和pt0在cmos上的距离，f为相机焦距，y为pt3到pt0的距离，c为相机到视频下边缘的纵向距离。
[0052]
进一步地，计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx的方法为，
[0053]
s1：在世界坐标系下，对方船舶的位置pt1在画面横向中轴线的水平投影点为pt4，求出pt4到相机镜头的实际距离d4：
[0054][0055]
hc为相机高度，α为相机安装角度，β为在世界坐标系下pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角；
[0056]
s2：求出pt1和pt0在cmos上的横向距离px:
[0057][0058]
ws为摄像机的cmos宽度，wi*hi为摄像机的视频画面分辨率，w1为世界坐标系目标的宽度；
[0059]
s3:依据摄像机成像原理得出以下公式，再根据d4和px的值，求出dx；
[0060][0061]
f为相机焦距。
[0062]
进一步地，利用世界坐标系下，对方船舶位置pt1到相机的横向距离dx和对方船舶位置pt1到相机的纵向距离dy计算点pt1到相机的世界坐标系距离do和角度ao的方法为：
[0063][0064][0065]
一种基于ais、深度学习和单目测距的船舶自动瞭望方法，步骤如下：
[0066]
s1：利用ais数据计算本船和对方船舶之间距离和角度：通过获取ais数据，筛选ais数据，计算船舶ais轨迹，根据船舶ais轨迹计算本船和对方船舶之间距离和角度；
[0067]
s2:计算相机角度，实时更新相机高度；
[0068]
s3：利用目标识别和单目测距法计算本船和对方船舶之间距离和角度：首先进行船只目标识别并获取船只目标轨迹，利用s2中相机角度和高度和单目测距模块计算本船和对方船舶之间距离和角度；
[0069]
s4：将ais数据计算的本船和对方船舶之间距离和角度和利用目标识别和单目测距法计算本船和对方船舶之间距离和角度进行匹配，将匹配结果显示在由权利要求1-13所述系统的可视化界面。
[0070]
本发明提出了一种基于ais、深度学习和单目测距的船舶自动瞭望系统和方法，将ais、深度学习和单目测距技术深度结合，实现了船舶不间断的自动瞭望。本发明分别利用海面目标检测单元的深度学习技术进行目标识别、利用ais数据处理单元的对ais数据进行处理、筛选后计算本船和对方船舶之间的距离和角度、同时单目测距单元与海面目标检测单元的视频识别目标与单目测距技术计算出本船和对方船舶之间的距离和角度并进行实时匹配，实现了ais、深度学习和单目测距技术的深度结合，可视化视频界面可以不间断展示匹配后的本船和对方船舶之间的距离和角度信息，使该系统能够可以24小时不间断瞭望，并且在夜间和恶劣天气下也能获取匹配数据，使该系统具备恶劣条件下一定的可观测
范围。同时，将ais信息匹配到视频画面上能够在可视化界面更清楚、直观展示周围船舶信息，使该瞭望系统可以直观、准确获取船舶周围环境信息；同时，该自助瞭望系统也减少了驾驶人员的工作量，并且安装简单，只需要在驾驶室附近安装一个大视场角的摄像头，另外再配一个做图像处理的工控机即可。
附图说明
[0071]
图1一种基于ais、深度学习和单目测距的船舶自动瞭望系统结构图。
[0072]
图2一种基于ais、深度学习和单目测距的船舶自动瞭望算法流程图。
[0073]
图3单目测距方法示意图。
具体实施方式
[0074]
下面结合附图和实施例对本发明作进一步说明，本发明的目的是实时监控海面上的船舶并显示船舶相关信息，帮助驾驶人员观测海面情况，实现24小时自动瞭望。本发明的初衷是减少船舶人工瞭望的工作量，弥补人工瞭望以及夜间瞭望的不足，提供一个直观化、可视化的自动瞭望工具。本发明提供了一种基于ais、深度学习和单目测距的船舶自动瞭望算法，并应用于系统。
[0075]
如图1所示，一种基于ais、深度学习和单目测距的船舶自动瞭望系统，包括：
[0076]
海面目标检测单元：所述海面目标检测单元利用摄像机拍摄附近海面，捕捉拍摄海面视频图像，并检测视频中是否存在船舶目标，若存在船舶目标将其视为对方船舶，识别该目标并进行目标跟踪；
[0077]
ais数据处理单元：所述ais数据处理单元包括接收船舶ais数据的ais数据接收模块，并对接收到的船舶ais数据进行处理、筛选和计算的ais数据处理模块；所述接收到的船舶ais数据包括本船和对方船舶ais数据；所述计算是根据筛选后本船和对方船舶的ais数据计算两船之间的距离和角度；
[0078]
单目测距单元：所述单目测距单元获取所述海面目标检测单元中包含对方船舶信息的视频图像，通过单目测距方法计算所述对方船舶与本船之间的距离和角度；
[0079]
视频船体和ais数据匹配单元：将所述ais数据处理单元计算的本船和对方船舶之间的距离和角度与所述单目测距单元计算的所述对方船舶与本船之间的距离和角度进行匹配，并将所述匹配结果输出到可视化视频界面；
[0080]
可视化视频界面：接收所述视频船体和ais数据匹配单元的对方船舶与本船之间的距离和角度匹配结果和海面目标检测单元的视频画面，并实时显示在可视化视频界面。
[0081]
所述海面目标检测单元通过目标识别训练模块和目标跟踪模块识别视频中船舶目标；所述目标识别训练模块采用深度学习yolov5算法进行移动目标的打标、训练；所述目标跟踪模块借助经过训练的yolov5算法对视频中的船舶目标识别并进行目标跟踪，给出跟踪的目标框坐标及跟踪id。
[0082]
因为目前基于深度学习理论的目标检测算法，主要分为以yolo为代表的one-stage系列算法，特点是准确率相对低一点但检测速度很快。以faster-rcnn为代表的two-stage系列算法，特点是准确率高但检测速度慢。为了提高算法的检测效率，我们采用了最新的yolov5深度学习算法。
[0083]
所述yolov5算法利用nvidia的deepstream框架进行视频分析，使用了deepstream中读取数据源、视频解码、图像预处理、模型推理、预测结果可视化和结果后的目标跟踪单元。
[0084]
所述ais数据接收模块使用无线电设备,以tdma的通信方式接收海面上规定范围内的实时船舶ais数据；所述ais数据内容包含船舶识别编码、海上移动业务识别码、呼号、船名、船宽及船舶类型、定位仪天线在船上的位置、船吃水深度等静态信息，船舶经纬度、utc时间和真航向的动态信息。
[0085]
ais信息不是100％准确，会出现一定量的错误信息。所述ais数据处理模块对接收到的船舶ais数据进行处理、筛选和计算的方法为：
[0086]
s1：实时更新本船的ais信息，记录本船经纬度、真航向、吃水深度等信息；
[0087]
s2：对除本船外的所有船舶ais信息进行记录，并根据筛选条件对ais数据进行筛选，根据经纬度数据描绘其行驶轨迹；根据本船的的经纬度，以及对方船舶的经纬度，计算对方船舶相对于本船的距离da，以及两船连线和地球正北方向的夹角；根据本船真航向ts，计算对方船舶相对于本船的角度aa；
[0088]
s3：对于丢失的ais数据，根据船舶经纬度信息及航速信息，预测船舶的实时经纬度，描绘出预测行驶轨迹。
[0089]
所述筛选条件包括：
[0090]
1)去除经纬度不合规的数据，包括经度小于0，或者大于180度；
[0091]
2)去除经纬度跳变较大的数据，比如两次ais数字中经纬度距离大于n海里；
[0092]
3)ais轨迹线路有不正常折角，船只的行驶时为一条圆滑的直线或者曲线，若出现忽然的跳变，计算轨迹线的夹角角度，角度小于某一阈值，则此轨迹有异常；出现一次异常则降低此轨迹的置信度，置信度降低到某一阈值ta，此轨迹作废。
[0093]
单目测距的前提是需要提前预设相机的安装高度及角度。但由于上船安装调试的不方便性，算法必须要尽可能的减少人工干预，尽可能多的自动计算。
[0094]
如图3所示，所述单目测距方法步骤包括：
[0095]
s1：计算相机的安装角度：
[0096]
s2：计算世界坐标系下相机到视频下边缘的距离c；
[0097]
s3：计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy；
[0098]
s4：计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx；
[0099]
s5：利用s3-s4计算的纵向距离dy和横向距离dx计算在世界坐标系下点pt1到相机的距离do和角度ao。
[0100]
计算相机安装角度的方法为：
[0101]
s1:根据摄像机的成像原理：根据摄像机自带参数获取视频画面分辨率wi*hi，相机垂直视场角度为2γ，相机焦距f；
[0102]
s2：取视频画面的纵向中轴线上的某条水平横线作为参考目标，此横线的左右两点坐标分别为pta、ptb，此目标中心点坐标为ptc，目标在世界坐标系中宽度为w1；
[0103]
s3：通过相机的垂直视场角计算摄像机的cmos宽度ws：ws＝2ftanγ；
[0104]
s4：根据摄像机的视场角等计算目标在cmos上成像宽度w0：
[0105]
s5：根据s1-s4计算镜头到ptc的实际距离d1：
[0106][0107]
s6：根据相机高度hc与d1计算相机安装角度：
[0108]
所述相机高度hc通过相机安装绝对高度和本船吃水深度差值计算求得。
[0109]
计算世界坐标系下相机到视频下边缘的距离c的方法为：
[0110][0111]
hc为相机高度、α为相机安装角度和2γ为相机垂直视场角度。
[0112]
计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy的方法为:
[0113]
s1：在世界坐标系下，相机高度hc和相机到视频下边缘pt0的距离c的关系为：
[0114][0115]
s2：在世界坐标系下，相机高度hc和纵向距离dy的关系为：
[0116][0117]
dy＝y+c
[0118]
s3:在世界坐标系下，对方船舶的位置pt1在画面纵向中轴线的水平投影点为pt3，求出pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角β:
[0119][0120]
s4：求出在世界坐标系下对方船舶位置pt1到相机的纵向距离，即pt3到相机的距离dy；
[0121]
其中：α为相机安装角度，2γ为相机垂直视场角度，py为pt3和pt0在cmos上的距离，f为相机焦距，y为pt3到pt0的距离，c为相机到视频下边缘的纵向距离。
[0122]
计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx的方法为，
[0123]
s1：在世界坐标系下，对方船舶的位置pt1在画面横向中轴线的水平投影点为pt4，求出pt4到相机镜头的实际距离d4：
[0124][0125]
hc为相机高度，α为相机安装角度，β为在世界坐标系下pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角；
[0126]
s2：求出pt1和pt0在cmos上的横向距离px:
[0127][0128]
ws为摄像机的cmos宽度，wi*hi为摄像机的视频画面分辨率，w1为世界坐标系目标
的宽度；
[0129]
s3:依据摄像机成像原理得出以下公式，再根据d4和px的值，求出dx；
[0130][0131]
f为相机焦距。
[0132]
利用世界坐标系下，对方船舶位置pt1到相机的横向距离dx和对方船舶位置pt1到相机的纵向距离dy计算点pt1到相机的世界坐标系距离do和角度ao的方法为：
[0133][0134][0135]
匹配以深度学习检测出的目标为主，为其匹配相应的ais信息。主要根据为：视频上通过单目测距计算出的船舶距离do和角度ao，ais数据计算出的船舶距离da和aa，两相对应，给出匹配结果。
[0136]
1、匹配的角度和距离阈值根据da的大小进行调整。
[0137]
2、为了减少误匹配，需要判断新的匹配结果的航向趋势和ais信息的航向趋势是否一致。
[0138]
3、同一识别码的船舶，只要匹配上一次，后续不再进行重新匹配。但是会实时计算其距离及角度差，如果距离差或者角度差越来越大，则解除匹配。
[0139]
匹配结果实时输出现实于视频画面上，驾驶人员可以通过视频画面实时观看了解对应船只的相应信息。
[0140]
以上为基于ais和深度学习技术的船舶自动瞭望算法的全部过程，与传统的人工瞭望方式相比，本发明具有以下的技术优势：
[0141]
1、可以24小时不间断瞭望。
[0142]
2、在夜间和恶劣天气下也具备一定的可观测范围。
[0143]
3、周围船舶信息更加直观化、可视化。
[0144]
减少了驾驶人员的工作量。
[0145]
如图2所示，一种基于ais、深度学习和单目测距的船舶自动瞭望方法，步骤如下：
[0146]
s1：利用ais数据计算本船和对方船舶之间距离和角度：通过获取ais数据，筛选ais数据，计算船舶ais轨迹，根据船舶ais轨迹计算本船和对方船舶之间距离和角度；
[0147]
s2:计算相机角度，实时更新相机高度；
[0148]
s3：利用目标识别和单目测距法计算本船和对方船舶之间距离和角度：首先进行船只目标识别并获取船只目标轨迹，利用s2中相机角度和高度和单目测距模块计算本船和对方船舶之间距离和角度；
[0149]
s4：将ais数据计算的本船和对方船舶之间距离和角度和利用目标识别和单目测距法计算本船和对方船舶之间距离和角度进行匹配，将匹配结果显示所述系统的可视化界面。
[0150]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其
发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，包括：海面目标检测单元：所述海面目标检测单元利用摄像机实时拍摄附近海面，捕捉拍摄海面视频图像，并检测视频中是否存在船舶目标，若存在船舶目标将其视为对方船舶，通过深度学习技术识别该目标并进行目标跟踪；ais数据处理单元：所述ais数据处理单元包括接收船舶ais数据的ais数据接收模块，并对接收到的船舶ais数据进行处理、筛选和计算的ais数据处理模块；所述接收到的船舶ais数据包括本船和对方船舶ais数据；所述计算是根据筛选后本船和对方船舶的ais数据计算两船之间的距离和角度；单目测距单元：所述单目测距单元获取所述海面目标检测单元中包含对方船舶信息的视频图像，通过单目测距方法计算所述对方船舶与本船之间的距离和角度；视频船体和ais数据匹配单元：将所述ais数据处理单元计算的本船和对方船舶之间的距离和角度与所述单目测距单元计算的所述对方船舶与本船之间的距离和角度进行匹配，并将所述匹配结果输出到可视化视频界面；可视化视频界面：接收所述视频船体和ais数据匹配单元的对方船舶与本船之间的距离和角度匹配结果和海面目标检测单元的视频画面，并实时显示在可视化视频界面。2.由权利要求1所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述海面目标检测单元通过目标识别训练模块和目标跟踪模块识别视频中船舶目标；所述目标识别训练模块采用深度学习yolov5算法进行移动目标的打标、训练；所述目标跟踪模块借助经过训练的yolov5算法对视频中的船舶目标识别并进行目标跟踪，给出跟踪的目标框坐标及跟踪id。3.由权利要求2所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述yolov5算法利用nvidia的deepstream框架进行视频分析，使用了deepstream中读取数据源、视频解码、图像预处理、模型推理、预测结果可视化和结果后的目标跟踪单元。4.由权利要求1或3所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述ais数据接收模块使用无线电设备,以tdma的通信方式接收海面上规定范围内的实时船舶ais数据；所述ais数据内容包含船舶识别编码、海上移动业务识别码、呼号、船名、船宽及船舶类型、定位仪天线在船上的位置、船吃水深度等静态信息，船舶经纬度、utc时间和真航向的动态信息。5.由权利要求1或4所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述ais数据处理模块对接收到的船舶ais数据进行处理、筛选和计算的方法为：s1：实时更新本船的ais信息，记录本船经纬度、真航向、吃水深度等信息；s2：对除本船外的所有船舶ais信息进行记录，并根据筛选条件对ais数据进行筛选，根据经纬度数据描绘其行驶轨迹；根据本船的的经纬度，以及对方船舶的经纬度，计算对方船舶相对于本船的距离da，以及两船连线和地球正北方向的夹角；根据本船真航向ts，计算对方船舶相对于本船的角度aa；s3：对于丢失的ais数据，根据船舶经纬度信息及航速信息，预测船舶的实时经纬度，描绘出预测行驶轨迹。6.由权利要求5所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特
征在于，所述筛选条件包括：a.去除经纬度不合规的数据，包括经度小于0，或者大于180度；b.去除经纬度跳变较大的数据，比如两次ais数字中经纬度距离大于n海里；c.ais轨迹线路有不正常折角，船只的行驶时为一条圆滑的直线或者曲线，若出现忽然的跳变，计算轨迹线的夹角角度，角度小于某一阈值，则此轨迹有异常；出现一次异常则降低此轨迹的置信度，置信度降低到某一阈值ta，此轨迹作废。7.由权利要求1或6所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述单目测距方法步骤包括：s1：计算相机的安装角度：s2：计算世界坐标系下相机到视频下边缘的距离c；s3：计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy；s4：计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx；s5：利用s3-s4计算的纵向距离dy和横向距离dx计算在世界坐标系下点pt1到相机的距离do和角度ao。8.由权利要求7所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，计算相机安装角度的方法为：s1:根据摄像机的成像原理：根据摄像机自带参数获取视频画面分辨率wi*hi，相机垂直视场角度为2γ，相机焦距f；s2：取视频画面的纵向中轴线上的某条水平横线作为参考目标，此横线的左右两点坐标分别为pta、ptb，此目标中心点坐标为ptc，目标在世界坐标系中宽度为w1；s3：通过相机的垂直视场角计算摄像机的cmos宽度ws：ws＝2ftanγ；s4：根据摄像机的视场角等计算目标在cmos上成像宽度w0：s5：根据s1-s4计算镜头到ptc的实际距离d1：s6：根据相机高度hc与d1计算相机安装角度：9.由权利要求8所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，所述相机高度hc通过相机安装绝对高度和本船吃水深度差值计算求得。10.由权利要求9所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，计算世界坐标系下相机到视频下边缘的距离c的方法为：hc为相机高度、α为相机安装角度和2γ为相机垂直视场角度。11.由权利要求10所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，计算在世界坐标系下对方船舶位置pt1到相机的纵向距离dy的方法为:s1：在世界坐标系下，相机高度hc和相机到视频下边缘pt0的距离c的关系为：
s2：在世界坐标系下，相机高度hc和纵向距离dy的关系为：dy＝y+cs3:在世界坐标系下，对方船舶的位置pt1在画面纵向中轴线的水平投影点为pt3，求出pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角β:s4：求出在世界坐标系下对方船舶位置pt1到相机的纵向距离，即pt3到相机的距离dy；其中：α为相机安装角度，2γ为相机垂直视场角度，py为pt3和pt0在cmos上的距离，f为相机焦距，y为pt3到pt0的距离，c为相机到视频下边缘的纵向距离。12.由权利要求10所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，计算在世界坐标系下对方船舶位置pt1到相机的横向距离dx的方法为，s1：在世界坐标系下，对方船舶的位置pt1在画面横向中轴线的水平投影点为pt4，求出pt4到相机镜头的实际距离d4：hc为相机高度，α为相机安装角度，β为在世界坐标系下pt3与相机镜头的连线、视频下边缘的位置pt0与相机镜头连线的夹角；s2：求出pt1和pt0在cmos上的横向距离px:ws为摄像机的cmos宽度，wi*hi为摄像机的视频画面分辨率，w1为世界坐标系目标的宽度；s3:依据摄像机成像原理得出以下公式，再根据d4和px的值，求出dx；f为相机焦距。13.由权利要求11和12所述的一种基于ais、深度学习和单目测距的船舶自动瞭望系统，其特征在于，世界坐标系下，计算点pt1到相机的世界坐标系距离do和角度ao的方法为：统，其特征在于，世界坐标系下，计算点pt1到相机的世界坐标系距离do和角度ao的方法为：所述pt1为对方船舶位置，所述dx为对方船舶位置pt1到相机的横向距离，所述dy为对方船舶位置pt1到相机的纵向距离。14.一种基于ais、深度学习和单目测距的船舶自动瞭望方法，其特征在于，步骤如下：
s1：利用ais数据计算本船和对方船舶之间距离和角度：通过获取ais数据，筛选ais数据，计算船舶ais轨迹，根据船舶ais轨迹计算本船和对方船舶之间距离和角度；s2:计算相机角度，实时更新相机高度；s3：利用目标识别和单目测距法计算本船和对方船舶之间距离和角度：首先进行船只目标识别并获取船只目标轨迹，利用s2中相机角度和高度和单目测距模块计算本船和对方船舶之间距离和角度；s4：将ais数据计算的本船和对方船舶之间距离和角度和利用目标识别和单目测距法计算本船和对方船舶之间距离和角度进行匹配，将匹配结果显示在由权利要求1-13之一所述系统的可视化界面。

技术总结
本发明提出一种基于AIS、深度学习和单目测距的船舶自动瞭望系统和方法，所述系统包括：海面目标检测单元：通过深度学习技术识别该目标并进行目标跟踪；AIS数据处理单元：对接收到的船舶AIS数据进行处理、筛选和计算筛选后本船和对方船舶之间的距离和角度；单目测距单元：所述单目测距单元通过单目测距方法计算所述对方船舶与本船之间的距离和角度；视频船体和AIS数据匹配单元：将所述AIS数据处理单元计算的本船和对方船舶之间的距离和角度与所述单目测距单元计算结果进行匹配，并将所述匹配结果输出到可视化视频界面；可视化视频界面。本发明将AIS、深度学习和单目测距技术深度结合，实现了船舶不间断的自动瞭望，特别是恶劣天气下也具有一定的观测范围。劣天气下也具有一定的观测范围。劣天气下也具有一定的观测范围。


技术研发人员：于艳玲 李川
受保护的技术使用者：上海船舶运输科学研究所有限公司
技术研发日：2023.01.13
技术公布日：2023/5/9