基于ZYNQ的无人机平台多传感器数据同步采集系统

基于zynq的无人机平台多传感器数据同步采集系统
技术领域
1.本发明属于无人机平台遥感技术领域，涉及一种无人机平台多传感器数据采集与时间同步系统。


背景技术：

2.随着无人机平台遥感技术的迅猛发展，激光雷达技术和多光谱遥感技术分别在无人机平台得到了广泛的应用。激光雷达技术具有目标空间三维信息快速精细获取特点，但存在光谱信息获取能力十分有限的问题。多光谱遥感技术能够获取目标较丰富光谱的光谱信息，但存在空间分辨率较低和灵敏度较差的问题。单一激光雷达技术或多光谱遥感技术虽然单方面优势突出，但无法同步获取目标空间三维-光谱信息，难以满足精细化应用需求。
3.多光谱激光雷达集成探测技术将激光雷达技术与多光谱遥感技术相结合，充分发挥两种技术各自优势，能够获取目标的空间三维信息和光谱信息，在众多学科和领域上极具应用潜力。然而，将激光雷达技术和多光谱遥感技术简单结合，无法实现空间三维信息和光谱信息时间同步获取或者时间同步误差较大的问题，严重影响其实际应用，当前亟需基于激光雷达与多光谱相机的一体化采集存储与时间同步系统研究。


技术实现要素：

4.本发明为了解决现有系统对无人机搭载的激光雷达与多光谱相机等不能进行同步采集或者同步误差较大的问题。
5.基于zynq的无人机平台多传感器数据同步采集系统，包括时间同步子系统；
6.所述时间同步子系统的同步过程包括以下步骤：
7.基于惯性导航板卡，对多光谱相机图像、激光雷达原始数据进行同步打上相同的时间戳，惯性导航板卡的一个串行通讯端口输出位姿数据提供位置姿态信息，经过转换电路后串口输出信息；惯性导航板卡的另一个串行通讯端口输出推荐定位信息；
8.在zynq开发板内部设计有持续时间同步触发信号发生器，用于输出持续时间同步触发信号；当zynq开发板内部设置的毫秒定时计时每满一秒或者当惯性导航板卡接收到卫星gps信号的秒脉冲上升沿时，由持续时间同步触发信号发生器输出一个高电平作为持续时间同步触发信号，并同时清空毫秒定时器，循环重复；
9.当惯性导航板卡能够正常接收到来自卫星gps信号的秒脉冲时，接收到gps信号的秒脉冲的上升沿时刻立即清空毫秒定时器，并由持续时间同步触发信号发生器输出高电平，即新的持续时间同步触发信号；在惯性导航板卡接收卫星gps信号、由惯性导航板卡输出的秒脉冲生成持续时间同步触发信号的同时，记录毫秒定时器所计数的一秒时长与utc时间真实的一秒时长的差值，记录差值并将当前时刻的前n个差值按权重进行加权平均处理，记为修正误差e；当惯性导航板卡无法正常接收来自卫星gps信号的秒脉冲时，毫秒定时器满一秒时，清空毫秒定时器，利用未接收到卫星gps信号的秒脉冲那一秒的前n个差值所
对应的修正误差e对毫秒定时器进行修正，并由持续时间同步触发信号发生器输出新的持续时间同步触发信号；
10.将新生成的持续时间同步触发信号认定为提供给时间同步过程中的秒脉冲信息，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行多光谱相机、激光雷达的时间持续性同步。
11.进一步地，所述系统还包括采集存储子系统，所述采集存储子系统包括数据存储模块和数据采集模块；所述数据存储模块，包括flash存储器、在线缓存单元、存储控制器以及外部存储单元；
12.flash存储器用于存储多传感器数据采集与时间同步系统的操作系统、文件系统和相关的配置数据；
13.在线缓存单元用于存储多光谱相机、激光雷达输出数据的临时缓存，以及zynq开发板的zynq处理器系统在运行过程中的堆栈分配、相关变量的临时存储位置；
14.存储控制器对多传感器的地址信号、数据信息以及数据存储过程中各种命令信号进行控制，并控制zynq开发板与多传感器之间数据接口的转换以及读写命令的传达；所述的多传感器包括多光谱相机、激光雷达和惯性导航板卡；
15.外部存储单元，用于离线存储多传感器数据的在线缓存以及多传感器输出数据，多传感器数据包括多光谱图像、激光雷达原始数据以及位姿数据；
16.所述数据采集模块，用于采集多传感器数据；
17.激光雷达上电工作后采集到的原始数据分为数据包和位置包，分别从端口传输到zynq开发板，所采集到的数据通过zynq的处理系统读取并存储到外部存储单元中。
18.进一步地，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行激光雷达的时间持续性同步的过程如下：
19.与持续时间同步触发信号、推荐定位信息信号对准的位姿数据经过zynq开发板处理系统的串口存储到外部存储单元中；激光雷达内置的计数器每当接收到持续时间同步触发信号和推荐定位信息时，根据持续时间同步触发信号的上升沿清空毫秒定时器，并将推荐定位信息中的utc时间中秒部分的时间信息赋予给激光雷达内置的秒计数器，包含年份、月份、日期和小时数的时间信息用于更新激光雷达位置包中的时间数据帧信息，实现持续时间同步触发信号与推荐定位信息的脉冲上升沿和激光雷达多线激光器的激光发射时刻对准，再将采集得到的激光雷达原始数据经过zynq开发板网口传输并存储到外部存储单元中。
20.进一步地，激光雷达的触发过程如下：
21.针对激光雷达采集的原始数据，对激光雷达原始数据帧中的时间戳进行处理，通过单线性插值算法，结合激光雷达所设定的单回波/双回波模式，插值计算得出激光雷达每个发射周期内，激光器发射并接收获取的各个激光点所对应数据帧时间戳中记录的具体时刻，从而得出每个激光点对应gps提供的utc时间的具体时刻。
22.进一步地，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行多光谱相机的时间持续性同步的过程如下：
23.将持续时间同步触发信号上升沿时刻与utc时间整数秒时刻对齐，并将持续时间同步触发信号送入zynq开发板进行电平幅值与周期占空比调整，生成调整电平幅值与周期
占空比后的秒脉冲触发信号，将调整电平幅值与周期占空比后的秒脉冲触发信号提供给多光谱相机，作为多光谱相机连续拍照的触发信号，控制多光谱相机采集图像。
24.进一步地，电平幅值与周期占空比调整过程如下：
25.将持续时间同步触发信号的电平幅值和周期占空比调整至高电平幅值为3.3～5v的区间、占空比为25％～50％。
26.进一步地，将调整电平幅值与周期占空比后的秒脉冲触发信号提供给多光谱相机，用于控制多光谱相机连续拍照采集图像的触发信号，通过zynq开发板内部预先设定的分频电路对触发信号的频率进行更改，调整采样频率。
27.进一步地，激光雷达上电工作后采集到的激光雷达原始数据通过用户数据报协议传输到zynq开发板。
28.进一步地，激光雷达上电工作后采集到的数据基于用户数据报协议从端口传输到zynq开发板的过程中，首先对于数据采集部分进行空间初始化，开辟新的空间，生成空的新用户数据报协议数据帧区域；然后申请两个套接字分别对应的端口，分别实现对于数据包以及位置包的接收采集任务；
29.将接收到的数据复制到在线缓存单元，遍历数据包结构体的所有链表，将数据包结构体对应的指针指向的数据复制到用户数据报协议数据帧，记录总数据量接收到的长度信息；然后进行数据判断操作：识别用户数据报协议数据头部标志，提取相关信息，并实现.pcap格式到.txt格式的信息转换操作，最后将得到的.txt格式的信息写入外部存储单元，完成数据的接收转换并存储的功能。
30.进一步地，所述系统还包括多光谱相机、激光雷达，分别用于采集多光谱图像、激光雷达原始数据，并提供给时间同步子系统和采集存储子系统。
31.有益效果：
32.通过本发明提出的基于zynq的无人机平台多传感器数据同步采集系统，能够完成多光谱图像、激光雷达原始数据与惯性导航板卡位姿数据的采集存储、激光雷达与惯性导航板卡位姿数据的时间同步以及激光雷达与多光谱相机的时间同步，能够实现多维度且具有时空一致性的立体遥感探测。本发明的优势可体现在如下方面：
33.(a)实现了多传感器数据的一体化采集存储：本发明设计的系统针对多光谱相机采集的多光谱图像、激光雷达获取的原始点云以及惯性导航系统提供的位姿数据进行了一体化采集与存储，通过zynq与各传感器提供的接口进行连接并处理存储到外部存储单元中，可满足多应用场景下的多传感器数据一体化采集。
34.(b)实现了多传感器数据的微秒级时间同步：本发明设计的系统针对多光谱相机、激光雷达以及惯性导航板卡等多个传感器在空间遥感探测中的数据高精度的时间同步处理，能够实现数据的时空一致性，满足对更高精度空间探测与地物多维度信息三维重建的需求，填补了在该领域相关研究的缺失，研制出了一套可使用的无人机平台多维信息探测系统。
35.(c)拓展性、可调节性好：由于预留了面向更多传感器的接口，因此若有需求添加更多传感器，例如高光谱传感器。不仅如此，还可通过设置提供给多光谱相机的外部触发脉冲信号频率，实现不同采样频率的多光谱图像采集，具有较好的可调节性。
附图说明
36.图1为基于zynq的无人机平台多传感器数据同步采集系统整体框图
37.图2为激光雷达数据与惯性导航板卡位姿数据的测试结果。
38.图3为由惯性导航系统提供的秒脉冲信号与gprmc信号的示波器观测结果。
39.图4为秒脉冲信号的下降沿宽度与光谱相机的触发信号。
40.图5为激光雷达秒脉冲锁定示意图。
41.图6为持续时间同步触发信号的生成流程图。
42.图7为毫秒定时器实时加权误差更新算法流程图。
43.图8为vlp-16激光雷达实物图。
44.图9为zynq开发板实物图。
45.图10为北云bynav a1 gnss板卡连接实物图。
具体实施方式
46.本发明结合了激光雷达对目标空间三维信息获取与多光谱相机获取丰富光谱信息的优势，在无人机平台上将上述两种传感器结合在一起发挥各自的优势，实现对探测目标空间三维信息和光谱信息的同步采集与存储。通过惯性导航板卡提供的秒脉冲信号与惯性导航系统提供的位姿信息相结合对多个传感器进行处理，实现了激光雷达、多光谱相机、惯性导航系统在采集数据的同时保持微秒级别的时间同步，从而达成了多传感器数据采集的时空一致性，为无人机平台的多传感器遥感探测提供更精准的数据。下面结合具体实施方式进行详细说明。
47.具体实施方式一：结合图1说明本实施方式，
48.本实施方式为一种基于zynq的无人机平台多传感器数据同步采集系统，包括zynq开发板、多光谱相机、激光雷达、惯性导航板卡，以及采集存储子系统和时间同步子系统；
49.采集存储子系统和时间同步子系统基于zynq开发板和惯性导航板卡实现；
50.(1)采集存储子系统，包括数据存储模块和数据采集模块；
51.(1.1)数据存储模块，包括flash存储器、在线缓存单元、存储控制器以及外部存储单元。
52.flash存储器用于存储多传感器数据采集与时间同步系统的操作系统、文件系统和相关的配置数据；
53.在线缓存单元用于存储多光谱相机、激光雷达输出数据的临时缓存，以及zynq开发板的zynq处理器系统(ps端)在运行过程中的堆栈分配、相关变量的临时存储位置；
54.存储控制器对多传感器(多光谱相机、激光雷达、惯性导航板卡)的地址信号、数据信息以及数据存储过程中各种命令信号进行控制，完成核心开发板与各传感器之间数据接口的转换以及读写命令的传达。
55.外部存储单元是非易失性存储介质，用于采集数据的离线存储，选用sd存储卡作为外部存储单元，用于存储多传感器数据，多传感器数据包括多光谱图像、激光雷达原始数据以及位姿数据。
56.(1.2)数据采集模块如下：
57.本实施方式的激光雷达采用vlp-16激光雷达，针对vlp-16激光雷达原始数据特点
与传输方式，开发了一套基于zynq-7000的激光雷达原始数据采集模块，建立了基于lwip(轻量级的tcp/ip协议栈)的用户数据报协议(udp)数据传输网络协议，激光雷达上电工作后采集到的信息分为数据包和位置包，分别从端口2368与端口8308经网线传输到zynq开发板，所采集到的数据通过zynq-处理系统读取并存储到外部存储单元中。来自激光雷达的数据通过用户数据报协议经网线传输到zynq开发板上保存进外部存储单元中。
58.在建立底层协议的基础上，对于数据采集模块进一步进行完善。通过用户数据报协议对来自激光雷达的数据进行采集的关键在于对于用户数据报协议接收回调函数的相关设置。首先对于数据采集部分进行空间初始化，开辟新的空间，空间初始化，生成空的新用户数据报协议数据帧区域。然后进行套接字申请与端口连接：申请两个套接字分别对应端口2368与8308，分别实现对于数据包以及位置包的接收采集任务。将接收到的数据复制到在线缓存单元，遍历数据包结构体的所有链表，将数据包结构体对应的指针指向的数据复制到用户数据报协议数据帧，记录总数据量接收到的长度信息。然后进行数据判断操作：识别用户数据报协议数据头部标志，提取相关信息，并实现.pcap格式到.txt格式的信息转换操作，最后将得到的.txt格式的信息写入外部存储单元，完成数据的接收转换并存储的功能。
59.在一些实施例中，所述.pcap文件的总体结构可以为：文件头-数据包头1-数据包1-数据包头2-数据包2；其数据构成为：1248字节为42+12*(100)+4+2，其中，前42字节为文件头和数据包头，12*(100)表示包含12组100字节的数据内容，每个数据内容中包含2字节的开始标志ffee、2字节的方位角、96字节的距离与反射率的信息，最后的4+2表示时间戳与回波模式的6个字节。
60.对基于zynq-7000开发板和vlp-16激光雷达的数据采集与存储系统进行采集存储任务相关测试，可以得到如下结果：
61.利用串口调试助手观测来自zynq开发板实时数据采集的状态；通过设置相关程序实现数据采集存储，将用户数据报协议信息回传串口通过pc串口调试助手实时反馈信息从而完成数据采集与存储的实时状态监控，如图2所示，对于激光雷达原始数据进行时长长达连续三小时的数据采集后，系统依然正常运行，满足野外数据采集的连续性工作时长要求，图2还展示了采集存储子系统连续采集数据三小时的状态监测与采集到的数据查看结果。
62.(2)时间同步子系统：基于惯性导航板卡，对多光谱相机图像、激光雷达点云打上相同的时间戳，惯性导航板卡的一个串行通讯端口输出位姿数据提供位置姿态信息(卫星gps和imu)，经过转换电路后串口输出信息；惯性导航板卡的另一个串行通讯端口输出推荐定位信息(gprmc)；
63.基于卫星gps的标准授时系统有着授时精度高、准确性高、安全可靠等诸多优点，在多传感器数据采集与时间同步系统中涉及到众多传感器，激光雷达原始数据采集频率高达几十到几百khz，惯性导航板卡的数据刷新频率为200-500hz，而光谱相机的曝光频率约为1hz。本实施方式中惯性导航板卡采用北云bynav a1 gnss板卡，对多光谱相机、激光雷达以及卫星gps和imu的时间进行同步打上相同的时间戳，利用北云bynav a1 gnss板卡输出在卫星gps的秒脉冲信号及gprmc信号对激光雷达设备的激光发射时刻进行触发控制，实现秒脉冲上升沿到来时按照激光雷达内部设定的顺序依此发射16线激光，便可根据时间信息后续确定激光雷达点云的具体发射时刻，从而实现无人机平台上激光雷达与惯性导航板卡
的时间同步控制，实现多传感器数据采集的时空一致性的第一步。
64.北云bynav a1 gnss板卡的com3输出卫星gps和imu数据提供pos信息，输出接口为rs232，经过rs232-ttl转换电路后串口输出信息；北云bynav a1 gnss板卡的com1的txd串口输出gprmc信息，以及秒脉冲、gnd；秒脉冲信号的上升沿与卫星gps和imu信息接收时刻相对齐，能够保障同步数据的准确性。
65.在户外环境实验中发现，卫星gps信息与秒脉冲信息出现丢失现象，本发明在zynq7010内部设置持续时间同步触发信号发生器，用于输出持续时间同步触发信号；通过设定zynq开发板内部设置的毫秒定时器计数，每当计时每满一秒，或者当北云bynav a1 gnss板卡接收到卫星gps信号的秒脉冲上升沿时，由持续时间同步触发信号发生器输出一个短暂的高电平充当持续时间同步触发信号，并同时清空毫秒定时器，循环重复。
66.当信号良好可以正常接收到来自卫星gps信号的秒脉冲时，接收到卫星gps信号的秒脉冲的上升沿时刻立即清空毫秒定时器，并由持续时间同步触发信号发生器输出高电平即持续时间同步触发信号，新生成的持续时间同步触发信号与接收到来自卫星gps信号的秒脉冲之间的误差可以精确到纳秒级别，对于本系统所涉及到的多光谱相机、激光雷达和惯性导航板卡的数据频率而言完全可以忽略不计。在正常接收来自卫星gps信号的秒脉冲生成持续时间同步触发信号的同时，zynq7010记录内部设置的毫秒定时器所计数的一秒时长与utc时间真实的一秒时长的差值。差值具有随机误差特性，根据大量重复实验的数据验证发现，随着统计次数的增加随机误差分布更加趋近正态分布。本发明记录差值并将其加权平均处理，提出了一种“实时加权误差更新算法”对毫秒定时器进行修正。用未收到卫星gps信号的秒脉冲前n秒的差值作为参考(e1,e2,
…en
)，未接收到秒脉冲时刻不一样，采用的差值数据也不一样，同时，对于这n个差值不是简单取平均，而是越接近未接收到卫星gps信号的秒脉冲那一秒，对误差修正值的权重越大。修正后误差其中an为权重，采用指数加权算法进行计算，计算公式为an＝(1-β)β
n-n
。其中n的值越接近n意味着越靠近当前时刻，β为影响系数，本发明中根据实验和分析设定β的值为0.9，表示相邻时刻越近的差值对结果的影响越大，体现出本算法对于误差修正的实时性。经上述方案修正后的毫秒定时器可以进一步降低随机误差的干扰，进一步提高精确度。
67.当无法正常接收来自卫星gps信号的秒脉冲时，毫秒定时器满一秒时，清空毫秒定时器，利用所求出的修正后的误差对前述的毫秒定时器加以修正后由持续时间同步触发信号发生器生成新的持续时间同步触发信号，由此一来该新的持续时间同步触发信号相较先前未经修正得出的更加接近来自卫星gps信号的秒脉冲，从而具有更高的精度以满足整体系统的时间同步需求。
68.完成上述操作后将新生成的持续时间同步触发信号认定为提供给时间同步过程中的秒脉冲信息，将其输出用于后续操作，即后续进行激光雷达和多光谱相机同步中的秒脉冲(卫星gps的秒脉冲)均为持续时间同步触发信号。
69.激光雷达与惯性导航板卡的时间同步过程：
70.输出的gprmc信息、持续时间同步触发信号信息、gnd分别通过转接线赋予vlp-16激光雷达的gps receive、gps pulse、gnd接口，用作激光雷达发射序列的时间上升沿对齐控制激光雷达的激光发射时间，保证在接收到每个持续时间同步触发信号上升沿时，16线
按顺序依次发射激光信号实现秒脉冲锁定。与持续时间同步触发信号、gprmc信号对准的卫星gps和imu数据(pos信息)经过zynq7010板卡ps端的串口存储到外部存储单元中，工作期间通过设置vlp-16激光雷达内置的计数器，每当接收到外部的持续时间同步触发信号和gprmc信息时，根据持续时间同步触发信号的上升沿清空毫秒定时器，并将gprmc信息中的utc时间中秒部分的时间信息赋予给激光雷达内置的秒计数器，包含年份、月份、日期和小时数等更多的时间信息用于更新vlp-16位置包中的时间数据帧信息，保障vlp-16激光雷达原始数据中所记录的时间信息的准确性，实现持续时间同步触发信号与gprmc信息的脉冲上升沿与vlp-16激光雷达16线激光器的激光发射时刻对准，再将采集得到的激光雷达原始数据经过zynq7010板卡网口存储到外部存储单元中，实现了激光雷达原始数据与卫星gps和imu数据的时间同步处理。
71.基于zynq-7000核心开发板和北云bynav a1 gnss板卡研制的时间同步系统进行时间同步相关测试，可以得到如下结果：
72.利用示波器对输出进行测量，可以观测到秒脉冲信号与gprmc信号的输出顺序、时间节点、周期以及信号时长如图3所示。由于gprmc信号不同于秒脉冲信号是秒脉冲信号，在接收的过程中需要一定的处理时间，因此在示波器的观测时滞后于秒脉冲信号。
73.多光谱相机与惯性导航板卡的时间同步过程：
74.由于多光谱相机的数据采集频率约为1hz，多光谱相机的拍照模式分为设置内部定时器触发拍照以及外部触发脉冲信号触发拍照两种。选用外部触发脉冲信号拍照模式，根据多光谱相机外部触发逻辑设计触发信号，根据相机接收触发信号到开始曝光所需的时间间隔设置对应的触发信号高电平持续时长，多光谱相机自带的定位定姿模块记录相机曝光时刻的位置和姿态信息无需额外赋予相关信息。惯性导航板卡提供两个数据接口给多光谱相机，这两个数据接口分别是gnd地线以及频率为1hz的外部触发信号，前者保障了多光谱相机、激光雷达和惯性导航板卡电源部分的gnd极之间不存在电势差、维持传感器的正常工作运转，后者使得多光谱相机在持续时间同步触发信号上升沿到来的时刻曝光拍照，实现多光谱相机与惯性导航板卡的时间同步，进而实现多光谱相机与激光雷达的时间同步，真正实现多传感器数据采集的时空一致性。
75.北云bynav a1 gnss板卡接收导航系统提供的卫星gps信息，通过卫星gps信息生成持续时间同步触发信号，持续时间同步触发信号上升沿时刻与utc时间整数秒时刻对齐；将持续时间同步触发信号送入zynq开发板进行电平幅值与周期占空比调整，生成调整电平幅值与周期占空比后的秒脉冲触发信号；
76.电平幅值与周期占空比调整：将卫星gps包含的秒脉冲信号的电平幅值和周期占空比调整至高电平幅值为3.3～5v的区间、占空比为25％～50％；
77.将调整电平幅值与周期占空比后的秒脉冲触发信号提供给多光谱相机，作为多光谱相机连续拍照的触发信号，可实现一秒一次的拍照频率，也可通过外加分频电路，通过zynq开发板内部预先设定的分频电路对触发信号的频率从一秒一次更改为一点五秒一次、两秒一次甚至更低的频率，从而满足不同拍照频率数据采集的同步触发控制。多光谱相机拍照获取的数据保存在相机自带的外部存储单元中，无需单独设计采集存储系统。
78.多光谱相机和激光雷达的触发过程，对秒脉冲信号下降沿与由秒脉冲信号生成的多光谱相机触发信号进行单独观测，可得到如图4的结果，图4为惯性导航板卡提供的秒脉
冲信号下降沿与提供给多光谱相机的外部触发信号。可以发现下降沿的约为23ns，该时间远小于多光谱相机曝光长达接近秒级的时间，因此对于时间同步子系统而言，时间同步的精度远满足多光谱相机的精度需求，
79.提供给多光谱相机的外部触发信号是频率为1hz、占空比为50％的方波信号，该信号上升沿与秒脉冲信号的上升沿对齐后用于触发多光谱相机拍照，从而保障了系统高精度的时间同步。
80.而对于激光雷达高速而周期获得的数据，对激光雷达原始数据帧中的时间戳进行处理，通过单线性插值算法，结合激光雷达所设定的单回波/双回波模式，插值计算得出vlp-16激光雷达每个发射周期内，16线激光器发射并接收获取的各个激光点所对应数据帧时间戳中记录的具体时刻，从而得出每个激光点对应卫星gps提供的utc时间的具体时刻；
81.本发明设计的系统经过软件调试与硬件连接接口处理，使用方便、操作简单，适用范围广应用场景多，可以满足多种需求的多维度数据空间采集处理任务，得到的多个传感器的数据具有高度的时空一致性，也方便后续数据的处理与空间点云生成、三维重建等相关操作。
82.实施例
83.本发明所述的基于zynq的无人机平台多传感器数据同步采集系统的一种具体实施方式描述如下：
84.(1)激光雷达原始数据采集
85.通过zynq开发板搭建好的lwip-用户数据报协议网络协议进行激光雷达的数据采集。激光雷达的地址192.168.1.201，端口2368和8308分别发送激光雷达的数据包和位置包给zynq开发板，zynq开发板的地址是192.168.1.10，再通过处理系统进行数据处理，将采集到的激光雷达原始数据存入sd存储卡(外部存储单元)中。
86.(2)北云bynav a1 gnss板卡输出数据
87.北云bynav a1 gnss板卡共输出4组信号，分别通过串口com1-gnd输出地信号、串口com1-tx输出gprmc信号、串口com3-tx输出卫星gps和imu、23号引脚输出秒脉冲信号用作多传感器时间同步的触发信号与位置姿态信息。
88.(3)激光雷达与秒脉冲上升沿对准锁定
89.将持续时间同步触发信号赋予给激光雷达后，通过对vlp-16激光雷达进行参数设置，实现激光雷达16线激光发射时刻与秒脉冲上升沿精准对齐，vlp-16激光雷达16线激光器的激光发射时刻和秒脉冲与gprmc信息的脉冲上升沿对准后，保证16线激光器按照标号1～16的次序依次发射，编号为1的激光器发射的时刻正好为秒脉冲的上升沿，从而完成激光雷达发射时刻的锁定。
90.激光雷达秒脉冲锁定示意图如图5所示。
91.(4)多传感器时间同步连接
92.北云bynav a1 gnss板卡输出的秒脉冲信号直接赋予给多光谱相机作为外部触发信号；gnd、秒脉冲、gprmc信号分别连接给vlp-16激光雷达的gnd、gps-pulse、gps-receive接口作为激光雷达的时间同步连接信号；卫星gps和imu信号由rs232输出至zynq-处理系统的uart串口，经过zynq处理后存入外部存储单元作为时间同步对准后的位置姿态信息便于后续点云处理。
93.多传感器时间同步流程图如图6所示。
94.毫秒定时器实时加权误差更新算法流程图如图7所示
95.本发明系统的实物图连接如图8至图10所示，包含整体系统的激光雷达部分、zynq开发板部分、北云bynav a1 gnss板卡部分的实物连接。
96.本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

技术特征：
1.基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，包括时间同步子系统；所述时间同步子系统的同步过程包括以下步骤：基于惯性导航板卡，对多光谱相机图像、激光雷达原始数据进行同步打上相同的时间戳，惯性导航板卡的一个串行通讯端口输出位姿数据提供位置姿态信息，经过转换电路后串口输出信息；惯性导航板卡的另一个串行通讯端口输出推荐定位信息；在zynq开发板内部设计有持续时间同步触发信号发生器，用于输出持续时间同步触发信号；当zynq开发板内部设置的毫秒定时计时每满一秒或者当惯性导航板卡接收到卫星gps信号的秒脉冲上升沿时，由持续时间同步触发信号发生器输出一个高电平作为持续时间同步触发信号，并同时清空毫秒定时器，循环重复；当惯性导航板卡能够正常接收到来自卫星gps信号的秒脉冲时，接收到gps信号的秒脉冲的上升沿时刻立即清空毫秒定时器，并由持续时间同步触发信号发生器输出高电平，即新的持续时间同步触发信号；在惯性导航板卡接收卫星gps信号、由惯性导航板卡输出的秒脉冲生成持续时间同步触发信号的同时，记录毫秒定时器所计数的一秒时长与utc时间真实的一秒时长的差值，记录差值并将当前时刻的前n个差值按权重进行加权平均处理，记为修正误差e；当惯性导航板卡无法正常接收来自卫星gps信号的秒脉冲时，毫秒定时器满一秒时，清空毫秒定时器，利用未接收到卫星gps信号的秒脉冲那一秒的前n个差值所对应的修正误差e对毫秒定时器进行修正，并由持续时间同步触发信号发生器输出新的持续时间同步触发信号；将新生成的持续时间同步触发信号认定为提供给时间同步过程中的秒脉冲信息，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行多光谱相机、激光雷达的时间持续性同步。2.根据权利要求1所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，所述系统还包括采集存储子系统，所述采集存储子系统包括数据存储模块和数据采集模块；所述数据存储模块，包括flash存储器、在线缓存单元、存储控制器以及外部存储单元；flash存储器用于存储多传感器数据采集与时间同步系统的操作系统、文件系统和相关的配置数据；在线缓存单元用于存储多光谱相机、激光雷达输出数据的临时缓存，以及zynq开发板的zynq处理器系统在运行过程中的堆栈分配、相关变量的临时存储位置；存储控制器对多传感器的地址信号、数据信息以及数据存储过程中各种命令信号进行控制，并控制zynq开发板与多传感器之间数据接口的转换以及读写命令的传达；所述的多传感器包括多光谱相机、激光雷达和惯性导航板卡；外部存储单元，用于离线存储多传感器数据的在线缓存以及多传感器输出数据，多传感器数据包括多光谱图像、激光雷达原始数据以及位姿数据；所述数据采集模块，用于采集多传感器数据；激光雷达上电工作后采集到的原始数据分为数据包和位置包，分别从端口传输到zynq开发板，所采集到的数据通过zynq的处理系统读取并存储到外部存储单元中。3.根据权利要求2所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行激光雷达的时
间持续性同步的过程如下：与持续时间同步触发信号、推荐定位信息信号对准的位姿数据经过zynq开发板处理系统的串口存储到外部存储单元中；激光雷达内置的计数器每当接收到持续时间同步触发信号和推荐定位信息时，根据持续时间同步触发信号的上升沿清空毫秒定时器，并将推荐定位信息中的utc时间中秒部分的时间信息赋予给激光雷达内置的秒计数器，包含年份、月份、日期和小时数的时间信息用于更新激光雷达位置包中的时间数据帧信息，实现持续时间同步触发信号与推荐定位信息的脉冲上升沿和激光雷达多线激光器的激光发射时刻对准，再将采集得到的激光雷达原始数据经过zynq开发板网口传输并存储到外部存储单元中。4.根据权利要求3所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，激光雷达的触发过程如下：针对激光雷达采集的原始数据，对激光雷达原始数据帧中的时间戳进行处理，通过单线性插值算法，结合激光雷达所设定的单回波/双回波模式，插值计算得出激光雷达每个发射周期内，激光器发射并接收获取的各个激光点所对应数据帧时间戳中记录的具体时刻，从而得出每个激光点对应gps提供的utc时间的具体时刻。5.根据权利要求4所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，利用持续时间同步触发信号发生器输出的持续时间同步触发信号进行多光谱相机的时间持续性同步的过程如下：将持续时间同步触发信号上升沿时刻与utc时间整数秒时刻对齐，并将持续时间同步触发信号送入zynq开发板进行电平幅值与周期占空比调整，生成调整电平幅值与周期占空比后的秒脉冲触发信号，将调整电平幅值与周期占空比后的秒脉冲触发信号提供给多光谱相机，作为多光谱相机连续拍照的触发信号，控制多光谱相机采集图像。6.根据权利要求5所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，电平幅值与周期占空比调整过程如下：将持续时间同步触发信号的电平幅值和周期占空比调整至高电平幅值为3.3～5v的区间、占空比为25％～50％。7.根据权利要求6所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，将调整电平幅值与周期占空比后的秒脉冲触发信号提供给多光谱相机，用于控制多光谱相机连续拍照采集图像的触发信号，通过zynq开发板内部预先设定的分频电路对触发信号的频率进行更改，调整采样频率。8.根据权利要求7所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，激光雷达上电工作后采集到的激光雷达原始数据通过用户数据报协议传输到zynq开发板。9.根据权利要求8所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，激光雷达上电工作后采集到的数据基于用户数据报协议从端口传输到zynq开发板的过程中，首先对于数据采集部分进行空间初始化，开辟新的空间，生成空的新用户数据报协议数据帧区域；然后申请两个套接字分别对应的端口，分别实现对于数据包以及位置包的接收采集任务；将接收到的数据复制到在线缓存单元，遍历数据包结构体的所有链表，将数据包结构
体对应的指针指向的数据复制到用户数据报协议数据帧，记录总数据量接收到的长度信息；然后进行数据判断操作：识别用户数据报协议数据头部标志，提取相关信息，并实现.pcap格式到.txt格式的信息转换操作，最后将得到的.txt格式的信息写入外部存储单元，完成数据的接收转换并存储的功能。10.根据权利要求1至9任意一项所述的基于zynq的无人机平台多传感器数据同步采集系统，其特征在于，所述系统还包括多光谱相机、激光雷达，分别用于采集多光谱图像、激光雷达原始数据，并提供给时间同步子系统和采集存储子系统。

技术总结
基于ZYNQ的无人机平台多传感器数据同步采集系统，属于无人机平台遥感技术领域。为了解决现有系统对无人机搭载的多光谱相机与激光雷达不能进行同步采集或者同步误差较大的问题。本发明设计持续时间同步触发信号发生器，当ZYNQ开发板内部设置的毫秒定时计时每满一秒或者当惯性导航板卡接收到卫星GPS信号的秒脉冲上升沿时，由持续秒脉冲发生器输出持续时间同步触发信号，同时清空毫秒定时器，循环重复；在生成持续时间同步触发信号的同时，记录毫秒定时器所计数的一秒时长与UTC时间真实的一秒时长的差值，基于差值得到修正误差并对毫秒定时器进行修正。基于持续时间同步触发信号进行多光谱相机、激光雷达和惯性导航板卡的时间持续性同步。时间持续性同步。时间持续性同步。


技术研发人员：谷延锋 唐晨煦 李贤
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.05.10
技术公布日：2023/8/13