深度图像采集装置、方法及多传感器融合系统与流程

1.本公开涉及传感器技术领域，尤其涉及一种深度图像采集装置、方法及多传感器融合系统。


背景技术：

2.目前的深度图像采集装置(例如rgb-d相机)，通常仅有cpu本地时间，生成的图像数据一般不带时间戳，即使生成了带有时间戳的图像数据，由于深度图像采集装置中仅有无法保证准确性的cpu本地时间，时间上无法与其他传感器对齐，因此，也无法与其他传感器的采集数据进行数据融合，不利于扩展深度图像采集装置的适用范围。


技术实现要素：

3.为克服相关技术中存在的问题，本公开提供一种深度图像采集装置、方法及多传感器融合系统。
4.根据本公开实施例的第一方面，提供一种深度图像采集装置，包括控制器，
5.所述控制器，被配置为接收目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间，获取接收到所述目标脉冲信号中目标上升沿的第一本地时间，获取所述目标上升沿对应的目标utc时间，获取当前的第二本地时间，根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，将所述当前utc时间作为当前本地时间。
6.可选地，所述装置还包括与所述控制器连接的定位模块，所述目标脉冲信号为pps信号，所述指定上升沿为所述pps信号中的每个上升沿，
7.所述定位模块，被配置为向所述控制器提供所述pps信号和所述pps信号中每个上升沿对应的utc时间。
8.可选地，所述定位模块包括pps信号输出端和uart信号输出端，所述控制器包括第一中断触发端和串口输入端；所述pps信号输出端与所述第一中断触发端连接，所述uart信号输出端与所述串口输入端连接；
9.所述uart信号输出端，被配置为输出所述pps信号中每个上升沿对应的定位信息，所述定位信息中包括utc时间；
10.所述控制器，被配置为通过解析所述uart信号输出端输出的所述目标上升沿对应的目标定位信息，得到所述目标上升沿对应的所述目标utc时间。
11.可选地，所述控制器，被配置为在所述第一中断触发端接收到所述pps信号输出端输出的目标上升沿时，生成第一中断信号，并获取所述第一中断信号对应的本地时间，以得到所述第一本地时间。
12.可选地，还包括与所述控制器连接的信号生成模块，rgb相机和深度相机；
13.所述信号生成模块，被配置为生成所述pps信号对应的同步倍频脉冲信号；
14.所述rgb相机，被配置为在接收到所述同步倍频脉冲信号时，执行第一曝光操作；
15.所述深度相机，被配置为在接收到所述同步倍频脉冲信号时，执行第二曝光操作；
16.所述控制器，还被配置为响应于接收到所述同步倍频脉冲信号，记录当前的目标本地时间，并在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，生成带有所述目标本地时间对应时间戳的目标rgb图像数据，在确定所述深度相机生成了所述第二曝光操作对应的深度图像数据时，生成带有所述目标本地时间对应时间戳的目标深度图像数据。
17.可选地，所述控制器还包括第二中断触发端，所述信号生成模块包括pps信号输入端和同步倍频脉冲信号输出端，所述rgb相机包括第一曝光触发端和rgb图像数据输出端，所述深度相机包括第二曝光触发端和深度图像数据输出端；
18.所述pps信号输出端还与所述pps信号输入端连接，所述同步倍频脉冲信号输出端分别与所述第二中断触发端，所述第一曝光触发端和所述第二曝光触发端连接。
19.可选地，所述控制器，被配置为：
20.在通过所述第二中断触发端接收到所述同步倍频脉冲信号输出端输出的所述同步倍频脉冲信号时，开始计时，在确定所述计时时长为第一预设时长的情况下，确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据，并在确定所述计时时长为第二预设时长的情况下，确定所述深度相机生成了所述第二曝光操作对应的深度图像数据。
21.可选地，所述rgb相机还包括rgb图像数据输出端，所述深度相机还包括深度图像数据输出端，所述控制器还包括rgb图像数据输入端和深度图像数据输入端；
22.所述rgb图像数据输出端与所述rgb图像数据输入端连接，所述深度图像数据输出端与所述深度图像数据输入端连接。
23.可选地，所述控制器，被配置为：
24.在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，通过所述rgb图像数据输入端接收所述rgb相机中所述rgb图像数据输出端输出的所述第一曝光操作对应的rgb图像数据，并通过所述深度图像数据输入端接收所述深度相机中所述深度图像数据输出端输出的所述第二曝光操作对应的深度图像数据，根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，所述目标数据包括所述目标rgb图像数据和所述目标深度图像数据。
25.可选地，所述控制器，被配置为：
26.按照预设数据帧格式生成包括所述目标本地时间，所述rgb图像数据和所述深度图像数据的目标数据。
27.可选地，所述控制器，被配置为获取所述第二本地时间和所述第一本地时间的目标差值，并获取所述目标utc时间和所述目标差值的和值，并将所述和值作为所述当前utc时间。
28.根据本公开实施例的第二方面，提供一种深度图像采集方法，所述方法包括：
29.获取目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间；
30.获取接收到所述目标脉冲信号中目标上升沿的第一本地时间以及当前的第二本地时间；
31.确定所述目标上升沿对应的目标utc时间；
32.根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，并将所述当前utc时间作为当前本地时间。
33.可选地，所述方法应用于深度图像采集装置，所述深度图像采集装置包括定位模块，所述目标脉冲信号为pps信号，所述指定上升沿为所述pps信号中的每个上升沿，所述定位模块，被配置为输出所述pps信号和所述pps信号中每个上升沿对应的utc时间；
34.所述获取目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间，包括：
35.接收所述定位模块输出的所述pps信号和所述pps信号中每个上升沿对应的utc时间。
36.可选地，所述确定所述目标上升沿对应的目标utc时间包括：
37.获取并解析所述目标上升沿对应的目标定位信息，以得到所述目标上升沿对应的所述目标utc时间。
38.可选地，获取接收到所述目标脉冲信号中目标上升沿的第一本地时间，包括：
39.响应于接收到所述pps信号中的所述目标上升沿，生成第一中断信号；
40.获取所述第一中断信号对应的本地时间，以得到所述第一本地时间。
41.可选地，所述深度图像采集装置还包括信号生成模块，rgb相机和深度相机；所述信号生成模块，用于生成所述pps信号对应的同步倍频脉冲信号，所述rgb相机，用于在接收到所述同步倍频脉冲信号时，执行第一曝光操作，所述深度相机，用于在接收到所述同步倍频脉冲信号时，执行第二曝光操作，所述方法还包括：
42.响应于接收到所述同步倍频脉冲信号，记录当前的目标本地时间；
43.在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，生成带有所述目标本地时间对应时间戳的目标rgb图像数据；
44.在确定所述深度相机生成了所述第二曝光操作对应的深度图像数据时，生成带有所述目标本地时间对应时间戳的目标深度图像数据。
45.可选地，所述确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据包括：
46.在接收到所述同步倍频脉冲信号时，开始计时，在确定所述计时时长为第一预设时长的情况下，确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据；
47.相应地，所述确定所述深度相机生成了所述第二曝光操作对应的深度图像数据，包括：
48.在确定所述计时时长为第二预设时长的情况下，确定所述深度相机生成了所述第二曝光操作对应的深度图像数据。
49.可选地，所述方法还包括：
50.在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，获取所述第一曝光操作对应的rgb图像数据，并获取所述第二曝光操作对应的深度图像数据；
51.根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，所述目标数据包括所述目标rgb图像数据和所述目标深度图像数据。
52.可选地，所述根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，包括：
53.按照预设数据帧格式生成包括所述目标本地时间，所述rgb图像数据和所述深度图像数据的目标数据。
54.可选地，所述根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定
当前utc时间，包括：
55.获取所述第二本地时间和所述第一本地时间的目标差值；
56.获取所述目标utc时间和所述目标差值的和值，并将所述和值作为所述当前utc时间。
57.根据本公开实施例的第三方面，提供一种多传感器融合系统，包括以上第一方面所提供的所述深度图像采集装置。
58.本公开的实施例提供的技术方案可以包括以下有益效果：能够通过所述控制器获取目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间，获取接收到所述目标脉冲信号中目标上升沿的第一本地时间，获取所述目标上升沿对应的目标utc时间，获取当前的第二本地时间，根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，将所述当前utc时间作为当前本地时间，从而能够通过所述指定上升沿对应的utc时间对深度图像采集装置进行授时，使深度图像采集装置的本地时间与utc时间同步，有利于保证深度图像采集装置对应本地时间的准确性，有利于生成带有准确时间戳的图像数据，从而有利于深度图像采集装置生成的图像数据与其他传感器采集的数据进行数据融合，也有利于扩大深度图像采集装置的适用范围。
59.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
60.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
61.图1是根据一示例性实施例示出的一种深度图像采集装置的框图；
62.图2是本公开另一示例性实施例示出的一种深度图像采集装置的框图；
63.图3是本公开一示例性的实施例示出的一种深度图像采集方法的流程图；
64.图4是根据本公开图3所示实施例示出的一种深度图像采集方法的流程图；
65.图5是根据本公开图3所示实施例示出的另一种深度图像采集方法的流程图；
66.图6是根据一示例性实施例示出的另一种深度图像采集装置的框图。
具体实施方式
67.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
68.本公开一示例性实施例中提供了一种深度图像采集装置，包括控制器，
69.该控制器，被配置为接收目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc(universal time coordinated，协调世界时)时间，获取接收到该目标脉冲信号中目标上升沿的第一本地时间，获取该目标上升沿对应的目标utc时间，获取当前的第二本地时间，根据该第一本地时间、该目标utc时间和该第二本地时间确定当前utc时间，将该当前utc时间作为当前本地时间。
70.其中，该目标脉冲信号可以是pps(pulse per second，秒脉冲)信号，也可以是现有技术中的其他脉冲信号，该指定上升沿可以是该目标脉冲信号中的每个上升沿，也可以是每隔预设数量个上升沿确定一个指定上升沿，该预设数量属于该目标脉冲信号的频率范围内。
71.如图1所示，图1是根据一示例性实施例示出的一种深度图像采集装置的框图；该深度图像采集装置，包括控制器101，和与该控制器101连接的定位模块102，
72.该定位模块102，被配置为向该控制器101提供pps信号和该pps信号中每个上升沿对应的utc时间；
73.该控制器101，被配置为获取接收到定位模块102输出的pps信号中目标上升沿的第一本地时间，获取该定位模块102输出的该目标上升沿对应的目标utc时间，获取当前的第二本地时间，根据该第一本地时间、该目标utc时间和该第二本地时间确定当前utc时间，将该当前utc时间作为当前本地时间。
74.其中，该定位模块102可以是gps(global positioning system，全球定位系统)模块，也可以是其他能够提供utc时间的定位装置，在定位模块102为gps模块的情况下，该控制器101可以获取gps模块输出的gprmc(global positioning system recommended minimum specific，推荐定位信息)数据，或者gpgga(global positioning system fix data(gga)，全球定位信息)数据，由于该gps模块通常是在pps信号的每个上升沿时，输出一个gprmc数据(或者gpgga数据)，因此可以通过解析该gprmc数据，或者gpgga数据得到该目标上升沿对应的目标utc时间。该目标上升沿可以是pps信号中的每个上升沿，也可以是每隔预设时间指定一个上升沿为目标上升沿，例如每隔3秒指定一个上升沿为该目标上升沿。
75.需要说明的是，该gpgga数据为gps数据输出格式语句，通常包括17个字段：语句标识头，世界时间，纬度，纬度半球，经度，经度半球，定位质量指示，使用卫星数量，水平精度因子，椭球高，高度单位，大地水准面高度异常差值，高度单位，差分gps数据期限，差分参考基站标号，校验和结束标记，分别用逗号进行分隔。
76.另外，所述的根据该第一本地时间、该目标utc时间和该第二本地时间确定当前utc时间对应的具体实施方式为：
77.使该控制器101，被配置为获取该第二本地时间和该第一本地时间的目标差值，并获取该目标utc时间和该目标差值的和值，并将该和值作为该当前utc时间。
78.示例地，gps模块输出pps信号(通常频率为1hz，秒脉冲)接入rgb-d相机的主控cpu(即控制器)，当主控cpu接收到pps信号时触发一个中断信息，通过记录该中断信号对应的cpu定时器时间，从而得到该第一本地时间t0，gps模块输出的uart输出信号接入rgb-d相机主控cpu的串口输入端，主控cpu解析uart输出信号中的gprmc或gpgga数据得到该中断信息对应的pps信号上升沿对应的utc时间为t1(即目标utc时间)，读取当前cpu定时器对应的本地时间，即得到第二本地时间t2，计算t1+(t2-t0)以得到当前utc时间t3，将t3作为当前本地时间，从而完成对该cpu定时器的授时，进一步地，可以在获取到该当前utc时间t3之后，将当前utc时间t3作为当前本地时间之前，可以先获取该当前utc时间t3与第二本地时间t2的偏差，在该偏差大于或者等于预设阈值时，则将当前utc时间t3写入cpu定时器，即将当前utc时间t3作为当前本地时间，在该偏差小于预设阈值时，可以不改变该cpu定时器的时间。
79.以上技术方案，能够通过定位模块中的该pps信号中每个上升沿对应的utc时间对
深度图像采集装置进行授时，使深度图像采集装置的本地时间与utc时间同步，有利于保证深度图像采集装置对应本地时间的准确性，有利于生成带有准确时间戳的图像数据，从而有利于深度图像采集装置生成的图像数据与其他传感器采集的数据进行数据融合，也有利于扩大深度图像采集装置的适用范围。
80.可选地，该定位模块102可以包括pps信号输出端和uart(universal asynchronous receiver/transmitter，异步收发传输)信号输出端，该控制器101包括第一中断触发端和串口输入端；该pps信号输出端与该第一中断触发端连接，该uart信号输出端与该串口输入端连接；
81.该uart信号输出端，被配置为输出该pps信号中每个上升沿对应的定位信息，该定位信息中包括utc时间；
82.该控制器101，被配置为通过解析该uart信号输出端输出的该目标上升沿对应的目标定位信息，得到该目标上升沿对应的该目标utc时间。
83.其中，该定位信息可以是gprmc数据或者gpgga数据，由于该gprmc数据和该gpgga数据的格式固定，因此对该gprmc数据和该gpgga数据中utc时间的字段进行获取和解析，即可得到该pps信号中每个上升沿对应的utc时间，这样，能够方便快捷的获取到该pps信号中每个上升沿对应的utc时间，有利于提升深度图像采集装置的时间同步效率。
84.可选地，该控制器101，被配置为在该第一中断触发端接收到该pps信号输出端输出的目标上升沿时，生成第一中断信号，并获取该第一中断信号对应的本地时间，以得到该第一本地时间。
85.需要说明的是，这里通过第一中断触发端在接收到该pps信号输出端输出的目标上升沿时，生成第一中断信号，使控制器101通过记录该第一中断信号的时间，得到目标上升沿发生时准确的本地时间，即得到该第一本地时间，能够有效保证该第一本地时间的可靠性。
86.可选地，图2是本公开另一示例性实施例示出的一种深度图像采集装置的框图；如图2所示，深度图像采集装置还包括与该控制器101连接的信号生成模块103，rgb相机104和深度相机105；
87.该信号生成模块103，被配置为生成该pps信号对应的同步倍频脉冲信号；
88.该rgb相机104，被配置为在接收到该同步倍频脉冲信号时，执行第一曝光操作；
89.该深度相机105，被配置为在接收到该同步倍频脉冲信号时，执行第二曝光操作；
90.该控制器101，还被配置为响应于接收到该同步倍频脉冲信号，记录当前的目标本地时间，并在确定该rgb相机104生成了该第一曝光操作对应的rgb图像数据时，生成带有该目标本地时间对应时间戳的目标rgb图像数据，在确定该深度相机105生成了该第二曝光操作对应的深度图像数据时，生成带有该目标本地时间对应时间戳的目标深度图像数据。
91.其中，该信号生成模块103可以是fpga(field programmable gate array，现场可编程逻辑门阵列)模块，也可以是其他的能够实现生成该pps信号对应的同步倍频脉冲信号的电路模块，现有技术中，能够实现生成该pps信号对应的同步倍频脉冲信号的电路模块较多，本公开对此不作限定。
92.另外，该同步倍频脉冲信号可以是在每秒中包括的多个脉冲信号中，存在一个与该pps信号重合的目标脉冲信号，以上所述的接收到该同步倍频脉冲信号，可以是采集到该
同步倍频脉冲信号中的一个上升沿或者一个下降沿。该第一曝光操作可以是触发rgb相机104开始生成rgb图像数据的操作(该操作可以是生成一个触发信号，一条指令，一个命令等)，该第二曝光操作可以是触发深度相机105开始生成深度图像数据的操作。
93.以上技术方案，能够根据准确的曝光时间生成带有时间戳的图像数据，有利于与其他传感器的采集数据进行数据融合。
94.可选地，该控制器101还包括第二中断触发端，该信号生成模块包括pps信号输入端和同步倍频脉冲信号输出端，该rgb相机104包括第一曝光触发端和rgb图像数据输出端，该深度相机105包括第二曝光触发端和深度图像数据输出端；
95.该pps信号输出端还与该pps信号输入端连接，该同步倍频脉冲信号输出端分别与该第二中断触发端，该第一曝光触发端和该第二曝光触发端连接。
96.其中，该控制器101在确定该第二中断触发端在接收到该同步倍频脉冲信号输出端输出的同步倍频脉冲信号的上升沿(也可以是下降沿)时，可以生成第二中断信号，通过记录该第二中断信号对应的本地时间，以得到接收到该同步倍频脉冲信号的上升沿(下降沿)时的准确时间。
97.另外，可以通过该控制器101可以通过向该第一曝光触发端发送第一预设触发指令(可以是高低电平，也可以是代码指令)，以触发该第一曝光操作，可以通过向该第二曝光触发端发送第二预设触发指令(可以是高低电平，也可以是代码指令)，以触发该第二曝光操作。
98.可选地，该控制器101，被配置为：
99.在通过该第二中断触发端接收到该同步倍频脉冲信号输出端输出的该同步倍频脉冲信号时，开始计时，在确定该计时时长为第一预设时长的情况下，确定该rgb相机104生成了该第一曝光操作对应的rgb图像数据，并在确定该计时时长为第二预设时长的情况下，确定该深度相机105生成了该第二曝光操作对应的深度图像数据。
100.其中，该第一预设时长与该第二预设时长可以相同，也可以不同，以上所述的通过该第二中断触发端接收到该同步倍频脉冲信号输出端输出的该同步倍频脉冲信号，可以是确定是否接收到该同步倍频脉冲信号输出端输出的该同步倍频脉冲信号的触发沿(上升沿或者下降沿)，在确定接收到该同步倍频脉冲信号输出端输出的该同步倍频脉冲信号的触发沿时，确定通过该第二中断触发端接收到该同步倍频脉冲信号输出端输出的该同步倍频脉冲信号。
101.以上技术方案，能够通过在距离触发第一曝光操作的时间(即目标本地时间)第一预设时长时，确定该rgb相机104生成了该第一曝光操作对应的rgb图像数据，并在距离触发第二曝光操作的时间(即目标本地时间)第二预设时长时，确定该深度相机105生成了该第二曝光操作对应的深度图像数据，能够在保证完成了rgb图像数据的情况下，生成带有该目标本地时间对应时间戳的目标rgb图像数据，并在保证完成了深度图像数据的情况下，生成带有该目标本地时间对应时间戳的目标深度图像数据，从而能够有效保证生成该目标rgb图像数据和该目标深度图像数据的可靠性。
102.可选地，该rgb相机104还包括rgb图像数据输出端，该深度相机105还包括深度图像数据输出端，该控制器101还包括rgb图像数据输入端和深度图像数据输入端；
103.该rgb图像数据输出端与该rgb图像数据输入端连接，该深度图像数据输出端与该
深度图像数据输入端连接。
104.其中，该rgb相机104可以通过该rgb图像数据输出端将生成的rgb图像数据发送至该控制器101的rgb图像数据输入端，以使该控制器101接收到该rgb相机104生成的rgb图像数据；该深度相机105可以通过该深度图像数据输出端将生成的深度图像数据发送至该控制器101，该控制器101通过该深度图像数据输入端接收该深度相机105生成的深度图像数据。
105.可选地，该控制器101，被配置为：
106.在确定该rgb相机104生成了该第一曝光操作对应的rgb图像数据时，通过该rgb图像数据输入端接收该rgb相机104中该rgb图像数据输出端输出的该第一曝光操作对应的rgb图像数据，并通过该深度图像数据输入端接收该深度相机105中该深度图像数据输出端输出的该第二曝光操作对应的深度图像数据，根据该目标本地时间，该rgb图像数据和该深度图像数据生成目标数据，该目标数据包括该目标rgb图像数据和该目标深度图像数据。
107.其中，上述根据该目标本地时间，该rgb图像数据和该深度图像数据生成目标数据的实施方式可以是：
108.使该控制器101，被配置为按照预设数据帧格式生成包括该目标本地时间，该rgb图像数据和该深度图像数据的目标数据。
109.需要说明的是，该目标数据可以一条满足预设数据帧格式的数据，在该数据中包括了rgb图像数据和该深度图像数据，以及对应的时间戳；该目标数据也可以是两条满足预设数据帧格式的数据，其中一条数据为目标rgb图像数据，另一条为目标深度图像数据。
110.另外，还需说明的是，该预设数据帧格式可以包括帧头和数据信息，可以是现有技术中的任一中数据帧格式，现有技术中的数据帧格式较多，本公开在此不再一一赘述。
111.示例地，gps模块输出的pps信号送入fpga模块，以使该fpga模块输出得到与该pps信号同步的高频信号(例如可以是20hz或30hz)，即得到该同步倍频脉冲信号，以上同步是指高频信号在1秒内的某个触发沿(上升沿或者下降沿)和pps信号的触发沿(上升沿或者下降沿)同时刻，将该同步倍频脉冲信号接入主控cpu(即控制器)的第二中断触发端，在接收到该同步倍频脉冲信号的触发沿(上升沿或者下降沿)时，生成第二中断信号，并读取到该第二中断信号对应的目标本地时间t4，并利用同步倍频脉冲信号触发rgb相机和深度相机同时曝光，曝光结束后主控cpu读取rgb相机生成的rgb图像数据和深度相机生成的深度图像数据，并打上t4时间戳，从而生成包括t4时间戳，该rgb图像数据和深度图像数据的目标数据。
112.以上技术方案，能够使该深度图像采集装置生成带有准确时间戳的目标数据，能够为多传感器的数据融合提供可靠的数据依据。
113.图3是本公开一示例性的实施例示出的一种深度图像采集方法的流程图；如图3所示，该方法可以包括以下步骤：
114.步骤301，获取目标脉冲信号和该目标脉冲信号中指定上升沿对应的utc时间。
115.其中，该深度图像采集方法可以应用于深度图像采集装置，该深度图像采集装置包括定位模块，该目标脉冲信号为pps信号，该指定上升沿为该pps信号中的每个上升沿，该定位模块，被配置为输出该pps信号和该pps信号中每个上升沿对应的utc时间。
116.本步骤中，可以接收该定位模块输出的该pps信号和该pps信号中每个上升沿对应
的utc时间。
117.步骤302，获取接收到该目标脉冲信号中目标上升沿的第一本地时间以及当前的第二本地时间。
118.本步骤中，获取接收到该目标脉冲信号中目标上升沿的第一本地时间的实施方式可以是：响应于接收到pps信号中的该目标上升沿，生成第一中断信号；获取该第一中断信号对应的本地时间，以得到该第一本地时间。
119.步骤303，确定该目标上升沿对应的目标utc时间。
120.本步骤中，可以获取并解析该目标上升沿对应的目标定位信息，以得到该目标上升沿对应的该目标utc时间。
121.步骤304，根据该第一本地时间、该目标utc时间和该第二本地时间确定当前utc时间，并将该当前utc时间作为当前本地时间。
122.本步骤中，可以获取该第二本地时间和该第一本地时间的目标差值；获取该目标utc时间和该目标差值的和值，并将该和值作为该当前utc时间。
123.以上技术方案，能够通过定位模块中的该pps信号中每个上升沿对应的utc时间对深度图像采集装置进行授时，使深度图像采集装置的本地时间与utc时间同步，有利于保证深度图像采集装置对应本地时间的准确性，有利于生成带有准确时间戳的图像数据，从而有利于深度图像采集装置生成的图像数据与其他传感器采集的数据进行数据融合，也有利于扩大深度图像采集装置的适用范围。
124.可选地，该深度图像采集装置还包括信号生成模块，rgb相机和深度相机；该信号生成模块，用于生成该pps信号对应的同步倍频脉冲信号，该rgb相机，用于在接收到该同步倍频脉冲信号时，执行第一曝光操作，该深度相机，用于在接收到该同步倍频脉冲信号时，执行第二曝光操作，该方法还可以包括以下图4所示步骤，图4是根据本公开图3所示实施例示出的一种深度图像采集方法的流程图；如图4所示，该方法还可以包括：
125.步骤305，响应于接收到该同步倍频脉冲信号，记录当前的目标本地时间。
126.步骤306，在确定该rgb相机生成了该第一曝光操作对应的rgb图像数据时，生成带有该目标本地时间对应时间戳的目标rgb图像数据。
127.其中，上述确定该rgb相机生成了该第一曝光操作对应的rgb图像数据的实施方式可以是，在接收到该同步倍频脉冲信号时，开始计时，在确定该计时时长为第一预设时长的情况下，确定该rgb相机生成了该第一曝光操作对应的rgb图像数据。
128.步骤307，在确定该深度相机生成了该第二曝光操作对应的深度图像数据时，生成带有该目标本地时间对应时间戳的目标深度图像数据。
129.本步骤中，确定该深度相机生成了该第二曝光操作对应的深度图像数据的实施方式可以是，在确定该计时时长为第二预设时长的情况下，确定该深度相机生成了该第二曝光操作对应的深度图像数据。
130.以上技术方案，能够在保证完成了rgb图像数据的情况下，生成带有该目标本地时间对应时间戳的目标rgb图像数据，并在保证完成了深度图像数据的情况下，生成带有该目标本地时间对应时间戳的目标深度图像数据，从而能够有效保证生成该目标rgb图像数据和该目标深度图像数据的可靠性。
131.图5是根据本公开图3所示实施例示出的另一种深度图像采集方法的流程图；该方
法还可以包括：
132.步骤308，在确定该rgb相机生成了该第一曝光操作对应的rgb图像数据时，获取该第一曝光操作对应的rgb图像数据，并获取该第二曝光操作对应的深度图像数据。
133.步骤309，根据该目标本地时间，该rgb图像数据和该深度图像数据生成目标数据。
134.其中，该目标数据包括该目标rgb图像数据和该目标深度图像数据。
135.本步骤中，可以按照预设数据帧格式生成包括该目标本地时间，该rgb图像数据和该深度图像数据的目标数据。
136.以上技术方案，能够使该深度图像采集装置生成带有准确时间戳的目标数据，能够为多传感器的数据融合提供可靠的数据依据。
137.关于上述实施例中的方法部分，其中各个步骤的具体实施方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。
138.本公开又一示例性的实施例示出的一种多传感器融合系统，在该多传感器融合系统中，包括以上图1或图2所提供的该深度图像采集装置(rgb-d相机)，以及多个多线激光雷达和主机，该多传感器融合系统中还可以包括额外的fpga模块以及gps模块，用于对多个多线激光雷达和多个rgb-d相机输出高频控制信号，控制该多线激光雷达和多个rgb-d相机工作，该主机用于将该多个多线激光雷达提供的雷达信号与该深度图像采集装置采集到的图像数据进行融合，从而将采集到的雷达信号和图像数据在时间上对齐显示，能够通过gps提供的rtk结果评估对齐效果，有利于提升融合效果。
139.图6是根据一示例性实施例示出的另一种深度图像采集装置的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
140.参照图6，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(i/o)的接口712，传感器组件714，以及通信组件716。
141.处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述深度图像采集方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
142.存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
143.电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
144.多媒体组件708包括在该装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕
可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。该触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与该触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
145.音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(mic)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
146.i/o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
147.传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如该组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
148.通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，该通信组件716还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
149.在示例性实施例中，装置700可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述深度图像采集方法。
150.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述深度图像采集方法。例如，该非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
151.本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求
指出。
152.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种深度图像采集装置，其特征在于，包括控制器，所述控制器，被配置为接收目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间，获取接收到所述目标脉冲信号中目标上升沿的第一本地时间，获取所述目标上升沿对应的目标utc时间，获取当前的第二本地时间，根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，将所述当前utc时间作为当前本地时间。2.根据权利要求1所述的深度图像采集装置，其特征在于，所述装置还包括与所述控制器连接的定位模块，所述目标脉冲信号为pps信号，所述指定上升沿为所述pps信号中的每个上升沿；所述定位模块，被配置为向所述控制器提供所述pps信号和所述pps信号中每个上升沿对应的utc时间。3.根据权利要求2所述的深度图像采集装置，其特征在于，所述定位模块包括pps信号输出端和uart信号输出端，所述控制器包括第一中断触发端和串口输入端；所述pps信号输出端与所述第一中断触发端连接，所述uart信号输出端与所述串口输入端连接；所述uart信号输出端，被配置为输出所述pps信号中每个上升沿对应的定位信息，所述定位信息中包括utc时间；所述控制器，被配置为通过解析所述uart信号输出端输出的所述目标上升沿对应的目标定位信息，得到所述目标上升沿对应的所述目标utc时间。4.根据权利要求3所述的深度图像采集装置，其特征在于，所述控制器，被配置为在所述第一中断触发端接收到所述pps信号输出端输出的目标上升沿时，生成第一中断信号，并获取所述第一中断信号对应的本地时间，以得到所述第一本地时间。5.根据权利要求3所述的深度图像采集装置，其特征在于，还包括与所述控制器连接的信号生成模块，rgb相机和深度相机；所述信号生成模块，被配置为生成所述pps信号对应的同步倍频脉冲信号；所述rgb相机，被配置为在接收到所述同步倍频脉冲信号时，执行第一曝光操作；所述深度相机，被配置为在接收到所述同步倍频脉冲信号时，执行第二曝光操作；所述控制器，还被配置为响应于接收到所述同步倍频脉冲信号，记录当前的目标本地时间，并在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，生成带有所述目标本地时间对应时间戳的目标rgb图像数据，在确定所述深度相机生成了所述第二曝光操作对应的深度图像数据时，生成带有所述目标本地时间对应时间戳的目标深度图像数据。6.根据权利要求5所述的深度图像采集装置，其特征在于，所述控制器还包括第二中断触发端，所述信号生成模块包括pps信号输入端和同步倍频脉冲信号输出端，所述rgb相机包括第一曝光触发端和rgb图像数据输出端，所述深度相机包括第二曝光触发端和深度图像数据输出端；所述pps信号输出端还与所述pps信号输入端连接，所述同步倍频脉冲信号输出端分别与所述第二中断触发端，所述第一曝光触发端和所述第二曝光触发端连接。7.根据权利要求6所述的深度图像采集装置，其特征在于，所述控制器，被配置为：在通过所述第二中断触发端接收到所述同步倍频脉冲信号输出端输出的所述同步倍频脉冲信号时，开始计时，在确定所述计时时长为第一预设时长的情况下，确定所述rgb相
机生成了所述第一曝光操作对应的rgb图像数据，并在确定所述计时时长为第二预设时长的情况下，确定所述深度相机生成了所述第二曝光操作对应的深度图像数据。8.根据权利要求7所述的深度图像采集装置，其特征在于，所述rgb相机还包括rgb图像数据输出端，所述深度相机还包括深度图像数据输出端，所述控制器还包括rgb图像数据输入端和深度图像数据输入端；所述rgb图像数据输出端与所述rgb图像数据输入端连接，所述深度图像数据输出端与所述深度图像数据输入端连接。9.根据权利要求8所述的深度图像采集装置，其特征在于，所述控制器，被配置为：在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，通过所述rgb图像数据输入端接收所述rgb相机中所述rgb图像数据输出端输出的所述第一曝光操作对应的rgb图像数据，并通过所述深度图像数据输入端接收所述深度相机中所述深度图像数据输出端输出的所述第二曝光操作对应的深度图像数据，根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，所述目标数据包括所述目标rgb图像数据和所述目标深度图像数据。10.根据权利要求9所述的深度图像采集装置，其特征在于，所述控制器，被配置为：按照预设数据帧格式生成包括所述目标本地时间，所述rgb图像数据和所述深度图像数据的目标数据。11.根据权利要求1-10任一项所述的深度图像采集装置，其特征在于，所述控制器，被配置为获取所述第二本地时间和所述第一本地时间的目标差值，并获取所述目标utc时间和所述目标差值的和值，并将所述和值作为所述当前utc时间。12.一种深度图像采集方法，其特征在于，所述方法包括：获取目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间；获取接收到所述目标脉冲信号中目标上升沿的第一本地时间以及当前的第二本地时间；确定所述目标上升沿对应的目标utc时间；根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，并将所述当前utc时间作为当前本地时间。13.根据权利要求12所述的方法，其特征在于，所述方法应用于深度图像采集装置，所述深度图像采集装置包括定位模块，所述目标脉冲信号为pps信号，所述指定上升沿为所述pps信号中的每个上升沿，所述定位模块，被配置为输出所述pps信号和所述pps信号中每个上升沿对应的utc时间；所述获取目标脉冲信号和所述目标脉冲信号中指定上升沿对应的utc时间，包括：接收所述定位模块输出的所述pps信号和所述pps信号中每个上升沿对应的utc时间。14.根据权利要求13所述的方法，其特征在于，所述确定所述目标上升沿对应的目标utc时间包括：获取并解析所述目标上升沿对应的目标定位信息，以得到所述目标上升沿对应的所述目标utc时间。15.根据权利要求13所述的方法，其特征在于，获取接收到所述目标脉冲信号中目标上升沿的第一本地时间，包括：
响应于接收到所述pps信号中的所述目标上升沿，生成第一中断信号；获取所述第一中断信号对应的本地时间，以得到所述第一本地时间。16.根据权利要求13所述的方法，其特征在于，所述深度图像采集装置还包括信号生成模块，rgb相机和深度相机；所述信号生成模块，用于生成所述pps信号对应的同步倍频脉冲信号，所述rgb相机，用于在接收到所述同步倍频脉冲信号时，执行第一曝光操作，所述深度相机，用于在接收到所述同步倍频脉冲信号时，执行第二曝光操作，所述方法还包括：响应于接收到所述同步倍频脉冲信号，记录当前的目标本地时间；在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，生成带有所述目标本地时间对应时间戳的目标rgb图像数据；在确定所述深度相机生成了所述第二曝光操作对应的深度图像数据时，生成带有所述目标本地时间对应时间戳的目标深度图像数据。17.根据权利要求16所述的方法，其特征在于，所述确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据包括：在接收到所述同步倍频脉冲信号时，开始计时，在确定所述计时时长为第一预设时长的情况下，确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据；相应地，所述确定所述深度相机生成了所述第二曝光操作对应的深度图像数据，包括：在确定所述计时时长为第二预设时长的情况下，确定所述深度相机生成了所述第二曝光操作对应的深度图像数据。18.根据权利要求16所述的方法，其特征在于，所述方法还包括：在确定所述rgb相机生成了所述第一曝光操作对应的rgb图像数据时，获取所述第一曝光操作对应的rgb图像数据，并获取所述第二曝光操作对应的深度图像数据；根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，所述目标数据包括所述目标rgb图像数据和所述目标深度图像数据。19.根据权利要求18所述的方法，其特征在于，所述根据所述目标本地时间，所述rgb图像数据和所述深度图像数据生成目标数据，包括：按照预设数据帧格式生成包括所述目标本地时间，所述rgb图像数据和所述深度图像数据的目标数据。20.根据权利要求12-19任一项所述的方法，其特征在于，所述根据所述第一本地时间、所述目标utc时间和所述第二本地时间确定当前utc时间，包括：获取所述第二本地时间和所述第一本地时间的目标差值；获取所述目标utc时间和所述目标差值的和值，并将所述和值作为所述当前utc时间。21.一种多传感器融合系统，其特征在于，包括以上权利要求1至11中任一项所述深度图像采集装置。

技术总结
本公开涉及一种深度图像采集装置、方法及多传感器融合系统，该深度图像采集方法，能够通过目标脉冲信号中指定上升沿对应的UTC时间对深度图像采集装置进行授时，使深度图像采集装置的本地时间与UTC时间同步，有利于保证深度图像采集装置对应本地时间的准确性，有利于生成带有准确时间戳的图像数据，从而有利于深度图像采集装置生成的图像数据与其他传感器采集的数据进行数据融合，也有利于扩大深度图像采集装置的适用范围。像采集装置的适用范围。像采集装置的适用范围。


技术研发人员：包鼎华
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2022.03.24
技术公布日：2023/10/11