激光雷达与视觉融合系统及探测方法与流程

1.本发明属于视觉系统与激光雷达融合技术领域，尤其涉及一种激光雷达与视觉融合系统及探测方法。


背景技术：

2.激光雷达是以发射激光光束探测目标的位置、速度等特征量的雷达系统。通过激光雷达可以获得大量点云数据，再通过对点云数据的处理，可得到三维模型，但形成的三维模型由于分辨率等因素的限制，整体效果并不直观。而视觉相机等视觉系统虽然可以直接采集图像，形成关于目标物的直观图像，但通过视觉相机所形成的图像缺少距离信息。为获取高清图像，在实际应用时，一般需要将激光雷达与视觉系统一起使用，通过将激光雷达获取的点云数据和视觉系统获取的图像或视频融合，以获取具备距离信息的高清图像。
3.目前，激光雷达与视觉融合系统一般包括至少一个激光雷达和至少一个视觉系统，激光雷达与视觉系统均为独立系统。使用时，激光雷达测量点云信息，视觉系统测量视觉信息，待两者分别测量完毕后，再将两者获取的测量数据通过线路传输到后端数据处理中心，通过数据处理中心对数据进行处理后实现激光雷达点云与视觉系统的融合。采用这一方式，激光雷达与视觉融合系统体积较大，且使用效果受环境光强弱影响较大。


技术实现要素：

4.本发明的目的在于提供一种激光雷达与视觉融合系统及探测方法，旨在解决现有技术中激光雷达与视觉融合系统体积较大，且使用效果受环境光强弱影响较大的技术问题。
5.本发明是这样实现的，第一方面，提供了一种激光雷达与视觉融合系统，包括：
6.发射装置，用于出射激光光束和可见光光束，并将所述激光光束和所述可见光光束同轴或平行出射；
7.扫描装置，用于接收所述激光光束和所述可见光光束，并将所述激光光束和所述可见光光束发射至探测区域；
8.接收装置，用于接收激光回波信号，并根据所述激光回波信号生成点云数据；以及，接收可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及
9.信号处理装置，与所述接收装置连接，用于接收所述点云数据和所述视觉数据，并根据所述点云数据和所述视觉数据中的至少一个数据以生成三维图像。
10.在一个可选的实施例中，所述发射装置包括：
11.激光光源模组，用于生成所述激光光束；
12.可见光光源模组，用于生成所述可见光光束，且所述可见光光束的出射方向与所述激光光束的出射方向具有预设夹角，所述预设夹角为0-180
°
之间的任一角度；以及
13.合束模组，用于接收所述激光光束和所述可见光光束，将所述激光光束和所述可见光光束合并成为一个混合光束，并提供给所述扫描装置。
14.在一个可选的实施例中，所述合束模组包括：
15.合束镜，用于透射所述激光光束，以及反射所述可见光光束；以及
16.第一透镜，位于所述合束镜的出光侧，对经所述合束镜透射的激光光束以及将所述合束镜反射的可见光光束进行准直。
17.在一个可选的实施例中，所述接收装置包括：
18.分束模组，用于接收经目标物反射回来的混合光回波信号，并将所述混合光回波信号分为激光回波信号和可见光回波信号；
19.可见光接收模组，用于接收所述可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及
20.激光接收模组，用于接收所述激光回波信号，并根据所述激光回波信号生成点云数据。
21.在一个可选的实施例中，所述分束模组包括：
22.分束镜，用于透射所述激光回波信号，以及反射所述可见光回波信号；以及
23.第二透镜，位于所述分束镜的入光侧，对经所述分束镜透射的激光回波信号以及将所述分束镜反射的可见光回波信号进行准直。
24.在一个可选的实施例中，所述发射装置包括：
25.激光光源模组，用于生成所述激光光束；以及
26.可见光光源模组，用于生成所述可见光光束，且所述可见光光束的出射方向与所述激光光束的出射方向平行；
27.所述接收装置包括：
28.可见光接收模组，用于接收所述可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及
29.激光接收模组，用于接收激光回波信号，并根据所述激光回波信号生成点云数据。在一个可选的实施例中，所述激光雷达与视觉融合系统还包括：
30.控制装置，与所述激光光源模组、所述可见光光源模组、所述激光接收模组和所述可见光接收模组分别电连接，用于在所述激光光源模组、所述可见光光源模组、所述激光接收模组和所述可见光接收模组全部开启之前，
31.通过开启所述激光光源模组和所述激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
32.若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述可见光光源模组和所述可见光接收模组；
33.或者，
34.通过开启所述可见光光源模组和所述可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
35.若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述激光光源模组和所述激光接收模组。
36.本发明相对于现有技术的技术效果是：本发明实施例提供的激光雷达与视觉融合系统，包括发射装置、扫描装置、接收装置以及信号处理装置。其中，信号处理装置与接收装置连接，用于接收点云数据和视觉数据以生成电信号，并根据电信号以生成具有距离信息
的三维图像。本实施例提供的激光雷达与视觉融合系统将激光雷达和视觉系统集成于一个整体，单个设备便可实现探测区域的点云测量、视觉测量、数据融合处理，并输出融合后的三维图像。又由于本实施例提供的激光雷达与视觉融合系统将激光雷达和视觉系统融合为一个整体，发射装置出射的激光光束和可见光光束可共用同一扫描装置，可实现空间的合理利用，且整个系统的结构简单且紧凑，有效减小了系统的体积。另外，本实施例提供的激光雷达与视觉融合系统还在发射装置内增设了可见光光束发射功能，可在环境光较弱时对探测区域进行补光，以保证接收装置无论什么时候均可获取足够多的可见光回波信号，生成清晰的视觉数据，进而保证激光雷达与视觉融合系统所生成的三维图像不受环境光强弱的影响。
37.第二方面，提供了一种探测方法，应用于激光雷达与视觉融合系统，所述探测方法包括以下步骤：
38.通过所述激光雷达与视觉融合系统发出的激光光束对探测区域进行探测，并生成点云数据；
39.通过所述激光雷达与视觉融合系统发出的与所述激光光束同轴或者平行的可见光光束对探测区域进行探测，并生成视觉数据；
40.根据所述点云数据和所述视觉数据中的至少一个数据生成三维图像。
41.在一个可选的实施例中，所述激光雷达与视觉融合系统包括发射装置，所述发射装置包括可见光光源模组；
42.在通过所述激光雷达与视觉融合系统发出的与所述激光光束同轴或者平行的可见光光束对探测区域进行探测之前，还包括以下步骤：
43.获取外部环境的可见光强度，并判断外部环境中的可见光强度是否满足预设范围；
44.若可见光强度不满足预设范围，启动所述可见光光源模组，其中，所述可见光光源模组用于生成所述可见光光束。
45.在一个可选的实施例中，所述激光雷达与视觉融合系统包括发射装置和接收装置，所述发射装置包括激光光源模组和可见光光源模组，所述接收装置包括激光接收模组和可见光接收模组；
46.在通过所述激光雷达与视觉融合系统发出的所述激光光束和所述可见光光束同时对探测区域进行探测之前，还包括以下步骤：
47.通过所述激光光源模组和所述激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
48.若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述可见光光源模组和所述可见光接收模组；
49.或者，
50.通过所述可见光光源模组和所述可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
51.若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述激光光源模组和所述激光接收模组。
52.本发明相对于现有技术的技术效果是：本发明实施例提供的探测方法，是基于上
述各实施例提供的激光雷达与视觉融合系统提出的，具有上述各实施例提供的激光雷达与视觉融合系统的各项优点，在此不再赘述。同时，采用本发明实施例提供的探测方法还可有效减少能源浪费。
附图说明
53.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是本发明一实施例提供的激光雷达与视觉融合系统的结构示意图；
55.图2是本发明另一实施例提供的激光雷达与视觉融合系统的结构示意图；
56.图3是本发明一实施例所采用的发射装置的使用状态示意图，图中箭头为相应光束的传播方向；
57.图4是本发明一实施例所采用的接收装置的使用状态示意图，图中箭头为相应回波信号的传播方向；
58.图5是本发明另一实施例所采用的发射装置的使用状态示意图，图中未示出扫描装置，图中箭头为相应光束的传播方向；
59.图6是本发明另一实施例所采用的接收装置的使用状态示意图，图中箭头为相应回波信号的传播方向；
60.图7是本发明一实施例所采用的接收装置与信号处理装置的框线示意图；
61.图8是本发明一实施例提供的探测方法的流程示意图；
62.图9是本发明一实施例提供的探测方法中可见光光源模组启动过程流程示意图；
63.图10是本发明另一实施例提供的探测方法的流程示意图；
64.图11是本发明另一实施例提供的探测方法的流程示意图。
65.附图标记说明：
66.100、发射装置；110、激光光源模组；111、激光发射模块；112、第三透镜；120、可见光光源模组；121、可见光发射模块；122、第四透镜；130、合束模组；131、合束镜；132、第一透镜；140、第一壳体；141、出光口；150、扫描装置；160、扫描光线；200、接收装置；210、激光接收模组；211、激光接收电路板；212、激光探测器；213、第五透镜；220、可见光接收模组；221、视觉接收电路板；222、视觉探测器；223、第六透镜；230、分束模组；231、分束镜；232、第二透镜；240、第二壳体；241、入光口；300、承载件；400、信号处理装置；410、光电转化模块；420、信号融合模块；430、算法处理模块。
具体实施方式
67.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
68.在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所
示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
69.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
70.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
71.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
72.请参照图1至图7所示，在本发明实施例中，提供一种激光雷达与视觉融合系统，包括发射装置100、扫描装置150、接收装置200以及信号处理装置400。发射装置100用于出射激光光束和可见光光束，并将激光光束和可见光光束同轴或平行出射。扫描装置150用于接收激光光束和可见光光束，并将激光光束和可见光光束发射至探测区域。具体的，当激光光束和可见光光束以同轴方式出射时，扫描装置150可以包括一个扫描模块；当激光光束和可见光光束以平行方式出射时，扫描装置150包括可以一个扫描模块或者两套扫描模块。当扫描装置150包括两套扫描模块时，可见光光束和激光光束可一一对应通过两套扫描模块分别调整探测角度。具体的，如图3所示，经过扫描装置150后原本沿单一方向传播的激光和可见光线，可调整传播方向，从而实现多线发射的效果，以对物体进行线阵或面阵扫描。上述扫描模块可以为振镜、旋转棱镜、flash扫描模块，或者控制发射模组和接收模组整体旋转的旋转机构中的一种，还可以采用其他可实现光束角度调整的其他结构，具体可根据使用需要设定，这里不做唯一限定。
73.接收装置200用于接收激光回波信号，并根据激光回波信号生成点云数据；以及，接收可见光回波信号，并根据可见光回波信号生成视觉数据。具体的，接收装置200至少包括激光接收模组210和可见光接收模组220。激光接收模组210用于接收经探测区域反射回来的激光回波信号，并根据激光回波信号生成点云数据。这里所说的激光回波信号是指上述激光光束经探测区域中的物体反射回来的回波信号。可见光接收模组220用于接收经探测区域反射回来的可见光回波信号，并根据可见光回波信号生成视觉数据。可见光回波信号包括上述可见光光束经探测区域反射回来的回波信号，和/或环境中的可见光经探测区域反射回来的回波信号。信号处理装置400与接收装置200连接。信号处理装置400用于接收点云数据和视觉数据，并根据点云数据和视觉数据中的至少一个数据以生成三维图像。
74.为便于理解，现以信号处理装置400根据点云数据和视觉数据生成三维图像为例，对本实施例提供的激光雷达与视觉融合系统的工作原理进行说明：
75.当环境光较强时，接收模组200无需借助发射装置100发出的可见光光束便可获取清晰的视觉数据，此时发射装置100可仅发射激光光束，不发射可见光光束。探测时，发射装
置100发出激光光束，该激光光束经扫描装置150调整探测角度后照射至探测区域。探测区域内若存在物体，则激光光束照射至物体上后被反射回来形成激光回波信号。接收模组200接收该激光回波信号，并对其分析判断后形成点云数据，之后接收模组200将生成的点云数据传送至信号处理装置400。与此同时，接收模组200接收环境中的可见光被物体反射回来的可见光回波信号，经分析判断后生成探测区域内物体的视觉数据，之后接收模组200将生成的视觉数据传送至信号处理装置400。信号处理装置400接收到上述点云数据和视觉数据将其转化为电信号后对两者进行配准、融合等处理，生成具有距离信息的三维图像。
76.当环境光较弱时，此时仅依靠环境中的可见光，接收模组200无法获取清晰的视觉数据，此时发射装置100发出激光光束和可见光光束，两种光束通过扫描装置150调整探测角度后照射至探测区域。探测区域内若存在物体，则激光光束照射至物体上后被反射回来形成激光回波信号，可见光光束或者可见光光束与环境中的可见光的混合光束照射至物体上后被反射回来形成可见光回波信号。之后接收模组200对激光回波信号和可见光回波信号进行接收，形成点云数据和视觉数据，并将两种信号分别传送至信号处理装置400。信号处理装置400接收到上述点云数据和视觉数据后对两者进行配准、融合等处理，生成具有距离信息的三维图像。
77.本发明实施例提供的激光雷达与视觉融合系统，包括发射装置100、扫描装置150、接收装置200以及信号处理装置400。其中，信号处理装置400与接收装置200连接，用于接收点云数据和视觉数据，并根据点云数据和视觉数据中的至少一个数据以生成三维图像。本实施例提供的激光雷达与视觉融合系统将激光雷达和视觉系统集成于一个整体，单个设备便可实现探测区域的点云测量、视觉测量、数据融合处理，并输出融合后的三维图像。又由于本实施例提供的激光雷达与视觉融合系统将激光雷达和视觉系统融合为一个整体，发射装置100出射的激光光束和可见光光束可共用同一扫描装置150，可实现空间的合理利用，且整个系统的结构简单且紧凑，有效减小了系统的体积。另外，本实施例提供的激光雷达与视觉融合系统还在发射装置内增设了可见光光束发射功能，可在环境光较弱时对探测区域进行补光，以保证接收装置200无论什么时候均可获取足够多的可见光回波信号，生成清晰的视觉数据，进而保证激光雷达与视觉融合系统所生成的三维图像不受环境光强弱的影响。
78.在上述实施例中，激光光束和可见光光束可以采用同轴方式或者平行方式出射，当激光光束和可见光光束采用同轴方式出射时，请参照图5所示，在一个可选的实施例中，发射装置100包括激光光源模组110、可见光光源模组120以及合束模组130。激光光源模组110用于生成激光光束。可见光光源模组120用于生成可见光光束，且可见光光束的出射方向与激光光束的出射方向具有预设夹角，预设夹角为大于0
°
小于180
°
之间的任一角度。优选的，预设夹角为70
°‑
110
°
之间的任一角度。合束模组130用于接收激光光束和可见光光束，将激光光束和可见光光束合并成为一个混合光束，并提供给扫描装置150。
79.具体的，合束模组130可包括能够透射激光光束并反射可见光光束的合束镜131、合束器等，还可以包括其他辅助透镜，具体可根据使用需要灵活选择，这里不做唯一限定。这里所说的辅助透镜主要为准直透镜，除此之外还可以为用于消除杂光的透镜、用于消除像差的透镜等。扫描装置150通过接收混合光束实现激光光束和可见光光束的接收。
80.优选的，上述实施例中可见光光束的出射方向与激光光束的出射方向垂直。
81.在一个可选的实施例中，合束模组130包括合束镜131以及第一透镜132。其中，合束镜131用于透射激光光束，以及反射可见光光束。第一透镜132位于合束镜131的出光侧，对经合束镜131透射的激光光束以及将合束镜131反射的可见光光束进行准直。具体的，第一透镜132可以为一个或多个，具体可根据使用需要设定。合束模组130采用本实施例提供的结构，结构简单，且具有准直光束的作用，合束效果良好。
82.具体的，上述合束镜131采用半透半反镜片，其合光原理如下：可见光回波信号的波段为400-700nm，激光回波信号的波段为905nm或者1550nm，两者波段存在差异。上述半透半反镜片的一侧镀有半透半反膜，另一侧镀有增透膜(此侧也可不镀)。
83.在其中一种实现方式中，上述半透半反膜可以采用能够反射400-700nm波段光束，且能够通过905nm或者1550nm波段光束通过的结构。此时，可见光光束发出后照射至合束镜131的半透半反膜上被反射出去，激光光束先照射至合束镜131的另一面上，再穿过合束镜131的主体照射至半透半反膜上，并透过半透半反膜射出，且射出方向与可见光光束的反射方向相同，且两者位于同一光路上，实现两者的合束。
84.在另一种实现方式中，上述半透半反膜可以采用能够反射905nm或者1550nm波段光束，且能够通过400-700nm波段光束通过的结构。此时，激光光束发出后照射至合束镜131的半透半反膜上被反射出去，可见光光束先照射至合束镜131的另一面上，再穿过合束镜131的主体照射至半透半反膜上，并透过半透半反膜射出，且射出方向与可见光光束的反射方向相同，且两者位于同一光路上，实现两者的合束。请参照图6所示，接收装置200包括分束模组230、可见光接收模组220以及激光接收模组210。其中，分束模组230用于接收经目标物反射回来的混合光回波信号，并将混合光回波信号分为激光回波信号和可见光回波信号。可见光接收模组220用于接收可见光回波信号，并根据可见光回波信号生成视觉数据。激光接收模组210用于接收激光回波信号，并根据激光回波信号生成点云数据。
85.具体的，分束模组230位于激光接收模组210和可见光接收模组220的入光侧。这里所说的混合光回波信号为上述混合光束经目标物反射回来的回波信号。具体的，分束模组230可以包括分束器、分束镜231等，还可以包括其他辅助透镜，具体可根据使用需要灵活选择，这里不做唯一限定。上述分束镜231可以为半透半反分束镜，用于透视激光回波信号并反射可见光回波信号。辅助透镜主要为准直透镜，除此之外还可以为用于消除杂光的透镜、用于消除像差的透镜等。
86.本实施例提供的激光雷达与视觉融合系统的工作原理如下：
87.激光光源模组110发出的激光光束和可见光光源模组120发出的可见光光束中的其中一种光束被合束模组130反射，另一种光束透过合束模组130，从而实现两种光束的合并，形成混合光束。之后混合光束通过扫描装置150发射至探测区域。探测区域内若存在物体，则混合光束照射至物体上后被反射回来形成混合光回波信号。该混合光回波信号先经过分束模组230，混合光回波信号中的两种回波信号中的其中一种回波信号(如激光回波信号或者可见光回波信号)透过分束模组230进入相应接收模组，另一种回波信号被反射进入相应接收模组。此过程包括下述两种情况中的任一种，其中一种情况为激光回波信号透过分束模组230进入激光接收模组210，可见光回波信号被反射从而进入可见光接收模组220；另一种情况为混合光回波信号中的激光回波信号被反射进入激光接收模组210，可见光回波信号透过分束模组230进入可见光接收模组220。之后激光接收模组210和可见光接收模
组220分别对激光回波信号和可见光回波信号进行接收，形成点云数据和视觉数据，并将两种信号分别传送至信号处理装置400。信号处理装置400接收到上述点云数据和视觉数据后对两者进行配准、融合等处理，生成具有距离信息的三维图像。
88.通过本实施例提供的激光雷达与视觉融合系统，激光光源模组110发出的激光光束和可见光光源模组120发出的可见光光束可通过合束模组130实现同轴传输，从而可使两者可借助同一扫描模块调整探测角度，从而使得激光雷达与视觉融合系统所需零部件数量较少，以减小激光雷达与视觉融合系统的体积。而分束模组230的设置则可将同轴反射回来的同轴回波信号分为激光回波信号和可见光回波信号，以便于激光接收模组210和可见光接收模组220分别对不同回波信号进行接收，保证了激光雷达与视觉融合系统的正常工作。
89.请参照图5及图6所示，在一个可选的实施例中，分束模组230包括分束镜231以及位于分束镜231入光侧的第二透镜232。分束镜231用于透射激光回波信号，以及反射可见光回波信号。具体的，分束镜231采用半透半反镜片，其分光原理如下：可见光回波信号的波段为400-700nm，激光回波信号的波段为905nm或者1550nm，两者波段存在差异。上述半透半反镜片的一侧镀有半透半反膜，另一侧镀有增透膜(此侧也可不镀)。
90.在其中一种实现方式中，上述半透半反膜可以采用能够反射400-700nm波段光束，且能够通过905nm或者1550nm波段光束通过的结构。此时，分束镜231镀有半透半反膜的一侧为接收面，混合光回波信号照射至其上时，波长为400-700nm的光线被反射，波长为905nm或者1550nm波段的光线穿过分束镜231透出，从而实现可见光回波信号的反射，和激光回波信号的透射，进而实现两种回波信号的分离。
91.在另一种实现方式中，上述半透半反膜可以采用能够反射905nm或者1550nm波段光束，且能够通过400-700nm波段光束通过的结构。此时，分束镜231镀有半透半反膜的一侧同样为接收面，混合光回波信号照射至其上时，波长为905nm或者1550nm波段的光线被反射，波长为400-700nm的光线穿过分束镜231透出，从而实现激光回波信号的反射，和可见光回波信号的透射，进而实现两种回波信号的分离。
92.第二透镜232位于分束镜231的入光侧，对经分束镜231透射的激光回波信号以及将分束镜231反射的可见光回波信号进行准直。具体的，本实施例中的第二透镜232可以包括至少一个准直透镜，以对相应光束进行准直，进而使得相应光束最大效率的耦合进入相应器件或者探测区域内。本实施例中的分束模组230采用上述结构，结构简单，且使得激光雷达与视觉融合系统的探测效果更佳。
93.当上述激光光束和可见光光束采用平行方式出射时，请参照图3所示，在一个可选的实施例中，发射装置100包括激光光源模组110以及可见光光源模组120。其中，激光光源模组110用于生成激光光束。具体的，激光发射模组110可以发出一个激光光束，也可以发出多个激光光束，具体可根据使用需要设定，这里不做唯一限定。可见光光源模组120用于生成可见光光束，且可见光光束的出射方向与激光光束的出射方向平行。使用时，可根据环境光强度，确定可见光光源模组120是否开启。发射装置100采用这一结构，结构简单，便于操作。
94.请参照图4所示，在一个可选的实施例中，接收装置200包括可见光接收模组220以及激光接收模组210。其中，可见光接收模组220用于接收可见光回波信号，并根据可见光回波信号生成视觉数据。激光接收模组210用于接收激光回波信号，并根据激光回波信号生成
点云数据。激光接收模组210采用这一结构，结构简单，便于操作。
95.在一个可选的实施例中，激光雷达与视觉融合系统还包括控制装置。控制装置与激光光源模组、可见光光源模组、激光接收模组和可见光接收模组分别电连接。控制装置用于在激光光源模组110、可见光光源模组120、激光接收模组210和可见光接收模组220全部开启之前，
96.通过开启激光光源模组110和激光接收模组210对探测区域进行探测，判断目标物是否处于探测区域内；
97.若探测区域内存在目标物，根据需要获取的目标物的参数信息，确定是否需要开启可见光光源模组120和可见光接收模组220；
98.或者，
99.通过开启可见光光源模组120和可见光接收模组220对探测区域进行探测，判断目标物是否处于探测区域内；
100.若探测区域内存在目标物，根据需要获取的目标物的参数信息，确定是否需要开启激光光源模组110和激光接收模组210。
101.具体的，控制装置可以为cpu、单片机，或者多个控制芯片、控制装置组合成的集成装置，具体可根据使用需要设定。控制装置的设置有效节省了激光雷达与视觉融合系统使用时的能耗。
102.请参照图3至图6所示，在一个可选的实施例中，激光光源模组110包括激光发射模块111以及位于激光发射模块111出光侧的第三透镜112。可见光光源模组120包括可见光发射模块121以及位于可见光发射模块121的出光侧的第四透镜122。激光接收模组210包括依次设置的激光接收电路板211、激光探测器212和第五透镜213。第五透镜213位于激光探测器212的入光侧。激光探测器212与激光接收电路板211电连接。激光电路板与信号处理装置400电连接。可见光接收模组220包括依次设置的视觉接收电路板221、视觉探测器222和第六透镜223。第六透镜223位于视觉探测器222的入光侧。视觉探测器222与视觉接收电路板221电连接。视觉接收电路板221与信号处理装置电连接。本实施例中的第三透镜112、第四透镜122、第五透镜213和第六透镜223可以分别包括至少一个准直透镜，以对相应光束进行准直，进而使得相应光束最大效率的耦合进入相应器件或者探测区域内；也可以包括其他透镜，如用于消除杂光的透镜、用于消除像差的透镜等，具体可根据使用需要进行设定，这里不做唯一限定。本实施例中的各个模组采用上述结构，结构简单，且使得激光雷达与视觉融合系统的探测效果更佳。
103.请参照图7所示，在一个可选的实施例中，信号处理装置400包括依次电连接的光电转化模块410、信号融合模块420和算法处理模块430。光电转化模块410用于将点云数据和视觉数据并将两者转化为电信号。信号融合模块420用于接收上述电信号并对电信号进行配准、融合以生成融合信号。算法处理模块430用于接收上述融合信号并根据融合信号生成具有距离信息的三维图像。本实施例中的光电转化模块410、信号融合模块420和算法处理模块430可根据使用需要选择市场上现有的，且能够实现上述功能的相应模块、芯片或者组合件，具体可根据使用需要灵活选择，这里不做唯一限定。信号处理模块采用本实施例提供的结构，结构简单，工作性能稳定。
104.请参照图1及图2所示，在一个可选的实施例中，发射装置100包括具有出光口141
的第一壳体140，激光光源模组、可见光光源模组和扫描装置均安装于第一壳体140内。具体的，出光口141可以设置一个或多个。当发射装置100包括上述合束模组，且合束模组位于第一壳体140内时，激光光束和可见光光束同轴发射，此时出光口141可仅设置一个；当发射装置100不包括合束模组，或者包括合束模组，但合束模组位于第一壳体140外时，出光口141可设置多个，以供不同光束通过。本实施例提供的激光雷达与视觉融合系统中激光光源模组、可见光光源模组和扫描装置共用同一壳体，可进一步减小发射装置100的体积。
105.请参照图1及图2所示，在一个可选的实施例中，接收装置200包括具有入光口241的第二壳体240，激光接收模组和可见光接收模组均安装于第二壳体240内。具体的，入光口241可以设置一个或多个。当激光光束和可见光光束同轴发射时，此时入光口241可仅设置一个；当激光光束和可见光光束不同轴发射时，入光口241可设置多个，以供不同回波信号分别通过不同入光口241进入不同接收模组。本实施例提供的激光雷达与视觉融合系统中，激光接收模组和可见光接收模组共用同一壳体，可进一步减小发射装置100的体积。
106.请参照图1及图2所示，在一个可选的实施例中，激光雷达与视觉融合系统还包括承载件300，承载件300用于承载发射装置100、接收装置200以及信号处理装置400。具体的，承载件300可以为板型结构、框型结构或者其他结构，只要能实现上述功能，实现各装置的连接即可。采用本实施例提供的激光雷达与视觉融合系统，各装置可通过承载件300连接为一个整体，便于其整体搬运。
107.请参照图8所示，在本发明的另一实施例中，提供了一种探测方法，应用于激光雷达与视觉融合系统。探测方法包括以下步骤：
108.通过激光雷达与视觉融合系统发出的激光光束对探测区域进行探测，并生成点云数据；
109.通过激光雷达与视觉融合系统发出的与激光光束同轴或者平行的可见光光束对探测区域进行探测，并生成视觉数据；
110.根据点云数据和视觉数据中的至少一个数据生成三维图像。本发明实施例提供的探测方法，是基于上述各实施例提供的激光雷达与视觉融合系统提出的，具有上述各实施例提供的激光雷达与视觉融合系统的各项优点，在此不再赘述。同时，采用本实施例提供的探测方法还可有效减少能源浪费。
111.请参照图9所示，在一个可选的实施例中，激光雷达与视觉融合系统包括发射装置，发射装置包括可见光光源模组。
112.在通过激光雷达与视觉融合系统发出的与激光光束同轴或者平行的可见光光束对探测区域进行探测，并生成视觉数据之前，还包括以下步骤：
113.获取外部环境的可见光强度，并判断外部环境中的可见光强度是否满足预设范围；
114.若可见光强度不满足预设范围，启动可见光光源模组，其中，可见光光源模组用于生成可见光光束。
115.需要说明的是，当可见光光束与激光光束平行设置时，本实施例中的可见光光源模组可与上述各实施例提供的可见光光源模组结构相同，也可以采用上述各实施例提供的可见光光源模组与相关透镜(如准直透镜、消除像差透镜等)的组合结构；当可见光光束与激光光束同轴设置时，本实施例中的可见光光源模组至少包括上述各实施例提供的可见光
光源模组和合束模组。
116.上述操作中判断外部环境中的可见光强度是否满足视觉数据要求，可以通过人工观察探测区域的明暗程度来判断，也可以通过可见光接收模组分析得出的视觉数据的清晰度进行判断。具体的，视觉数据的清晰度可以通过像素的强度值、图像的灰度值等与预设数值进行比对，以判断得出。预设数值可通过经营和探测要求进行设定。若视觉数据清晰，则判断可见光强度满足视觉数据要求；若视觉数据不清晰，则判断可见光强度不满足视觉数据要求。同样的，上述判断过程可通过人工观察视觉数据的清晰度完成，也可利用上述信号处理装置或者其他图像处理装置对上述视觉数据进行分析处理通过智能识别技术进行判断，具体可根据使用需要灵活选择，这里不做唯一限定。
117.为便于理解，现举例说明上述判断外部环境中的可见光强度是否满足预设范围如何判断：
118.一种可选的实现方式，操作时，先通过可见光接收模组获取的视觉数据分析得出图像，每幅图像的灰度标准差可以通过以下等式计算：
[0119][0120]
式中，δ为标准差，m、n分别表示图像在x、y方向上的像素个数，i(x，y)表示图像上某一点的灰度值，i0表示图像的平均灰度值。
[0121]
对于每个成像元件，可以将最大的灰度标准差对应的光照强度确定为每个成像元件用于检测的光照强度。通过这种方法确定的光照强度，可以获得每个成像元件的最佳光照强度。当灰度标准差小于设定阈值时，则认定可见光强度不满足预设范围，启动可见光光源模组进行补光处理。
[0122]
另一种可选的实现方式，操作时，先通过可见光接收模组获取的视觉数据分析得出图像，之后将图像分块处理，再将各块的图像数据由rgb色彩空间转换为hsi色彩空间。应理解的是，正常拍摄步骤中进行拍摄得到的并非是可视的图像，而是以拜耳格式存在的图像数据，这些图像数据呈现出来的是rgb色彩空间的信息。转换方法可采用本领域技术人员所知悉的转换算法，常用的rgb转换到hsi的算法如下式所示：
[0123][0124]
通过上述公式计算各块中光强度(即i分量)的平均值。当上述光强度的平均值小于设定阈值时，则认定可见光强度不满足预设范围，启动可见光光源模组进行补光处理。
[0125]
请参照图10及图11所示，在一个可选的实施例中，激光雷达与视觉融合系统包括发射装置和接收装置，发射装置包括激光光源模组和可见光光源模组，接收装置包括激光接收模组和可见光接收模组；
[0126]
在通过激光雷达与视觉融合系统发出的激光光束和可见光光束同时对探测区域进行探测之前，还包括以下步骤：
[0127]
通过激光光源模组和激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
[0128]
若探测区域内存在目标物，根据需要获取的目标物的参数信息，确定是否需要开启可见光光源模组和可见光接收模组；
[0129]
或者，
[0130]
通过可见光光源模组和可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；
[0131]
若探测区域内存在目标物，根据需要获取的目标物的参数信息，确定是否需要开启激光光源模组和激光接收模组。
[0132]
需要说明的是，当可见光光束与激光光束平行设置时，本实施例中的可见光光源模组可与上述各实施例提供的可见光光源模组结构相同，也可以采用上述各实施例提供的可见光光源模组与相关透镜(如准直透镜、消除像差透镜等)的组合结构；当可见光光束与激光光束同轴设置时，本实施例中的可见光光源模组至少包括上述各实施例提供的可见光光源模组和合束模组。
[0133]
具体的，目标物的参数信息包括视觉参数信息和/或雷达参数信息。其中视觉参数信息包括但不限于颜色、形状、空间关系、纹理特征等信息，雷达参数信息包括但不限于目标距离、方位、高度、速度等信息。
[0134]
上述描述中提到的目标物处于探测区域内，可以为目标物完全处于探测区域内，也可以是目标物部分处于探测区域内，具体可根据探测需要设定，这里不做唯一限定。另外，上述操作过程中，判断目标物是否处于探测区域内，可以通过人工观察激光探测组件或视觉探测组件获取的数据或者生成的数据进行判断，也可以利用上述信号处理装置或者其他图像处理装置对上述数据进行分析处理通过智能识别技术进行判断，具体可根据使用需要灵活选择，这里不做唯一限定。采用本实施例提供的探测方法，可以进一步降低探测过程中不必要的能耗，节约能源。
[0135]
为进一步提高目标物所处环境的探测准确性，在上述实施例的基础上，还包括以下步骤：
[0136]
当通过激光光源模组和激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内时，按照预设频率开启可见光光源模组和可见光接收模组对探测区域进行探测；
[0137]
当通过可见光光源模组和可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内时，按照预设频率开启激光光源模组和激光接收模组对探测区域进行探测。
[0138]
具体的，预设频率可以根据使用需要设定，可以控制另一组件等时长开启、关闭，或者相隔不定时长开启、关闭。如此，在对探测区域进行探测时，可以以预设频率获取探测区域的具有深度信息的三维图像，以便用户更好的掌握目标物周围较大区域的具体情况，更好的分析数据。
[0139]
以上所述仅为本发明的较佳实施例而已，仅具体描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，及本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式，均应包含在本发明的保护范围之内。

技术特征：
1.一种激光雷达与视觉融合系统，其特征在于，包括：发射装置，用于出射激光光束和可见光光束，并将所述激光光束和所述可见光光束同轴或平行出射；扫描装置，用于接收所述激光光束和所述可见光光束，并将所述激光光束和所述可见光光束发射至探测区域；接收装置，用于接收激光回波信号，并根据所述激光回波信号生成点云数据；以及，接收可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及信号处理装置，与所述接收装置连接，用于接收所述点云数据和所述视觉数据，并根据所述点云数据和所述视觉数据中的至少一个数据生成三维图像。2.根据权利要求1所述的激光雷达与视觉融合系统，其特征在于，所述发射装置包括：激光光源模组，用于生成所述激光光束；可见光光源模组，用于生成所述可见光光束，且所述可见光光束的出射方向与所述激光光束的出射方向具有预设夹角，所述预设夹角为0-180
°
之间的任一角度；以及合束模组，用于接收所述激光光束和所述可见光光束，将所述激光光束和所述可见光光束合并成为一个混合光束，并提供给所述扫描装置。3.根据权利要求2所述的激光雷达与视觉融合系统，其特征在于，所述合束模组包括：合束镜，用于透射所述激光光束，以及反射所述可见光光束；以及第一透镜，位于所述合束镜的出光侧，对经所述合束镜透射的激光光束以及将所述合束镜反射的可见光光束进行准直。4.根据权利要求2所述的激光雷达与视觉融合系统，其特征在于，所述接收装置包括：分束模组，用于接收经目标物反射回来的混合光回波信号，并将所述混合光回波信号分为激光回波信号和可见光回波信号；可见光接收模组，用于接收所述可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及激光接收模组，用于接收所述激光回波信号，并根据所述激光回波信号生成点云数据。5.根据权利要求4所述的激光雷达与视觉融合系统，其特征在于，所述分束模组包括：分束镜，用于透射所述激光回波信号，以及反射所述可见光回波信号；以及第二透镜，位于所述分束镜的入光侧，对经所述分束镜透射的激光回波信号以及将所述分束镜反射的可见光回波信号进行准直。6.根据权利要求1所述的激光雷达与视觉融合系统，其特征在于，所述发射装置包括：激光光源模组，用于生成所述激光光束；以及可见光光源模组，用于生成所述可见光光束，且所述可见光光束的出射方向与所述激光光束的出射方向平行；所述接收装置包括：可见光接收模组，用于接收所述可见光回波信号，并根据所述可见光回波信号生成视觉数据；以及激光接收模组，用于接收激光回波信号，并根据所述激光回波信号生成点云数据。7.根据权利要求4至6任一项所述的激光雷达与视觉融合系统，其特征在于，所述激光雷达与视觉融合系统还包括：
控制装置，与所述激光光源模组、所述可见光光源模组、所述激光接收模组和所述可见光接收模组分别电连接，用于在所述激光光源模组、所述可见光光源模组、所述激光接收模组和所述可见光接收模组全部开启之前，通过开启所述激光光源模组和所述激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述可见光光源模组和所述可见光接收模组；或者，通过开启所述可见光光源模组和所述可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述激光光源模组和所述激光接收模组。8.一种探测方法，应用于激光雷达与视觉融合系统，其特征在于，所述探测方法包括以下步骤：通过所述激光雷达与视觉融合系统发出的激光光束对探测区域进行探测，并生成点云数据；通过所述激光雷达与视觉融合系统发出的与所述激光光束同轴或者平行的可见光光束对探测区域进行探测，并生成视觉数据；根据所述点云数据和所述视觉数据中的至少一个数据生成三维图像。9.如权利要求8所述的探测方法，其特征在于，所述激光雷达与视觉融合系统包括发射装置，所述发射装置包括可见光光源模组；在通过所述激光雷达与视觉融合系统发出的与所述激光光束同轴或者平行的可见光光束对探测区域进行探测之前，还包括以下步骤：获取外部环境的可见光强度，并判断外部环境中的可见光强度是否满足预设范围；若可见光强度不满足预设范围，启动所述可见光光源模组，其中，所述可见光光源模组用于生成所述可见光光束。10.如权利要求8所述的探测方法，其特征在于，所述激光雷达与视觉融合系统包括发射装置和接收装置，所述发射装置包括激光光源模组和可见光光源模组，所述接收装置包括激光接收模组和可见光接收模组；在通过所述激光雷达与视觉融合系统发出的所述激光光束和所述可见光光束同时对探测区域进行探测之前，还包括以下步骤：通过所述激光光源模组和所述激光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是否需要开启所述可见光光源模组和所述可见光接收模组；或者，通过所述可见光光源模组和所述可见光接收模组对探测区域进行探测，判断目标物是否处于探测区域内；若所述探测区域内存在所述目标物，根据需要获取的所述目标物的参数信息，确定是
否需要开启所述激光光源模组和所述激光接收模组。

技术总结
本发明适用于视觉系统与激光雷达融合技术领域，提供了一种激光雷达与视觉融合系统及探测方法。激光雷达与视觉融合系统，包括发射装置、扫描装置、接收装置以及信号处理装置，发射装置用于出射激光光束和可见光光束，并将激光光束和可见光光束同轴或平行出射；接收装置用于接收激光回波信号，并根据激光回波信号生成点云数据；以及，接收可见光回波信号，并根据可见光回波信号生成视觉数据；信号处理装置与接收装置连接，用于接收点云数据和视觉数据，并根据点云数据和视觉数据中的至少一个数据以生成三维图像。本发明提供的激光雷达与视觉融合系统及探测方法，系统结构简单且紧凑，所生成的三维图像不受环境光强弱的影响。生成的三维图像不受环境光强弱的影响。生成的三维图像不受环境光强弱的影响。


技术研发人员：马亚坤 张正正 屈志巍 邓永强
受保护的技术使用者：武汉万集光电技术有限公司
技术研发日：2021.12.30
技术公布日：2023/7/13