基于视觉激光的交通标志数据融合方法及装置与流程

1.本技术涉及智能驾驶领域，尤其涉及基于视觉激光的交通标志数据融合方法及装置。


背景技术：

2.在自动驾驶领域，在制作高精地图时常用纯视觉方案和激光方法，其中纯视觉方案一般是基于slam数据求解法。slam(simultaneous localizationand mapping，slam)是指自动驾驶车辆利用单个视觉传感器(如摄像头)创建一个与真实环境相一致的地图。激光方法主要采用激光传感器生成交通标志的点云数据。采用纯视觉方案相比激光方案，在硬件成本上有巨大的优势。但因为视觉无法彻底消除某些随机问题(遮挡、模糊等)，导致某些场景上精度要比激光存在劣势。
3.在现有技术，传统利用激光和视觉方案时，通常是搭建两套作业产线、两套技术体系，但这样重复建设会极大浪费资源。
4.因此，在地图的制作过程中，目标生成方法单一且数据准确率不高的问题。


技术实现要素：

5.为解决或部分解决相关技术中存在的问题，本技术提供一种基于视觉激光的交通标志数据融合方法及装置，在slam地图的交通标志生成过程中，提高交通标志在地图中生成结果的精度。
6.本技术第一方面一种基于视觉激光的交通标志数据融合方法，包括：
7.获取基于视觉slam的交通标志数据，查找交通标志数据在预设距离内的连续多帧激光点云数据；
8.基于预设聚类算法对连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果；
9.对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。
10.可选地，获取基于视觉slam的交通标志数据，包括：
11.获取车载相机拍摄的多帧道路图片，识别多帧道路图片中的交通标志像素坐标；
12.根据相机内外参数，求解交通标志像素坐标的三维坐标；
13.对交通标志像素坐标的三维坐标进行拟合，得到多帧道路图片的交通标志数据。
14.可选地，基于预设聚类算法对连续多帧激光点云数据进行聚类之前，包括：
15.基于预设点云对齐算法，对连续多帧激光点云数据进行点云对齐；
16.基于点云数据的材质反射率，查找对齐后的多帧激光点云数据的交通标志点云数据。
17.可选地，基于预设聚类算法对连续多帧激光点云数据进行聚类，包括：
18.基于预设聚类算法对交通标志点云数据进行聚类，得到至少三组聚类结果；
19.和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的交通标志点云数据。
20.可选地，对比交通标志数据和聚类结果，包括：
21.将聚类结果投影到平面，生成候选交通标志数据；
22.基于预设对比算法，计算交通标志数据和候选交通标志数据的相似度，预设对比算法至少包括：对比交通标志数据和候选交通标志数据的距离、对比交通标志数据和候选交通标志数据的几何参数和对比交通标志数据和候选交通标志数据的重投影误差。
23.可选地，在对比结果不符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：
24.根据交通标志数据生成交通标志的几何数据；
25.根据聚类结果生成交通标志的坐标数据。
26.可选地，在对比结果符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：
27.根据交通标志数据生成交通标志的几何数据；
28.根据交通标志数据求解交通标志中心点的坐标，生成交通标志的坐标数据。
29.本技术第二方面提供一种基于视觉激光的交通标志数据融合装置，装置包括：
30.获取单元，用于获取基于视觉slam的交通标志数据，查找交通标志数据在预设距离内的连续多帧激光点云数据；
31.聚类单元，用基于预设聚类算法对连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果；
32.融合单元，用于基于预设聚类算法对连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果。
33.本技术第三方面提供一种电子设备，包括：
34.处理器；以及
35.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
36.本技术第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
37.本技术提供的技术方案可以包括以下有益效果：第一方面本技术通过获取slam地图上的交通标志数据，以交通标志数据为主可以减少交通标志生成成本。第二方面查找交通标志数据在预设距离内的连续多帧点云数据；基于预设聚类算法对连续多帧点云数据进行聚类，得到交通标志点云数据的聚类结果；对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。通过激光点云数据融合交通标志数据，可以提高slam数据的经度，同时在视觉效果上采用交通标志数据，在坐标位置上使用点云数据，从而进一步提高融合的精确度。
38.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
39.通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
40.图1是本技术实施例示出的基于视觉激光的交通标志数据融合方法的流程示意图；
41.图2是本技术实施例示出的基于视觉激光的交通标志数据融合装置的结构示意图；
42.图3是本技术实施例示出的电子设备的结构示意图。
具体实施方式
43.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
44.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
45.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
46.为了便于本领域技术人员更好地理解本技术的技术方案，下面对本技术涉及的名词进行介绍。
47.1.slam，(simultaneouslocalizationandmapping，slam)是指自动驾驶车辆利用单个视觉传感器(如摄像头)创建一个与真实环境相一致的地图，并同时确定自身在地图中的位置，slam相当于在驾驶过程中边走边解算。
48.2.聚类算法，聚类(cluster)分析是由若干模式(pattern)组成的，通常，模式是一个度量(measurement)的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。
49.3.dbscan算法(density-based spatial clustering of application with noise)，是一种基于密度的聚类算法。与划分和层次聚类算法不同，它将簇定义为密度相连的点的最大集合，把具有足够高密度的区域划分成簇，并可在具有噪声的空间数据库中发现任意形状的聚类。有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。主要通过确定两个参数：epsilon：在一个点周围邻近区域的半径，minpts：邻近区域内至少包含点的个数。任意选择一个点(既没
有指定到一个类也没有特定为外围点)，计算它的nbhd(p.epsilon)判断是否为核点。如果是，在该点周围建立一个类，否则，设定为外围点。遍历其他点，直到建立一个类。把directly-reachable的点加入类中，接着把density-reachable的点也加进来。如果标记为外围的点被加进来，修改状态为边缘点。重复步骤1和2，直到所有的点满足在类中(核点或边缘点)或者为外围点。利用轮廓函数对算法进行评估，得出最优参数。
50.在自动驾驶领域，在制作高精地图时常用纯视觉方案和激光方法，其中纯视觉方案一般是基于slam数据求解法。slam(simultaneous localization and mapping，slam)是指自动驾驶车辆利用单个视觉传感器(如摄像头)创建一个与真实环境相一致的地图。激光方法主要采用激光传感器生成交通标志的点云数据。采用纯视觉方案相比激光方案，在硬件成本上有巨大的优势。但因为视觉无法彻底消除某些随机问题(遮挡、模糊等)，导致某些场景上精度要比激光存在劣势。
51.在现有技术，传统利用激光和视觉方案时，通常是搭建两套作业产线、两套技术体系，但这样重复建设会极大浪费资源。
52.因此，在地图的制作过程中，目标生成方法单一且数据准确率不高的问题。
53.针对上述问题，本技术实施例提供一种基于视觉激光的交通标志数据融合方法，提高slam地图中交通标志的准确性。
54.以下结合附图详细描述本技术实施例的技术方案。
55.参见图1，是本技术实施例示出的基于视觉激光的交通标志数据融合方法的流程示意图，主要包括步骤s101至步骤s103，说明如下：
56.步骤s101，获取基于视觉slam的交通标志数据，查找交通标志数据在预设距离内的连续多帧激光点云数据。
57.在步骤s101中交通标志用文字或符号传递引导、限制、警告或指示信息的道路设施，又称道路标志、道路交通标志。在交通标志中一般是以安全、设置醒目、清晰、明亮的交通标志是实施交通管理，保证道路交通安全、顺畅的重要措施。交通标志有多种类型，可用各种方式区分为：主要标志和辅助标志；可动式标志和固定式标志；照明标志、发光标志和反光标志；以及反映行车环境变化的可变信息标志。在本技术中交通标志包括但不限于路牌等地图元素。
58.交通标志数据是基于连续多帧的交通标志图像的二维像素求解获得的，通常生成的交通标志数据的几何形状较为准确，但坐标数据存在一定误差。因此，在有多帧点云数据(也就是激光数据)的情况下，可以通过多帧点云数据对交通标志数据进行融合修正。在步骤s101中，查找交通标志数据在预设距离内的连续多帧点云数据，就是查找待修正交通标志数据附近的点云数据。点云数据除了具有几何位置以外，有的还有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(rgb)赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
59.在一种实施例中，获取基于视觉slam的交通标志数据，包括：获取车载相机拍摄的多帧道路图片，识别多帧道路图片中的交通标志像素坐标；根据相机内外参数，求解交通标志像素坐标的三维坐标；对交通标志像素坐标的三维坐标进行拟合，得到多帧道路图片的交通标志数据。
60.多帧道路图像是同一摄像装置在连续时间段内采集的图像，或者多帧道路图像是从同一车载相机中抽帧生成的图像。该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中，摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的交通标志进行视频录像，从而获得包含交通标志的连续的视频图像，以得到该步骤中的连续多帧道路图像。对车辆行驶中获取包含交通标志的视频数据进行抽帧，通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，相邻两帧图像的时间间隔为抽帧时间间隔，从而获得拍摄的多张图像。
61.在一种实施例中实施例中，交通标志为方形路牌，在道路图像中交通标志的形状通常为多边形。
62.步骤s101需要将多帧道路图像间旋转矩阵和平移向量后，将多帧道路图像的交通标志像素点统一到相同坐标系下，便于将所有交通标志像素点集中同一坐标系下进行聚类。
63.在一种实施例中，获取连续多帧道路图像，生成多帧道路图像的交通标志在相同坐标系下的特征点，包括：对连续多帧道路图像进行预处理，获取连续多帧道路图片的交通标志像素在相机坐标系下的第一坐标点；获取相机坐标系和世界坐标系的第一映射关系，根据第一坐标点和第一映射关系，生成第一坐标点在slam空间地图下的特征点。
64.在本实施例中，对多帧道路图像进行预处理包括：获取满足预设条件的道路图像，对道路图像二值化处理，识别交通标志的像素点。识别交通标志的像素点可以根据交通标志的方形成像特点，提取交通标志的像素点。其中，满足预设条件的道路图像是用于判断采集的道路图像的清晰度。
65.在本实施例中，需要根据第一映射关系将道路图像统一在相同坐标系中。在一种实施例中，获取相机坐标系和世界坐标系的第一映射关系，包括：获取车载相机的位姿序列，基于连续多帧道路图像的移动距离和位姿序列，生成第一映射关系。
66.在本实施例中，基于连续多帧道路图像的移动距离和位姿序列还原像素坐标的像素深度，从而获取交通标志像素在slam地图上的三维点。
67.在一种实施例中，可以将连续多帧道路图像的最后一帧道路图像的坐标系设置为同一相机坐标系，得到第一坐标点，然后基于最后一帧道路图像和车载相机的内外参数，获取同一相机坐标系和世界坐标系的第一映射关系，根据第一映射关系和第一坐标，获取交通标志像素在slam地图上的三维点。
68.步骤s102，基于预设聚类算法对连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果。
69.在构建高精地图的过程中，需要通过采集设备采集道路对应的点云数据，数据例如将采集设备部署在车辆上，车辆在道路上行驶的过程中采集道路对应的点云数据。由于每次采集仅能够采集道路中部分区域对应的点云数据，因此需要将多次采集到的点云数据进行合并。在合并点云数据的过程中，需要使用采集设备在采集点云数据时的采集位姿。由于测量的采集设备的采集位姿存在误差以及不同采集时刻存在时间误差，可能出现将不同批次采集的点云数据中，针对世界坐标系中同一点采集的点，投射至世界坐标系时的位置不同，从而出现点云数据错位的情况。因此，步骤s102在对多帧点云数据进行聚类前需要对
多帧点云数据进行对齐，以防止点云数据错误带来的误差。
70.相关技术中，会对采集到的点云数据按照采集点云的方向进行分区(例如每30m为一个区域)，并采用最近点迭代(iterative closest point，icp)算法优化出分区内点云的姿态约束(包括旋转和平移)，从而得到优化后的采集设备的采集位姿，进而根据优化后的采集位姿进行点云对齐。
71.在一种实施例中，基于预设聚类算法对连续多帧点云数据进行聚类之前，包括：基于预设点云对齐算法，对连续多帧激光点云数据进行点云对齐；基于点云数据的材质反射率，查找对齐后的多帧激光点云数据的交通标志点云数据。可选地，交通标志为路牌时，路牌的材质为金属材质，可以根据金属材质的反射率精准查找点云数据中的路牌。
72.在本实施例中，预设点云对齐算法包括：先将点云数据的位姿进行粗对齐，对粗对齐后的点云数据采用icp算法，对点云数据进行迭代，以获取对齐后的点云数据。由于采集的是交通标志的点云数据，交通标志大多采用金属材质，基于不同工况下的交通标志金属的折射率，查找对齐后的点云数据的交通标志点云数据。
73.在本实施例中，将点云数据的位姿进行粗对齐包括：将点云数据统一在世界坐标系下，对世界坐标系下的点云数据进行位姿拟合。或求取不同帧数据的点云轨迹，拟合不同帧点云数据的轨迹，求解拟合后的位姿。
74.在一种实施例中，基于预设聚类算法对所述连续多帧激光点云数据进行聚类，包括：基于预设聚类算法对连续多帧激光点云数据进行聚类，得到至少三组聚类结果；和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的交通标志点云数据。
75.在本实施例中，在聚类过程中产生三个以上的距离结果就停止聚类，选聚类结果中，聚类交通标志点云数据最多的结果为符合预设条件的聚类结果。在得到两个聚类结果时，则对两组聚类结果进行打分，选取打分结果较好的聚类结果为最终聚类结果。
76.在一种实施例中，基于预设聚类算法对连续多帧激光点云数据进行聚类，包括：按照从高到低的像素阈值，基于dbscan算法对所有连续多帧激光点云数据进行聚类。具体包括：
77.首先，考虑类内不平衡少数类样本分布密度不均匀的情况，能够得到一组基于分布密度的eps值；然后，将这些通过计算得到的每个少数类样本点的平均距离组成一个距离向量数组，将这些平均距离作为原始数据集，在这个数据集上通过进行距离上的聚类；在将这个距离数组聚类成n个簇之后，计算每个簇中的所有距离加和取平均，将得到的这个平均值作为这个簇的邻域阈值，通过分别计算这n个簇的平均值，可以得到n个邻域阈值epsi，i＝1,2,...,n；接下来，将这n个领域阈值进行从小到大的顺序排序并保存在一个数组中；在接下来的聚类算法中，首先选择阈值数组中最小的那一个，当作dbscan算法的eps值，然后对所有少数类样本进行聚类，接着采用阈值数组中下一个阈值对标记为噪声样本点的少数类样本继续进行dbscan聚类，同样得到一些聚类簇和剩余的噪声样本点。最后，重复以上的操作，当对所有少数类样本的通过不同的eps进行聚类过后，则完成少数类样本的所有聚类操作，那些最后都不被归为在任何一个簇的数据即为噪声数据。
78.在本实施例中，按每组交通标志点云数据数量，从大到小排序后遍历，遍历累加的数量大于50％，或遍历分组数大于3时，停止遍历。
79.步骤s102通过聚类方法，剔除聚类结果中交通标志点云数据中波动比较大的点，
只保留高置信结果，提高平面结果精度，同时采用预设聚类算法，设置多级动态阈值，提高算法鲁棒性。
80.步骤s103，对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。
81.步骤s103中将聚类结果效果最好的聚类交通标志点云数据和交通标志数据进行对比。
82.在一种实施例中，对比交通标志数据和聚类结果，将聚类结果投影到平面，生成候选交通标志数据；基于预设对比算法，计算交通标志数据和候选交通标志的相似度，预设对比算法至少包括：对比交通标志数据和候选交通标志的距离、交通标志数据和候选交通标志的几何参数和交通标志数据和候选交通标志的重投影误差。
83.在本实施例中，预设对比算法包括优先级，对比交通标志数据和候选交通标志的距离、交通标志数据和候选交通标志的几何参数和交通标志数据和候选交通标志的重投影误差的优先级依次下降，只有在前一个对比条件满足的情况下，计算下一个对比条件。
84.在本实施例中，可以根据交通标志数据生成世界坐标系下的第一交通标志，根据候选交通标志生成世界坐标系下的第二交通标志，对比第一交通标志和第二交通标志的几何参数及投影重合度。
85.在一种实施例中，在对比结果不符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：根据交通标志数据生成交通标志的几何数据；根据聚类结果生成交通标志的坐标数据。
86.在本实施例中，预设条件用于判断交通标志数据是否准确可用。由于在本实施例中，虽然交通标志数据不够准确，但通过交通标志数据还原的交通标志的几何形状较为准确，因此将交通标志数据生成的几何数据作为交通标志的几何数据。相对于交通标志数据在求解过程中产生的像素深度的误差，聚类结果生成的坐标数据更为准确，因此将聚类结果生成的坐标数据作为交通标志的坐标数据。聚类结果的坐标数据为候选交通标志的中心点的坐标。
87.在一种实施例中，步骤s103在对比结果符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：根据交通标志数据生成交通标志的几何数据；根据交通标志数据求解交通标志中心点的坐标，生成交通标志的坐标数据。
88.在本实施例中，在可以使用交通标志数据的情况下，也就是slam数据和聚类结果的误差符合预设条件的情况下，优先使用交通标志数据，可以节约系统运行的成本。
89.与前述应用功能实现方法实施例相对应，本技术还提供了一种基于视觉激光的交通标志数据融合装置、电子设备及相应的实施例。
90.图2是本技术实施例示出的基于视觉激光的交通标志数据融合装置的结构示意图。为了便于说明，仅是示出了与本技术实施例相关的部分。图2示例装置主要包括获取单元201、聚类单元202、融合单元203，其中：
91.获取单元201，用于获取slam地图上的交通标志数据，查找交通标志数据在预设距离内的连续多帧点云数据；
92.聚类单元202，用于基于预设聚类算法对连续多帧点云数据进行聚类，得到交通标志点云数据的聚类结果；
93.融合单元203，用于对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。
94.在一种实施例中，获取基于视觉slam的交通标志数据，包括：获取车载相机拍摄的多帧道路图片，识别多帧道路图片中的交通标志像素坐标；根据相机内外参数，求解交通标志像素坐标的三维坐标；对交通标志像素坐标的三维坐标进行拟合，得到多帧道路图片的交通标志数据。
95.在一种实施例中，基于预设聚类算法对连续多帧激光点云数据进行聚类之前，包括：基于预设点云对齐算法，对连续多帧点云数据进行点云对齐；基于点云数据的材质反射率，查找对齐后的点云数据的交通标志点云数据。
96.在一种实施例中，基于预设聚类算法对连续多帧激光点云数据进行聚类，包括：基于预设聚类算法对交通标志点云数据进行聚类，得到至少三组聚类结果；和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的交通标志点云数据。
97.在一种实施例中，对比交通标志数据和聚类结果，包括：将聚类结果投影到平面，生成候选交通标志数据；基于预设对比算法，计算交通标志数据和候选交通标志数据的相似度，预设对比算法至少包括：对比交通标志数据和候选交通标志数据的距离、对比交通标志数据和候选交通标志数据的几何参数和对比交通标志数据和候选交通标志数据的重投影误差。
98.在一种实施例中，在对比结果不符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：根据交通标志数据生成交通标志的几何数据；根据聚类结果生成交通标志的坐标数据。
99.在一种实施例中，在对比结果符合预设条件的情况下，根据聚类结果修正交通标志数据，包括：根据交通标志数据生成交通标志的几何数据；根据交通标志数据求解交通标志中心点的坐标，生成交通标志的坐标数据。
100.本技术提供的技术方案可以包括以下有益效果：本技术提供的技术方案可以包括以下有益效果：第一方面本技术通过获取slam地图上的交通标志数据，以交通标志数据为主可以减少交通标志生成成本。第二方面查找交通标志数据在预设距离内的连续多帧点云数据；基于预设聚类算法对连续多帧点云数据进行聚类，得到交通标志点云数据的聚类结果；对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。通过激光点云数据融合交通标志数据，可以提高slam数据的经度，同时在视觉效果上采用交通标志数据，在坐标位置上使用点云数据，从而进一步提高融合的精确度。
101.参见图3，是本技术实施例示出的电子设备的结构示意图。电子设备300包括存储器310和处理器320。
102.处理器320可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
103.存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
104.存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
105.此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
106.或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被车辆(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
107.以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

技术特征：
1.一种基于视觉激光的交通标志数据融合方法，其特征在于，包括：获取基于视觉slam的交通标志数据，查找所述交通标志数据在预设距离内的连续多帧激光点云数据；基于预设聚类算法对所述连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果；对比所述交通标志数据和所述聚类结果，在对比结果不符合预设条件的情况下，融合所述聚类结果和所述交通标志数据，以修正所述交通标志数据。2.根据权利要求1所述的方法，其特征在于，所述获取基于视觉slam的交通标志数据，包括：获取车载相机拍摄的多帧道路图片，识别多帧道路图片中的交通标志像素坐标；根据相机内外参数，求解交通标志像素坐标的三维坐标；对所述交通标志像素坐标的三维坐标进行拟合，得到所述多帧道路图片的交通标志数据。3.根据权利要求1所述的方法，其特征在于，所述基于预设聚类算法对所述连续多帧激光点云数据进行聚类之前，包括：基于预设点云对齐算法，对连续多帧激光点云数据进行点云对齐；基于点云数据的材质反射率，查找对齐后的连续多帧激光点云数据的交通标志点云数据。4.根据权利要求3所述的方法，其特征在于，所述基于预设聚类算法对所述连续多帧激光点云数据进行聚类，包括：基于所述预设聚类算法对所述连续多帧激光点云数据进行聚类，得到至少三组聚类结果；和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的交通标志点云数据。5.根据权利要求1所述的方法，其特征在于，所述对比所述交通标志数据和所述聚类结果，包括：将所述聚类结果投影到平面，生成候选交通标志数据；基于预设对比算法，计算所述交通标志数据和所述候选交通标志数据的相似度，所述预设对比算法至少包括：对比所述交通标志数据和所述候选交通标志数据的距离、对比所述交通标志数据和所述候选交通标志数据的几何参数和对比所述交通标志数据和所述候选交通标志数据的重投影误差。6.根据权利要求1所述的方法，其特征在于，所述在对比结果不符合预设条件的情况下，根据所述聚类结果修正所述交通标志数据，包括：根据所述交通标志数据生成交通标志的几何数据；根据所述聚类结果生成交通标志的坐标数据。7.根据权利要求1所述的方法，其特征在于，所述在对比结果符合预设条件的情况下，根据所述聚类结果修正所述交通标志数据，包括：根据所述交通标志数据生成所述交通标志的几何数据；根据所述交通标志数据求解交通标志中心点的坐标，生成交通标志的坐标数据。
8.一种基于视觉激光的交通标志数据融合装置，其特征在于，包括：获取单元，用于获取基于视觉slam的交通标志数据，查找所述交通标志数据在预设距离内的连续多帧激光点云数据；聚类单元，用基于预设聚类算法对所述连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果；融合单元，用于基于预设聚类算法对所述连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果。9.一种电子设备，其特征在于，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。

技术总结
本申请涉及一种基于视觉激光的交通标志数据融合方法及装置。该方法包括：获取基于视觉slam的交通标志数据，查找交通标志数据在预设距离内的连续多帧激光点云数据；基于预设聚类算法对连续多帧激光点云数据进行聚类，得到交通标志点云数据的聚类结果；对比交通标志数据和聚类结果，在对比结果不符合预设条件的情况下，融合聚类结果和交通标志数据，以修正交通标志数据。本申请充分考虑基于视觉slam的交通标志数据和激光点云数据的各自优势，提出了一种以基于视觉slam的交通标志数据为主，激光点云数据为补充的轻量级融合方案，从而提高了交通标志数据的精确度。交通标志数据的精确度。交通标志数据的精确度。


技术研发人员：李正旭 贾双成
受保护的技术使用者：智道网联科技（北京）有限公司
技术研发日：2023.04.20
技术公布日：2023/7/25