一种数据闭环的自动驾驶障碍物检测方法与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种数据闭环的自动驾驶障碍物检测方法。


背景技术：

2.当前自动驾驶感知算法的数据标注，模型训练和模型检测过程往往是分离的，首先需要采集大量的原始数据，然后对数据集进行人工标注，利用标注好的数据集对模型进行训练，然后将模型部署在车辆工控机上。但是自动驾驶的数据集往往存在长尾分布，不可能将所有情况的数据集全部收集完成再对模型进行训练，我们设计的方法利用数据闭环的方式不断利用数据对模型进行迭代，在降低标注成本的同时，也提高了模型的检测精度。
3.自动驾驶障碍物检测算法需要精准对车身周围的障碍物进行检测，检测过程包括对障碍物进行定位和分类。首先，当前自动驾驶障碍物检测算法采用基于深度学习的算法，基于深度学习的算法是数据驱动的监督学习算法，需要大量标注良好的数据对深度学习模型进行训练，数据集的标注成本过高。其次，自动驾驶车辆上安装了很多传感器来采集车身周围环境的数据，包括：摄像头，激光雷达，毫米波雷达等，障碍物检测可以充分利用多传感器的检测结果进行融合来提高检测算法的精度，但是当前的自动驾驶方案中往往只采用一种融合策略，没有充分的利用多传感器的优势，导致检测的准确率偏低，环境适应性低。


技术实现要素：

4.本发明的目的在于克服现有技术中存在的不足，提供了一种数据闭环的自动驾驶障碍物检测方法，以解决现有技术中存在的当前的自动驾驶方案中往往只采用一种融合策略，没有充分的利用多传感器的优势，导致检测的准确率偏低，环境适应性低的问题。
5.作为本发明的第一个方面，提供一种数据闭环的自动驾驶障碍物检测方法，应用于车端，所述数据闭环的自动驾驶障碍物检测方法包括：
6.步骤s1：分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据；
7.步骤s2：对所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行前融合，以得到车辆周围环境的前融合采集数据；
8.步骤s3：将车辆周围环境的所述图像数据、所述激光雷达数据、所述超声波雷达数据以及所述前融合采集数据分别输入到对应的检测模型中进行障碍物检测，以对应得到车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果；
9.步骤s4：对所述车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果进行后融合，以得到车辆周围环境的后融合障碍物检测结果；
10.步骤s5：输出所述车辆周围环境的后融合障碍物检测结果。
11.进一步地，还包括：
12.通过所述车端的车端感知模块执行步骤s2至步骤s4；
13.将所述车端获取到的车辆周围环境的图像数据、激光雷达数据和超声波雷达数据上传至云端，并在云端进行存储；
14.所述云端对获取到的所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行存储后，通过所述云端的云端感知模块执行步骤s2至步骤s4，以得到云端输出的所述车辆周围环境的后融合障碍物检测结果；
15.将所述云端输出的车辆周围环境的后融合障碍物检测结果进行筛选，以得到筛选后的训练数据，并将筛选后的训练数据加入到数据集中；
16.依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块。
17.进一步地，所述依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块，还包括：
18.依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行训练，以得到训练后的车端感知模块和训练后的云端感知模块；同时利用所述云端感知模块对所述车端感知模块进行知识蒸馏，以得到蒸馏后的车端感知模块；
19.所述训练后的车端感知模块γ
car1
、所述训练后的云端感知模块γ
cloud
、所述蒸馏后的车端感知模块γ
car2
的计算公式分别如下：
[0020][0021][0022][0023]
其中，γ'
car
,γ'
cloud
分别表示调整之前的车端感知模块和调整之前的云端感知模块，分别代表训练和知识蒸馏，d代表数据集。
[0024]
进一步地，所述分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据，还包括：
[0025]
通过摄像机采集车辆周围环境的图像数据；
[0026]
通过激光雷达采集车辆周围环境的激光雷达数据；
[0027]
通过毫米波雷达采集车辆周围环境的超声波雷达数据。
[0028]
进一步地，所述步骤s2和步骤s3中，还包括：
[0029]
所述车辆周围环境的第四障碍物检测结果rf的计算公式如下：
[0030]
rf＝hf(fd(di,d
l
,dr))
[0031]
其中，di,d
l
,dr分别代表图像数据、激光雷达数据、超声波雷达数据，fd代表数据前融合，hf代表前融合采集数据检测模型，rf代表前融合采集数据的障碍物检测结果。
[0032]
进一步地，所述步骤s4和步骤s5中，还包括：
[0033]
所述车辆周围环境的第一障碍物检测结果ri、第二障碍物检测结果r
l
、第三障碍物检测结果rr的计算公式分别如下：
[0034]ri
＝hi(di)
[0035]rl
＝h
l
(df)
[0036]rr
＝hr(dr)
[0037]
其中，ri代表图像数据di的检测结果，即第一障碍物检测结果；r
l
代表激光雷达数据d
l
的检测结果，即第二障碍物检测结果；rr代表超声波雷达数据dr的检测结果，即第三障碍物检测结果；hi，h
l
，hr分别代表图像数据检测模型、激光雷达数据检测模型、超声波雷达数据检测模型；
[0038]
所述车辆周围环境的后融合障碍物检测结果r的计算公式如下：
[0039]
r＝fr(ri，r
l
，rr，rf)
[0040]
其中，rf代表前融合采集数据的障碍物检测结果，即第四障碍物检测结果；fr表示后融合，r代表后融合障碍物检测结果。
[0041]
进一步地，还包括：
[0042]
获取不同时刻的车辆周围环境的后融合障碍物检测结果，其中，每一时刻的车辆周围环境的后融合障碍物检测结果由该时刻的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果后融合得到；
[0043]
将所有时刻的车辆周围环境的后融合障碍物检测结果进行最终融合，以得到车辆周围环境的后融合障碍物最终检测结果；
[0044]
输出所述车辆周围环境的后融合障碍物最终检测结果。
[0045]
进一步地，还包括：
[0046]
将不同时刻的车辆周围环境的后融合障碍物检测结果整理成序列数据；
[0047]
采用lstm或者transformer对所述序列数据进行检测，以得到所述车辆周围环境的后融合障碍物最终检测结果r；
[0048]
所述车辆周围环境的后融合障碍物最终检测结果r的计算公式如下：
[0049]
r＝h
lstm
(r
t-n
，r
t-n+1
，...，r
t-1
，r
t
)
[0050]
或者
[0051]
r＝h
transformer
(r
t-n
，r
t-n+1
，...，r
t-1
，r
t
)
[0052]
其中，h
lstm
，h
transformer
分别表示采用lstm，transformer对所述序列数据进行处理，r
t-n
，r
t-n+1
，...，r
t-1
，r
t
分别表示t-n时刻的后融合障碍物检测结果，t-n+1时刻的后融合障碍物检测结果，...，t-1时刻的后融合障碍物检测结果，t时刻的后融合障碍物检测结果。
[0053]
本发明提供的数据闭环的自动驾驶障碍物检测方法具有以下优点：采用两种融合策略，充分利用多传感器的优势，提高检测精度，同时这种多传感器融合的方式还可以再次将数据集的标注难度降低。
附图说明
[0054]
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
[0055]
图1为本发明提供的数据闭环的自动驾驶障碍物检测方法的流程图。
[0056]
图2为本发明提供的数据闭环的自动驾驶障碍物检测方法的具体实施方式流程图。
[0057]
图3为本发明提供的摄像机在车身上安装的示意图。
[0058]
图4为本发明提供的采集数据前融合和检测结果后融合的原理图。
[0059]
图5为本发明提供的对所有时刻的融合检测结果进行有记忆后融合的示意图。
具体实施方式
[0060]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
[0061]
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0062]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0063]
在本实施例中提供了一种数据闭环的自动驾驶障碍物检测方法，应用于车端，图1为本发明提供的数据闭环的自动驾驶障碍物检测方法的流程图。如图1所示，所述数据闭环的自动驾驶障碍物检测方法包括：
[0064]
步骤s1：分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据；
[0065]
优选地，所述分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据，还包括：
[0066]
通过摄像机采集车辆周围环境的图像数据；
[0067]
通过激光雷达采集车辆周围环境的激光雷达数据；
[0068]
通过毫米波雷达采集车辆周围环境的超声波雷达数据。
[0069]
具体地，对车身数据的采集，数据采集的设备包括相机、机械式旋转激光雷达、毫米波雷达。因为相机有固定视角，相机要360
°
感知周围环境，需要在车身上安装多个摄像机，多个摄像机的安装无视野盲区，如图3所示，并且将这些设备采集的数据发送给车端的感知模块和云端的数据存储模块。
[0070]
在本发明实施例中，(1)车载数据采集单元(包括摄像头，激光雷达，毫米波雷达)按照预定的频率采集车身周围的数据，将数据发送给车端感知模块，车端将数据发送给云端。(2)车端的感知算法对数据采集单元采集的数据进行处理，得到障碍物的空间位置和类别。并且将检测结果经后处理发送给自动驾驶其他模块。(3)云端感知算法模型对车端采集的数据进行检测，得到障碍物的空间位置和类别，并且作为数据的标注结果，审核之后是否加入数据集。(4)训练用数据集中的数据对车端模型和云端模型进行微调。用云端的大模型蒸馏车端的模型。(5)重复(1)～(4)步骤。
[0071]
步骤s2：对所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行前融合，以得到车辆周围环境的前融合采集数据；
[0072]
步骤s3：将车辆周围环境的所述图像数据、所述激光雷达数据、所述超声波雷达数据以及所述前融合采集数据分别输入到对应的检测模型中进行障碍物检测，以对应得到车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果；
[0073]
在本发明实施例中，车端感知模块的主要功能是对车端采集的数据进行处理，得到车身周围的障碍物精确的空间位置和类别。车端感知模块中需要处理图像数据、激光雷达点云数据、超声波雷达数据，得到的障碍物的空间位置和类别，涉及到深度学习模型对各个数据的检测和融合。融合方法可以分为三种，前融合、特征融合、后融合。本发明采用两种融合策略来提高障碍物的检测精度，分别是前融合和后融合，具体如图4所示。
[0074]
优选地，如图4所示，所述步骤s2和步骤s3中，前融合，首先在数据级别融合图像数据、激光雷达数据、超声波雷达数据，然后再将融合的数据送入到融合检测模型，得到检测结果，过程可以用下面的公式描述。还包括：
[0075]
所述车辆周围环境的第四障碍物检测结果rf的计算公式如下：
[0076]
rf＝hf(fd(di,d
l
,dr))
[0077]
其中，di,d
l
,dr分别代表图像数据、激光雷达数据、超声波雷达数据，fd代表数据前融合，hf代表前融合采集数据检测模型，rf代表前融合采集数据的障碍物检测结果。
[0078]
具体地，前融合采集数据检测模型hf是通过mv3d算法实现，是本领域技术人员所熟知的现有技术，此处不再赘述。
[0079]
具体地，数据前融合fd是通过ihs变换、小波变化、主元分析变换(pct)、k-t变换或深度学习方法实现，是本领域技术人员所熟知的现有技术，此处不再赘述。
[0080]
步骤s4：对所述车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果进行后融合，以得到车辆周围环境的后融合障碍物检测结果；
[0081]
步骤s5：输出所述车辆周围环境的后融合障碍物检测结果。
[0082]
优选地，如图4所示，所述步骤s4和步骤s5中，后融合，分别将图像数据、激光雷达点云数据、超声波雷达数据通过各自检测模型，得到各自的检测结果。然后对图像检测结果、激光雷达检测结果、超声波雷达检测结果和融合检测结果进行融合。其过程可以用下面公式描述。
[0083]
所述车辆周围环境的第一障碍物检测结果ri、第二障碍物检测结果r
l
、第三障碍物检测结果rr的计算公式分别如下：
[0084]ri
＝hi(di)
[0085]rl
＝h
l
(d
l
)
[0086]rr
＝hr(dr)
[0087]
其中，ri代表图像数据di的检测结果，即第一障碍物检测结果；r
l
代表激光雷达数据d
l
的检测结果，即第二障碍物检测结果；rr代表超声波雷达数据dr的检测结果，即第三障碍物检测结果；hi，h
l
，hr分别代表图像数据检测模型、激光雷达数据检测模型、超声波雷达数据检测模型；
[0088]
具体地，图像数据检测模型hi是通过smoke算法实现，激光雷达数据检测模型h
l
是通过pointpillar算法实现，超声波雷达数据检测模型hr是通过dbscan聚类算法实现，是本领域技术人员所熟知的现有技术，此处不再赘述。
[0089]
所述车辆周围环境的后融合障碍物检测结果r的计算公式如下：
[0090]
r＝fr(ri，r
l
，rr，rf)
[0091]
其中，rf代表前融合采集数据的障碍物检测结果，即第四障碍物检测结果；fr表示
后融合，r代表后融合障碍物检测结果。
[0092]
具体地，后融合fr是通过卡尔曼滤波算法实现，是本领域技术人员所熟知的现有技术，此处不再赘述。
[0093]
在后融合的策略中，采用有记忆后融合的方法对检测结果进行融合，有记忆后融合如图5所示。
[0094]
具体地，如图5所示，还包括：
[0095]
获取不同时刻的车辆周围环境的后融合障碍物检测结果，其中，每一时刻的车辆周围环境的后融合障碍物检测结果由该时刻的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果后融合得到；
[0096]
将所有时刻的车辆周围环境的后融合障碍物检测结果进行最终融合，以得到车辆周围环境的后融合障碍物最终检测结果；
[0097]
输出所述车辆周围环境的后融合障碍物最终检测结果。
[0098]
具体地，如图5所示，横向箭头表示时间轴，纵向箭头表示在时间轴上的某个时刻进行各个传感器数据的后融合，本策略采用有记忆的后融合策略，还包括：
[0099]
将不同时刻的车辆周围环境的后融合障碍物检测结果整理成序列数据(r
t-n
，r
t-n+1
，...，r
t-1
，r
t
)；
[0100]
采用lstm或者transformer对所述序列数据进行检测，以得到所述车辆周围环境的后融合障碍物最终检测结果r；采用lstm或者transformer对序列数据的建模能力，对检测结果进行建模，最终输出当前时刻的融合结果。检测结果融合前面的检测结果，有效的解决误检漏检问题。有记忆的后融合策略可以用下面的公式表示。
[0101]
所述车辆周围环境的后融合障碍物最终检测结果r的计算公式如下：
[0102]
r＝h
lstm
(r
t-n
，r
t-n+1
，...，r
t-1
，r
t
)
[0103]
或者
[0104]
r＝h
transformer
(r
t-n
，r
t-n+1
，...，r
t-1
，r
t
)
[0105]
其中，h
lstm
,h
transformer
分别表示采用lstm，transformer对所述序列数据进行处理，这两种方案都有对序列数据进行建模的强大能力，具体使用哪一种方案按实际情况而定。通常在边缘端(车端)计算能力有限采用lstm，在云端采用transformer。r
t-n
,r
t-n+1
,
…
,r
t-1
,r
t
分别表示t-n时刻的后融合障碍物检测结果,t-n+1时刻的后融合障碍物检测结果,
…
,t-1时刻的后融合障碍物检测结果,t时刻的后融合障碍物检测结果。
[0106]
在本发明实施例中，车端感知模块采用lstm，云端感知模块采用transformer。lstm(long short-termmemory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。transformer是一个利用注意力机制来提高模型训练速度的模型。lstm和transformer都是本领域技术人员所熟知的现有技术，此处不再赘述。
[0107]
优选地，如图2所示，还包括：
[0108]
通过所述车端的车端感知模块执行步骤s2至步骤s4；
[0109]
将所述车端获取到的车辆周围环境的图像数据、激光雷达数据和超声波雷达数据上传至云端，并在云端进行存储；
[0110]
需要说明的是，通过硬盘对车端传输到云端的数据进行存储。
[0111]
所述云端对获取到的所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行存储后，通过所述云端的云端感知模块执行步骤s2至步骤s4，以得到云端输出的所述车辆周围环境的后融合障碍物检测结果；
[0112]
将所述云端输出的车辆周围环境的后融合障碍物检测结果进行筛选，以得到筛选后的训练数据，并将筛选后的训练数据加入到数据集中；
[0113]
依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块。
[0114]
需要说明的是，在车端因为芯片的计算能力有限，所以在选择模型的时候要综合考虑算法的计算速度和准确率。在云端，计算资源充足，选择算法的原则首先考虑算法的准确率，以准确率为第一原则，再考虑计算速度的问题。本发明中，云端感知模块与车端的感知模块结构一样，区别在于云端选择了大模型(包括，计算复杂度更高的主干网，更深的网络等)。
[0115]
因为云端的感知模块是大模型，检测的精度非常高，且泛化能力很强，因此可以将它的检测结果作为数据标注的原始信息，采用云端大模型来对数据进行自动标注。自动标注的结果经过人工筛选后加入数据集。
[0116]
具体地，所述依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块，还包括：
[0117]
依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行训练，以得到训练后的车端感知模块和训练后的云端感知模块；同时利用所述云端感知模块对所述车端感知模块进行知识蒸馏，以得到蒸馏后的车端感知模块；
[0118]
调整的作用有两个，第一，采用新的数据集对车端感知模块和云端感知模块进行微调，从而提高车端感知模块和云端感知模块的检测精确率。第二，利用云端的感知大模型对车端的感知模块进行知识蒸馏，将云端的大模型作为教师模型，车端的感知模块作为学生模型，目的是提高车端感知模块的精度。可以用下面的公式描述。前两个公式分别代表对车端模型和云端模型进行微调，第三个公式表示知识蒸馏。微调和知识蒸馏可以按实际情况进行自由选择，本方案同时采用了微调和知识蒸馏。通过不断的自动标注，往数据集中添加数据，再经过训练器调整模型，模型的检测能力不断提高。
[0119]
所述训练后的车端感知模块γ
car1
、所述训练后的云端感知模块γ
cloud
、所述蒸馏后的车端感知模块γ
car2
的计算公式分别如下：
[0120][0121][0122][0123]
其中，γ'
car
,γ'
cloud
分别表示调整之前的车端感知模块和调整之前的云端感知模块，分别代表训练和知识蒸馏，d代表数据集。
[0124]
需要说明的是，知识蒸馏：fitnet的原理是利用浅而宽的教师网络模型去训练窄而深的学生网络模型。其主要目的就是将一个训练好的大而复杂的模型中相关的知识，迁移到小而简单的学生模型中，以适应计算能力和计算效率要求很高的场合。
[0125]
在本发明实施例中，采用了两种融合策略-前融合与后融合来提高感知模块的检
测精度问题。
[0126]
在本发明实施例中，提出了一种有记忆的后融合策略，本策略采用循环神经网络对序列的建模能力来对时序检测结果进行融合，能有效的应对漏检，误检等问题。
[0127]
在本发明实施例中，在利用云端模块自动标注的基础上更新数据集，创新性的采用微调和知识蒸馏来更新模块，通过不断的加入新数据，模块的检测能力不断提升。
[0128]
在本发明实施例中，采用数据自动标注，更新数据集，再用新数据集更新模块这个流程，能有效的解决自动驾驶数据长尾分布的问题。
[0129]
本发明提供的数据闭环的自动驾驶障碍物检测方法，采用了两种融合策略充分挖掘多传感器的优势，提高障碍物检测精度，同时有效的解决了自动驾驶中数据集难标注，标注成本过高，模型更新迭代的问题。
[0130]
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

技术特征：
1.一种数据闭环的自动驾驶障碍物检测方法，应用于车端，其特征在于，所述数据闭环的自动驾驶障碍物检测方法包括：步骤s1：分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据；步骤s2：对所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行前融合，以得到车辆周围环境的前融合采集数据；步骤s3：将车辆周围环境的所述图像数据、所述激光雷达数据、所述超声波雷达数据以及所述前融合采集数据分别输入到对应的检测模型中进行障碍物检测，以对应得到车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果；步骤s4：对所述车辆周围环境的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果进行后融合，以得到车辆周围环境的后融合障碍物检测结果；步骤s5：输出所述车辆周围环境的后融合障碍物检测结果。2.根据权利要求1所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，还包括：通过所述车端的车端感知模块执行步骤s2至步骤s4；将所述车端获取到的车辆周围环境的图像数据、激光雷达数据和超声波雷达数据上传至云端，并在云端进行存储；所述云端对获取到的所述车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行存储后，通过所述云端的云端感知模块执行步骤s2至步骤s4，以得到云端输出的所述车辆周围环境的后融合障碍物检测结果；将所述云端输出的车辆周围环境的后融合障碍物检测结果进行筛选，以得到筛选后的训练数据，并将筛选后的训练数据加入到数据集中；依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块。3.根据权利要求2所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，所述依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行调整，以得到调整后的车端感知模块和调整后的云端感知模块，还包括：依据所述数据集中的训练数据分别对所述车端感知模块和云端感知模块进行训练，以得到训练后的车端感知模块和训练后的云端感知模块；同时利用所述云端感知模块对所述车端感知模块进行知识蒸馏，以得到蒸馏后的车端感知模块；所述训练后的车端感知模块γ
car1
、所述训练后的云端感知模块γ
cloud
、所述蒸馏后的车端感知模块γ
car2
的计算公式分别如下：的计算公式分别如下：的计算公式分别如下：其中，γ'
car
,γ'
cloud
分别表示调整之前的车端感知模块和调整之前的云端感知模块，分别代表训练和知识蒸馏，d代表数据集。
4.根据权利要求1所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，所述分别获取车辆周围环境的图像数据、激光雷达数据和超声波雷达数据，还包括：通过摄像机采集车辆周围环境的图像数据；通过激光雷达采集车辆周围环境的激光雷达数据；通过毫米波雷达采集车辆周围环境的超声波雷达数据。5.根据权利要求1所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，所述步骤s2和步骤s3中，还包括：所述车辆周围环境的第四障碍物检测结果r
f
的计算公式如下：r
f
＝h
f
(f
d
(d
i
,d
l
,d
r
))其中，d
i
,d
l
,d
r
分别代表图像数据、激光雷达数据、超声波雷达数据，f
d
代表数据前融合，h
f
代表前融合采集数据检测模型，r
f
代表前融合采集数据的障碍物检测结果。6.根据权利要求5所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，所述步骤s4和步骤s5中，还包括：所述车辆周围环境的第一障碍物检测结果r
i
、第二障碍物检测结果r
l
、第三障碍物检测结果r
r
的计算公式分别如下：r
i
＝h
i
(d
i
)r
l
＝h
l
(d
l
)r
r
＝h
r
(d
r
)其中，r
i
代表图像数据d
i
的检测结果，即第一障碍物检测结果；r
l
代表激光雷达数据d
l
的检测结果，即第二障碍物检测结果；r
r
代表超声波雷达数据d
r
的检测结果，即第三障碍物检测结果；h
i
,h
l
,h
r
分别代表图像数据检测模型、激光雷达数据检测模型、超声波雷达数据检测模型；所述车辆周围环境的后融合障碍物检测结果r的计算公式如下：r＝f
r
(r
i
,r
l
,r
r
,r
f
)其中，r
f
代表前融合采集数据的障碍物检测结果，即第四障碍物检测结果；f
r
表示后融合，r代表后融合障碍物检测结果。7.根据权利要求6所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，还包括：获取不同时刻的车辆周围环境的后融合障碍物检测结果，其中，每一时刻的车辆周围环境的后融合障碍物检测结果由该时刻的第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果后融合得到；将所有时刻的车辆周围环境的后融合障碍物检测结果进行最终融合，以得到车辆周围环境的后融合障碍物最终检测结果；输出所述车辆周围环境的后融合障碍物最终检测结果。8.根据权利要求7所述的数据闭环的自动驾驶障碍物检测方法，其特征在于，还包括：将不同时刻的车辆周围环境的后融合障碍物检测结果整理成序列数据；采用lstm或者transformer对所述序列数据进行检测，以得到所述车辆周围环境的后融合障碍物最终检测结果r；所述车辆周围环境的后融合障碍物最终检测结果r的计算公式如下：r＝h
lstm
(r
t-n
,r
t-n+1
,
…
,r
t-1
,r
t
)
或者r＝h
transformer
(r
t-n
,r
t-n+1
,
…
,r
t-1
,r
t
)其中，h
lstm
,h
transformer
分别表示采用lstm，transformer对所述序列数据进行处理，r
t-n
,r
t-n+1
,
…
,r
t-1
,r
t
分别表示t-n时刻的后融合障碍物检测结果,t-n+1时刻的后融合障碍物检测结果,
…
,t-1时刻的后融合障碍物检测结果,t时刻的后融合障碍物检测结果。

技术总结
本发明涉及自动驾驶技术领域，具体公开了一种数据闭环的自动驾驶障碍物检测方法，应用于车端，包括：对获取到的车辆周围环境的图像数据、激光雷达数据和超声波雷达数据进行前融合，以得到前融合采集数据；将图像数据、激光雷达数据、超声波雷达数据以及前融合采集数据分别输入到对应的检测模型中进行障碍物检测，以对应得到第一障碍物检测结果、第二障碍物检测结果、第三障碍物检测结果以及第四障碍物检测结果，然后对该四种障碍物检测结果进行后融合，以得到车辆周围环境的后融合障碍物检测结果并输出，本发明采用两种融合策略，充分利用多传感器的优势，提高检测精度，同时这种多传感器融合的方式还可以再次将数据集的标注难度降低。度降低。度降低。


技术研发人员：潘焱 梁艳菊 鲁斌
受保护的技术使用者：无锡物联网创新中心有限公司
技术研发日：2023.03.30
技术公布日：2023/7/21