目标检测方法、模型训练方法、检测模型和电子设备与流程

1.本技术涉及计算机技术领域，特别涉及目标检测方法、模型训练方法、检测模型和电子设备。


背景技术：

2.3d目标检测是自动驾驶感知系统重要组成部分，其利用各种传感器采集的数据来检测周围的物体，输出物体的类别、位置、大小、朝向和速度等信息，从而为后面的决策和控制模块提供参考依据。
3.激光雷达传感器采集的点云数据是一种蕴含丰富信息的三维数据，基于点云数据进行3d目标检测可以取得相比传统图像更好的检测效果。
4.然而，目前基于点云数据进行3d目标检测的算法都是在同一个点云数据域对深度学习模型进行训练和测试，而实际使用中传感器的更新、安装车辆的不同、环境的变化等都会造成检测数据和训练数据分布不同。当检测场景与训练场景差距较大时，检测场景与训练场景分别对应不同的点云数据域。在这种情况下使用3d目标检测模型在检测场景下进行检测，3d目标检测模型进行的是跨域检测(训练模型时的点云数据域与检测场景的点云数据域不同)，会导致模型的检测性能将会大幅下降。这就需要针对检测场景重新进行数据采集和数据标注并重新训练模型，费时费力，影响模型在新检测场景下的快速部署。
5.因此，需要一种新的目标检测方法，以提高跨域检测的检测性能。


技术实现要素：

6.针对如何提高跨域检测的检测性能的问题，本技术提供了一种目标检测方法、模型训练方法、检测模型和电子设备，本技术还提供一种计算机可读存储介质。
7.本技术实施例采用下述技术方案：
8.第一方面，本技术提供一种目标检测方法，所述方法应用于电子设备，所述方法包括：
9.获取待检测点云数据，所述待检测点云数据对应第一域；
10.调用第一检测模型，所述第一检测模型包括域无关特征提取器，其中：所述域无关特征提取器用于从点云数据的底层三维特征中提取与所述第一域以及第二域无关的域无关特征；所述域无关特征提取器为，以第二检测模型的2d编码器为基础，根据第二点云数据集以及第三点云数据集训练得到的特征提取器；所述第二检测模型为基于所述第二点云数据集预训练得到的3d目标检测模型；所述第二点云数据集对应第二域，所述第三点云数据集对应所述第一域；
11.使用所述第一检测模型处理所述待检测点云数据，获取3d目标检测结果，包括：
12.所述域无关特征提取器从所述待检测点云数据的底层三维特征中提取域无关特征；
13.根据所述域无关特征获取所述3d目标检测结果。
14.根据本技术第一方面提出的目标检测方法，第一检测模型从第一域的点云数据中提取域无关特征并根据域无关特征获取3d目标检测结果。因此，3d目标检测的检测性能不会受到域变化的干扰，提高了跨域检测的检测性能。
15.在第一方面的一种实现方式中，所述第一检测模型还包含第一3d编码器，所述第一3d编码器用于提取所述待检测点云数据的底层三维特征，其中：
16.所述第一3d编码器的参数与所述第二检测模型的第二3d编码器一致。
17.在第一方面的一种实现方式中，所述第一检测模型还包含第一检测头，所述第一检测头用于根据所述域无关特征获取所述3d目标检测结果，其中：
18.所述第一检测头为，以所述第二检测模型的第二检测头为基础，根据所述第二点云数据集以及所述第三点云数据集训练得到的检测头。
19.第二方面，本技术提供一种模型训练方法，所述方法应用于电子设备，所述方法包括：
20.获取第二点云数据集，所述第二点云数据集对应第二域；
21.基于所述第二点云数据集进行预训练得到第二检测模型，所述第二检测模型为包含2d编码器的3d目标检测模型；
22.基于所述第二检测模型构造初始的第一检测模型，包括，以所述2d编码器为基础，构造所述第一检测模型的初始的域无关特征提取器；
23.基于所述第二点云数据集以及对应第一域的第三点云数据集，根据3d目标检测的目标函数，训练所述第一检测模型，其中：
24.所述第一检测模型用于根据与所述第一域以及第二域无关的域无关特征获取3d目标检测结果；
25.所述训练第一检测模型，包括：根据所述第二点云数据集以及所述第三点云数据集训练所述域无关特征提取器，所述域无关特征提取器用于从点云数据的底层三维特征中提取所述域无关特征。
26.在第二方面的一种实现方式中，所述获取第二点云数据集，包括：
27.获取第四点云数据集，所述第四点云数据集对应所述第二域；
28.将第四点云数据集的点云密度对齐到所述第一域，生成所述第二点云数据集。
29.根据上述实现方式，采用数据对齐的方式获取第二点云数据集，可以缩小不同域的样本数据间基于域的数据差异，提升训练得到的3d目标检测模型的跨域检测性能。
30.在第二方面的一种实现方式中，所述将第四点云数据集的点云密度对齐到所述第一域，生成所述第二点云数据集，包括：
31.根据激光线束的倾角，对所述第二域以及所述第一域的激光线束进行匹配，获取匹配结果；
32.基于所述匹配结果，根据所述第四点云数据集生成所述第二点云数据集，包括：
33.针对所述第一域的第一激光线束，在所述第四点云数据集的每个点云数据中补全所述第一激光线束对应的点数据，其中，所述第一域的第一激光线束在所述第二域中不存在相匹配的激光线束；
34.和/或，
35.针对所述第二域的第二激光线束，在所述第四点云数据集的每个点云数据中滤除
所述第二激光线束对应的点数据，其中，所述第二域的第二激光线束在所述第一域中不存在相匹配的激光线束。
36.根据上述实现方式，在数据对齐过程中，关注到不同域的点云数据激光线束的线数不同，以及，激光线束在竖直方向的分布情况，能够更好的对齐不同域的点云数据。
37.在第二方面的一种实现方式中，所述基于所述匹配结果，根据所述第四点云数据集生成所述第二点云数据集，还包括：
38.调整所述第四点云数据集中所述激光线束上数据点的数量，将所述第四点云数据集的水平分辨率对齐到所述第一域。
39.根据上述实现方式，在数据对齐过程中，关注到了激光线束水平方向的分辨率，能够更好的对齐不同域的点云数据。
40.在第二方面的一种实现方式中，所述第一检测模型还包含第一3d编码器，所述第一3d编码器用于从点云数据中提取所述底层三维特征；所述第二检测模型还包含第二3d编码器；
41.所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述第二3d编码器的参数加载到初始的所述第一3d编码器；
42.所述训练第一检测模型，还包括：固定所述第一3d编码器的参数。
43.在第二方面的一种实现方式中，所述第一检测模型还包含第一检测头，所述第一检测头用于根据所述域无关特征获取所述3d目标检测结果；所述第二检测模型还包含第二检测头；
44.所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述第二检测头的参数加载到初始的所述第一检测头。
45.在第二方面的一种实现方式中，所述第一检测模型还包含域相关特征提取器以及域分类器，所述域相关特征提取器用于从所述底层三维特征中提取与所述第一域或所述第二域相关的域相关特征，所述域分类器用于区分所述域相关特征所相关的域；所述域相关特征提取器以及所述域无关特征提取器，与所述域分类器被设计为对抗的学习方式；
46.所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述2d编码器的参数加载到初始的所述域无关特征提取器以及初始的所述域相关特征提取器；
47.所述训练第一检测模型，还包括：
48.固定所述域相关特征提取器的参数；
49.采用对抗的学习方式，训练所述域无关特征提取器以及所述域分类器。
50.根据上述实现方式，在特征对齐过程中，使用域分类损失函数，能够显式的约束模型提取域无关的特征，无需选择伪标签进行迭代训练，仅需要少量轮次的训练即可得到在第一域检测效果较好的第一检测模型。
51.在第二方面的一种实现方式中，所述第二点云数据集包含标签，所述第三点云数据集不包含标签。
52.根据上述实现方式，在特征对齐过程中，可以基于包含标签的第二点云数据集以及不包含标签的第三点云数据集，训练获取3d目标检测模型，减少了标签标注操作，降低了准备样本数据的工作量。
53.第三方面，本技术提供一种目标检测模型，所述模型用于根据与第一域以及第二
域无关的域无关特征获取3d目标检测结果，所述模型包括：
54.域无关特征提取器，其中：
55.所述域无关特征提取器用于从点云数据的底层三维特征中提取所述域无关特征；
56.所述域无关特征提取器为，以第二检测模型的2d编码器为基础，根据第二点云数据集以及第三点云数据集训练得到的特征提取器；
57.所述第二检测模型为基于所述第二点云数据集预训练得到的3d检测模型；
58.所述第二点云数据集对应第二域，所述第三点云数据集对应所述第一域。
59.第四方面，本技术提供一种电子设备，所述电子设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当所述计算机程序指令被该处理器执行时，触发所述电子设备执行如第一方面或第二方面所述的方法步骤。
60.第五方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。
附图说明
61.图1所示为根据本技术一实施例的自动驾驶系统结构示意图；
62.图2为检测场景w下的点云数据示意图；
63.图3为检测场景n下的点云数据示意图；
64.图4为检测场景k下的点云数据示意图；
65.图5所示为根据本技术一实施例的电子设备简图；
66.图6所示为根据本技术一实施例的目标检测方法流程示意图；
67.图7为根据本技术一实施例的第一检测模型的结构示意图；
68.图8所示为根据本技术一实施例的模型训练方法流程示意图；
69.图9所示为根据本技术一实施例的点云密度对齐流程示意图；
70.图10为根据本技术一实施例的不同域的激光线束倾角对比示意图；
71.图11为根据本技术一实施例的第二检测模型的结构示意图；
72.图12所示为根据本技术一实施例的第一检测模型的结构示意图；
73.图13所示为根据本技术一实施例的模型训练方法流程示意图；
74.图14所示为根据本技术一实施例的模型训练方法流程示意图；
75.图15所示为根据本技术一实施例的跨域检测效果对比图；
76.图16所示为根据本技术一实施例的目标检测装置示意图；
77.图17所示为根据本技术一实施例的模型训练装置示意图。
具体实施方式
78.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
79.本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非
旨在限定本技术。
80.图1所示为根据本技术一实施例的自动驾驶系统结构示意图。
81.如图1所示，自动驾驶系统包括：
82.感知模块110，其用于利用车载传感器采集的数据对周围环境和物体的识别与定位；
83.决策模块120，其用于根据感知模块110的识别与定位结果进行决策，例如，判断是否停车、拐弯；
84.控制模块130，其用于根据决策模块120的决策结果控制车辆以实现自动驾驶。
85.具体的，在一实施例中，接入感知模块110的车载传感器可以包括相机、雷达、红外等多种设备。
86.例如，感知模块110可以通过接入的相机，模拟人眼的成像原理得到2d图像，从而能够感知物体的颜色、大小。利用多个相机对同一物体进行观测，则可以根据物体在不同相机中的视差来计算深度，从而实现对物体远近的感知。
87.又例如，感知模块110可以通过接入的雷达，向周围发射波束，根据接收器接收到回波的时间差或频率差来计算物体的距离和速度。
88.感知模块110利用车载传感器采集的数据获取点云数据。具体的，点云数据包含n个点，每个点包含具有三维坐标(x,y,z)、反射强度(intensity)信息。
89.具体的，在一实施例中，检测场景w、n、k分别为waymo、nuscenes、kitti。
90.图2～图4分别为检测场景w、n、k下的点云数据示意图。
91.如图2～4所示，点云数据可以体现车辆的周边环境信息。
92.感知模块110使用点云3d目标检测模型对获取到的点云数据进行处理，从而获取用于对周围环境和物体的识别与定位的3d目标检测输出。3d目标检测输出包括物体的边界框(bounding box)、物体的类别、物体的速度。物体的边界框通常包括中心点三维坐标(x,y,z)、边界框的长宽高(l,w,h)、偏转角(θ)。
93.实现点云3d目标检测的关键点之一在于点云3d目标检测。一般的，点云3d目标检测模型通过基于点云数据的深度学习模型训练获得。
94.但是，如图2～图4所示，在不同的检测场景下，由于不同自动驾驶数据集所用激光雷达配置以及安装位置不同，不同的检测场景下的点云数据的特征呈现出较大的差异。
95.具体的，不同的检测场景对应不同的域，由于不同域的点云数据特征并不统一，因此很难使用不同域的点云数据进行点云3d目标检测模型的训练。而使用单一域的点云数据进行点云3d目标检测模型的训练，训练出的点云3d目标检测模型，相较于在训练模型的点云数据域对应的检测场景下进行检测，在其他检测场景进行目标检测时，检测性能会大幅下降。
96.例如，如下表1所示。
97.表1
[0098][0099]
表1中，ap
bev
@0.7、ap
3d
@0.7、ap
bev
@0.5、ap
3d
@0.5为体现点云3d目标检测的检测性能的检测指标。“同域”表示点云3d目标检测模型进行目标检测的检测场景为与训练该点云3d目标检测模型使用的训练数据对应的检测场景相同。“跨域”表示点云3d目标检测模型进行目标检测的检测场景为与训练该点云3d目标检测模型使用的训练数据对应的检测场景不同。
[0100]w→
n表示：同域检测为基于检测场景w的点云3d目标检测模型，在检测场景w中进行目标检测；跨域检测为基于检测场景w的点云3d目标检测模型，在检测场景n中进行目标检测。
[0101]n→
w表示：同域检测为基于检测场景n的点云3d目标检测模型，在检测场景n中进行目标检测；跨域检测为基于检测场景n的点云3d目标检测模型，在检测场景w中进行目标检测。
[0102]w→
k表示：同域检测为基于检测场景w的点云3d目标检测模型，在检测场景w中进行目标检测；跨域检测为基于检测场景w的点云3d目标检测模型，在检测场景k中进行目标检测。
[0103]n→
k表示：同域检测为基于检测场景n的点云3d目标检测模型，在检测场景n中进行目标检测；跨域检测为基于检测场景n的点云3d目标检测模型，在检测场景k中进行目标检测。
[0104]
如表1所示，相较于同域检测的检测指标，跨域检测的检测指标大幅下降。
[0105]
针对如何提高跨域检测的检测性能的问题，一种可行的方案是：基于lidar线数的对齐：根据源域高线数据和目标域低线数据的lidar线数和vfov来均匀构造等效低线的源域数据。其步骤为：
[0106]
根据点云数据点坐标(x,y,z)计算每个点在竖直方向上的倾斜角度θ；
[0107]
利用k-means算法对数据点的倾角进行聚类得到每个数据点所属的激光线束；
[0108]
根据垂直视场角和激光线数计算源域相对于目标域的等效线数；
[0109]
均匀下采样源域线数到等效线数。
[0110]
上述方案考虑到了不同域的点云数据在数据层面的差异，缩小了不同域的点云数
据在数据层面的差异。但是，上述方案仅考虑了不同域的点云数据的总体线数差异，且仅考虑了高线到低线数据的情况，因此检测精度并不理想，并且，利用聚类的方法来判断数据点所属激光线束存在一定的误差。
[0111]
针对如何提高跨域检测的检测性能的问题，另一种可行的方案是：利用伪标签进行自训练。其步骤为：
[0112]
利用源域数据和标签预训练模型；
[0113]
用预训练模型推理目标域数据得到预测结果；
[0114]
选取置信度较高的预测结果作为伪标签；
[0115]
利用伪标签作为监督信号在目标域训练模型；
[0116]
重复“选取置信度较高的预测结果作为伪标签”和“利用伪标签作为监督信号在目标域训练模型”多次，得到最终模型。
[0117]
上述方案可以提升跨域检测性能，但是，由于模型训练迭代多次比较耗时，产生的结果不太稳定，容易过拟合到少量置信度高的数据上。
[0118]
针对如何提高跨域检测的检测性能的问题，本技术提供了一种目标检测方法，该方法应用于电子设备。
[0119]
具体的，在本技术一实施例中，电子设备可以是手机、个人电脑、笔记本电脑、无人车、具有激光雷达的机器人设备或用于点云自动标注的计算机等。
[0120]
图5所示为根据本技术一实施例的电子设备简图。
[0121]
如图5所示，电子设备500包括包含处理器501、存储器502。
[0122]
存储器502用于存储计算机程序指令，一个或多个计算机程序指令被存储在存储器502中。存储器502可以包括代码存储区和数据存储区。其中，代码存储区可存储操作系统以及应用程序。数据存储区可存储使用过程中所创建的数据等。例如，电子设备500为耳机，数据存储区可存储耳机100使用过程中所创建的数据(例如，音频采集结果)等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器。
[0123]
存储器502可以是只读存储器(read-only memory，rom)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，ram)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)等，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何计算机可读介质。
[0124]
处理器501用于执行存储器502中存储的计算机程序指令，以触发电子设备500执行相应的功能。
[0125]
处理器501可以是片上装置soc，该处理器501中可以包括中央处理器(central processing unit，cpu)，还可以进一步包括其他类型的处理器。
[0126]
处理器501涉及的处理器可以例如包括cpu、dsp、微控制器或数字信号处理器，处理器501还可包括必要的硬件加速器或逻辑处理硬件电路，如asic，或一个或多个用于控制本技术技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器502中。
[0127]
处理器501可以包括一个或多个处理单元。例如：处理器可以包括应用处理器
(application processor，ap)，调制解调处理器，控制器，音频编解码器，数字信号处理器(digital signal processor，dsp)等。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0128]
在处理器501中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备500也可以包括一个或多个处理器501。
[0129]
在一些实施例中，处理器501可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，i2c)接口，集成电路间音频(integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，和/或usb接口等。usb接口可以用于连接充电器为电子设备充电，也可以用于电子设备与外围设备之间传输数据。
[0130]
处理器501和存储器502可以合成一个处理装置，更常见的是彼此独立的部件。
[0131]
图6所示为根据本技术一实施例的目标检测方法流程示意图。
[0132]
在一实施例中，电子设备500执行如图6所示的下述流程以实现目标检测。
[0133]
s510，获取待检测点云数据，待检测点云数据对应第一域。
[0134]
s520，调用第一检测模型。
[0135]
s530，使用第一检测模型处理待检测点云数据，获取3d目标检测结果。
[0136]
具体的，在一实施例中，第一检测模型为基于第二检测模型构建的模型，第二检测模型为基于第二点云数据集进行预训练得到的3d检测模型，第二点云数据集对应第二域。
[0137]
具体的，第一检测模型包括域无关特征提取器，其中：域无关特征提取器用于从点云数据的底层三维特征中提取与第一域以及第二域无关的域无关特征；域无关特征提取器为，以第二检测模型的2d编码器为基础，根据第二点云数据集以及第三点云数据集训练得到的特征提取器，第三点云数据集对应第一域。
[0138]
s530包括：
[0139]
域无关特征提取器从待检测点云数据的底层三维特征中提取域无关特征；
[0140]
根据域无关特征获取3d目标检测结果。
[0141]
根据图6所示实施例的方法，由于第一检测模型从第一域的点云数据中提取域无关特征并根据域无关特征获取3d目标检测结果。因此，3d目标检测的检测性能不会受到域变化的干扰，提高了跨域检测的检测性能。
[0142]
进一步的，为了实现本技术实施例的目标检测方法，本技术一实施例提出了一种目标检测模型(第一检测模型)。
[0143]
图7为根据本技术一实施例的第一检测模型的结构示意图。
[0144]
如图7所示，第一检测模型700包括3d编码器610(第一3d编码器)、特征解耦器620、以及检测头640(第一检测头)。
[0145]
3d编码器610用于从点云数据中提取底层三维特征。
[0146]
特征解耦器620接在3d编码器610之后，其包含域无关特征提取器621。域无关特征提取器621用于从底层三维特征中提取与第一域以及第二域无关的域无关特征。域无关特征提取器621为bev特征提取器。
[0147]
检测头640接在域无关特征提取器621之后，其用于根据域无关特征获取3d目标检测结果。
[0148]
进一步的，本技术一实施例提出了一种模型训练方法(用于训练第一检测模型)，该方法应用于电子设备。具体的，在本技术一实施例的模型训练方法中，以对应第二域的第四点云数据集以及对应第一域的第三点云数据集为训练样本，训练获取3d目标检测模型(第一检测模型)。
[0149]
具体的，在本技术一实施例中，采用数据对齐以及特征对齐相结合的方式获取第一检测模型。
[0150]
在一实施例中，数据对齐是指将所属不同域的点云数据的点云密度对齐，缩小不同域的样本数据间基于域的数据差异，提升训练得到的3d目标检测模型的跨域检测性能。特征对齐是指将基于单一域训练得到的3d目标检测模型进行检测时的目标特征对齐到另一个域，提升3d目标检测模型的跨域检测性能。
[0151]
具体的，图8所示为根据本技术一实施例的模型训练方法流程示意图。
[0152]
训练样本数据为对应第二域的第四点云数据集以及对应第一域的第三点云数据集，电子设备执行如图8所示的下述流程以训练获取第一检测模型。
[0153]
s700，获取包含标签的第四点云数据集。
[0154]
s710，数据对齐步骤，将第四点云数据集对齐到第一域，生成包含标签的第二点云数据集。
[0155]
具体的，在s710中，针对点云密度，将第四点云数据集对齐到第一域。即，第二点云数据集为，将第四点云数据集的点云密度对齐到第一域所生成的数据。
[0156]
具体的，在某些应用场景中，不同域的点云数据的点云密度是不同的。在s710中，根据第四点云数据集生成第二点云数据集，以使得第二点云数据集的点云密度与第一域的点云数据(例如，第三点云数据集)的点云密度一致，从而便于将不同的域(第一域以及第二域)的点云数据应用到同一检测模型的训练过程，提高模型训练效率，提高检测模型的检测性能。
[0157]
具体的，图9所示为根据本技术一实施例的点云密度对齐流程示意图。
[0158]
在s710的一种实现方式中，电子设备执行如图9所示的下述流程以将第四点云数据集的点云密度对齐到第一域。
[0159]
s800，计算第四点云数据集(对应第二域)以及第三点云数据集(对应第一域)中每个点云数据中每个数据点在竖直方向的倾角。
[0160]
具体的，在s800中，计算某个点云数据中某一个数据点p＝(x,y,z)在竖直方向的倾角θ
p
，计算方式如下：
[0161][0162]
s810，确定第四点云数据集以及第三点云数据集中每个点云数据中每个数据点所属的激光线束。
[0163]
s820，根据激光线束上的数据点，确定对应第一域的每条激光线束的倾角，以及，确定对应第二域的每条激光线束的倾角。
[0164]
具体的，在s820中，对于的某条激光线束，用某点云数据中该激光线束上所有数据
点倾角的中位数来代表该点云数据中该激光线束的倾角，对同一域的点云数据集中的所有点云数据都做相同的计算，取同一域的点云数据集中的所有点云数据中该激光线束倾角的中位数作为对应该域的该激光线束的倾角。
[0165]
图10为根据本技术一实施例的不同域的激光线束倾角对比示意图。
[0166]
如图10所示，纵坐标代表倾角角度，中线a左侧为对应w域的激光线束的倾角，中线a右侧为对应s域的激光线束的倾角。
[0167]
s830，根据激光线束的倾角，对第二域以及第一域的激光线束进行匹配，获取匹配结果。
[0168]
具体的，在s830中，对于第一域的每一条激光线束j，都在第二域中寻找倾角θ最接近且两者差值小于阈值δ(例如，0.5度)的匹配线束i，计算方式如下：
[0169][0170]
s840，基于s830的匹配结果，对第四点云数据集进行激光线束的滤除和/或补全，生成第五点云数据集。
[0171]
具体的，s840包括：
[0172]
针对第一域的第一激光线束，在第四点云数据集的每个点云数据中补全第一激光线束对应的点数据，其中，第一域的第一激光线束在第二域中不存在相匹配的激光线束；
[0173]
和/或，
[0174]
针对第二域的第二激光线束，在第四点云数据集的每个点云数据中滤除第二激光线束对应的点数据，其中，第二域的第二激光线束在第一域中不存在相匹配的激光线束。
[0175]
具体的，当将高线数据对齐到低线数据(第二域的激光线束密度高于第一域)时，保留第二域中匹配到第一域的激光线束，滤除第二域中没有匹配到第一域的激光线束。
[0176]
当将低线数据对齐到高线数据(第一域的激光线束密度高于第二域)时，对于在第一域中没有被匹配到的激光线束，在第二域中通过插值的方式来补全这些角度的激光线束。
[0177]
进一步的，对于将低线数据对齐到高线数据，还可以通过第二域多帧稀疏点云的叠加来得到更加稠密化的点云数据，以此来模拟第一域域的点云密度。
[0178]
s850，调整第五点云数据集中激光线束上数据点的数量，将第五点云数据集的水平分辨率对齐到第一域，以生成第二点云数据集。
[0179]
具体的，在s850中，统计每条激光线束上数据点的数量，对第五点云数据集的激光线束进行均匀的上采样或下采样。
[0180]
根据本技术实施例的方法，在数据对齐过程中，除了关注到不同域的点云数据激光线束的线数不同之外，还关注到了激光线束在竖直方向的分布情况以及水平方向的分辨率。根据本技术实施例的方法，在数据对齐过程中，能够更好的对齐不同域的点云数据。
[0181]
进一步的，根据本技术实施例的方法，在数据对齐过程中，利用点云数据提供的信息判断各个数据点所属激光线束，可以准确的获取各个数据点所属激光线束。
[0182]
在s710之后，执行s720。
[0183]
s720，根据3d目标检测的目标函数，基于第二点云数据集进行预训练得到3d目标检测模型(第二检测模型)。
[0184]
图11为根据本技术一实施例的第二检测模型的结构示意图。
[0185]
如图11所示，第二检测模型1000包括：
[0186]
3d编码器1010(第二3d编码器)，其用于从点云数据中提取底层三维特征；
[0187]
2d编码器1020，其用于从底层三维特征提取目标特征；2d编码器1020为鸟瞰图(bird’s eye view，bev)特征提取器
[0188]
检测头1030(第二检测头)，其用于根据目标特征获取3d目标检测结果。
[0189]
在s720之后，采用特征对齐方式，将第二检测模型进行目标检测时的目标特征(第二域的特征)对齐到第一域。具体的，特征对齐的步骤包括s730～s743。
[0190]
s730，基于第二检测模型构造初始的第一检测模型。
[0191]
图12所示为根据本技术一实施例的第一检测模型的结构示意图。
[0192]
如图12所示，第一检测模型1100包括3d编码器1110(第一3d编码器)、特征解耦器1120、域分类器1130以及检测头1140(第一检测头)。
[0193]
3d编码器1110参照3d编码器610。
[0194]
特征解耦器1120接在3d编码器1110之后，其包含域无关特征提取器1121以及域相关特征提取器1122。域无关特征提取器1121用于从底层三维特征中提取与第一域以及第二域无关的域无关特征(参照域无关特征提取器621)。域相关特征提取器1122用于从底层三维特征中提取与第一域或第二域相关的域相关特征。域无关特征提取器1121以及域相关特征提取器1122为bev特征提取器。
[0195]
域分类器1130接在特征解耦器1120之后，用于区分输入的特征所属的不同域。即，在理想状态下，训练好的域分类器1130可以区分域相关特征提取器1122输出的域相关特征是属于第一域或是第二域，无法区分域无关特征提取器1121输出的域无关特征是属于哪一域。
[0196]
检测头1140接在域无关特征提取器1121之后，其用于根据域无关特征获取3d目标检测结果(参照检测头640)。
[0197]
s730包括：
[0198]
s731，初始化3d编码器1110，包括，将3d编码器1010的参数加载到初始的3d编码器1110。
[0199]
s732，初始化特征解耦器1120，包括，初始化域相关特征提取器1122，根据域相关特征提取器1122初始化域无关特征提取器1121。具体的，在s732中，将2d编码器1020的参数加载到初始的域相关特征提取器1122以及初始的域无关特征提取器1121。
[0200]
s733，初始化检测头1140，包括，将检测头1030的参数加载到初始的检测头1140。
[0201]
s740，根据3d目标检测的目标函数，基于第二点云数据集(对应第二域)以及第三点云数据集(对应第一域)训练第一检测模型。
[0202]
具体的，s740包括：
[0203]
s741，固定3d编码器1110以及域相关特征提取器1122的参数。
[0204]
通过s741的执行，可以为域无关特征提取器1121、域分类器1130以及检测头1140提供更强的先验信息。
[0205]
s742，将第二点云数据集以及第三点云数据集的点云数据的原点高度调整到同一高度，归一化第二点云数据集以及第三点云数据集的的激光反射强度。
[0206]
s743，根据3d目标检测的目标函数，基于s742的数据调整结果训练第一检测模型的域无关特征提取器1121、域分类器1130以及检测头1140。
[0207]
具体的，在s743中，第二点云数据集的点云数据(ps)和第三点云数据集的点云数据(p
t
)同时输入到第一检测模型的网络中，3d编码器1110将输入的点云数据映射到特征空间中得到点云数据的底层三维特征，以及分别表示ps和p
t
经过3d编码器1110后得到的特征。以及是和对应域的数据分布强相关的，因而以及中既包含了域特有的信息，也包含了跨域仍不变的信息。
[0208]
以及被输入到特征解耦器1120(输入到域无关特征提取器1121以及域相关特征提取器1122)。以及经过域无关特征提取器1121可以得到以及以及以及分别表示从ps和p
t
中提取的域无关特征。以及经过域相关特征提取器1122可以得到以及及以及分别表示从ps和p
t
中提取的域相关特征。
[0209]
域分类器1130用于对特征解耦器1120进行约束，以保证可以被正确的解耦成域相关特征和域无关特征。经过域分类器1130，对于域相关特征提取器1122的输出，以及应是很容易被区分的。而对于域无关特征提取器1121的输出，以及应是难以区分的，即域分类器1130难以准确的判断某个特征来自哪一个域。
[0210]
因此，在一实施例中，域分类器1130和特征解耦器1120被设计为对抗的学习方式，即，在训练过程中，域分类器1130不断提高对特征的分类能力，以此来实现对域相关特征的正确分类；与此同时，域无关特征提取器1121则不断提升对域无关特征的提取能力，以此来使域分类器1130无法对特征进行正确分类。
[0211]
域分类器1130和特征解耦器1120的对抗的学习方式的损失函数为域分类损失l
dc
，包括域相关特征的分量l
ds
和域无关特征的分量l
di
。损失函数l
dc
的计算公式如下：
[0212]
l
dc
＝l
ds
+λl
di
； (公式3)
[0213][0214][0215]
公式3中，λ为用于平衡域有关和域无关分量的超参数。
[0216]
公式4中，域相关特征的损失函数l
ds
为交叉熵函数(cross entropy)；xi表示第i个类别的预测得分；yi∈{0,1}表示是否为该类别。
[0217]
公式5中，域无关特征的损失函数l
di
为均方误差(mean squared error，mse)；xi表示第i个类别的预测得分，yi＝0.5，意味着域分类器1130无法分辨特征以及来自于哪个域。
[0218]
检测头1140的损失函数l
det
可以表示为：
[0219][0220]
公式6中，和分别表示对有标签的点云数据(ps)进行分类回归的损失。第一检测模型的损失函数l
total
为原始的检测损失函数与域分类损失函数之和，即：
[0221]
l
total
＝l
det
+l
dc
。
ꢀꢀ
(公式7)
[0222]
在训练域分类器1130以及域无关特征提取器1121的过程中，由于域无关特征提取器1121、域相关特征提取器1122、域分类器1130的输出不需要参考标签。因此，域分类器1130以及域无关特征提取器1121的训练不要求ps和p
t
必须包含标签。
[0223]
进一步的，域无关特征提取器1121的输出以及中，对应包含标签的第二点云数据集的点云数据(ps)，因此，包含标签。
[0224]
在训练检测头1140的过程中，由于检测头1140接入域无关特征提取器1121的输出以及在包含标签的情况下，不要求必须包含标签。
[0225]
因此，在本技术一实施例中，第四点云数据集包含标签(ps包含标签)，第三点云数据集不包含标签(p
t
不包含标签)。
[0226]
根据本技术实施例的模型训练方法，在特征对齐过程中，可以基于包含标签的第四点云数据集以及不包含标签的第三点云数据集，训练获取3d目标检测模型(第一检测模型)。由于第一域的第三点云数据集不需要包含标签，因此减少了标签标注操作，降低了准备样本数据的工作量。
[0227]
根据本技术实施例的模型训练方法，在特征对齐过程中，使用域分类损失函数，能够显式的约束模型提取域无关的特征。
[0228]
根据本技术实施例的模型训练方法，在特征对齐过程中，无需选择伪标签进行迭代训练，仅需要少量轮次的训练即可得到在第一域检测效果较好的第一检测模型。
[0229]
进一步的，根据本技术实施例的模型训练方法，可以基于对应第二域的第四点云数据集以及对应第一域的第三点云数据集，训练获取用于处理第一域的点云数据的3d目标检测模型(第一检测模型)。相较于基于第二域的点云数据训练获取的3d目标检测模型(第二检测模型)，第一检测模型在针对第一域的点云数据进行目标检测的检测性能大大提高。
[0230]
表2所示为基于本技术一实施例本域检测与跨域检测效果对比。
[0231]
表2
[0232]
[0233][0234]
如表2所示，根据本技术一实施例的方法用于点云数据3d目标检测的无监督域迁移任务中，在多个公开数据集上的跨域检测效果取得了比已有方法更好的效果。
[0235]
在图8所示实施例中，采用数据对齐以及特征对齐相结合的方式获取第一检测模型。在本技术另一实施例中，可以仅采用数据对齐的方式获取第一检测模型(不使用特征对齐)。
[0236]
具体的，图13所示为根据本技术一实施例的模型训练方法流程示意图。
[0237]
s1200，获取包含标签的第四点云数据集。
[0238]
s1210，数据对齐步骤，将第四点云数据集对齐到第一域，生成包含标签的第二点云数据集。参照s710。
[0239]
具体的，在s710中，针对点云密度，将第四点云数据集对齐到第一域。即，第二点云数据集为，将第四点云数据集的点云密度对齐到第一域所生成的数据。
[0240]
s1220，根据3d目标检测的目标函数，基于第二点云数据集进行预训练得到3d目标检测模型(第二检测模型)。参照s720。
[0241]
s1230，基于第二检测模型构造第一检测模型(第一检测模型参照图7所示)，其中：
[0242]
将第二检测模型的3d编码器的参数加载到第一检测模型的3d编码器；
[0243]
将第二检测模型的2d编码器的参数加载到第一检测模型的域无关特征提取器；
[0244]
将第二检测模型的检测头的参数加载到第一检测模型的检测头。
[0245]
在本技术另一实施例中，也可以仅采用特征对齐的方式获取第一检测模型(不使用数据对齐)。
[0246]
具体的，图14所示为根据本技术一实施例的模型训练方法流程示意图。
[0247]
s1300，获取包含标签的第四点云数据集。
[0248]
s1320，根据3d目标检测的目标函数，基于第四点云数据集进行预训练得到3d目标检测模型(第二检测模型)。参照s720。
[0249]
s1330，基于第二检测模型构造初始的第一检测模型。参照s730。
[0250]
s1340，根据3d目标检测的目标函数，基于第四点云数据集(对应第二域)以及第三点云数据集(对应第一域)训练第一检测模型。
[0251]
具体的，s1340包括：
[0252]
固定第一检测模型的3d编码器以及域相关特征提取器的参数。参照s741。
[0253]
将第四点云数据集以及第三点云数据集的点云数据的原点高度调整到同一高度，归一化第四点云数据集以及第三点云数据集的的激光反射强度。参照s742。
[0254]
根据3d目标检测的目标函数，基于s1342的数据调整结果训练第一检测模型的域无关特征提取器、域分类器以及检测头。参照s743。
[0255]
表3所示为采用数据对齐和/或特征对齐方式在检测场景w
→
n进行数据迁移的检测性能对比。
[0256]
表3
[0257]w→
n数据对齐(data)特征对齐(feature)ap
bev
ap
3d
(a)
ꢀꢀ
39.3923.50(b) √42.9323.93(c)√ 48.4328.13(d)√√50.0228.43oracle
ꢀꢀ
58.2437.40
[0258]
表3中，(a)对应将基于检测场景w训练的3d目标检测模型应用到检测场景n；(b)对应将采用基于检测场景w的样本数据根据本技术实施例的特征对齐方式生成3d目标检测模型并应用到检测场景n；(c)对应将采用基于检测场景w的样本数据根据本技术实施例的数据对齐方式生成3d目标检测模型并应用到检测场景n；(d)对应将采用基于检测场景w的样本数据根据本技术实施例的数据对齐以及特征对齐方式生成3d目标检测模型并应用到检测场景n；oracle(甲骨文)对应基于检测场景n训练的3d目标检测模型应用到检测场景n。
[0259]
表4所示为采用数据对齐和/或特征对齐方式在检测场景n
→
w进行数据迁移的检测性能对比。
[0260]
表3
[0261][0262][0263]
表4中，(a)对应将基于检测场景n训练的3d目标检测模型应用到检测场景w；(b)对应将采用基于检测场景n的样本数据根据本技术实施例的特征对齐方式生成3d目标检测模
型并应用到检测场景w；(c)对应将采用基于检测场景n的样本数据根据本技术实施例的数据对齐方式生成3d目标检测模型并应用到检测场景w；(d)对应将采用基于检测场景n的样本数据根据本技术实施例的数据对齐以及特征对齐方式生成3d目标检测模型并应用到检测场景w；oracle(甲骨文)对应基于检测场景w训练的3d目标检测模型应用到检测场景w。
[0264]
如表3和表4所示，根据本技术实施例的数据对齐和特征对齐方式在公开数据集的域迁移任务上均能取得较好的效果，从而提升3d目标检测器的跨域检测能力。
[0265]
图15所示为根据本技术一实施例的跨域检测效果对比图。
[0266]
针对检测场景w
→
n，图15中左侧的图(上下两图)为未使用本技术实施例的检测方法得到的检测结果示意图，图15中右侧的图(上下两图)为使用本技术实施例的检测方法得到的检测结果示意图。对比左右侧的图，如图15所示，仅在w域训练的3d目标检测器在检测n域时存在大量的漏检(左侧)，而在使用本技术实施例的检测方法后大部分物体都能够被检测到(右侧)。根据本技术实施例的检测方法，提高了检出率，提高了模型在目标域的检测精度。
[0267]
进一步的，基于本技术实施例的目标检测方法，本技术一实施例还提出了一种目标检测装置，该装置应用于电子设备。
[0268]
图16所示为根据本技术一实施例的目标检测装置示意图。
[0269]
如图16所示，目标检测装置1600包含：
[0270]
输入模块1610，其用于获取待检测点云数据，待检测点云数据对应第一域；
[0271]
模型调用模块1620，其用于调用根据本技术实施例所述方法训练生成的第一检测模型；
[0272]
检测模块1630，其用于使用第一检测模型处理待检测点云数据，获取3d目标检测结果。
[0273]
进一步的，基于本技术实施例的模型训练方法，本技术一实施例还提出了一种模型训练装置，该装置应用于电子设备。
[0274]
图17所示为根据本技术一实施例的模型训练装置示意图。
[0275]
如图17所示，模型训练装置1700包含：
[0276]
输入模块1710，其用于获取第四点云数据集以及第三点云数据集；
[0277]
数据对齐模块1720，其用于根据第四点云数据集生成第二点云数据集(参照s710)；
[0278]
第一训练模块1730，其用于基于第二点云数据集训练第二检测模型；
[0279]
第二训练模块1740，其用于根据第二检测模型创建初始的第一检测模型，基于第二点云数据集以及第三点云数据集训练第一检测模型(参照s730～s743)。
[0280]
在本技术实施例的描述中，为了描述的方便，描述装置时以功能分为各种模块分别描述，各个模块的划分仅仅是一种逻辑功能的划分，在实施本技术实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0281]
具体的，本技术实施例所提出的装置在实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，检测模块可以为单独设立的处理元件，也可以集成在电
子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0282]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个数字信号处理器(digital singnal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，这些模块可以集成在一起，以片上装置(system-on-a-chip，soc)的形式实现。
[0283]
进一步的，本技术实施例阐明的设备、装置、模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。
[0284]
具体的，本技术一实施例还提出了一种电子设备，电子设备可以参照图5所示的电子设备500。具体的，电子设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当计算机程序指令被该处理器执行时，触发电子设备执行本技术实施例所述的目标检测方法步骤或模型训练方法步骤。
[0285]
本领域内的技术人员应明白，本技术实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
[0286]
在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
[0287]
具体的，本技术一实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本技术实施例提供的方法。
[0288]
本技术一实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本技术实施例提供的方法。
[0289]
本技术中的实施例描述是参照根据本技术实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0290]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0291]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0292]
还需要说明的是，本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0293]
本技术实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0294]
本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0295]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0296]
本领域普通技术人员可以意识到，本技术实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0297]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0298]
以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术公开的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种目标检测方法，其特征在于，所述方法应用于电子设备，所述方法包括：获取待检测点云数据，所述待检测点云数据对应第一域；调用第一检测模型，所述第一检测模型包括域无关特征提取器，其中：所述域无关特征提取器用于从点云数据的底层三维特征中提取与所述第一域以及第二域无关的域无关特征；所述域无关特征提取器为，以第二检测模型的2d编码器为基础，根据第二点云数据集以及第三点云数据集训练得到的特征提取器；所述第二检测模型为基于所述第二点云数据集预训练得到的3d目标检测模型；所述第二点云数据集对应第二域，所述第三点云数据集对应所述第一域；使用所述第一检测模型处理所述待检测点云数据，获取3d目标检测结果，包括：所述域无关特征提取器从所述待检测点云数据的底层三维特征中提取域无关特征；根据所述域无关特征获取所述3d目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述第一检测模型还包含第一3d编码器，所述第一3d编码器用于提取所述待检测点云数据的底层三维特征，其中：所述第一3d编码器的参数与所述第二检测模型的第二3d编码器一致。3.根据权利要求2所述的方法，其特征在于，所述第一检测模型还包含第一检测头，所述第一检测头用于根据所述域无关特征获取所述3d目标检测结果，其中：所述第一检测头为，以所述第二检测模型的第二检测头为基础，根据所述第二点云数据集以及所述第三点云数据集训练得到的检测头。4.一种模型训练方法，其特征在于，所述方法应用于电子设备，所述方法包括：获取第二点云数据集，所述第二点云数据集对应第二域；基于所述第二点云数据集进行预训练得到第二检测模型，所述第二检测模型为包含2d编码器的3d目标检测模型；基于所述第二检测模型构造初始的第一检测模型，包括，以所述2d编码器为基础，构造所述第一检测模型的初始的域无关特征提取器；基于所述第二点云数据集以及对应第一域的第三点云数据集，根据3d目标检测的目标函数，训练所述第一检测模型，其中：所述第一检测模型用于根据与所述第一域以及第二域无关的域无关特征获取3d目标检测结果；所述训练第一检测模型，包括：根据所述第二点云数据集以及所述第三点云数据集训练所述域无关特征提取器，所述域无关特征提取器用于从点云数据的底层三维特征中提取所述域无关特征。5.根据权利要求4所述的方法，其特征在于，所述获取第二点云数据集，包括：获取第四点云数据集，所述第四点云数据集对应所述第二域；将第四点云数据集的点云密度对齐到所述第一域，生成所述第二点云数据集。6.根据权利要求5所述的方法，其特征在于，所述将第四点云数据集的点云密度对齐到所述第一域，生成所述第二点云数据集，包括：根据激光线束的倾角，对所述第二域以及所述第一域的激光线束进行匹配，获取匹配结果；基于所述匹配结果，根据所述第四点云数据集生成所述第二点云数据集，包括：
针对所述第一域的第一激光线束，在所述第四点云数据集的每个点云数据中补全所述第一激光线束对应的点数据，其中，所述第一域的第一激光线束在所述第二域中不存在相匹配的激光线束；和/或，针对所述第二域的第二激光线束，在所述第四点云数据集的每个点云数据中滤除所述第二激光线束对应的点数据，其中，所述第二域的第二激光线束在所述第一域中不存在相匹配的激光线束。7.根据权利要求6所述的方法，其特征在于，所述基于所述匹配结果，根据所述第四点云数据集生成所述第二点云数据集，还包括：调整所述第四点云数据集中所述激光线束上数据点的数量，将所述第四点云数据集的水平分辨率对齐到所述第一域。8.根据权利要求4-7中任一项所述的方法，其特征在于，所述第一检测模型还包含第一3d编码器，所述第一3d编码器用于从点云数据中提取所述底层三维特征；所述第二检测模型还包含第二3d编码器；所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述第二3d编码器的参数加载到初始的所述第一3d编码器；所述训练第一检测模型，还包括：固定所述第一3d编码器的参数。9.根据权利要求4-8中任一项所述的方法，其特征在于，所述第一检测模型还包含第一检测头，所述第一检测头用于根据所述域无关特征获取所述3d目标检测结果；所述第二检测模型还包含第二检测头；所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述第二检测头的参数加载到初始的所述第一检测头。10.根据权利要求4-9中任一项所述的方法，其特征在于，所述第一检测模型还包含域相关特征提取器以及域分类器，所述域相关特征提取器用于从所述底层三维特征中提取与所述第一域或所述第二域相关的域相关特征，所述域分类器用于区分所述域相关特征所相关的域；所述域相关特征提取器以及所述域无关特征提取器，与所述域分类器被设计为对抗的学习方式；所述基于所述第二检测模型构造初始的第一检测模型，还包括：将所述2d编码器的参数加载到初始的所述域无关特征提取器以及初始的所述域相关特征提取器；所述训练第一检测模型，还包括：固定所述域相关特征提取器的参数；采用对抗的学习方式，训练所述域无关特征提取器以及所述域分类器。11.根据权利要求4-10中任一项所述的方法，其特征在于，所述第二点云数据集包含标签，所述第三点云数据集不包含标签。12.一种目标检测模型，其特征在于，所述模型用于根据与第一域以及第二域无关的域无关特征获取3d目标检测结果，所述模型包括：域无关特征提取器，其中：所述域无关特征提取器用于从点云数据的底层三维特征中提取所述域无关特征；所述域无关特征提取器为，以第二检测模型的2d编码器为基础，根据第二点云数据集
以及第三点云数据集训练得到的特征提取器；所述第二检测模型为基于所述第二点云数据集预训练得到的3d检测模型；所述第二点云数据集对应第二域，所述第三点云数据集对应所述第一域。13.一种电子设备，其特征在于，所述电子设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当所述计算机程序指令被该处理器执行时，触发所述电子设备执行如权利要求1-7中任一项或权利要求8-11中任一项所述的方法步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项或权利要求8-11中任一项所述的方法。

技术总结
本申请实施例提供目标检测方法、模型训练方法、检测模型和电子设备。目标检测方法包括：获取对应第一域的待检测点云数据；调用包括域无关特征提取器的第一检测模型，其中：域无关特征提取器用于提取与第一域以及第二域无关的域无关特征；域无关特征提取器为，以第二检测模型的2D编码器为基础，根据对应第二域的第二点云数据集以及对应第一域的第三点云数据集训练得到的特征提取器；第二检测模型为基于第二点云数据集预训练得到的3D目标检测模型；使用第一检测模型处理待检测点云数据，获取3D目标检测结果。根据本申请实施例的目标检测方法，3D目标检测的检测性能不会受到域变化的干扰，提高了跨域检测的检测性能。提高了跨域检测的检测性能。提高了跨域检测的检测性能。


技术研发人员：陈恺 马超 李志刚 杨臻
受保护的技术使用者：华为技术有限公司
技术研发日：2023.04.19
技术公布日：2023/8/13