图像信息增强方法、模型训练方法、装置、设备及介质与流程

1.本发明涉及计算机技术领域，特别是涉及一种图像信息增强方法、一种基于图像信息增强的目标检测模型训练方法、一种图像信息增强装置、一种基于图像信息增强的目标检测模型训练装置、一种电子设备以及一种可读存储介质。


背景技术：

2.人工智能技术的快速发展，带来了自动驾驶技术的飞跃。自动驾驶系统包括感知、规划、控制等三个部分，其中感知部分充当自动驾驶汽车“眼睛”的角色，起着关键性的作用。一个自动驾驶系统的好坏，往往很大程度上取决于其感知系统的好坏。自动驾驶感知系统是指自动驾驶车辆通过摄像头、雷达等各类传感器对周围环境进行感知，其不仅需要准确地识别出周围环境中的车辆、行人、障碍物、交通标识等，还需要对其进行准确的识别、定位与速度预测。考虑到量产车的成本因素，由于摄像头价格便宜，技术成熟，而且图像本身可以获取丰富的目标表观信息，所以其在自动驾驶车辆中得到了广泛应用，基于摄像头图像数据的三维目标检测技术也一直是研究的重点。
3.感知系统通过读取摄像头图像信息，输出检测目标在三维空间中的位置、长宽高和速度等信息，以便驾驶车辆后续进一步的进行决策规划。目前基于图像数据的三维目标检测技术，首先通过已有的图像目标检测技术，在图像中检测出车辆、行人、自行车等目标，得到目标在图像坐标系中的位置、大小等信息，然后通过相机与世界坐标系之间的关系，将检测到的目标映射到世界坐标系中，得到各目标在三维空间中的位置、长宽高和速度等信息。这种方法受益于已有的成熟二维目标检测体系，能够输出较为准确的图像目标检测结果。但是，这种两步式的检测框架无法做到端到端的训练，难于与自动驾驶系统后续模块集成联调，同时，目标结果映射过程调节能力较弱，导致三维精度效果不佳。
4.在深度神经网络的训练过程中，由于模型参数量过大，往往会发生过拟合的现象，从而影响模型的泛化性能。同时，由于目标种类样本在数据集中数目分布不均衡，会影响检测器对较少样本类别的检测性能。


技术实现要素：

5.本发明实施例所要解决的技术问题是提供一种目标检测模型训练方法、装置、电子设备及可读存储介质，以便解决由于模型参数量过大，往往会发生过拟合的现象，从而影响模型的泛化性能，同时，由于目标种类样本在数据集中数目分布不均衡，会影响检测器对较少样本类别的检测性能的问题。
6.为了解决上述问题，本发明提供了一种图像信息增强方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息
中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
7.可选地，所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
8.可选地，所述根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
9.可选地，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，所述方法还包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
10.本发明还提供了一种基于图像信息增强的目标检测模型训练方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息
中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。
11.可选地，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。
12.可选地，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，所述方法还包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。
13.可选地，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块包括：针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。
14.可选地，所述目标检测模型还包括特征解码模块，所述将所述鸟瞰图特征输出至所述目标检测模块包括：将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；将所述解码后的鸟瞰图特征输出至所述目标检测模块。
15.本发明还提供了一种图像信息增强装置，所述装置包括：信息获取模块，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块，用于从目标样本集中选取备选目标样本；第一信息增强模块，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；
第二信息增强模块，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
16.可选地，所述第一信息增强模块包括：第一样本添加子模块，用于根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
17.可选地，所述第二信息增强模块包括：第二样本添加子模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
18.可选地，所述装置还包括：第一相机确定模块，用于在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；第二相机确定模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；样本保留模块，用于若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
19.本发明还提供了一种基于图像信息增强的目标检测模型训练装置，所述装置包括：信息获取模块，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块，用于从目标样本集中选取备选目标样本；第一信息增强模块，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；第二信息增强模块，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
20.可选地，所述第一信息增强模块包括：第一样本添加子模块，用于根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
21.可选地，所述第二信息增强模块包括：第二样本添加子模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
22.可选地，所述装置还包括：第一相机确定模块，用于在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；第二相机确定模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；样本保留模块，用于若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
23.本发明实施例还公开了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的方法步骤。
24.本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本发明实施例中一个或多个所述的方法。
25.依据本发明实施例，通过获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息，从目标样本集中选取备选目标样本，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免模型参数量过大，同时，目标样本的数目分布更均衡，继而可以提升模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。
附图说明
26.图1示出了本发明的一个实施例提供的一种图像信息增强方法的步骤流程图；图2示出了目标检测模型的流程示意图；图3示出了本发明的一个实施例提供的一个基于图像信息增强的目标检测模型训练方法的步骤流程图；图4示出了深度估计级联的流程示意图；图5示出了本发明的一个实施例提供的一种图像信息增强装置实施例的结构框图；图6示出了本发明的另一个实施例提供的一种基于图像信息增强的目标检测模型训练方法装置实施例的结构框图；图7示出了根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
27.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
28.参照图1，示出了本发明实施例提供的一种图像信息增强方法的步骤流程图，具体可以包括如下步骤：步骤101，获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息。
29.在本发明实施例中，多个相机分别采集图像，得到图像信息。例如，车辆上的多个相机采集的图像信息。点云信息是指某个坐标系下的点的信息集合，点包含了丰富的信息，包括三维坐标x，y，z、颜色、分类值、强度值、时间等。例如，通过激光雷达获得的点云信息，本发明实施例对此不做限制。
30.在本发明实施例中，图像信息序列包括当前时刻图像信息和其他时刻图像信息。当前时刻图像信息可以有多个。其他时刻图像信息可以有多个。例如，如图2所示，当前时刻图像信息，其他时刻图像信息。
31.步骤102，从目标样本集中选取备选目标样本。
32.在本发明实施例中，目标可以是图像上的车辆、人员、动物、栏杆、电线杆等，或者其他任意适用的目标，本发明实施例对此不做限制。用于训练模型的目标，记为目标样本。目标样本标记数据包括目标的深度、目标的深度是指与目标之间的距离。目标样本标记数据还可以包括目标的分类、长宽高、速度、三维位置等，或者其他任意适用的数据，本发明实施例对此不做限制。
33.在本发明实施例中，目标样本标记数据在训练中可以作为目标检测结果的真值，点云信息在训练中可以用来确定深度图的真值。
34.在本发明实施例中，目标样本集是目标以及相关数据的集合。事先结合目标的点云信息和图像信息可以生成目标样本集。
35.例如，训练数据集包括但不限于不同时刻的图像信息、点云信息、坐标系相关信息、目标的三维标签。从整个训练数据集中，根据每个目标样本s的三维标签提取对应的点云信息与图像块。然后，将所有提取的目标样本的数据（三维标签，点云信息，图像
块）和对应的坐标系相关信息整理为数据库，即目标样本集。
36.其中，三维标签是指目标的三维信息标签，具体包括但不限目标的三维位置、长宽高、速度。坐标系相关信息包括但不限于目标样本所在时刻对应的相机参数、雷达（点云信息）参数和车辆位姿等。
37.在本发明实施例中，模型训练过程中，从目标样本集中随机抽取备选目标样本，根据其三维空间坐标信息进行样本筛选和贴图，以完成图像数据的增强。
38.例如，在训练过程中，从目标样本集中选取备选目标样本，得到备选目标样本集。具体可以采用随机采样的方式得到备选目标样本集，或者其他任意适用的方式，本发明实施例对此不做限制。
39.步骤103，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中。
40.在本发明实施例中，为了解决避免模型参数量过大以及目标样本在数据集中数目分布不均衡的问题，提升模型的泛化性能和检测精度，除了采用缩放、剪裁、旋转、翻转等常规的图像数据增强方法之外，本发明提出基于目标样本集的图像数据增强技术。
41.在本发明实施例中，本发明开发了三维样本数据增强算法，在数据预处理阶段，进行样本抽取、筛选与贴图处理，大幅增加了目标的多样性，从而提升了目标检测精度。
42.在本发明实施例中，根据当前时刻图像信息，将备选目标样本添加到当前时刻图像信息中，从而增加当前时刻图像信息中的目标样本的数量，得到的新的当前时刻图像信息，记为增强当前时刻图像信息。具体可以采用任意适用的添加方式，本发明实施例对此不做限制。
43.在本发明实施例中，由于当前时刻图像信息中增加了备选目标样本，当前时刻对应的点云信息中也应该添加备选目标样本对应的点云信息，从而使得点云信息与增强当前时刻图像信息能够对应。
44.在本发明的一种可选实施例中，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息的一种具体实现方式中，可以包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
45.坐标系相关信息是指描述车辆的位姿、车辆坐标系、相机坐标系、雷达（即点云信息）坐标系等相互转换关系的信息。
46.当前时刻图像信息中原本的目标样本也需要重新添加到当前时刻图像信息中。将备选目标样本和当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到当前时刻图像信息中，从而让近的目标遮挡远的目标。
47.例如，首先，根据当前时刻的相机内参、相机与雷达之间的外参关系，以及备选目标样本的雷达真值框，获取备选目标样本粘贴到当前时刻图像信息的相机索引、图像真值框，三维真值框。
48.其中，雷达真值框是根据备选目标样本的三维标签，雷达和车辆的位置关系，确定的备选目标样本在雷达（点云信息）坐标系的位置数据。相机索引是指根据备选目标样本的
三维标签，备选目标样本在多个相机的当前时刻图像信息中确定一个相机的当前时刻图像信息，以使备选目标样本相对于雷达坐标系的位置不同。相机索引用于表示该相机。图像真值框是备选目标样本在当前时刻图像信息中的类别、长宽高、位置等数据。三维真值框是备选目标样本在当前时刻图像信息中的三维标签数据。
49.然后，获取当前时刻图像信息中所有的目标样本对应的图像真值框、三维真值框、图像块以及点云信息。
50.再然后，将备选目标样本和当前时刻图像信息中所有的目标样本，按照三维真值框的中心点在每个相机下对应的深度值从远至近的顺序进行贴图，从而将备选目标样本和当前时刻图像信息中的目标样本，添加到当前时刻图像信息中。并将对应的点云信息进行粘贴。最终得到当前时刻的增强当前时刻图像信息，以及对应的点云信息。
51.步骤104，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
52.在本发明实施例中，不同时刻的坐标系相关信息包括不同时刻的车辆的位姿、车辆坐标系、相机坐标系、雷达（即点云信息）坐标系的相互转换关系的信息。
53.在本发明实施例中，备选目标样本添加到当前时刻图像信息中，那么其他时刻图像信息也应该添加备选目标样本，从而让不同时刻的图像信息具有连贯性。为此需要根据当前时刻的坐标系相关信息和其他时刻的坐标系相关信息，将备选目标样本添加到其他时刻图像信息中，得到的新的其他时刻图像信息，记为增强其他时刻图像信息，使得备选目标样本在其他时刻图像信息中的位置相对在当前时刻图像信息中的位置符合时序训练要求，也就是说，备选目标样本在当前时刻图像信息和其他时刻图像信息中的位置变化应该具备逻辑上的合理性。例如，备选目标样本在当前时刻图像信息的位置a，相对于在其他时刻图像信息的位置b，位置a和位置b之间的距离可以不变，或者可以距离增加m，或者可以距离减少n，m和n应该在合理范围内。
54.在本发明实施例中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中的具体实现方式可以包括多种，本发明实施例对此不做限制。
55.在本发明实施例中，由于其他时刻图像信息中增加了备选目标样本，其他时刻对应的点云信息中也应该添加备选目标样本对应的点云信息，从而使得点云信息与增强其他时刻图像信息能够对应。
56.在本发明的一种可选实施例中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息的一种具体实现方式中，可以包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
57.备选目标样本的三维标签包括速度信息，根据该速度信息，确定备选目标样本在当前时刻图像信息中的位置和在其他时刻图像信息中的位置之间的距离应该与该速度信
息相符合，也就是说，备选目标样本在当前时刻图像信息的位置确定后，按照速度信息和不同时刻相差的时间，确定备选目标样本在其他时刻图像信息的位置。
58.例如，首先，根据当前时刻和其他时刻的坐标系相关信息、备选目标样本的三维标签，获取备选目标样本粘贴到其他时刻图像信息的相机索引、图像真值框，三维真值框。然后获取其他时刻图像信息中所有的目标样本对应的图像真值框、三维真值框、图像块以及点云信息。最后将备选目标样本和其他时刻图像信息中所有的目标样本，按照三维真值框的中心点在每个相机下对应的深度值从远至近的顺序进行贴图，从而将备选目标样本和其他刻图像信息中的目标样本，添加到其他时刻图像信息中，使得备选目标样本在其他时刻图像信息中的位置相对在当前时刻图像信息中的位置符合时序训练要求。并将对应的点云信息进行粘贴。最终得到当前时刻的增强其他时刻图像信息，以及对应的点云信息。
59.其中，时序训练要求是为了保证不同时刻的图像信息的连贯性和准确性的要求。例如，目标样本在不同时刻中的图像信息中的位置应该与目标样本的速度相符合。
60.在本发明的一种可选实施例中，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，还可以包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
61.为了保证不同时刻的图像信息的连贯性和准确性，需要对备选目标样本进行筛选。根据当前时刻与其他时刻的雷达坐标系的rt（旋转平移）关系，以及备选目标样本j的速度，获取其他时刻中目标样本对应的三维真值（雷达坐标系下的三维标签数据）。将其他时刻的投影到对应的相机，如与当前时刻备选目标样本j对应的相机索引一致，则保留样本。
62.依据本发明实施例，通过获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息，从目标样本集中选取备选目标样本，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免模型参数量过大，同时，目标样本的数目分布更均衡，继而可以提升模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。
63.参照图3，示出了本发明的一个实施例提供的一种基于图像信息增强的目标检测
模型训练方法的步骤流程图，具体可以包括如下步骤：步骤201，获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息。
64.在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
65.步骤202，从目标样本集中选取备选目标样本。
66.在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
67.步骤203，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中。
68.在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
69.步骤204，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
70.在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
71.步骤205，采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。
72.在本发明实施例中，目标检测模型可以检测图像上目标的位置信息、长宽高、分类、速度等，或者其他任意适用的检测，本发明实施例对此不做限制。其中，位置信息可以是三维位置，也就是说，除了图像平面上的位置，还包括图像上的深度。
73.在本发明实施例中，为了使目标检测模型可以检测不同时刻的图像信息或目标图像中的目标，输出目标检测结果，需要分别采用针对图像信息标记的目标样本标记数据，训练目标检测模型。
74.例如，训练过程中使用的最终损失函数为其中分别为图像特征的深度估计损失，目标分类损失，目标位置、长宽高、速度估计损失。为各个损失对应的权重。
75.在本发明实施例中，采用时序数据训练目标检测模型。具体来说，采用增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及点云信息，训练目标检测模型。
76.在本发明的一种可选实施例中，目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块。
77.采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型的一种具体实现方式中，可以包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对
应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。
78.在本发明实施例中，图像特征提取模块是用于特征提取的模块，具体可以通过深度神经网络进行图像特征提取。图像特征提取的具体实现方式可以采用任意适用的实现方式，本发明实施例对此不做限制。
79.在本发明实施例中，将增强当前时刻图像信息输入图像特征提取模块进行特征提取，得到增强当前时刻图像信息对应的图像特征。将增强其他时刻图像输入图像特征提取模块进行特征提取，得到增强其他时刻图像信息对应的图像特征。
80.例如，如图2所示的目标检测模型的流程示意图。图像特征提取模块获取多个相机的图像序列，为t时刻的图像信息（6个），为t-1时刻的图像信息（6个），分别通过图像特征提取模块进行图像特征提取，获得对应的图像特征，其中代表相机数量，代表图像特征的尺度，代表图像特征的通道数。
81.在本发明实施例中，特征图深度估计模块是用于获得图像特征图对应的深度图的模块，具体可以通过多层神经网络提取深度图，特征图深度估计模块输出的深度图的真值由点云信息确定。具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
82.在本发明实施例中，将增强当前时刻图像信息对应的图像特征输出至特征图深度估计模块。另外，将增强其他时刻图像信息对应的图像特征输出至特征图深度估计模块。
83.例如，如图2所示，根据点云信息，生成图像空间中的真值深度图，然后利用生成的真值深度图，对特征图深度估计模块进行训练。通过图像特征，获得图像特征图对应的深度图，其中，d为将深度量化个数（即深度图中深度值范围的个数），即为将指定深度分为d个单元，在第i个单元上的值表示当前特征点的深度在第i个单元深度范围内的概率。
84.在本发明的一种可选实施例中，目标检测模型还包括图像特征增强模块。将所述图像特征输出至所述特征图深度估计模块的一种具体实现方式中，可以包括：将所述图像特征输入所述图像特征增强模块进行特征增强，得到增强后的图像特征；将所述增强后的图像特征输出至所述特征图深度估计模块。
85.图像特征增强模块是用于对图像特征进行增强的模块，例如，通过上采样，有效地学习大图像的特征，得到增强后的图像特征，具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
86.例如，图像特征增强模块为多层神经网络，进一步提升图像特征表达能力，得到增强后的图像特征。
87.在本发明实施例中，鸟瞰图（bev，bird’s eye view）特征是bev视图下的特征数据。bev视图是指点云在垂直于高度方向的平面上的投影。通常，在获得bev视图前，会将空间分割成体素，利用体素对点云进行下采样，然后将每个体素作为一个点进行投影。体素是指将三维空间按照固定尺寸长方体进行划分时的长方体。体素投影时可以得到bev视图的像素点坐标。每个像素点的特征取值则可以通过多种方式得到。
88.在本发明实施例中，图像特征映射模块是用于根据图像特征和深度图，通过坐标
系映射，生成鸟瞰图特征的模型，具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
89.在本发明实施例中，目标检测模块是用于根据鸟瞰图特征，检测不同时刻的图像信息或目标图像中的目标，输出目标检测结果的模型，具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
90.在本发明实施例中，将增强当前时刻图像信息对应的图像特征、增强其他时刻图像信息对应的图像特征和特征图深度估计模块输出的深度图输入图像特征映射模块，得到对应的鸟瞰图特征，并将鸟瞰图特征输出至目标检测模块。
91.例如，如图2所示，根据增强后的图像特征和估计的深度图，生成图像坐标系下的三维特征。具体地讲，中的每个点特征，即两个向量进行外积。根据相机内参、相机与自动驾驶车辆之间的旋转平移关系，将图像坐标系下的三维特征中每个点的特征转换到自动驾驶车辆坐标系下。转换到自动驾驶车辆坐标系下的特征点通过体素化，形成自动驾驶车辆坐标系下的三维特征表示，其中，落入同一个体素格内的特征点进行累加，没有特征点落入的体素格的特征设置为全0。最后，沿着高度维度，将所有高度上的体素格对应的特征进行累加操作，获得最终的鸟瞰图特征，其中，x、y代表鸟瞰图特征的前后和左右两个维度。
92.在本发明的一种可选实施例中，特征图深度估计模块包括第一层神经网络和第二层神经网络。在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至目标检测模块之前，还可以包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。
93.第一层神经网络是以图像特征作为输入，输出第一深度图的神经网络。第一层神经网络输出的第一深度图的真值由点云信息确定。具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
94.第二层神经网络是以第一深度图和第一层神经网络中的特征数据级联后得到的特征数据作为输入，输出第二深度图的神经网络。第二层神经网络输出的第二深度图的真值由点云信息确定。具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
95.级联过程中，本发明利用点云信息，对特征图深度估计模块进行监督训练，以提升图像特征向三维空间中的映射的准确度。
96.例如，如图4所示的深度图估计的流程示意图。为进一步提升深度估计的精确性，采用两层级联的深度估计网络,第一层神经网络估计的深度预测图1（记为第一深度图），与第一层神经网络输出的特征在特征通道进行级联，输入到第二层神经网络中，输出深度预测图2（记为第二深度图）作为后续模块使用的深度图。通过这种方式，以提升深度估计的准确性。
97.在本发明的一种可选实施例中，目标检测模型还包括特征解码模块。将所述鸟瞰
图特征输出至目标检测模块的一种具体实现方式中，可以包括：将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；将所述解码后的鸟瞰图特征输出至所述目标检测模块。
98.特征解码模块是用于对鸟瞰图特征进行解码，得到解码后的鸟瞰图特征的模块。例如，如图2所示，通过多层神经卷积网络对融合后的bev特征进行解码，得到最终的鸟瞰图特征输出。具体可以采用任意适用的实现方式，本发明实施例对此不做限制。
99.在本发明的一种可选实施例中，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度。所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至目标检测模块包括：针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。
100.单帧图像信息有限，影响三维目标的检测性能。本发明引入了时间信息进行时序融合后形成的四维空间，不仅大大提升了三维目标的速度的预测精度，还可以实现对暂时被遮挡的物体有更好的检测效果。
101.时序信息融合模块是用于将不同时刻的鸟瞰图特征进行融合的模块。针对每个时刻的图像信息，分别产生对应的鸟瞰图特征。再将各个时刻对应的鸟瞰图特征进行融合。
102.分别将图像特征、特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入图像特征映射模块，得到对应的鸟瞰图特征。例如，针对增强当前时刻图像信息，将对应的图像特征、特征图深度估计模块输出的深度图和坐标系相关信息输入图像特征映射模块，得到增强当前时刻图像信息对应的鸟瞰图特征。针对增强其他时刻图像信息，将对应的图像特征、特征图深度估计模块输出的深度图和坐标系相关信息输入图像特征映射模块，得到增强其他时刻图像信息对应的鸟瞰图特征。
103.然后，将各个时刻对应的鸟瞰图特征输入时序信息融合模块进行融合，得到融合鸟瞰图特征。
104.例如，如图2所示，将t时刻和t-1时刻的bev特征输入时序信息融合模块进行融合。融合后的鸟瞰图特征，记为融合鸟瞰图特征。将融合鸟瞰图特征输出至目标检测模块。
105.例如，如图2中的和，将各个时刻对应的鸟瞰图特征输入时序信息融合模块进行融合，得到融合鸟瞰图特征，从而进一步减少由于采集车辆自身运动对不同时刻的鸟瞰图特征对齐带来的影响。
106.另外，在训练过程中通过随机抽帧以增加时序信息的多样性。从多个相邻时刻的图像信息随机选取作为前一时刻图像信息与当前时刻图像信息进行匹配，大幅的增强时序信息的多样性。
107.在本发明实施例中，基于上述训练得到的目标检测模型，将多个相机采集的目标图像序列作为输入，由目标检测模型进行目标检测，从而得到目标检测结果。目标检测模型可以检测目标的深度，也可以检测目标的分类，长宽高，速度，三维位置等信息。
108.依据本发明实施例，通过获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息，从目标样本集中选取备选目标样本，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求，采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免目标检测模型参数量过大，同时，目标样本的数目分布更均衡，继而可以提升目标检测模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。
109.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
110.参照图5，示出了本发明另一实施例提供的一种图像信息增强装置实施例的结构框图，具体可以包括如下模块：信息获取模块301，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块302，用于从目标样本集中选取备选目标样本；第一信息增强模块303，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；第二信息增强模块304，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
111.可选地，所述第一信息增强模块包括：第一样本添加子模块，用于根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
112.可选地，所述第二信息增强模块包括：第二样本添加子模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备
选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
113.可选地，所述装置还包括：第一相机确定模块，用于在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；第二相机确定模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；样本保留模块，用于若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
114.依据本发明实施例，通过获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息，从目标样本集中选取备选目标样本，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免模型参数量过大，同时，目标样本的数目分布更均衡，继而可以提升模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。
115.参照图6，示出了本发明另一实施例提供的一种基于目标检测模型的目标检测装置实施例的结构框图，具体可以包括如下模块：信息获取模块401，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块402，用于从目标样本集中选取备选目标样本；第一样本添加模块403，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；第二样本添加模块404，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；模型训练模块405，用于采用所述增强当前时刻图像信息和增强其他时刻图像信
息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模块输出的目标检测结果包括目标的位置信息、长宽高和速度。
116.可选地，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述模型训练模块包括：特征提取子模块，用于将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；特征输出子模块，用于将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。
117.可选地，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，所述装置还包括：第一深度图生成子模块，用于在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；第二深度图生成子模块，用于将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。
118.可选地，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述特征输出子模块包括：信息输入单元，用于针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；特征输出单元，用于将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。
119.可选地，所述目标检测模型还包括特征解码模块，所述特征输出子模块包括：解码单元，用于将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；输出单元，用于将所述解码后的鸟瞰图特征输出至所述目标检测模块。
120.依据本发明实施例，通过获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息，从目标样本集中选取备选目标样本，根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中，根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求，采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以
及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免目标检测模型参数量过大，同时，目标样本的数目分布更均衡，继而可以提升目标检测模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。
121.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
122.图7是根据一示例性实施例示出的一种电子设备700的结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
123.参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出（i/ o）的接口712，传感器组件714，以及通信组件716。
124.处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
125.存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
126.电力组件704为电子设备700的各种组件提供电力。电力组件704可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
127.多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
128.音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风（mic），当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
129.i/ o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可
以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
130.传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
131.通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件714经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件714还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
132.在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（asic）、数字信号处理器（dsp）、数字信号处理设备（dspd）、可编程逻辑器件（pld）、现场可编程门阵列（fpga）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
133.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
134.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种图像信息增强方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。
135.可选地，所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照
深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。
136.可选地，所述根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。
137.可选地，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，所述方法还包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。
138.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种基于图像信息增强的目标检测模型训练方法，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。
139.可选地，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映
射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。
140.可选地，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，所述方法还包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。
141.可选地，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块包括：针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。
142.可选地，所述目标检测模型还包括特征解码模块，所述将所述鸟瞰图特征输出至所述目标检测模块包括：将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；将所述解码后的鸟瞰图特征输出至所述目标检测模块。
143.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
144.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
145.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
146.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方
框或多个方框中指定的功能。
147.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
148.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
149.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
150.以上对本发明所提供的一种目标检测模型训练方法、一种基于目标检测模型的目标检测方法、一种目标检测模型训练装置、一种基于目标检测模型的目标检测装置、一种电子设备、一种可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种图像信息增强方法，其特征在于，包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息包括：根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。3.根据权利要求1所述的方法，其特征在于，所述根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息包括：根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。4.根据权利要求1所述的方法，其特征在于，在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，所述方法还包括：根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。5.一种基于图像信息增强的目标检测模型训练方法，其特征在于，所述方法包括：获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；从目标样本集中选取备选目标样本；
根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模型输出的目标检测结果包括目标的位置信息、长宽高和速度。6.根据权利要求5所述的方法，其特征在于，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型包括：将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。7.根据权利要求6所述的方法，其特征在于，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，所述方法还包括：将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。8.根据权利要求6所述的方法，其特征在于，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块包括：针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。9.根据权利要求6所述的方法，其特征在于，所述目标检测模型还包括特征解码模块，所述将所述鸟瞰图特征输出至所述目标检测模块包括：将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；将所述解码后的鸟瞰图特征输出至所述目标检测模块。
10.一种图像信息增强装置，其特征在于，包括：信息获取模块，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块，用于从目标样本集中选取备选目标样本；第一信息增强模块，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；第二信息增强模块，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求。11.根据权利要求10所述的装置，其特征在于，所述第一信息增强模块包括：第一样本添加子模块，用于根据所述图像信息序列中的当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，将所述备选目标样本和所述当前时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述当前时刻图像信息中，得到增强当前时刻图像信息。12.根据权利要求10所述的装置，其特征在于，所述第二信息增强模块包括：第二样本添加子模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，将所述备选目标样本和所述其他时刻图像信息中的目标样本，按照深度从远至近的顺序，添加到所述其他时刻图像信息中，得到增强其他时刻图像信息；其中，所述三维标签包括速度信息。13.根据权利要求10所述的装置，其特征在于，所述装置还包括：第一相机确定模块，用于在所述根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中之前，根据所述当前时刻图像信息和所述备选目标样本的三维标签，以及坐标系相关信息，确定所述备选目标样本应添加到的所述当前时刻图像信息，以及采集所述当前时刻图像信息的相机；第二相机确定模块，用于根据当前时刻和其他时刻的坐标系相关信息、所述备选目标样本的三维标签，确定所述备选目标样本应添加到的所述其他时刻图像信息，以及采集所述其他时刻图像信息的相机；样本保留模块，用于若采集所述其他时刻图像信息的相机和采集当前时刻图像信息的相机为同一相机，则保留所述备选目标样本。14.一种基于图像信息增强的目标检测模型训练装置，其特征在于，所述装置包括：信息获取模块，用于获取多个相机采集的图像信息序列和对应的点云信息；其中，所述图像信息序列包括当前时刻图像信息和其他时刻图像信息；样本选取模块，用于从目标样本集中选取备选目标样本；第一样本添加模块，用于根据所述当前时刻图像信息，将所述备选目标样本添加到所述当前时刻图像信息中，得到增强当前时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述当前时刻对应的点云信息中；
第二样本添加模块，用于根据当前时刻和其他时刻的坐标系相关信息，将所述备选目标样本添加到所述其他时刻图像信息中，得到增强其他时刻图像信息，并将所述备选目标样本对应的点云信息添加到所述其他时刻对应的点云信息中，使得所述备选目标样本在所述其他时刻图像信息中的位置相对在所述当前时刻图像信息中的位置符合时序训练要求；模型训练模块，用于采用所述增强当前时刻图像信息和增强其他时刻图像信息，和目标样本标记数据以及所述点云信息，训练所述目标检测模型；其中，所述目标检测模块输出的目标检测结果包括目标的位置信息、长宽高和速度。15.根据权利要求14所述的装置，其特征在于，所述目标检测模型包括图像特征提取模块、特征图深度估计模块、图像特征映射模块和目标检测模块，所述模型训练模块包括：特征提取子模块，用于将所述增强当前时刻图像信息和增强其他时刻图像输入所述图像特征提取模块进行特征提取，得到对应的图像特征，并将所述图像特征输出至所述特征图深度估计模块；特征输出子模块，用于将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块。16.根据权利要求15所述的装置，其特征在于，所述特征图深度估计模块包括第一层神经网络和第二层神经网络，所述装置还包括：第一深度图生成子模块，用于在所述将所述图像特征和所述特征图深度估计模块输出的深度图输入所述图像特征映射模块，得到对应的鸟瞰图特征，并将所述鸟瞰图特征输出至所述目标检测模块之前，将所述图像特征输出至所述第一层神经网络，得到所述第一层神经网络输出的第一深度图；第二深度图生成子模块，用于将所述第一深度图和所述第一层神经网络输出的特征数据，在特征通道进行级联后，输入到所述第二层神经网络，得到所述第二层神经网络输出的第二深度图，作为所述特征图深度估计模块输出的深度图。17.根据权利要求15所述的装置，其特征在于，所述目标检测模型还包括时序信息融合模块，所述目标检测结果包括目标的速度；所述特征输出子模块包括：信息输入单元，用于针对每个时刻的图像信息，分别将所述图像特征、所述特征图深度估计模块输出的深度图和不同时刻的坐标系相关信息输入所述图像特征映射模块，得到对应的鸟瞰图特征；特征输出单元，用于将各个时刻对应的鸟瞰图特征输入所述时序信息融合模块进行融合，得到融合鸟瞰图特征，并将所述融合鸟瞰图特征输出至所述目标检测模块。18.根据权利要求15所述的装置，其特征在于，所述目标检测模型还包括特征解码模块，所述特征输出子模块包括：解码单元，用于将所述鸟瞰图特征输入所述特征解码模块进行解码，得到解码后的鸟瞰图特征；输出单元，用于将所述解码后的鸟瞰图特征输出至所述目标检测模块。19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。20.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-9中一个或多个所述的方法。

技术总结
本发明实施例提供了一种图像信息增强方法。方法包括：获取多个相机采集的图像信息序列和点云信息；从目标样本集中选取备选目标样本，将备选目标样本添加到当前时刻图像信息中，得到增强当前时刻图像信息，并将备选目标样本对应的点云信息添加，将备选目标样本添加到其他时刻图像信息中，得到增强其他时刻图像信息，并将备选目标样本对应的点云信息添加，使得备选目标样本在其他时刻图像信息和当前时刻图像信息中的位置符合时序训练要求，使得通过目标样本抽取、筛选与贴图处理，大幅增加了图像信息中目标样本的多样性，避免模型参数量过大，目标样本的数目分布更均衡，继而提升模型的泛化性能和检测精度，还能提升对较少目标样本类别的检测性能。标样本类别的检测性能。标样本类别的检测性能。


技术研发人员：赵云 龚湛 李军 朱红
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2023.06.13
技术公布日：2023/7/17