用于分类目标的方法和装置与流程

用于分类目标的方法和装置
1.本发明涉及根据独立权利要求的用于分类目标的方法以及装置。
现有技术
2.自现有技术已知用激光雷达传感器执行光学距离测量。这些测量基于所谓的飞行时间原理。在测量过程中，使用扫描传感器，所述扫描传感器周期性地发射脉冲。脉冲被目标反射，其中反射的脉冲被检测。通过确定脉冲自传感器至目标和再次返回的渡越时间，可借助于光速推断到这个目标的距离。目标可为对象，例如，人或事物，或环境条件，例如，雾。在现有技术中，目标始终在于可靠地检测对象。
3.现在为检测对象并估计距离，分级器通常用传感器数据加以训练。这带来了对对象的位置有依赖性的估计。已知信号处理链的缺点为各个处理步骤所需要的大量的计算工作。3d中的计算带来特殊的计算工作量，因为在此种情况下问题的复杂性自然较大。
4.为此，当前解决方案使用简化模型和过滤方法，以便滤出噪声且仅报告有效检测。然而，这产生脉冲由对象和例如雨或雾的环境条件两者反射的问题。因为来自现有技术的系统不适于区别有效对象的反射与对应的环境条件的反射，所以可能出现错误的检测，这随后可导致基于这些信息自主或半自主驾驶的车辆做出潜在的危险反应。
5.us 2019/324147 a1描述用于使用在车辆中的lidar系统。
6.

技术实现要素：
目标、解决方案、优点
7.因此，本发明的目标在于改进用于分类目标的方法和装置，以减少计算工作量并能对车辆的环境进行语义分割或目标检测。具体而言，目的在于辨别目标是否为对象或环境条件。
8.前面提到的目标通过用于分类目标的方法实现，所述方法包含通过神经网络或通过高斯混合模型(gmm)对自传感器的一个或若干接收元件的测量数据的特征提取。传感器的至少一个接收元件的相应测量数据为光子直方图的至少一个区段。神经网络为全连接神经网络(fcn)或卷积神经网络(cnn)。此外，以上步骤可针对传感器的所有接收元件进行。
9.具体而言，gmm的神经网络被设计为用于检测测量数据中的型样。型样将具体被理解为高程，即所谓的峰值。具体而言，神经网络或gmm能够分析峰值的形状。gmm或神经网络特别是用来模型化，并因此评估高程的对应分布。例如，神经网络或gmm可检测上升侧和/或下降侧和其梯度和/或其曲线，例如，以指数方式。峰值的宽度也将被检测。
10.具体而言，fcn包含至少一个全连接层。每个层含有多个仿真人工神经元。具体而言，fcn模型化非线性函数。fcn被设计为以直接在光子直方图的至少一个区段中，并且因此在传感器的原始数据中检测对应的非线性函数。换句话说，fcn试图基于输入值，具体而言光子直方图的值，检测非线性函数，所述光子直方图的值对应非线性函数的期望输出值。具体而言，fcn包含至少一个全连接层，尤其若干全连接层。具体而言，fcn包含至少五个，优选地至少十个，具体而言至少15个层。
11.具体而言，fcn包含至少一个卷积层。每个层含有多个仿真人工神经元。具体而言，cnn的每个层可被设计为卷积层。具体而言，卷积层执行卷积。具体而言，cnn包含至少两个，
优选地至少三个，具体而言至少5个卷积层。所有层次(优选地除最后层外)各自首先通过非线性函数，具体而言所谓的relu函数启动。relu函数在这里为修正线性单元。换句话说，其涉及在正x区域中线性地设计，但在负x区域中为0的函数，其中x代表神经元的输入值。最后层优选地没有激活函数，以便允许所有数字值作为最后步骤。
12.此外，cnn可包含一个或若干池化层。具体而言，池化层布置在每个卷积层之后。池化层用来减少传送至随后层的输出的尺寸。具体而言，池化层以执行“最大池化”的方式，换句话说，以始终仅取得多个输出值中的最大值并将所述最大值传送至随后层的方式设计。
13.另外，cnn可包含至少一个，具体而言两个全连接层。cnn可还包含至少一个脱离(dropout)层。具体而言，网络是以一个脱离层布置在两个全连接层之间的方式建立。
14.fcn和cnn容易实施。cnn的提取特征对于转换和旋转是不变的，使得可影响输入的，即光子直方图的输入的，轻微位移或转动并非破坏性的。
15.具体而言，gmm为由各种函数组成的函数。这些函数中的至少一个、若干或全部为高斯函数。gmm用来模型化，并且因此评估峰值的形状。换句话说，gmm确定直方图的分析描述。具体而言，gmm在没有监督的情况下被拟合。gmm可非常容易与任何类型的分类单元组合。
16.具体而言，一个或若干接收元件可为雪崩光电检测器，例如单光子雪崩二极管spad。
17.具体而言，光子直方图被设计为一维阵列。换句话说，光子直方图为记录在所谓的直方(bin)中的值，即数字。直方为先前限定的测量间隔的区段。具体而言，光子直方图的值为相应直方中的检测光子的数量。
18.具体而言，传感器为固态激光雷达传感器，其中方法包含通过传感器的对用于至少一个限定测量间隔的光渡越时间测量的执行，并且该方法包含基于光渡越时间测量的按测量间隔的光子直方图的生成。光渡越时间测量是基于飞行时间原理的。因此，传输单元的至少一个传输元件，优选地若干传输元件发射至少一个测量脉冲，其中传输单元的每个传输元件被指定给接收元件中的相应接收元件。此外，传输元件和接收元件对各自被指定给传感器的视野的一个扇形区。因此，视野可基于传输元件和接收元件被分类为不同的扇形区。飞行时间原理和先前描述的每个接收元件对于视野的一个扇形区的局部指定因而可被用来确定与脉冲被反射的目标的反射点的距离，和反射点的位置。
19.并不需要所有传输元件在测量间隔内已发射至少一个测量脉冲。例如，视野的感兴趣范围、感兴趣区域可被校核，对于所述感兴趣区域，传输单元的区域，即一组传输元件，发射至少一个传输脉冲，使得刚好一组接收元件接收对应的反射脉冲。测量间隔的限定具体通过所谓的帧率确定。因此，视野的至少一个区段在测量间隔内被照明。视野的至少一个区段的单个图像，即帧，因而可出现在一个测量间隔内。
20.具体而言，生成光子直方图包含时间相关的单个光子计数。具体而言，光子直方图是按每个测量间隔和按每个接收单元生成的。提供至神经网络或gmm的测量数据因而不包含在超过测量间隔的时间跨度上观察到的来自传感器的视野的反射的测量数据。
21.具体而言，一个接收元件的光子单独检测在如前定义的检测间隔内被累积，直到测量间隔期满。这具体针对每个接收元件进行的。飞行时间原理用来确定每个检测的光子到对应反射点的距离。测量间隔在这里优选地被分成长度相等的不同区段(直方)，所述不
同区段(直方)基于飞行时间原理向传感器呈现不同的距离范围。检测到的光子的确定的距离现在被记录在各个直方中。因此，相应直方的检测数目被指定给每个直方(即，基于对指定的距离范围内的反射点上的反射)。
22.光子直方图表示在测量间隔的时间内或在测量间隔覆盖的范围内的检测分布。分布的结构取决于检测目标的真实距离，取决于目标自身，例如，取决于目标的表面的反射率，并且取决于目标的角度。光子直方图表示相对于各个直方的检测的值。光子直方图是以上述方式，对每个接收至少一个测量脉冲的接收元件而获得。因为扇形区被指定给与视野有关的每个接收元件，所以具有用于视野的3d位置信息的直方图可利用在相应光子直方图中获得的距离信息加以确定。目标主要为对象或环境条件。
23.除传输单元之外，传感器还包含接收单元，所述接收单元包含接收元件。传输单元被配置周期性地或随机地发射脉冲，所述脉冲被传感器的视野中的目标反射。传输单元主要包含传输矩阵，并且接收单元尤其包含接收矩阵。传输元件和接收元件在这里可以以规则型样，特别是以均匀网格，规则地布置在对应的矩阵上。具体而言，接收矩阵被设计为spad阵列。spad为使用雪崩击穿效应的半导体二极管。spad具有非常高的灵敏度和高时间分辨率。在雪崩二极管中可以生成高电场强度的区域，其中传导带或价带中的自由载流子的数目通过碰撞电离倍增，并且向上电导率突增至超过击穿电压。这使得可能在一个小的测量体积中检测单个光子。
24.因此，光子直方图为传感器的原始数据。通过直接处理光子直方图可以得到更多信息。例如，特殊感兴趣范围(感兴趣区域)以及目标，特别是对象，可被检测，而所述特殊感兴趣区域以及目标在使用已知方法的情况下不能被检测，或只能用显著较高的工作量来检测。神经网络或gmm的应用可更有效地使用现有信息内容。这带来传感器的视野的更精确和全面的印象。
25.具体而言，传感器布置在车辆上，其方法被用来检测并分类位于车辆的环境中的目标。这带来车辆环境的更有利印象，从而减少计算工作量，以便能够对环境进行语义分割，特别是目标或对象检测。术语“语义分割”是被理解为视野可被分割成含有目标的区域。目标的点以及其距离并非仅基于与单个点有关的测量，而是考虑邻近点的测量而加以确定。
26.具体而言，有可能在传感器的asic上实现神经网络或gmm。以此，用于传感器的asic上的后续adas算法(adas：先进驾驶辅助系统)可以被分割和/或预处理。
27.具体而言，对于cnn，所述方法可涉及将直方图自一维阵列转换成2d图像。一维阵列在这里具体被转换为2d表示。换句话说，指定给对应直方的值并不是表示为数字值，而是描绘为对应其数字值的“柱”。这产生没有介于单独柱或直方之间的分离线的一类柱状图，所述柱状图表示为2d图像。
28.cnn能够处理呈2d图像形式的输入。换句话说，cnn模型化视觉特征，例如线、边缘、拐角等，并且在2d图像中辨别出这些视觉特征。cnn被设计以在第一层中提取简单特征，诸如任何方位的线，并且网络越深，提取的特征越复杂，例如l形特征、圆形特征、星形特征或高维特征。cnn的一个特殊优点在于其对于影响二维图像的轻微移位是不变的。此外，cnn还可以处理呈一维阵列形式的输入。
29.此外，cnn也可以合并相邻关系。因此语义分割是可能的。换句话说，cnn可被理解
为实施2d滤波器的滤波器组。这些滤波器被推过2d图像，并且因此进行卷积。cnn对整个2d图像操作，但是可考虑相邻关系。因此，cnn仅考虑邻近像素，且不使任何像素彼此连结。cnn的一个特殊优点在于它们可直接模型化几何特征。因为邻近接收元件之间存在相关关系，所以可以实现对目标，特别是对对象的鲁棒性更强的检测和分类。gmm也对峰值的整体操作，因为试图调整函数以适应整个峰值，使得相邻关系在这里也被考虑。
30.具体而言，所述方法包含用于神经网络或gmm的测量数据的提供，其中方法可优选地用来提供光子直方图的仅至少一个区段，其中距离精确地包含一个峰值。因此，所述方法可包含按测量间隔和按接收元件的光子直方图的至少一个区段的选择。至少一个区段在这里是以含有仅一个峰值的方式加以选择。具体而言，针对每个峰值提供区段。换句话说，光子直方图的信息被简化为表示峰值的区段，并且因而被简化到精华部分。作为替代地，整个光子直方图可被提供至神经网络或gmm。
31.如果只提供光子直方图具有峰值的区段，网络或gmm的复杂性可被减小，因为它们必须处理的信息较少。此外，换句话说，信息可根据先前不能通过经典信号处理提取的峰值来确定，因为经典信号处理必然伴有较高的计算工作量。
32.具体而言，神经网络或gmm的输出包含特征，特别是呈张量的形式，即，多维向量的形式的特征。此外与gmm有关的特征可被呈现为，例如高斯函数的，所对应的使用函数的特征，例如平均值或标准偏差。
33.具体而言，提取的特征描述光子直方图的性质，特别是特别地是其进展，主要地是光子直方图的平滑度。此外，提取的特征可描述光子直方图的峰值的平滑度和/或形状和/或高度和/或宽度。
34.具体而言，所述方法涉及基于提取的特征来识别目标，特别是对象。此外，目标的，特别是对象的，分类可基于先前提取的特征。具体而言，在对象的情况下，分类是指将一个被识别的物体指定到至少一个对象类，特别是正好一个对象类指定。用于对象类的实例特别是包括人类、脚踏车、摩托车、乘用车、卡车、树，或路标。具体而言，分类通过神经网络发生，其中神经网络可被设计为全连接神经网络(fcn)。此外，分类可通过简单的线性或非线性层发生。
35.方法可包含对环境条件的检测。特别是，主要在传感器的接收元件的对应视野中确定环境条件的语句，特别是天气条件的语句。
36.该语句可涉及环境条件的存在和/或环境条件的类型和/或环境条件的强度。
37.该语句可涉及环境条件基本上存在的事实。所述方法可区别高程，特别是区分高程是产生于实际对象上的反射，或是产生于环境条件，例如雾、雪，或雨上的反射。在这里是车辆的即时环境中的环境条件。
38.此外，语句可涉及哪个环境条件存在，例如，雨、雪，或雾。因此，所述方法可分类环境条件，即指出环境条件的类型。同样在这里，t是指将至少一个环境条件类，特别是恰好一个环境条件类指定给检测到的环境条件指定。类的实例包括雾、雪，和雨。
39.具体而言，环境条件的分类基于提取的特征发生。例如，特征可描述峰值的发展。提取的特征可与环境条件的先前存储的分布图，换句话说先前存储的特征进行比较，从而使得指定可能发生。
40.例如，直方图或峰值的平滑度可做为分类的一个相关特征。平滑度确定不均匀性，
换句话说噪声，在光子直方图或峰值的过程中存在的程度和范围，其中不均匀性显著地小于峰值。考虑到非常平滑的直方图或峰值，即，具有非常小的不均匀性时，主要可确定雾的存在，因为对应的直方图或峰值基于雾的高均一性是非常平滑的。通过与其比较，可追溯雨的直方图或峰值是更不均匀的，换句话说是噪声更多的，因为雨滴的大小不允许所使用的测量脉冲的光在空间规模上有任何的均一性。类似地，直方图或峰值的不均匀性在雪存在的情况下甚至是更大的。
41.因此，有可能估计高程是否基于例如雾、雪，或雨而发生，并且因而得到关于环境条件的语句。此外，可得到关于环境条件的强度的语句，例如，雾的密度或雨的强度。
42.将对象上的反射与环境条件上的反射区分开和/或分类环境条件是基于环境条件与对象以及环境条件之间的对比会导致峰值的特性形状的事实。环境条件的峰值优选地在光子直方图的开始时具有非常宽的峰值，并带有指数下降的侧面。这源于一个事实，即光子很早已被粒子，例如雨滴，反射了。
43.因此，评估峰值的形状就有可能对环境条件分类，并且因此得到关于环境条件的类型的语句。环境条件的强度也影响分布，因此也影响到峰值的形状。基于峰值的形状，因此可得到关于环境条件是否存在的语句，进一步优选地得到关于环境条件的类型和/或强度的语句。进一步优选地，一个距离可基于环境条件在光子直方图中的位置被指定给环境条件。
44.此外，基于噪声的峰值也可被分类。这些峰值也具有特性形状，并且因而可区别于对象和环境条件的峰值。例如，非常强的太阳辐射会导致整个直方图的噪声底。主要地，当区别对象和噪声时，对应的峰值的宽度和形状与特征相关。对象的峰值通常具有测量脉冲的宽度和形状，而噪声峰值发生在时间不变的日光下，因此仅能通过统计学上的变异发生。因此，噪声峰值的宽度大于对象峰值的宽度。
45.因此，所述方法尤其适合于检测光子直方图的所有峰值，并将峰值所依据的对应目标划分成对象和环境条件，并在每种情况下对这些目标进行分类。
46.具体而言，神经网络不是长短期记忆类型的网络。lstm比提议的神经网络或gvm更难训练。具体而言，它们观察传感器数据的时间段远超过测量间隔。这种情况的缺点在于，若环境条件作为“干扰”出现在所有瞬时快照中，则lstm不会识别它们，但就像对对象一样跟踪它们。因此，lstm不能提取额外信息，例如关于环境条件的语句。lstm因而不能区别目标是对象还是环境条件。因此，lstm对多帧中定期出现的干扰，诸如雾，鲁棒性弱。本发明可基于它们在直方图中的形状检测后者，并且因此可检测并分类重复性干扰，诸如在较长时间周期上出现的噪声或环境条件。
47.具体而言，神经网络被训练，或gmm被拟合。此外，所述方法可包含训练或拟合。
48.在训练期间数据被提供给神经网络。数据可已被手动地评估，换句话说，标记。其后，一个类已被指定给数据集。这表示“基本事实”。为确定数据，在真实驾驶情形中出现的光子直方图可被获取、收集，并且在手动分类步骤中被手动地分类，以便基于获取的光子直方图和手动获得的分类生成一组训练数据。在进一步的步骤中，神经网络可用训练数据集加以训练，以生成在对应的数据集上训练的神经网络。数据集在这里可以是对象，使得神经网络或gmm针对各种不同的对象类被训练。此外，数据集可还含有在对应的环境条件下，例如，取决于其类型和强度记录的数据，使得神经网络也针对于环境条件被训练。神经网络或
gmm可针对环境条件加以训练，例如用于检测雨和/或雨强度和/或用于检测雾和/或雾密度和/或用于检测雪和/或雪厚度。
49.因此，大量的训练数据在训练过程被提供给神经网络。手动执行的对应指定，即分类，被神经网络学习，然后可由神经网络在分类过程中使用。在神经网络中，特征提取和分类，即分类单元，是一起学习的，即，是在一个步骤中学习的。以上描述的标记数据优选地被提供至神经网络，其中提取的特征被传送至分类单元。神经网络的权重基于数据集的先前指定的类与生成的类之间的比较加以调整。训练过程主要包含损失函数。
50.在神经网络的学习过程中，主要地学习非线性函数。具体而言，当前数据的向前传送发生在第一步骤中，其中损失计算发生在第二步骤中。在第三步骤中，进行梯度计算和反向传送，因此对所使用的权重进行优化。
51.在gmm的情况下，gmm的函数被拟合，换句话说，它们的性质被调整。
52.具体而言，gmm用期望最大算法拟合。在第一步骤中，期望步骤发生，其中不存在的数据点被估计或推测。在第二步骤，即最大化步骤中，gmm的函数分布的变量被尽可能最好地拟合，使得它们对应分布，即，峰值的形状。拟合主要无监视地发生。拟合的函数然后被提供给分类单元，该单元可使用先前标记的训练数据进行训练。
53.因为人工神经网络(如生物神经网络一般)和gmm具有高型样识别能力，所以训练的人工神经网络甚至可以在不利环境条件下可靠地识别检测的对象。另外，神经网络可以自主地检测哪个环境条件盛行，并且传送这个结果。
54.此外，也可能指示用于一个或若干环境条件和/或用于一个或若干对象类的概率。例如，可以将一个对象指定给若干对象类，并对相应对象类的适用程度规定相应的指定概率。这也适用于环境条件。若干可能的环境条件，例如，雨、雪、雾，可在对应概率的情况下被指定给已知环境条件。例如，可输出：环境条件很可能涉及雨，其次很可能涉及雪。
55.此外，所述方法可确定关于对象的反射率和对象的角度的语句。这两个特征也自峰值的形状导出。训练时也可考虑这个信息。
56.具体而言，所述方法包含确定一个距离，并将距离指定给每个检测的目标，主要地指定给每个检测的对象和/或指定给每个检测的环境条件。例如，距离可被指定给高程，例如，所述高程是特定环境条件的结果。在一个实例中，在100米处有一个对象，例如车辆，而在50m处有雾。雾触发光子直方图中的对应的峰值，基于所述方法将所述对应的峰值与对象上的检测加以区分，并对其进行分类，并且指定一个距离。
57.具体而言，所述方法可使用于自主地或半自主地控制车辆。此外，所述方法可用于自主或半自主驾驶的驾驶员辅助框架内。此外，所述方法可用于交通监测的框架内。例如，对应的装置可以布置在道路警示柱上。
58.具体而言，提取和/或分类通过评估单元执行。评估单元主要包含神经网络或gmm。考虑到分类后的对象和/或环境条件，评估单元可将对应的控制信号传送至车辆的控制单元。此外，可考虑针对对象和/或环境条件确定的距离。例如，若特定的环境条件被检测到时，例如，高密度雾，则可自动地启动雾灯和/或；例如，若正在下雨的情况，可自动地降低驾驶速度，和/或可自动制动。
59.具体而言，控制单元包含若干模块，例如，用于制动系统的控制模块、用于动力传动系统的控制模块、用于车辆转向系统的控制模块和用于自主驾驶的控制模块。因此，制动
系统、动力传动系统和/或转向系统可基于来自评估单元的信息加以控制。
60.精确的环境检测对于自主驾驶领域中的应用尤其重要，其中本方法或装置可传递对应的可靠数据，所述对应的可靠数据可用于对应的控制信号的基础。
61.在另一方面，本发明包含用于分类目标的装置，其中装置包含具有若干接收元件的传感器和具有神经网络或gmm的评估单元，其中神经网络是fcn或cnn。神经网络或gmm被设计为自传感器的一个或若干接收元件的测量数据中提取特征，其中传感器的至少一个接收元件的测量数据为光子直方图的至少一个相应区段。
62.具体而言，装置被设计以实施以上描述的方法。具体而言，评估单元包含计算单元，例如，硬件加速器，所述计算单元基于神经网络或gmm执行以上描述的方法的步骤，特别是提取特征和/或分类目标，特别是分类对象和环境条件，和/或得到关于环境条件的语句。此外，评估单元可包含存储器和或输入接口/输出接口。
63.在另一方面，本发明涉及具有根据本发明的装置，并且优选地以上描述的控制单元的车辆。此外，车辆可包含用户接口，所述用户接口可含有电子显示器，例如，用以显示确定的关于环境条件的语句。
64.此外，本发明包含计算机程序产品，所述计算机程序产品包含计算机可读存储介质，程序存储在所述计算机可读存储介质中，一旦程序被加载至计算机的存储器中，所述程序允许计算机实施以上描述的方法，可能结合以上描述的装置实施所述方法。
65.另外，本发明涉及计算机可读存储介质，程序存储在所述计算机可读存储介质中，一旦所述程序被加载至计算机的存储器中，所述程序允许计算机实施以上描述的方法，可能结合以上描述的装置实施所述方法。
66.附图简述
67.在纯粹示意性的视图中示出：
68.图1为根据本发明的方法的过程图；
69.图2为根据本发明的装置；
70.图3为关于具有根据本发明的装置的车辆配置的方框图；
71.图4为作为一维阵列的光子直方图；并且
72.图5为作为2d图像的光子直方图。
73.本发明的优选实施方式
74.图1示出根据本发明分类目标的的方法100。
75.方法100优选地包含通过传感器11的光渡越时间测量的执行101。光子直方图40可以特别是基于光渡越时间测量生成102。出于这个目的，所述方法可包含时间相关的单个光子计数103。
76.所述方法可进一步包含用于神经网络14a，特别是cnn或fcn，或gmm 14b的测量数据的提供106。提供106可包含光子直方图40自一维阵列41至2d图像44的转换104。此外，光子直方图40可被提供106为一维阵列41。提供106可包含光子直方图40的区段的选择105。具体而言，所述区段包含峰值45。
77.方法包含通过神经网络14a或gmm 14b基于光子直方图40的特征提取107。此外，方法可包含基于先前提取的特征对目标的分类108。基于提取的特征，方法100可包含关于环境条件的语句的确定109。此外，所述方法可包含基于提取的特征对至每个检测目标的距离
的确定和指定110。
78.图2示出根据本发明的装置10，所述装置包含具有若干接收元件的传感器11。传感器11包含具有接收元件的接收单元3，以及具有传输元件的传输单元12。此外，装置10包含位于评估单元14上的神经网络14a或gmm 14b。神经网络14a或gmm 14b被设计以自传感器11的测量数据中提取特征，其中测量数据至少是光子直方图40的一个区段。评估单元14进一步包含分类单元14c，所述分类单元14c基于提取的特征，分类对象和环境条件。
79.图3示出关于根据本发明的具有装置10的车辆21的配置的方框图。换句话说，图3示出装置10到车辆21中的集成。
80.车辆21包含若干电子组件，所述电子组件通过车辆通信网络22彼此连接。例如，车辆通信网络22可为构建至车辆中的标准车辆通信网络，如can总线。
81.车辆10包含控制单元15，所述控制单元包含若干模块，特别是用于制动系统的控制模块16，用于动力传动系统的控制模块17，以及用于车辆21的转向系统的控制模块19和用于自主驾驶的控制模块18。
82.车辆包含装置10，特别是传感器和评估单元，所述装置10可执行环境分类，所述环境分类允许例如用于自主驾驶的控制单元在其关于控制车辆21做出决策期间考虑分类结果。评估单元14被设计以基于分类单元14c的结果将控制信号传送至控制单元15。
83.车辆10进一步包含无线电通信接口23，在这里特别是移动通信接口，所述无线电通信接口是基于lte/umts标准设计，并且所述无线电通信接口允许评估单元14与外部服务通信，其中外部服务如云服务，特别是导航服务，并且在这里特别是外部紧急呼叫中心。为此，例如，移动通信接口包含用户身份模块(sim)，车辆可通过所述用户身份模块向移动网络报告，以便使通过移动网络，特别是紧急呼叫中心的通信成为可能(除非移动网络已在没有sim认证的情况下允许与紧急电话号码的通信)。
84.另外，车辆10进一步包含用于获取车辆21的位置的卫星导航单元24。
85.车辆10进一步包含用户接口20，所述用户接口允许乘客与一个或若干车辆系统交互。这个用户接口20可包含用于以文本形式输出图形、符号和/或内容的电子显示器，和用于接收输入(例如手动输入、语音输入和通过姿势、头或眼移动的输入)的输入接口。例如，输入接口可包含键盘、交换机、触敏屏幕(触摸屏)、眼球跟踪器等。
86.图4示出示例性光子直方图40，所述示例性光子直方图是自接收元件获得，并且被设计为一维阵列41。其包含直方42，在这里以30个直方为例，其中在限定的测量间隔46内检测到的检测43被记录。距离测量范围可被指定给测量间隔46。例如，光子直方图是在十分之一秒的测量间隔46中确定的。距离测量范围被分成三十个直方(n＝1
…
30)，所述直方被记录在直方图中的x轴上，并且自1编号至30。每个直方对应预定距离范围。例如，假设距离测量范围覆盖0至90m的距离范围，并且直方等距地建立。在这个示例性情况下，每个直方对应3m的距离范围。
87.测量间隔46的检测数以数字形式记录在相应直方中。例如，对应于60m至63m的距离的直方21中发生了4个检测，，直方22中发生了6个检测，直方23中发生了17个检测，直方24中发生了30个检测，并且直方25中发生了6个检测。因此，直方21至25确定具有在箱24处的最大量的峰值45，其对应69m至72m的距离。此外，直方7中发生了20个检测，直方8中发生了21个检测，并且直方9中发生了24个检测。这确定了附加峰值45。神经网络14a或gmm 14b
被设计来检测峰值45并且评估它们的形状。
88.每直方检测数反映相应距离范围中的反射信号的强度。如在图4上的光子直方图中可以看出，第一目标位于接收元件的视野中，所述第一目标在直方21至25中具有检测结果，其中在直方24处有最大值的测量结果，故可推断出近似71m的检测目标的距离。峰值45示出对象的特性形状，从而可做出目标涉及对象的结论。此外，可基于直方7至9中的峰值45做出雾存在于接收元件的视野中的结论。换句话说，引起峰值的目标可被分类为雾。雾位于约21m至27m的距离处。这可由峰值45的形状来确定。因此，可能得到关于环境条件的语句。
89.图5同样示出图4上的光子直方图40，但以2d图像44的形式示出。代替如图4上呈数字形式的对应的检测，对应的直方的位置处的值被描绘为y方向上的柱。因此，是二维图像44。同样，可以看到两个峰值45。基于本方法，峰值的形状可用于确定在直方24中有最大值的后峰值是基于来自对象上的反射，而前峰值基于来自雾上的反射。因此，基于单独峰值的形状，检测的目标因也可被分类，即使它们涉及环境条件。
90.神经网络的实例
91.示例性地示出的是cnn网络的架构，所述cnn网络处理一维输入并且评估目标的距离：
92.·
卷积层1：
93.o输入形状：2016x1
94.o初始化：xavier
95.o核心大小：5x1
96.o步距：0
97.o填充：零填充
98.o特征绘制：2007x16
99.o激活：relu
100.·
最大池化
101.o核心大小：2x1
102.o步距：0
103.o输出形状：1003x16
104.·
卷积层2：
105.o输入形状：1003x16
106.o初始化：xavier
107.o核心大小：5x1
108.o步距：0
109.o填充：零填充
110.o特征绘制：999x32
111.o激活：relu
112.·
最大池化
113.o核心大小：2x1
114.o步距：0
115.o输出形状：499x32
116.·
卷积层3：
117.o初始化：xavier
118.o核心大小：5x1
119.o步距：0
120.o填充：零填充
121.o特征绘制：497x64
122.o激活：relu
123.·
最大池化
124.o核心大小：2x1
125.o步距：0
126.o输出形状：248x64
127.·
全连接层：
128.o输入形状：15872x1
129.o初始化：xavier
130.o大小：50
131.o激活：relu
132.·
脱离：
133.o脱离率：0.3
134.·
全连接层：
135.o输入形状：50x1
136.o大小：1
137.o激活：无
138.参考列表
139.100方法
140.101通过传感器的光渡越时间测量的执行
141.102基于光渡越时间测量的光子直方图的生成
142.103时间相关的单个光子计数
143.104光子直方图至2d图像的转换
144.105光子直方图的区段的选择
145.106用于神经网络或gmm的测量数据的提供
146.107通过神经网络或通过gmm的自传感器的一个或若干接收元件的测量数据的特征提取
147.108基于先前提取的特征的目标的分类
148.109关于环境条件的语句的确定
149.110至每个检测目标的距离的确定和指定
150.10装置
151.11传感器
152.12传输单元
153.13接收单元
154.14评估单元
155.14a神经网络
156.14bgmm
157.14c分类单元
158.15控制单元
159.16用于制动系统的控制模块
160.17用于动力传动系统的控制模块
161.18用于自主驾驶的控制模块
162.19用于转向系统的控制模块
163.20用户接口
164.21车辆
165.22车辆通信网络
166.23无线电通信接口
167.24卫星导航单元
168.40光子直方图
169.411d阵列
170.42直方
171.43检测
172.442d图像
173.45峰值
174.46测量间隔

技术特征：
1.一种用于分类目标的方法(100)，其特征在于所述方法(100)包含通过神经网络(14a)或通过高斯混合模型(gmm；14b)对自传感器(11)的一个或若干接收元件的测量数据的特征提取(107)，其中所述传感器(11)的所述至少一个接收元件的相应测量数据为光子直方图(40)的至少一个区段，并且其中所述神经网络(14a)为全连接神经网络(fcn)或卷积神经网络(cnn)。2.如权利要求1所述的方法(100)，其中所述光子直方图(40)被设计为一维阵列(41)。3.如权利要求1或2中的一项所述的方法(100)，其中所述传感器(11)为固态激光雷达传感器，其中所述方法(100)包含通过所述传感器(11)的对用于至少一个限定的测量间隔(46)的光渡越时间测量的执行(101)，其中所述方法(100)包含基于所述光渡越时间测量的按测量间隔(46)的光子直方图(40)的生成(102)。4.如前述权利要求中的一项所述的方法(100)，其中所述方法(100)包含对用于所述神经网络(14a)或所述高斯混合模型(gmm；14b)的所述测量数据的提供(106)，其中优选地，仅提供所述光子直方图(40)的至少一个区段，并且其中所述区段精确地包含一个峰值(45)。5.如权利要求2至4中的一项所述的方法(100)，其中所述方法(100)包含对所述光子直方图(40)自一维阵列(41)至2d图像(44)的转换(104)。6.如前述权利要求中的一项所述的方法(100)，其中所述方法(100)包含基于所述先前提取的特征的对所述目标的分类(108)。7.如权利要求6所述的方法(100)，其中所述分类(108)通过附加神经网络发生，其中所述神经网络被设计为全连接神经网络(fcn)。8.如前述权利要求中的一项所述的方法(100)，其中所述方法(100)包含对关于环境条件的语句的确定(109)。9.如权利要求8所述的方法(800)，其中所述语句为所述环境条件的存在和/或环境条件的类型和/或所述环境条件的强度。10.如前述权利要求中的一项所述的方法(100)，其中所述方法(100)包含对至每个检测到的目标，主要至每个检测到的对象和/或每个检测到的环境条件的距离的确定和指定(110)。11.一种用于分类目标的装置(10)，其特征在于所述装置(10)包含具有若干接收元件的传感器(11)和具有神经网络(14a)或高斯混合模型(gmm；14b)的评估单元，
其中所述神经网络(14a)为全连接神经网络(fcn)或卷积神经网络(cnn)，其中所述神经网络(14a)或所述高斯混合模型(14b)被设计为从所述传感器(11)的一个或若干接收元件的测量数据中提取特征，其中所述传感器(11)的所述至少一个接收元件的所述相应测量数据各自为光子直方图(40)的至少一个区段。12.一种计算机程序产品，包含计算机可读存储介质，程序存储在所述计算机可读存储介质上，一旦所述程序被加载至计算机的存储器中，所述程序允许所述计算机,可能结合根据权利要求11的装置(10),来实施根据权利要求1至10中的一项的方法(100)。13.一种计算机可读存储介质，程序存储在所述计算机可读存储介质上，一旦所述程序被加载至计算机的存储器中，所述程序允许所述计算机,可能结合根据权利要求11的装置(10),来实施根据权利要求1至10中的一项的方法(100)。

技术总结
本发明建议一种用于分类目标的方法(100)，所述方法包含通过神经网络(14a)或通过高斯混合模型(GMM；14b)对自传感器(11)的一个或若干接收元件的测量数据的特征提取(107)，其中所述传感器(11)的所述至少一个接收元件的所述相应测量数据为光子直方图(40)的至少一个区段，并且其中所述神经网络(14a)为全连接神经网络(FCN)或卷积神经网络(CNN)。接神经网络(FCN)或卷积神经网络(CNN)。接神经网络(FCN)或卷积神经网络(CNN)。


技术研发人员：J
受保护的技术使用者：爱贝欧汽车系统有限公司
技术研发日：2021.07.16
技术公布日：2023/8/1