物体跟踪装置以及物体跟踪方法与流程

物体跟踪装置以及物体跟踪方法
1.关联申请的相互参照
2.本技术要求日本国专利申请2020-180822号(2020年10月28日申请)的优先权，并将该申请的全部内容引入于此以用于参照。
技术领域
3.本发明涉及物体跟踪装置以及物体跟踪方法。


背景技术：

4.已知检测周围物体并跟踪检测到的物体来预测动作的技术。例如，专利文献1公开了一种装置，其对从获取车辆周边的影像的车载相机输出的影像信号进行处理并检测是否存在接近的车辆及行人，并向接近的车辆及行人附加四边形框的标记来进行显示。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开平11-321494号公报。


技术实现要素：

8.一实施方式的物体跟踪装置具有：
9.输入接口，获取传感器数据；
10.处理器，根据所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪；以及
11.输出接口，输出所述检测对象的检测结果，
12.所述处理器进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。
13.一实施方式的物体跟踪方法包括：
14.获取传感器数据；
15.根据所述传感器数据检测多个检测对象，使用卡尔曼滤波器分别对多个所述检测对象进行跟踪；以及
16.输出所述检测对象的检测结果，
17.进行所述跟踪包括进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。
18.一实施方式的物体跟踪装置具有：
19.输入接口，获取通过不同的传感方法得到的多个传感器数据；以及
20.处理器，进行用于根据多个所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪的数据处理，
21.所述处理器进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。
22.一实施方式的物体跟踪方法包括：
23.获取通过不同的传感方法得到的多个传感器数据；以及
24.进行用于根据多个所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪的数据处理，
25.进行所述跟踪包括进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。
附图说明
26.图1是表示包括一实施方式的物体跟踪装置的物体跟踪系统的概略结构的框图。
27.图2是表示搭载了图1的物体跟踪系统的车辆和检测对象的图。
28.图3是表示跟踪动态图像上的物体的像的处理的例子的流程图。
29.图4是表示动态图像上的物体的像的一例的图。
30.图5是说明实际空间的物体、动态图像中的物体的像以及虚拟空间中的质点的关系的图。
31.图6是表示虚拟空间中的质点的移动的一例的图。
32.图7是用于说明卡尔曼滤波器的动作模式的图。
33.图8是用于说明数据关联的图。
34.图9是用于说明代表卡尔曼滤波器的图。
35.图10是例示跟踪物体id管理的层结构的图。
36.图11是用于说明同一物体的判定的图。
37.图12是用于说明跟踪物体id的继承的图。
38.图13是用于说明融合的图。
39.图14是用于说明融合的重复应用的图。
具体实施方式
40.下面，参照附图来说明本发明的实施方式。在下面的说明中使用的图是示意性的。附图上的尺寸比率等未必与实际情况一致。
41.图1是表示物体跟踪系统1的概略结构的框图。本发明的一实施方式的物体跟踪装置20包括在物体跟踪系统1中。本实施方式中，物体跟踪系统1包括拍摄装置10、物体跟踪装置20以及显示器30。另外，物体跟踪系统1如图2例示那样搭载于作为移动体的一例的车辆100。
42.本实施方式的物体跟踪装置20从拍摄装置10获取动态图像作为传感器数据。即，本实施方式中，用于检测多个检测对象的传感器为拍摄装置10所具有的拍摄可见光的拍摄元件12。但是，物体跟踪系统1不限于图1所示的配置。只要是检测多个检测对象的装置，物体跟踪系统1就能够具有与拍摄装置10不同的装置。作为另一例，物体跟踪系统1可以具有根据照射的激光的反射波测定与检测对象的距离的测定装置来代替拍摄装置10。作为另一例，物体跟踪系统1可以具备具有毫米波传感器的检测装置来代替拍摄装置10。另外，作为另一例，物体跟踪系统1可以具备具有拍摄可见光区域以外的光的拍摄元件12的拍摄装置10。另外，物体跟踪系统1可以具有以可见光作为对象的拍摄装置10、根据照射的激光的反射波测定与检测对象的距离的测定装置、具有毫米波传感器的检测装置以及以可见光以外的光作为对象的拍摄装置10中的至少一个。
43.另外，本实施方式中，物体跟踪系统1搭载于移动体，将移动的移动体周围的物体40(参照图2)作为检测对象。但是，物体跟踪系统1不限于搭载于移动体的结构。作为另一例，物体跟踪系统1也可以在工场等设施中使用，并以作业人员、输送机械手以及制造物等作为检测对象。另外，作为另一例，物体跟踪系统1也可以在老人福利设施等中使用，并以室内的老人以及工作人员等作为检测对象。另外，物体跟踪系统1不仅为了行驶或行动的安全而进行物体的跟踪，还可以在例如农业以及工业现场为了提高作业效率、品质管理或提高生产率等而进行物体的跟踪。此处，在本发明中，作为物体跟踪装置20的检测对象的物体不仅包括移动体等物体，还包括人。
44.如图2所示，本实施方式中，实际空间的坐标中的x轴方向为设置有拍摄装置10的车辆100的宽度方向。y轴方向为车辆100的后退方向。x轴方向和y轴方向为与车辆100所在的路面平行的方向。z轴方向是与路面垂直的方向。z轴方向能够称为铅垂方向。x轴方向、y轴方向以及z轴方向相互正交。x轴方向、y轴方向以及z轴方向的获取方法并不限于此。x轴方向、y轴方向以及z轴方向能够相互替换。
45.拍摄装置10包括拍摄光学系统11、拍摄元件12以及处理器13。
46.拍摄装置10能够设置于车辆100的各个位置。拍摄装置10包括前置相机、左侧相机、右侧相机以及后部相机等，但并不限定于这些。前置相机、左侧相机、右侧相机以及后部相机分别以能够拍摄车辆100的前方、左侧方、右侧方以及后方的周边区域的方式设置于车辆100。在以下作为一例说明的实施方式中，如图2所示，拍摄装置10以使光轴方向朝向比水平方向更靠下方的方式安装于车辆100以能够拍摄车辆100的后方。
47.拍摄光学系统11可以包括一个以上的透镜。拍摄元件12可以包括ccd图像传感器(charge-coupled device image sensor)或cmos图像传感器(complementary mos imagesensor)。
48.拍摄元件12将通过拍摄光学系统11在拍摄元件12的拍摄面上成像的物体的像(被摄体像)转换为电信号。拍摄元件12能够以规定的帧率拍摄动态图像。帧为构成动态图像的各静止图像。将1秒钟内能够拍摄的图像的数量称为帧率。帧率例如可以为60fps(frames per second)，也可以为30fps。
49.处理器13控制拍摄装置10整体，并且对从拍摄元件12输出的动态图像执行各种图像处理。处理器13进行的图像处理能够包括畸变校正、亮度调整、对比度调整、γ校正等任意的处理。
50.处理器13能够由1个或多个处理器构成。处理器13例如包括被配置为通过执行存储在关联的存储器中的指示来执行1个以上的数据计算流程或处理的1个以上的电路或单元。处理器13包括1个以上的处理器、微处理器、微控制器、专用集成电路(asic：application specific integrated circuit)、数字信号处理装置(dsp：digital signal processor)、可编程逻辑器件(pld：programmable logic device)、现场可编程门阵列(fpga：field-programmable gate array)，或者这些器件或构成的任意的组合或其他已知的器件或构成的组合。
51.物体跟踪装置20包括输入接口21、存储部22、处理器23以及输出接口24。
52.输入接口21能够以在与拍摄装置10之间通过有线或无线的通信组件进行通信的方式构成。输入接口21从拍摄装置10获取动态图像作为传感器数据。输入接口21可以与拍
摄装置10发送的图像信号的传输方式对应。输入接口21也能够被称为输入部或获取部。拍摄装置10与输入接口21之间可以通过can(control area network，控制局域网)等车载通信网络连接。
53.存储部22为存储处理器23进行的处理所需要的数据和程序的存储装置。例如，存储部22临时存储从拍摄装置10获取的动态图像。例如，存储部22存储通过处理器23进行的处理而生成的数据。存储部22可以使用例如半导体存储器、磁存储器以及光存储器等中的任意一个以上而构成。半导体存储器可以包括易失性存储器以及非易失性存储器。磁存储器可以包括例如硬盘以及磁带等。光存储器可以包括例如cd(compact disc)、dvd(digital versatile disc)以及bd(blu-ray(注册商标)disc)等。
54.处理器23控制整个物体跟踪装置20。处理器23识别通过输入接口21获取的动态图像中包括的物体的像。处理器23将识别的物体的像的坐标映射变换为虚拟空间46(参照图6)的物体40的坐标，跟踪在虚拟空间46中表示物体40的质点45(参照图5)的位置以及速度。质点45是具有质量而不具有大小的点。虚拟空间46是在实际空间的x轴、y轴以及z轴的3个轴构成的坐标系中将z轴方向的值设为规定的固定值的二维空间。处理器23也可以将跟踪的质点45的虚拟空间46上的坐标映射变换为动态图像上的坐标。
55.另外，处理器23从动态图像中检测多个检测对象，分别使用卡尔曼滤波器对多个检测对象进行跟踪。在检测多个检测对象的情况下，如果在动态图像中它们的像重叠，则在现有技术中会出现跟踪错误或精度降低的情况。在本实施方式中，处理器23将1个以上的卡尔曼滤波器与多个检测对象分别建立对应关系，从而能够避免这种问题。另外，处理器23在各层(层级)中管理观测值、卡尔曼滤波器以及跟踪物体的固有识别信息(以下“跟踪物体id”)。处理器23针对跟踪物体判定是否为同一物体，并执行将观测值、卡尔曼滤波器以及跟踪物体id建立对应关系的处理。由此，能够进一步提高多个检测对象的跟踪的精度。处理器23进行处理的详细情况将在后面描述。处理器23与拍摄装置10的处理器13同样地可以包括多个处理器。另外，处理器23与处理器13同样地由多种器件组合而构成。
56.输出接口24配置为从物体跟踪装置20输出输出信号。输出接口24也能够称为输出部。输出接口24例如可以输出质点45的坐标等检测对象的检测结果。
57.输出接口24能够包括物理连接器以及无线通信设备。输出接口24例如可以与can等车辆100的网络连接。输出接口24能够通过can等通信网络与显示器30、车辆100的控制装置以及警报装置等连接。从输出接口24输出的信息可以在各显示器30、控制装置以及警报装置中适当地使用。
58.显示器30能够显示从物体跟踪装置20输出的动态图像。显示器30可以具有如下功能：当从物体跟踪装置20接受表示物体的像的位置的质点45的坐标，生成基于此的图像要素(例如，与接近的物体一起显示的警告)并使其在动态图像中重叠。显示器30能够采用各种类型的装置。例如，显示器30能够采用液晶显示器(lcd：liquid crystal display)、有机el(electro-luminescence)显示器、无机el显示器、等离子显示器(pdp：plasma display panel)、场致发射显示器(fed：field emission display)、电泳显示器、扭转球显示器等。
59.下面，参照图3的流程图说明物体跟踪装置20执行的物体跟踪方法的详细情况。物体跟踪装置20可以被配置为读取非临时性计算机可读介质中记录的程序并执行以下说明的处理器23进行的处理。非临时性计算机可读介质包括磁存储介质、光学存储介质、光磁存
储介质以及半导体存储介质，但并不限于这些。磁存储介质包括磁盘、硬盘以及磁带。光学存储介质包括cd、dvd以及bd等光盘。半导体存储介质包括rom(read only memory)、eeprom(electrically erasable programmable read-only memory)以及快闪存储器。
60.图3的流程图表示获取动态图像的连续的帧并由处理器23执行的处理。按照图3的流程图，物体跟踪装置20的处理器23在每次获取动态图像的帧时跟踪(追踪)物体的像42(参照图4)的位置。如图2所示，作为检测对象的物体40为多个，能够包括行人40a、汽车40b以及自行车40c。进一步，物体40不限于移动的物体以及人，能够包括道路上的障碍物等各种对象物。对以下的物体跟踪方法的说明中，使用在车辆100的后面设置的拍摄装置10的动态图像中包括的多个物体40中的1个(具体而言，行人40a)进行说明。通过相同的处理也分别对其他物体40(例如汽车40b以及自行车40c)进行跟踪。
61.处理器23通过输入接口21从拍摄装置10获取动态图像的各帧(步骤s101)。图4示出了动态图像的1帧的一例。在图4的例子中，在由uv坐标系构成的二维图像空间41中显示车辆100的后方的物体40的像(物体的像42)。u坐标为图像的横向坐标。v坐标为图像的纵向坐标。在4中，uv坐标的原点为图像空间41的左上端的点。另外，u坐标将从左向右的方向作为正方向。v坐标将从上到下的方向作为正方向。
62.处理器23通过图像识别从动态图像的各帧中识别物体的像42(步骤s102)。物体的像42的识别方法包括公知的各种方法。例如，物体的像42的识别方法包括基于车和人等物体的形状识别的方法、基于模板匹配的方法、从图像算出特征量并用于匹配的方法等。能够使用能学习输入输出的关系的函数近似器算出特征量。能学习输入输出的关系的函数近似器例如能够使用神经网络。
63.处理器23将图像空间41的物体的像42的坐标(u，v)映射变换为虚拟空间46(参照图6)的物体的坐标(x
′
，y
′
)(步骤s103)。通常，作为二维坐标的图像空间41的坐标(u，v)不能转换为实际空间的坐标(x，y，z)。但是，通过特定实际空间中的高度，并将z坐标固定为规定值，从而能够将图像空间41的坐标(u，v)映射为与实际空间的坐标(x，y，z0)(z0为固定值)对应的二维虚拟空间46的坐标(x
′
，y
′
)。此处，在本实施方式中，将虚拟空间46设为二维，但根据输入信息(传感器的种类)也能够设为三维。
64.如图4所示，特定了位于物体的像42的最下部的中央的代表点43。例如，代表点43能够设为在图像空间41中物体的像42所占的区域的v坐标的最下方的位置且u坐标的范围的中心位置。假设该代表点43为与物体的像42对应的物体40的路面或地面接触的位置。
65.在图5中，示出了位于三维实际空间的物体40与二维图像空间41上的物体的像42的关系。当拍摄装置10的内部参数已知时，根据图像空间41的坐标(u，v)算出从拍摄装置10的拍摄光学系统11的中心朝向实际空间的对应的坐标(x，y，z)的方向。拍摄装置10的内部参数包括拍摄光学系统11的焦点距离、畸变以及拍摄元件12的像素尺寸等信息。在实际空间中，将朝向与图像空间41的代表点43对应的方向的直线与z＝0的基准面44交叉的点设为物体40的质点45。基准面44相当于车辆100所在的路面或地面。质点45具有三维坐标(x，y，0)。因此，将z＝0的二维空间设为虚拟空间46时，质点45的坐标能够用(x
′
，y
′
)表示。虚拟空间46上的质点45的坐标(x
′
，y
′
)相当于在实际空间中从沿着z轴的方向观察物体40时的xy平面(z＝0)中的物体40的特定的点的坐标(x，y)。特定的点为与质点45对应的点。
66.如图6所示，处理器23在虚拟空间46上跟踪从物体的像42的代表点43映射变换为
虚拟空间46的质点45的位置(x
′
，y
′
)以及速度(v x
′
，v y
′
)(步骤s104)。通过质点45具有位置(x
′
，y
′
)以及速度(v x
′
，v y
′
)的信息，处理器23能够预测连续的帧中的质点45的位置(x
′
，y
′
)的范围。处理器23能够将下一帧中位于预测的范围的质点45识别为与跟踪的物体的像42对应的质点45。处理器23在每次接受新的帧的输入时依次更新质点45的位置(x
′
，y
′
)以及速度(v x
′
，v y
′
)。
67.质点45的跟踪例如能够采用使用基于状态空间模型的卡尔曼滤波器的推定。通过进行使用卡尔曼滤波器的预测/推定，提高了对作为检测对象的物体40的无法检测以及误检测等的鲁棒性。通常，对于图像空间41的物体的像42，难以用描述运动的适当的模型进行描述。因此，难以对图像空间41的物体的像42简单地进行高精度的位置推定。对于本发明的物体跟踪装置20，通过将物体的像42映射变换为实际空间的质点45，能够应用描述实际空间中的运动的模型，因此，物体的像42的跟踪精度提高。另外，通过将物体40作为不具有大小的质点45进行处理，能够简单且简易地跟踪。
68.处理器23在每次推定质点45的新位置时，为了显示推定位置，可以将质点45的虚拟空间46上的坐标映射变换为图像空间41上的坐标(u，v)(步骤s105)。位于虚拟空间46的坐标(x
′
，y
′
)的质点45能够作为位于实际空间的坐标(x，y，0)的点映射变换到图像空间41中。实际空间的坐标(x，y，0)能够通过公知的方法映射为拍摄装置10的图像空间41上的坐标(u，v)。处理器23能够将图像空间41上的坐标(u，v)、虚拟空间46的坐标(x
′
，y
′
)和实际空间的坐标(x，y，0)相互转换。
69.在本实施方式中，处理器23从动态图像中检测多个检测对象并分别进行跟踪。例如在像图2那样的情况中，处理器23分别对行人40a、汽车40b以及自行车40c进行跟踪。处理器23使用虚拟空间46跟踪分别表示多个检测对象的质点45的位置以及速度。处理器23需要分别为多个物体40准备卡尔曼滤波器，以执行图3所示的物体跟踪方法。本实施方式中，当处理器23识别到动态图像中新的物体的像42时，新生成卡尔曼滤波器，满足启动条件时执行跟踪。由此，分别为作为检测对象的多个物体40准备1个以上的卡尔曼滤波器。但是，如果对瞬态新物体40(例如，在规定时间后将不再包含在动态图像中的迎面而来的车等)继续生成卡尔曼滤波器，则卡尔曼滤波器的数量超出必要限度地增加，计算量增多，有可能产生物体跟踪的处理延迟。在本实施方式中，处理器23在满足终止条件的情况下将卡尔曼滤波器初始化，从而不会产生处理的延迟。
70.图7是用于说明卡尔曼滤波器的动作模式的图。处理器23针对检测对象的初始状态、跟踪准备状态、跟踪状态的不同状态对卡尔曼滤波器进行控制。
71.检测对象的初始状态是由处理器23识别动态图像中作为检测对象的新的物体的像42的状态。此时，与检测对象建立对应关系的卡尔曼滤波器的动作模式为“模式0”。模式0的卡尔曼滤波器也可以不具有初始值(位置和速度的信息)。在与检测对象建立对应关系的卡尔曼滤波器为模式0的情况下，处理器23不进行检测对象的位置的跟踪即下一帧中的质点45的位置(x
′
，y
′
)的范围的预测。
72.跟踪准备状态是在前一帧中新识别到的物体的像42在当前帧中也被识别的状态。此时，与检测对象建立对应关系的卡尔曼滤波器的动作模式为“模式1”。模式1的卡尔曼滤波器获取检测对象的质点45的位置(x
′
，y
′
)，但由于没有前一帧中的检测对象的位置的信息，因此不获取速度(v x
′
，v y
′
)的信息。即，模式1的卡尔曼滤波器仅具有一部分必要的初
始值(位置以及速度的信息)。在与检测对象建立对应关系的卡尔曼滤波器为模式1的情况下，处理器23不进行检测对象的位置的跟踪。
73.当卡尔曼滤波器为模式1时，进行确认物体的像42不是误检测等的处理。如图7所示，在满足第一终止条件的情况下，即，在判定其为误检测或者物体的像42消失的情况下，卡尔曼滤波器的动作模式被初始化并返回至模式0。由此，能够避免因零散的误检测而开始跟踪。
74.另外，如图7所示，当满足启动条件时，即，在卡尔曼滤波器为模式1且在2帧之前的帧中新识别到的物体的像42在当前帧中也被识别的情况下，卡尔曼滤波器的动作模式为模式2。
75.跟踪状态是在满足上述启动条件之后不满足第二终止条件的状态。第二终止条件是直至当前帧为止在连续且规定数量的帧中物体的像42消失。此时，与检测对象建立对应关系的卡尔曼滤波器的动作模式为“模式2”。模式2的卡尔曼滤波器具有必要的初始值(位置以及速度的信息)，并能够立即用于跟踪的控制。在与检测对象建立对应关系的卡尔曼滤波器为模式2的情况下，处理器23进行检测对象的位置的跟踪。
76.如图7所示，在与检测对象建立对应关系的卡尔曼滤波器为模式2且满足第二终止条件的情况下，卡尔曼滤波器的动作模式被初始化并返回至模式0。
77.如上所述，处理器23在连续检测同一检测对象的情况下，将卡尔曼滤波器设为跟踪状态(模式2)。此处，在本实施方式中连续检测的数量为2，但也可以为3以上。在连续检测的数量为3以上的情况下，例如模式1的状态(跟踪准备状态)可以长时间持续。
78.另外，处理器23在不能以规定数量连续检测同一检测对象的情况下，停止使用卡尔曼滤波器的跟踪。此处，在本实施方式中，规定数量为5，但不限于此。在使用卡尔曼滤波器的物体的跟踪中，即使没有从动态图像中获取的检测对象的位置的信息，也能够继续预测检测对象的位置的范围。但是，预测的位置的范围的误差会随着不能获取这种信息的帧的数量的增加而增大。根据该误差的大小，可以确定上述规定数量。
79.处理器23能够通过对卡尔曼滤波器设定上述那样的动作模式，并动态地变更设定，从而能够针对不同状态对多个卡尔曼滤波器进行系统控制。
80.图8是用于说明数据关联的图。数据关联是多个观测值与多个卡尔曼滤波器的对应关系。此处，观测值是检测对象的位置。处理器23对多个观测值以及多个卡尔曼滤波器赋予标识以进行区分。在本实施方式中，处理器23例如使用序列号将多个观测值分别设为观测值(1)、观测值(2)、观测值(3)
……
。另外，处理器23例如使用符号和序列号将多个卡尔曼滤波器分别设为kf(1)、kf(2)、kf(3)
……
。
81.在本实施方式中，处理器23对m个观测值和n个卡尔曼滤波器的数据进行关联。m为2以上的整数。n为m以上的整数。在图8的例子中，处理器23对3个观测值和5个卡尔曼滤波器进行数据关联。观测值(1)为在动态图像的帧(k)中检测的行人40a的位置。观测值(2)为在动态图像的帧(k)中检测的汽车40b的位置。观测值(3)为在动态图像的帧(k)中检测的自行车40c的位置。另外，帧(k-1)为动态图像中的帧(k)的前一帧。帧(k-2)为动态图像中的帧(k)的2帧之前的帧。当前帧为帧(k)。
82.此处，kf(2)在直至帧(k-1)时为止用于行人40a的跟踪，因满足第二终止条件而被初始化。即，kf(2)的动作模式为模式0，不用于检测对象的位置的跟踪。另外，kf(5)是因在
帧(k-2)中识别了新的自行车40c而新准备的卡尔曼滤波器。kf(5)在帧(k-1)时为模式1，但因满足启动条件而成为模式2。其他卡尔曼滤波器是从帧(k-2)时开始作为模式2分别继续进行检测对象的跟踪。
83.在图8的例子中，处理器23将kf(1)与观测值(1)建立对应关系。处理器23将kf(3)和kf(4)与观测值(2)建立对应关系。另外，处理器23将kf(5)与观测值(3)建立对应关系。像观测值(2)的例子那样，处理器23容许多个检测对象的跟踪过程中的检测结果的重复。即，处理器23使用kf(3)以及kf(4)进行观测值(2)即汽车40b的位置的范围的预测。如上所述，能够通过在数据关联中容许重复来进行局部优化。例如，在不容许重叠的情况下，将多个观测值与多个卡尔曼滤波器一一对应的方法(作为一例，匈牙利法)有可能因整体优化而导致一个错误关联的连锁反应。在本实施方式中，由于容许重复，不会产生错误关联的连锁反应这样的问题。另外，在跟踪过程中，将1个以上的卡尔曼滤波器与1个观测值建立对应关系，无论哪个观测值都难以产生追踪的失败，因此能够提高鲁棒性。
84.作为将多个卡尔曼滤波器与1个观测值建立对应关系的情况，例如，考虑1个物体因光的反射的影响等被识别为2个物体，且将新的卡尔曼滤波器与另一个建立对应关系的情况。如上所述，使用建立了对应关系的多个卡尔曼滤波器，并行地执行对检测对象的跟踪的控制。但是，例如在利用检测对象的预测位置来防止车辆100的碰撞的情况下，有时优选从输出接口24输出置信度最高的一个检测结果。处理器23可以根据卡尔曼滤波器的误差椭圆确定表示置信度最高的检测结果的卡尔曼滤波器(以下，“代表卡尔曼滤波器”)。
85.图9是用于说明代表卡尔曼滤波器的图。在图9的例子中，将3个卡尔曼滤波器、即kf(p)、kf(q)以及kf(r)与1个观测值建立对应关系。处理器23分别对3个卡尔曼滤波器计算误差椭圆。误差椭圆表示基于位置的概率密度分布的推定范围，并表示以规定的概率(作为一例，99％)位于椭圆的内部。误差椭圆使用x
′
方向的标准偏差以及y
′
方向的标准偏差等计算。处理器23将具有最小的误差椭圆的卡尔曼滤波器确定为代表卡尔曼滤波器。在图9的例子中，kf(r)为代表卡尔曼滤波器。
86.如上所述，在检测到的多个检测对象被视为同一物体的情况下，处理器23能够以基于多个检测对象的位置的概率密度分布的推定范围中具有最小的推定范围的检测对象来代表物体。因此，物体跟踪装置20也适用于车辆100的碰撞防止等驾驶辅助。
87.此处，如上所述能够将多个卡尔曼滤波器与1个观测值建立对应关系，但也可以存在将多个观测值与作为检测对象的1个物体建立对应关系。例如，在检测对象为汽车40b且因车道变更等而从动态图像中暂时消失后再次出现在动态图像中等情况下，能够作为另一物体将新的观测值建立对应关系。优选物体跟踪装置20识别各跟踪物体来掌握与观测值的对应关系以进行准确的物体的跟踪。本实施方式中，处理器23像以下说明那样执行层级管理，进行多个卡尔曼滤波器的成组化来确定是否与同一物体对应。
88.图10是表示本实施方式中的跟踪物体id管理的层结构的图。如图10所示，处理器23在各层中管理观测值、卡尔曼滤波器以及跟踪物体id。另外，处理器23通过将观测值、卡尔曼滤波器以及跟踪物体id建立对应关系，能够进行准确的物体的跟踪。此处，跟踪物体id如上所述地为跟踪物体的固有识别信息。如果与多个观测值或多个卡尔曼滤波器建立对应关系的跟踪物体id相同，则这些观测值或卡尔曼滤波器与同一物体的跟踪相关。
89.如上所述，处理器23针对新的观测值生成卡尔曼滤波器，将1个以上的卡尔曼滤波
器与1个观测值建立对应关系。处理器23还将卡尔曼滤波器与跟踪物体id建立对应关系。图11是用于说明同一物体的判定的图。处理器23例如通过dbscan(density-based spatial clustering of applications with noise，具有噪声的空间应用密度聚类)等的聚类进行多个卡尔曼滤波器的成组化。处理器23在多个卡尔曼滤波器的误差椭圆的中心包括在规定范围内的情况下，判定这些卡尔曼滤波器属于1个组。在图11的例子中，规定范围用圆表示。另外，kf(p)、kf(q)以及kf(r)为1个组。此处，规定范围可以根据跟踪物体的大小而变化。例如，如果跟踪物体为汽车40b，则规定范围可以设定为比跟踪物体为行人40a的情况更大。另外，规定范围可以是固定的，而不依赖于跟踪物体的种类。聚类的方法并不限定于dbscan。例如也可以通过k-means法等其他方法执行聚类。
90.处理器23在获取动态图像的帧时执行多个卡尔曼滤波器的成组化。而且，处理器23更新观测值、卡尔曼滤波器以及跟踪物体id的对应关系。在图10的例子中，处理器23将kf(1)、kf(2)以及kf(3)成组化，对使用这些卡尔曼滤波器跟踪的物体分配作为标识的“跟踪物体id(1)”，进行该物体的跟踪控制。另外，处理器23将kf(4)以及kf(5)成组化，对使用这些卡尔曼滤波器跟踪的物体分配作为标识的“跟踪物体id(2)”，进行该物体的跟踪控制。
91.此处，kf(1)和kf(2)与观测值(1)建立对应关系，kf(3)与观测值(2)建立对应关系。处理器23通过成组化能够分别将作为另一物体的位置的观测值(1)和观测值(2)识别为以跟踪物体id(1)作为标识的同一物体的位置。处理器23在将与判定为相同的物体对应的卡尔曼滤波器进行关联且将与这些卡尔曼滤波器对应的检测对象的检测结果也进行关联的层级结构中控制跟踪，从而能够进行无错误的高精度的跟踪。处理器23对使用例如建立关联的多个卡尔曼滤波器的检测结果进行比较或选择，能够获得置信度高的检测结果。另外，处理器23在例如观测值(2)丢失或kf(3)被初始化的情况下也使用观测值(1)、kf(1)以及kf(2)继续进行以跟踪物体id(1)作为标识的物体的跟踪。即，能够提高鲁棒性。
92.此处，处理器23与上述同样地(参照图9)可以针对属于同一组的多个卡尔曼滤波器将具有最小的误差椭圆的卡尔曼滤波器确定为代表卡尔曼滤波器。即，处理器23可以将成组化的与同一物体对应的卡尔曼滤波器中的基于多个检测对象的位置的概率密度分布的推定范围最小的卡尔曼滤波器作为组的代表。
93.图12是用于说明跟踪物体id的继承的图。如上所述，处理器23在获取动态图像的帧时执行多个卡尔曼滤波器的成组化。处理器23在组的构成发生变化的情况下根据相似度适当地继承跟踪物体id。
94.在图12的例子中，处理器23在获取帧(k-1)时，将kf(1)、kf(2)以及kf(3)成组化，与跟踪物体id(1)建立对应关系。接着，获取帧(k)时，处理器23同样地执行成组化，kf(1)以及kf(2)被成组化至集合(1)中，kf(4)以及kf(5)被成组化至另一集合(2)中。此处，kf(3)满足终止条件，被排除在成组化对象之外。
95.处理器23针对集合(1)和集合(2)判定与获取帧(k-1)时的集合的相似度。相似度的判定例如通过计算simpson系数来执行，但并不限于该判定方法。作为另一例，也可以使用jaccard系数或dice系数等。simpson系数越大，2个集合越相似。在图12的例子中，由于包括kf(1)以及kf(2)的集合(1)具有更高的相似度，因此，集合(1)与跟踪物体id(1)建立对应关系。即，集合(1)继承跟踪物体id(1)。另一跟踪物体id(2)与集合(2)建立对应关系。
96.此处，例如获取帧(k+1)时，kf(2)被划分为集合(2)，而不是集合(1)。此时，仅包括
kf(1)的集合(1)与获取帧(k)时的集合(1)的相似度更高，因此，直接继承跟踪物体id(1)。
97.如上所述，处理器23通过不同时刻的组的相似度来管理标识。通过该管理，能够适当地继续对同一物体的跟踪的控制。
98.如上所述，通过上述构成，本实施方式的物体跟踪装置20进行多个卡尔曼滤波器的成组化并判定是否与同一物体对应。因此，物体跟踪装置20能够高精度地跟踪多个物体，而不会将同一物体误认为另一个物体。
99.根据各附图和实施例对本发明的实施方式进行了说明，但是应当注意本领域技术人员基于本发明进行各种变形或修改是容易的。因此，应当注意这些变形或修改包括在本发明的范围内。例如，各构成部或各步骤等中包括的功能等能够以在逻辑上不矛盾的方式重新配置，能够将多个构成部或步骤等组合或分割成一个。对于本发明的实施方式，以装置为中心进行了说明，但本发明的实施方式也可以作为包括装置的各构成部执行的步骤的方法来实现。本发明的实施方式也可以作为由装置具有的处理器执行的方法、程序或记录了程序的存储介质来实现。应当理解，这些也包括在本发明的范围内。
100.在上述实施方式中，作为检测对象的位置的观测值直接使用来自拍摄装置10的传感器数据的检测结果即检测对象的位置。此处，物体跟踪系统1除了拍摄装置10以外，也可以是通过毫米波传感器、激光的反射波的检测装置等并行地进行检测的结构。在这种结构的情况下，通过将判定为同一检测对象的观测值彼此关联，物体跟踪系统1能够更高精度地跟踪多个物体。以下，“融合”是指，根据使用不同物理传感方法得到的多个观测值来判定为同一物体，并考虑到各自的误差而将这些观测值进行关联。换言之，融合是容许使用不同的传感方法的将多个观测值与1个检测对象重复地建立关联的处理。由于通过融合生成的新的观测值基于多个传感器数据的检测结果，因此，能够提高检测对象的位置的精度。另外，由于处理器23不会丢弃未融合的观测值，因此，其互补性得到保持。与融合相关的处理也可以作为直接的物体跟踪的事先的数据处理(前处理)来执行。
101.处理器23通过融合更新观测值时，直接应用容许重复的上述数据关联的算法。处理器23以待进行融合的一个观测值的误差椭圆作为上限范围，选择马氏距离最小的一个观测值作为待进行融合的另一个观测值。图13是用于说明融合的图。在图13的例子中，观测值列表a例如是作为拍摄装置10的传感器数据的检测结果而得到的观测值。另外，观测值列表b例如是作为毫米波传感器的传感器数据的检测结果而得到的观测值。处理器23执行融合，从而将观测值列表a以及观测值列表b整合在观测值列表ab中。例如通过观测值列表a的a1与观测值列表b的b1的融合，得到精度高的a1b1的观测值。另外，例如像a4那样未融合的观测值直接留在观测值列表ab中。
102.处理器23可以重叠地执行融合。由于融合的观测值的误差必然小，因此，能够得到准确度和精度更高的观测值。图14是用于说明融合的重复应用的图。在图13的例子中，观测值列表ab与图13相同。另外，观测值列表c例如为作为激光的反射波的检测装置的传感器数据的检测结果而得到的观测值。处理器23通过重叠地执行融合，将观测值列表a、观测值列表b以及观测值列表c整合在观测值列表abc中。观测值列表abc例如像a1b1c1那样具有精度更高的观测值。
103.此处，融合的观测值能够以与未融合的观测值相同的方式进行处理。即，融合的观测值和未融合的观测值均以相同的方式进行数据关联。因此，在执行融合的情况下，数据关
联之后的算法也与上述实施方式相同。
104.物体跟踪系统1获取通过不同的传感方法得到的多个传感器数据，如上所述执行观测值的融合的处理(作为用于进行跟踪的前处理的数据处理)，并且进行多个卡尔曼滤波器的成组化，从而能够更高精度地跟踪多个物体。
105.在上述实施方式中，物体跟踪系统1包括拍摄装置10、物体跟踪装置20以及显示器30，它们中的至少2个可以是一体化的结构。例如物体跟踪装置20的功能能够搭载于拍摄装置10。此时，拍摄装置10除了具有拍摄光学系统11、拍摄元件12以及处理器13，还可以具有上述存储部22、输出接口24。另外，处理器13可以对拍摄装置10输出的动态图像执行在上述实施方式中处理器23进行的处理。通过这种结构，也可以实现执行物体的跟踪的拍摄装置10。
106.本发明中的“移动体”包括车辆、船舶以及飞机。本发明中的“车辆”包括汽车以及工业用车，但不限于此，也可以包括铁道车辆、生活车辆以及在跑道上行驶的固定翼机。汽车包括轿车、卡车、公交车、二轮车以及无轨电车等，但并不限于此，也可以包括在道路上行驶的其他车辆。工业用车包括面向农业以及建设的工业用车。工业用车包括叉车以及高尔夫车，但并不限于此。面向农业的工业用车包括拖拉机、耕耘机、移植机、收割机、联合收割机以及割草机，但并不限于此。面向建设的工业用车包括推土机、铲土机、挖掘机、起重车、自动倾卸车以及压路机，但并不限于此。车辆包括通过人力行驶的车辆。此处，车辆的分类并不限于上述。例如，汽车可以包括能够在道路上行驶的工业用车，也可以包括多个分类中相同的车辆。本发明中的船舶包括摩托艇、小船以及油轮。本发明中的飞机包括固定翼机以及旋转翼机。
107.附图标记说明
108.1：物体跟踪系统；
109.10：拍摄装置；
110.11：拍摄光学系统；
111.12：拍摄元件；
112.13：处理器；
113.20：物体跟踪装置；
114.21：输入接口；
115.22：存储部；
116.23：处理器；
117.24：输出接口；
118.30：显示器；
119.40：物体；
120.40a：行人；
121.40b：汽车；
122.40c：自行车；
123.41：图像空间；
124.42：物体的像；
125.43：代表点；
126.44：基准面；
127.45：质点；
128.46：虚拟空间；
129.100：车辆。

技术特征：
1.一种物体跟踪装置，其中，具有：输入接口，获取传感器数据；处理器，根据所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪；以及输出接口，输出所述检测对象的检测结果，所述处理器进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。2.根据权利要求1所述的物体跟踪装置，其中，所述处理器在将与所判定的所述物体对应的所述卡尔曼滤波器建立关联且将与该卡尔曼滤波器对应的所述检测对象的检测结果建立关联的层级结构中进行控制。3.根据权利要求1或2所述的物体跟踪装置，其中，所述处理器对所判定的所述物体分配标识来进行该物体的跟踪控制。4.根据权利要求3所述的物体跟踪装置，其中，所述处理器根据不同的时刻的所述组的相似度来管理所述标识。5.根据权利要求1～4中任一项所述的物体跟踪装置，其中，所述处理器将所述成组化后的与所述同一物体对应的所述卡尔曼滤波器中的基于多个所述检测对象的位置的概率密度分布的推定范围最小的卡尔曼滤波器作为该组的代表。6.根据权利要求1～5中任一项所述的物体跟踪装置，其中，所述处理器容许多个所述检测对象的跟踪过程中的检测结果的重复。7.根据权利要求1～6中任一项所述的物体跟踪装置，其中，所述处理器使用虚拟空间跟踪分别表示多个所述检测对象的质点的位置以及速度，所述虚拟空间是将由实际空间的x轴、y轴以及z轴的3个轴构成的坐标系中的z轴方向的值设为规定的固定值的二维空间。8.一种物体跟踪方法，其中，包括：获取传感器数据；根据所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪；以及输出所述检测对象的检测结果，进行所述跟踪包括进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。9.一种物体跟踪装置，其中，具有：输入接口，获取通过不同的传感方法得到的多个传感器数据；以及处理器，进行用于根据多个所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪的数据处理，所述处理器进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。10.一种物体跟踪方法，其中，包括：获取通过不同的传感方法得到的多个传感器数据；以及进行用于根据多个所述传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个所述检测对象进行跟踪的数据处理，进行所述跟踪包括进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。

技术总结
本发明提供能够高精度地跟踪多个物体的物体跟踪装置以及物体跟踪方法。物体跟踪装置(20)具有：输入接口(21)，获取传感器数据；处理器(23)，根据传感器数据检测多个检测对象，并使用卡尔曼滤波器分别对多个检测对象进行跟踪；以及输出接口(24)，输出检测对象的检测结果，处理器(23)进行多个所述卡尔曼滤波器的成组化并判定是否与同一物体对应。组化并判定是否与同一物体对应。组化并判定是否与同一物体对应。


技术研发人员：山本顕嗣 黑田淳 佐原彻 童方伟 本间拓也
受保护的技术使用者：京瓷株式会社
技术研发日：2021.09.15
技术公布日：2023/7/22