车位的跟踪方法、装置、电子设备及车辆与流程

1.本技术涉及车辆技术领域，尤其涉及一种车位的跟踪方法、装置、电子设备及车辆。


背景技术：

2.人工智能爆发的今天，越来越多的汽车厂商把人工智能赋能到汽车上。自动驾驶、高级驾驶辅助系统、驾驶员监控系统、智能座舱、5g+ai等等。汽车厂商中以纯视觉的方案和视觉+雷达的方案来赋能，分为两大阵营，纯视觉最直接，没有多传感器融合，成本低。其中就自动泊车这一领域，纯视觉的方案包含了最关键的停车位检测。有了停车位检测，才能有自动泊车。而在停车位检测中，往往运用的是类似目标检测的算法，是针对单张图片执行的。汽车向车库的行驶过程中，输入的是连续帧，帧与帧之间的检测结果没有必然关系，导致了连续帧之间的停车位无法关联，这给实际的自动泊车工程带来诸多不便。在实际的自动泊车工程中，需要连续帧之间对应的车位是唯一的，不能因为这一帧检测到车位a，下一帧车位a再被检测到，被赋予标签车位b，导致连续帧之间车位无法一一对应的关联起来，不利于后续的自动泊车工程的进行。


技术实现要素：

3.有鉴于此，本技术的目的在于提出一种车位的跟踪方法、装置、电子设备及车辆，用于解决连续帧之间车位无法一一对应的问题。
4.基于上述目的，本技术的第一方面提供了一种车位的跟踪方法，包括：
5.实时获取车位识别视频，并对所述车位识别视频进行每预设间隔帧的提取，得到视频帧图像；
6.识别所述视频帧图像中的全部车位，并对所述车位进行标识，得到与每个车位一一对应的车位身份标识号；
7.识别所述视频帧图像中每个车位的车位角点；
8.获取车辆的状态信息，并根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点；
9.根据所述预测车位角点和所述车位身份标识号进行车位跟踪。
10.可选地，所述视频帧图像包括连续的第一视频帧图像和第二视频帧图像；所述根据所述预测车位角点和所述位身份标识号进行车位跟踪，包括：
11.获取根据所述第一视频帧图像进行预测得到的所述预测车位角点；
12.识别所述第二视频帧图像中每个车位的实际车位角点；
13.根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪。
14.可选地，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，包括：
15.根据任意一个所述预测角点坐标在全部的所述实际角点坐标中确定与所述预测车位角点对对应的目标实际车位角点；
16.将所述预测车位角点对应的所述车位身份标识号作为所述目标实际车位角点对应的目标车位的所述车位身份标识号；
17.直至全部所述预测角点坐标的车位跟踪完毕，停止车位跟踪。
18.可选地，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，还包括：
19.对于任意一个所述预测车位角点，如果在全部的所述实际车位角点中不存在与该预测车位角点对应的所述目标实际车位角点，将该预测车位角点确定为故障车位角点；
20.对所述故障车位角点进行有效性判断；
21.响应于所述故障车位角点无效，停止对所述预测车位角点进行跟踪；
22.响应于所述故障车位角点有效，根据与所述故障车位角点对应的所述预测角点坐标进行角点补漏。
23.可选地，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，还包括：
24.对于任意一个所述实际车位角点，如果在全部的所述预测车位角点中不存在与该实际车位角点对应的所述预测车位角点，将该实际车位角点确定为车位跟踪的新增起始角点，并为所述新增起始角点标记的新的车位身份标识号。
25.可选地，所述对所述故障车位角点进行有效性判断，包括：
26.确定所述第二视频帧图像的视野范围边界；
27.根据所述故障车位角点的所述预测角点坐标判定所述故障车位角点是否超出所述视野范围边界；
28.响应于所述故障车位角点超出所述视野范围边界，确定所述故障车位角点无效；
29.响应于所述故障车位角点未超出所述视野范围边界，确定所述故障车位角点有效。
30.可选地，所述根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点，包括：
31.确定所述车位角点的角点坐标；
32.根据预先构建的车辆横向动力学模型，根据所述状态信息确定横向移动距离和纵向移动距离；
33.根据所述角点坐标的横坐标和所述横向移动距离确定预测横坐标；
34.根据所述角点坐标的纵坐标和所述纵向移动距离确定预测纵坐标；
35.根据所述预测横坐标和所述预测纵坐标确定预测角点坐标，在视频帧图像得到所述预测车位角点。
36.本技术的第二方面提供了一种车位的跟踪装置，其特征在于，包括：
37.图像提取模块，被配置为：实时获取车位识别视频，并对所述车位识别视频进行每预设间隔帧的提取，得到视频帧图像；
38.身份标识模块，被配置为：识别所述视频帧图像中的全部车位，并对所述车位进行标识，得到与每个车位一一对应的车位身份标识号；
39.角点识别模块，被配置为：识别所述视频帧图像中每个车位的车位角点；
40.角点预测模块，被配置为：获取车辆的状态信息，并根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点；
41.角点跟踪模块，被配置为：根据所述预测车位角点和所述位身份标识号进行车位跟踪。
42.本技术的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本技术第一方面提供的所述方法。
43.本技术的第四方面提供了一种车辆，包括如本技术第三方面所述的电子设备。
44.从上面可以看出，本技术提供的车位的跟踪方法、装置、电子设备及车辆，实时获取车位识别视频，并对车位识别视频进行每预设间隔帧的提取，得到视频帧图像，为满足自动泊车的输入需求，需要将车位识别视频提取为连续的视频帧图像，为后续的车位跟踪提供基础；识别视频帧图像中的全部车位，并对车位进行标识，得到与每个车位一一对应的车位身份标识号，通过对不同视频帧图像中的同一的车位标记相同的车位身份标识号来实现不同视频帧图像之间的关联；识别视频帧图像中每个车位的车位角点，由于视频帧图像的中的车位角点不会随着车辆的移动而发生变化，所以选择车位角点作为车位跟踪的标识；获取车辆的状态信息，并根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，根据预测车位角点和车位身份标识号进行车位跟踪，通过预测下一视频帧图像中车位角点的位置进行车位角点在连续帧之间的跟踪，并通过车位身份标识号对连续帧图像中同一车位进行关联，实现车位的关联跟踪，使连续帧之间的车位一一对应。
附图说明
45.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本技术实施例车位之间未进行车位跟踪的车位检测示意图；
47.图1a为本技术实施例车位之间未进行车位跟踪的第一张视频帧图像的示意图；
48.图1b为本技术实施例车位之间未进行车位跟踪的第二张视频帧图像的示意图；
49.图1c为本技术实施例车位之间未进行车位跟踪的第三张视频帧图像的示意图；
50.图2为本技术实施例车位的跟踪方法的流程图；
51.图3为本技术实施例车位检测识别的示意图；
52.图4为本技术实施例的车位之间进行车位跟踪的车位检测示意图；
53.图4a为本技术实施例车位之间进行车位跟踪的第一张视频帧图像的示意图；
54.图4b为本技术实施例车位之间进行车位跟踪的第二张视频帧图像的示意图；
55.图4c为本技术实施例车位之间进行车位跟踪的第三张视频帧图像的示意图；
56.图5为本技术实施例根据预测车位角点和位身份标识号进行车位跟踪的流程图；
57.图6为本技术实施例误差允许范围的示意图；
58.图7为本技术实施例根据第一视频帧图像中每个预测车位角点的预测角点坐标和
每个实际车位角点的实际角点坐标进行车位跟踪的流程图；
59.图8为本技术实施例根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点的流程图；
60.图9为本技术实施例车辆横向动力学模型的示意图；
61.图10为本技术实施例车位的跟踪装置的结构示意图
62.图11为本技术实施例电子设备的结构示意图。
具体实施方式
63.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
64.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
65.如背景技术所示，如果在连续帧之间用传统视觉的方法进行车位的跟踪匹配，根据车位检测得到的特征对相邻视频帧图像中同一车位进行特征匹配，使不同帧内的车位关联起来。但是，受限于全景式监控影像系统(around view monitor，avm)成像要有足够的特征去做匹配，当车位上有汽车或者有柱子等障碍物的情况下，障碍物的成像会存在畸变，每一帧之间的相同障碍物，会有不同的畸变成像，特征变化较大，很难进行匹配。其中，如图1所示的连续三张视频帧图像，如图1a、如图1b、如图1c，即车辆在向车库里行驶的过程中，自动泊车系统输入的连续帧图像，通过车位检测3张视频帧图像一共检测出了8个停车位，但车位之间并没有关联，没有关联会给自动泊车带来极大的不便利性，示例性的，自动泊车系统在单张视频帧图像中发现停车位以后，判断为可用车位后并规划停车，需要驱动车辆进行倒车入库，此时，泊车系统输入的视频帧图像显然随着汽车的移动而发生改变，检测出的车位也就变了，如果不把连续帧之间的车位关联起来，决策停车的车位和实际一直在变化的车位就无法进行一一对应，自动泊车无法进行。而自动泊车系统中avm成像带来的像素畸变是因为在自动泊车系统中，成像是由avm生成的。所生成的avm视频帧图像是鸟瞰图，属于上帝视角，即从上往下看，导致车辆自带的avm成像系统生成出来的视频帧图像都是会发生畸变的，而畸变的像素在avm视频帧图像中严重的遮挡临近的车位，而且难以看见车位之间相邻的车位线。而且，有些车位本身不是一个完整的矩形，只有两侧的间隔线，而没有画出进出进入车位一端的进入线，这种不存在的进入线只可以通过人眼看出来，所以在没有进入线的情况下，车位检测本身可用的图片特征就变少了，如果要关联连续帧之间检测出的车位，难度会更大，因为可用来配对关联的信息也相应更少了。
66.相关技术中，可以使用其他基于纯视觉的方法来用于车位跟踪，比如直接使用基于深度学习的多目标跟踪算法(简称深度跟踪算法)。但是车位深度跟踪算法需要很大的算
力和显存。但是目前的车机根本带不动这样大的算力，即便牺牲了其他功能来勉强实现深度跟踪算法，但是也由于自动泊车要实时的进行，无法忍受有延迟和速度慢的处理。所以即便深度跟踪算法可以在离线时实现，在线自动泊车时也很难应用。
67.也可以对avm成像检测到的视频帧图像做光学字符识别(optical character recognition，ocr)，把地面车位的数字给识别出来，利用帧与帧之间的一样的车位数字做匹配。但是这样做也会遭遇一定的问题，因为在avm图像边缘部分，avm成像本身就存在模糊，车位出现在avm成像边缘的时候，很难检得出来，检测出车位数字会更加困难，只有车位数字在avm成像中间的时候才会有比较好的识别结果，这样的必然因素将会导致车位数字出现漏检。且车位在使用过程中车位内的数字会随着使用时间的增加渐渐变得模糊或者个别车位将数字设置在车位对应位置的墙壁上，这种情况下将无法识别到车位内的数字，造成漏检和跟踪失败。
68.本技术实施例提供的车位的跟踪方法，对车位检测得到的车位识别视频(例如avm成像视频)进行每预设间隔帧的提取，得到视频帧图像，为满足自动泊车的输入需求，需要将车位识别视频提取为连续的视频帧图像，为后续的车位跟踪提供基础；识别视频帧图像中的全部车位，并对车位进行标识，得到与每个车位一一对应的车位身份标识号，通过对不同视频帧图像中的同一的车位标记相同的车位身份标识号来实现不同视频帧图像之间的关联，而不需要识别车位自带的车位号，避免了车位号识别不到的情况，然后识别视频帧图像中每个车位的车位角点，由于视频帧图像的中的车位角点不会随着车辆的移动而发生变化，所以选择车位角点作为车位跟踪的标识，可以提高车位跟踪的准确性；获取车辆的状态信息，并根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，根据预测车位角点和车位身份标识号进行车位跟踪，通过预测下一视频帧图像中车位角点的位置进行车位角点在连续帧之间的跟踪，并通过车位身份标识号对连续帧图像中同一车位进行关联，实现车位的关联跟踪，使连续帧之间的车位一一对应。需要说明的是，本技术实施例的主要应用于自动泊车的使用场景中，在自动泊车时车辆的车速一般较低，才可以给车位的跟踪留出足够的时间，所以本技术实施例提供的车位的跟踪方法主要适用于低车速的场景，结合以下实施例进行说明。
69.在一些实施例中，如图2所示，一种车位的跟踪方法，包括：
70.步骤100：实时获取车位识别视频，并对车位识别视频进行每预设间隔帧的提取，得到视频帧图像。
71.在该步骤中，首先需要获取到车位识别视频，示例性的，可以将全景式监控影像系统(around view monitor，avm)成像视频作为车位识别视频，由于本技术实施例是基于连续帧进行车位跟踪的，所以需要对车位识别视频进行每预设间隔帧的提取，得到视频帧图像。其中，对车位识别视频的提取过程中，预设间隔帧的数量需要根据视频识别设备的得到的车位识别视频的视频帧率进行确定的，当帧率较大时，间隔帧的帧数可以设置的相对较大，当帧率较小，间隔帧的帧数可以设置的相对较小，因为这样可以保持连续两各视频帧图像之间的提取时间间隔相同，因为车辆移动距离的多少是由车速和时间决定的，提取时间间隔相对稳定，在车速较为稳定时可以保证任意连续两个视频帧图像之间车辆移动的距离大小相似，不会因为车辆移动距离过大导致车位跟踪困难，也不会因为车辆移动距离过小导致跟踪计算量过大。
72.步骤200：识别视频帧图像中的全部车位，并对车位进行标识，得到与每个车位一一对应的车位身份标识号。
73.在该步骤中，在车位检测时，如图3所示，需要检测车位的角点、进入线和分隔线，鉴于并不是所有的车位均为完整的矩形框，示例性的，可以使用无锚点框的anchor free检测算法，也可以采用基于detr(detection transformer)查询的匈牙利算法实现，还可以采用基于yolo(you only look once)系列的无锚点框版本的目标检测模型。进行角点检测的车位检测算法把车位的角点和边(进入线和分隔线对应的边)的信息从有畸变的avm视频帧图像中检测出来，并且需要避免车位的特殊性，即有些车位没有进入线，有些车位进入线和分隔线显示不完整，所以本技术实施中只需要检测相交于车位角点的一条分隔线和一条进入线即可，且每个车位角点对应一个车位，每个车位标记一个唯一的车位身份标识号(identity document，id)，使得车位与车位角点和车位身份标识号分别一一对应，且在自动泊车完成后清空全部的车位身份标识号，再次使用时重新进行标号。
74.步骤300：识别视频帧图像中每个车位的车位角点。
75.在该步骤中，根据avm成像特点可以优先选择车位左上角的点作为车位角点，且车位与车位角点和车位身份标识号分别一一对应。需要说明的是，车位角点可以根据实际情况进行选取，在此对于车位角点的选取不做限定。
76.示例性的，如图3所示的识别视频帧图像中，采用几何表示的方法，竖向的标识线1表示id2车位的进入线，位于图中上侧的纵向标识线2表示id2车位与上方id3车位的分隔线，位于图中下侧的纵向标识线3表示id2车位与下方id1车位的分隔线，标识线1和标识线2交点位置处的圆点表示id2车位的车位角点，即此车位的关键点。标识线2和标识线3表示了被畸变的车辆遮挡的车位线，标识线1表示了在地面没有被画出来的车位进入线车位角点则是用来关联连续帧之间的车位的标志点。选取车位的角点作为标志点，是为了避开被畸变车辆遮挡分隔线的情况，也避开了进入线不存在显式的白色标线的情况。对一个车位来说，停车位检测算法，检测出这个车位，那么这个车位对应的车位色角点是不会受到汽车行驶而发生变化的。但是分隔线和进入线却要受到影响，随着车辆的移动会变得不完整，而车位角点消失时可以直接删除消失车位角点对应的车位身份标识号。
77.步骤400：获取车辆的状态信息，并根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点。
78.在该步骤中，对车辆来说，获取车辆的状态信息是比较容易的。同时，根据avm成像系统生成的视频帧图像中，每个像素对应实际空间中的地面物理距离是提前已知的。而且，在自动泊车场景中，为了保证自动泊车功能正常启用，一般是以30km/h及以下的车速进行行驶。所以，当检测出车位及车位角点后，可以计算出当前场景中的一些信息，例如当前车库场景中车位进入线的长度和车位角点的角点坐标等，根据这些信息，可以估计出车位分隔线长度的范围，进而可以使用横向动力学模型，根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，为车位的跟踪提供支持。
79.步骤500：根据预测车位角点和车位身份标识号进行车位跟踪。
80.在该步骤中，如图1和图4所示，图1表示没有进行关联跟踪的连续三张视频帧图像，图4表示根据预测车位角点和车位身份标识号进行车位跟踪后得到的连续三张视频帧图像，根据图1中的身份标识号可以看出，没有进行关联跟踪的连续三张视频帧图像中一共
检测出了8个车位，但是，可以看出，实际上id4和id7是同一个车位，id1、id5和id8是同一个车位，id6和id2是同一个车位，id3是一个单独的车位，不同视频帧图像中车位之间并没有关联，没有关联会给自动泊车带来极大的不便利性，示例性的，自动泊车系统在第一张视频帧图像中发现停车位以后，判断id1为可用目标车位后并规划停车，需要驱动车辆进行倒车入库，进入id1车位，此时，泊车系统输入的视频帧图像显然随着汽车的移动而发生改变，检测出的id1车位在第二张视频帧图像中就变成了id5，在第三张视频帧图像中就变成了id8，导致决策停车的目标车位在不同视频帧图像中无法进行一一对应，自动泊车无法进行。根据图4中的身份标识号可以看出，进行关联跟踪后的连续三张视频帧图像中一共检测出了4个车位，可以看出id1车位出现在三张视频帧图像中，尽管随着车辆的行驶，成像画面变动，车位在图中发生偏移，但仍然被关联跟踪起来了，与实际情况相符合，因为三张视频帧图像中id1车位本来就是同一车位。其中，可以看出id3车位在第二张视频帧图像中由于车位显示不全，没被检测出来，所以这个id3车位在第二张视频帧图像中被清空，且在第二张视频帧图像中下方，新出现id4车位，且id4车位也在第三张视频帧图像中出现。而在第三张视频帧图像中id2车位也没有被检测车来，所以被清空了。示例性的，自动泊车系统在第一张视频帧图像中发现停车位以后，判断id1为可用车位后并规划停车，需要驱动车辆进行倒车入库，进入id1车位，此时，泊车系统输入的视频帧图像显然随着汽车的移动而发生改变，检测出的id1车位在第二张视频帧图像和第三张视频帧图像中依然为id1车位，实现了同一车位在连续视频帧图像间的关联跟踪，使决策停车的目标车位在不同视频帧图像中进行一一对应，保证了自动泊车的顺利进行。
81.综上所述，本技术实施例提供的车位的跟踪方法，为满足自动泊车的输入需求，在得到连续的视频帧图像后，识别视频帧图像中的全部车位，并对车位进行标识，得到与每个车位一一对应的车位身份标识号，通过对不同视频帧图像中的同一的车位标记相同的车位身份标识号来实现不同视频帧图像之间的关联，而不需要识别车位自带的车位号，避免了车位号识别不到的情况，然后识别视频帧图像中每个车位的车位角点，由于视频帧图像的中的车位角点不会随着车辆的移动而发生变化，所以选择车位角点作为车位跟踪的标识，可以提高车位跟踪的准确性；获取车辆的状态信息，并根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，根据预测车位角点和车位身份标识号进行车位跟踪，通过预测下一视频帧图像中车位角点的位置进行车位角点在连续帧之间的跟踪，并通过车位身份标识号对连续帧图像中同一车位进行关联，实现车位的关联跟踪，使连续帧之间的车位一一对应，保证了自动泊车的顺利进行。
82.在一些实施例中，视频帧图像包括连续的第一视频帧图像和第二视频帧图像；如图5所示，根据预测车位角点和位身份标识号进行车位跟踪，包括：
83.步骤510：获取根据第一视频帧图像进行预测得到的预测车位角点。
84.在该步骤中，以相邻的第一视频帧图像和第二视频帧图像为例对车位跟踪进行说明，由于车位识别视频是实时监测得到的，所以在得到第一张视频帧图像时第二视频帧图像还没有产生，所以在在得到第一张视频帧图像的同时获取车辆的状态信息，并根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，然后，在提取到第二视频帧图像的时候，获取根据第一视频帧图像进行预测得到的预测车位角点，并识别第二视频帧图像中每个车位的实际车位角点，通过比较预测车位角点和实际车位角点的坐标实现车位在连续
视频帧图像间的跟踪。
85.步骤520：识别第二视频帧图像中每个车位的实际车位角点。
86.在该步骤中，如果想要实现车位在连续视频帧图像间的跟踪，在已知上一张视频帧图像的预测车位角点后，需要识别第二视频帧图像中每个车位的实际车位角点，示例性的，如果根据id1车位和状态信息得到预测车位角点，则需要根据预测车位角点在第二视频帧图片中确定与第一视频帧图像中id1车位相同的实际车位角点，然后根据车位角点与车位之间的一一对应关系在第二视频帧图像中确定与id1车位相同的车位。
87.步骤530：根据第一视频帧图像中每个预测车位角点的预测角点坐标和每个实际车位角点的实际角点坐标进行车位跟踪。
88.在该步骤中，预测车位角点有对应的预测角点坐标，实际车位角点有对应的实际角点坐标，所以需要根据预测角点坐标和实际角点坐标在第二视频帧图像中确定与预测车位角点最相近的实际车位角点，然后根据车位角点与车位之间的一一对应关系在第二视频帧图像中确定与id1车位相同的车位，在第二视频帧图像中给该车位的id标记的为1，以实现车位在连续视频帧图像间的跟踪。其中，预测车位角点的预测角点坐标会与实际角点坐标之间产生一定的误差，可以提前设定一定的误差范围，当预测角点坐标与实际角点坐标之间的误差在误差范围内时，确定预测角点坐标与实际角点坐标匹配，判定其为同一车位的角点，示例性的，如图6所示，根据预设的误差距离，以预测角点坐标为圆心，以误差距离为半径，确定一个圆形的误差允许范围，当检测得到的实际角点坐标位于该范围内时，确定预测角点坐标与实际角点坐标匹配，判定其为同一车位的角点。
89.在一些实施例中，如图7所示，根据第一视频帧图像中每个预测车位角点的预测角点坐标和每个实际车位角点的实际角点坐标进行车位跟踪，包括：
90.步骤531：根据任意一个预测角点坐标在全部的实际角点坐标中确定与预测车位角点对对应的目标实际车位角点。
91.在该步骤中，示例性的，以图4中第一张视频帧图像为第一视频帧图像、第二张视频帧图像为第二视频帧图像为例，车位id1为例进行说明，根据第一视频帧图像中id1车位的车位角点进行预测，得到id1车位在第二视频帧图像中的预测角点坐标，在提取到第二时视频帧图像时，识别的全部实际车位角点的实际角点坐标，将实际角点坐标位于预测角点坐标误差范围内的实际车位角点确定为目标实际车位角点。
92.步骤532：将预测车位角点对应的车位身份标识号作为目标实际车位角点对应的目标车位的车位身份标识号。
93.在该步骤中，示例性的，如果确定预测车位角点对应的车位身份标识号为id1，并在第二视频帧图像中确定与目标实际车位角点对应的车位为位于图像由上至下的第二个车位，则将该第二个车位进行标记，标记内容为id1，完成id1车位的跟踪。
94.步骤533：直至全部预测角点坐标的车位跟踪完毕，停止车位跟踪。
95.在该步骤中，当同一车位的车位角点跟踪完成，消失车位的身份标识号清空完毕，新增车位的车位身份标识号标记标记结束，说明第一视频帧图像中的全部预测角点坐标的车位跟踪完毕，停止根据第一视频帧图像进行车位跟踪，并将第二视频帧图像作为新的第一视频帧图像继续进行新的车位跟踪，直至自动泊车完成。需要说明的是，为了减小后续车位跟踪过程中误差的不断积累，将第二视频帧图像中车位的目标实际车位角点坐标替换为
对应的预测角点坐标，因为预测的精度要大于识别的精度，所以将预测角点坐标作为第二视频帧图像中车位的实际角点坐标，可以提高跟踪精度和准确度。
96.在一些实施例中，根据第一视频帧图像中每个预测车位角点的预测角点坐标和每个实际车位角点的实际角点坐标进行车位跟踪，还包括：
97.步骤501：对于任意一个预测车位角点，如果在全部的实际车位角点中不存在与该预测车位角点对应的目标实际车位角点，将该预测车位角点确定为故障车位角点。
98.在该步骤中，在该步骤中，示例性的，以图4中第一张视频帧图像为第一视频帧图像、第二张视频帧图像为第二视频帧图像为例，对于id3车位来说，在第一视频帧图像中，id3车位靠近图像的边缘，随着车辆的移动，在提取的第二视频帧图像中将无法识别到id3车位对应的实时车位角点，则在第二视频帧图像中将不存在根据第一视频帧图像中id3车位的车位角点进行预测得到的预测角点坐标相对应的目标实际车位角点，此时将该预测车位角点作为故障车位角点，进行后续的故障分析。
99.步骤502：对故障车位角点进行有效性判断。
100.在该步骤中，故障车位角点的出现包括两种情况，一种是预测车位角点对应的车位的车位角点在第二视频帧图像中真的已经移出的画面外，无法进行识别；另一种为，由于存在障碍物或车位线不清晰等原因导致车位角点识别失败，没有识别到与预测车位角点对应的目标实际车位角点，所以在出现故障车位角点时，需要对故障车位角点进行有效性判断，以确定该故障车位角点出现的原因及解决措施。
101.在一些可选实施例中，对故障车位角点进行有效性判断，包括：
102.确定第二视频帧图像的视野范围边界；
103.根据故障车位角点的预测角点坐标判定故障车位角点是否超出视野范围边界；
104.响应于故障车位角点超出视野范围边界，确定故障车位角点无效；
105.响应于故障车位角点未超出视野范围边界，确定故障车位角点有效。
106.其中，第二视频帧图像在坐标系中具有自身的视野范围边界，通过比较故障车位角点的预测角点坐标是否超出视野范围边界来判断故障角点的故障出现情况，如果故障车位角点超出视野范围边界，说明故障车位角点对应的车位的车位角点在第二视频帧图像中真的已经移出的画面外，无法进行识别，确定故障车位角点无效；故障车位角点未超出视野范围边界，说明车位角点识别失败，没有识别到与预测车位角点对应的目标实际车位角点，确定故障车位角点有效。
107.步骤503：响应于障车位角点无效，停止对预测车位角点进行跟踪。
108.在该步骤中，如果已经确定故障车位角点无效，说明故障车位角点对应的车位的车位角点在第二视频帧图像中真的已经移出的画面外，无法进行识别，停止对预测车位角点进行跟踪。
109.步骤504：响应于障车位角点有效，根据与障车位角点对应的预测角点坐标进行角点补漏。
110.在该步骤中，如果已经确定故障车位角点有效，说明车位角点识别失败，没有识别到与预测车位角点对应的目标实际车位角点，根据与障车位角点对应的预测角点坐标进行角点补漏，在第二视频帧图像中将故障车位角点对应的预测角点坐标作为实际角点坐标表，并根据该补漏后的实际角点坐标进行后续的车位跟踪。通过有效性判断对故障车位角
点进行故障分析，避免角点检测失败对车位跟踪的影响，使得车位跟踪更加的准确。
111.在一些实施例中，根据第一视频帧图像中每个预测车位角点的预测角点坐标和每个实际车位角点的实际角点坐标进行车位跟踪，还包括：
112.对于任意一个实际车位角点，如果在全部的预测车位角点中不存在与该实际车位角点对应的预测车位角点，将该实际车位角点确定为车位跟踪的新增起始角点，并为新增起始角点标记的新的车位身份标识号。
113.其中，对于任意一个实际车位角点来说，如果在全部的预测车位角点中不存在与该实际车位角点对应的预测车位角点，说明该车位角点是新增车位对应的车位角点，而对于新出现的车位，则需要根据新增车位的新增起始角点作为起点对新出现的车位进行跟踪，对于新出现的车位，将为该新车位标记的新的车位身份标识号(与已经存在的车位表示号均不同即可，在此不做限定)。通过标记新的车位标识号来进行新出现的车位的关联跟踪，保证车位跟踪的及时性。
114.在一些可选实施例中，如图8所示，根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，包括：
115.步骤410：确定车位角点的角点坐标。
116.在该步骤中，对于连续的视频帧图像来说，需要确定在第一视频帧图像中的识别到的车位角点的角点坐标(xf，yf)。
117.步骤420：根据预先构建的车辆横向动力学模型，根据状态信息确定横向移动距离和纵向移动距离。
118.在该步骤中，在如图9所示的车辆横向动力学模型中，将前轮并成一个轮，即取前轮中心做分析，后轮同样如此，且在实际的自动泊车过程中，因为是低速状态，对于前轮驱动的车辆来说，可以把车辆的实际运动假设成，后轮无偏角，前轮有偏的模型。由于在avm系统中，车机显示上，车辆始终处于屏幕正中心，所以，车辆的车身始终是正的，即连接前后轮中心点的轴距线始终是与模型中的y轴重合，与x轴垂直的，即将α的取值一直为90
°
，则根据以下计算式确定横向移动距离和纵向移动距离：
119.x＝vcos(δ+θ+α)
120.y＝vsin(δ+θ+α)
[0121][0122]
其中，x表示横向移动距离，表示纵向移动距离，θ表示偏航角，v表示当前轮速度，l表示轴距，α表示水平夹角，δ表示前轮转向角。
[0123]
步骤430：根据角点坐标的横坐标和横向移动距离确定预测横坐标。
[0124]
在该步骤中，将根据计算得到的横向移动距离的值和角点坐标的横坐标的值的和确定为预测横坐标。
[0125]
步骤440：根据角点坐标的纵坐标和纵向移动距离确定预测纵坐标。
[0126]
在该步骤中，将根据计算得到的纵向移动距离的值和角点坐标的纵坐标的值的和确定为预测纵坐标。
[0127]
步骤450：根据预测横坐标和预测纵坐标确定预测角点坐标，在视频帧图像得到预测车位角点。
memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0144]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0145]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0146]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0147]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0148]
上述实施例的电子设备用于实现前述任一实施例中相应的车位的跟踪方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0149]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的车位的跟踪方法。
[0150]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0151]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的车位的跟踪方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0152]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0153]
另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，
电路)以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0154]
尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0155]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种车位的跟踪方法，其特征在于，包括：实时获取车位识别视频，并对所述车位识别视频进行每预设间隔帧的提取，得到视频帧图像；识别所述视频帧图像中的全部车位，并对所述车位进行标识，得到与每个车位一一对应的车位身份标识号；识别所述视频帧图像中每个车位的车位角点；获取车辆的状态信息，并根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点；根据所述预测车位角点和所述车位身份标识号进行车位跟踪。2.根据权利要求1所述的方法，其特征在于，所述视频帧图像包括连续的第一视频帧图像和第二视频帧图像；所述根据所述预测车位角点和所述位身份标识号进行车位跟踪，包括：获取根据所述第一视频帧图像进行预测得到的所述预测车位角点；识别所述第二视频帧图像中每个车位的实际车位角点；根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，包括：根据任意一个所述预测角点坐标在全部的所述实际角点坐标中确定与所述预测车位角点对对应的目标实际车位角点；将所述预测车位角点对应的所述车位身份标识号作为所述目标实际车位角点对应的目标车位的所述车位身份标识号；直至全部所述预测角点坐标的车位跟踪完毕，停止车位跟踪。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，还包括：对于任意一个所述预测车位角点，如果在全部的所述实际车位角点中不存在与该预测车位角点对应的所述目标实际车位角点，将该预测车位角点确定为故障车位角点；对所述故障车位角点进行有效性判断；响应于所述故障车位角点无效，停止对所述预测车位角点进行跟踪；响应于所述故障车位角点有效，根据与所述故障车位角点对应的所述预测角点坐标进行角点补漏。5.根据权利要求3所述的方法，其特征在于，所述根据所述第一视频帧图像中每个预测车位角点的预测角点坐标和每个所述实际车位角点的实际角点坐标进行车位跟踪，还包括：对于任意一个所述实际车位角点，如果在全部的所述预测车位角点中不存在与该实际车位角点对应的所述预测车位角点，将该实际车位角点确定为车位跟踪的新增起始角点，并为所述新增起始角点标记的新的车位身份标识号。6.根据权利要求4所述的方法，其特征在于，所述对所述故障车位角点进行有效性判
断，包括：确定所述第二视频帧图像的视野范围边界；根据所述故障车位角点的所述预测角点坐标判定所述故障车位角点是否超出所述视野范围边界；响应于所述故障车位角点超出所述视野范围边界，确定所述故障车位角点无效；响应于所述故障车位角点未超出所述视野范围边界，确定所述故障车位角点有效。7.根据权利要求1所述的方法，其特征在于，所述根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点，包括：确定所述车位角点的角点坐标；根据预先构建的车辆横向动力学模型，根据所述状态信息确定横向移动距离和纵向移动距离；根据所述角点坐标的横坐标和所述横向移动距离确定预测横坐标；根据所述角点坐标的纵坐标和所述纵向移动距离确定预测纵坐标；根据所述预测横坐标和所述预测纵坐标确定预测角点坐标，在视频帧图像得到所述预测车位角点。8.一种车位的跟踪装置，其特征在于，包括：图像提取模块，被配置为：实时获取车位识别视频，并对所述车位识别视频进行每预设间隔帧的提取，得到视频帧图像；身份标识模块，被配置为：识别所述视频帧图像中的全部车位，并对所述车位进行标识，得到与每个车位一一对应的车位身份标识号；角点识别模块，被配置为：识别所述视频帧图像中每个车位的车位角点；角点预测模块，被配置为：获取车辆的状态信息，并根据所述状态信息和所述车位角点进行角点隔帧预测，得到预测车位角点；角点跟踪模块，被配置为：根据所述预测车位角点和所述位身份标识号进行车位跟踪。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。10.一种车辆，其特征在于，包括如权利要求9所示的电子设备。

技术总结
本申请提供一种车位的跟踪方法、装置、电子设备及车辆，根据车位识别视频提取到连续的视频帧图像，并通过对不同视频帧图像中的同一的车位标记相同的车位身份标识号来实现不同视频帧图像之间的关联；识别视频帧图像中每个车位的车位角点，由于视频帧图像的中的车位角点不会随着车辆的移动而发生变化，所以选择车位角点作为车位跟踪的标识；根据状态信息和车位角点进行角点隔帧预测，得到预测车位角点，根据预测车位角点和车位身份标识号进行车位跟踪，通过预测下一视频帧图像中车位角点的位置进行车位角点在连续帧之间的跟踪，并通过车位身份标识号对连续帧图像中同一车位进行关联，实现车位的关联跟踪，使连续帧之间的车位一一对应。一一对应。一一对应。


技术研发人员：李文博 赵龙 吴会肖 颉毅 王光甫
受保护的技术使用者：长城汽车股份有限公司
技术研发日：2023.02.10
技术公布日：2023/6/12