一种基于时空车辆重识别的智慧园区无人泊车方法

1.本发明涉及无人驾驶及车辆重识别的技术领域，尤其是涉及一种基于时空车辆重识别的智慧园区无人泊车方法。


背景技术：

2.智能网联汽车发展迅猛将深刻改变未来人们出行和生活方式。随着无人驾驶技术的不断普及与推广，l3等级以上的智能汽车正逐步推向市场，并将率先在封闭园区等场景落地。随着智能汽车销量的攀升，具备自主泊车能力的智能汽车与传统有人驾驶泊车将长期共存，作为封闭园区的典型场所停车场也将迎来了变革以适应时代发展的需求。目前围绕无人驾驶需求的停车场智慧化升级的研究尚不充分。简单依靠车牌识别，显然无法在更为复杂的环境和更智能的场景下使用。如何应对有人驾驶的自主随机机动灵活，又能充分利用公共车位管理是亟需解决的关键挑战。具体的，现有技术存在以下缺陷：
3.1)难以应对无人驾驶车辆的自动泊车；
4.2)车辆定位精度低，难以实现高精度的自动泊车；
5.3)部分技术依赖于停车场结构与大型支撑设备，实用性差；
6.4)缺乏无人泊车的整体规划方案，大多是仅针对其中一个或多个部分的实现，难以实现全自动的无人泊车。


技术实现要素：

7.本发明的目的就是为了提供一种基于时空车辆重识别的智慧园区无人泊车方法，提高车辆定位精度与无人泊车的可实现性。
8.本发明的目的可以通过以下技术方案来实现：
9.一种基于时空车辆重识别的智慧园区无人泊车方法，包括以下步骤：
10.步骤s1：当目标车辆到达停车场入口处时，获取部署于入口处灯杆上的摄像头拍摄的目标车辆的第一图像关键帧信息，并进行车牌特征信息提取；
11.步骤s2：停车场入口闸机对目标车辆放行后，基于路径规划算法为目标车辆推荐最优车位，并基于灯杆唯一点位构建路径，引导车辆停靠；
12.步骤s3：调用分布于智慧园区中的多个灯杆获取目标车辆行驶过程中的第二图像关键帧信息，并基于第一、第二图像关键帧信息和车牌特征信息，利用车辆重识别网络pvrs进行重识别关联处理，结合车辆外观特征、各灯杆地理标签和时间戳生成目标车辆行驶轨迹，计算车辆平均行驶速度，对行驶路线进行实时监控；
13.步骤s4：基于轻量化关键点停车位检测算法对车位进行检测，结合灯杆与地锁对车辆与车位进行匹配判断，若匹配成功则完成车辆自主停靠动作以及停车是否规范的判断；
14.步骤s5：当地锁检测到目标车辆驶出停车位时，统计车辆停靠时长，并计算停车费用，实现无感支付。
15.所述车牌特征信息提取采用基于yolov5的单步目标检测网络实现，所述单步目标检测网络对yolov5网络进行以下改进：将backbone更换为efficientnet；采用旋转或反射变换、噪声扰动的数据增强方法；在mosaic基础上，添加mixup增强方法；添加自适应特征融合asff层对不同层级的特征加权融合；使用涵盖多种情况的图像样本作为训练集对网络进行训练，其中，所述多种情况包括不同光照条件、不同天气、不同角度。
16.所述步骤s2包括以下步骤：
17.步骤s21：停车场入口闸机对目标车辆放行后，获取当前状态下园区停车位状态序列x(n)＝{x1,x2,
…
,xn}，其中n代表园区停车位总数，xi代表编号i的车位的状态分数，当车位i为空车位时，xi取1；当车位i不为空时，xi取浮点数v，0ε＜＜1；
18.步骤s22：计算车位评估函数f(i)：
19.f(i)＝xi*(yi+zi)
20.其中，yi表示停车位距离评估分数，距离入口处的路程越短，分数越高；zi表示停车位停靠难度评估分数，根据车位本身属性与车位周围环境属性加权计算得到；
21.步骤s23：根据车位评估函数f(i)，维护一个由所有车位构成的优先队列pq，评估函数值大的靠近队首，在需要推荐最优车位时，队首元素即为最优车位besti，将起点设置为入口处，终点设置为最优车位，作为基于dijkstra算法的单源路径规划算法的输入；
22.步骤s24：基于dijkstra算法的单源路径规划算法，利用灯杆地理位置的唯一性，将道路旁的灯杆捆绑到与其相近且位于道路中的一点，作为该灯杆的标记点，根据灯杆标记点以及标记点之间的联通关系，作为无向图中的顶点与边，使用dijkstra算法计算最短路径，完成路径规划，引导车辆停靠。
23.所述车辆重识别网络pvrs包括自监督注意力车辆外观识别子模块、车牌验证子模块和基于时空关联信息的重排序子模块。
24.所述自监督注意力车辆外观识别子模块基于自监督注意力机制对图像关键帧信息进行特征提取得到车辆外观特征，所述特征提取基于自监督残差生成和深层特征提取完成，具体包括以下步骤：
25.步骤s311：自监督残差生成：使用新型的vae架构，通过最大池化将输入图像进行下采样，降低维度，再通过潜在特征的均值和协方差进行重新参数化，即变分自动编码器，最后对潜在特征映射进行上采样，进行图像重建工作，过程中使用均方误差和kl散度对重建模型进行预训练，损失函数公式表示如下：
26.l
construct
＝l
mse
+θl
kl
27.其中，θ用于调整均方误差与kl散度的权重比，l
mse
为均方误差损失，l
kl
为kl散度损失，l
construct
为重建模型的损失函数；
28.步骤s312：深层特征提取：使用一个单分支的resnet-50特征提取网络，将车辆图像投射到一个低维向量空间，并保留有效表征车辆身份的特征；
29.步骤s313：使用可学习的参数对原始图像和其残差进行权重划分，允许特征提取网络对每个输入源的重要性加权，此过程中总损失函数公式表示如下：
30.l＝l
triplet
+l
crossentropy
+μl
construct
[0031][0032][0033]
其中，l
triplet
代表三重态损失函数，l
crossentropy
代表交叉熵损失函数，l
construct
代表重建模型的损失函数，μ为预配置的调节参数；
[0034]
三重态损失函数中，对于给定的anchor，b表示总批数，bi表示第i个批次，s表示另外一个样本，offset表示距离边缘阈值，p(a)和n(a)分别表示正样本和负样本，euclid()表示两个样本间的欧几里得距离；
[0035]
交叉熵损失函数中，和分别表示训练集中第i个图像经过bn neck层后提取的特征及其对应的ground-truth标签，wj和dj是最终分类层中与类别j相关的权重向量和偏差，n和c分别代表训练过程中的总样本数和类别数；
[0036]
步骤s314：将提取到的车辆外观特征的欧几里得距离相加，根据相似程度得到相似度列表，实现车辆外观特征提取。
[0037]
所述车牌验证子模块采用孪生神经网络snn实现车牌验证，其中所述孪生神经网络snn采用两个具有完全相同的网络结构，在正向和反向计算中共享相同权重的cnn；每一个cnn由两个卷积层、池化层和三个全连接层构成；对比损失函数公式表示如下：
[0038][0039]
euclid(x1,x2)＝||x
1-x2||
[0040]
其中，x1，x2分别代表输入样本x1和x2经过向前传播后的特征向量，euclid(x1,x2)表示两个特征向量的欧几里得距离，用于定量表示两个向量的相似度，hp为超参数。
[0041]
所述基于时空关联信息的重排序子模块通过如下时空相似度公式进行降序排列筛选：
[0042][0043]
其中，a,b分别表示灯杆la,lb的摄像头分别拍摄得到的两张图像，ta,tb分别表示两张图像的时间戳，t
max
表示一段时间t内，园区所有摄像头拍摄得到的所有图像帧的时间戳的最大值，dist(la,lb)表示两个灯杆摄像头的物理距离，d
max
表示园区中任意两个摄像头的物理距离的最大值，μ表示一个权重函数，取值为(0,1)之间，越接近1表示时近空相似度更注重时间相似度，越接0表示时空相似度更注重空间相似度。
[0044]
所述步骤s4包括以下步骤：
[0045]
步骤s41：采用轻量化关键点停车位检测算法对车位进行检测，具体为：训练一个backbone为mobilenet-v3的轻量级卷积神经网络，对于车位的关键点进行回归预测；对灯杆摄像头拍摄得到的图像帧使用canny算子进行车位边缘检测；以回归的关键点为顶点，延申canny算子得到的边缘侧，若预测的关键点个数少于车位实际关键点个数，则将延伸的边的交点作为新的顶点，否则仅作边的延申，完成车位检测；
[0046]
步骤s42：地锁终端获取每个车位的当前匹配车辆；
[0047]
步骤s43：处于抬起状态的地锁，基于超声波测距检测车辆是否进入当前车位范围，若是则调用对应灯杆的摄像头拍摄车辆车牌；
[0048]
步骤s44：调用车牌验证子模块识别目标车辆车牌信息，地锁匹配的灯杆获取车辆重识别网络的识别结果，对试图停入该车位的车辆进行匹配检测，并将检测信息传入地锁控制器中；
[0049]
步骤s45：地锁控制器将检测信息与步骤s42中车位的当前匹配车辆进行匹配：若匹配成功，地锁下降，车辆进行自主停靠，停入车位；反之，地锁保持抬起状态，并保存匹配失败信息；
[0050]
步骤s46：车辆停入匹配成功车位的过程中，智慧灯杆的摄像头拍摄图像帧，基于步骤s41的车位检测结果判断停车是否规范并发送反馈信息至用户终端；
[0051]
步骤s47：车辆停入车位后，更新停车位状态，并记录当前时间戳，作为停入时间戳。
[0052]
所述超声波测距的计算公式为：
[0053]
l＝t
飞行
×v声音
/2
[0054]
其中，l表示目标到收发器距离，t
飞行
表示飞行时间，v
声音
表示声音在空气中传播速度。
[0055]
所述步骤s5包括以下步骤：
[0056]
步骤s51：基于超声波测距检测车辆是否驶出车位，若是则地锁抬升并向智慧灯杆发送驶出信号，记录当前时间戳作为驶出时间戳，同时，更新车位状态；
[0057]
步骤s52：根据驶出时间戳与停入时间戳之差与停车费用计算规则计算目标车辆的停车费用；
[0058]
步骤s53：智慧灯杆接收到来自地锁的驶出信号时，再次调用重识别网络跟踪检测车辆行驶轨迹，直至车辆驶出停车场；
[0059]
步骤s54：通过移动通信网络将停车费用发送至目标车辆车牌所对应的车主，从绑定的电子支付账户扣除费用并发送扣费通知，实现无感支付。
[0060]
与现有技术相比，本发明具有以下有益效果：
[0061]
1)车辆定位精度高：车辆重识别方法采用从外观特征到车牌信息，再到时空关联匹配度的筛选过程，由粗到细地实现候选车辆的筛选，可以实现对车辆行驶轨迹的精确跟踪。
[0062]
2)方案整体性强：在无人驾驶的大背景下，覆盖了车辆重识别、无人驾驶路径规划、车牌识别、停车位识别和计时等多项技术领域，方案完整，为无人驾驶的商用化提供了可行的策略与方法。
[0063]
3)方案实用性强：不依赖于特定的停车场构造，仅需在目标园区布局覆盖所有停车位的智慧灯杆模组即可应用。
附图说明
[0064]
图1为本发明的方法流程图；
[0065]
图2为本发明的全局布局演示图；
[0066]
图3为本发明一个实施例中的基于yolov5的车牌识别网络结构图；
[0067]
图4为本发明一个实施例中的基于灯杆地理位置的标记点分布示意图；
[0068]
图5为本发明一个实施例中的车辆重识别网络流程框图；
[0069]
图6为本发明一个实施例中的自监督注意力车辆外观识别网络结构图；
[0070]
图7为本发明一个实施例中的车牌验证子模块中的孪生神经网络结构图；
[0071]
图8为本发明一个实施例中的基于关键点检测和边缘检测的车位识别示意图；
[0072]
图9为本发明一个实施例中的地锁智能设备总体设计框图。
具体实施方式
[0073]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0074]
本实施例提供一种基于时空车辆重识别的智慧园区无人泊车方法，其应用的系统架构主要由四个模块组成：车辆特征提取模块、车辆重识别特征关联模块、车位识别与泊车调度模块及停车定时无感支付模块。
[0075]
车辆特征提取模块是部署在智慧灯杆、进出口闸机等边缘端位置的一批时间戳同步的的智能终端模组，该模组包括视频数据端口、安装固定机械接口用于适配连接海康、大华、宇视等不同品牌的摄像头，采用海思ai芯片对摄像头视频流进行实时处理，获取关键帧图像信息，对车辆品牌、车型、车身颜色、车牌等特征信息进行提取，采用5g sub-6 ghz芯片实现各模组之间的通信，采用和芯星通nebulasiv uc9810北斗芯片进行终端定位，具体包含入口闸机处车牌特征提取子模块与重识别阶段车辆外观特征提取子模块。
[0076]
车辆重识别特征关联模块部署于后端服务器系统，基于园区分布的智能终端模组传来的关键帧图像及提取特征进行车辆重识别关联处理。基于云端存储单元构建边端智能摄像头下车辆重识别数据库。
[0077]
车位识别与泊车调度模块采取云边协同架构部署在智慧灯杆位置及后端服务器系统，边缘侧通过轻量化关键点检测算法检测车位。
[0078]
停车定时无感支付模块采取部署于后端服务器系统与地锁模块，智慧地锁与后端系统协同完成车位状态监视、停车时长的计算和停车费用计算，经由通信模块发送至用户终端，完成无感支付。
[0079]
具体的，如图1和图2所示，包括以下步骤：
[0080]
步骤s1：当目标车辆到达停车场入口处时，部署于入口闸机处的车牌特征提取子模块通过智能灯杆中的摄像头获取目标车辆的第一图像关键帧信息，并使用通信模块传输至后端模块，由后端系统的车牌提取子模块完成车牌特征信息的提取，将目标车辆基本信息存储于后端数据库。
[0081]
步骤s11：修改基于yolov5的单步目标检测网络的网络配置及准备数据集，较优地，采用efficientnet作为主干网络模型，提高模型整体运行效率，模型结构如图3所示；采用旋转/反射变换、噪声扰动的数据增强方法，增强模型的适应能力；在mosaic基础上，添加mixup增强方法，以提高数据样本质量；添加自适应特征融合asff层对不同层级的特征加权融合；使用涵盖多种情况的图像样本作为训练集，包括不同光照条件、不同天气、不同角度。
[0082]
步骤s12：经过步骤s11所述的处理后，利用数据增强后的数据集训练网络，得到车牌信息识别模型。如图3中backbone虚线框所示，主干网络更换为了efficientnet，efficientnet相较于yolov5模型的backbone而言，具有更少的参数和更高的运行效率；如图3中neck虚线框所示，取backbone中最后三次下采样的结果输入到neck层进行处理；如图3中prediction虚线框所示，预测部分完成三个尺度的预测。
[0083]
需要说明的是，efficientnet网络包含b0至b7等多个版本，在上述实施例中仅采用b0版本用于辅助阐述，采用其它版本的efficientnet网络作为backbone替换方法的实施例亦应当属于本发明的保护范围内。
[0084]
步骤s13：将步骤s12训练得到的车牌信息识别模型部署于后端系统中，当位于停车场入口闸机处的智慧灯杆模组发出车牌信息识别的功能请求，后端系统将该智慧灯杆模组传输过来的关键帧图像信息输入到车牌信息识别模型中并调用，将识别结果存储于数据库中。
[0085]
步骤s2：停车场入口闸机对目标车辆放行后，后端系统调用最优车位推荐子模块和路径规划子模块，基于路径规划算法为目标车辆推荐最优车位，并基于灯杆唯一点位构建路径，引导车辆停靠。具体的，包括以下步骤：
[0086]
步骤s21：停车场入口闸机对目标车辆放行后，获取当前状态下园区停车位状态序列x(n)＝{x1,x2,
…
,xn}，其中n代表园区停车位总数，xi代表编号i的车位的状态分数，当车位i为空车位时，xi取1；当车位i不为空时，xi取一个相较于1足够小的浮点数ε，0ε＜＜1。
[0087]
步骤s22：计算车位评估函数f(i)：
[0088]
f(i)＝xi*yi+zi)
[0089]
其中，yi表示停车位距离评估分数，距离入口处的路程越短，分数越高；zi表示停车位停靠难度评估分数，根据车位本身属性与车位周围环境属性加权计算得到。
[0090]
步骤s23：根据车位评估函数f(i)，维护一个由所有车位构成的优先队列pq，评估函数值大的靠近队首，较优地，当有已停靠的车辆驶出车位时，从后端获取更新后的停车位状态，更新xi与zi，即更新优先队列中元素的排列，实现最优车位的动态推荐。在需要推荐最优车位时，队首元素即为最优车位besti，将起点设置为入口处，终点设置为最优车位，作为基于dijkstra算法的单源路径规划算法的输入。
[0091]
步骤s24：基于dijkstra算法的单源路径规划算法，利用灯杆地理位置的唯一性，将道路旁的灯杆捆绑到与其相近且位于道路中的一点，作为该灯杆的标记点，在后端系统部署时，预先导入灯杆标记点以及标记点之间的联通关系，作为无向图中的顶点与边，使用dijkstra算法计算最短路径，完成路径规划，引导车辆停靠。由于dijkstra算法每一步都能计算到图中其余所有点的最短距离，因此当最优停车位发生改变时，可以直接得到新的规划路径。
[0092]
其中，步骤s21-步骤s23由最优车位推荐子模块完成，步骤s24由路径规划子模块完成。
[0093]
本实施例提供一种具体的实现方式，图4为一个园区内灯杆摄像头、标记点与楼宇停车位分布图，其中1至4号楼宇各有4个停车位，21号楼没有停车位，其它楼宇各有2个停车位；28根灯杆沿着园区道路进行了摄像头部署，图中黄点即道路旁的灯杆捆绑的与其相近且位于道路中的标记点，其中12号灯杆由于并非分布于园区道路旁，因此不产生标记点。
[0094]
设园区停车位总数为n，灯杆个数为m，根据灯杆摄像头是否能够拍摄到车位构建停车位与灯杆的对应关系，即假设灯杆lh,
…
,li(h≤i)能够拍摄到车位pj,
…
,pk(j≤k)，则corres_lamppost({pj,
…
,pk})＝{lh,
…
,li}，corrres_lamppost函数表示车位集合对应的灯杆集合，设车位状态序列x(n)＝{x1,x2,
…
,xn}，其中xi代表编号i的车位的状态分数，当车位i为空车位时，取1；当车位i不为空时，取一个相较于1足够小的浮点数ε(0ε＜＜1)；设yi表示停车位距离评估分数，距离入口处的路程长越小，分数越高；设zi表示停车位停靠难度评估分数，根据车位本身属性与车位周围环境属性加权计算得到，包括但不局限于平行式停车位、垂直式停车位、斜列式停车位赋予不同分值，该车位相邻的车位若已停靠其它车辆，则分数降低等。根据上述变量计算车位评估函数f(i)，根据车位评估函数维护一个由所有车位的分数构成的优先队列pq，评估函数值较大的靠近队首。当调用此模块时，取出队首元素，即为最优车位p
best
。
[0095]
设园区所有灯杆捆绑的与其相近且位于道路中的标记点个数为m，标记点集合为dd1,d2,
……
,dm}，定义入口标记点为d0，记上述最优车位p
best
对应的标记点为d
best
，根据各标记点的地理位置信息可计算任意两个标记点之间的空间距离，由d中任意两点之间的空间距离、起点d0、终点d
best
可构建基于迪杰斯特拉算法的单源最短路径求解问题：引入一个空队列s和一个空的升序排列的优先队列u，s中存放已求出最短路径的标记点及相应最短路径长度，u存放未求出最短路径的标记点及相应路径长度，具体步骤如下：
[0096]
1)s中存入起点d0，其余标记点存入u，并记录u中各标记点到起点的距离，若不相邻则记为无穷大；
[0097]
2)从u中取出队首(路径最短)标记点d
min
，将其存入s的队尾，从u中移除队首元素，并更新u中其余各标记点到起点的距离；
[0098]
3)重复步骤2)，直至优先队列u，即所有标记点已遍历完。
[0099]
队列s中所有元素依次出列，即为起点到各标记点的最短距离，只需取出终点d
best
的最短路径长度即可求得到最优停车位的最短距离。
[0100]
另外，当某时刻停车位状态发生改变，包括但不局限于停车场中另一辆已停靠的车辆驶出停车位的情况，需要更新停车位状态并重新计算车位评估函数，此时最优停车位可能发生改变，较优地，在基于灯杆唯一点位的迪杰斯特拉算法计算完成后，由于起点固定，且起点到各点位的最短距离也已求出(队列s中的元素)，因此只需修改终点，取出相应的最短距离和点位路径即可。
[0101]
步骤s3：调用分布于智慧园区中的多个灯杆获取目标车辆行驶过程中的第二图像关键帧信息，并基于第一、第二图像关键帧信息和车牌特征信息，利用部署于后端的车辆重识别特征关联模块通过重识别网络pvrs(progressive vehicle reidentification system)进行重识别关联处理，结合车辆外观特征、各灯杆地理标签和时间戳生成目标车辆行驶轨迹，计算车辆平均行驶速度，对行驶路线进行实时监控。
[0102]
车辆重识别特征关联模块包括31)自监督注意力车辆外观识别子模块、32)车牌验证子模块和33)基于时空关联信息的重排序子模块，如图5所示。
[0103]
31)自监督注意力车辆外观识别子模块
[0104]
自监督注意力车辆外观识别子模块基于自监督注意力机制对图像关键帧信息进行特征提取得到车辆外观特征，本实施例中，特征提取基于自监督残差生成和深层特征提
取完成，具体结构设计如图6所示，包括以下步骤：
[0105]
步骤s311：自监督残差生成：使用新型的vae架构，通过最大池化将输入图像进行下采样，降低维度，再通过潜在特征的均值和协方差进行重新参数化，即变分自动编码器，最后对潜在特征映射进行上采样，进行图像重建工作，过程中使用均方误差(mse)和kl散度(kl)对重建模型进行预训练，如图6左半部分所示。损失函数公式表示如下：
[0106]
l
construct
＝l
mse
+θl
kl
[0107]
其中，θ用于调整均方误差与kl散度的权重比，l
mse
为均方误差损失，l
kl
为kl散度损失，l
construct
为重建模型的损失函数。
[0108]
步骤s312：深层特征提取：使用一个单分支的resnet-50特征提取网络，将车辆图像投射到一个低维向量空间，并保留有效表征车辆身份的特征。
[0109]
步骤s313：使用可学习的参数对原始图像和其残差进行权重划分，允许特征提取网络对每个输入源的重要性加权，如图6右半部分所示。此过程中总损失函数公式表示如下：
[0110]
l＝l
triplet
+l
crossentropy
+μl
construct
[0111][0112][0113]
其中，l
triplet
代表三重态损失函数，l
crossentropy
代表交叉熵损失函数，l
construct
代表重建模型的损失函数，μ为预配置的调节参数，本实施例中μ设置为100。
[0114]
三重态损失函数中，对于给定的anchor，b表示总批数，bi表示第i个批次，s表示另外一个样本，offset表示距离边缘阈值，p(a)和n(a)分别表示正样本和负样本，euclid()表示两个样本间的欧几里得距离。
[0115]
交叉熵损失函数中，和分别表示训练集中第i个图像经过bn neck层后提取的特征及其对应的ground-truth标签，wj和dj是最终分类层中与类别j相关的权重向量和偏差，n和c分别代表训练过程中的总样本数和类别数。
[0116]
步骤s314：将提取到的车辆外观特征的欧几里得距离相加，根据相似程度得到相似度列表，实现车辆外观特征提取。
[0117]
根据以上步骤训练车辆外观特征提取的神经网络，得到的模型用于初步筛选重识别车辆数据。然而，很难只通过外观来匹配同一辆车的图像，因此，还需要进行结合32)车牌验证子模块和33)基于时空关联信息的重排序子模块提高车辆定位精度。
[0118]
32)车牌验证子模块
[0119]
车牌验证子模块采用孪生神经网络snn实现车牌验证，孪生神经网络snn的结构如图7所示，采用两个具有完全相同的网络结构，在正向和反向计算中共享相同权重的cnn；每一个cnn由两个卷积层、池化层和三个全连接层构成；本实施例中，使用两个卷积核为5
×
5的卷积层和池化层进行特征提取，以及输出channels依次为1500、1000、2的三个全连接层进行度量空间的学习，对于输入的两幅图像，若车牌信息一致，则人工标注标签1，否则标注
0。对比损失函数公式表示如下：
[0120][0121]
euclid(x1,x2)＝||x
1-x2||
[0122]
其中，x1，x2分别代表输入样本x1和x2经过向前传播后的特征向量，euclid(x1,x2)表示两个特征向量的欧几里得距离，用于定量表示两个向量的相似度，hp为超参数，本实施例中hp取1。
[0123]
根据上述步骤使用车牌信息完成对于可能匹配数据的进一步筛选。
[0124]
33)基于时空关联信息的重排序子模块
[0125]
重排序子模块通过通过时空关联匹配对31)和32)筛选后的车辆数据进行降序排列最终筛选较优地，考虑到时空相似度越高的两幅图像中的车辆更有可能是同一车辆，因此根据时空相似度对步骤s31、s32筛选出的车辆数据重排序，择出最优车辆。时空相似度公式化表示如下：
[0126][0127]
其中，a,b分别表示灯杆la,lb的摄像头分别拍摄得到的两张图像，ta,tb分别表示两张图像的时间戳，t
max
表示一段时间t内，园区所有摄像头拍摄得到的所有图像帧的时间戳的最大值，dist(la,lb)表示两个灯杆摄像头的物理距离，d
max
表示园区中任意两个摄像头的物理距离的最大值，μ表示一个权重函数，取值为(0,1之间，越接近1表示时近空相似度更注重时间相似度，越接0表示时空相似度更注重空间相似度，str(a,b)表示两张图像的时空相似度。
[0128]
将上述时空相似度和31)、s32)中的特征通过后期融合或者top-k重排序方法进行融合，筛选出最优车辆重识别数据。
[0129]
较优地，当车辆重识别特征关联模块对于图像a给出最优重识别匹配b，即两张图像中的目标车辆是同一车辆的概率最高，则可以由下式计算车辆阶段速率：
[0130][0131]
其中，ta,tb分别表示预测结果两张图像的时间戳，s(la,lb)表示步骤s24中所述的灯杆la,lb对应的道路中的标记点的路程距离，单位为米。
[0132]
较优地，当车辆重识别特征关联模块对于图像a给出最优重识别匹配b，即两张图像中的目标车辆是同一车辆的概率最高，则通过如下判断生成该车辆的行驶轨迹：
[0133]
若灯杆la,lb的路径上存在另一灯杆lc，且后端数据库中存有车辆重识别特征关联模块对于图像a与图像c的最优匹配记录，即存在该车辆的行驶轨迹记录a-》c，则更新后端数据库中此车辆的行驶轨迹为a-》b-》c；否则直接向后端数据库中添加该车辆的行驶轨迹a-》b。
[0134]
步骤s4：部署于智慧灯杆与后端系统的车位识别与泊车调度模块基于轻量化关键点停车位检测算法对车位进行检测，结合灯杆与地锁对车辆与车位进行匹配判断，若匹配成功则完成车辆自主停靠动作以及停车是否规范的判断。
[0135]
车位识别与泊车调度模块包括停车位检测子模块和自主泊车与停车判断子模块。
[0136]
停车位检测子模块执行步骤s41：采用轻量化关键点停车位检测算法对车位进行检测，具体为：训练一个backbone为mobilenet-v3的轻量级卷积神经网络，对于车位的关键点(角点)进行回归预测；对灯杆摄像头拍摄得到的图像帧使用canny算子进行车位边缘检测，canny算子不易受噪声干扰，对于弱边缘的检测效果较佳；以回归的关键点为顶点，延申canny算子得到的边缘侧，若预测的关键点个数少于车位实际关键点个数，则将延伸的边的交点作为新的顶点，否则仅作边的延申，完成车位检测。
[0137]
图8为鸟瞰视角下基于关键点检测和边缘检测算子的停车位检测示意图，其中，黑边白底代表停车位的四个角线；黑点代表基于关键点检测模型得到的关键点预测，需要说明的是，本发明中关键点的定义为停车位的四个角点中灯杆摄像头可捕获到的角点；黑色粗实线代表基于canny边缘检测算子检测的边缘；黑色细虚线代表基于canny边缘检测算子得到的边缘与关键点协同进行延申后得到的车位边缘所在直线。具体步骤如下：
[0138]
1)训练并部署一个车位角点检测的模型；
[0139]
2)输入灯杆摄像头拍摄的含有车位的图像帧；
[0140]
3)对于输入图像帧使用关键点检测模型预测车位角点、使用canny算子进行车位边缘检测；
[0141]
4)以预测的角点为顶点，延申得到的边缘侧，若预测的关键点个数少于车位实际关键点个数，则将延伸的边的交点作为新的顶点，否则仅作边的延申。
[0142]
同时，上述canny边缘检测算子还包括以下步骤：高斯平滑、计算梯度幅度和方向、根据角度对幅值进行非极大值抑制、用双阈值算法检测和连接边缘。
[0143]
自主泊车与停车判断子模块执行步骤s42-s47。
[0144]
步骤s42：导入每个车位的匹配情况，并存储至后端系统，地锁终端通过智慧灯杆向后端发送获取车位匹配请求，获取每个车位的当前匹配车辆。
[0145]
步骤s43：处于抬起状态的地锁，基于超声波测距检测车辆是否进入当前车位范围，若是则调用对应灯杆的摄像头拍摄车辆车牌并发送至后端系统。
[0146]
超声波测距的计算公式为：
[0147]
l＝t
飞行
×v声音
/2
[0148]
其中，l表示目标到收发器距离，t
飞行
表示飞行时间，v
声音
表示声音在空气中传播速度。
[0149]
步骤s44：后端调用车牌验证子模块识别目标车辆车牌信息，地锁匹配的灯杆从后端服务器系统获取车辆重识别网络的识别结果，对试图停入该车位的车辆进行匹配检测，并将检测信息传入地锁控制器中。
[0150]
步骤s45：地锁控制器将检测信息与步骤s42中车位的当前匹配车辆进行匹配：若匹配成功，地锁下降，车辆进行自主停靠，停入车位；反之，地锁保持抬起状态，并将匹配失败信息通过射频通讯发送至对应灯杆，灯杆向后端进行反馈，车辆进而从后端系统得到匹配结果。
[0151]
步骤s46：车辆停入匹配成功车位的过程中，智慧灯杆的摄像头拍摄图像帧发送到后端系统，后端系统基于步骤s41的车位检测结果判断停车是否规范并发送反馈信息至用户终端。
[0152]
步骤s47：地锁通过超声波测距装置确定车辆是否已停入，若已停入，通过射频技术将停入信号发送至灯杆，灯杆记录当前时间戳，作为停入时间戳并发送至后端系统；同时，地锁将其对应的停车位的车辆停入结果发送至地锁匹配的灯杆，再由灯杆发送至后端，后端更新停车位状态。
[0153]
更优地，地锁模块与智慧灯杆系统进行协同工作，当灯杆识别到疑似违停车辆，将信息传输至地锁终端，若对应停车位在后端数据库存储中为未停车状态，则该车标注为违停车辆；智慧灯杆系统向后端发送车辆重识别模块请求，调用车辆重识别模块，获取该车辆行车轨迹，定位违停车辆，与后端系统进行关键信息交互。
[0154]
步骤s5：当地锁检测到目标车辆驶出停车位时，部署于智慧地锁与后端系统的停车定时无感支付模块通过地锁统计车辆停靠时长，并通信模块传输交由后端计算停车费用，实现无感支付。
[0155]
步骤s51：地锁基于超声波测距检测车辆是否驶出车位，若是则地锁抬升并通过射频通信模块向智慧灯杆发送驶出信号，灯杆记录当前时间戳作为驶出时间戳，并发送至后端系统；同时，地锁将其对应的停车位的车辆驶出结果发送至地锁匹配的灯杆，再由灯杆发送至后端，后端更新停车位状态。
[0156]
步骤s52：后端系统根据驶出时间戳与停入时间戳之差与停车费用计算规则计算目标车辆的停车费用。
[0157]
步骤s53：智慧灯杆接收到来自地锁的驶出信号时，再次调用重识别网络跟踪检测车辆行驶轨迹，直至车辆驶出停车场。
[0158]
步骤s54：后端系统通过移动通信网络将停车费用发送至目标车辆车牌所对应的车主，从绑定的电子支付账户扣除费用并发送扣费通知，实现无感支付。
[0159]
步骤s4和s5均涉及一种智慧地锁，其是一种将车牌识别技术与车位锁相结合的智能化设备。地锁识别模块包括超声波测距装置、摄像头、嵌入式控制器、电机模块等，实现对车牌识别，车辆信息的判别，停车时长的记录，后台服务器的交互等功能。车位锁系统的核心模块为嵌入式控制器、图像采集模块(摄像头)。
[0160]
图9表示一种地锁智能设备的总体设计框图，结合该图给出以下具体实施方案：
[0161]
采用基于arm的微型电脑板，以sd/microsd卡为内存硬盘，搭载了1.2ghz的64位4core处理器——树莓派3b，作为嵌入式控制器模块；
[0162]
摄像头部分采用树莓派专用的广角摄像头——csi摄像头，其基于感光芯片ov5647开发，采集的静态图片分辨率为2592
×
1944，图像达到500万高清像素，具备传输速度快、反应灵敏等特点。
[0163]
超声波测距模块部分采用hc-sr04，hc-sr04模块通过信号发射端发送超声波，当超声波遇到障碍物时将发生反射，最终接收端将监测到反射回来的超声波；通过计算超声波在空气中的传播速度与飞行时间便求解障碍物的实际距离。
[0164]
电机驱动模块根据遥控车位锁的驱动需求，选择tb6612电机驱动模块。
[0165]
本实施例中，通信模块主要包括灯杆与地锁通讯协议、灯杆与后端通讯协议。
[0166]
灯杆与地锁通讯协议主要指灯杆与地锁之间采用rf射频技术进行通讯；rf射频将信息源(模拟信号或数字信号)用高频电流进行调制(调幅或调频)，形成射频信号，经过天线发射到空中；在远距离将射频信号接收后进行反调制，还原成电信息源。这一过程即为无
线传输。射频通信主要依靠的设备为发射机和接收机；射频通信电路主要采用的是单片机，其具有较好的兼容性，避免了复杂了编码程序，外围配件分布简单，便于使用；射频通信主要选用2.4ghz通信芯片，能耗较低，工作模式共有四种，同时集成了链路层协议，提高了数据的传输速度。
[0167]
灯杆与后端通讯协议，主要指灯杆与地锁之间采用移动通信，包括3g/4g/5g移动网络。，此通信方式依赖通信基站，优势在于通信接入便捷，传输距离远，通信成本较低，当地只要有运营商网络信号就可以建立智慧灯杆的通信传输。智慧灯杆模组选用4g/5g通信方式，方便快速组网，覆盖范围死角小，能够便捷实现数据上云，对接云端管理平台和远程监测反馈，提高智能灯杆系统的智能化管理水平。
[0168]
后端系统，用于存储全局大场景涉及到的所有有效的数据信息和处理所有的数据运算，以及部署本技术方案所包含的所有算法及神经网络，包括车牌信息识别网络、视时空关联车辆重识别网络、停车位检测算法、路径规划算法等。
[0169]
综上所述，本发明涉及车辆重识别、场景文字识别、图像处理、多传感器数据融合、多模态数据处理、神经网络、电子、软件、嵌入式计算机、总线通讯等相关领域。针对现有的智能停车场，给出了较为完善的系统构思，为无人驾驶的普及提供有力支持。
[0170]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

技术特征：
1.一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，包括以下步骤：步骤s1：当目标车辆到达停车场入口处时，获取部署于入口处灯杆上的摄像头拍摄的目标车辆的第一图像关键帧信息，并进行车牌特征信息提取；步骤s2：停车场入口闸机对目标车辆放行后，基于路径规划算法为目标车辆推荐最优车位，并基于灯杆唯一点位构建路径，引导车辆停靠；步骤s3：调用分布于智慧园区中的多个灯杆获取目标车辆行驶过程中的第二图像关键帧信息，并基于第一、第二图像关键帧信息和车牌特征信息，利用车辆重识别网络pvrs进行重识别关联处理，结合车辆外观特征、各灯杆地理标签和时间戳生成目标车辆行驶轨迹，计算车辆平均行驶速度，对行驶路线进行实时监控；步骤s4：基于轻量化关键点停车位检测算法对车位进行检测，结合灯杆与地锁对车辆与车位进行匹配判断，若匹配成功则完成车辆自主停靠动作以及停车是否规范的判断；步骤s5：当地锁检测到目标车辆驶出停车位时，统计车辆停靠时长，并计算停车费用，实现无感支付。2.根据权利要求1所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述车牌特征信息提取采用基于yolov5的单步目标检测网络实现，所述单步目标检测网络对yolov5网络进行以下改进：将backbone更换为efficientnet；采用旋转或反射变换、噪声扰动的数据增强方法；在mosaic基础上，添加mixup增强方法；添加自适应特征融合asff层对不同层级的特征加权融合；使用涵盖多种情况的图像样本作为训练集对网络进行训练，其中，所述多种情况包括不同光照条件、不同天气、不同角度。3.根据权利要求1所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述步骤s2包括以下步骤：步骤s21：停车场入口闸机对目标车辆放行后，获取当前状态下园区停车位状态序列x(n)＝{x1,x2,
…
,x
n
}，其中n代表园区停车位总数，x
i
代表编号i的车位的状态分数，当车位i为空车位时，x
i
取1；当车位i不为空时，x
i
取浮点数ε，0＜ε＜＜1；步骤s22：计算车位评估函数f(i)：f(i)＝x
i
*(y
i
+z
i
)其中，y
i
表示停车位距离评估分数，距离入口处的路程越短，分数越高；z
i
表示停车位停靠难度评估分数，根据车位本身属性与车位周围环境属性加权计算得到；步骤s23：根据车位评估函数f(i)，维护一个由所有车位构成的优先队列pq，评估函数值大的靠近队首，在需要推荐最优车位时，队首元素即为最优车位besti，将起点设置为入口处，终点设置为最优车位，作为基于dijkstra算法的单源路径规划算法的输入；步骤s24：基于dijkstra算法的单源路径规划算法，利用灯杆地理位置的唯一性，将道路旁的灯杆捆绑到与其相近且位于道路中的一点，作为该灯杆的标记点，根据灯杆标记点以及标记点之间的联通关系，作为无向图中的顶点与边，使用dijkstra算法计算最短路径，完成路径规划，引导车辆停靠。4.根据权利要求1所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述车辆重识别网络pvrs包括自监督注意力车辆外观识别子模块、车牌验证子模块和基于时空关联信息的重排序子模块。5.根据权利要求4所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征
在于，所述自监督注意力车辆外观识别子模块基于自监督注意力机制对图像关键帧信息进行特征提取得到车辆外观特征，所述特征提取基于自监督残差生成和深层特征提取完成，具体包括以下步骤：步骤s311：自监督残差生成：使用新型的vae架构，通过最大池化将输入图像进行下采样，降低维度，再通过潜在特征的均值和协方差进行重新参数化，即变分自动编码器，最后对潜在特征映射进行上采样，进行图像重建工作，过程中使用均方误差和kl散度对重建模型进行预训练，损失函数公式表示如下：l
construct
＝l
mse
+θl
kl
其中，θ用于调整均方误差与kl散度的权重比，l
mse
为均方误差损失，l
kl
为kl散度损失，l
construct
为重建模型的损失函数；步骤s312：深层特征提取：使用一个单分支的resnet-50特征提取网络，将车辆图像投射到一个低维向量空间，并保留有效表征车辆身份的特征；步骤s313：使用可学习的参数对原始图像和其残差进行权重划分，允许特征提取网络对每个输入源的重要性加权，此过程中总损失函数公式表示如下：l＝l
triplet
+l
crossentropy
+μl
constructconstruct
其中，l
triplet
代表三重态损失函数，l
crossentropy
代表交叉熵损失函数，l
construct
代表重建模型的损失函数，μ为预配置的调节参数；三重态损失函数中，对于给定的anchor，b表示总批数，b
i
表示第i个批次，s表示另外一个样本，offset表示距离边缘阈值，p(a)和n(a)分别表示正样本和负样本，euclid()表示两个样本间的欧几里得距离；交叉熵损失函数中，和分别表示训练集中第i个图像经过bn neck层后提取的特征及其对应的ground-truth标签，w
j
和d
j
是最终分类层中与类别j相关的权重向量和偏差，n和c分别代表训练过程中的总样本数和类别数；步骤s314：将提取到的车辆外观特征的欧几里得距离相加，根据相似程度得到相似度列表，实现车辆外观特征提取。6.根据权利要求4所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述车牌验证子模块采用孪生神经网络snn实现车牌验证，其中所述孪生神经网络snn采用两个具有完全相同的网络结构，在正向和反向计算中共享相同权重的cnn；每一个cnn由两个卷积层、池化层和三个全连接层构成；对比损失函数公式表示如下：euclid(x1，x2)＝||x
1-x2||其中，x1，x2分别代表输入样本x1和x2经过向前传播后的特征向量，euclid(x1，x2)表示
两个特征向量的欧几里得距离，用于定量表示两个向量的相似度，hp为超参数。7.根据权利要求4所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述基于时空关联信息的重排序子模块通过如下时空相似度公式进行降序排列筛选：其中，a，b分别表示灯杆l
a
，l
b
的摄像头分别拍摄得到的两张图像，t
a
，t
b
分别表示两张图像的时间戳，t
max
表示一段时间t内，园区所有摄像头拍摄得到的所有图像帧的时间戳的最大值，dist(l
a
，l
b
)表示两个灯杆摄像头的物理距离，d
max
表示园区中任意两个摄像头的物理距离的最大值，μ表示一个权重函数，取值为(0，1)之间，越接近1表示时近空相似度更注重时间相似度，越接0表示时空相似度更注重空间相似度。8.根据权利要求4所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述步骤s4包括以下步骤：步骤s41：采用轻量化关键点停车位检测算法对车位进行检测，具体为：训练一个backbone为mobilenet-v3的轻量级卷积神经网络，对于车位的关键点进行回归预测；对灯杆摄像头拍摄得到的图像帧使用canny算子进行车位边缘检测；以回归的关键点为顶点，延申canny算子得到的边缘侧，若预测的关键点个数少于车位实际关键点个数，则将延伸的边的交点作为新的顶点，否则仅作边的延申，完成车位检测；步骤s42：地锁终端获取每个车位的当前匹配车辆；步骤s43：处于抬起状态的地锁，基于超声波测距检测车辆是否进入当前车位范围，若是则调用对应灯杆的摄像头拍摄车辆车牌；步骤s44：调用车牌验证子模块识别目标车辆车牌信息，地锁匹配的灯杆获取车辆重识别网络的识别结果，对试图停入该车位的车辆进行匹配检测，并将检测信息传入地锁控制器中；步骤s45：地锁控制器将检测信息与步骤s42中车位的当前匹配车辆进行匹配：若匹配成功，地锁下降，车辆进行自主停靠，停入车位；反之，地锁保持抬起状态，并保存匹配失败信息；步骤s46：车辆停入匹配成功车位的过程中，智慧灯杆的摄像头拍摄图像帧，基于步骤s41的车位检测结果判断停车是否规范并发送反馈信息至用户终端；步骤s47：车辆停入车位后，更新停车位状态，并记录当前时间戳，作为停入时间戳。9.根据权利要求8所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述超声波测距的计算公式为：l＝t
飞行
×v声音
/2其中，l表示目标到收发器距离，t
飞行
表示飞行时间，v
声音
表示声音在空气中传播速度。10.根据权利要求8所述的一种基于时空车辆重识别的智慧园区无人泊车方法，其特征在于，所述步骤s5包括以下步骤：步骤s51：基于超声波测距检测车辆是否驶出车位，若是则地锁抬升并向智慧灯杆发送驶出信号，记录当前时间戳作为驶出时间戳，同时，更新车位状态；步骤s52：根据驶出时间戳与停入时间戳之差与停车费用计算规则计算目标车辆的停
车费用；步骤s53：智慧灯杆接收到来自地锁的驶出信号时，再次调用重识别网络跟踪检测车辆行驶轨迹，直至车辆驶出停车场；步骤s54：通过移动通信网络将停车费用发送至目标车辆车牌所对应的车主，从绑定的电子支付账户扣除费用并发送扣费通知，实现无感支付。

技术总结
本发明涉及一种基于时空车辆重识别的智慧园区无人泊车方法，包括：获取目标车辆的图像关键帧信息，并进行车牌特征信息提取；基于路径规划算法为目标车辆推荐最优车位，并基于灯杆唯一点位构建路径，引导车辆停靠；基于图像关键帧信息和车牌特征信息，利用车辆重识别网络进行重识别关联处理，结合车辆外观特征、各灯杆地理标签和时间戳生成目标车辆行驶轨迹；基于轻量化关键点停车位检测算法对车位进行检测，结合灯杆与地锁对车辆与车位进行匹配判断，若匹配成功则进行车辆自主停靠以及停车是否规范的判断；当目标车辆驶出停车位时，统计车辆停靠时长并计算停车费用，实现无感支付。与现有技术相比，本发明具有车辆定位精度高、实用性强等优点。实用性强等优点。实用性强等优点。


技术研发人员：朱忠攀 张智淋 何斌 龚哲飞 张朋朋
受保护的技术使用者：同济大学
技术研发日：2023.02.17
技术公布日：2023/6/28