一种停车场泊位占用状态全景式检测方法及系统与流程

1.本发明涉及计算机视觉领域，特别涉及一种停车场泊位占用状态全景式检测方法及系统。


背景技术：

2.目前，在泊位感知技术的应用上，现有的视频监控检测管理方法因其更鲁棒的抗干扰能力、更好的辨识精准度和更强的可视化表达能力，逐渐取代基于雷达、红外和微波等感知检测手段，在停车场管理中得到广泛和普遍的应用。但无论是停车场管理者还是驾车用户，“信息孤岛”停车问题大都仍源于对停车场内实时可用泊位资源的粗放、非实时、不可靠感知，为有限且紧张的停车资源进一步利用带来很大的障碍。为解决上述问题，可在每一个车位安装配备视频监控摄像头以感知泊位占用状态，但这种方法管理成本无疑是巨大的，难以进一步推广应用。
3.因此需要设计新的视频监控停车场泊位管理方法和系统，以更智能、更少的管理成本疏通和加快这一城市停车最基础环节的信息和数据的流动。


技术实现要素：

4.为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种停车场泊位占用状态全景式检测方法及系统。
5.本发明的目的通过以下技术方案实现：
6.一种停车场泊位占用状态全景式检测方法，包括：
7.获得待管理停车场地的空间布局形态，根据每个监控摄像头的覆盖范围，确定实现待管理停车场泊位检测所需摄像头的布局方案；
8.构建泊位状态检测模块，泊位状态检测模块包括基于深度学习的车辆识别模型及基于深度学习的车位识别模型，用于获得停车场内的车辆及车位信息；
9.构建全景底图生成模块，具体是端到端视角变换模型，所述端到端视角变换模型包括透视变换模型及视觉拼接模型，用于生成拍摄对象的2d全景底图；
10.构建原始数字化2d停车场全景图，通过车辆识别模型及车位识别模型获取各个监控视角图像下的初始化泊位信息，运行端到端视角变换模型将得到包括各个视角下的初始化泊位信息的图像序列进行拼接融合，形成原始数字化2d停车场全景图；
11.根据实时获得的停车场内车辆及车辆信息，通过透视变换模型及视觉拼接模型获得各个监控视角下的实时泊位占用状态，融合原始数字化2d停车场全景图，生成泊位实时检测结果的可视化表征即实时数字化2d停车场全景泊位占用底图。
12.进一步，所述车辆识别模型采用轻量级改进yolov4网络作为检测框架，具体为：
13.利用骨干网络提取输入图像的三种尺度特征图，所述骨干网络为csp darknet53；
14.特征融合网络将提取的三种尺度特征图，按照尺度大小融合权重依次下降；
15.将特征融合网络输出的特征图通过卷积操作，得到三种长度不同的特征向量，解
码特征向量得到输入图像中的目标信息，所述目标信息包括目标种类及位置。
16.进一步，所述车位识别模型采用轻量级ssd网络作为检测框架，具体为：
17.采用骨干网络对输入图像进行特征提取，所述骨干网络为resnet-50；
18.采用剪枝后的ssd网络对特征进行融合，得到输入图像中的目标信息，所述剪枝后的ssd网络仅保留输出10
×
10大小特征图的网络结构。
19.进一步，所述透视变换模型在训练阶段采用vgg-16作为特征提取骨干网络，所述透视变换模型以两张满足某一透视变换关系的图像对作为输入，输出两张图像之间某4个特征点的偏移量，将偏移量与原始4个特征点坐标信息融合，可求解4对变换前后对应的特征点对坐标，从而得到该图像对之间的透视变换。
20.进一步，所述构建原始数字化2d停车场全景图，具体工作过程为：
21.依次调用车辆识别模型和车辆识别模型，检出各监控视角下的车辆停放位置及空余泊位；
22.设车辆停放的位置与泊位位置存在一一对应关系，采用动态背景生成的方法，以滑动窗口的方式批量循环遍历车辆停放位置与空余泊位位置的像素坐标，利用移动平均法分别计算单次遍历车辆停放位置与空余泊位位置信息的加权均值，直至该加权均值收敛；
23.收敛后的加权均值可表征单个监控视频视角中的车位位置，通过该值确定图像中的各车位中心点像素坐标，并以设定颜色的四边形框描出每个车位的边界，由此产生各个车位唯一的位置识别信息，所述位置识别信息包括：图像中每个车位位置对应的边界框的四个顶点的像素坐标、边界框中心点的像素坐标以及唯一的id编号，这三者是一一对应关系，将上述信息叠加绘制到原始的监控视频图像，得到的复合图像为“绘制好车位位置信息的单个监控摄像头成像图像”，逐一将绘制好车位位置信息的单个监控摄像头图像，输入到端到端视角转换模型中，生成原始数字化2d停车场全景底图，该底图以垂直鸟瞰图视角呈现多个“绘制好车位位置信息的单个监控摄像头成像图像”的拼接结果，该拼接结果包含场内所有车位的id编号、边界框顶点与边界框中心点坐标信息。
24.进一步，根据实时获得的停车场内车辆及车辆信息，通过透视变换模型及视觉拼接模型获得各个监控视角下的实时泊位占用状态，融合原始数字化2d停车场全景图，生成泊位实时检测结果的可视化表征即实时数字化2d停车场全景泊位占用底图，具体为：
25.首先采用最近邻算法在数字化2d停车场全景图中搜寻与所述车辆检测模型检出的实时车辆位置边界框中心点在像素坐标系下的欧式距离小于一定阈值a的所有待定车位id编号，这些待定的车位是有可能已经被使用的车位；
26.再应用iou判断法确定被占用的车位，所述车辆识别模型识别得到的车辆位置边界框与“绘制好车位位置信息的单个监控摄像头成像图像”中包含的“车位的位置信息”之间的关系，逐一确定停车场内所有所述单个摄像头监控视角图像中的泊位实时占用情况，然后，将判断结果融合所述原始数字化2d停车场全景底图的信息，生成泊位实时检测结果的可视化表征——实时数字化2d停车场全景泊位占用底图。
27.进一步，所述生成泊位实时检测结果的可视化表征-实时数字化2d停车场全景泊位占用底图，具体为：
28.对于每一个车位id分别设置0-1状态指示标识，标识的规则是，已占用的车位指示标识为“1”，空余可用车位示标识为“0”，创建一个长度为车位id最大编号的列表分别存储
所有车位的状态指示标识值，关联状态指示标识值与原始数字化2d停车场全景底图的信息，在原始数字化2d停车场全景底图上以不同颜色的标记框分别标注已占用的车位和空余可用车位，所得结果即为“实时数字化2d停车场全景泊位占用底图”，该底图是停车场泊位实时占用情况的可视化表征。
29.进一步，确定实现待管理停车场泊位检测所需摄像头的布局方案，具体为：
30.参考所述单个摄像头的有效监控覆盖范围和所述停车场空间布局形态，确定最少需要的摄像头设备和每个摄像头布设的位置。
31.进一步，所述视觉拼接模型，具体为：
32.首先，依次将各个监控摄像头成像图像组成序列作为输入，分别输出对应的以垂直鸟瞰图为视角的新图像序列；再将新图像序列采用sifi特征点匹配的拼接方法实现全景式拼接，生成对应停车场的2d全景底图。
33.进一步，所述iou判断法，具体是：
34.在有车位边界框标注的“绘制好车位位置信息的单个监控摄像头成像图像”分别逐一比较车辆检测模型检出的实时车辆位置边界框与最近邻算法搜索所得所有待定车位id编号车位边界框的交并比值，一旦该值大于设定的阈值b，即可判定对应的车位已被占用。
35.一种停车场泊位占用状态全景式检测的系统，在待管理停车场的上方设置多个监控摄像头，多个监控摄像头覆盖整个停车场范围，每个监控摄像头内置泊位状态检测模块及全景底图生成模块，开机自动运行车辆识别模型和车位识别模型，即可自动获取各个监控视角图像下的初始化泊位信息；接着运行全景底图生成模块将包含各个视角下的初始化泊位信息的图像序列进行拼接融合，形成全景2d停车场泊位数字化电子底图，并将其存储共享到管理端数据后台。
36.与现有技术相比，本发明具有以下优点和有益效果：
37.1、本发明采用深度学习技术，可以准确识别车辆、泊车位，推理出固定视角下车辆、泊车位的位置；
38.2、本发明采用深度学习技术与图像处理技术，可以准确计算相机所成图像到对应的以垂直鸟瞰图为视角的新图像的透视变换，并利用特征点匹配的方式实现全景式拼接；
39.3、本发明采用动态背景生成的方法，能够实现自动化的数字化2d停车场全景底图生成，降低人工停车场全景底图标注成本；
40.4、本发明采用最邻近分析与交并比(iou)判断法结合的两阶段算法，能够准确检测泊车位占用状态。
附图说明
41.图1是本发明的工作流程图；
42.图2是本发明实施例中监控设备布局及覆盖范围示意图；
43.图3是本发明实施例车辆识别模型的结构示意图；
44.图4是本发明实施例车位识别模型的结构示意图；
45.图5是本发明实施例透视变换模型的结构示意图；
46.图6是本发明实施例停车场2d全景电子底图生成流程图；
47.图7是本发明实施例各个模块的逻辑数据流向图。
具体实施方式
48.下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
49.现有技术中，无论是停车场管理者还是驾车用户，“信息孤岛”停车问题大都仍源于对停车场内实时可用泊位资源的粗放、非实时、不可靠感知，为有限且紧张的停车资源进一步利用带来很大的障碍。为解决上述问题，可在每一个车位安装配备视频监控摄像头以感知泊位占用状态，但这种方法管理成本无疑是巨大的，难以进一步推广应用。因此需要设计新的视频监控停车场泊位管理方法和系统，以更智能、更少的管理成本疏通和加快这一城市停车最基础环节的信息和数据的流动。
50.下面结合图1-图7与一具体实施例对本发明提出的一种基于深度学习和计算机视觉的停车场泊位占用状态全景式检测系统和方法进行详细阐述。
51.图1描述了算法整体执行过程。具体包括以下步骤：
52.s110，实景环境调研：调查待管理停车场地的空间布局形态，并根据单个摄像头的有效监控覆盖范围，确定实现待管理停车场泊位检测全覆盖所需的摄像头布局方案。
53.如图2所示，本实施例中摄像头布局方案示意图，本发明限定单个摄像头覆盖的视野范围最大值约为20个泊位，太大的覆盖范围会面临严重的边界畸变和遮挡问题，对算法的性能造成非常消极的干扰。针对不同形态的停车场地，每个摄像头的监控范围所涵盖的2d空间平面必须保证有部分相互交织，在此基础上同时让单个摄像头监控画面中包含尽可能多的车位，这样做根源上是保证相邻摄像头所拍图像之间存在足够的匹配特征点对，避免不同视角下成像视差过大，以保证后续顺利通过图像拼接融合生成更加自然、美观和连续的全景式地图。
54.s120构建泊位状态检测模块：筛选开源数据集ua-detrac数据集、visdrone数据集和parkinglot dataset停车位数据集中拍摄视角与实际监控视角较为接近的图像作为训练数据，在pytorch框架下训练基于深度学习的车辆识别模型、车位识别模型两大cnn模型。车辆检测与车位检测两大模型可独立运作完成泊位检测任务，也可将各自的输出结果互相补充作为泊位占用综合判据。
55.图3给出了基于yolov4的车辆识别模型的一种具体实施例，车辆识别模型的目标特征信息提取骨干网络选用csp darknet53，选用的融合网络为spp(spatial pyramid pooling)+pan(path aggregation network)的结构，融合19
×
19、38
×
38及76
×
76三种尺度大小的特征图信息。由于较大尺度的特征图提供更丰富浅层特征信息，有助于小目标的检出，因此为了满足实际停车场监控视角特点下应用需求，需提高中小尺度车辆目标的检出能力，在判断时更注重大尺度特征图所包含的信息的比重，因此76
×
76、38
×
38和19
×
19三种尺度特征图的融合权重依次下降。训练好的模型，输入分辨率为608
×
608的实时监控图像，通过融合76
×
76、38
×
38、19
×
19三种不同尺度特征图的检测结果检出图像中存在的车辆目标。其中不同尺度特征图不同权重融合判别的实现思想是，对三个不同尺度特征图的原始检测结果施加不同阈值的非极大值抑制，置信度相同的检测框在尺度越小的特征图受到的抑制就越显著，因此可以突出中、大特征图的检测结果。
56.在目标分类检测与位置回归过程中，将特征融合网络输出的三种不同尺度大小的
特征图信息通过一系列卷积操作，得到对应三种不同长度的特征向量。解码该特征向量可到图中所含的目标种类、位置等信息。为了强化车辆这一类目标的检出率，一方面是增加不同类目标之间的类间距离，引入center loss思想，将分类损失函数转化为center-cross entropy loss，对类间区分错误的情况予以更大的惩罚；另一方面是引入外观先验，重点关注特定宽高比检测框的检索结果，结合车辆的实际外观尺寸，这一点可酌情重点调查和追踪yolov4算法输出的1:2、2:3、1:3及其倒数的若干种比例的检测框的检测结果，以降低检测的假阳性和假阴性率。
57.也就是说：现有yolov4网络的特征融合部分是采用普通的加和方式进行特征融合，改进的yolov4网络考虑了高位摄像机视角下车辆、车位的成像大小问题，采用赋权加和的方式，大特征图对应小目标，小特征图对应大目标，我们需要加强小目标的检测，降低大目标的检测，因此需要给予大特征图更大的权重，小特征图更小的权重，这就是“尺度大小融合权重依次下降”58.本发明中特征融合网络将提取的三种尺度特征图，按照尺度大小融合权重依次下降。
59.如图4所示，基于轻量级ssd网络实现的车位识别模型的示意图。所述车位识别模型选用轻量级ssd网络作为检测框架，训练数据集采用parking lot dataset，该数据集涵盖不同天气状态、不同光照条件下拍摄得到的泊位图像。目标特征信息提取骨干网络选用resnet-50构成，用于提取输入图像的特征提取，所述特征是相对于下游任务(检测、分类、跟踪)而言的，这些特征是通用的，不同的下游任务会根据具体的任务头进行特征微调。传统的图像特征包括特征点，边缘和轮廓之类。
60.为了满足实际停车场监控视角特点下应用需求，由于尺度较大的特征图所提供的信息有助于提高中小尺度车位目标的检出能力，因此需对原始ssd网络进行剪枝，仅保留到输出10
×
10大小特征图的网络结构即可，无需生成更小特征图的后续网络结构。在实施中选取38
×
38、19
×
19、10
×
10三种不同尺度特征图的检测结果进行加权融合，实现思想是，对三个不同尺度特征图的原始检测结果施加不同阈值的非极大值抑制，置信度相同的检测框在尺度越小的特征图受到的抑制就越显著，因此可以突出中、大特征图的检测结果。
61.s130构建全景底图生成模块，具体是端到端视角变换模型，所述端到端视角变换模型包括透视变换模型及视觉拼接模型，用于生成拍摄对象的2d全景底图。
62.如图5所示，本实施例中的透视变换模型这是生成停车场全景式电子底图的非常关键的环节。模型选用vgg-16作为特征提取骨干网络，训练数据集是两两满足某一透视变换关系的图像对，这些训练用到的图像对，可借“局部采样图片边界点小微扰动法”由单张源图像人为生成。
63.进一步地，所述局部采样图片边界点小微扰动法具体为：
64.此模型的输入为2张128
×
128的灰度图像构成的图像对pa、pb，其中pa是从源图像ia中裁切得到的局部图像；pb是从与pa存在透视变换关系的ib裁切得到的局部图像。具体做法是：首先以像素坐标系为参考，从某一起始位点开始，在所述单张源图像ia上裁切出固定大小的(128
×
128)呈正方形的原始局部图像pa；然后进行随机扰动，对裁切得到的原始局部图像四个顶点做随机微小扰动，得到一个呈任意四边形的新局部图像，从而与所述原始局部图像构成具有特定透视变换关系的源图像对。随后是第二次裁切，并求出所述图像对
之间的透视变换矩阵，将所述透视变换矩阵的逆与原输入图像相乘得到ib，以像素坐标系为参考，在第一次裁切的裁切起始位点上再次从ib上裁出固定大小的(128
×
128)正方形局部图像pb，将第一次裁切和第二次裁切得到的两张正方形局部图像进行拼接，得到用于模型训练的满足透视变换关系的图像对。值得注意的是，ia与ib满足ia＝h
0ab
ib的关系。
65.模型的中间输出为两张图像之间某4个特征点的偏移量(8
×
1的向量)，将该输出偏移量与4个顶点坐标信息融合，可得4对变换前后一一对应的顶点坐标，利用这些坐标，构建透视变换线性方程组，通过dlt(direct linear transform)——直接线性方程组求解模块，解出对该图像对之间透视变换的估计h
ab
，将源图像ia经过参数化采样窗格采样和可微采样的操作得到图像i’a
，然后将估计出的透视变换作用于i’a
得到i”a
，利用i”a
和ib构建逐像素重构误差损失函数，通过损失函数的梯度回传，使得透视变换模型所估计的h
ab
与可能地逼近h
0ab
。其中，引入参数化采样窗格采样和可微采样的操作的目的是期望直接使i’a
、i”a
连续化，以便于后续对所构建的损失函数进行梯度反向传播时可以顺利实现神经网络的参数更新。如上所述，训练阶段的目标是使网络不断重复前述过程，使其具有拟合任意两张具有透视变换关系图像之间的透视变换矩阵参数的能力，正式使用时调用该模型可快速获取各不同拍摄视角到统一视角的转换效果。
66.s140将训练好的“车辆识别”、“车位识别”和“视角变换”三大cnn模型算法通过嵌入式开发，部署到前端摄像头监控设备中。
67.s150构建原始数字化2d停车场全景底图：将训练好的上述模型部署整合至前端摄像头设备中形成“车辆识别”、“车位识别”和“视角变换”三大模块，开机自动运行“车辆识别”和“车位识别”两大模块，即可自动获取各个监控视角图像下的初始化泊位信息；接着运行“视角变换”模块将各个视角下的识别结果投影拼接形成原始数字化2d停车场全景底图，并将其存储共享到管理端数据后台。
68.图6给出一种图像序列拼接与停车场2d全景电子底图生成模型的实施例，这是生成停车场全景式电子底图的又一关键环节。可通过无人机或高位摄像头采集一些鸟瞰视角或接近垂直俯视视角的停车场的图像，即图6中所述的“高位俯视视角拍摄所得的标定模板图像”。这些图像被用作参照，与各个摄像头监控视角下的图像联合输入到图5所描述的透视变换模型中，即可快速求得各个摄像头视角与垂直俯视视角之间的转换参数。图中，h
1t
、h
2t
、h
3t
等表示各个监控视角下的图像序列与用作参照的鸟瞰视角或垂直俯视视角图像之间的透视转换矩阵，将这些矩阵的逆对应地应用到一系列不同监控视角下的图像序列，分别对各监控视角图像做透视变换。如图2所示的布局方式下，这些图像序列中由相邻摄像头拍摄的图像之间是存在相同的物象的(存在重叠部分)，因此转换后的图像序列也彼此存在重叠部分，此时可直接调用基于特征点匹配的图像拼接和融合算法接口，利用诸如apap、sphp、泊松融合等方法，将整个图像拼接融合得到原始2d停车场全景式泊位占用底图。
69.图7给出本发明以具体实施例的算法整体组成逻辑结构与数据流向的解释说明。细节包括：
①
前端摄像头采集的一系列图像序列作为该环节的输入，由于在任意时刻的监控图像中停车场剩余零星空余泊位的情况很常见，因此酌情依次调用车辆识别模型和车位识别模型，检出各监控视角下的车辆停放位置与空余泊位。
②
模型假设车辆停放的位置与泊位位置存在一一对应关系，通过动态背景生成的思想方法，以滑动窗口的方式批量循环遍历车辆停放位置与空余泊位位置的像素坐标，主要是车辆识别与车位识别模型输出的锚
框(anchor)中心点的像素坐标，利用移动平均法分别计算单次遍历车辆停放位置与空余泊位位置信息的加权均值，直至该加权均值收敛。
③
收敛后的加权均值可表征单个监控视频视角中的车位位置，通过该值确定图像中的各车位中心点像素坐标，并以特定颜色的四边形框描出每个车位的边界，由此产生各个车位唯一的位置识别信息，包括：图像中每个车位位置对应的边界框的四个顶点的像素坐标、边界框中心点的像素坐标以及唯一的id编号，这三者是一一对应关系。将上述信息叠加绘制到原始的监控视频图像，得到的复合图像为权利要求书中“绘制好车位位置信息的单个监控摄像头成像图像”，堆叠多张单个监控摄像头成像图像即得图7中“已包含确定的泊位位置信息的监控图像序列”。
70.图7中的视角变换模块，首先将来自前端的实时监控图像序列和高位俯视视角拍摄所得的标定模板图像输入到前述的透视变换模块中，求出各个监控视角与鸟瞰俯视视角图像之间的透视变换矩阵，然后将已包含确定的泊位位置信息的监控图像序列输入到视角拼接模块中，调用相关的多幅图像拼接融合算法，生成原始数字化2d停车场全景底图，该全景底图包含场内所有车位的id编号、边界框顶点与边界框中心点坐标信息。
71.图7中的泊位占用实时检测与可视化模块，首先调用车辆识别模型检测停车场内停放的车辆，并在单个摄像头监控视角图像中，先应用最近邻算法粗略估计可能已被占用的车位，再应用iou判断法确定被占用的车位，综合分析车辆识别模型识别得到的“包含检出车辆位置信息的监控图像序列”与“已包含确定的泊位位置信息的监控图像序列”之间的关系，逐一确定停车场内所有单个摄像头监控视角图像中的泊位实时占用情况。然后，将判断结果融合原始数字化2d停车场全景底图的信息，生成泊位实时检测结果的可视化表征——实时数字化2d停车场全景泊位占用底图。其中用于判断泊位占用状态的最近邻算法原理是，对于单个监控摄像头成像，结合“绘制好车位位置信息的单个监控摄像头成像图像”中包含的车位的位置信息，在图像中搜寻与车辆检测模型检出的实时车辆位置边界框中心点在像素坐标系下的欧式距离小于一定阈值a的所有待定车位id编号，这些待定的车位是有可能已经被使用的车位。
72.进一步地，本发明所提的iou判断法原理是：在有车位边界框标注的“绘制好车位位置信息的单个监控摄像头成像图像”分别逐一比较车辆检测模型检出的实时车辆位置边界框与最近邻算法搜索所得所有待定车位id编号车位边界框的交并比值，一旦该值大于设定的阈值b，即可判定对应的车位已被占用。泊位实时占用情况的具体判断过程为：对于每一个车位id分别设置0-1状态指示标识，标识的规则是——已占用的车位指示标识为“1”，空余可用车位示标识为“0”。在执行iou判断算法时，如果经过最近邻算法的搜索，前述的待定车位id编号数量≥2时，说明有可能出现了“一辆车占用多个泊位”的情况。此时，需要逐一遍历核查车辆识别模型检出的车辆目标边界框与待定车位id编号对应的每一个车位边界框的交并比，一旦大于阈值b，则判定该泊位已被占用，遍历结束后根据待定车位id编号对应的每一个车位的占用判断，得到最终的泊位占用判断结果。本发明通过最近邻算法和iou判断法联合应用，可识别出“一车占多位”的情况。
73.判断好泊位占用情况后，创建一个长度为车位id最大编号的列表分别存储所有车位的状态指示标识值，关联状态指示标识值与原始数字化2d停车场全景底图的信息，在原始数字化2d停车场全景底图上以不同颜色的标记框分别标注已占用的车位和空余可用车位，所得结果即为“实时数字化2d停车场全景泊位占用底图”，该底图是停车场泊位实时占
用情况的可视化表征，在实施例中用不同的颜色表征泊位的状态，橙色表示当前泊位已占用，浅蓝色表示当前泊位仍处于闲置状态。
74.至此，达成停车场泊位占用状态实时检测和结果表示的目标。
75.本发明通过实况调研设计合理的摄像头布局，以较少的摄像头设备成本投入，实现尽可能全面的停车场视频监控感知覆盖。提升对停车场内实时可用泊位资源的感知实时性、可靠性和准确性，为有限且紧张的停车资源进一步利用提供积极帮助，缓和城市停车供需矛盾，同时，为停车场运营方和城市管理者的管理判断和决策过程呈上更真实可感的全景式可视化实时检测结果。
76.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种停车场泊位占用状态全景式检测方法，其特征在于，包括：获得待管理停车场地的空间布局形态，根据每个监控摄像头的覆盖范围，确定实现待管理停车场泊位检测所需摄像头的布局方案；构建泊位状态检测模块，泊位状态检测模块包括基于深度学习的车辆识别模型及基于深度学习的车位识别模型，用于获得停车场内的车辆及车位信息；构建全景底图生成模块，具体是端到端视角变换模型，所述端到端视角变换模型包括透视变换模型及视角拼接模型，用于生成拍摄对象的2d全景底图；构建原始数字化2d停车场全景图，通过车辆识别模型及车位识别模型获取各个监控视角图像下的初始化泊位信息，运行端到端视角变换模型将得到包括各个视角下的初始化泊位信息的图像序列进行拼接融合，形成原始数字化2d停车场全景图；根据实时获得的停车场内车辆及车辆信息，通过透视变换模型及视角拼接模型获得各个监控视角下的实时泊位占用状态，融合原始数字化2d停车场全景图，生成泊位实时检测结果的可视化表征即实时数字化2d停车场全景泊位占用底图。2.根据权利要求1所述的停车场泊位占用状态全景式检测方法，其特征在于，所述车辆识别模型采用轻量级改进yolov4网络作为检测框架，具体为：利用骨干网络提取输入图像的三种尺度特征图，所述骨干网络为csp darknet53；特征融合网络将提取的三种尺度特征图，按照尺度大小融合权重依次下降；将特征融合网络输出的特征图通过卷积操作，得到三种长度不同的特征向量，解码特征向量得到输入图像中的目标信息，所述目标信息包括目标种类及位置。3.根据权利要求1所述的停车场泊位占用状态全景式检测方法，其特征在于，所述车位识别模型采用轻量级ssd网络作为检测框架，具体为：采用骨干网络对输入图像进行特征提取，所述骨干网络为resnet-50；采用剪枝后的ssd网络对特征进行融合，得到输入图像中的目标信息，所述剪枝后的ssd网络仅保留输出10
×
10大小特征图的网络结构。4.根据权利要求1所述的停车场泊位占用状态全景式检测方法，其特征在于，所述透视变换模型在训练阶段采用vgg-16作为特征提取骨干网络，所述透视变换模型以两张满足某一透视变换关系的图像对作为输入，输出两张图像之间某4个特征点的偏移量，将偏移量与原始4个特征点坐标信息融合，可求解4对变换前后对应的特征点对坐标，从而得到该图像对之间的透视变换。5.根据权利要求1所述的停车场泊位占用状态全景式检测方法，其特征在于，所述构建原始数字化2d停车场全景图，具体工作过程为：依次调用车辆识别模型和车辆识别模型，检出各监控视角下的车辆停放位置及空余泊位；设车辆停放的位置与泊位位置存在一一对应关系，采用动态背景生成的方法，以滑动窗口的方式批量循环遍历车辆停放位置与空余泊位位置的像素坐标，利用移动平均法分别计算单次遍历车辆停放位置与空余泊位位置信息的加权均值，直至该加权均值收敛；收敛后的加权均值可表征单个监控视频视角中的车位位置，通过该值确定图像中的各车位中心点像素坐标，并以设定颜色的四边形框描出每个车位的边界，由此产生各个车位唯一的位置识别信息，所述位置识别信息包括：图像中每个车位位置对应的边界框的四个
顶点的像素坐标、边界框中心点的像素坐标以及唯一的id编号，这三者是一一对应关系，将上述信息叠加绘制到原始的监控视频图像，得到的复合图像为“绘制好车位位置信息的单个监控摄像头成像图像”，逐一将绘制好车位位置信息的单个监控摄像头图像，输入到端到端视角转换模型中，生成原始数字化2d停车场全景底图，该底图以垂直鸟瞰图视角呈现多个“绘制好车位位置信息的单个监控摄像头成像图像”的拼接结果，该拼接结果包含场内所有车位的id编号、边界框顶点与边界框中心点坐标信息。6.根据权利要求5所述的停车场泊位占用状态全景式检测方法，其特征在于，根据实时获得的停车场内车辆及车辆信息，通过透视变换模型及视角拼接模型获得各个监控视角下的实时泊位占用状态，融合原始数字化2d停车场全景图，生成泊位实时检测结果的可视化表征即实时数字化2d停车场全景泊位占用底图，具体为：首先采用最近邻算法在数字化2d停车场全景图中搜寻与所述车辆检测模型检出的实时车辆位置边界框中心点在像素坐标系下的欧式距离小于一定阈值a的所有待定车位id编号，这些待定的车位是有可能已经被使用的车位；再应用iou判断法确定被占用的车位，所述车辆识别模型识别得到的车辆位置边界框与“绘制好车位位置信息的单个监控摄像头成像图像”中包含的“车位的位置信息”之间的关系，逐一确定停车场内所有所述单个摄像头监控视角图像中的泊位实时占用情况，然后，将判断结果融合所述原始数字化2d停车场全景底图的信息，生成泊位实时检测结果的可视化表征——实时数字化2d停车场全景泊位占用底图。7.根据权利要求6所述的停车场泊位占用状态全景式检测方法，其特征在于，所述生成泊位实时检测结果的可视化表征——实时数字化2d停车场全景泊位占用底图，具体为：对于每一个车位id分别设置0-1状态指示标识，标识的规则是，已占用的车位指示标识为“1”，空余可用车位示标识为“0”，创建一个长度为车位id最大编号的列表分别存储所有车位的状态指示标识值，关联状态指示标识值与原始数字化2d停车场全景底图的信息，在原始数字化2d停车场全景底图上以不同颜色的标记框分别标注已占用的车位和空余可用车位，所得结果即为“实时数字化2d停车场全景泊位占用底图”，该底图是停车场泊位实时占用情况的可视化表征。8.根据权利要求1所述的停车场泊位占用状态全景式检测方法，其特征在于，所述视角拼接模型，具体为：首先，依次将各个监控摄像头成像图像组成序列作为输入，分别输出对应的以垂直鸟瞰图为视角的新图像序列；再将新图像序列采用sifi特征点匹配的拼接方法实现全景式拼接，生成对应停车场的2d全景底图。9.根据权利要求6所述的停车场泊位占用状态全景式检测方法，其特征在于，所述iou判断法，具体是：在有车位边界框标注的“绘制好车位位置信息的单个监控摄像头成像图像”分别逐一比较车辆检测模型检出的实时车辆位置边界框与最近邻算法搜索所得所有待定车位id编号车位边界框的交并比值，一旦该值大于设定的阈值b，即可判定对应的车位已被占用。10.一种实现权利要求1-9任一项所述的停车场泊位占用状态全景式检测方法的系统，其特征在于，在待管理停车场的上方设置多个监控摄像头，多个监控摄像头覆盖整个停车场范围，每个监控摄像头内置泊位状态检测模块及全景底图生成模块，开机自动运行车辆
识别模型和车位识别模型，即可自动获取各个监控视角图像下的初始化泊位信息；接着运行全景底图生成模块将包含各个视角下的初始化泊位信息的图像序列进行拼接融合，形成全景2d停车场泊位数字化电子底图，并将其存储共享到管理端数据后台。

技术总结
本发明公开了一种停车场泊位占用状态全景式检测方法及系统，包括：获得待管理停车场地的空间布局形态，根据每个监控摄像头的覆盖范围，确定实现待管理停车场泊位检测所需摄像头的布局方案；构建泊位状态检测模块，用于获得停车场内的车辆及车位信息；构建全景底图生成模块，具体是端到端视角变换模型，用于生成拍摄对象的2D全景底图；构建原始数字化2D停车场全景图；根据实时获得的停车场内车辆及车辆信息，生成泊位实时检测结果的可视化表征即实时数字化2D停车场全景泊位占用底图。本发明所需设备少，可以灵活地部署应用于不同形态的户外停车场的管理运营工作中，并提供全景式的泊位占用可视化分析，削减管理成本，提高管理效能。能。能。


技术研发人员：游峰 吴镇江 肖智豪 杨家夏 杨敬姗 谭云龙 王海玮 黄玲
受保护的技术使用者：人工智能与数字经济广东省实验室（广州）
技术研发日：2023.02.10
技术公布日：2023/7/13