一种基于ToF相机的室内停车场碰撞预警系统及其预警方法

一种基于tof相机的室内停车场碰撞预警系统及其预警方法
技术领域
1.本发明涉及新停车场辅助设备领域，具体涉及一种基于tof相机的室内停车场碰撞预警系统及预警方法。


背景技术：

2.室内停车场内，由于空间有限，其转角、上下坡等墙壁处，车辆容易发生碰撞刮擦等事故。目前，现有技术中存在一些检查安全距离防止车辆碰撞的技术，但是仍然存在一些实际应用问题，或者不能针对性解决这一技术问题。
3.申请号为201680011202.3公开了一种当在安全距离内检测到车辆的一部分时，通过显示其距离或输出警告，以防止车辆驾驶员将车辆碰到停车场墙壁的装置及系统。该系统的测距方式通过超声波或红外，但红外测距方式角度有限，车辆距离墙壁较近时单个传感器无法覆盖；超声波存在较大近场盲区，在狭窄区域时车辆不得不距离墙面很近时难以判断。在曲线坡道时适用性较好，但在直角转弯等区域时效果不佳。
4.申请号为202010848101.x公开了一种车库停车辅助装置。该车库停车辅助装置使用测距模块检测车辆与墙壁的距离，并根据距离的不同使警示模块发出相对应的不同警报，能更好地帮助驾驶员判断车辆位置，防止车辆与墙壁发生碰撞。但该方法主要面向车辆倒车时向车位深处停靠的场景，并非面向车辆在停车库中狭窄区域的行驶场景。


技术实现要素：

5.本发明旨在提供一种基于tof相机的室内停车场碰撞预警系统及预警方法，该预警系统和方法能够有效降低车辆与停车场墙壁发生碰撞的可能。
6.本发明的技术方案如下：
7.基于tof相机的室内停车场碰撞预警系统，包括tof相机模组、计算控制模块、预警模块、电源模块；tof相机模组，即time-of-flight，飞行时间相机模组；
8.所述的tof相机模组安装于转角处或者上下坡处前进方向的墙面上，离地面的高度为1.5-2米，tof相机模组拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；
9.所述的计算控制模块包括背景建模子模块、背景差分子模块、距离计算子模块；
10.所述的背景建模子模块接收来自tof相机模组的点云数据，依托tof相机模组所在墙面建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；
11.所述的背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙
面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；
12.所述的距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行统计，即得到车辆与墙壁之间的距离统计结果，将该距离统计结果中的最小值输出到预警模块中；
13.所述的预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于最小距离阈值时，发出警报；
14.所述的电源模块为计算控制模块供电，并且由计算控制模块驱动传感器模块和预警模块工作。
15.所述的背景建模子模块中建立的坐标系为笛卡尔坐标系，具体为：x轴垂直于墙面向外，z轴垂直于地平面，y-z平面与墙面平行的右手坐标系坐标系，坐标系的原点定义为传感器在墙面上的投影点。
16.背景建模子模块中，通过ransac平面拟合的方法计算出墙面的平面，即y-z平面的的方程为：
17.ax+by+cz+d＝0，其中，a、b、c为该平面的法向量；
18.基于法向量与原点坐标可以求解旋转平移矩阵[r，t]，在对原本传感器坐标系下的点云pc
bkgd
应用后，可以得到墙面坐标系下的点云数据pc
′
bkgd
，多帧累积后得到背景点云模型数据q
bkgd
。
[0019]
所述的背景差分子模块将当前帧的点云数据和背景点云进行差值计算的具体过程为：
[0020]
将tof相机模组采集到的每一帧的点云数据pc
rt
通过旋转平移矩阵[r，t]转换后，得到坐标系下的实时点云数据pc
′
rt
，将实时点云数据pc
′
rt
与背景点云q
bkgd
进行差分操作如下：分别求取实时点云数据pc
′
rt
中各个数据点和该数据点对应的最接近的背景点云模型数据q
bkgd
中的数据点的距离d，如果d小于预设的阈值，侧该实时点云数据点为背景点，否则为前景点，将其保存入前景点云数据q
rt
中。
[0021]
所述的预警模块包括声音报警子模块；所述的声音报警子模块包含蜂鸣器，当接收到的实时车辆与墙壁的最小距离小于20cm时，发出报警声。
[0022]
所述的预警模块还包括距离显示子模块，距离显示子模块由不同颜色的led灯灯带(3)组成，通过设置不同距离阈值范围和颜色对应关系，来进行灯光提醒。
[0023]
优选的，所述的距离显示子模块包括绿、黄、橙、红四种不同颜色的led灯灯带(3)组成，灯带(3)设于tof相机模组(1)所在墙壁上，其中，绿色灯带(3)表示车辆和墙面距离＞50cm，黄色灯带(3)表示车辆和墙面距离为40cm-50cm，橙色灯带(3)表示车辆和墙面距离为30cm-40cm，红色灯带(3)表示车辆和墙面距离为20cm-30cm，红色灯带(3)快闪表示车辆和墙面距离20cm以下。
[0024]
基于tof相机的室内停车场碰撞预警方法，利用了上述的基于tof相机的室内停车场碰撞预警系统，包括以下步骤：
[0025]
a、在停车场转角处或者上下坡处前进方向的墙面上设置tof相机模组，tof相机模组离地面的高度为1.5-2米，tof相机模组拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；
[0026]
b、背景建模子模块接收来自tof相机模组的点云数据，依托tof相机模组所在墙面
建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；
[0027]
c、背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；
[0028]
d、距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行计算，即得到车辆与墙壁之间的距离计算结果，将该距离计算结果中的最小值输出到预警模块中；
[0029]
e、、预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于设定阈值时，发出警报。
[0030]
所述的预警模块还包括距离显示子模块，距离显示子模块由不同颜色的led灯灯带(3)组成，通过设置不同距离阈值范围和颜色对应关系，来进行灯光提醒。
[0031]
优选的，所述的距离显示子模块包括绿、黄、橙、红四种不同颜色的led灯灯带(3)组成，灯带(3)设于tof相机模组(1)所在墙壁上，其中，绿色灯带(3)表示车辆和墙面距离》50cm，黄色灯带(3)表示车辆和墙面距离为40cm-50cm，橙色灯带(3)表示车辆和墙面距离为30cm-40cm，红色灯带(3)表示车辆和墙面距离为20cm-30cm，红色灯带(3)快闪表示车辆和墙面距离20cm以下。根据距离计算子模块得到的计算结果中的最小值，控制模块会对相应颜色的的led灯带进行点亮。
[0032]
本发明旨在解决室内停车场空间狭小，车辆在转弯、上下坡道时容易与停车场墙壁剐蹭的问题，通过在已发生碰撞处的墙壁架设本发明的碰撞预警系统，准确检测车辆边缘和墙壁的距离，并通过结果灯光与声音反馈给驾驶员，使其在能够有效避免碰撞，提升用户的体验、减少安全事故的发生，避免由于事故引发的拥堵。
[0033]
本发明以tof相机模组为核心实现在室内场景、较短距离内的准确测距，相比红外和超声波雷达测距具备更大的视场角和更准确的检测精度，减少误报警的风险并具备一定范围内的空间分辨率，可提供更好的用户体验，具有良好的应用前景。
附图说明
[0034]
图1为实施例1的基于tof相机的室内停车场碰撞预警系统的结构示意图；
[0035]
图2为实施例1的基于tof相机的室内停车场碰撞预警系统的正视安装图；
[0036]
图3为实施例1的基于tof相机的室内停车场碰撞预警系统的俯视安装图；
[0037]
图4为实施例1的基于tof相机的室内停车场碰撞预警系统的正视点云图；
[0038]
图5为实施例1的基于tof相机的室内停车场碰撞预警系统的俯视点云图。
具体实施方式
[0039]
下面结合附图和实施例具体说明本发明。
[0040]
实施例1
[0041]
如图1-3所示，基于tof相机的室内停车场碰撞预警系统，包括tof相机模组1、计算控制模块、预警模块、电源模块；
[0042]
所述的tof相机模组1安装于转角处或者上下坡处前进方向的墙面上，离地面的高度为1.5-2米，tof相机模组1拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；
[0043]
所述的计算控制模块包括背景建模子模块、背景差分子模块、距离计算子模块；
[0044]
所述的背景建模子模块接收来自tof相机模组1的点云数据，依托tof相机模组1所在墙面建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；
[0045]
所述的背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组1视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；
[0046]
背景点云数据和车辆的点云数据如图4和5所示；
[0047]
所述的距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行统计，即得到车辆与墙壁之间的距离统计结果，将该距离统计结果中的最小值输出到预警模块中；
[0048]
所述的预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于最小距离阈值时，发出警报；
[0049]
所述的电源模块为计算控制模块供电，并且由计算控制模块驱动传感器模块和预警模块工作。
[0050]
所述的预警模块包括声音报警子模块和距离显示子模块；所述的声音报警子模块包含蜂鸣器2，当接收到的实时车辆与墙壁的最小距离小于20cm时，发出报警声；
[0051]
所述的距离显示子模块包括绿、黄、橙、红四种不同颜色的led灯灯带3组成，灯带3设于tof相机模组1所在墙壁上，其中，绿色灯带3表示车辆和墙面距离＞50cm，黄色灯带3表示车辆和墙面距离为40cm-50cm，橙色灯带3表示车辆和墙面距离为30cm-40cm，红色灯带3表示车辆和墙面距离为20cm-30cm，红色灯带3快闪表示车辆和墙面距离20cm以下。
[0052]
基于tof相机的室内停车场碰撞预警方法，利用了本实施例的基于tof相机的室内停车场碰撞预警系统，包括以下步骤：
[0053]
a、在停车场转角处或者上下坡处前进方向的墙面上设置tof相机模组1，tof相机模组1离地面的高度为1.5-2米，tof相机模组1拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；
[0054]
b、背景建模子模块接收来自tof相机模组1的点云数据，依托tof相机模组1所在墙面建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；
[0055]
背景建模子模块中建立的坐标系为笛卡尔坐标系，具体为：x轴垂直于墙面向外，z轴垂直于地平面，y-z平面与墙面平行的右手坐标系坐标系，坐标系的原点定义为传感器在墙面上的投影点。
[0056]
背景建模子模块中，通过ransac平面拟合的方法计算出墙面的平面，即y-z平面的的方程为：
[0057]
ax+by+cz+d＝0，其中，a、b、c为该平面的法向量；
[0058]
基于法向量与原点坐标可以求解旋转平移矩阵[r，t]，在对原本传感器坐标系下的点云pc
bkgd
应用后，可以得到墙面坐标系下的点云数据pc
′
bkgd
，多帧累积后得到背景点云模型数据q
bkgd
；
[0059]
c、背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组1视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；
[0060]
将当前帧的点云数据和背景点云进行差值计算的具体过程为：
[0061]
将tof相机模组1采集到的每一帧的点云数据pc
rt
通过旋转平移矩阵[r，t]转换后，得到坐标系下的实时点云数据pc
′
rt
，将实时点云数据pc
′
rt
与背景点云q
bkgd
进行差分操作如下：分别求取实时点云数据pc
′
rt
中各个数据点和该数据点对应的最接近的背景点云模型数据q
bkgd
中的数据点的距离d，如果d小于预设的阈值，侧该实时点云数据点为背景点，否则为前景点，将其保存入前景点云数据q
rt
中。
[0062]
d、距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行计算，即得到车辆与墙壁之间的距离计算结果，将该距离计算结果中的最小值输出到预警模块中；
[0063]
e、预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于设定阈值时，发出警报；
[0064]
根据距离计算子模块得到的计算结果中的最小值，控制模块会对相应颜色的的led灯带3进行点亮。
[0065]
本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种基于tof相机的室内停车场碰撞预警系统，包括tof相机模组(1)、计算控制模块、预警模块、电源模块；其特征在于：所述的tof相机模组(1)安装于转角处或者上下坡处前进方向的墙面上，离地面的高度为1.5-2米，tof相机模组(1)拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；所述的计算控制模块包括背景建模子模块、背景差分子模块、距离计算子模块；所述的背景建模子模块接收来自tof相机模组(1)的点云数据，依托tof相机模组(1)所在墙面建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；所述的背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组(1)视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；所述的距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行统计，即得到车辆与墙壁之间的距离统计结果，将该距离统计结果中的最小值输出到预警模块中；所述的预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于最小距离阈值时，发出警报；所述的电源模块为计算控制模块供电，并且由计算控制模块驱动传感器模块和预警模块工作。2.如权利要求1所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：所述的背景建模子模块中建立的坐标系为笛卡尔坐标系，具体为：x轴垂直于墙面向外，z轴垂直于地平面，y-z平面与墙面平行的右手坐标系坐标系，坐标系的原点定义为传感器在墙面上的投影点。3.如权利要求2所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：背景建模子模块中，通过ransac平面拟合的方法计算出墙面的平面，即y-z平面的的方程为：ax+by+cz+d＝0，其中，a、b、c为该平面的法向量；基于法向量与原点坐标可以求解旋转平移矩阵[r，t]，在对原本传感器坐标系下的点云pc
bkgd
应用后，可以得到墙面坐标系下的点云数据pc
′
bkgd
，多帧累积后得到背景点云模型数据q
bkgd
。4.如权利要求3所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：所述的背景差分子模块将当前帧的点云数据和背景点云进行差值计算的具体过程为：将tof相机模组(1)采集到的每一帧的点云数据pc
rt
通过旋转平移矩阵[r，t]转换后，得到墙面坐标系下的实时点云数据pc
′
rt
，将实时点云数据pc
′
rt
与背景点云q
bkgd
进行差分操作如下：分别求取实时点云数据pc
′
rt
中各个数据点和该数据点对应的最接近的背景点云模型数据q
bkgd
中的数据点的距离d，如果d小于预设的阈值，侧该实时点云数据点为背景点，否则为前景点，将其保存入前景点云数据q
rt
中。
5.如权利要求1所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：所述的预警模块包括声音报警子模块；所述的声音报警子模块包含蜂鸣器(2)，当接收到的实时车辆与墙壁的最小距离小于20cm时，发出报警声。6.如权利要求5所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：所述的预警模块还包括距离显示子模块，距离显示子模块由不同颜色的led灯灯带(3)组成，通过设置不同距离阈值范围和颜色对应关系，来进行灯光提醒。7.如权利要求6所述的基于tof相机的室内停车场碰撞预警系统，其特征在于：所述的距离显示子模块包括绿、黄、橙、红四种不同颜色的led灯灯带(3)组成，灯带(3)设于tof相机模组(1)所在墙壁上，其中，绿色灯带(3)表示车辆和墙面距离>50cm，黄色灯带(3)表示车辆和墙面距离为40cm-50cm，橙色灯带(3)表示车辆和墙面距离为30cm-40cm，红色灯带(3)表示车辆和墙面距离为20cm-30cm，红色灯带(3)快闪表示车辆和墙面距离20cm以下。8.一种基于tof相机的室内停车场碰撞预警方法，利用了如权利要求1-5任何一项所述的基于tof相机的室内停车场碰撞预警系统，其特征在于，包括以下步骤：a、在停车场转角处或者上下坡处前进方向的墙面上设置tof相机模组(1)，tof相机模组(1)离地面的高度为1.5-2米，tof相机模组(1)拍摄方向竖直朝向地面，获取其视场角范围内的墙壁和地面的点云数据，作为背景点云数据，然后获取实时点云数据，将背景点云数据和实时点云数据传输至计算控制模块；b、背景建模子模块接收来自tof相机模组(1)的点云数据，依托tof相机模组(1)所在墙面建立坐标系，基于该坐标系，通过ransac平面拟合的方法可以准确计算出坐标系中墙面的平面，依托该平面，将接收到的背景点云数据全部由该坐标系进行表示，多帧累积后得到背景点云模型数据q
bkgd
，分别输入背景差分子模块和距离计算子模块中；c、背景差分子模块实时将当前帧的点云数据转换成坐标系下的点云数据后，和背景点云进行差值计算，在没有物体存在时该差值几乎为0，而当有车辆进入tof相机模组(1)视角范围时，背景差分后的点云则表示车辆的点云数据，将车辆的点云数据转化为在墙面平面坐标系下的结果，得到前景点云数据q
rt
，输入距离计算子模块中；d、距离计算子模块将当前帧中前景点云数据q
rt
所有点的x坐标进行计算，即得到车辆与墙壁之间的距离计算结果，将该距离计算结果中的最小值输出到预警模块中；e、预警模块预设最小距离阈值，当接收到的实时车辆与墙壁的最小距离小于设定阈值时，发出警报。9.如权利要求7所述的基于tof相机的室内停车场碰撞预警方法，其特征在于：所述的预警模块还包括距离显示子模块，距离显示子模块由不同颜色的led灯灯带(3)组成，通过设置不同距离阈值范围和颜色对应关系，来进行灯光提醒。10.如权利要求9所述的基于tof相机的室内停车场碰撞预警方法，其特征在于：所述的距离显示子模块包括绿、黄、橙、红四种不同颜色的led灯灯带(3)组成，灯带(3)设于tof相机模组(1)所在墙壁上，其中，绿色灯带(3)表示车辆和墙面距离＞50cm，黄色灯带(3)表示车辆和墙面距离为40cm-50cm，橙色灯带(3)表示车辆和墙面距离为30cm-40cm，红色灯带(3)表示车辆和墙面距离为20cm-30cm，红色灯带(3)快闪表示车辆和墙面距离20cm以下；根据距离计算子模块得到的计算结果中的最小值，控制模块会对相应颜色的的led灯
带(3)进行点亮。

技术总结
本发明旨在提供一种基于ToF相机的室内停车场碰撞预警系统及预警方法，基于ToF相机的室内停车场碰撞预警系统，包括ToF相机模组、计算控制模块、预警模块、电源模块；ToF相机模组，即Time-of-Flight，飞行时间相机模组；所述的ToF相机模组安装于转角处或者上下坡处前进方向的墙面上，离地面的高度为1.5-2米，ToF相机模组拍摄方向竖直朝向地面。本发明首先建立相机视场角范围内墙壁和地面的背景点云数据，然后获取实时点云数据，在计算控制模块中对背景点云数据和实时点云数据进行处理，计算车辆潜在的碰撞可能，并通过外部的预警模块发出声光警报提醒车辆，能够有效降低车辆与停车场墙壁发生碰撞的可能。发生碰撞的可能。发生碰撞的可能。


技术研发人员：罗文广 庄瀚洋 杨明
受保护的技术使用者：广西科技大学
技术研发日：2023.03.14
技术公布日：2023/7/6