一种基于车载摄像头识别脚踢动作感应开门的方法及系统与流程

1.本发明涉及车辆技术领域，尤其涉及一种通过摄像头识别脚踢动作来实现自动打开车辆的电动门的方法和系统。


背景技术：

2.现实生活中使用车辆的时候，经常会遇到这样的场景：当双手被占用却想要进入车辆的时候，无法腾出一只手去打开车门。为了解决这样的问题，针对带有电动车门的车辆而言，现有技术中只是提出了通过距离传感器(例如雷达)来感应物体，从而达到一个距离的临界值就可以自动开门。但是，这种方式需要另外购买传感器来实现这个功能，但是这样会额外增加成本。
3.因此，现有技术中缺少一种无需增加额外成本的新的车辆自动门的自动开门方法。


技术实现要素：

4.为了克服上述技术缺陷，本发明的第一个目的在于提供一种基于车载摄像头识别脚踢动作感应开门的方法，包括：
5.步骤s1：实时检测当前车身信号；
6.步骤s2：当检测到车辆档位为p档且车门为关闭状态时，通过linux的v4l2应用驱动接口获得摄像头原始图像数据；
7.步骤s3：对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于迎宾灯区域内的特定区域；示例地，所述迎宾灯区域包括左侧迎宾灯区域和/或右侧迎宾灯区域。
8.步骤s4：将固定检测区域图像数据转化为灰度图；
9.步骤s5：对灰度图通过光流法进行脚踢动作检测；
10.步骤s6：当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机；当不满足脚踢动作的条件时，返回到步骤s1；
11.步骤s7：单片机接收触发开门信号并发送触发开门信号给车辆电机，并控制车辆电机开启车辆的电动门。
12.进一步地，在步骤s3中，采用g2d对摄像头原始图像数据进行图像的分割裁剪。
13.进一步地，在步骤s5中，对灰度图光流法计算当前帧与下一帧的灰度变化来提取脚踢动作特征点，通过筛选并建立用于识别脚的运动物体特征点库和用于识别踢动作的运动分析模型，从而实现对脚踢动作检测的检测和识别。
14.进一步地，所述固定检测区域为位于迎宾灯区域内的区域大小为150像素
×
150像素的矩形区域。进一步地，步骤s5进一步包括：
15.步骤s5.1：当车速为0km/h且挡位为p档时，对迎宾灯区域进行检测；
16.步骤s5.2：当移动物体大小满足500个像素，移动速度大于5km/h，并且持续时间超
过10帧(大概300ms左右)，则判定为脚踢动作发生。这样既可以规避掉摄像头数据中检测区域外其他移动物体的干扰，又可以过滤检测区域中太快，或者太小的移动物体干扰。
17.值得注意的是，本技术中的“脚”并非仅仅限定为人的“脚”，也可以是“脚”，或者是“脚+腿”，只要是移动物体满足触发条件即可。
18.本技术的第二个方面提供一种基于车载摄像头识别脚踢动作感应开门的系统，包括：
19.车身信号检测模块，所述车身信号检测模块用于实时检测当前车身信号；
20.摄像头驱动模块，所述摄像头驱动模块用于当检测到车辆档位为p档且车门为关闭状态时，通过linux的v4l2应用驱动接口获得摄像头原始图像数据；
21.图像处理模块，所述图像处理模块包括图像解析模块、算法处理模块和信号发送模块，所述图像解析模块用于对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于迎宾灯区域内的特定区域，还用于将固定检测区域图像数据转化为灰度图；
22.所述算法处理模块用于对灰度图通过光流法进行脚踢动作检测；
23.所述信号发送模块用于当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机；当不满足脚踢动作的条件时，调用车身信号检测模块；
24.车门控制模块，所述车门控制模块为单片机，所述单片机用于接收触发开门信号并发送触发开门信号给车辆电机，并控制车辆电机开启车辆的电动门。
25.采用了上述技术方案后，与现有技术相比，具有以下有益效果：
26.目前暂时没有通过图像的方式来感应车门开启的方法，本发明首次提出了在车载360环视系统的基础上，通过摄像头识别想要打开车门的人的脚踢动作，从而触发信号自动开启电动车门的方案。本发明基于车辆已有的摄像头来达到同样的目的，无需额外增加成本。
附图说明
27.图1为本发明一实施例的模块框图；
28.图2为本发明的应用场景示意图；
29.图3为本发明一实施例的流程图。
具体实施方式
30.以下结合附图与具体实施例进一步阐述本发明的优点。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
31.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
32.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
33.如图1所示，本实施例提供一种基于车载摄像头识别脚踢动作感应开门的系统，包括：车身信号检测模块、摄像头驱动模块、图像处理模块和车门控制模块。
34.所述车身信号检测模块用于实时检测当前车身信号；
35.所述摄像头驱动模块用于当检测到车辆档位为p档且车门为关闭状态时，通过linux的v4l2应用驱动接口获得摄像头原始图像数据；
36.所述图像处理模块包括图像解析模块、算法处理模块和信号发送模块，所述图像解析模块用于对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于迎宾灯区域(如图2所示)内的特定区域，还用于将固定检测区域图像数据转化为灰度图；
37.所述算法处理模块用于对灰度图通过光流法进行脚踢动作检测；
38.所述信号发送模块用于当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机；当不满足脚踢动作的条件时，调用车身信号检测模块；
39.所述车门控制模块为单片机，所述单片机用于接收触发开门信号并发送触发开门信号给车辆电机，并控制车辆电机开启车辆的电动门。
40.如图3所示，采用上述基于车载摄像头识别脚踢动作感应开门的系统进行开门的方法包括以下步骤：
41.步骤s1：车身信号检测模块实时检测当前车身信号；当检测到车辆档位为p档，并且车门为关闭时，触发识别脚踢动作感应开门的流程，否则继续监控；
42.步骤s2：当检测到车辆档位为p档且车门为关闭状态时，摄像头驱动模块通过linux的v4l2应用驱动接口获得摄像头原始图像数据；
43.步骤s3：图像解析模块对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于分别左侧迎宾灯区域和/或右侧迎宾灯区域内的区域大小为150像素
×
150像素的矩形区域；
44.步骤s4：图像解析模块将固定检测区域图像数据转化为灰度图，既nv21数据(摄像头原始数据)提取亮度数值(y值)，并组成灰度图；
45.步骤s5：算法处理模块对灰度图通过光流法进行脚踢动作检测；对灰度图通过光流法进行脚踢动作检测，既光流法计算当前帧与下一帧的灰度变化来提取脚踢动作特征点，通过筛选并建立运动物体特征点库和运动分析模型，从而实现外界环境中运动物体的检测；
46.步骤s6：当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机，否则返回到步骤s1；运动物体跟踪，如果满足脚踢动作的条件(移动物体大小满足500个像素，移动速度大于5km/h，并且持续时间超过10帧(大概300ms左右))，则触发开门信号，否则返
回到步骤s1，重新开始脚踢动作检测流程；
47.步骤s7：车门控制模块的单片机收到触发信号后，车门控制模块控制电机开启车辆的电动门，之后返回步骤s1，重新开始脚踢检测流程。
48.应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于车载摄像头识别脚踢动作感应开门的方法，其特征在于，包括：步骤s1：实时检测当前车身信号；步骤s2：当检测到车辆档位为p档且车门为关闭状态时，通过linux的v4l2应用驱动接口获得摄像头原始图像数据；步骤s3：对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于迎宾灯区域内的特定区域；步骤s4：将固定检测区域图像数据转化为灰度图；步骤s5：对灰度图通过光流法进行脚踢动作检测；步骤s6：当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机；当不满足脚踢动作的条件时，返回到步骤s1；步骤s7：单片机接收触发开门信号并发送触发开门信号给车辆电机，并控制车辆电机开启车辆的电动门。2.如权利要求1所述的基于车载摄像头识别脚踢动作感应开门的方法，其特征在于，在步骤s3中，采用g2d对摄像头原始图像数据进行图像的分割裁剪。3.如权利要求1所述的基于车载摄像头识别脚踢动作感应开门的方法，其特征在于，在步骤s5中，对灰度图光流法计算当前帧与下一帧的灰度变化来提取脚踢动作特征点，通过筛选并建立用于识别脚的运动物体特征点库和用于识别踢动作的运动分析模型，从而实现对脚踢动作检测的检测和识别。4.如权利要求1所述的基于车载摄像头识别脚踢动作感应开门的方法，其特征在于，所述固定检测区域为位于迎宾灯区域内的区域大小为150像素
×
150像素的矩形区域。5.如权利要求1-4中任一项所述的基于车载摄像头识别脚踢动作感应开门的方法，其特征在于，步骤s5进一步包括：步骤s5.1：当车速为0km/h且挡位为p档时，对迎宾灯区域进行检测；步骤s5.2：当移动物体大小满足500个像素，移动速度大于5km/h，并且持续时间超过10帧，则判定为脚踢动作发生。6.一种基于车载摄像头识别脚踢动作感应开门的系统，其特征在于，包括：车身信号检测模块，所述车身信号检测模块用于实时检测当前车身信号；摄像头驱动模块，所述摄像头驱动模块用于当检测到车辆档位为p档且车门为关闭状态时，通过linux的v4l2应用驱动接口获得摄像头原始图像数据；图像处理模块，所述图像处理模块包括图像解析模块、算法处理模块和信号发送模块，所述图像解析模块用于对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据，所述固定检测区域是指位于迎宾灯区域内的特定区域，还用于将固定检测区域图像数据转化为灰度图；所述算法处理模块用于对灰度图通过光流法进行脚踢动作检测；所述信号发送模块用于当满足脚踢动作的条件时，触发开门信号，并通过串口发送给单片机；当不满足脚踢动作的条件时，调用车身信号检测模块；车门控制模块，所述车门控制模块为单片机，所述单片机用于接收触发开门信号并发送触发开门信号给车辆电机，并控制车辆电机开启车辆的电动门。

技术总结
本发明提供了一种基于车载摄像头识别脚踢动作感应开门的方法和系统，所述方法包括：步骤S1：实时检测当前车身信号；步骤S2：当检测到车辆档位为P档且车门为关闭状态时，获得摄像头原始图像数据；步骤S3：对摄像头原始图像数据进行图像的分割裁剪，从而获得固定检测区域图像数据；步骤S4：将固定检测区域图像数据转化为灰度图；步骤S5：对灰度图通过光流法进行脚踢动作检测；步骤S6：当满足脚踢动作的条件时，触发开门信号；步骤S7：单片机收到触发信号后，控制电机开启车辆的电动门。本发明首次提出了在车载360环视系统的基础上，通过摄像头识别想要打开车门的人的脚踢动作，从而触发信号自动开启电动车门的方案，无需额外增加成本。本。本。


技术研发人员：包青成 王小宇
受保护的技术使用者：铱斯电子科技（上海）有限公司
技术研发日：2022.03.25
技术公布日：2023/10/11