一种基于TOF相机的汽车座舱域手势识别系统及方法与流程

一种基于tof相机的汽车座舱域手势识别系统及方法
技术领域
1.本发明涉及汽车座舱域手势识别领域，特别是涉及一种基于tof相机的汽车座舱域手势识别系统及方法。


背景技术：

2.随着人工智能的发展，机器视觉技术已逐步进入到大家的日常生活中，丰富着人们的精神文化生活，给人们带来愉悦的体验。而手势识别的人工智能交互方式发展，使得用户用手势来控制与设备进行交互，从而推动人机交互的发展，使车载手势交互系统进入一个快速发展时期。
3.目前的车载手势识别主要是借助穿戴式传感设备以及简易静态手势识别的方式，其中穿戴式传感器设备虽然准确率较高，鲁棒性较好，但是投入使用成本相对较高，不适用于大批量生产。对于车载静态手势识别而言，虽然识别率较高且容易识别，但是已不适用于当前生产生活水平。基于tof相机，可以生成深度图像并进行实时跟踪，通过对tof的优化算法、深度融合算法、图像去雾算法得到用户手势高分辨率深度图像，相对于传统相机也有明显的精度优势且图像清晰。但也有一定的缺陷，易受外界环境光以及成像精度的干扰。
4.所以，针对现有技术存在的不足，有必要设计一种基于tof相机的汽车智能座舱手势识别系统及方法，以解决上述问题。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于tof相机的汽车座舱域手势识别系统及方法，该系统与方法具有较高的识别精度和效率，不易受外界噪音和环境光干扰，并且可以给用户提供良好的人机交互体验。
6.为实现上述发明目的，本发明的技术方案如下：
7.一种基于tof相机的汽车座舱域手势识别系统，包括依次连接的感知层、决策层、执行层；所述感知层由tof相机、外部车况传感器组成；所述决策层由座舱域控制器及芯片模块组成；所述执行层由响应模块组成。
8.所述感知层中tof相机用于实时采集座舱范围内的手势信息，外部车况传感器用于辅助手势系统对外部环境进行检测，若检测异常则座舱内用户安全带缓慢收紧，车辆将进行减速操作。
9.所述决策层中接收感知层信号通过决策层处理发送给执行层，其中座舱域控制器中增加了视觉域模块与智能信息域模块，分别起到增加视觉图像追踪处理能力和信息传输效率作用；同时在芯片模块设置逻辑校验、信号处理、模型验证三个步骤，对所得用户手势信息进行匹配验证并发出相应命令信号。
10.所述执行层中响应模块接收决策层输出的命令信号，并执行命令，输出方式通过中控屏幕、媒体音响、车辆天窗等显示。
11.进一步地，所述的响应模块中控屏幕、媒体音响、车辆天窗在接收到命令信号时会
做出不同的响应，其中中控屏幕会根据手势进行上下屏幕滑动、左右翻页、隔空点击等响应；媒体音响会根据拇指与食指间的距离长短进行音量大小的调节；车辆天窗以及四周窗户会根据手掌的上下挥动上升或下降，前后挥动使得天窗开合或关闭，安全带会根据外部车况传感器所传来的输出信号缓慢收紧且车辆进行减速。
12.一种基于tof相机的汽车座舱域手势识别方法，包括以下步骤：
13.(1)通过tof相机，采集用户实时手势图像，tof模块来发射脉冲光，再利用内置的感应器接收用户手部反射回的光线，然后，根据二者的时间差，得到用户实时的手势深度图像。
14.(2)采用深度卷积神经网络(cnn)对tof相机所得图像进行优化；
15.(3)采用深度融合框架对图像进行处理得到高分辨率深度图；
16.(4)采用去雾算法去除环境光噪声得到高分辨率灰度图像；
17.(5)通过图像融合，得到融合深度高分辨率图，通过点云数据处理，得到三维姿态模型，通过三维姿态回归器对三维手部网络进行处理，并通过网格渲染器对手部网络进行渲染，得到手部实时三维姿态图像，对数据进行测试匹配，将匹配信息输出信号至执行层，响应模块的中控屏幕、媒体音响、汽车天窗等底层硬件进行响应。
18.进一步的，所述深度卷积神经网络图像优化步骤包括：
19.(2-1)制作tof数据集。在图形学基础上制作大量的模拟tof数据集，其中包含具有充分误差模拟的tof原始测量，高分辨率下的深度真值，以及对应的rgb图像。
20.(2-2)对tof深度图进行误差修复。提出级联迭代的卷积神经网络对深度图中存在的误差，通过残差预测的方式进行逐级修复。
21.(2-3)rgb指导tof深度图的超分辨率。分析rgb图像与深度图之间模态的差异，设计前期融合、后期融合模块以及跨模态空域注意力融合模块，并在损失函数中应用二阶梯度平滑一致性损失。
22.(2-4)tof成像优化算法在低功耗嵌入式设备上的加速与部署。通过网络结构优化设计在准确度损失尽可能小的前提下，降低方法的时间复杂度。通过该优化方法可以提升算法运行速度，同时保持良好的准确度。
23.进一步的，所述深度融合框架对图像处理步骤包括：
24.(3-1)将tof相机得到的深度信息投影到参考的立体相机视角上；
25.(3-2)由立体匹配算法计算得到一个高分辨率的深度图；
26.(3-3)使用cnn网络估计得到立体视差以及tof深度图的置信度；
27.(3-4)将上采样的tof输出结果以及立体视差进行融合；通过该融合框架可以有效的提升深度图的精度。
28.进一步的，所述去雾算法去除环境光噪声，得到高分辨率灰度图像步骤包括：
29.(4-1)基于环境光差异设置不同的阙值对环境光差异较大的区域进行分割；
30.(4-2)采用对比图先验去雾算法对亮区域去雾，通过暗通道先验去雾算法对暗区域处理；
31.(4-3)采用动态阙值白平衡算法调整恢复后的图像亮度和色彩；
32.通过该处理方法可以有效解决环境光差异引起的图像去雾色彩失真、质量下降问题，可以提高输出图像的鲁棒性，且恢复的图像色彩真实度和清晰度较高，更符合视觉观察
特性。
33.进一步的，所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述图像融合方法，为多尺度变换的图像融合方法，其步骤包括:
34.(1)对原图像分别进行多尺度分解，得到变换域的一系列子图像；
35.(2)采用一定的融合规则，提取变换域中每个尺度上最有效的特征，得到复合的多尺度表示；
36.(3)对复合的多尺度表示进行多尺度逆变换，得到融合后的图像；
37.通过该处理方法可以得到用户手部高分辨率融合深度图像；
38.进一步的，所述深度图点云生成三维手势图像方法为：将图像坐标系进行undistort运算，得到点云坐标系，其变换公式如下：
[0039][0040]
其中x,y,z为点云坐标系，x’y’是图像坐标系，d为深度值；
[0041]
进一步的，所述点云图像生成三维姿态方法为：
[0042]
(1)点云图像的预处理
[0043]
(2)模板匹配的单帧点云手势识别算法
[0044]
(3)连续点云的手势识别算法
[0045]
通过该算法可以对用户手势进行边缘探测，划分边界点与内点，探测到指尖与形变关节的标记，最后将所得关键点三维空间位置与手势库手部骨骼模型进行拟合，将匹配的手势指令信号输出至响应模块；
[0046]
进一步的，所述手势库匹配，执行层进行响应主要包含以下几种手势与底层硬件响应：当食指与拇指触碰时，为媒体音量调节信号，拇指与食指之间距离的远近变化，与之输出的是着媒体音量的大小变化；当手掌近乎平行，除了拇指其余四指向下挥动呈上下挥掌动作，则车辆窗户随之下降，反之上升；当手掌立起，向前向后呈挥掌动作时，车辆顶部天窗随之向前向后打开或关闭；当人机交互涉及车载屏幕时，则握拳并单一伸出食指的左右上下移动，都可以控制屏幕页面的左右翻页，上下内容的滑动，当食指关节出现较大角度变化，则在屏幕相应位置响应单击屏幕命令一次，当时间间隔小于0.5秒以内，连续出现两次单机命令则为屏幕的双击响应，屏幕进行双击操作一次；当出现握拳手势命令，则为用户自主判断行驶环境是否安全，车辆随即进入减速行驶状态。
[0047]
相对于现有技术，本发明具有如下有益效果：
[0048]
1.该系统可以有效且高效的处理手势信息，在cnn优化算法的作用下可以降低设备的功耗以及减少运算时间，增强座舱域系统的鲁棒性；
[0049]
2.感知层起辅助作用的外部车况传感器，可以在行驶过程中对外部环境进行检测，进一步保障用户的行驶安全；
[0050]
3.基于优化算法、去雾算法、图像融合方法、点云转化三维姿态方法等可以有效提高用户手势图像的分辨率和在复杂环境下手势识别的鲁棒性；
[0051]
4.与传统操控屏幕模式相比，手势识别提高了用户双手的可操作性，且手势简单易懂方便记忆，覆盖了座舱内绝大部分可操作功能，增加用户的人机交互体验。
附图说明
[0052]
图1是本发明系统结构框图；
[0053]
图2是本发明方法结构框图；
[0054]
图3是本发明cnn优化方法框图；
[0055]
图4是本发明深度融合框架图；
[0056]
图5是本发明图像去雾模型框图；
[0057]
图6是本发明多尺度变换图像融合框图；
[0058]
图7是本发明点云与深度坐标系变化矩阵关系图；
[0059]
图8是本发明点云处理生成手势三维特征框图。
具体实施方式
[0060]
下面结合实施例及附图，对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0061]
实施例
[0062]
如图1所示，本发明一种基于tof相机的汽车座舱域手势识别系统，包括依次连接的感知层、决策层、执行层；其中：
[0063]
感知层，由tof相机、外部车况传感器组成；tof相机用于实时采集座舱范围内的手势信息，获取用户的手部深度图像，外部车况传感器用于辅助手势识别系统对车辆外部环境进行检测，若检测外界环境或驾驶状态异常则安全带会缓慢收紧且车辆进行减速操作，随之匹配的有握拳手势信号。
[0064]
决策层，由座舱域控制器及芯片模块组成；接收感知层信号通过决策层处理发送给执行层，其中座舱域控制器中增加了视觉域模块与智能信息域模块，分别起到增加视觉图像追踪处理能力和信息传输效率作用，为用户手势的识别算法提供较好的实施环境；同时在芯片模块设置逻辑校验、信号处理、模型验证三个步骤，通过着三个步骤的处理，加快了对手势信号的识别以及手势库匹配的效率，并对所得用户手势信息进行匹配验证并发出相应命令信号。
[0065]
执行层，由响应模块组成；其中响应模块接收决策层输出的命令信号，并执行命令，输出方式通过中控屏幕、媒体音响、车辆天窗、安全带等显示。
[0066]
响应模块，中控屏幕、媒体音响、车辆天窗在接收到命令信号时会做出不同的响应，其中中控屏幕会根据手势进行上下屏幕滑动、左右翻页、隔空点击等响应；媒体音响会根据拇指与食指间的距离长短进行音量大小的调节；车辆天窗以及四周窗户会根据手掌的上下挥动上升或下降，前后挥动使得天窗开合或关闭。
[0067]
本实施例中，决策层的的手势识别过程的具体工作方法流程图如图2所示，包括：
[0068]
通过tof相机，采集用户实时手势图像，tof模块来发射脉冲光，再利用内置的感应器接收用户手部反射回的光线。然后，根据二者的时间差，得到用户实时的手势深度图像，传输至座舱域控制器，而后其中视觉域模块以及智能信息域模块对手势信号进行处理，经
过芯片模块的逻辑校验、信号处理、模型验证三个步骤进行再次处理，其中芯片模块对用户实时手势图像进行获取，采用优化算法对tof相机所得图像进行优化，提高处理速度；采用深度融合框架对图像进行处理得到高精度深度图；采用去雾算法去除环境光噪声得到高分辨率灰度图像；通过图像融合，得到融合深度高分辨率图，通过点云数据处理，得到三维姿态模型，通过三维姿态回归器对三维手部网络进行处理，并通过网格渲染器对手部网络进行渲染，得到手部实时三维姿态图像，对数据进行测试匹配，将匹配信息输出信号至执行层，响应模块的中控屏幕、媒体音响、汽车天窗、安全带等底层硬件进行响应。
[0069]
本实施例中对tof图像的优化方法的具体工作方法流程图，如图3所示，包括：
[0070]
s1、制作模拟tof数据集。在图形学基础上制作大量的模拟tof数据集，其中包含具有充分误差模拟的tof原始测量，高分辨率下确的深度真值，以及对应的rgb图像。
[0071]
s2、对tof深度图进行误差修复。提出级联迭代的卷积神经网络对深度图中存在的误差，通过残差预测的方式进行逐级修复。
[0072]
s3、rgb指导tof深度图的超分辨率。分析rgb图像与深度图之间模态的差异，设计前期融合、后期融合模块以及跨模态空域注意力融合模块，并在损失函数中应用二阶梯度平滑一致性损失。
[0073]
s4、tof成像优化算法在低功耗嵌入式设备上的加速与部署。通过网络结构优化设计在准确度损失尽可能小的前提下，降低方法的时间复杂度。
[0074]
其中tof的模拟数据集主要包含了用户驾驶位、副驾驶位、汽车座舱后排空间等场景，数据集的生成包含了场景构建和成像渲染两个部分，其中场景构建主要取自北斗星通的汽车座舱模型，通过使用3d模型构建不同光线强度下的座舱内场景以模拟实际的tof相机使用场景，相关系数图的成像渲染使用瞬态渲染，通过渲染相机在每一个时间小段上接收到的光，对该渲染结果进行幅度调制得到相关系数图的仿真，由于该渲染器的底层是基于光线追踪原理，因而可以支持模拟多径误差，由于用户手势出现的随机位置和朝向，渲染器会渲染得到该位姿下时间解析的图像。设一个渲染时间区间分为了n小段，则可以得到尺寸为h＊w＊n的渲染结果r，需要模拟的相关系数图可通过下式得到：
[0075][0076][0077]
n是时间小段的数量，r是时间解析的渲染结果，f是调制频率，τ是时间小段的时长(单位为秒)，c0和c1为所得到的不同相位偏移的相关系数图。
[0078]
通过该优化方法可以提升算法运行速度，同时保持良好的准确度。
[0079]
本实施例中，深度融合框架对图像处理的具体工作方法流程图，如图4所示，包括：
[0080]
s1、将tof相机得到的深度信息投影到参考的立体相机视角上。
[0081]
s2、由立体匹配算法计算得到一个高分辨率的深度图。
[0082]
s3、使用cnn网络估计得到立体视差以及tof深度图的置信度
[0083]
s4、将上采样的tof输出结果以及立体视差进行融合；
[0084]
通过该融合框架可以有效的提升深度图的精度。
[0085]
本实施例中，去雾算法去除环境光噪声得到高分辨率灰度图像的具体工作方法流程图，如图5所示，包括：
[0086]
s1、基于环境光差异设置不同的阙值对环境光差异较大的区域进行分割；
[0087]
s2、采用对比图先验去雾算法对亮区域去雾，通过暗通道先验去雾算法对暗区域处理；
[0088]
s3、采用动态阙值白平衡算法调整恢复后的图像亮度和色彩；
[0089]
其中对环境光的处理，将原图转换为灰度图，求灰度图像的梯度信息，对灰度图像的梯度进行去噪，设定梯度阈值w，小于该值判断为初始区域，对分割后的每个联通区域统计其原始图像的对应位置像素值的平均亮度，如果大于亮度阈值w1，则保留为亮区域；否则设定为暗区域，从而进一步细化亮区域。
[0090]
通过该处理方法可以有效解决环境光差异引起的图像去雾色彩失真、质量下降问题，且有更高的对比度。可以提高输出图像的鲁棒性，且恢复的图像色彩真实度和清晰度较高，更符合视觉观察特性。
[0091]
进本实施例中，多尺度变换图像融合的具体工作方法流程图，如图6所示，包括：
[0092]
s1、对原图像分别进行多尺度分解，得到变换域的一系列子图像；
[0093]
s2、采用一定的融合规则，提取变换域中每个尺度上最有效的特征，得到复合的多尺度表示；
[0094]
s3、对复合的多尺度表示进行多尺度逆变换，得到融合后的图像；
[0095]
通过该处理方法可以得到用户手部高分辨率融合深度图像，采用cvt变换的方法，具有dwt变换的多分辨率和时频局部化分析特性，同时还具有各向异性和很强的方向性，能够用较少的非零系数精确、稀疏地表征图像的边缘信息，以逼近图像的曲线状奇异特征变换后的非零系数点集中了图像的大部分有用信息，能量更加集中，有利于分析图像的边缘、纹理等重要特征。
[0096]
本实施例中，深度图点云生成三维手势图像的具体工作方法流程图，如图7所示，包括：
[0097]
s1、将图像坐标系进行undistort运算，得到点云坐标系；
[0098]
s2、将图像坐标系转化为世界坐标系；
[0099]
s3、对外参矩阵设置，由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以:
[0100][0101]
s4、相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw,可进一步简化为：
[0102]
[0103]
s5、从以上的变换矩阵公式，可以计算得到图像点[u,v]t到世界坐标点[xw,yw,zw]t的变换公式，以及约束条件为：
[0104][0105][0106]
其中x,y,z为点云坐标系，x’y’是图像坐标系，d为深度值；
[0107]
本实施例中，点云处理生成手势三维特征图的具体工作方法，如图8所示，包括：
[0108]
s1、点云图像的预处理；
[0109]
s2、模板匹配的单帧点云手势识别算法；
[0110]
s3、连续点云的手势识别算法；
[0111]
通过滤波、分割、法线估计的点云预处理框架，基于统计学滤噪、区域生长算法及点云体素化实现；模板匹配算法分为预处理、平面点提取以及模板匹配三步，预处理部分的目的是通过伸出手指数量对所得手势进行预先分类，以降低算法的匹配次数，提高算法效率；连续帧点云的手势识别算法，通过对手势的关键点进行标记，并以此构建特征向量的方式提高算法的抽象程度；通过以上步骤可以对用户手势进行边缘探测，划分边界点与内点，探测到指尖与形变关节的标记，最后将所得关键点三维空间位置与手势库手部骨骼模型进行拟合，将匹配的手势指令信号输出至执行层中的响应模块；
[0112]
本实施例中，响应模块中，用户手势信号与手势库匹配，执行层进行响应主要包含以下几种手势与底层硬件响应：当食指与拇指触碰时，为媒体音量调节信号，拇指与食指之间距离的远近变化，与之输出的是着媒体音量的大小变化；当手掌近乎平行，除了拇指其余四指向下挥动呈上下挥掌动作，则车辆窗户随之下降，反之上升；当手掌立起，向前向后呈挥掌动作时，车辆顶部天窗随之向前向后打开或关闭；当人机交互涉及车载屏幕时，则握拳并单一伸出食指的左右上下移动，都可以控制屏幕页面的左右翻页，上下内容的滑动，当食指关节出现较大角度变化，则在屏幕相应位置响应单击屏幕命令一次，当时间间隔小于0.5秒以内，连续出现两次单机命令则为屏幕的双击响应，屏幕进行双击操作一次；当出现握拳手势命令，则为用户自主判断行驶环境是否安全，车辆随即进入减速行驶状态。
[0113]
综上所述，本发明基于tof相机和汽车座舱域控制器得以实现，提高了系统整体的稳定性，可以有效的提高车载手势识别的准确率，减少了外界的环境光和噪声干扰，提升整体识别过程的鲁棒性，优化了tof图像的处理方法，提高运算速度，同时实现深度图与灰度图的多尺度特征融合，得到融合深度高分率图，大大提高了匹配的识别准确率；简单易懂的手势操作，达到了提高用户体验感和提高手势识别率的目的，同时一定程度上增加了用户行车过程中的安全性。
[0114]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽
然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于tof相机的汽车座舱域手势识别系统，其特征在于，包括依次连接的感知层、决策层、执行层；所述决策层接收感知层信号处理后发送给执行层，其中，所述感知层，由tof相机、外部车况传感器组成；所述tof相机用于实时采集座舱范围内的手势信息，所述外部车况传感器用于辅助手势识别系统感知外部环境，若检测环境状态异常，座舱内安全带缓慢收紧，且车辆则进行减速操作；所述决策层，由座舱域控制器及芯片模块组成；所述座舱域控制器中包括视觉域模块与智能信息域模块，分别起到增加视觉图像追踪处理能力和信息传输效率作用；同时在芯片模块设置逻辑校验、信号处理、模型验证三个步骤，对所得用户手势信息进行匹配验证并输出相应命令信号；所述执行层，由响应模块组成；所述响应模块接收决策层输出的命令信号，并执行命令。2.根据权利要求1所述的响应模块，其特征在于，所述输出的命令信号方式通过中控屏幕、媒体音响或车辆天窗以及四周窗户显示。3.根据权利要求2所述的响应模块，其特征在于，所述中控屏幕、媒体音响、车辆天窗在接收到命令信号时会做出不同的响应，其中中控屏幕根据手势进行上下屏幕滑动、左右翻页、隔空点击响应；所述媒体音响根据拇指与食指间的距离长短进行音量大小的调节；所述车辆天窗以及四周窗户根据手掌的上下挥动上升或下降，前后挥动使得天窗开合或关闭。4.一种基于tof相机的汽车座舱域手势识别方法，其特征在于，包括以下步骤：(1)通过tof相机采集用户实时手势图像，tof模块来发射脉冲光，再利用内置的感应器接收用户手部反射回的光线，然后根据二者的时间差，得到用户实时的手势深度图像；(2)采用cnn网络对tof相机所得图像进行优化；(3)采用深度融合框架对图像进行处理得到高分辨率深度图；(4)采用去雾算法去除环境光噪声得到高分辨率灰度图像；(5)通过图像融合，得到融合深度高分辨率图，通过点云数据处理，得到三维姿态模型，通过三维姿态回归器对三维手部网络进行处理，并通过网格渲染器对手部网络进行渲染，得到手部实时三维姿态图像，对数据进行测试匹配，将匹配信息输出信号至执行层，响应模块中的底层硬件进行响应。5.根据权利要求4所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述cnn网络图像优化步骤包括：(1-1)制作tof数据集在图形学基础上制作大量的模拟tof数据集，其中包含具有充分误差模拟的tof原始测量，高分辨率下的深度真值，以及对应的rgb图像；(1-2)对tof深度图进行误差修提出级联迭代的卷积神经网络对深度图中存在的误差，通过残差预测的方式进行逐级修复；(1-3)rgb指导tof深度图的超分辨率分析rgb图像与深度图之间模态的差异，设计前期融合、后期融合模块以及跨模态空域注意力融合模块，并在损失函数中应用二阶梯度平滑一致性损失；(1-4)tof成像优化算法在低功耗嵌入式设备上的加速与部署
通过网络结构优化设计在准确度损失尽可能小的前提下，降低方法的时间复杂度。6.根据权利要求4所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述深度融合框架对图像进行处理步骤包括：(2-1)将tof相机得到的深度信息投影到参考的立体相机视角上；(2-2)由立体匹配算法计算得到一个高分辨率的深度图；(2-3)使用cnn网络估计得到立体视差以及tof深度图的置信度；(2-4)将上采样的tof输出结果以及立体视差进行融合。7.根据权利要求4所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述去雾算法去除环境光噪声得到高分辨率灰度图像步骤包括：(3-1)基于环境光差异设置不同的阙值对环境光差异较大的区域进行分割；(3-2)采用对比图先验去雾算法对亮区域去雾，通过暗通道先验去雾算法对暗区域处理；(3-3)采用动态阙值白平衡算法调整恢复后的图像亮度和色彩。8.根据权利要求4所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述图像融合方法为多尺度变换的图像融合方法，其步骤包括：(4-1)对原图像分别进行多尺度分解，得到变换域的一系列子图像；(4-2)采用一定的融合规则，提取变换域中每个尺度上最有效的特征，得到复合的多尺度表示；(4-3)对复合的多尺度表示进行多尺度逆变换，得到融合后的图像。9.根据权利要求8所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述点云数据处理方法为：(4-5)将图像坐标系进行undistort运算，得到点云坐标系，其变换公式如下：其中x,y,z为点云坐标系，x’y’是图像坐标系，d为深度值；(4-6)点云图像的预处理；(4-7)模板匹配的单帧点云手势识别算法；(4-8)连续点云的手势识别算法；通过该算法对用户手势进行边缘探测，划分边界点与内点，探测到指尖与形变关节的标记，最后将所得关键点三维空间位置与手势库匹配，将匹配的手势指令信号输出至响应模块。10.根据权利要求9所述的一种基于tof相机的汽车座舱域手势识别方法，其特征在于，所述手势库匹配，执行层进行响应主要包含以下几种手势与底层硬件响应：当食指与拇指触碰时，为媒体音量调节信号，拇指与食指之间距离的远近变化，与之输出的是着媒体音量的大小变化；当手掌近乎平行，除了拇指其余四指向下挥动呈上下挥掌动作，则车辆窗户随之下降，反之上升；当手掌立起，向前向后呈挥掌动作时，车辆顶部天窗随之向前向后打开
或关闭；当人机交互涉及车载屏幕时，则握拳并单一伸出食指的左右上下移动，都可以控制屏幕页面的左右翻页，上下内容的滑动，当食指关节出现较大角度变化，则在屏幕相应位置响应单击屏幕命令一次，当时间间隔小于0.5秒以内，连续出现两次单机命令则为屏幕的双击响应，屏幕进行双击操作一次；当出现握拳手势命令，则为用户自主判断行驶环境是否安全，车辆随即进入减速行驶状态。

技术总结
本发明公开了一种基于TOF相机的汽车座舱域手势识别系统及方法，所述系统包括：依次连接的感知层、决策层、执行层；其中感知层利用TOF相机采集用户手势图像，外部车况传感器辅助感知环境；决策层通过座舱域控制器和芯片模块收集手势图像信号并进行处理；执行层通过响应模块执行手势命令；所述方法以TOF相机采集手势数据，将手势信号传送给座舱域控制器，由芯片模块进行信号处理，外部车况传感器辅助感知外部环境，输出车辆行驶状态信号；经芯片模块逻辑校验、信号处理、模型验证后输出信号到执行层，响应模块执行命令。该系统可以提高用户行驶过程中的人机交互体验，提高行车安全的可靠性。可靠性。可靠性。


技术研发人员：郝敬宾 孙晓凯 张正烜 徐林浩 刘新华 华德正 梁赐 刘晓帆 周皓
受保护的技术使用者：江苏北斗星通汽车电子有限公司
技术研发日：2023.03.22
技术公布日：2023/7/22