一种图像编码调整方法、装置、存储介质及电子设备与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种图像编码调整方法、装置、存储介质及电子设备。


背景技术：

2.运动目标检测是实时对背景模型进行更新以适应光线和场景变化，用形态学方法和检测连通域面积进行后处理，消除噪声和背景扰动带来的影响，在hsv色度空间下检测阴影，得到准确的运动目标。
3.目前，针对运动目标常采用连续帧间差分法、背景差分法、光流法和运动能量法等四种方法进行检测。然而，上述方法在夜间或者阴雨天等环境较暗场景下，难以对运动目标和运动噪点进行识别，则对真实运动物体的检测效果大大降低。
4.因此，如何优化环境较暗场景下对运动目标的检测效果，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明实施例提供一种图像编码调整方法、装置、存储介质及电子设备，可以有效降低非真实运动物体的图像编码消耗，提高运动物体的图像展示效果。
6.第一方面，本发明实施例提供了一种图像编码调整方法，包括：
7.获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；
8.分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；
9.基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；
10.基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
11.第二方面，本发明实施例还提供了一种图像编码调整装置，包括：
12.图像帧对获取模块，用于获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；
13.图像帧对分析模块，用于分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；
14.运动块类型确定模块，用于基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；
15.图像编码调整模块，用于基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
16.第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的图像编码调整方法。
17.第四方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的图像编码调整方法。
18.本发明实施例提供了一种图像编码调整方案，通过获取监控设备拍摄的至少两个图像帧对；其中，图像帧对包括配置于监控设备的tof传感器采集的纹理图像帧和配置于监控设备的图像传感器采集的画面图像帧；纹理图像帧和画面图像帧为同一时刻采集的同一拍摄场景的图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；基于位置区域及运动块判断运动块的类型；其中，所述运动块包括运动物体和运动噪点；基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整。本发明实施例的方案，通过对监控设备配置的tof传感器采集的纹理图像和图像传感器采集的画面图像相结合，提高了对画面图像中真实的运动物体和运动噪点识别的准确性，从而根据识别结果对相应区域编码进行适应性调整，不仅解决了非真实运动物体带来的图像编码消耗，节省码率，增强编码的抗干扰性，提高了运动物体的图像展示效果，尤其是较暗环境场景下运动物体的图像展示效果。
附图说明
19.图1是本发明实施例提供的一种图像编码调整方法的流程图；
20.图2是本发明实施例提供的一种图像编码调整方法中tof传感器的工作原理示意图；
21.图3是本发明实施例提供的一种图像编码调整方法中运动块类型判断的示意图；
22.图4是本发明实施例提供的另一种图像编码调整方法的流程图；
23.图5是本发明实施例提供的又一种图像编码调整方法的流程图；
24.图6是本发明实施例提供的一种图像编码调整装置的结构示意图；
25.图7是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
26.下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
27.应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，
和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
28.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
29.需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
30.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
31.本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
32.相关技术中，可以利用tof相机获取物体深度数据信息，并转换成灰度图或伪彩图；利用背景差分法对目标物进行提取，得到背景差分图像；对运动目标进入检测范围后得到的差分图像先进行二值化处理得到二值图，再通过形态学处理，消除噪点；将处理过的二值图进行轮廓提取，设定阈值，统计二值图中每个纯白区域色块的面积，判断目标是否为运动物体；将运动目标在灰度图或伪彩图上框定并显示计算距离。该技术方案在环境较暗场景下图像增益增大，使得图像的运动噪点增多，而编码器会将运动噪点识别为运动块，消耗较多的码率对其进行编码，导致用户可以直观的看到大量的噪点，降低图像显示效果和用户体验效果。
33.图1是本发明实施例提供的一种图像编码调整方法的流程图，本发明实施例可适用于对图像编码进行调整的情况，该方法可以由图像编码调整装置来执行，该装置可由硬件和/或软件组成，并一般可集成在电子设备中。如图1所示，该方法具体包括如下步骤：
34.s110、获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧。
35.可以理解的是，在环境较暗场景下图像增益增大，使得图像的运动噪点增多，而图像采集器中编码器会将运动噪点识别为运动块，消耗较多的码率对其进行编码，同时用户还是可以直观的看到大量的噪点，降低图像显示效果和用户体验效果，而tof传感器可以识别到运动物体的轮廓。鉴于上述问题，本发明实施例通过将tof传感器和图像传感器所采集到的图像进行结合分析，可以提高对图像中运动块和运动噪点的识别效果，进而对其中运动噪点和真实的运动物体进行编码调整，以提高图像的显示效果。
36.其中，电子设备可以为监控设备(如相机)，也可以为计算机等终端设备，还可以为服务器，需要说明的是，本发明实施例对电子设备不做具体限定。
37.在本发明实施例中，监控设备中至少包括tof传感器和图像传感器，其中，tof传感器可以获取物体的表面特征或纹理特征，尤其是针对较暗环境下的物体，图像传感器可以获取物体的画面图像。图2是本发明实施例提供的一种图像编码调整方法中tof传感器的工作原理示意图。如图2所示，tof传感器b通过发射器b1发出经调制的近红外光，遇目标物体a后反射至检测器b2，通过计算光线发射和反射时间差或相位差，来换算被反射目标物体a的
距离，以产生深度信息，就可以将目标物体a的表面特征和纹理以不同颜色代表不同距离的地形图方式呈现出来。图像传感器是利用光电器件的光电转换功能，将通过成像透镜形成的光学图像转换为电子信号的半导体器件。
38.在本发明实施例中，获取监控设备拍摄的至少两个图像帧对，其中，每个图像帧对中包括配置于监控设备的tof传感器采集的纹理图像帧和图像传感器采集的画面图像帧。其中，tof传感器所采集的纹理图像帧和图像传感器所采集的画面图像帧为同一时刻采集的同一拍摄场景的图像帧，用以保证同一图像帧对中所采集图像的运动目标的位置和背景区域相同。每个纹理图像帧中可以包括被拍摄对象在各个像素点的纹理信息，每个画面图像帧中可以包被拍摄对象在各个像素点的图像信息。
39.s120、分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧。
40.需要说明的是，连续两个图像帧对可以包括前一图像帧对和当前图像帧对。其中，对前一画面图像帧和当前画面图像帧进行分析，可以得到当前画面图像帧中的运动块。例如，编码器在对前一画面图像帧和当前画面图像帧进行编码时，根据编码器内部算法并参考前一画面图像帧，对当前画面图像帧进行me(motion estimation，运动估计)、mc(motion compensation，运动补偿)和mv(motion vector，运动矢量)运算，提取当前画面图像帧中的运动块，并对该运动块进行标记。
41.此外，对前一纹理图像帧和当前纹理图像帧进行分析，可以得到当前纹理图像帧中运动目标所处的位置区域。例如，可以通过背景差分法、光流法或者运动能量法对前一纹理图像帧和当前纹理图像帧进行分析，判断当前纹理图像帧中是否存在运动目标，若是，则确定运动目标在当前纹理图像帧中所处的位置区域。在本发明实施例中，可选的，确定当前纹理图像帧中的运动目标所处的位置区域，包括：基于帧间差分法，计算连续两个图像帧对中的纹理图像帧间的纹理深度差；根据所述纹理深度差判断当前纹理图像帧中是否存在运动目标；当确定所述当前纹理图像帧中存在运动目标时，确定所述运动目标在所述当前纹理图像帧中所处的位置区域。
42.其中，帧间差分法是通过对视频图像序列中相邻两帧图像作差分运算来获得运动目标轮廓的方法，将连续相邻两帧图像的参数进行相减，将得到相邻两帧图像参数差的绝对值和预设阈值进行比较，从而对于运动目标进行识别。可以理解的是，当场景中存在目标运动时，帧与帧之间会出现较为明显的差别，若相邻两帧图像参数差值的绝对值大于预设阈值，意味着在当前图像中存在目标物体产生位移，则可确定运动目标轮廓。
43.在本发明实施例中，通过对连续两个图像帧对中的纹理图像帧间各个像素点的纹理深度值做差，得到纹理深度差；将该纹理深度差与预先确定的纹理深度差阈值进行比较，若大于预设纹理深度差阈值，则确定当前纹理图像帧中存在运动目标；并将大于预设纹理深度差阈值的各个像素点构成的区域作为该运动目标在当前纹理图像帧中所处的位置区域。
44.通过帧间差分法对相邻纹理图像帧间的纹理深度进行分析得到运动目标的所处区域，该算法简单易实现，对光线等场景变化不敏感，可以适应各种动态环境，稳定性较好。
45.s130、基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块
包括运动物体和运动噪点。
46.可以理解的是，运动块包括运动物体和运动噪点，其中，运动噪点是所采集图像中一种亮度或颜色信息的随机变化，而实际并没有运动所产生的错误信息。而编码器对画面图像进行编码的过程中，会将运动噪点作为运动块进行编码处理，这样会消耗较大的码率进行编码，而且使得编码后的图像画面中呈现大量的噪点，影响用户的视觉效果。鉴于上述问题，为了消除运动噪点对真实的运动物体的编码效果，以tof传感器所采集的纹理图像帧为参考，判断同一时刻同一场景下图像传感器所采集的画面图像帧中的运动块是真实的运动物体还是运动噪点。
47.其中，基于位置区域及运动块判断运动块的类型，可以通过基于同一时刻同一场景下tof传感器所采集的当前纹理图像帧和图像传感器所采集的当前画面图像帧的对应关系，确定当前画面图像帧在当前纹理图像帧中的映射区域，进一步确定当前画面图像帧中的运动块所处的位置区域和当前纹理图像帧中与运动物体所处的位置区域的对应关系，从而确定运动块的类型。此外，还可以通过对tof传感器所采集的当前纹理图像帧和图像传感器所采集的当前画面图像帧进行图像预处理，获取相同尺寸和类型的纹理图像帧和画面图像帧；选择合适的权重值，将所获取的纹理图像帧和画面图像帧进行叠加融合；进一步确定当前画面图像帧中的运动块所处的位置区域和当前纹理图像帧中与运动物体所处的位置区域的对应关系，从而确定运动块的类型。
48.在本发明实施例中，可选的，基于所述位置区域及所述运动块判断所述运动块的类型，包括：基于所述当前画面图像帧与所述当前纹理图像帧的对应关系，在所述当前画面图像帧中确定与所述位置区域对应的目标区域；当所述运动块处于所述目标区域内时，确定所述运动块为运动物体；当所述运动块未处于所述目标区域内时，确定所述运动块为运动噪点。
49.图3是本发明实施例提供的一种图像编码调整方法中运动块类型判断的示意图。根据同一时刻同一场景下tof传感器所采集的纹理图像帧和图像传感器所采集的画面图像帧的对应关系，确定纹理图像帧在画面图像帧中的映射区域。示例性的，可以基于当前画面图像帧与当前纹理图像帧的对应关系，将当前纹理图像帧映射至当前画面图像帧中，从而确定当前纹理图像帧在当前画面图像帧中的映射区域。然后，进一步基于运动目标在当前纹理图像帧中所处的位置区域，从该映射区域中确定与该位置区域(运动目标在当前纹理图像帧中所处的位置区域)对应的目标区域，也即从当前画面图像帧中确定与该位置区域对应的目标区域。在本发明实施例中，基于运动块与目标区域的位置关系，判断运动块的类型。具体的，当运动块位于目标区域内时，可确定运动块为真实的运动物体；当运动块未处于目标区域内时，可确定运动块为运动噪点。
50.如图3所示，c和d是tof传感器所采集的当前纹理图像帧中的运动目标所处的位置区域在当前画面图像帧中对应的目标区域，p1～p5是图像传感器所采集的当前画面图像帧中的运动块所处的位置区域。运动块p1和运动块p2在目标区域c内，则可认为运动块p1和运动块p2属于运动物体，可将该运动块p1和运动块p2所处的位置区域进行连通，以方便后续对该连通区域进行编码调整。目标区域d内不包含任何运动块，则可认为tof传感器在该目标区域受到外界干扰而导致误检。运动块p3、运动块p4和运动块p5不在任一目标区域中，则可认为运动块p3、运动块p4和运动块p5属于运动噪点，可通过后续处理对运动噪点所处区
域进行编码调整，以降低运动噪点带来的图像编码消耗，节省码率。
51.通过根据运动目标所处位置区域及运动块所处位置区域的位置关系，可准确判断出当前画面图像帧中的运动块的类型(运动块是真实的运动物体还是运动噪点)。
52.s140、基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
53.其中，基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整，例如，可以根据运动块的类型。对当前画面图像帧中运动块所处位置区域的码率进行调整；其中，码率越大，图像展示效果就越好。可以理解的是，提高图像展示效果，主要是希望提高图像中运动物体或关注目标的展示效果。例如，可以通过调整当前画面图像帧中运动块所处位置区域的压缩率、分辨率、码率控制模式或者画质级别以进行编码调整。在本发明实施例中，当运动块为运动噪点时，可以提高当前画面图像帧中运动块所处位置区域的压缩率或调整其画质级别，与此同时，可以将当前画面图像帧中其余区域原有的压缩率或画质级别保持不变；当运动块为运动物体时可以降低当前画面图像帧中运动块所处区域的压缩率，以达到提高运动物体的图像展示效果的目的。
54.在本发明实施例中，可选的，在基于运动块的类型，在对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之前，还包括：确定所述运动块在所述当前画面图像帧所处位置区域的当前编码码率控制参数；基于运动块的类型，在对所述运动块在所述当前画面图像帧所处位置区域进行编码调整，包括：当确定所述运动块为运动物体时，降低所述当前编码码率控制参数；当确定所述运动块为运动噪点时，提升所述当前编码码率控制参数。
55.其中，当前编码码率控制参数是对前一画面图像帧和当前画面图像帧中宏块残差进行离散余弦变换的量化参数。当前编码码率控制参数可以反映当前画面图像帧的细节压缩情况，当前编码码率控制参数越小，量化越精细，图像质量越高。确定当前编码码率控制参数，例如，可以基于abr、cbr、cop或者crf等不同的码率控制模式和实际需要，选择合适的当前编码码率控制参数；还可以基于对同一画面图像帧中运动块在多组编码码率控制参数下的实验效果，确定合适的当前编码码率控制参数。
56.当前编码码率控制参数可以包括压缩率、编码速度或编码质量。以当前编码码率控制参数是压缩率为例进行解释说明。可以理解的是，图像压缩率越大，图像显示效果越差，而图像压缩率越小，图像显示效果越好。因此，在本发明实施例中，在同一画面图像帧中，可以根据运动块的类型，对运动块所处区域的当前编码码率控制参数进行编码调整，以达到在节省码率的同时，提高图像的显示效果。当确定所述运动块为运动物体时，可以适当降低运动块所处区域的当前压缩率；当确定所述运动块为运动噪点时，可以适当提升运动块所处区域的当前压缩率。
57.这样设置的好处是，通过对不同运动块类型进行不同的编码调整，不仅可以解决非真实运动物体带来的图像编码消耗，节省码率，还可以提高运动物体的图像展示效果，尤其是较暗环境场景下运动物体的图像展示效果。
58.本发明实施例提供的图像编码调整方法，通过获取监控设备拍摄的至少两个图像帧对；其中，图像帧对包括配置于监控设备的tof传感器采集的纹理图像帧和配置于监控设备的图像传感器采集的画面图像帧；纹理图像帧和画面图像帧为同一时刻采集的同一拍摄
场景的图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；基于位置区域及运动块判断运动块的类型；其中，所述运动块包括运动物体和运动噪点；基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整。本技术方案，通过对监控设备配置的tof传感器采集的纹理图像和图像传感器采集的画面图像相结合，提高了对画面图像中真实的运动物体和运动噪点识别的准确性，从而根据识别结果对相应区域编码进行适应性调整，不仅解决了非真实运动物体带来的图像编码消耗，节省码率，增强编码的抗干扰性，提高了运动物体的图像展示效果，尤其是较暗环境场景下运动物体的图像展示效果。
59.图4是本发明实施例提供的另一种图像编码调整方法的流程图。该方法在上述各实施例的基础上进行优化，本实施例可适用于根据不同运动块类型对运动块所处区域进行编码调整的场景。如图4所示，该方法包括：
60.s410、获取监控设备拍摄的至少两个图像帧对。
61.其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧。
62.s420、分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块。
63.其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧。
64.s430、基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点。
65.s440、获取预先建立的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系。
66.其中，图像复杂度是基于图像传感器所采集的画面图像帧确定的复杂程度，可以用于衡量画面图像帧中包含细节特征的多少，如白墙、树叶及人脸的图像复杂度是不同的。其中，画面图像帧中包含的细节特征越多(如画面图像帧为人脸图像)，对应的图像复杂度越大，相应的，图像复杂度等级越高；反之，画面图像帧中包含的细节特征越小(如画面图像帧为白墙图像)，对应的图像复杂度越小，相应的，图像复杂度等级越低。示例性的，、可以计算画面图像帧中所有像素点的灰度值的均方差，根据均方差值的大小确定图像复杂度等级，也可以计算画面图像帧中目标物体的数量，根据数量多少确定图像复杂度等级。tof纹理等级是基于tof传感器所采集的纹理图像帧确定的纹理等级，可以用于反映图像的清晰度和纹理的沟纹深浅。tof纹理等级可以通过纹理图像帧的灰度共生矩阵，对纹理特征行定量描述，例如，可以是在灰度共生矩阵的基础上计算其均值、方差、标准差、同质度、对比度、非相似性、熵或角二阶矩，用以对纹理图像帧的tof纹理等级进行描述。比如，纹理图像帧的灰度共生矩阵的熵可以反映纹理的复杂程度，熵值越小，纹理图像帧中的灰度级分布越均匀，对应的tof纹理等级越高。
67.在本发明实施例中，获取预先建立的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系。例如，可以通过在专业的图像实验室中，分别采集不同拍摄对象(如白墙、
树叶、人脸等拍摄对象)的画面图像及纹理图像；分别基于画面图像计算各个画面图像的图像复杂度，并基于纹理图像计算各个纹理图像的tof纹理等级；分别确定每一组最为合适的编码码率控制参数，以确定可容忍的图像失真效果；并按不同的图像复杂度和tof纹理等级建立图像复杂度、tof纹理等级及编码码率控制参数间的对应关系表。
68.示例性的，可以在专业的图像实验室中，采集在夜间环境下墙面、草坪和运动物体的纹理图像帧和画面图像帧；计算确定图像复杂度和tof纹理等级；然后基于不同测试对象的图像复杂度和tof纹理等级，调整编码码率控制参数以选择最佳编码码率控制参数，例如，为了使运动物体的图像展示效果更好，可以降低编码码率控制参数。以此来建立关于不同测试对象的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系。
69.s450、分别确定所述当前画面图像帧的图像复杂度及所述当前纹理图像帧的tof纹理等级。
70.在本发明实施例中，确定当前画面图像帧的图像复杂度及当前纹理图像帧的tof纹理等级，可以通过计算当前画面图像帧中所有像素点的灰度值的均方差，根据预先确定的灰度值均方差和图像复杂度的对应关系，确定当前画面图像帧的图像复杂度。可以基于当前纹理图像帧建立灰度共生矩阵，计算其熵值，并根据熵值和tof纹理等级的对应关系确定当前纹理图像帧的tof纹理等级。
71.s460、根据所述图像复杂度、所述tof纹理等级及所述对应关系，确定对应的目标编码码率控制参数。
72.根据图像复杂度、tof纹理等级及对应关系，确定对应的目标编码码率控制参数。具体的，可以基于预先建立的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系，将当前画面图像帧的图像复杂度及当前纹理图像帧的tof纹理等级与所述对应关系中的图像复杂度和tof纹理等级进行对比，从而确定所述对应关系中的编码码率控制参数，将该编码码率控制参数作为目标编码码率控制参数。
73.s470、基于运动块的类型，将所述运动块在所述当前画面图像帧所处位置区域的当前编码码率控制参数，调整至所述目标编码码率控制参数。
74.需要说明的是，运动块可以包括运动噪点和运动物体。对于运动噪点，编码器在进行编码的过程中会将运动噪点作为运动块进行编码处理，这样会消耗较大的码率。因此，当确定运动块为运动噪点时，可以将当前画面图像帧中运动噪点所处位置区域的当前编码码率控制参数，调整至目标编码码率控制参数，以降低非真实运动物体带来的图像编码消耗。当确定运动块为运动物体时，例如可以将当前画面图像帧中运动块所处位置区域的当前编码码率控制参数，调整至目标编码码率控制参数，以提高运动物体的图像展示效果。
75.其中，将当前编码码率控制参数调整至目标编码码率控制参数，可以通过确定运动块所处区域的像素点位置，分别调整不同运动块所包含的像素点的当前编码码率控制参数调整至目标编码码率控制参数。
76.本技术方案，通过图像复杂度、tof纹理等级及对应关系确定目标编码码率控制参数，并对运动块在当前画面图像帧所处位置区域进行编码调整，可以提高编码码率控制的准确性，以达到图像的最佳显示效果。
77.图5是本发明实施例提供的又一种图像编码调整方法的流程图。该方法在上述实施例的基础上进行优化，本实施例可适用于对画面图像帧中运动块进行识别的场景。如图5
所示，该方法包括：
78.s510、获取监控设备拍摄的至少两个图像帧对。
79.其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧。
80.s520、对连续两个图像帧对中的纹理图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域。
81.s530、确定当前画面图像帧的类型；其中，当前画面图像帧为与所述两个连续帧对中与当前纹理图像帧对应的图像帧；所述当前画面图像帧的类型包括i帧和p帧。
82.可以理解的是，编码器将多张图像进行编码后生产成若干段gop(group of pictures，画面组)，其中，gop是一组连续的画面，由一张i帧和数张p帧组成，是视频图像编码器和解码器存取的基本单位。其中，i帧属于帧内全编码，不会参考其他帧，在噪声处理方面仅支持2d降噪，无法对时域噪声进行有效的处理，因而也无法识别运动块；而p帧通过参考前一帧，可以对p帧中的运动块进行编码。
83.具体的，i帧编码的方法可以为编码器对所采集的画面图像帧进行帧内预测，决定所采用的帧内预测模式；像素值减去预测值得到残差；对残差进行变换和量化；通过变长编码和算术编码重构图像并滤波，所得到的图像帧作为其它帧的参考帧。p帧编码的方法可以为参考前一画面图像帧，编码器对所采集的当前画面图像帧进行运动估计，计算采用帧间编码模式的率失真函数值；进行帧内预测，选取率失真函数值最小的顿内模式与帧间模式比较，确定编码模式；计算实际值和预测值的差值；对残差进行变换和量化；进行熵编码，如果是帧间编码模式，则编码运动矢量。
84.因此，可以根据当前画面图像帧的类型，确定不同类型画面图像帧中运动块的确定方式。
85.s540、当确定所述当前画面图像帧为i帧时，将所述当前画面图像帧编码为备份p帧。
86.在当前画面图像帧为i帧时，即gop中的第一帧，由于没有前一帧的参考，因此当前画面图像帧无法识别运动块，从而不能根据当前画面图像帧和所对应的当前纹理帧确定运动块类型。在本发明实施例中，可以将当前画面图像帧编码为备份p帧。其中，备份p帧可以是通过编码器将当前画面图像帧编码为p帧的图像。
87.s550、确定所述备份p帧中的运动块。
88.其中，确定备份p帧中的运动块，可以通过编码器在基于编码内部算法对备份p帧运行me、mc、mv等算法，以提取备份p帧中的运动块。
89.s560、基于所述位置区域及所述运动块判断所述运动块的类型。
90.s570、基于运动块的类型，对所述运动块在所述备份p帧所处位置区域进行编码调整。
91.对运动块在备份p帧所处位置区域进行编码调整，可以通过对其所处位置区域的编码码率控制参数(如压缩率)进行调整。示例性的，根据运动块的不同类型，当运动块为运动物体时，则可以降低运动物体在备份p帧所处位置区域的当前编码码率控制参数；当运动块为运动噪点时，则可以提升运动噪点在备份p帧所处位置区域的当前编码码率控制参数。
92.s580、构建与编码调整后的备份p帧对应的画面重建帧，并对所述画面重建帧进行i帧编码。
93.其中，画面重建帧可以包括运动物体的编码保护区域以及运动噪点的抹噪处理区域。在本发明实施例中，可以基于画面重建技术，构建与编码调整后的备份p帧对应的画面重建帧。在经编码器对画面重建帧进行重新编码后，就可以得到i帧。这样设置的好处是，解决了i帧无法识别运动块的问题，可以避免非真实运动物体带来的图像编码消耗，提高运动物体的图像展示效果。
94.本技术方案，通过区分当前画面图像帧的类型，确定当前画面图像帧分别为i帧和p帧时的运动块的确定方式，优化了编码器的编码流程，节约码率，提高了运动物体的图像展示效果。
95.在上述各实施例的基础上，可选的，当确定所述当前画面图像帧为p帧时，基于帧间编码算法确定当前画面图像帧中的运动块。
96.在当前画面图像帧为p帧时，基于帧间编码算法，利用相邻帧之间的时域相关性进行预测，去除相邻帧之间的冗余信息。示例性的，可以通过当前画面图像帧和前一画面图像帧进行运动估计，得到运动块的二维预测运动方向向量；若运动块的二维预测运动方向向量的sda值小于预设阈值，则进行运动补偿，即将运动分割残差加至预测运动方向向量；最后输出当前画面图像帧中运动块相对于前一画面图像帧中运动块的偏移量，以及当前画面图像帧中的运动块和所处位置区域。这样设置的好处是，可以优化编码器的编码流程，提升编码速度，从而提高了运动物体的图像展示效果。
97.图6是本发明实施例提供的一种图像编码调整装置的结构示意图。如图6所示，该装置包括：
98.图像帧对获取模块610，用于获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；
99.图像帧对分析模块620，用于分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；
100.运动块类型确定模块630，用于基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；
101.图像编码调整模块640，用于基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
102.本发明实施例提供了一种图像编码调整装置，通过获取监控设备拍摄的至少两个图像帧对；其中，图像帧对包括配置于监控设备的tof传感器采集的纹理图像帧和配置于监控设备的图像传感器采集的画面图像帧；纹理图像帧和画面图像帧为同一时刻采集的同一拍摄场景的图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；基于位置区域
及运动块判断运动块的类型；其中，所述运动块包括运动物体和运动噪点；基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整。本发明实施例的方案，通过对监控设备配置的tof传感器采集的纹理图像和图像传感器采集的画面图像相结合，提高了对画面图像中真实的运动物体和运动噪点识别的准确性，从而根据识别结果对相应区域编码进行适应性调整，不仅解决了非真实运动物体带来的图像编码消耗，节省码率，增强编码的抗干扰性，提高了运动物体的图像展示效果，尤其是较暗环境场景下运动物体的图像展示效果。
103.进一步的，图像帧对分析模块620，包括：
104.纹理深度差确定单元，用于基于帧间差分法，计算连续两个图像帧对中的纹理图像帧间的纹理深度差；
105.运动目标判断单元，用于根据所述纹理深度差判断当前纹理图像帧中是否存在运动目标；
106.运动目标所处位置确定单元，用于当确定所述当前纹理图像帧中存在运动目标时，确定所述运动目标在所述当前纹理图像帧中所处的位置区域。
107.进一步的，运动块类型确定模块630，包括：
108.位置对应关系确定单元，用于基于所述当前画面图像帧与所述当前纹理图像帧的对应关系，在所述当前画面图像帧中确定与所述位置区域对应的目标区域；
109.运动物体确定单元，用于当所述运动块处于所述目标区域内时，确定所述运动块为运动物体；
110.运动噪点确定单元，用于当所述运动块未处于所述目标区域内时，确定所述运动块为运动噪点。
111.进一步的，所述装置还包括：
112.当前编码码率控制参数确定模块，用于在基于运动块的类型，在对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之前，确定所述运动块在所述当前画面图像帧所处位置区域的当前编码码率控制参数；
113.相应的，图像编码调整模块640，包括：
114.图像编码第一调整单元，用于当确定所述运动块为运动物体时，降低所述当前编码码率控制参数；
115.图像编码第二调整单元，用于当确定所述运动块为运动噪点时，提升所述当前编码码率控制参数。
116.进一步的，所述装置还包括：
117.对应关系确定模块，用于在基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之前，获取预先建立的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系；
118.图像参数确定模块，用于分别确定所述当前画面图像帧的图像复杂度及所述当前纹理图像帧的tof纹理等级；
119.目标编码码率控制参数确定模块，用于根据所述图像复杂度、所述tof纹理等级及所述对应关系，确定对应的目标编码码率控制参数；
120.相应的，图像编码调整模块640，包括：
121.图像编码调整单元，用于基于运动块的类型，将所述运动块在所述当前画面图像帧所处位置区域的当前编码码率控制参数，调整至所述目标编码码率控制参数。
122.进一步的，所述装置还包括：
123.当前画面图像帧类型确定模块，用于在确定当前画面图像帧中的运动块之前，确定所述当前画面图像帧的类型；其中，所述当前画面图像帧的类型包括i帧和p帧；
124.相应的，图像帧对分析模块620，包括：
125.i帧处理单元，用于当确定所述当前画面图像帧为i帧时，将所述当前画面图像帧编码为备份p帧；
126.运动块确定单元，用于确定所述备份p帧中的运动块；
127.相应的，图像编码调整模块640，包括：
128.图像编码调整单元，用于基于运动块的类型，对所述运动块在所述备份p帧所处位置区域进行编码调整；
129.相应的，所述装置还包括：
130.画面重建模块，用于在基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之后构建与编码调整后的备份p帧对应的画面重建帧，并对所述画面重建帧进行i帧编码。
131.进一步的，图像帧对分析模块620，包括：
132.p帧处理单元，用于当确定所述当前画面图像帧为p帧时，基于帧间编码算法确定当前画面图像帧中的运动块。
133.上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本发明实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
134.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的图像编码调整方法：
135.获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；
136.分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；
137.基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；
138.基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
139.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者
可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
140.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像编码调整操作，还可以执行本发明任意实施例所提供的图像编码调整方法中的相关操作。
141.本发明实施例提供了一种电子设备，该电子设备中可集成本发明实施例提供的图像编码调整装置。图7是本发明实施例提供的一种电子设备的结构框图。电子设备700可以包括：存储器701，处理器702及存储在存储器701上并可在处理器运行的计算机程序，所述处理器702执行所述计算机程序时实现如本发明实施例所述的图像编码调整方法：
142.获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；
143.分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；
144.基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；
145.基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。
146.本发明实施例中提供的电子设备，通过获取监控设备拍摄的至少两个图像帧对；其中，图像帧对包括配置于监控设备的tof传感器采集的纹理图像帧和配置于监控设备的图像传感器采集的画面图像帧；纹理图像帧和画面图像帧为同一时刻采集的同一拍摄场景的图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，当前画面图像帧为当前图像帧对中与当前纹理图像帧对应的图像帧；基于位置区域及运动块判断运动块的类型；其中，运动块包括运动物体和运动噪点；基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整。本发明实施例的方案，通过对监控设备配置的tof传感器采集的纹理图像和图像传感器采集的画面图像相结合，提高了对画面图像中真实的运动物体和运动噪点识别的准确性，从而根据识别结果对相应区域编码进行适应性调整，不仅解决了非真实运动物体带来的图像编码消耗，节省码率，增强编码的抗干扰性，提高了运动物体的图像展示效果，尤其是较暗环境场景下运动物体的图像展示效果。
147.上述实施例中提供的图像编码调整装置、存储介质及电子设备可执行本发明任意实施例所提供的图像编码调整方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像编码调整方法。
148.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、
重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种图像编码调整方法，其特征在于，包括：获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。2.根据权利要求1所述的方法，其特征在于，确定当前纹理图像帧中的运动目标所处的位置区域，包括：基于帧间差分法，计算连续两个图像帧对中的纹理图像帧间的纹理深度差；根据所述纹理深度差判断当前纹理图像帧中是否存在运动目标；当确定所述当前纹理图像帧中存在运动目标时，确定所述运动目标在所述当前纹理图像帧中所处的位置区域。3.根据权利要求1所述的方法，其特征在于，基于所述位置区域及所述运动块判断所述运动块的类型，包括：基于所述当前画面图像帧与所述当前纹理图像帧的对应关系，在所述当前画面图像帧中确定与所述位置区域对应的目标区域；当所述运动块处于所述目标区域内时，确定所述运动块为运动物体；当所述运动块未处于所述目标区域内时，确定所述运动块为运动噪点。4.根据权利要求1所述的方法，其特征在于，在基于运动块的类型，在对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之前，还包括：确定所述运动块在所述当前画面图像帧所处位置区域的当前编码码率控制参数；基于运动块的类型，在对所述运动块在所述当前画面图像帧所处位置区域进行编码调整，包括：当确定所述运动块为运动物体时，降低所述当前编码码率控制参数；当确定所述运动块为运动噪点时，提升所述当前编码码率控制参数。5.根据权利要求1所述的方法，其特征在于，在基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之前，还包括：获取预先建立的图像复杂度、tof纹理等级及编码码率控制参数间的对应关系；分别确定所述当前画面图像帧的图像复杂度及所述当前纹理图像帧的tof纹理等级；根据所述图像复杂度、所述tof纹理等级及所述对应关系，确定对应的目标编码码率控制参数；基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整，包括：基于运动块的类型，将所述运动块在所述当前画面图像帧所处位置区域的当前编码码
率控制参数，调整至所述目标编码码率控制参数。6.根据权利要求1所述的方法，其特征在于，在确定当前画面图像帧中的运动块之前，还包括：确定所述当前画面图像帧的类型；其中，所述当前画面图像帧的类型包括i帧和p帧；确定当前画面图像帧中的运动块，包括：当确定所述当前画面图像帧为i帧时，将所述当前画面图像帧编码为备份p帧；确定所述备份p帧中的运动块；基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整，包括：基于运动块的类型，对所述运动块在所述备份p帧所处位置区域进行编码调整；在基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整之后，还包括：构建与编码调整后的备份p帧对应的画面重建帧，并对所述画面重建帧进行i帧编码。7.根据权利要求6所述的方法，其特征在于，确定当前画面图像帧中的运动块，包括：当确定所述当前画面图像帧为p帧时，基于帧间编码算法确定当前画面图像帧中的运动块。8.一种图像编码调整装置，其特征在于，包括：图像帧对获取模块，用于获取监控设备拍摄的至少两个图像帧对；其中，所述图像帧对包括配置于所述监控设备的tof传感器采集的纹理图像帧和配置于所述监控设备的图像传感器采集的画面图像帧；所述纹理图像帧和所述画面图像帧为同一时刻采集的同一拍摄场景的图像帧；图像帧对分析模块，用于分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；其中，所述当前画面图像帧为当前图像帧对中与所述当前纹理图像帧对应的图像帧；运动块类型确定模块，用于基于所述位置区域及所述运动块判断所述运动块的类型；其中，所述运动块包括运动物体和运动噪点；图像编码调整模块，用于基于运动块的类型，对所述运动块在所述当前画面图像帧所处位置区域进行编码调整。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-7中任一所述的图像编码调整方法。10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要1-7中任一所述的图像编码调整方法。

技术总结
本发明实施例公开了一种图像编码调整方法、装置、存储介质及电子设备，该方法包括：获取监控设备拍摄的至少两个图像帧对；其中，图像帧对包括配置于监控设备的TOF传感器采集的纹理图像帧和配置于监控设备的图像传感器采集的画面图像帧；分别对连续两个图像帧对中的纹理图像帧及画面图像帧进行分析，确定当前纹理图像帧中的运动目标所处的位置区域及当前画面图像帧中的运动块；基于位置区域及运动块判断运动块的类型；基于运动块的类型，对运动块在当前画面图像帧所处位置区域进行编码调整。本发明实施例的方案，可以降低非真实运动物体的图像编码消耗，提高运动物体的图像展示效果。效果。效果。


技术研发人员：张祥涛 吴辉
受保护的技术使用者：浙江宇视科技有限公司
技术研发日：2021.12.30
技术公布日：2023/7/13