图像处理方法、装置、设备及介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及介质。


背景技术：

2.在图像处理领域中，为了能够对视频中指定的平面区域(诸如广告牌、相框、屏幕等)进行边缘光效、内容替换等功能处理，需要对该平面区域在视频帧图像的位置进行跟踪。然而，相关技术提供的平面追踪方式存在处理损耗高或追踪结果不准确的问题。


技术实现要素：

3.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、设备及介质。
4.本公开实施例提供了一种图像处理方法，所述方法包括：获取目标视频中的第一目标帧图像和第二目标帧图像；其中，所述第一目标帧图像是所述第二目标帧图像的前一帧图像；获取所述第一目标帧图像中第一目标平面区域的目标点的灰度信息；根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，以基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域；其中，所述第二目标平面区域与所述第一目标平面区域匹配。
5.可选的，所述获取目标视频中的第一目标帧图像和第二目标帧图像，包括：对所述目标视频中的相邻帧图像进行特征点匹配，得到特征点匹配结果；将特征点匹配结果对应的匹配误差大于预设误差阈值的相邻帧图像作为第一目标帧图像和第二目标帧图像。
6.可选的，所述目标点是所述第一目标平面区域中的灰度梯度大于预设梯度阈值的点。
7.可选的，所述灰度信息包括灰度和灰度梯度；所述根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，包括：基于所述第二目标帧图像与所述第一目标帧图像之间预设的初始映射关系，确定所述目标点在所述第二目标帧图像中的对应点，并获取所述对应点的灰度；根据所述目标点的灰度梯度、以及所述目标点的灰度和所述对应点的灰度之间的差值，对所述初始映射关系执行调整操作，直至得到目标映射关系；其中，所述调整操作用于降低所述差值。
8.可选的，所述对所述初始映射关系执行调整操作，直至得到目标映射关系，包括：基于所述初始映射关系执行指定次数的调整操作，以根据经指定次数调整后所得的映射关系确定目标映射关系。
9.可选的，所述基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域，包括：获取所述目标视频的基准帧图像与所述第一目标帧图像之间的第一映射关系；根据所述目标映射关系以及所述第一映射关系，获取所述基准帧图像与所述第二目标帧图像之间的第二映射关系；根据所述基准帧图像中的基准目标平面区域以及所述第二映射关系，确定所述第二目标帧图像中的第二目标平面区域；其中，所述基准目标平面区域、所述
第一目标平面区域以及所述第二目标平面区域均对应同一平面。
10.可选的，所述根据所述目标映射关系以及所述第一映射关系，获取所述基准帧图像与所述第二目标帧图像之间的第二映射关系，包括：根据所述目标映射关系以及所述第一映射关系，确定所述基准帧图像与所述第二目标帧图像之间的预估映射关系；基于所述预估映射关系，获取所述第二目标帧图像向所述基准帧图像进行重投影所得的投影帧图像；根据所述投影帧图像以及所述基准帧图像，获取所述预估映射关系的修正信息；利用所述修正信息对所述预估映射关系进行修正处理，以得到所述基准帧图像与所述第二目标帧图像之间的第二映射关系。
11.可选的，所述根据所述投影帧图像以及所述基准帧图像，获取所述预估映射关系的修正信息，包括：调节所述投影帧图像的亮度，以使调节后的亮度与所述基准帧图像的亮度匹配；基于亮度调节后的所述投影帧图像以及所述基准帧图像，得到所述预估映射关系的修正信息。
12.可选的，所述基于亮度调节后的所述投影帧图像以及所述基准帧图像，得到所述预估映射关系的修正信息，包括：根据所述基准帧图像中基准目标平面区域的目标点的灰度以及灰度梯度，确定亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系；基于亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系，得到所述预估映射关系的修正信息。
13.本公开实施例还提供了一种图像处理装置，包括：帧图像获取模块，用于获取目标视频中的第一目标帧图像和第二目标帧图像；其中，所述第一目标帧图像是所述第二目标帧图像的前一帧图像；灰度信息获取模块，用于获取所述第一目标帧图像中第一目标平面区域的目标点的灰度信息；平面区域确定模块，用于根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，以基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域；其中，所述第二目标平面区域与所述第一目标平面区域匹配。
14.本公开实施例还提供了一种电子设备，所述电子设备包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述任一项图像处理方法的步骤。
15.本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的图像处理方法。
16.本公开实施例提供的上述技术方案，能够获取第一目标帧图像(也即，在前帧)中第一目标平面区域的目标点的灰度信息，并根据目标点的灰度信息，确定第二目标帧图像(也即，在后帧)与第一目标帧图像之间的目标映射关系，以基于目标映射关系确定第二目标帧图像中与第一目标平面区域匹配的第二目标平面区域。上述方式与采用传统的深度学习算法进行平面追踪的方式相比，所需消耗的功耗较小，处理损耗较低；而且上述方式利用灰度信息进行平面追踪的效果较佳，追踪结果较为准确，尤其可以较好地保障具有诸如模糊或者纹理较弱等特性的图像帧的平面配准精度。
17.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
19.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1为本公开实施例提供的一种图像处理方法的流程示意图；
21.图2为本公开实施例提供的一种图像处理方法的流程示意图；
22.图3为本公开实施例提供的一种图像处理流程示意图；
23.图4为本公开实施例提供的一种图像处理装置的结构示意图；
24.图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
25.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
26.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
27.图1为本公开实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法主要包括如下步骤s102～步骤s106：
28.步骤s102，获取目标视频中的第一目标帧图像和第二目标帧图像；其中，第一目标帧图像是第二目标帧图像的前一帧图像。
29.本公开实施例对目标视频的视频内容不进行限制，示例性地，目标视频中可包含平面区域。第一目标帧图像和第二目标帧图像为目标视频中前后相邻的两帧图像，在一些实施方式中，可以将目标视频中任意两两相邻的帧图像分别作为第一目标帧图像和第二目标帧图像，在另一些实施方式中，可以将符合指定条件的相邻帧图像作为第一目标帧图像和第二目标帧图像，诸如，可以将目标视频中的模糊帧图像或者纹理较弱的帧图像等特殊帧图像作为第二目标帧图像，将其在前帧图像作为第一目标帧图像；此外，在通过本公开实施例提供的方式确定了特殊帧图像的目标平面区域后，特殊帧图像可以继续作为第一目标帧图像，以此用于确定特殊帧图像的在后帧图像的目标平面区域。此外，也可以采用诸如特征点匹配算法等其它方式先确定目标视频中的各帧图像的目标平面区域，然后再选取平面区域配准效果不佳的相邻帧图像作为第一目标帧图像和第二目标帧图像。具体可根据需求灵活设置第一目标帧图像和第二目标帧图像的选取方式，在此不进行限制。
30.步骤s104，获取第一目标帧图像中第一目标平面区域的目标点的灰度信息。示例性地，该灰度信息可以包括灰度及灰度梯度。
31.本公开实施例对目标平面区域的形状不进行限制，诸如可以为常见的屏幕、牌匾等四边形平面，也可以为生活中出现的三角形等其它多边形平面或者异形平面。第一目标
帧图像中的第一目标平面区域即为在目标视频中所需追踪的平面，第一目标平面区域的数量可以为一个或多个，在此不进行限制。可以理解的是，第一目标帧图像中的第一目标平面区域是已知的，本公开实施例主要需要基于第一目标帧图像中的第一目标平面区域的位置追踪第二目标帧图像中相应的平面区域。本公开实施例对目标点不进行限制，诸如，目标点可以是第一目标平面区域中的全部点、指定的多个点、随机的多个点或者按照预设方式分布的多个点，而不局限于特征点，以此可较好地应用于模糊帧图像或者纹理较弱的帧图像。为了能够较好地保障平面追踪精度，在一些具体的示例中，目标点可以为灰度梯度较高的点，诸如，目标点是第一目标平面区域中的灰度梯度大于预设梯度阈值的点，预设梯度阈值可根据需求灵活设置。在实际应用中，可以采用诸如canny算子等方式确定第一目标平面区域中具有较强梯度的目标点，并记录目标点的灰度信息(灰度以及灰度梯度)，可以理解的是，即便模糊图像或者纹理较弱的图像中通常也会包含较多的具有一定灰度梯度的点，相比于只利用特征点进行平面追踪的方式，本公开实施例提出的基于点的灰度信息进行平面追踪的方式普适性更强。
32.步骤s106，根据目标点的灰度信息，确定第二目标帧图像与第一目标帧图像之间的目标映射关系，以基于目标映射关系确定第二目标帧图像中的第二目标平面区域；其中，第二目标平面区域与第一目标平面区域匹配。
33.在实际应用中，可以首先预设两个相邻帧图像之间的初始映射关系，然后对初始映射关系进行多次调整迭代，直至得到目标映射关系，其中，基于目标映射关系确定的第二目标平面区域与第一目标平面区域是匹配的，也即对应同一平面，该平面即为目标视频中所需追踪的指定平面。
34.上述方式与采用传统的深度学习算法进行平面追踪的方式相比，所需消耗的功耗较小，处理损耗较低；而且上述方式利用灰度信息进行平面追踪的效果较佳，追踪结果较为准确，尤其可以较好地保障具有诸如模糊或者纹理较弱等特性的图像帧的平面配准精度。
35.为了进一步降低功耗，降低对设备性能的要求，本公开实施例提供了一种获取目标视频中的第一目标帧图像和第二目标帧图像的实施示例，包括：对目标视频中的相邻帧图像进行特征点匹配，得到特征点匹配结果；将特征点匹配结果对应的匹配误差大于预设误差阈值的相邻帧图像作为第一目标帧图像和第二目标帧图像。本公开实施例对特征点匹配方式不进行限制，示例性地，可以基于角点检测算法和稀疏光流算法对目标视频中的相邻帧图像进行特征点匹配，在一些具体实施示例中，角点检测算法可以为shi-tomasi角点检测算法，稀疏光流算法可以为klt稀疏光流算法，在实际应用中也可以采用其它角点检测算法和/或其它稀疏光流算法，在此不进行限制。
36.可以理解的是，大多数图像帧采用特征点匹配的方式便可以得到较好的配准效果，也即，可以较为准确地进行目标平面匹配，但是对于模糊帧图像或者弱纹理帧图像等特征点较少或者较不明显的特殊帧图像而言，采用特征点匹配的方式所得的平面匹配误差较大，追踪所得的在后帧的目标平面与在前帧的目标平面并不匹配，也即，基于在前帧的特征点所确定的在后帧的目标平面的位置并不准确。为了兼顾平面追踪效率以及精度，本公开实施例可以首先采用特征点匹配的方式对目标视频中的相邻帧图像进行平面追踪，从而提升平面追踪效率，降低所需的功耗以及降低对设备性能的要求，然后再基于特征点匹配结果的匹配误差的大小筛选出需要重新进行匹配的帧图像，以基于灰度信息重新进行区域匹
配，示例性地，可以采用梯度下降方式最优化相邻帧图像(也即第一目标帧图像与第二目标帧图像)的目标平面区域的灰度差，以此达到精确的区域匹配效果，鲁棒性也更强。在灰度信息包括灰度以及灰度梯度的基础上，本公开实施例提供了根据目标点的灰度信息，确定第二目标帧图像与第一目标帧图像之间的目标映射关系的具体实施示例，可以参照如下步骤(1)和步骤(2)执行：
37.步骤(1)，基于第二目标帧图像与第一目标帧图像之间预设的初始映射关系，确定目标点在第二目标帧图像中的对应点，并获取对应点的灰度。在实际应用中，映射关系可以采用矩阵的形式表征，具体可以预先设置一个单位三维矩阵作为初始映射关系。在两帧图像之间的初始映射关系以及第一目标帧图像的目标点已知的情况下，即可直接得到目标点在第二目标帧图像中的对应点。应当说明的是，初始映射关系只是预先设置的，因此并不准确，此时在第二目标帧图像中确定的对应点也并不准确，但后续可对初始映射关系进行多次迭代调整，也即可多次调整对应点的位置，直至可以找到较为准确的对应点。
38.步骤(2)，根据目标点的灰度梯度、以及目标点的灰度和对应点的灰度之间的差值，对初始映射关系执行调整操作，直至得到目标映射关系；其中，调整操作用于降低差值。也即，可以朝着降低差值的方向从初始映射关系起进行调整，每调整一次，都基于调整后的映射关系重新确定一次相应的对应点以及目标点的灰度和对应点的灰度之间的差值，然后再基于新确定的差值再次调整映射关系，直至得到符合需求的目标映射关系。
39.在一些实施示例中，基于初始映射关系执行指定次数的调整操作，以根据经指定次数调整后所得的映射关系确定目标映射关系。示例性地，可以直接将指定次数调整后所得的映射关系作为目标映射关系。其中，指定次数可以根据经验值设置，经过指定次数的调整操作后所得的映射关系可以逼近第一目标帧图像和第二目标帧图像之间准确的映射关系。
40.示例性地，已知第一目标帧图像中的第一目标平面区域中具有较强梯度的目标点p，并获取目标点p的灰度值梯度，首先可对第一目标帧图像与第二目标帧图像之间的映射关系h进行初始化，可采用单位三维矩阵表征。然后循环k次更新迭代映射关系h，以逐渐降低第一目标帧图像的目标点p与第二目标帧图像的对应点p’之间的灰度差。具体实现时，第二目标帧图像的对应点p’＝h*p，假设p’在第二目标帧图像中的灰度为i’，p在第一目标帧图像中的灰度为i，则p’和p的灰度差d＝i
’‑
i，在一些实施示例中，可以按照映射关系更新公式h’＝h+α*d
t
***(p
′
)来更新迭代第一目标帧图像与第二目标帧图像之间的映射关系h。其中，对于每一次调整操作而言，上述公式中h为更新前的映射关系，h’为更新后的映射关系，α为学习率，示例性地可以设置为0.1，d(p
′
)表示p
′
的微分，具体而言，映射关系可通过单应性矩阵的形式表征，一共具有8个参数，p
′
的微分代表8个参数中的每个参数稍微改变一个很小的值(改变量)时p
′
产生的偏移。改变量可以通过计算得到，示例性地，h＝[h1,h2,.....h8,1]，假设p的坐标为(x，y)，则p
′
的坐标为：(h1*x+h2*y+h3)/(h7*x+h8*y+1),(h4*x+h5*y+h6)/(h7*x+h8*y+1)。通过上述式子对h1,h2,h3...h8求导即可，进一步利用前述更新公式对h进行多次循环迭代，直至循环k次所得的最新的h即为第一目标帧图像和第二目标帧图像之间的目标映射关系。
[0041]
在通过上述方式确定目标映射关系后，即可基于目标映射关系确定第二目标帧图像中的第二目标平面区域。在一些实施方式中，可以直接将目标映射关系作为第一目标帧
图像和第二目标帧图像之间的映射关系，并基于第一目标帧图像中的第一目标平面区域和目标映射关系确定第二目标帧图像中的第二目标平面区域。在另一些实施方式中，考虑到在平面追踪过程中可能存在累计误差等问题，可以进一步引入目标视频的基准帧图像，在目标映射关系的基础上确定第二目标帧图像与基准帧图像之间的映射关系，从而更为准确地确定第二目标帧图像中的第二目标平面区域。示例性地，可以参照如下步骤a～步骤c执行：
[0042]
步骤a，获取目标视频的基准帧图像与第一目标帧图像之间的第一映射关系。示例性地，基准帧图像可以为目标视频的首帧图像。在实际应用中，在已知第一目标帧图像的第一目标平面区域以及基准帧图像的基准目标平面区域的基础上，可以直接得到第一映射关系，其中，第一目标帧图像的第一目标平面区域也是通过在前帧图像的目标平面区域进行追踪所得，以此类推，换言之，通过目标视频中相邻帧图像之间的映射关系的递推方式，可以较为准确地获知目标视频的基准帧图像与第一目标帧图像之间的第一映射关系。
[0043]
步骤b，根据目标映射关系以及第一映射关系，获取基准帧图像与第二目标帧图像之间的第二映射关系。由于目标映射关系是第一目标帧图像与第二目标帧图像之间的映射关系，而第一映射关系是第一目标帧图像与基准帧图像之间的映射关系，基于目标映射关系以及第一映射关系，便可合理可靠地得到基准帧图像与第二目标帧图像之间的第二映射关系。为了充分保障第二映射关系的准确性，示例性地，可以参照如下步骤b1～步骤b4执行：
[0044]
步骤b1，根据目标映射关系以及第一映射关系，确定基准帧图像与第二目标帧图像之间的预估映射关系。可以理解的是，本公开实施例充分考虑到可能会存在累计误差等问题从而导致获取到的第一目标帧图像与第二目标帧图像之间的目标映射关系可能也存在一定的误差，可能并不是非常精确，因此基于目标映射关系以及第一映射关系所确定的基准帧图像与第二目标帧图像之间的映射关系也是预估值，并不一定非常精确，需要进一步进行调整。
[0045]
步骤b2，基于预估映射关系，获取第二目标帧图像向基准帧图像进行重投影所得的投影帧图像。其中，重投影所得的投影帧图像也可称为重投影后的第二目标帧图像。
[0046]
步骤b3，根据投影帧图像以及基准帧图像，获取预估映射关系的修正信息。在实际应用中，可以比对投影帧图像以及基准帧图像，以此确定预估映射关系的修正信息。在一些具体的实施示例中，可以参照如下步骤b3.1～步骤b3.2执行：
[0047]
步骤b3.1，调节投影帧图像的亮度，以使调节后的亮度与基准帧图像的亮度匹配。也即，投影帧图像调节后的亮度与基准帧图像的亮度之间的差异小于预设亮度阈值，也即令投影帧图像与基准帧图像的亮度差异较小。示例性地，可以采用诸如直方图匹配方式将投影帧图像的亮度调节到与基准帧图像的亮度基本一致。本公开实施例充分考虑到不同帧图像的亮度可能存在差异，尤其对于并不相邻的帧图像而言，亮度差异可能较大。因此本公开实施例可以首先调节投影帧图像的亮度，将投影帧图像的基准帧的亮度调节到基本一致，以便有效排除亮度对于灰度的影响。
[0048]
步骤b3.2，基于亮度调节后的投影帧图像以及基准帧图像，得到预估映射关系的修正信息。在实际应用中，可以获取亮度调节后的投影帧图像以及基准帧图像之间的映射关系，该映射关系可作为前述预估映射关系的修正信息，具体可采用矩阵形式表示，也可称
为修正矩阵，亮度调节后的投影帧图像以及基准帧图像之间的映射关系可以参照前述基于灰度信息的方式确定，以此保障亮度调节后的投影帧图像以及基准帧图像之间的映射关系的精度。也即，在一些具体的实施示例中，可以根据基准帧图像中基准目标平面区域的目标点的灰度以及灰度梯度，确定亮度调节后的投影帧图像与基准帧图像之间的映射关系；然后基于亮度调节后的投影帧图像与基准帧图像之间的映射关系，得到预估映射关系的修正信息。换言之，通过前述基于灰度信息的方式将基准帧图像与亮度调节后的投影帧图像进行对齐，以此得到二者之间较为准确的映射关系。
[0049]
步骤b4，利用修正信息对预估映射关系进行修正处理，以得到基准帧图像与第二目标帧图像之间的第二映射关系。示例性地，修正信息通过修正矩阵的形式表征，预估映射关系以预估映射矩阵的形式表征，将修正矩阵与预估映射矩阵相乘积，即可得到对预估映射矩阵进行修正后的结果矩阵，该结果矩阵即可表征基准帧图像与第二目标帧图像之间的第二映射关系。通过上述方式，可以在消除累计误差的基础上得到基准帧图像与第二目标帧图像之间更为精确可靠的第二映射关系。
[0050]
步骤c，根据基准帧图像中的基准目标平面区域以及第二映射关系，确定第二目标帧图像中的第二目标平面区域；其中，基准目标平面区域、第一目标平面区域以及第二目标平面区域均对应同一平面，诸如，都对应目标场景中的同一平面，目标场景即为目标视频所呈现的场景。
[0051]
由于第二映射关系更为精确，且可有效消除累计误差，基于此得到的第二目标平面区域的位置也更为精准，达到精确可靠的平面跟踪效果。
[0052]
进一步，在前述基础上，本公开实施例还提供了如图2所示的一种图像处理方法的流程示意图，主要包括如下步骤s202～步骤s214：
[0053]
步骤s202，获取目标视频中的第一目标帧图像和第二目标帧图像；其中，第一目标帧图像是第二目标帧图像的前一帧图像。
[0054]
步骤s204，获取第一目标帧图像中第一目标平面区域的目标点的灰度以及灰度梯度。
[0055]
步骤s206，基于第二目标帧图像与第一目标帧图像之间预设的初始映射关系，确定目标点在第二目标帧图像中的对应点，并获取对应点的灰度。
[0056]
步骤s208，根据目标点的灰度梯度、以及目标点的灰度和对应点的灰度之间的差值，对初始映射关系执行指定次数的调整操作，将经指定次数调整后所得的映射关系作为目标映射关系。
[0057]
步骤s210，获取目标视频的基准帧图像与第一目标帧图像之间的第一映射关系。
[0058]
步骤s212，根据目标映射关系以及第一映射关系，获取基准帧图像与第二目标帧图像之间的第二映射关系。
[0059]
步骤s214，根据基准帧图像中的基准目标平面区域以及第二映射关系，确定第二目标帧图像中的第二目标平面区域。
[0060]
以上步骤的具体实现方式可以参照前述相关内容，在此不再赘述。通过上述方式，相比于传统的深度学习方式而言，所需功耗较小，对设备性能要求不高，而且能够基于灰度信息合理确定相邻帧图像之间的映射关系，而且在此基础上还可以引入基准帧图像，最终确定基准帧图像与第二目标帧图像之间的第二映射关系，以此实现更为精准的平面追踪效
果。
[0061]
为便于理解，也可以参照图3所示的一种图像处理流程示意图，在该流程示意图中，第一目标帧图像用第n-1帧表示，第二目标帧图像用第n帧表示，首先通过帧间配准的方式确定第n-1帧与第n帧之间的目标映射关系h(n)，再获取基准帧(诸如可以为视频首帧)与第n-1帧之间的第一映射关系h*(n-1)，目标映射关系h(n)与第一映射关系h*(n-1)相乘积，得到基准帧与第n帧之间的预估映射关系h*(n)’,利用基准帧图像对预估映射关系h*(n)’再进行二次矫正(具体可参照前述步骤b2～步骤b4)，最终得到基准帧与第n帧之间的第二映射关系h*(n)。
[0062]
通过上述方式，不仅可以实现较为准确的帧间配准效果，即便对于模糊帧图像或者弱纹理帧图像都能够实现精准配准，而且在此基础上引入基准帧图像进行二次矫正的方式，可以有效改善累计误差的问题，综合达到较好的平面追踪效果。
[0063]
对应于前述图像处理方法，图4为本公开实施例提供的一种图像处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，如图4所示，包括：
[0064]
帧图像获取模块402，用于获取目标视频中的第一目标帧图像和第二目标帧图像；其中，第一目标帧图像是第二目标帧图像的前一帧图像；
[0065]
灰度信息获取模块404，用于获取第一目标帧图像中第一目标平面区域的目标点的灰度信息；
[0066]
平面区域确定模块406，用于根据目标点的灰度信息，确定第二目标帧图像与第一目标帧图像之间的目标映射关系，以基于目标映射关系确定第二目标帧图像中的第二目标平面区域；其中，第二目标平面区域与第一目标平面区域匹配。
[0067]
上述装置与采用传统的深度学习算法进行平面追踪的方式相比，所需消耗的功耗较小，处理损耗较低，对设备性能要求不高；而且上述方式利用灰度信息进行平面追踪的效果较佳，追踪结果较为准确，尤其可以较好地保障具有诸如模糊或者纹理较弱等特性的图像帧的平面配准精度。
[0068]
在一些实施方式中，所述帧图像获取模块402具体用于：对所述目标视频中的相邻帧图像进行特征点匹配，得到特征点匹配结果；将特征点匹配结果对应的匹配误差大于预设误差阈值的相邻帧图像作为第一目标帧图像和第二目标帧图像。
[0069]
在一些实施方式中，所述目标点是所述第一目标平面区域中的灰度梯度大于预设梯度阈值的点。
[0070]
在一些实施方式中，所述灰度信息包括灰度和灰度梯度；所述平面区域确定模块406具体用于：基于所述第二目标帧图像与所述第一目标帧图像之间预设的初始映射关系，确定所述目标点在所述第二目标帧图像中的对应点，并获取所述对应点的灰度；根据所述目标点的灰度梯度、以及所述目标点的灰度和所述对应点的灰度之间的差值，对所述初始映射关系执行调整操作，直至得到目标映射关系；其中，所述调整操作用于降低所述差值。
[0071]
在一些实施方式中，所述平面区域确定模块406具体用于：基于所述初始映射关系执行指定次数的调整操作，以根据经指定次数调整后所得的映射关系确定目标映射关系。
[0072]
在一些实施方式中，所述平面区域确定模块406具体用于：获取所述目标视频的基准帧图像与所述第一目标帧图像之间的第一映射关系；根据所述目标映射关系以及所述第一映射关系，获取所述基准帧图像与所述第二目标帧图像之间的第二映射关系；根据所述
基准帧图像中的基准目标平面区域以及所述第二映射关系，确定所述第二目标帧图像中的第二目标平面区域；其中，所述基准目标平面区域、所述第一目标平面区域以及所述第二目标平面区域均对应同一平面。
[0073]
在一些实施方式中，所述平面区域确定模块406具体用于：根据所述目标映射关系以及所述第一映射关系，确定所述基准帧图像与所述第二目标帧图像之间的预估映射关系；基于所述预估映射关系，获取所述第二目标帧图像向所述基准帧图像进行重投影所得的投影帧图像；根据所述投影帧图像以及所述基准帧图像，获取所述预估映射关系的修正信息；利用所述修正信息对所述预估映射关系进行修正处理，以得到所述基准帧图像与所述第二目标帧图像之间的第二映射关系。
[0074]
在一些实施方式中，所述平面区域确定模块406具体用于：调节所述投影帧图像的亮度，以使调节后的亮度与所述基准帧图像的亮度匹配；基于亮度调节后的所述投影帧图像以及所述基准帧图像，得到所述预估映射关系的修正信息。
[0075]
在一些实施方式中，所述平面区域确定模块406具体用于：根据所述基准帧图像中基准目标平面区域的目标点的灰度以及灰度梯度，确定亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系；基于亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系，得到所述预估映射关系的修正信息。
[0076]
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
[0077]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置实施例的具体工作过程，可以参考方法实施例中的对应过程，在此不再赘述。
[0078]
本公开实施例提供了一种电子设备，电子设备包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开中任一项方法的步骤。
[0079]
下面参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0080]
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0081]
通常，以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0082]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
[0083]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的图像处理方法。
[0084]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0085]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的图像处理方法。
[0086]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0087]
本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开实施例中的图像处理方法。
[0088]
可以理解的是，在使用本公开各施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0089]
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0090]
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0091]
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
[0092]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0093]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取目标视频中的第一目标帧图像和第二目标帧图像；其中，所述第一目标帧图像是所述第二目标帧图像的前一帧图像；获取所述第一目标帧图像中第一目标平面区域的目标点的灰度信息；根据所述目标点的灰度信息确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，以基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域；其中，所述第二目标平面区域与所述第一目标平面区域匹配。2.根据权利要求1所述的方法，其特征在于，所述获取目标视频中的第一目标帧图像和第二目标帧图像，包括：对所述目标视频中的相邻帧图像进行特征点匹配，得到特征点匹配结果；将特征点匹配结果对应的匹配误差大于预设误差阈值的相邻帧图像作为第一目标帧图像和第二目标帧图像。3.根据权利要求1所述的方法，其特征在于，所述目标点是所述第一目标平面区域中的灰度梯度大于预设梯度阈值的点。4.根据权利要求1所述的方法，其特征在于，所述灰度信息包括灰度和灰度梯度；所述根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，包括：基于所述第二目标帧图像与所述第一目标帧图像之间预设的初始映射关系，确定所述目标点在所述第二目标帧图像中的对应点，并获取所述对应点的灰度；根据所述目标点的灰度梯度、以及所述目标点的灰度和所述对应点的灰度之间的差值，对所述初始映射关系执行调整操作，直至得到目标映射关系；其中，所述调整操作用于降低所述差值。5.根据权利要求4所述的方法，其特征在于，所述对所述初始映射关系执行调整操作，直至得到目标映射关系，包括：基于所述初始映射关系执行指定次数的调整操作，以根据经指定次数调整后所得的映射关系确定目标映射关系。6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域，包括：获取所述目标视频的基准帧图像与所述第一目标帧图像之间的第一映射关系；根据所述目标映射关系以及所述第一映射关系，获取所述基准帧图像与所述第二目标帧图像之间的第二映射关系；根据所述基准帧图像中的基准目标平面区域以及所述第二映射关系，确定所述第二目标帧图像中的第二目标平面区域；其中，所述基准目标平面区域、所述第一目标平面区域以及所述第二目标平面区域均对应同一平面。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标映射关系以及所述第一映射关系，获取所述基准帧图像与所述第二目标帧图像之间的第二映射关系，包括：根据所述目标映射关系以及所述第一映射关系，确定所述基准帧图像与所述第二目标帧图像之间的预估映射关系；基于所述预估映射关系，获取所述第二目标帧图像向所述基准帧图像进行重投影所得
的投影帧图像；根据所述投影帧图像以及所述基准帧图像，获取所述预估映射关系的修正信息；利用所述修正信息对所述预估映射关系进行修正处理，以得到所述基准帧图像与所述第二目标帧图像之间的第二映射关系。8.根据权利要求7所述的方法，其特征在于，所述根据所述投影帧图像以及所述基准帧图像，获取所述预估映射关系的修正信息，包括：调节所述投影帧图像的亮度，以使调节后的亮度与所述基准帧图像的亮度匹配；基于亮度调节后的所述投影帧图像以及所述基准帧图像，得到所述预估映射关系的修正信息。9.根据权利要求8所述的方法，其特征在于，所述基于亮度调节后的所述投影帧图像以及所述基准帧图像，得到所述预估映射关系的修正信息，包括：根据所述基准帧图像中基准目标平面区域的目标点的灰度以及灰度梯度，确定亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系；基于亮度调节后的所述投影帧图像与所述基准帧图像之间的映射关系，得到所述预估映射关系的修正信息。10.一种图像处理装置，其特征在于，包括：帧图像获取模块，用于获取目标视频中的第一目标帧图像和第二目标帧图像；其中，所述第一目标帧图像是所述第二目标帧图像的前一帧图像；灰度信息获取模块，用于获取所述第一目标帧图像中第一目标平面区域的目标点的灰度信息；平面区域确定模块，用于根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，以基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域；其中，所述第二目标平面区域与所述第一目标平面区域匹配。11.一种电子设备，其特征在于，所述电子设备包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-9中任一项所述的图像处理方法的步骤。12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一所述的图像处理方法。

技术总结
本公开实施例涉及一种图像处理方法、装置、设备及介质，其中该方法包括：获取目标视频中的第一目标帧图像和第二目标帧图像；其中，所述第一目标帧图像是所述第二目标帧图像的前一帧图像；获取所述第一目标帧图像中第一目标平面区域的目标点的灰度信息；根据所述目标点的灰度信息，确定所述第二目标帧图像与所述第一目标帧图像之间的目标映射关系，以基于所述目标映射关系确定所述第二目标帧图像中的第二目标平面区域；其中，所述第二目标平面区域与所述第一目标平面区域匹配。本公开实施例可以在消耗功耗较小的基础上有效保障平面追踪的精确度。踪的精确度。踪的精确度。


技术研发人员：邹力
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：2023.06.28
技术公布日：2023/9/20