一种全景图像高精度修复的处理方法以及系统

1.本发明涉及图像修复技术领域，特别是涉及一种全景图像高精度修复的处理方法以及系统。


背景技术：

2.随着全景图像采集设备性能的提升以及在工业场景中的广泛使用，全景图像的采集变得非常容易。然而现有的通过采集设备直接采集获取的全景图像的边缘由于存在较多的空白区域，会导致全景图像的重要内容信息丢失，且即便能够对空白区域进行修复，其修复完成后的全景图像的精度也会被降低，严重影响了全景图像的使用，降低了对全景图像的利用率。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种全景图像高精度修复的处理方法以及系统，能够提升全景图像的修复精度，提高全景图像的利用率。
4.为解决上述技术问题，本发明是通过以下技术方案实现的：本发明提供一种全景图像高精度修复的处理方法，包括：获取全景图像；对所述全景图像进行掩膜分割处理，生成掩膜图像；对所述掩膜图像进行待修复裁剪处理，生成待修复区域图像；根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，所述分类像素数据集包括窄边边界像素数据集；对所述窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集；根据所述窄边邻域像素数据集对所述窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值；根据所述窄边邻域像素数据集对所述待修复像素的邻域像素进行权值函数处理，生成多个邻域像素灰度值；以及根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像。
5.在本发明一实施例中，所述对所述全景图像进行掩膜分割处理，生成掩膜图像的步骤包括：对所述全景图像进行阈值分割处理，生成二值图像；以及对所述二值图像进行膨胀处理，生成掩膜图像。
6.在本发明一实施例中，所述二值图像的分辨率与所述全景图像的分辨率相同。
7.在本发明一实施例中，所述根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集的步骤包括：对所述待修复区域图像进行边界区域划分处理，生成窄边区域图像；以及
根据所述窄边区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集。
8.在本发明一实施例中，所述分类像素图像集还包括窄边外部像素数据集以及窄边内部像素数据集。在本发明一实施例中，所述根据所述窄边邻域像素数据集对所述窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值的步骤包括：对所述窄边边界像素数据集中的所述待修复像素进行排列处理，生成边界待修复像素数据集；以及根据所述窄边邻域像素数据集对所述边界待修复像素数据集进行权值函数处理，生成多个所述待修复像素灰度值。在本发明一实施例中，所述权值函数处理满足如下公式：其中，表示为所述待修复像素的灰度值或所述邻域像素的灰度值，表示为所述窄边邻域像素数据集中的任意像素的灰度值，表示为所述窄边邻域像素数据集中的任意像素的梯度值，表示为所述待修复像素或所述邻域像素相对于所述窄边邻域像素数据集中的任意像素的权值函数，表示为以所述待修复像素或所述邻域像素为中心，为半径的所述窄边邻域像素数据集，表示为所述待修复像素或所述邻域像素，表示为所述窄边邻域像素数据集中的任意像素。
9.在本发明一实施例中，所述根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像的步骤包括：根据所述待修复像素灰度值对所述窄边边界像素数据集进行初始边界缩减处理，生成中间边界像素数据集；根据所述中间边界像素数据集对多个所述邻域像素灰度值对应的所述邻域像素数据集进行判断修复处理，生成目标边界像素数据集；以及根据所述目标边界像素数据集对所述待修复区域图像进行填充处理，生成目标全景图像。
10.在本发明一实施例中，所述根据所述中间边界像素数据集对多个所述邻域像素灰度值对应的所述邻域像素数据集进行判断修复处理，生成目标边界像素数据集的步骤包括：根据所述中间边界像素数据集判断所述邻域像素数据集中的邻域像素是否属于窄边内部像素数据集；若所述邻域像素属于所述窄边内部像素数据集，则对所述邻域像素进行类型更新处理，生成所述目标边界像素数据集；若所述邻域像素不属于所述窄边内部像素数据集，则对所述邻域像素进行删除处
理，并重复判断所述邻域像素数据集中的邻域像素是否属于窄边内部像素数据集，直至所述邻域像素数据集中所有邻域像素全部判断完成。
11.本发明还提供一种全景图像高精度修复的处理系统，其特征在于，所述系统包括：图像获取模块，用以获取全景图像；分割处理模块，用以对所述全景图像进行掩膜分割处理，生成掩膜图像；裁剪处理模块，用以对所述掩膜图像进行待修复裁剪处理，生成待修复区域图像；分类标记模块，用以根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，所述分类像素数据集包括窄边边界像素数据集；邻域选取模块，用以对所述窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集；灰度值计算模块，用以根据所述窄边邻域像素数据集对所述窄边边界像素数据集中所有待修复像素以及所述待修复像素的邻域像素数据集分别依次进行权值函数处理，分别对应生成多个待修复像素灰度值以及多个邻域像素灰度值；以及修复填充模块，用以根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像。
12.如上所述，本发明提供一种全景图像高精度修复的处理方法以及系统，通过在全景图像的待修复区域中设置一个窄边边界，并根据窄边边界对全景图像中的所有像素进行分类标记以确定窄边邻域像素数据集，再通过对窄边边界的不断缩减，从而完成对邻域像素数据集的判断及修复，生成目标边界像素数据集，再利用目标边界像素数据集对待修复区域进行填充处理，完成对全景图像高精度修复的处理，从而能够提升全景图像的修复精度，提高全景图像的利用率。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是本技术的一示例性实施例示出的一种全景图像高精度修复的处理方法的流程图；图2显示为图1所示实施例中的全景图像的示意图；图3显示为图1所示实施例中的步骤s220在一示例性的实施例中的流程图；图4显示为图3所示实施例中的步骤s221中的二值图像的示意图；图5显示为图1所示实施例中的步骤s240在一示例性的实施例中的流程图；图6显示为图1所示实施例中的步骤s260在一示例性的实施例中的流程图；图7显示为图1所示实施例中的步骤s280在一示例性的实施例中的流程图；图8显示为图7所示实施例中的目标全景图像的示意图；图9显示为图7所示实施例中的步骤s282在一示例性的实施例中的流程图；图10是本技术的一示例性实施例示出的一种全景图像高精度修复的处理系统的
结构示意图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
16.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
17.在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
18.首先需要说明的是，图像拼接是一种从多幅低分辨率的图像生成高分辨率图像的一种技术，其输出结果高分辨率图像通常被称之为“全景图像”，全景图像具有以下优点：（1）图像的分辨率高，包含丰富的场景内容；（2）图像的视野大，能够展示360度的场景信息，因此，全景图像具有广泛的应用价值。
19.请参阅图1所示，本发明提供了一种全景图像高精度修复的处理方法，应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
20.如图1所示，在一示例性的实施例中，全景图像高精度修复的处理方法至少包括步骤s210至步骤s280，详细介绍如下：步骤s210、获取全景图像。
21.步骤s220、对全景图像进行掩膜分割处理，生成掩膜图像。
22.步骤s230、对掩膜图像进行待修复裁剪处理，生成待修复区域图像。
23.步骤s240、根据待修复区域图像对全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，分类像素数据集包括窄边边界像素数据集。
24.步骤s250、对窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集。
25.步骤s260、根据窄边邻域像素数据集对窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值。
26.步骤s270、根据窄边邻域像素数据集对待修复像素的邻域像素进行权值函数处理，生成多个邻域像素灰度值。
27.步骤s280、根据待修复像素灰度值以及邻域像素灰度值对待修复区域图像进行修复填充处理，生成目标全景图像。
28.如图1和图2所示，在一示例性的实施例中，当执行步骤s210时，即获取全景图像。首先需要说明的是，全景图像可以通过对摄像头或者红外相机采集得到的多幅低分辨率的
图像进行拼接后得到，然不限于此，全景图像还可以通过其他方式获得，例如，在本实施例中，图2显示的图像可以表示为采集获取得到的全景图像。
29.如图1、图3和图4所示，在一示例性的实施例中，步骤s220对全景图像进行掩膜分割处理，生成掩膜图像可以包括步骤s221至步骤s222，详细介绍如下：步骤s221、对全景图像进行阈值分割处理，生成二值图像。
30.步骤s222、对二值图像进行膨胀处理，生成掩膜图像。
31.在一示例性的实施例中，步骤s221中的二值图像可以参照附图4所示，二值图像的分辨率可以与全景图像的分辨率相同。可以通过使用3
×
3卷积核对二值图像进行膨胀处理，从而得到掩膜图像，也可以通过其他的卷积核对二值图像进行膨胀处理，然不限于此，还可以通过其他方式对二值图像进行膨胀处理，以获得掩膜图像。
32.如图1所示，在一示例性的实施例中，当执行步骤s230时，即对掩膜图像进行待修复裁剪处理，生成待修复区域图像。需要说明的是，待修复裁剪处理可以包括利用掩膜图像减去二值图像，得到待修复区域图像，然不限于此，也可以通过其他方式获得待修复区域图像，只要能够获得较大范围的待修复区域图像即可。
33.如图1和图5所示，在一示例性的实施例中，步骤s240即根据待修复区域图像对全景图像中的所有像素进行分类标记处理，生成分类像素数据集可以包括步骤s241至步骤s242，详细介绍如下：步骤s241、对待修复区域图像进行边界区域划分处理，生成窄边区域图像。
34.步骤s242、根据窄边区域图像对全景图像中的所有像素进行分类标记处理，生成分类像素数据集。
35.在一示例性的实施例中，可以对待修复区域图像的边缘进行边界区域划分，以生成至少一个窄边区域图像。窄边区域图像为封闭区域，根据该窄边区域图像的范围可以对全景图像中的所有像素进行分类处理，分类像素数据集可以包括但不限于窄边边界像素数据集（band）、窄边外部像素数据集（known）以及窄边内部像素数据集（inside）。其中，窄边外部像素数据集中的所有像素的灰度值均为已知值。
36.如图1所示，在一示例性的实施例中，当执行步骤s250时，即对窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集。值得进一步说明的是，可以以窄边边界像素数据集中任意一像素点q为圆心，r为半径选取一个固定的范围作为窄边边界邻域图像区域，且该窄边边界邻域图像区域内的所有像素点组成窄边邻域像素数据集。其中，半径r可以为任意值，例如，半径r可以为3个像素点，然不限于此，半径r还可以为其他数值，窄边邻域像素数据集中所有像素点均为窄边外部像素数据集中的像素。
37.如图1和图6所示，在一示例性的实施例中，当执行步骤s260时，即根据窄边邻域像素数据集对窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值。具体的，步骤s260可以包括步骤s261至步骤s262，详细介绍如下：步骤s261、对窄边边界像素数据集中的待修复像素进行排列处理，生成边界待修复像素数据集。
38.步骤s262、根据窄边邻域像素数据集对边界待修复像素数据集进行权值函数处理，生成多个待修复像素灰度值。
39.在一示例性的实施例中，可以将窄边边界像素数据集中的像素点与窄边边界之间
的最短垂直距离记为pb，将窄边内部像素数据集中的像素点与窄边边界之间的最短垂直距离记为pi，将窄边外部像素数据集中的像素点与窄边边界之间的最短垂直距离记为pk，具体的，可以将pb与pk设置为较小值，将pi设置为较大值，用以区分窄边邻域像素数据集中的已修复像素以及未修复像素。例如，可以将pb与pk均设置为0个像素点，将pi设置为106个像素点，也可以将pb设置为0个像素点，将pk设置为1个像素点，将pi设置为105个像素点，然不限于此，还可以将pb、pk以及pi设置为其他数值，只要满足pi远大于pb和pk，用以区分窄边邻域像素数据集中的已修复像素以及未修复像素即可。进一步，可以根据窄边邻域像素数据集中的待修复像素与窄边边界之间的最短垂直距离的升序排列顺序对相应的待修复像素进行排列处理，以生成边界待修复像素数据集，并将边界待修复像素数据集加入至链表中按照排列顺序依次进行处理。然不限于此，也可以根据窄边邻域像素数据集中的待修复像素与窄边边界之间的最短垂直距离的降序排列顺序对相应的待修复像素进行排列处理。
40.如图1所示，在一示例性的实施例中，当执行步骤s270时，即根据窄边邻域像素数据集对待修复像素的邻域像素进行权值函数处理，生成多个邻域像素灰度值。具体的，对待修复像素以及待修复像素的邻域像素数据集分别依次进行权值函数处理可以满足如下公式：其中，表示为所述待修复像素的灰度值或所述邻域像素的灰度值，表示为所述窄边邻域像素数据集中的任意像素的灰度值，表示为所述窄边邻域像素数据集中的任意像素的梯度值，表示为所述待修复像素或所述邻域像素相对于所述窄边邻域像素数据集中的任意像素的权值函数，表示为以所述待修复像素或所述邻域像素为中心，为半径的所述窄边邻域像素数据集，表示为待修复像素或邻域像素，表示为窄边邻域像素数据集中的任意像素。
41.权值函数可以满足如下公式：可以满足如下公式：可以满足如下公式：
其中，n(q)可以表示为待修复像素或邻域像素距离法线向量n的距离系数，当q距离法线向量n越近时，n(q)越大，可以表示为法线方向影响系数，即可以保证当窄边邻域像素数据集中的任意一像素越靠近法线方向时，待修复像素的灰度值或邻域像素的灰度值受到的影响越大，可以表示为几何距离影响系数，即可以保证当窄边邻域像素数据集中的像素与对待修复像素的灰度值或邻域像素的灰度值之间的几何距离越小时，窄边邻域像素数据集中的任意一像素与对待修复像素的灰度值或邻域像素的灰度值的影响越大，可以表示为水平距离影响系数，即可以保证当窄边邻域像素数据集中的任意一像素与待修复区域图像的轮廓线之间的水平距离越小时，窄边邻域像素数据集中的任意一像素对待修复像素的灰度值或邻域像素的灰度值的影响越大，d0可以表示为待修复像素点或邻域像素点与窄边邻域像素数据集中的像素点的距离，t0可以表示为窄边邻域像素数据集中的任意一像素相对比窄边边界的反比例系数，可以表示为待修复像素点或邻域像素点距离窄边边界的距离，可以表示为窄边邻域像素数据集中的像素点距离窄边边界的距离。
42.如图1、图7和图8所示，在一示例性的实施例中，当执行步骤s280时，即根据待修复像素灰度值以及邻域像素灰度值对待修复区域图像进行修复填充处理，生成目标全景图像。具体的，步骤s280可以包括步骤s281至步骤s283，详细介绍如下：步骤s281、根据待修复像素灰度值对窄边边界像素数据集进行初始边界缩减处理，生成中间边界像素数据集。
43.步骤s282、根据中间边界像素数据集对多个邻域像素灰度值对应的邻域像素数据集进行判断修复处理，生成目标边界像素数据集。
44.步骤s283、根据目标边界像素数据集对待修复区域图像进行填充处理，生成目标全景图像。
45.在一示例性的实施例中，步骤s283中的目标全景图像可以参照附图8所示，可以通过根据待修复像素灰度值将窄边边界像素数据集中的相应的待修复像素的类型更新为known，并在链表中对该待修复像素进行删除，以实现对窄边边界像素数据集中的窄边边界的缩减，获得中间边界像素数据集。
46.如图1、图7和图9所示，在一示例性的实施例中，当执行步骤s282时，即根据中间边界像素数据集对多个邻域像素灰度值对应的邻域像素数据集进行判断修复处理，生成目标边界像素数据集。具体的，步骤s282可以包括步骤s292，详细介绍如下：步骤s292、根据中间边界像素数据集判断邻域像素数据集中的邻域像素是否属于窄边内部像素数据集。若邻域像素属于窄边内部像素数据集，则对邻域像素进行类型更新处理，生成目标边界像素数据集。若邻域像素不属于窄边内部像素数据集，则对邻域像素进行删除处理，并重复判断邻域像素数据集中的邻域像素是否属于窄边内部像素数据集，直
至邻域像素数据集中所有邻域像素全部判断完成。
47.在一示例性的实施例中，邻域像素数据集可以包括但不限于待修复像素的上邻域像素、下邻域像素、左邻域像素以及右邻域像素四个邻域像素。其中，当邻域像素属于inside类型时，可以对该邻域像素的类型进行更新处理，获得目标边界像素数据集，具体的，目标边界像素数据集中的像素为band类型，然不限于此，目标边界像素数据集中的像素为band类型也可以为其他类型，只要能够缩小窄边边界，并对像素点进行修复即可。修复完成的目标全景图像的格式可以包括但不限于“.jpg”、“.png”、“.tiff”、“.webp”、“.bmp”、“.raw”以及“.hdr”中的一种或多种。
48.图10是本技术的一示例性实施例示出的全景图像高精度修复的处理系统的结构示意图。该系统可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该系统所适用的实施环境进行限制。
49.全景图像高精度修复的处理系统可以包括图像获取模块310、分割处理模块320、裁剪处理模块330、分类标记模块340、邻域选取模块350、灰度值计算模块360以及修复填充模块370。
50.在一示例性的实施例中，图像获取模块310可用于获取全景图像。全景图像可以通过对摄像头或者红外相机采集得到的多幅低分辨率的图像进行拼接后得到，然不限于此，全景图像还可以通过其他方式获得。
51.在一示例性的实施例中，分割处理模块320可用于对全景图像进行掩膜分割处理，生成掩膜图像。其中，二值图像的分辨率可以与全景图像的分辨率相同。可以通过使用3
×
3卷积核对二值图像进行膨胀处理，从而得到掩膜图像，也可以通过其他的卷积核对二值图像进行膨胀处理，然不限于此，还可以通过其他方式对二值图像进行膨胀处理，以获得掩膜图像。
52.在一示例性的实施例中，裁剪处理模块330可用以对掩膜图像进行待修复裁剪处理，生成待修复区域图像。需要说明的是，待修复裁剪处理可以包括利用掩膜图像减去二值图像，得到待修复区域图像，然不限于此，也可以通过其他方式获得待修复区域图像，只要能够获得较大范围的待修复区域图像即可。
53.在一示例性的实施例中，分类标记模块340可用以根据待修复区域图像对全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，分类像素数据集包括窄边边界像素数据集。可以对待修复区域图像的边缘进行边界区域划分，以生成至少一个窄边区域图像。窄边区域图像为封闭区域，根据该窄边区域图像的范围可以对全景图像中的所有像素进行分类处理，分类像素数据集可以包括但不限于窄边边界像素数据集（band）、窄边外部像素数据集（known）以及窄边内部像素数据集（inside）。其中，窄边外部像素数据集中的所有像素的灰度值均为已知值。
54.在一示例性的实施例中，邻域选取模块350可用以对窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集。值得进一步说明的是，可以以窄边边界像素数据集中任意一像素点q为圆心，r为半径选取一个固定的范围作为窄边边界邻域图像区域，且该窄边边界邻域图像区域内的所有像素点组成窄边邻域像素数据集。其中，半径r可以为任意值，例如，半径r可以为3个像素点，然不限于此，半径r还可以为其他数值，窄边邻域像素数据集中所有像素点均为窄边外部像素数据集中的像素。
55.在一示例性的实施例中，灰度值计算模块360可用以根据窄边邻域像素数据集对窄边边界像素数据集中的待修复像素以及待修复像素的邻域像素数据集分别依次进行权值函数处理，分别对应生成多个待修复像素灰度值以及多个邻域像素灰度值。其中，可以将窄边边界像素数据集中的像素点与窄边边界之间的最短垂直距离记为pb，将窄边内部像素数据集中的像素点与窄边边界之间的最短垂直距离记为pi，将窄边外部像素数据集中的像素点与窄边边界之间的最短垂直距离记为pk，具体的，可以将pb与pk设置为较小值，将pi设置为较大值，用以区分窄边邻域像素数据集中的已修复像素以及未修复像素。例如，可以将pb与pk均设置为0个像素点，将pi设置为106个像素点，也可以将pb设置为0个像素点，将pk设置为1个像素点，将pi设置为105个像素点，然不限于此，还可以将pb、pk以及pi设置为其他数值，只要满足pi远大于pb和pk，用以区分窄边邻域像素数据集中的已修复像素以及未修复像素即可。进一步，可以根据窄边邻域像素数据集中的待修复像素与窄边边界之间的最短垂直距离的升序排列顺序对相应的待修复像素进行排列处理，以生成边界待修复像素数据集，并将边界待修复像素数据集加入至链表中按照排列顺序依次进行处理。然不限于此，也可以根据窄边邻域像素数据集中的待修复像素与窄边边界之间的最短垂直距离的降序排列顺序对相应的待修复像素进行排列处理。
56.在一示例性的实施例中，修复填充模块370可用以根据待修复像素灰度值以及邻域像素灰度值对待修复区域图像进行修复填充处理，生成目标全景图像。需要说明的是，可以通过根据待修复像素灰度值将窄边边界像素数据集中的相应的待修复像素的类型更新为known，并在链表中对该待修复像素进行删除，以实现对窄边边界像素数据集中的窄边边界的缩减，获得中间边界像素数据集。
57.需要说明的是，上述实施例所提供的全景图像高精度修复的处理系统与上述实施例所提供的全景图像高精度修复的处理方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的全景图像高精度修复的处理系统在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
58.综上所述，通过本发明提供的一种全景图像高精度修复的处理方法以及系统，通过在全景图像的待修复区域中设置一个窄边边界，并根据窄边边界对全景图像中的所有像素进行分类标记以确定窄边邻域像素数据集，再通过对窄边边界的不断缩减，从而完成对邻域像素数据集的判断及修复，生成目标边界像素数据集，再利用目标边界像素数据集对待修复区域进行填充处理，完成对全景图像高精度修复的处理，从而能够提升全景图像的修复精度，提高全景图像的利用率。
59.在本说明书的描述中，参考术语“本实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
60.以上公开的本发明实施例只是用于帮助阐述本发明。实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多
的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种全景图像高精度修复的处理方法，其特征在于，包括：获取全景图像；对所述全景图像进行掩膜分割处理，生成掩膜图像；对所述掩膜图像进行待修复裁剪处理，生成待修复区域图像；根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，所述分类像素数据集包括窄边边界像素数据集；对所述窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集；根据所述窄边邻域像素数据集对所述窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值；根据所述窄边邻域像素数据集对所述待修复像素的邻域像素进行权值函数处理，生成多个邻域像素灰度值；以及根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像。2.根据权利要求1所述的全景图像高精度修复的处理方法，其特征在于，所述对所述全景图像进行掩膜分割处理，生成掩膜图像的步骤包括：对所述全景图像进行阈值分割处理，生成二值图像；以及对所述二值图像进行膨胀处理，生成掩膜图像。3.根据权利要求2所述的全景图像高精度修复的处理方法，其特征在于，所述二值图像的分辨率与所述全景图像的分辨率相同。4.根据权利要求1所述的全景图像高精度修复的处理方法，其特征在于，所述根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集的步骤包括：对所述待修复区域图像进行边界区域划分处理，生成窄边区域图像；以及根据所述窄边区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集。5.根据权利要求4所述的全景图像高精度修复的处理方法，其特征在于，所述分类像素数据集还包括窄边外部像素数据集以及窄边内部像素数据集。6.根据权利要求1所述的全景图像高精度修复的处理方法，其特征在于，所述根据所述窄边邻域像素数据集对所述窄边边界像素数据集中的待修复像素进行权值函数处理，生成多个待修复像素灰度值的步骤包括：对所述窄边边界像素数据集中的所述待修复像素进行排列处理，生成边界待修复像素数据集；以及根据所述窄边邻域像素数据集对所述边界待修复像素数据集进行权值函数处理，生成多个所述待修复像素灰度值。7.根据权利要求1所述的全景图像高精度修复的处理方法，其特征在于，所述权值函数处理满足如下公式：
其中，表示为所述待修复像素的灰度值或所述邻域像素的灰度值， 表示为所述窄边邻域像素数据集中的任意像素的灰度值，表示为所述窄边邻域像素数据集中的任意像素的梯度值，表示为所述待修复像素或所述邻域像素相对于所述窄边邻域像素数据集中的任意像素的权值函数，表示为以所述待修复像素或所述邻域像素为中心，为半径的所述窄边邻域像素数据集，表示为所述待修复像素或所述邻域像素，表示为所述窄边邻域像素数据集中的任意像素。8.根据权利要求1所述的全景图像高精度修复的处理方法，其特征在于，所述根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像的步骤包括：根据所述待修复像素灰度值对所述窄边边界像素数据集进行初始边界缩减处理，生成中间边界像素数据集；根据所述中间边界像素数据集对多个所述邻域像素灰度值对应的所述邻域像素数据集进行判断修复处理，生成目标边界像素数据集；以及根据所述目标边界像素数据集对所述待修复区域图像进行填充处理，生成目标全景图像。9.根据权利要求8所述的全景图像高精度修复的处理方法，其特征在于，所述根据所述中间边界像素数据集对多个所述邻域像素灰度值对应的所述邻域像素数据集进行判断修复处理，生成目标边界像素数据集的步骤包括：根据所述中间边界像素数据集判断所述邻域像素数据集中的邻域像素是否属于窄边内部像素数据集；若所述邻域像素属于所述窄边内部像素数据集，则对所述邻域像素进行类型更新处理，生成所述目标边界像素数据集；若所述邻域像素不属于所述窄边内部像素数据集，则对所述邻域像素进行删除处理，并重复判断所述邻域像素数据集中的邻域像素是否属于窄边内部像素数据集，直至所述邻域像素数据集中所有邻域像素全部判断完成。10.一种全景图像高精度修复的处理系统，其特征在于，所述系统包括：图像获取模块，用以获取全景图像；分割处理模块，用以对所述全景图像进行掩膜分割处理，生成掩膜图像；裁剪处理模块，用以对所述掩膜图像进行待修复裁剪处理，生成待修复区域图像；分类标记模块，用以根据所述待修复区域图像对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集，其中，所述分类像素数据集包括窄边边界像素数据集；邻域选取模块，用以对所述窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集；
灰度值计算模块，用以根据所述窄边邻域像素数据集对所述窄边边界像素数据集中的待修复像素以及所述待修复像素的邻域像素数据集分别依次进行权值函数处理，对应生成多个待修复像素灰度值以及多个邻域像素灰度值；以及修复填充模块，用以根据所述待修复像素灰度值以及所述邻域像素灰度值对所述待修复区域图像进行修复填充处理，生成目标全景图像。

技术总结
本发明提供一种全景图像高精度修复的处理方法，包括：获取全景图像；对所述全景图像依次进行掩膜分割处理、待修复裁剪处理，生成待修复区域图像；对所述全景图像中的所有像素进行分类标记处理，生成分类像素数据集；对窄边边界像素数据集进行邻域像素选取处理，生成窄边邻域像素数据集；对待修复像素以及邻域像素数据集分别依次进行权值函数处理，分别对应生成多个待修复像素灰度值以及多个邻域像素灰度值；以及对所述待修复区域图像进行修复填充处理，生成目标全景图像。通过本发明公开的一种全景图像高精度修复的处理方法以及系统，能够提升全景图像的修复精度，提高全景图像的利用率。用率。用率。


技术研发人员：曹明伟 王溯 江海燕 赵海峰 汤进
受保护的技术使用者：安徽大学
技术研发日：2023.06.13
技术公布日：2023/7/17