一种图像处理方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种图像处理方法和装置。


背景技术：

2.目前，生成全视角容积图像的应用场景十分广阔，全视角容积图像为用户提供颠覆性的3d浏览体验，因此可以广泛应用于线上购物等场景中，有助于增长用户停留时长，进而提升转化率。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.现有技术中多采用3d云重建的方法生成全视角容积图像，具体包括通过专业的采集设备，采集得到具有深度信息的大量点云数据，并对所述大量点云数据进行编码、封装、合成；因此现有技术不仅严重依赖专业的采集设备，而且整体流程的算法复杂度和存储消耗都非常大，可能导致了对制作全视角容积图像这一新兴技术的发展约束。


技术实现要素：

5.有鉴于此，本发明实施例提供一种图像处理方法和装置，能够解决现有合成全视角容积图像成本高且效率低的技术问题。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种图像处理方法，包括获取目标视角，读取相应的第一图像和第二图像；在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。
7.可选地，获取目标视角之后，包括：
8.确定目标视角对应的目标经度和目标纬度，判断图像库中是否存在对应于目标经度或目标纬度的多个图像；
9.若是，则选取对应于目标经度或目标纬度的第一图像和第二图像；
10.若否，则确定目标经度对应的第一基准经度、第二基准经度，并确定目标纬度对应的第一基准纬度和第二基准纬度，以在图像库中分别选取得到：位于第一基准经度和第一基准纬度的第一图像，位于第二基准经度和第一基准纬度的第二图像，位于第一基准经度和第二基准纬度的第三图像，以及位于第二基准经度和第二基准纬度的第四图像。
11.可选地，在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，包括：
12.基于oriented fast and rotated brief算法，分别在第一图像和第二图像中提
取得到多个特征点，并计算每个特征点分别对应的描述子。
13.可选地，匹配描述子距离符合预期的第一图像特征点和第二图像特征点，包括：
14.对每个第一图像特征点：计算与每个第二图像特征点的描述子汉明距离，以筛选得到最小的描述子汉明距离，并和预设的距离阈值进行对比，响应于确定所述最小的描述子汉明距离小于或等于所述距离阈值，确定所述最小的描述子汉明距离对应的第二图像特征点，并和所述第一图像特征点进行匹配；
15.去除不存在匹配关系的第一图像特征点和第二图像特征点。
16.可选地，读取相应的第一图像和第二图像之后，包括：
17.确定第一图像和第二图像分别对应的第一视角和第二视角；
18.根据目标视角与第一视角、第二视角的相对位置关系，确定对应的目标参数。
19.可选地，对每个匹配的第一图像特征点和第二图像特征点进行混合，包括：
20.使用目标参数，对匹配的第一图像特征点和第二图像特征点进行加权合并处理。
21.可选地，对第一图像进行剖分，包括：
22.基于delaunay三角剖分算法对第一图像进行处理。
23.可选地，对第一网格和第二网格进行仿射变换处理，包括：
24.根据位于第一网格顶点的多个第一图像特征点，确定所述每个第一图像特征点的坐标，得到第一坐标集合；
25.根据位于第二网格顶点的多个第二图像特征点，确定所述每个第二图像特征点的坐标，得到第二坐标集合；
26.根据所述多个第一图像特征点或所述多个第二图像特征点，确定对应的多个目标特征点，并根据所述每个目标特征点的坐标，得到目标坐标集合；
27.以基于第一坐标集合和目标坐标集合，计算得到对应的第一仿射变换矩阵，并使用所述第一仿射变换矩阵对所述第一网格进行仿射变换处理；
28.并基于第二坐标集合和目标坐标集合，计算得到对应的第二仿射变换矩阵，以使用所述第二仿射变换矩阵对所述第二网格进行仿射变换处理。
29.可选地，混合生成对应的目标网格，包括：
30.使用目标参数，对仿射变换处理后的第一网格和仿射变换处理后的第二网格进行混合处理，生成对应的目标网格。
31.可选地，在图像库中选取对应于基准经度的第一图像和第二图像，并在图像库中选取对应于基准纬度的第三图像和第四图像之后，包括：
32.根据第一图像和第二图像，合成处理得到对应的第五图像；
33.根据第三图像和第四图像，合成处理得到对应的第六图像；
34.根据第五图像和第六图像，合成处理得到对应于目标视角的目标图像。
35.可选地，判断图像库中是否存在对应于目标经度或对应于目标纬度的多个图像之前，包括：
36.读取预设的容积视频，在多个不同的节点对所述容积视频进行多次截图处理，生成多个图像，并存储在预设的图像库中。
37.另外，本发明还提供了一种图像处理装置，包括获取模块，用于获取目标视角，读取相应的第一图像和第二图像；处理模块，用于在第一图像和第二图像中分别提取多个特
征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；合成模块，用于根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。
38.上述发明中的一个实施例具有如下优点或有益效果：本发明通过获取目标视角，读取相应的第一图像和第二图像，确定了用以合成目标视角的离散容积图像，从而实现了对已有离散容积图像的高效充分利用；同时，本发明通过在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点，能够达到利用图像特征点间的匹配关系，对多个图像进行高效地混合处理的技术目的；并且，本发明通过对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点，能够达到了利用第一图像和第二图像的特征点匹配关系，定位目标视角图像特征点的技术目的，从而得到了待合成的目标视角图像的基础架构的技术目的；另外，本发明通过根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格，能够基于前述步骤产生的多个目标特征点，对待合成的目标图像进行网格构建；此外，本发明通过根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像，拼接得到了完整无误的目标图像。
39.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
40.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
41.图1是根据本发明第一实施例的图像处理方法的主要流程的示意图；
42.图2是根据本发明实施例的目标视点的示意图；
43.图3是根据本发明实施例的特征点提取的示意图；
44.图4是根据本发明实施例的目标特征点的示意图；
45.图5是根据本发明实施例的图像剖分处理的示意图；
46.图6是根据本发明实施例的图像仿射变换处理的示意图；
47.图7是根据本发明第二实施例的图像处理方法的主要流程的示意图；
48.图8是根据本发明第三实施例的图像处理方法的主要流程的示意图；
49.图9是根据本发明实施例的图像处理装置的主要模块的示意图；
50.图10是本发明实施例可以应用于其中的示例性系统架构图；
51.图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
52.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
53.图1是根据本发明第一实施例的图像处理方法的主要流程的示意图，如图1所示，所述图像处理方法包括：
54.步骤s101，获取目标视角，读取相应的第一图像和第二图像。
55.在实施例中，经过此步骤的处理，得到了与目标视角相关的两张图像，用以合成对应于目标视角的目标图像，从而能够对离散的容积图像加以利用，合成周围任意视角的容积图像；因此，使得本发明无需通过专业的采集设备，采集大量的多视点图像以及多视点深度信息，并采用3d云重建的方法获取全视角图像数据，而仅需对已有的适量容积图像进行多次图像处理，以合成任意视角的对应图像，因而能够显著降低现有技术中生成全视角容积图像的制作成本以及效率。
56.在一些实施例中，为了根据用户指令准确高效地确定目标视角，可以在获取目标视角时，首先获取用户发出的手势指令，确定对应的停留视角，以作为目标视角。经过此步骤的处理，本发明能够为用户提供：通过滑动屏幕，自动为用户更新屏幕停留视角对应的物品图像的技术效果，从而使得用户能够在日常2d界面取得物品的3d浏览效果。在进一步的实施例中，可以在未接收到用户的手势指令时，确定当前的默认视角，并在接收到用户的手势指令后，解析得到对应的滑动视角，从而通过默认视角和滑动视角的叠加，确定目标视角。
57.在另一些实施例中，也可以通过获取用户的语音指令或文字指令，解析得到对应的目标视角。
58.在一些实施例中，为了得到合成效果更加逼真的目标视角图像，可以在获取目标视角之后，具体处理包括：确定目标视角对应的目标经度和目标纬度，判断图像库中是否存在对应于目标经度或目标纬度的多个图像；若是，则选取对应于目标经度或目标纬度的第一图像和第二图像；若否，则确定目标经度对应的第一基准经度、第二基准经度，并确定目标纬度对应的第一基准纬度和第二基准纬度，以在图像库中分别选取得到：位于第一基准经度和第一基准纬度的第一图像，位于第二基准经度和第一基准纬度的第二图像，位于第一基准经度和第二基准纬度的第三图像，以及位于第二基准经度和第二基准纬度的第四图像。经过此步骤的处理，能够达到确定第一图像和第二图像对应于相同的视角经度或视角纬度的技术目的，从而使得合成得到的位于对应视角中位的目标视角图像效果更佳；而如果图片库中不存在和目标视角处于相同视角纬度或视角经度的图片，则需根据本技术方案进行三次图片合成处理，而每次用以合成的两张图像均需对应于同一视角纬度或视角经度，即通过前两次合成获得和目标视角处于同一视角经度(或纬度)的两张合成图像，再对已有的两张合成图像进行合成处理，最终得到对应于目标视角的合成图像。
59.在进一步的实施例中，为了基于图像库中指定数量的图像，生成任意容积视角的合成图像，可以在图像库中选取对应于基准经度的第一图像和第二图像，并在图像库中选取对应于基准纬度的第三图像和第四图像之后，包括：根据第一图像和第二图像，合成处理
得到对应的第五图像；根据第三图像和第四图像，合成处理得到对应的第六图像；根据第五图像和第六图像，合成处理得到对应于目标视角的目标图像。
60.示例的，如图2所示，在a部分(容积视角)中，目标视角对应于图中的箭头方向；在b部分(展开为经纬度网格)中，对半球形的容积视角进行了平铺，从而确定目标视角，即图中i
t
的纬度在30
°
与40
°
间，经度在190
°
与200
°
间，而经纬度网格点则表征图像库中存在相应的容积图像，因此可以根据目标视角位于的经纬度网格，确定相应的第一基准纬度为30
°
，第二基准纬度为40
°
，第一基准经度为190
°
，第二基准经度为200
°
，并筛选得到对应的图中i2、i3视角对应的图像，用以合成得到图中的i
23
视角图像，且筛选得到图中i0、i1视角对应的图像，用以合成得到图中的i
01
视角图像，最后再根据视角经度相同的i
01
、i
23
视角对应的图像，合成得到目标视角，即i
t
对应的图像。
61.在一些实施例中，为了更加快速地实现图像库中多视角容积图像的采集，可以在判断图像库中是否存在对应于目标经度或对应于目标纬度的多个图像之前，读取预设的容积视频，在多个不同的节点对所述容积视频进行多次截图处理，生成多个图像，并存储在预设的图像库中。经过此步骤的处理，能够实现对容积视频的高效充分利用，以显著区别于现有技术中算法复杂且存储消耗量极大的3d云重建技术。在进一步的实施例中，可以确定截取得到的每个图像分别对应的容积视角，并将所述视角作为网格点，绘制相应的经纬度网格，从而根据目标视角在经纬度网络中所处的空间，快速确定用以合成目标图像的基本图像。示例的，在图2的经纬度网格中的经度间隔和纬度间隔均为10
°
，表征对应图像库中容积视点的分布间隔是10
°
。
62.步骤s102，在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点。
63.在实施例中，经过此步骤的处理，能够达到利用图像特征点间的匹配关系，对多个图像进行高效地混合处理的技术目的。
64.在一些实施例中，为了快速且准确地提取得到图像的特征点，并计算对应的特征值，可以基于oriented fast and rotated brief算法，分别在第一图像和第二图像中提取得到多个特征点，并计算每个特征点分别对应的描述子。提取图像特征点的处理过程可以如图3所示，首先从图片中随机选取一个像素点p，并同时选取以p为圆心、3(像素点)为半径的圆上有16个像素点，计算这些圆周上的像素点与p的像素差值的绝对值，如果绝对值大于预设的对应阈值，则认为p和相应的圆周像素点存在差异；如果在圆周上有连续多个点(在fast-12算法中是12个)都和点p存在差异，则可以将p作为一个候选点；处理完成后，会得到同一图像中多个相邻的候选点，并基于非极大值抑制算法对候选点进行筛选，即对于每两个相邻的候选点，分别计算每个候选点与对应的圆周16个像素点之间差值绝对值的和，并进行比较，以去除对应和值较小的候选点；从而将保留的候选点作为对应图像的特征点。在更进一步的实施例中，在计算每个特征点对应的描述子时，可以将该特征点作为中心，以取适当大小的邻域窗口，并在窗口内随机选取两个点a、b(可以预设规则确定随机点的分布，如均匀分布、高斯分布等)，并比较两个点像素值的大小，如果a》b，则赋值1，如果a《b，则赋值0；从而在该窗口内选取n(在orb算法中n取256)对随机点，以分别进行二进制赋值，形成所述特征点对应的n位二进制编码，以作为所述特征点的描述子。
65.在一些实施例中，为了对两张图像中距离最小的特征点进行准确地匹配，以便于
后续处理中利用所述匹配关系定位目标视角图像的特征点，可以在匹配描述子距离符合预期的第一图像特征点和第二图像特征点时，具体操作包括：对每个第一图像特征点：计算与每个第二图像特征点的描述子汉明距离，以筛选得到最小的描述子汉明距离，并和预设的距离阈值进行对比，响应于确定所述最小的描述子汉明距离小于或等于所述距离阈值，确定所述最小的描述子汉明距离对应的第二图像特征点，并和所述第一图像特征点进行匹配；去除不存在匹配关系的第一图像特征点和第二图像特征点。经过此步骤的处理，能够使得每对匹配的第一图像特征点和第二图像特征点间的汉明距离都达到预期且尽可能小，从而提高了特征点匹配的准确率，进而能够提升对应合成图像的仿真程度。在进一步的实施例中，所述的汉明距离阈值可以是128。
66.步骤s103，对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点。
67.在实施例中，经过此步骤的处理，达到了利用第一图像和第二图像的特征点匹配关系，定位目标视角图像特征点的技术目的，从而得到了待合成的目标视角图像的基础架构。
68.在一些实施例中，为了提升对目标视角图像的合成效果，可以在读取相应的第一图像和第二图像之后，确定第一图像和第二图像分别对应的第一视角和第二视角；根据目标视角与第一视角、第二视角的相对位置关系，确定对应的目标参数。在前述步骤的处理中，只能确定待合成的目标视角图像与第一视角图像(即第一图像)、第二视角图像(即第二图像)仅对应于相同的视角经度或视角纬度，而目标视角对应的视角纬度或视角经度仍为未知量，因此需要设置目标参数，以进一步明确目标视角和第一视角、第二视角的相对位置关系，从而生成更加仿真于目标视角的目标图像；若不设立目标参数，并用于相应的混合处理，那么基于第一图像和第二图像合成的任意中间视角图像均相同，则无法满足本技术方案对于合成图像准确度和实用性的要求。
69.在一些实施例中，为了对第一图像特征点和第二图像特征点进行精准且定向地混合，可以在对每个匹配的第一图像特征点和第二图像特征点进行混合时，使用目标参数，对匹配的第一图像特征点和第二图像特征点进行加权合并处理。示例的，如图4所示，图i0是第一图像，图i1是第二图像，从而生成的目标图像(i
01
)的特征点都在相应的匹配特征点对附近。在进一步的实施例中，所述的加权合并处理可以如下式所示，其中p0对应于第一图像特征点，p1对应于匹配的第二图像特征点，p
01
为相应合成的目标特征点。
70.p
01
＝(1-α)p0+αp171.步骤s104，根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格。
72.在实施例中，经过此步骤的处理，能够基于前述步骤产生的多个目标特征点，对待合成的目标图像进行网格构建，并通过确定相应的第一图像网格(即第一网格)和第二图像网格(即第二网格)，以逐网格合成得到目标图像。示例的，如图5所示，对第一图像或第二图像剖分处理的结果可以表示为一套三角索引，从而在相应的第二图像或第一图像中，使用同一套三角索引进行对应地剖分。
73.在一些实施例中，为了将多个目标网格拼接后得到质量更高、图像畸变更少的目标图像，可以在对第一图像进行剖分时，基于delaunay三角剖分算法对第一图像进行处理。delaunay三角剖分处理可以通过避免产生细长三角形，以产生高质量的三角网格。
74.在一些实施例中，为了基于目标视角和第一视角、第二视角分别对应的位置关系，对每个第一网格和第二网格分别进行相应的仿射变换处理，以得到高质量的合成图像，可以在对第一网格和第二网格进行仿射变换处理时，具体操作包括：根据位于第一网格顶点的多个第一图像特征点，确定所述每个第一图像特征点的坐标，得到第一坐标集合；根据位于第二网格顶点的多个第二图像特征点，确定所述每个第二图像特征点的坐标，得到第二坐标集合；根据所述多个第一图像特征点或所述多个第二图像特征点，确定对应的多个目标特征点，并根据所述每个目标特征点的坐标，得到目标坐标集合；以基于第一坐标集合和目标坐标集合，计算得到对应的第一仿射变换矩阵，并使用所述第一仿射变换矩阵对所述第一网格进行仿射变换处理；并基于第二坐标集合和目标坐标集合，计算得到对应的第二仿射变换矩阵，以使用所述第二仿射变换矩阵对所述第二网格进行仿射变换处理。示例的，如图6所示，图中的i
’0对应于第一图像的三角网格，图中的i
’1对应于第二图像的三角网格，从而对第一图像和第二图像分别进行局部的仿射变换处理，得到i’01
，即目标图像的三角网格。
75.在一些实施例中，为了对仿射变换处理后的第一网格、第二网格进行精准定向的混合，可以在混合生成对应的目标网格时，使用目标参数，对仿射变换处理后的第一网格和仿射变换处理后的第二网格进行混合处理，生成对应的目标网格。在进一步的实施例中，所述基于目标参数的混合处理可以如下式所示，其中i
’0为仿射变换处理后的第一网格，i
’1为仿射变换处理后的第二网格，i’01为对应生成的目标网格。
76.i
′
01
＝(1-α)i
′0+i
′177.步骤s105，根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。
78.在实施例中，经过此步骤的处理，实现了对多个合成的目标网格的顺序拼接，从而能够拼接得到完整的目标图像。值得说明的是，每个网格的顶点均为相应图像的特征点，因此所述的目标网格顶点和第一网格顶点的对应关系，也可以理解为目标网格顶点和第一图像特征点的对应关系，从而根据第一图像特征点和目标图像特征点的对应关系，能够确定每个目标网格顶点相应的目标特征点。
79.图7是根据本发明第二实施例的图像处理方法的主要流程的示意图，所述图像处理方法包括：
80.步骤s701，获取目标视角。
81.步骤s702，确定目标视角对应的目标经度和目标纬度，进而选取对应的第一视角和第二视角。
82.步骤s703，读取分别对应于第一视角和第二视角的第一图像和第二图像。
83.步骤s704，基于oriented fast and rotated brief算法，分别在第一图像和第二图像中提取得到多个特征点，并计算每个特征点分别对应的描述子。
84.步骤s705，匹配描述子距离符合预期的第一图像特征点和第二图像特征点，并去除不存在匹配关系的第一图像特征点和第二图像特征点。
85.步骤s706，根据目标视角与第一视角、第二视角的相对位置关系，确定对应的目标参数。
86.步骤s707，使用目标参数，对匹配的第一图像特征点和第二图像特征点进行加权合并处理，生成对应的目标特征点。
87.步骤s708，基于delaunay三角剖分算法，根据第一图像特征点对第一图像进行处理，得到多个第一网格。
88.步骤s709，根据特征点匹配关系，确定每个第一网格分别关联的第二网格。
89.步骤s710，对每个关联的第一网格和第二网格分别进行仿射变换处理，以混合生成对应的目标网格。
90.步骤s711，根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点。
91.步骤s712，拼接多个目标网格，生成目标图像。
92.图8是根据本发明第三实施例的图像处理方法的主要流程的示意图，所述图像处理方法包括：
93.步骤s801，获取目标视角。
94.步骤s802，确定目标视角对应的目标经度和目标纬度，确定目标纬度对应的第一基准纬度和第二基准纬度，并确定目标经度对应的第一基准经度、第二基准经度。
95.步骤s803，在图像库中分别筛选得到第一图像、第二图像、第三图像和第四图像。
96.较佳地，在图像库中分别选取得到：位于第一基准经度和第一基准纬度的第一图像，位于第二基准经度和第一基准纬度的第二图像，位于第一基准经度和第二基准纬度的第三图像，以及位于第二基准经度和第二基准纬度的第四图像。
97.步骤s804，三次循环执行以下步骤；以首先将第一图像、第二图像分别作为第一目标图像和第二目标图像，合成得到第五图像；其次将第三图像、第四图像分别作为第一目标图像和第二目标图像，合成得到第六图像；最后将第五图像、第六图像分别作为第一目标图像和第二目标图像，生成得到对应于目标视角的最终图像。
98.步骤s805，基于oriented fast and rotated brief算法，分别在第一目标图像和第二目标图像中提取得到多个特征点，并计算每个特征点分别对应的描述子。
99.步骤s806，匹配描述子距离符合预期的第一目标图像特征点和第二目标图像特征点，并去除不存在匹配关系的第一目标图像特征点和第二目标图像特征点。
100.步骤s807，确定对应的相对位置关系参数。
101.较佳地，根据第一目标图像的对应视角、第二目标图像的对应视角，以及相应的待合成图像的对应视角，确定相应的相对位置关系参数
102.步骤s808，使用相对位置关系参数，对匹配的第一目标图像特征点和第二目标图像特征点进行加权合并处理，生成对应的合成特征点。
103.步骤s809，基于delaunay三角剖分算法，根据第一目标图像特征点对第一目标图像进行处理，得到多个第一网格。
104.步骤s810，根据特征点匹配关系，确定每个第一网格分别关联的第二网格。
105.步骤s811，对每个关联的第一网格和第二网格分别进行仿射变换处理，并根据相对位置关系参数混合生成对应的合成网格。
106.步骤s812，根据合成网格顶点和第一网格顶点的对应关系，确定每个合成网格顶点相应的合成特征点。
107.步骤s813，拼接多个合成网格，合成目标图像。
108.图9是根据本发明实施例的图像处理装置的主要模块的示意图，如图9所示，所述图像处理装置900包括获取模块901、处理模块902和合成模块903。其中，获取模块901用于获取目标视角，读取相应的第一图像和第二图像；处理模块902用于在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；还用于对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；合成模块903用于根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：还用于根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。
109.在一些实施例中，获取模块901，还用于：获取目标视角，包括：获取用户发出的手势指令，确定对应的停留视角，以作为目标视角。
110.在一些实施例中，获取模块901，还用于：获取目标视角之后，包括：确定目标视角对应的目标经度和目标纬度，判断图像库中是否存在对应于目标经度或目标纬度的多个图像；若是，则选取对应于目标经度或目标纬度的第一图像和第二图像；若否，则确定目标经度对应的第一基准经度、第二基准经度，并确定目标纬度对应的第一基准纬度和第二基准纬度，以在图像库中分别选取得到：位于第一基准经度和第一基准纬度的第一图像，位于第二基准经度和第一基准纬度的第二图像，位于第一基准经度和第二基准纬度的第三图像，以及位于第二基准经度和第二基准纬度的第四图像。
111.在一些实施例中，处理模块902，还用于：在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，包括：基于oriented fast and rotated brief算法，分别在第一图像和第二图像中提取得到多个特征点，并计算每个特征点分别对应的描述子。
112.在一些实施例中，处理模块902，还用于：匹配描述子距离符合预期的第一图像特征点和第二图像特征点，包括：对每个第一图像特征点：计算与每个第二图像特征点的描述子汉明距离，以筛选得到最小的描述子汉明距离，并和预设的距离阈值进行对比，响应于确定所述最小的描述子汉明距离小于或等于所述距离阈值，确定所述最小的描述子汉明距离对应的第二图像特征点，并和所述第一图像特征点进行匹配；去除不存在匹配关系的第一图像特征点和第二图像特征点。
113.在一些实施例中，处理模块902，还用于：读取相应的第一图像和第二图像之后，包括：确定第一图像和第二图像分别对应的第一视角和第二视角；根据目标视角与第一视角、第二视角的相对位置关系，确定对应的目标参数。
114.在一些实施例中，处理模块902，还用于：对每个匹配的第一图像特征点和第二图像特征点进行混合，包括：使用目标参数，对匹配的第一图像特征点和第二图像特征点进行加权合并处理。
115.在一些实施例中，合成模块903，还用于：对第一图像进行剖分，包括：基于delaunay三角剖分算法对第一图像进行处理。
116.在一些实施例中，合成模块903，还用于：对第一网格和第二网格进行仿射变换处理，包括：根据位于第一网格顶点的多个第一图像特征点，确定所述每个第一图像特征点的坐标，得到第一坐标集合；根据位于第二网格顶点的多个第二图像特征点，确定所述每个第二图像特征点的坐标，得到第二坐标集合；根据所述多个第一图像特征点或所述多个第二图像特征点，确定对应的多个目标特征点，并根据所述每个目标特征点的坐标，得到目标坐标集合；以基于第一坐标集合和目标坐标集合，计算得到对应的第一仿射变换矩阵，并使用所述第一仿射变换矩阵对所述第一网格进行仿射变换处理；并基于第二坐标集合和目标坐标集合，计算得到对应的第二仿射变换矩阵，以使用所述第二仿射变换矩阵对所述第二网格进行仿射变换处理。
117.在一些实施例中，合成模块903，还用于：混合生成对应的目标网格，包括：使用目标参数，对仿射变换处理后的第一网格和仿射变换处理后的第二网格进行混合处理，生成对应的目标网格。
118.在一些实施例中，合成模块903，还用于：在图像库中选取对应于基准经度的第一图像和第二图像，并在图像库中选取对应于基准纬度的第三图像和第四图像之后，包括：根据第一图像和第二图像，合成处理得到对应的第五图像；根据第三图像和第四图像，合成处理得到对应的第六图像；根据第五图像和第六图像，合成处理得到对应于目标视角的目标图像。
119.在一些实施例中，获取模块901，还用于：判断图像库中是否存在对应于目标经度或对应于目标纬度的多个图像之前，包括：读取预设的容积视频，在多个不同的节点对所述容积视频进行多次截图处理，生成多个图像，并存储在预设的图像库中。
120.需要说明的是，在本发明所述图像处理方法和所述图像处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
121.图10示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构1000。
122.如图10所示，系统架构1000可以包括终端设备1001、1002、1003，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
123.用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用。
124.终端设备1001、1002、1003可以是具有页面显示处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
125.服务器1005可以是提供各种服务的服务器，例如对用户利用终端设备1001、1002、1003提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息
‑‑
仅为示例)反馈给终端设备。
126.需要说明的是，本发明实施例所提供的图像处理方法一般由服务器1005执行，相应地，计算装置一般设置于服务器1005中。
127.应该理解，图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
128.下面参考图11，其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
129.如图11所示，计算机系统1100包括中央处理单元(cpu)1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。在ram1103中，还存储有计算机系统1100操作所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
130.以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶页面显示处理器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
131.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本发明的系统中限定的上述功能。
132.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
133.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所
标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
134.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、处理模块和合成模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
135.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括获取目标视角，读取相应的第一图像和第二图像；在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。
136.根据本发明实施例的技术方案，能够解决现有合成全视角容积图像成本高且效率低的技术问题。
137.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取目标视角，读取相应的第一图像和第二图像；在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。2.根据权利要求1所述的方法，其特征在于，获取目标视角，包括：获取用户发出的手势指令，确定对应的停留视角，以作为目标视角。3.根据权利要求1所述的方法，其特征在于，获取目标视角之后，包括：确定目标视角对应的目标经度和目标纬度，判断图像库中是否存在对应于目标经度或目标纬度的多个图像；若是，则选取对应于目标经度或目标纬度的第一图像和第二图像；若否，则确定目标经度对应的第一基准经度、第二基准经度，并确定目标纬度对应的第一基准纬度和第二基准纬度，以在图像库中分别选取得到：位于第一基准经度和第一基准纬度的第一图像，位于第二基准经度和第一基准纬度的第二图像，位于第一基准经度和第二基准纬度的第三图像，以及位于第二基准经度和第二基准纬度的第四图像。4.根据权利要求1所述的方法，其特征在于，在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，包括：基于oriented fast and rotated brief算法，分别在第一图像和第二图像中提取得到多个特征点，并计算每个特征点分别对应的描述子。5.根据权利要求1所述的方法，其特征在于，匹配描述子距离符合预期的第一图像特征点和第二图像特征点，包括：对每个第一图像特征点：计算与每个第二图像特征点的描述子汉明距离，以筛选得到最小的描述子汉明距离，并和预设的距离阈值进行对比，响应于确定所述最小的描述子汉明距离小于或等于所述距离阈值，确定所述最小的描述子汉明距离对应的第二图像特征点，并和所述第一图像特征点进行匹配；去除不存在匹配关系的第一图像特征点和第二图像特征点。6.根据权利要求1所述的方法，其特征在于，读取相应的第一图像和第二图像之后，包括：确定第一图像和第二图像分别对应的第一视角和第二视角；根据目标视角与第一视角、第二视角的相对位置关系，确定对应的目标参数。7.根据权利要求6所述的方法，其特征在于，对每个匹配的第一图像特征点和第二图像特征点进行混合，包括：使用目标参数，对匹配的第一图像特征点和第二图像特征点进行加权合并处理。8.根据权利要求1所述的方法，其特征在于，对第一图像进行剖分，包括：
基于delaunay三角剖分算法对第一图像进行处理。9.根据权利要求1所述的方法，其特征在于，对第一网格和第二网格进行仿射变换处理，包括：根据位于第一网格顶点的多个第一图像特征点，确定所述每个第一图像特征点的坐标，得到第一坐标集合；根据位于第二网格顶点的多个第二图像特征点，确定所述每个第二图像特征点的坐标，得到第二坐标集合；根据所述多个第一图像特征点或所述多个第二图像特征点，确定对应的多个目标特征点，并根据所述每个目标特征点的坐标，得到目标坐标集合；以基于第一坐标集合和目标坐标集合，计算得到对应的第一仿射变换矩阵，并使用所述第一仿射变换矩阵对所述第一网格进行仿射变换处理；并基于第二坐标集合和目标坐标集合，计算得到对应的第二仿射变换矩阵，以使用所述第二仿射变换矩阵对所述第二网格进行仿射变换处理。10.根据权利要求6所述的方法，其特征在于，混合生成对应的目标网格，包括：使用目标参数，对仿射变换处理后的第一网格和仿射变换处理后的第二网格进行混合处理，生成对应的目标网格。11.根据权利要求3所述的方法，其特征在于，在图像库中选取对应于基准经度的第一图像和第二图像，并在图像库中选取对应于基准纬度的第三图像和第四图像之后，包括：根据第一图像和第二图像，合成处理得到对应的第五图像；根据第三图像和第四图像，合成处理得到对应的第六图像；根据第五图像和第六图像，合成处理得到对应于目标视角的目标图像。12.根据权利要求3所述的方法，其特征在于，判断图像库中是否存在对应于目标经度或对应于目标纬度的多个图像之前，包括：读取预设的容积视频，在多个不同的节点对所述容积视频进行多次截图处理，生成多个图像，并存储在预设的图像库中。13.一种图像处理装置，其特征在于，包括：获取模块，用于获取目标视角，读取相应的第一图像和第二图像；处理模块，用于在第一图像和第二图像中分别提取多个特征点，计算每个特征点的描述子，并匹配描述子距离符合预期的第一图像特征点和第二图像特征点；对每个匹配的第一图像特征点和第二图像特征点进行混合，生成对应的目标特征点；合成模块，用于根据第一图像特征点，对第一图像进行剖分，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点，确定匹配的多个第二图像特征点，以在第二图像中确定第二网格，并在对第一网格和第二网格进行仿射变换处理后，混合生成对应的目标网格；根据目标网格顶点和第一网格顶点的对应关系，确定每个目标网格顶点相应的目标特征点，拼接多个目标网格，生成目标图像。14.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实
现如权利要求1-12中任一所述的方法。15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任一所述的方法。

技术总结
本发明公开了一种图像处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取目标视角，确定相应的第一图像和第二图像；在第一图像和第二图像中提取多个特征点并计算描述子，以匹配描述子距离较小的每个第一图像特征点和对应的第二图像特征点，且生成目标特征点；根据第一图像特征点，剖分第一图像，得到多个第一网格，对每个第一网格：根据位于顶点的多个第一图像特征点及其匹配关系，确定第二图像中的第二网格，以对第一网格和第二网格混合得到对应的目标网格；确定每个目标网格顶点相应的目标特征点，以对应拼接多个目标网格，生成目标图像。从而，本发明的实施方式能够解决现有合成全视角容积图像成本高且效率低的技术问题。的技术问题。的技术问题。


技术研发人员：杜峰 魏伟 郭景昊 张夏杰
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2023.06.27
技术公布日：2023/8/24