三维模型处理方法、装置及电子设备与流程

1.本技术涉及三维模型生产制作技术领域，特别是涉及三维模型处理方法、装置及电子设备。


背景技术：

2.随着元宇宙(运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间)等相关概念的逐渐兴起，需要大量由现实世界映射或超越现实世界的三维虚拟场景，从而带来大量三维模型的制作需求。其中，来自现实世界的三维扫描重建是三维模型生产的一个重要来源，通过相机拍摄、视频录制、雷达扫描仪扫描等方式采集物体的实景扫描数据信息，之后，通过三维重建算法得到初始三维模型，再通过模型噪声修复和后期加工，得到符合工业界应用标准的高精度三维模型。
3.现有技术中，三维模型的重建与后期的噪声修复、pbr(physically-based rendering，基于物理的渲染)材质生成等功能通常需要通过不同的工具来完成。例如，通过将实景扫描数据输入到三维模型重建工具中，可以初步生成三维模型，但是，该三维模型中可能会包含一些噪声，包括三维网格中点的位置、颜色、纹理等可能会存在偏差，等等，因此，需要通过三维模型噪声修复工具来进行噪声修复。此时，就需要首先将三维模型从重建工具中导出，然后再导入到噪声修复工具中，由于三维模型数据通常会比较大，因此，导出、导入的过程可能会比较耗时，甚至可能会出现卡死等情况。另外，在将三维模型导入噪声修复工具之前，可能还需要对数据格式等进行处理。再者，在进行噪声修复的过程中，需要由噪声修复人员手动完成对具体数据点的位置、颜色、纹理等的编辑操作，等等。以上各种情况都会导致三维模型的生产制作过程需要耗费较长的时间，以及大量的人力资源成本。


技术实现要素：

4.本技术提供了三维模型处理方法、装置及电子设备，能够提升三维模型生产制作的效率，降低人力成本。
5.本技术提供了如下方案：
6.一种三维模型处理方法，包括：
7.接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
8.建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系；
9.根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。
10.其中，还包括：
11.对所述对应关系进行保存；
12.所述根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理，包括：
13.接收到对所述三维模型进行噪声修复处理的请求后，根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。
14.其中，所述根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理，包括：
15.根据所述对应关系，对所述三维模型中的数据点的属性与所述实景扫描数据中对应数据点的属性进行对比，并根据对比结果对所述三维模型进行噪声修复处理。
16.其中，还包括：
17.提供用于对所述三维模型中的数据点进行手动噪声修复的操作选项；
18.通过所述操作选项接收到对所述三维模型中指定的目标数据点进行手动噪声修复的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述三维模型进行手动噪声修复。
19.其中，还包括：
20.在创建所述三维模型后，对所述三维模型进行前景与背景的分割，以便基于分割出的前景部分进行所述噪声修复处理。
21.其中，还包括：
22.在创建所述三维模型后，通过对所述三维模型进行语义分割，将所述三维模型拆分成多个部件的三维模型，以便基于所述多个部件的三维模型分别进行所述噪声修复处理。
23.其中，还包括：
24.保存所述多个部件的三维模型之间的相对位置关系，以便在完成所述噪声修复处理后，根据所述相对位置关系，将所述多个部件的三维模型拼接组合形成完整的三维模型。
25.其中，还包括：
26.为所述三维模型生成基于物理的渲染pbr材质信息。
27.其中，还包括：
28.提供用于对所述pbr材质信息进行手动修正的操作选项；
29.通过所述操作选项接收到对所述三维模型中指定的目标数据点处的pbr材质信息进行手动修正的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述目标数据点处的pbr材质信息进行手动修正。
30.其中，还包括：
31.对所述三维模型是否包含必要的参数字段和/或是否符合质量规范进行检测；
32.如果未通过检测，则进行回退处理，以便重新进行所述噪声修复处理，直到通过检测。
33.一种三维模型处理方法，包括：
34.接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
35.建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，并对所述对应关系进行保存；
36.接收到针对所述三维模型中指定的目标数据点进行手动的噪声修复处理的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据中的数据点信息，以便
将所述实景扫描数据中的数据点信息作为噪声修复处理过程中的辅助参考信息。
37.一种三维模型处理装置，包括：
38.三维模型重建单元，用于接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
39.对应关系建立单元，用于建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系；
40.自动噪声修复单元，用于根据所述实景扫描数据以及所述对应关系，对所述三维模型进行噪声修复处理。
41.一种三维模型处理装置，包括：
42.三维模型重建单元，用于接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
43.对应关系保存单元，用于建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，并对所述对应关系进行保存；
44.噪声修复辅助单元，用于接收到针对所述三维模型中指定的目标数据点进行手动的噪声修复处理的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据中的数据点信息，以便将所述实景扫描数据中的数据点信息作为噪声修复处理过程中的辅助参考信息。
45.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
46.一种电子设备，包括：
47.一个或多个处理器；以及
48.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
49.根据本技术提供的具体实施例，本技术公开了以下技术效果：
50.通过本技术实施例，可以在同一系统中实现三维模型的重建以及噪声修复功能，其中，由于三维模型的重建过程中，可以将目标物体的实景扫描数据导入到系统中，并且，在完成三维模型的重建后，可以记录下三维模型中的数据点与实景扫描数据中的数据点之间的对应关系，因此，在同一系统中进行三维模型的噪声修复处理时，不仅无需进行三维模型的导入导出、数据格式修改等处理，而且，还能够根据系统中已经导入的实景扫描数据，以及前述对应关系，实现自动噪声修复，以此提升三维模型生产制作的效率，降低人力成本。
51.在优选的实施方式中，还可以在系统中提供三维模型的配准、前背景分割、部件分割、pbr材质信息补全、质检等功能，使得可以在同一系统中将三维模型生产制作流程中的各个环节串联起来，从而进一步提升三维模型的生产制作效率。另外，各个环节都可以通过ai算法的方式自动完成，随着ai算法能力的不断提升，可以逐渐减少人为参与的比例，进而，可以实现多个三维模型的并行生产制作，以此进一步提升三维模型的生产制作效率。
52.当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是本技术实施例提供的系统架构的示意图；
55.图2是本技术实施例提供的第一方法的流程图；
56.图3是本技术实施例提供的第二方法的流程图；
57.图4是本技术实施例提供的第一装置的示意图；
58.图5是本技术实施例提供的第二装置的示意图；
59.图6是本技术实施例提供的电子设备的示意图。
具体实施方式
60.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。
61.在本技术实施例中，为了提升三维模型生产制作的效率，降低人力成本，提供了一套标准化的三维模型生产制作系统或工具，规范化各子流程模块的数据格式和数据标准，实现中间数据的自动流转。也即，可以通过同一个系统，完成从三维模型的重建到噪声修复、后期加工等多个环节上的处理，而不需要在多个工具之间来回切换以及进行模型的导入导出、数据格式的修改等处理。另外，在还可以结合ai(artificial intelligence，人工智能)算法，实现对一些流程的自动化处理，例如，包括对三维模型的自动噪声修复等。为了便于理解，下面首先对现有技术中难以实现对三维模型的自动噪声修复的原因进行简单的介绍。
62.具体的，所谓的三维模型的噪声修复主要是指，在基于实景扫描数据(对目标物体、建筑等进行雷达扫描、拍照、航拍等得到的点云、照片、视频等)完成三维模型的重建后，这种三维模型中通常会包括一些噪声，也即，模型的三维空间中可能存在部分数据点，其位置、颜色、纹理等可能存在错误，因此，需要通过噪声修复处理完成对三维模型的噪声修复。现有技术中的噪声修复工具之所以难以实现自动噪声修复，主要是因为，三维模型的重建与噪声修复通常是在不同的工具中来完成的，对于噪声修复工具而言，其输入信息通常只有之前完成重建的三维模型，而不包括实景扫描数据等信息。在这种情况下，由于无法将三维模型与实景扫描数据形成对比，因此，噪声修复工具难以自动确定三维模型中是否存在噪声，更无法确定哪些点存在噪声，进而也更加无法完成自动噪声修复，只能通过人工的方式完成噪声修复。也即，通过人工观察，找出三维模型中存在错误的点，然后通过噪声修复工具完成对这些点的位置、颜色等的修改操作。在人工噪声修复的过程中，可能需要参考实景扫描数据，但是，由于噪声修复工具中无法直接导入实景扫描数据，因此，噪声修复人员可能还需要在噪声修复工具与其他工具之间来回切换。以上各种情况的存在，使得模型噪声修复环节成为耗时以及耗费人力成本最多的环节之一。
63.而在本技术实施例中，由于可以在同一系统或者工具中完成三维模型的重建以及噪声修复等过程，而在三维模型重建的过程中，导入了具体的实景扫描数据，因此，使得在三维模型噪声修复过程中，还可以从当前工具中获取到实景扫描数据，这就为三维模型的自动噪声修复提供了数据基础。当然，在具体实现时，为了更好地完成对三维模型的自动噪声修复，在完成三维模型的重建后，还可以根据相机参数等信息，建立起三维模型中的数据点(三维模型具体可以通过多边形表示(包括三角形和四边形)来定义三维形状的顶点、边和面组成)与实景扫描数据中的数据点(可以是图像中的像素点，或者雷达点云中的点，等等)之间的对应关系。例如，在以图片作为实景扫描数据的情况下，可以确定出三维模型中的具体数据点，具体与哪些图片中的哪些像素点有关，等等。这样，在进行三维模型噪声修复时，就可以根据这种对应关系，自动判断出三维模型中的哪些数据点可能存在噪声，进而完成自动噪声修复。这样，由于能够完成自动噪声修复，因此，可以大幅提升三维模型的生产制作效率，降低人工成本。当然，在具体实现时，还可能存在部分无法进行自动噪声修复的情况，因此，具体的工具中还可以提供人工噪声修复的操作选项，使得可以在自动噪声修复的基础上，通过人工的方式进行进一步地噪声修复。而在人工噪声修复的过程中，由于预先建立了前述对应关系，因此，在用户选择对三维模型中的某数据点进行噪声修复时，还可以展示出与该数据点相关的实景扫描数据的信息，例如，原始图片等等，使得噪声修复人员可以以这种实景扫描数据为依据完成噪声修复，而不需要切换到其他工具中对实景扫描数据进行查看。
64.另外，在可选的实施方式下，前背景分割、部件分割、pbr材质信息补全、质检等功能。关于这些功能，后文中会有详细介绍。
65.从系统架构角度而言，本技术实施例可以提供三维模型生产制作系统或者工具，该系统或工具可以提供给具有三维模型生产制作需求的用户使用。如图1所示，该工具可以具有三维模型重建/配准、模型噪声修复/后期加工等模块，使得可以通过同一系统或工具完成三维模型的重建以及噪声修复/后期加工等处理。并且，由于在三维模型重建的过程中，可以根据实景扫描数据完成自动化的三维模型重建，还可以对实景扫描数据进行保存，并建立三维模型中的数据点与实景扫描数据中的数据点之间的对应关系，因此，使得在模型噪声修复过程中，可以以上述实景扫描数据以及对应关系为依据，通过ai算法等方式实现对三维模型的自动噪声修复，以减少模型噪声修复过程中耗费的时间以及人力成本。另外，本技术实施例提供的三维模型生产制作系统或工具中还可以提供前背景/部件分割、模型质检、模型库等多个功能模块，使得通过同一系统或工具，即可自动将三维模型生产制作过程中的各个环节进行串联，直到输出满足相关行业标准的高精度三维模型。由于各个环节均可以在同一系统或工具内部来完成，因此，不涉及三维模型在多个不同工具之间来回导入导出的问题，也不涉及由于数据格式不统一导致的修改数据格式的问题，因此，有利于提升三维模型的生产制作效率，另外，由于处理流程各个环节上的数据标准进行了统一规范，因此，也有利于提升三维模型的精度及质量。
66.下面对本技术实施例提供的具体实现方案进行详细介绍。
67.实施例一
68.首先，本技术实施例一从前述三维模型生产制作系统或工具的角度，提供了一种三维模型处理方法，参见图2，该方法可以包括：
69.s201：接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型。
70.其中，本技术实施例中所生产的三维模型，主要是对物理世界中的物体、建筑等进行三维重建，因此，具体的实景扫描数据可以是对具体的物体、建筑等进行实景扫描后得到的数据。例如，具体可以包括雷达扫描数据、相机图片数据、视频数据、无人机倾斜摄影数据等。在获得上述实景扫描数据后，可以将实景扫描数据导入到本系统中，相应的，可以根据所述实景扫描数据创建关于目标物体的三维模型。其中，创建三维模型的过程可以依赖ai算法来自动完成，同时，系统还可以支持人工的方式对部分算法参数进行设定和调整。
71.通过上述三维建模处理后，可以输出带纹理贴图的有噪声的三维模型，这里的噪声是指，三维模型中部分数据点在坐标、颜色等方面可能存在一些误差，需要在后续的噪声修复模块中进行修复。另外，该步骤生成的三维模型虽然带有纹理贴图，但是，通常还不具有pbr材质信息，也即，无法体现出光线打在模型上时产生了反光或者阴影等效果，以至于三维模型看上去尚不够真实，因此，还可以在后续的模块中进行pbr材质信息的补全，等等。
72.其中，在进行三维重建的过程，由于输入数据中可能会包括关于同一目标物体的多份实景扫描数据，此时，这里的多份实景扫描数据可能是通过多种不同的扫描方式对同一目标物体进行扫描后得到的数据，也可能是通过同一种扫描方式对同一目标物体进行多次局部扫描后得到的数据，等等。因此，在根据每一份实景扫描数据分别完成三维模型的重建后，还可以进行配准处理，以此实现不同实景扫描数据对应的三维模型重建结果的对齐和融合，得到更好的三维建模结果。
73.另外，在创建所述三维模型后，为了便于后续进行修复、后期加工等处理，在可选的实施方式下，还可以对所述三维模型进行前景与背景的分割，以便基于分割出的前景部分进行所述噪声修复处理，以去除背景部分的影响，提升噪声修复效率。
74.再者，对于一些比较大型的建筑物等情况，在创建所述三维模型后，还可以通过对所述三维模型进行语义分割，将所述三维模型拆分成多个部件的三维模型，以便基于所述多个部件的三维模型分别进行所述噪声修复处理。
75.这里需要说明的是，现有技术中有一些工具也能够完成对三维模型的分割，但是，主要需要依赖人工的方式进行分割，也即，人为地在三维模型中画出分割线，但是，后续如果还需要将各部分三维模型组合在一起，仍然需要通过人工的方式手动完成。而在本技术实施例中，由于可以通过语义识别的方式完成自动分割，因此，在可选的方式下，还可以保存所述多个部件的三维模型之间的相对位置关系，这样，在完成所述噪声修复处理后，还可以根据所述相对位置关系，自动将所述多个部件的三维模型拼接组合形成完整的三维模型，降低对人工操作的依赖，提升效率。
76.s202：建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系。
77.在完成三维模型的重建、配准等之后，可以按照预置的数据标准对三维模型进行保存，其中，具体保存的信息可以包括三维模型对应的三维空间中的点云数据、顶点的法线信息、面的法线信息、实景扫描数据中的设备参数信息(包括相机的位姿等)，等等。另外，在本技术实施例中，为了实现后续对三维模型中存在的噪声的自动修复，还可以获取到三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，在可选的实施方式下，
还可以对该对应关系进行保存，以便于在后续的流程节点中使用。
78.具体的，由于三维模型是根据实景扫描数据获取到的，因此，可以根据实景扫描数据中的设备参数等信息，获取到上述对应关系。也即，根据该对应关系可以获知，对于三维模型中的某个数据点，具体与实景扫描数据中的哪个或者哪些数据点有关，例如，在以图片为实景扫描数据的情况下，可以确定出三维模型中的数据点，与哪些图片中的哪些像素点有关，等等。这样可以通过该信息，为后续对三维模型中的噪声的修复提供参考依据，使得噪声修复的过程可以通过ai算法的方式自动完成。
79.s203：根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。
80.由于本技术实施例提供的系统可以包括三维模型的重建以及噪声修复等多项功能，因此，在完成三维模型的重建后，可以在同一系统中对具体的三维模型进行噪声修复处理。其中，由于本技术实施例中，已经在系统中导入了实景扫描数据，并建立了前述对应关系，因此，在进行噪声修复处理时，根据所述实景扫描数据以及所述对应关系对所述三维模型进行自动化的噪声修复处理。
81.其中，具体实现时，关于噪声修复处理，可以是由系统自动发起，或者，还可以由人工发起。也就是说，可以由具体的操作者发起对三维模型的噪声修复处理请求，当然，系统在接收到该请求后，由于之前在重建过程中已经将目标物体的实景扫描数据导入到当前系统中，并且保存了三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，因此，具体可以通过ai算法实现对三维模型中存在的噪声的自动修复。也就是说，对于操作者而言，只需要发出自动修复指令即可，之后的修复过程可以由ai算法来自动完成，以此实现“一键式”的噪声修复。
82.具体的，在一种具体的实现方式下，可以根据所述对应关系，对所述三维模型中的数据点的属性与所述实景扫描数据中对应的数据点的属性进行对比，并根据对比结果对所述三维模型进行噪声修复处理。例如，如果三维模型中某数据点的颜色与实景扫描数据中对应数据点的颜色不匹配，则可以根据实景扫描数据中对应数据点的颜色值，对三维模型中该数据点的颜色值进行修改，等等。当然，具体实现时，也可以采用其他的噪声修复方式，只要是根据前述保存的对应关系对三维模型进行自动的噪声修复，就在本技术实施例的保护范围之内。
83.其中，ai算法可以通过预先进行训练等方式来获得，在实际应用中，可能存在ai算法的修复效果不够理想等情况，因此，还可以提供用于对所述三维模型中的数据点进行手动噪声修复的操作选项。这样，在ai算法完成自动修复后，还可以通过人为观察的方式，来判断修复之后的效果是否符合要求，如果不符合要求，则可以发起手动修复。相应的，在通过该操作选项接收到对所述三维模型中指定的目标数据点进行手动噪声修复的请求后，还可以根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述三维模型进行手动噪声修复。也就是说，由于三维模型的重建与噪声修复是在同一系统中来完成，并且三维模型的重建是基于实景扫描数据来完成的，还可以保存三维模型中的数据点与实景扫描数据中的数据点之间的对应关系，因此，这种实景扫描数据以及该对应关系信息，还可以为手动修复提供参考依据，使得修复人员可以参照该实景扫描数据完成对三维模型的修复，而不需要反复切换到其他工具中对实景扫描数据进行查
看。例如，如果修复人员发现三维模型中某个面的颜色不够准确，则可以根据该面的三个顶点(也可能是四个)圈选出需要手动修复的目标数据点，相应的，系统可以展示出与这些数据点相关的的实景扫描数据，还可以将实景扫描数据中对应的数据点进行标记(通常，实景扫描数据中的这些数据点也会连成一片区域)，这样，修复人员可以通过查看实景扫描数据中对应数据点的属性等信息，完成对三维模型中的数据点的修复。
84.另外，在实际应用中，除了可以对三维模型进行噪声修复，还可以补全prb材质信息。其中，pbr材质贴图包括描述物体表面纹理的颜色贴图、描述凹凸的法线贴图、以及r、g、b通道分别对应环境遮蔽、金属度及粗糙度的混合贴图。最新的ai算法可以根据完备的扫描信息(即输入扫描图片)，例如，基于brdf(bidirectional reflectance distribution function，双向反射分布函数)光照模型原理，是绝大多数图形学算法中用于描述光反射现象的基本模型，它描述的是物体表面将光能从任何一个入射方向反射到任何一个视点方向的反射特性，即入射光线经过某个表面反射后如何在各个出射方向上分布，通过上述模型，可以对三维模型的pbr材质信息进行建模和预测，实现pbr材质贴图的自动生成。
85.当然，上述通过ai算法进行pbr材质信息的自动生成时，也可能存在效果不理想的情况，此时，同样可以提供用于对所述pbr材质信息进行手动修正的操作选项。并且，通过所述操作选项接收到对所述三维模型中指定的目标数据点处的pbr材质信息进行手动修正的请求后，还可以根据之前保存的对应关系信息，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述目标数据点处的pbr材质信息进行手动修正。
86.另外，在可选的实施方式下，还可以对所述三维模型是否包含必要的参数字段和/或是否符合质量规范进行检测，如果未通过检测，则可以进行回退处理，以便重新进行所述噪声修复处理，直到通过检测。其中，所谓必要的参数字段可以是预先进行配置的，例如，一些工业级应用标准中，要求三维模型中必要包含某些参数字段，可以提前配置在系统中，在完成三维模型的重建、噪声修复等处理后，可以判断三维模型中是否包含这些必要的参数字段，如果不全，则可以回退到修复处理模块中继续进行修复。另外，关于质量规范，具体可以包括三维网格质量(例如，是否存在破洞，奇异顶点，方向不一致，相交和大范围重叠等)，贴图质量(例如，贴图的分辨率不足、纹理缺失、色偏，大面积阴影等)，pbr材质质量等是否符合标准。具体的，可以通过ai算法来进行自动检测，或者，也可以通过ai算法辅助人工检测三维模型的数据缺失、三维网格噪声、贴图分辨率合规性、pbr参数合法性，等等。完成质检后，可以输出无噪声、带pbr材质信息、满足工业级应用标准的三维模型。
87.另外，本技术实施例提供的系统还可以提供三维模型库模块，可以负责三维模型的管理，包括三维模型的存储，预览，检索，导出等功能。此模块存储的可以是前述无噪声、带pbr材质信息、满足工业级应用标准的成品三维模型。
88.需要说明的是，关于三维模型的重建、配准、前背景分割、部件分割、噪声修复、pbr材质信息补全、质检等各项功能，都可以由ai算法来自动完成，当然，在实际应用中，也均可以提供手动干预的操作选项，在算法执行的配准、分割、修复等不够准确的情况下，可以通过手动微调的方式来进行修正，以进一步提升精度。当然，在实际应用中，除了上述各项功能外，系统中还可以支持其他功能，例如，法线生成、模型面数压缩等，并且，在本技术实施例中，也同样可以通过ai算法自动完成，或者，通过ai算法辅助人工的方式来完成，这里不再一一详述。另外，在具体实现时，上述各功能模块也可以以不同的标签选项(tab)等形式
在系统界面中提供，用户可以通过在不同的标签页中启动对应的功能。例如，在其中一个标签页中完成实景扫描数据的导入，之后，切换到下一个标签页，通过点击相关的按钮发起三维模型的重建，再之后，还可以切换到下一个标签页进行配准，再下一个标签页进行分割，等等。这样，使得每个环节可以由人工发起，如果不必要执行某环节，则可以跳过。例如，大型的建筑物等可能会涉及到部件分割，否则可能不需要进行分割，则可以跳过部件分割的步骤，直接进行噪声修复，等等。
89.总之，通过本技术实施例，可以在同一系统中实现三维模型的重建以及噪声修复功能，其中，由于三维模型的重建过程中，可以将目标物体的实景扫描数据导入到系统中，并且，在完成三维模型的重建后，可以记录下三维模型中的数据点与实景扫描数据中的数据点之间的对应关系，因此，在同一系统中进行三维模型的噪声修复处理时，不仅无需进行三维模型的导入导出、数据格式修改等处理，而且，还能够根据系统中已经导入的实景扫描数据，以及前述对应关系，实现自动噪声修复，以此提升三维模型生产制作的效率，降低人力成本。
90.在优选的实施方式中，还可以在系统中提供三维模型的配准、前背景分割、部件分割、pbr材质信息补全、质检等功能，使得可以在同一系统中将三维模型生产制作流程中的各个环节串联起来，从而进一步提升三维模型的生产制作效率。另外，各个环节都可以通过ai算法的方式自动完成，随着ai算法能力的不断提升，可以逐渐减少人为参与的比例，相应的，可以实现多个三维模型的并行生产制作。
91.实施例二
92.在前述实施例一中，主要是可以根据在三维重建过程中保存的三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，进行三维模型中存在的噪声进行自动修复，在自动修复效果不理想的情况下，还可以再进行手动修复。而在本技术实施例二中，也可以直接利用上述对应关系，辅助进行手动的噪声修复。也即，在不存在自动的噪声修复算法的情况下，通过本技术实施例提供的对应关系信息，也可以帮助修复人员在更高效地完成对三维模型中的噪声进行手动修复的操作。具体的，参见图3，本技术实施例二提供了一种三维模型处理方法，该方法可以包括：
93.s301：接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
94.s302：建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，并对所述对应关系进行保存；
95.s303：接收到针对所述三维模型中指定的目标数据点进行手动的噪声修复处理的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据中的数据点信息，以便将所述实景扫描数据中的数据点信息作为噪声修复处理过程中的辅助参考信息。
96.关于该实施例二中的未详述部分，可以参见实施例一以及本说明书中其他部分的记载，这里不再赘述。
97.需要说明的是，本技术实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
98.与实施例一相对应，本技术实施例还提供了一种三维模型处理装置，参见图4，该
装置可以包括：
99.三维模型重建单元401，用于接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
100.对应关系建立单元402，用于建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系；
101.自动噪声修复单元403，用于根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。
102.具体实现时，该装置还可以包括：
103.保存单元，用于对所述对应关系进行保存；
104.所述自动噪声修复单元具体可以用于：
105.接收到对所述三维模型进行噪声修复处理的请求后，根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。
106.具体的，所述自动噪声修复单元具体可以用于：
107.根据所述对应关系，对所述三维模型中的数据点的属性与所述实景扫描数据中对应数据点的属性进行对比，并根据对比结果对所述三维模型进行噪声修复处理。
108.另外，该装置还可以包括：
109.手动修复选项提供单元，用于提供用于对所述三维模型中的数据点进行手动噪声修复的操作选项；
110.展示单元，用于通过所述操作选项接收到对所述三维模型中指定的目标数据点进行手动噪声修复的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述三维模型进行手动噪声修复。
111.另外，该装置还可以包括：
112.前背景分割单元，用于在创建所述三维模型后，对所述三维模型进行前景与背景的分割，以便基于分割出的前景部分进行所述噪声修复处理。
113.部件分割单元，用于在创建所述三维模型后，通过对所述三维模型进行语义分割，将所述三维模型拆分成多个部件的三维模型，以便基于所述多个部件的三维模型分别进行所述噪声修复处理。
114.再者，还可以包括：
115.位置关系保存单元，用于保存所述多个部件的三维模型之间的相对位置关系，以便在完成所述噪声修复处理后，根据所述相对位置关系，将所述多个部件的三维模型拼接组合形成完整的三维模型。
116.另外，还可以包括：
117.法线信息保存单元，用于在创建所述三维模型后，保存所述三维模型中顶点的法线以及面的法线信息；
118.pbr材质信息补全单元，用于根据所述顶点的法线以及面的法线信息，对所述三维模型进行基于物理的渲染pbr材质信息补全。
119.手动补全操作选项提供单元，用于提供用于对所述pbr材质信息进行手动修正的操作选项；
120.展示单元，用于通过所述操作选项接收到对所述三维模型中指定的目标数据点处
的pbr材质信息进行手动修正的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述目标数据点处的pbr材质信息进行手动修正。
121.另外，该装置还可以包括：
122.质检单元，用于对所述三维模型是否包含必要的参数字段和/或是否符合质量规范进行检测；
123.回退单元，用于如果未通过检测，则进行回退处理，以便重新进行所述噪声修复处理，直到通过检测。
124.与实施例二相对应，本技术实施例还提供了一种三维模型处理装置，参见图5，该装置可以包括：
125.三维模型重建单元501，用于接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；
126.对应关系保存单元502，用于建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，并对所述对应关系进行保存；
127.噪声修复辅助单元503，用于接收到针对所述三维模型中指定的目标数据点进行手动的噪声修复处理的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据中的数据点信息，以便将所述实景扫描数据中的数据点信息作为噪声修复处理过程中的辅助参考信息。
128.另外，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
129.以及一种电子设备，包括：
130.一个或多个处理器；以及
131.与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
132.其中，图6示例性的展示出了电子设备的架构，具体可以包括处理器610，视频显示适配器611，磁盘驱动器612，输入/输出接口613，网络接口614，以及存储器620。上述处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，与存储器620之间可以通过通信总线630进行通信连接。
133.其中，处理器610可以采用通用的cpu(central processing unit，处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术所提供的技术方案。
134.存储器620可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器620可以存储用于控制电子设备600运行的操作系统621，用于控制电子设备600的低级别操作的基本输入输出系统(bios)。另外，还可以存储网页浏览器623，数据存储管理系统624，以及三维模型处理系统625等等。上述三维模型处理系统625就可以是本技术实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本技术所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。
135.输入/输出接口613用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
136.网络接口614用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
137.总线630包括一通路，在设备的各个组件(例如处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，与存储器620)之间传输信息。
138.需要说明的是，尽管上述设备仅示出了处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，存储器620，总线630等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本技术方案所必需的组件，而不必包含图中所示的全部组件。
139.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
140.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
141.以上对本技术所提供的三维模型处理方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种三维模型处理方法，其特征在于，包括：接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系；根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。2.根据权利要求1所述的方法，其特征在于，还包括：对所述对应关系进行保存；所述根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理，包括：接收到对所述三维模型进行噪声修复处理的请求后，根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。3.根据权利要求1所述的方法，其特征在于，所述根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理，包括：根据所述对应关系，对所述三维模型中的数据点的属性与所述实景扫描数据中对应数据点的属性进行对比，并根据对比结果对所述三维模型进行噪声修复处理。4.根据权利要求1所述的方法，其特征在于，还包括：提供用于对所述三维模型中的数据点进行手动噪声修复的操作选项；通过所述操作选项接收到对所述三维模型中指定的目标数据点进行手动噪声修复的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述三维模型进行手动噪声修复。5.根据权利要求1所述的方法，其特征在于，还包括：在创建所述三维模型后，通过对所述三维模型进行语义分割，将所述三维模型拆分成多个部件的三维模型，以便基于所述多个部件的三维模型分别进行所述噪声修复处理。6.根据权利要求1所述的方法，其特征在于，还包括：为所述三维模型生成基于物理的渲染pbr材质信息。7.根据权利要求6所述的方法，其特征在于，还包括：提供用于对所述pbr材质信息进行手动修正的操作选项；通过所述操作选项接收到对所述三维模型中指定的目标数据点处的pbr材质信息进行手动修正的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据，以便根据所述实景扫描数据对所述目标数据点处的pbr材质信息进行手动修正。8.一种三维模型处理方法，其特征在于，包括：接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系，并对所述对应关系进行保存；接收到针对所述三维模型中指定的目标数据点进行手动的噪声修复处理的请求后，根据所述对应关系，展示与所述目标数据点相关的实景扫描数据中的数据点信息，以便将所述实景扫描数据中的数据点信息作为噪声修复处理过程中的辅助参考信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。10.一种电子设备，其特征在于，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至8任一项所述的方法的步骤。

技术总结
本申请实施例公开了三维模型处理方法、装置及电子设备，所述方法包括：接收到目标物体的实景扫描数据后，根据所述实景扫描数据创建所述目标物体的三维模型；建立所述三维模型中的数据点与所述实景扫描数据中的数据点之间的对应关系；根据所述实景扫描数据以及所述对应关系对所述三维模型进行噪声修复处理。通过本申请实施例，能够提升三维模型生产制作的效率，降低人力成本。降低人力成本。降低人力成本。


技术研发人员：丁飞
受保护的技术使用者：北京优酷科技有限公司
技术研发日：2023.02.28
技术公布日：2023/7/12