一种基于双网络超分辨算法的3D数据处理方法及系统与流程

一种基于双网络超分辨算法的3d数据处理方法及系统
技术领域
1.本发明涉及人工智能领域，具体涉及一种基于双网络超分辨算法的3d数据处理方法及系统。


背景技术：

2.随着3d数据在各个领域的广泛应用，3d数据处理技术日益重要。高效和准确地处理海量3d数据，挖掘3d数据中蕴含的丰富信息，是实现3d数据应用的基础和前提。然而，现有的3d数据语义分割模型直接对低分辨率3d数据进行分割，由于3d数据分辨率较低，导致分割结果不够准确。而通过先将低分辨率3d数据转为高分辨率3d数据再进行语义分割又导致数据处理效率低下。


技术实现要素：

3.本技术通过提供了一种基于双网络超分辨算法的3d数据处理方法及系统，旨在解决现有技术中3d数据语义分割精度较低的技术问题。
4.鉴于上述问题，本技术提供了一种基于双网络超分辨算法的3d数据处理方法及系统。
5.本技术公开的第一个方面，提供了一种基于双网络超分辨算法的3d数据处理方法，该方法包括：获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；构建3d双分支网络模型，3d双分支网络模型包括3d重建分支和3d分割分支，其中，3d重建分支与3d分割分支共享模型输入数据；通过低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集对3d重建分支和3d分割分支进行联合训练，获取联合损失；当联合损失小于预设损失阈值时，获取目标低分辨率3d数据；将目标低分辨率3d数据输入3d双分支网络模型中，3d分割分支对目标低分辨率3d数据进行前向运算，获取目标语义分割结果。
6.本技术公开的另一个方面，提供了一种基于双网络超分辨算法的3d数据处理系统，该系统包括：训练数据获取模块，用于获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；网络模型构建模块，用于构建3d双分支网络模型，3d双分支网络模型包括3d重建分支和3d分割分支，其中，3d重建分支与3d分割分支共享模型输入数据；分支联合训练模块，用于通过低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集对3d重建分支和3d分割分支进行联合训练，获取联合损失；目标数据获取模块，用于当联合损失小于预设损失阈值时，获取目标低分辨率3d数据；处理结果获取模块，用于将目标低分辨率3d数据输入3d双分支网络模型中，3d分割分支对目标低分辨率3d数据进行前向运算，获取目标语义分割结果。
7.本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
8.由于采用了构建包括3d重建分支和3d分割分支3d双分支网络模型，两个分支共享模型输入数据；其中，3d重建分支用于3d数据超分辨率重建，3d分割分支用于3d数据语义分
割；然后，通过获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割数据集，计算3d重建分支的重构损失、3d分割分支的分割损失和两者的一致性损失，实现3d重建分支和3d分割分支的联合训练；在满足预设条件的情况下，获取目标低分辨率3d数据，3d分割分支可以对其进行语义分割的技术方案，解决了现有技术中3d数据语义分割精度较低的技术问题，达到了提高3d数据语义分割准确度的技术效果。
9.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
10.图1为本技术实施例提供了一种基于双网络超分辨算法的3d数据处理方法可能的流程示意图；
11.图2为本技术实施例提供了一种基于双网络超分辨算法的3d数据处理方法中计算重构损失可能的流程示意图；
12.图3为本技术实施例提供了一种基于双网络超分辨算法的3d数据处理方法中计算分割损失可能的流程示意图；
13.图4为本技术实施例提供了一种基于双网络超分辨算法的3d数据处理系统可能的结构示意图。
14.附图标记说明：训练数据获取模块11，网络模型构建模块12，分支联合训练模块13，目标数据获取模块14，处理结果获取模块15。
具体实施方式
15.本技术提供的技术方案总体思路如下：
16.本技术实施例提供了一种基于双网络超分辨算法的3d数据处理方法及系统。首先构建3d双分支网络模型，该模型包括3d重建分支和3d分割分支，两个分支共享模型输入数据，其中，3d重建分支用于3d数据超分辨率重建，3d分割分支用于3d数据语义分割。然后，通过获取的低分辨率3d数据集、高分辨率3d数据集和3d语义分割数据集，计算3d重建分支的重构损失、3d分割分支的分割损失和两者的一致性损失，实现3d重建分支和3d分割分支的联合训练。在此过程中，3d重建分支重建高分辨率3d数据，为3d分割分支提供训练约束信息，以实现3d分割分支对低分辨率3d数据的高精度语义分割。当联合训练满足预设条件后，获取目标低分辨率3d数据，并将其输入3d双分支网络模型，3d分割分支对目标低分辨率3d数据进行高精度语义分割。
17.在介绍了本技术基本原理后，下面将结合说明书附图来具体介绍本技术的各种非限制性的实施方式。
18.实施例一
19.如图1所示，本技术实施例提供了一种基于双网络超分辨算法的3d数据处理方法，该方法包括：
20.步骤s100：获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；
21.具体而言，低分辨率3d数据是指在三维空间中由较少数据点或较低精度数据点构成的数据集；高分辨率3d数据是指在三维空间中由较多数据点或较高精度数据点构成的数据集；3d语义分割结果是指对3d数据进行语义分割后得到的结果，即将每个数据点分配到相应的语义类别中。首先，访问历史3d扫描分割数据库，遍历所有的低分辨率3d数据，获取具有对应高分辨率3d数据和3d语义分割结果的低分辨率3d数据，分别组成数据条，每个数据条包含低分辨率3d数据、高分辨率3d数据和3d语义分割结果。然后，为每个数据条进行唯一编号，并对每个数据条中的三种数据进行关联编号。接着，将所有数据条中的低分辨率3d数据组成低分辨率3d数据集，将所有数据条的高分辨率3d数据组成高分辨率3d数据集，将所有数据条的3d语义分割结果组成3d语义分割结果集；此时，在任意数据集中抽取一条数据，可根据数据条编码和关联编码在其他数据集中检索对应的数据。
22.步骤s200：构建3d双分支网络模型，所述3d双分支网络模型包括3d重建分支和3d分割分支，其中，所述3d重建分支与所述3d分割分支共享模型输入数据；
23.具体而言，为实现对低分辨率3d数据实现高精度的语义分割，构建一个3d双分支网络模型，该模型由两个分支组成，3d重建分支和3d分割分支。在模型训练阶段，这两个分支采用相同的输入数据，即低分辨率3d数据，而在数据处理过程中，不使用重建分支以及其产生的高分辨率重构图像，该重建分支仅用于模型训练以提高分割分支的学习能力，避免对分割分支的学习过程造成干扰，并提高其对低分辨率3d数据的分割能力。
24.3d重建分支使用卷积lstm模型来实现。首先，对输入的低分辨率3d数据进行预处理，例如进行归一化、降采样等操作，以便适应分支的输入要求；接下来，使用一系列的卷积层来提取低分辨率3d数据的特征；在卷积层之后，引入lstm层来处理时序数据，lstm层能够捕捉到数据中的长期依赖关系，并具有记忆单元和门控机制，有效地处理时序数据；在lstm层之后，使用上采样层来将特征图的分辨率恢复到原始尺寸；最后，使用激活函数和损失函数来定义输出层，将网络的输出映射到高分辨率的3d重建结果。
25.3d分割分支使用pointnet模型来实现。首先，对输入的低分辨率3d数据进行预处理，例如进行归一化、降采样等操作，以便适应模型的输入要求；接下来，使用pointnet模型来提取点云数据的特征，pointnet对每个点进行独立处理，然后将各个点的特征进行汇总，得到全局特征表示；在特征提取之后，使用全连接层或卷积层来进行分割预测，这些层将全局特征映射到具体的语义分割结果，生成3d语义分割结果；最后，使用激活函数和损失函数来定义输出层，将网络的输出映射到3d语义分割结果。
26.步骤s300：通过所述低分辨率3d数据集、所述高分辨率3d数据集和所述3d语义分割结果集对所述3d重建分支和所述3d分割分支进行联合训练，获取联合损失；
27.具体而言，通过将低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集用于联合训练，基于联合损失函数获得联合损失。其中，联合损失函数是用于同时优化3d重建分支和3d分割分支的损失函数，联合损失函数由重构损失、分割损失和一致性损失组成，公式为l
joint
＝l
rec
+l
seg
+l
eonsis
。其中，l
rec
表示重构损失，用于衡量重建分支的重建准确性；l
seg
表示分割损失，用于衡量分割分支的分割准确性；l
consis
表示一致性损失，确保两个分支的输出结果相互一致。优选的，为重构损失、分割损失和一致性损失分别设置权重为δ
rec
、δ
seg
、δ
consis
，通过调整权重，以平衡重构损失、分割损失和一致性损失在联合损失函数中的贡献，以达到最佳的联合训练效果。
28.步骤s400：当所述联合损失小于预设损失阈值时，获取目标低分辨率3d数据；
29.具体而言，联合损失是通过联合训练得到的损失值，可以衡量联合训练模型在重建和分割任务上的性能。预设损失阈值是事先设定的损失阈值，联合损失小于该阈值的模型的性能已经达到预设的数据处理要求。
30.通过比较联合损失和预设损失阈值，可判断模型在重建和分割任务上的性能是否达到了预期水平，如果联合损失小于预设损失阈值，说明模型的性能已经满足要求，我们可以继续进行下一步操作。此时，可使用该模型来进行语义分割任务，获取需要进行语义分割任务的新的低分辨率3d数据，该数据是要进行3d数据处理的新3d数据。
31.步骤s500：将所述目标低分辨率3d数据输入所述3d双分支网络模型中，所述3d分割分支对所述目标低分辨率3d数据进行前向运算，获取目标语义分割结果。
32.具体而言，将获取到的目标低分辨率3d数据输入到3d双分支网络模型中，通过使用其中的3d分割分支对目标低分辨率3d数据进行前向运算，以获得目标的语义分割结果。
33.首先，将目标低分辨率3d数据进行预处理，如归一化、裁剪或填充等操作，以确保数据的格式和尺寸与3d分割分支的输入要求相匹配。然后，将经过预处理的目标低分辨率3d数据输入到3d分割分支中。在3d分割分支中，使用一系列的卷积、池化和激活函数等操作，对输入数据进行特征提取，帮助网络学习到目标的局部和全局特征信息。在特征提取的过程中，使用卷积和池化操作来进行特征图的上采样和下采样。其中，上采样操作增加特征图的分辨率，以更好地捕捉目标的细节信息；而下采样操作减小特征图的尺寸，以提取更高层次的语义特征。在特征提取和采样操作完成后，3d分割分支使用卷积和全连接层等操作，将特征映射到对应的语义类别上，即将特征图中的每个点分配到特定的语义类别中，以实现目标的语义分割。实现直接对低分辨3d数据的高精度语义分割，提高3d数据语义分割准确度，提高数据处理效率。
34.进一步的，本技术实施例还包括：
35.步骤s310：遍历所述低分辨率3d数据集，获取第一低分辨率3d数据，基于所述第一低分辨率3d数据在所述高分辨率3d数据集和所述3d语义分割结果集中分别获取第一高分辨率3d数据、第一3d语义分割结果；
36.步骤s320：将所述第一低分辨率3d数据输入所述3d重建分支中，获取第一重建3d数据，计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失；
37.步骤s330：将所述第一低分辨率3d数据输入所述3d分割分支中，获取第一分割3d数据，计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失；
38.步骤s340：计算所述第一重建3d数据和所述第一分割3d数据的一致性损失；
39.步骤s350：将所述重构损失、所述分割损失、所述一致性损失相加作为所述联合损失。
40.具体而言，通过遍历低分辨率3d数据集，逐个获取其中的低分辨率3d数据。然后，根据这个低分辨率3d数据的编号，分别从高分辨率3d数据集和3d语义分割结果集中获取对应的高分辨率3d数据和3d语义分割结果，为后续的重建和分割任务提供所需的数据基础。
41.将低分辨率3d数据输入3d双网络模型中，该模型将低分辨率3d数据同时输入3d重建分支和3d分割分支中。3d重建分支对输入数据进行一系列的卷积、反卷积和激活函数等操作，以生成重建3d数据，然后通过均方误差(mse)或结构相似性指数(ssim)计算重建3d数
据与低分辨率3d数据对应的高分辨率3d数据之间的差异，获得重构损失。3d分割分支对输入数据进行特征提取和分类操作，以生成分割3d数据，然后通过交叉熵损失函数或dice损失函数计算分割3d数据与低分辨率3d数据对应的3d语义分割结果之间差异，获得分割损失。
42.接着，计算低分辨率3d数据通过3d重建分支获得的重建3d数据和通过3d分割分支获得的重建3d数据之间的一致性损失，评估重建和分割任务之间的一致性，为后续的优化和改进提供指导。之后，对重构损失、分割损失和一致性损失进行归一化，将三者损失进行相加，获取联合损失，以评估模型的整体性能，最小化促使网络模型在重建和分割任务之间取得平衡，并保持一致性，优化3d分割分支对低分辨率3d数据的高精度语义分割能力。
43.进一步的，如图2所示，本技术实施例还包括：
44.步骤s321：所述3d重建分支包括第一编码器和第一解码器；
45.步骤s322：基于所述第一编码器对所述第一低分辨率3d数据进行点云编码，获取点云特征向量；
46.步骤s323：基于所述第一解码器对所述点云特征向量进行解码，生成所述第一重建3d数据；
47.步骤s324：通过均方误差计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失。
48.具体而言，第一编码器是3d重建分支中的一个组件，负责将输入的低分辨率3d数据进行点云编码，编码过程使用pointnet++进行点云编码进行编码，提取点云的全局语义信息和空间结构信息，并输出一个低维而高质量的点云特征向量。第一解码器是3d重建分支中的另一组件，负责对点云特征向量进行解码，解码过程使用foldingnet算法解码，预测新点的相邻点关系，利用点云特征向量解码出完整的高精度点云数据。通过将低分辨率3d数据输入第一编码器进行编码，再将编码后的点云特征向量输入第一解码器进行解码，可实现对低分辨率3d数据的重建。第一重建3d数据是解码过程中得到的结果，是根据点云特征向量解码出的完整的高精度点云数据，重建3d数据与输入的低分辨率3d数据之间具有相似的结构和形状。
49.然后，将第一重建3d数据和第一高分辨率3d数据表示为相应的矩阵，假设它们分别为r和h。通过逐元素相减的方式计算两个数据之间的差异，得到差异矩阵d，将差异矩阵d的每个元素平方，得到平方差异矩阵sd，计算平方差异矩阵sd的平均值，即均方误差其中n为矩阵中元素的总数，∑sd表示对所有元素求和。得到的mse即为第一重建3d数据与第一高分辨率3d数据的重构损失l
rec
，数值越小表示重建数据与高分辨率数据越接近。
50.进一步的，如图3所示，本技术实施例还包括：
51.步骤s331：所述3d分割分支包括第二编码器和第二解码器；
52.步骤s332：基于所述第二编码器对所述第一低分辨率3d数据进行特征提取，获取语义特征向量；
53.步骤s333：基于所述第二解码器对所述语义特征向量进行解码，生成所述第一分割3d数据；
54.步骤s334：通过交叉熵损失计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失。
55.具体而言，第二编码器是3d分割分支中的一个组件，负责对第一个低分辨率3d数据进行特征提取，编码过程通过u-net进行特征提取，通过多个卷积层和池化层逐步提取输入数据的语义特征，并将其编码为低维的语义特征向量。第二解码器是3d分割分支中的另一组件，负责对语义特征向量进行解码，生成第一个分割3d数据，解码过程通过fcn进行解码，通过反卷积层和上采样操作将语义特征向量解码为与输入数据相同维度的语义分割结果，保留输入数据的空间信息，并生成像素级别的分割结果。
56.第一分割3d数据是与输入数据具有相同维度的3d数据，每个维度表示数据点的语义类别，假设第一分割3d数据为p，它的维度为(n,h,w,c)，其中n表示数据点的数量，h、w表示数据的高度和宽度，c表示语义类别的数量。第一3d语义分割结果是真实的语义分割结果，是经过审核的准确语义分割结果，假设第一3d语义分割结果为q，与第一分割3d数据具有相同的维度。使用softmax函数将第一分割3d数据p和第一3d语义分割结果q每个维度的数值转换为概率值，得到概率分布形式。对于每个数据点的每个维度，计算它们在p和q中的概率值之间的交叉熵损失其中，交叉熵损失l(q，p)表示第一分割3d数据与第一3d语义分割结果之间的差异程度，n表示数据点的数量，p(i)表示第一分割3d数据中第i个数据点的预测概率值，q(i)表示第一3d语义分割结果中第i个数据点的真实概率值。通过计算每个数据点的真实概率值q(i)与预测概率值p(i)之间的交叉熵，然后将所有数据点的交叉熵损失进行求和，最终得到的求和结果即为分割损失l
seg
，表示第一分割3d数据与第一3d语义分割结果之间的差异程度。
57.进一步的，本技术实施例还包括：
58.步骤s341：构建一致性损失函数为：
[0059][0060]
其中，l
consis
是一致性损失值，n是第一重建3d数据的总点数，label(rec，i)是第i个点在所述第一重建3d数据中的语义标签，label(seg，i)是第i个点在所述第一分割3d数据中的语义标签；
[0061]
步骤s342：遍历所述第一重建3d数据中的每个点，获取第一重建3d点；
[0062]
步骤s343：获取所述第一重建3d点的第一空间坐标和第一语义标签；
[0063]
步骤s344：根据所述第一空间坐标在所述第一分割3d数据获取第二语义标签；
[0064]
步骤s345：根据所述一致性损失函数计算所述第一语义标签和所述第二语义标签的一致性，获取所述一致性损失。
[0065]
具体而言，首先，构建判断重建3d数据和分割3d数据一致性的一致性损失函数用于衡量第一重建3d数据和第一分割3d数据之间在语义上的一致性。其中，n表示第一重建3d数据的总点数，label(rec，i)是第i个点在第一重建3d数据中的语义标签，label(seg，i)是第i个点在第一分割3d数据中的语义标签；
[0066]
然后，第一重建3d数据是一个包含n个点的列表，每个点包含空间坐标和语义标
签。遍历第一重建3d数据中的每个点，对于i从0到n-1，进行循环遍历，对于每个点，通过索引访问第一重建3d数据列表中的元素，即第i个点。对于第i个点，访问第一重建3d数据列表中的元素，获取其空间坐标和语义标签。例如，根据不同编程方式，如果第一重建3d点是一个对象，使用点对象的属性或方法来获取空间坐标和语义标签；如果第一重建3d点是一个包含空间坐标和语义标签的元组或数组，使用索引来获取对应的值。
[0067]
接着，第一分割3d数据也是包含n个点的列表，每个点包含空间坐标和语义标签。遍历第一分割3d数据中的每个点，比较其空间坐标与第一重建3d数据中第i个点的空间坐标，如果找到了空间坐标匹配的点，则获取该点的语义标签作为第二语义标签。随后，对于每个点，计算第一语义标签和第二语义标签的差的绝对值|label(rec，i)-label(seg，i)|，如果两个标签相同，则差的绝对值为0，如果两个标签不同，则差的绝对值为1。将所有点的差的绝对值进行累加求和，得到总的差的绝对值之和，将总的差的绝对值之和除以点的总数n，得到一致性损失值，表示第一语义标签和第二语义标签之间的差异程度，值越小表示两个输出在语义上越一致。
[0068]
进一步的，本技术实施例还包括：
[0069]
步骤s610：当所述联合损失大于或等于所述预设损失阈值时，获取当前网络参数的训练次数；
[0070]
步骤s620：若所述训练次数小于迭代阈值，根据所述当前网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练；
[0071]
步骤s630：若所述训练次数大于或等于迭代阈值，对所述当前网络参数进行调整，根据调整后的网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练。
[0072]
具体而言，首先，根据联合损失与预设损失阈值的比较，判断当前网络参数的训练次数是否需要被记录。预设损失阈值是事先设定的阈值，用于判断联合损失是否满足要求。如果联合损失大于或等于预设损失阈值，则获取当前网络参数的训练次数。
[0073]
然后，判断训练次数是否小于迭代阈值。迭代阈值是预先设定的阈值，用于控制训练的迭代次数。如果训练次数小于迭代阈值，说明仍然处于迭代训练的范围内。此时，根据当前网络参数，即已经训练过的参数，继续对3d重建分支和3d分割分支进行联合训练，以进一步优化模型的性能。如果训练次数大于或等于迭代阈值，说明已经达到了预设的迭代次数。在这种情况下，对当前网络参数进行调整，以使用新的参数优化模型的性能。根据调整后的网络参数，对3d重建分支和3d分割分支进行联合训练，以进一步提升重建和分割的准确性和一致性。
[0074]
进一步的，本技术实施例还包括：
[0075]
步骤s631：获取第一损失阈值、第二损失阈值，其中，所述第一损失阈值为所述3d重建分支的损失判断阈值，所述第二损失阈值为所述3d分割分支的损失判断阈值；
[0076]
步骤s632：若所述重构损失大于或等于所述第一损失阈值，计算第一损失偏差；
[0077]
步骤s633：若所述重构损失小于所述第一损失阈值，所述第一损失偏差为0；
[0078]
步骤s634：若所述分割损失大于或等于所述第二损失阈值，计算第二损失偏差；
[0079]
步骤s635：若所述分割损失小于所述第二损失阈值，所述第二损失偏差为0；
[0080]
步骤s636：比较所述第一损失偏差与所述第二损失偏差，获取最大损失偏差，根据所述最大损失偏差调整对应分支的网络参数。
[0081]
具体而言，首先，获取第一损失阈值和第二损失阈值。第一损失阈值是用于判断3d重建分支损失的阈值，用来衡量重建结果的准确性；第二损失阈值是用于判断3d分割分支损失的阈值，用来衡量分割结果的准确性。然后，判断重构损失与第一损失阈值，如果重构损失大于或等于第一损失阈值，说明重建结果的准确性不达标，此时，通过重构损失减去第一损失阈值得到第一损失偏差，用于衡量重建结果与期望结果之间的差异；如果重构损失小于第一损失阈值，说明重建结果的准确性已经达标，此时，第一损失偏差为0，表示重建结果与期望结果一致。同时，判断分割损失与第二损失阈值，如果分割损失大于或等于第二损失阈值，说明分割结果的准确性不达标，此时，通过分割损失减去第二损失阈值得到第二损失偏差，用于衡量分割结果与期望结果之间的差异；如果分割损失小于第二损失阈值，说明分割结果的准确性已经达标，此时，第二损失偏差为0，表示分割结果与期望结果一致。
[0082]
之后，将第一损失偏差与第二损失偏差进行比较，判断哪个偏差更大，根据比较结果，确定最大的损失偏差。如果第一损失偏差大于第二损失偏差，则最大损失偏差为第一损失偏差；如果第二损失偏差大于或等于第一损失偏差，则最大损失偏差为第二损失偏差。随后，根据最大损失偏差的结果，确定需要调整的分支，如果最大损失偏差为第一损失偏差，则需要调整3d重建分支的网络参数；如果最大损失偏差为第二损失偏差，则需要调整3d分割分支的网络参数。根据需要调整的分支，使用梯度下降法或自适应优化算法，对该分支的网络参数进行调整。调整后的网络参数将用于后续的联合训练，以进一步优化对应分支的性能，使其与期望结果更一致。
[0083]
比较第一损失偏差和第二损失偏差，找到最大的损失偏差。最大损失偏差表示重建分支和分割分支中哪个分支的结果与期望结果差异更大。根据最大损失偏差，调整对应分支的网络参数，以进一步优化该分支的性能，使其与期望结果更一致。
[0084]
综上所述，本技术实施例所提供的一种基于双网络超分辨算法的3d数据处理方法具有如下技术效果：
[0085]
获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应，为构建3d双分支网络模型提供数据基础；构建3d双分支网络模型，3d双分支网络模型包括3d重建分支和3d分割分支，其中，3d重建分支与3d分割分支共享模型输入数据，为实现对低分辨率3d数据进行高精度语义分割处理提供支持；通过低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集对3d重建分支和3d分割分支进行联合训练，获取联合损失，为获取满足要求的3d双分支网络模型提供判断信息；当联合损失小于预设损失阈值时，获取目标低分辨率3d数据；将目标低分辨率3d数据输入3d双分支网络模型中，3d分割分支对目标低分辨率3d数据进行前向运算，获取目标语义分割结果，对新输入的目标低分辨率3d数据实现高精度语义分割，从而达到提高3d数据语义分割准确度、提高数据处理效率的技术效果。
[0086]
实施例二
[0087]
基于与前述实施例中一种基于双网络超分辨算法的3d数据处理方法相同的发明构思，如图4所示，本技术实施例提供了一种基于双网络超分辨算法的3d数据处理系统，该系统包括：
[0088]
训练数据获取模块11，用于获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；
[0089]
网络模型构建模块12，用于构建3d双分支网络模型，所述3d双分支网络模型包括3d重建分支和3d分割分支，其中，所述3d重建分支与所述3d分割分支共享模型输入数据；
[0090]
分支联合训练模块13，用于通过所述低分辨率3d数据集、所述高分辨率3d数据集和所述3d语义分割结果集对所述3d重建分支和所述3d分割分支进行联合训练，获取联合损失；
[0091]
目标数据获取模块14，用于当所述联合损失小于预设损失阈值时，获取目标低分辨率3d数据；
[0092]
处理结果获取模块15，用于将所述目标低分辨率3d数据输入所述3d双分支网络模型中，所述3d分割分支对所述目标低分辨率3d数据进行前向运算，获取目标语义分割结果。
[0093]
进一步的，分支联合训练模块13包括以下执行步骤：
[0094]
遍历所述低分辨率3d数据集，获取第一低分辨率3d数据，基于所述第一低分辨率3d数据在所述高分辨率3d数据集和所述3d语义分割结果集中分别获取第一高分辨率3d数据、第一3d语义分割结果；
[0095]
将所述第一低分辨率3d数据输入所述3d重建分支中，获取第一重建3d数据，计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失；
[0096]
将所述第一低分辨率3d数据输入所述3d分割分支中，获取第一分割3d数据，计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失；
[0097]
计算所述第一重建3d数据和所述第一分割3d数据的一致性损失；
[0098]
将所述重构损失、所述分割损失、所述一致性损失相加作为所述联合损失。
[0099]
进一步的，分支联合训练模块13还包括以下执行步骤：
[0100]
所述3d重建分支包括第一编码器和第一解码器；
[0101]
基于所述第一编码器对所述第一低分辨率3d数据进行点云编码，获取点云特征向量；
[0102]
基于所述第一解码器对所述点云特征向量进行解码，生成所述第一重建3d数据；
[0103]
通过均方误差计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失。
[0104]
进一步的，分支联合训练模块13还包括以下执行步骤：
[0105]
所述3d分割分支包括第二编码器和第二解码器；
[0106]
基于所述第二编码器对所述第一低分辨率3d数据进行特征提取，获取语义特征向量；
[0107]
基于所述第二解码器对所述语义特征向量进行解码，生成所述第一分割3d数据；
[0108]
通过交叉熵损失计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失。
[0109]
进一步的，分支联合训练模块13还包括以下执行步骤：
[0110]
构建一致性损失函数为：
[0111][0112]
其中，l
consis
是一致性损失值，n是第一重建3d数据的总点数，label(rec，i)是第i个点在所述第一重建3d数据中的语义标签，label(seg，i)是第i个点在所述第一分割3d数据中的语义标签；
[0113]
遍历所述第一重建3d数据中的每个点，获取第一重建3d点；
[0114]
获取所述第一重建3d点的第一空间坐标和第一语义标签；
[0115]
根据所述第一空间坐标在所述第一分割3d数据获取第二语义标签；
[0116]
根据所述一致性损失函数计算所述第一语义标签和所述第二语义标签的一致性，获取所述一致性损失。
[0117]
进一步的，本技术实施例还包括网络参数优化模块，该模块包括以下执行步骤：
[0118]
当所述联合损失大于或等于所述预设损失阈值时，获取当前网络参数的训练次数；
[0119]
若所述训练次数小于迭代阈值，根据所述当前网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练；
[0120]
若所述训练次数大于或等于迭代阈值，对所述当前网络参数进行调整，根据调整后的网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练。
[0121]
进一步的，网络参数优化模块还包括以下执行步骤：
[0122]
获取第一损失阈值、第二损失阈值，其中，所述第一损失阈值为所述3d重建分支的损失判断阈值，所述第二损失阈值为所述3d分割分支的损失判断阈值；
[0123]
若所述重构损失大于或等于所述第一损失阈值，计算第一损失偏差；
[0124]
若所述重构损失小于所述第一损失阈值，所述第一损失偏差为0；
[0125]
若所述分割损失大于或等于所述第二损失阈值，计算第二损失偏差；
[0126]
若所述分割损失小于所述第二损失阈值，所述第二损失偏差为0；
[0127]
比较所述第一损失偏差与所述第二损失偏差，获取最大损失偏差，根据所述最大损失偏差调整对应分支的网络参数。
[0128]
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本技术实施例中的任一项方法，在此不做多余限制。
[0129]
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术及其等同技术的范围之内，则本技术意图包括这些改动和变型在内。

技术特征：
1.一种基于双网络超分辨算法的3d数据处理方法，其特征在于，所述方法包括：获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；构建3d双分支网络模型，所述3d双分支网络模型包括3d重建分支和3d分割分支，其中，所述3d重建分支与所述3d分割分支共享模型输入数据；通过所述低分辨率3d数据集、所述高分辨率3d数据集和所述3d语义分割结果集对所述3d重建分支和所述3d分割分支进行联合训练，获取联合损失；当所述联合损失小于预设损失阈值时，获取目标低分辨率3d数据；将所述目标低分辨率3d数据输入所述3d双分支网络模型中，所述3d分割分支对所述目标低分辨率3d数据进行前向运算，获取目标语义分割结果。2.如权利要求1所述的方法，其特征在于，通过所述低分辨率3d数据集、所述高分辨率3d数据集和所述3d语义分割结果集对所述3d重建分支和所述3d分割分支进行联合训练，获取联合损失，包括：遍历所述低分辨率3d数据集，获取第一低分辨率3d数据，基于所述第一低分辨率3d数据在所述高分辨率3d数据集和所述3d语义分割结果集中分别获取第一高分辨率3d数据、第一3d语义分割结果；将所述第一低分辨率3d数据输入所述3d重建分支中，获取第一重建3d数据，计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失；将所述第一低分辨率3d数据输入所述3d分割分支中，获取第一分割3d数据，计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失；计算所述第一重建3d数据和所述第一分割3d数据的一致性损失；将所述重构损失、所述分割损失、所述一致性损失相加作为所述联合损失。3.根据权利要求2所述的方法，其特征在于，将所述第一低分辨率3d数据输入所述3d重建分支中，获取第一重建3d数据，计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失，包括：所述3d重建分支包括第一编码器和第一解码器；基于所述第一编码器对所述第一低分辨率3d数据进行点云编码，获取点云特征向量；基于所述第一解码器对所述点云特征向量进行解码，生成所述第一重建3d数据；通过均方误差计算所述第一重建3d数据与所述第一高分辨率3d数据的重构损失。4.如权利要求2所述的方法，其特征在于，将所述第一低分辨率3d数据输入所述3d分割分支中，获取第一分割3d数据，计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失，包括：所述3d分割分支包括第二编码器和第二解码器；基于所述第二编码器对所述第一低分辨率3d数据进行特征提取，获取语义特征向量；基于所述第二解码器对所述语义特征向量进行解码，生成所述第一分割3d数据；通过交叉熵损失计算所述第一分割3d数据与所述第一3d语义分割结果的分割损失。5.如权利要求2所述的方法，其特征在于，计算所述第一重建3d数据的第一分割3d数据的一致性损失，包括：构建一致性损失函数为：
其中，l
consis
是一致性损失值，n是第一重建3d数据的总点数，label(rec，i)是第i个点在所述第一重建3d数据中的语义标签，label(seg，i)是第i个点在所述第一分割3d数据中的语义标签；遍历所述第一重建3d数据中的每个点，获取第一重建3d点；获取所述第一重建3d点的第一空间坐标和第一语义标签；根据所述第一空间坐标在所述第一分割3d数据获取第二语义标签；根据所述一致性损失函数计算所述第一语义标签和所述第二语义标签的一致性，获取所述一致性损失。6.如权利要求2所述的方法，其特征在于，所述方法还包括：当所述联合损失大于或等于所述预设损失阈值时，获取当前网络参数的训练次数；若所述训练次数小于迭代阈值，根据所述当前网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练；若所述训练次数大于或等于迭代阈值，对所述当前网络参数进行调整，根据调整后的网络参数对所述3d重建分支与所述3d分割分支继续进行联合训练。7.如权利要求6所述的方法，其特征在于，若所述训练次数大于或等于迭代阈值，对所述当前网络参数进行调整，包括：获取第一损失阈值、第二损失阈值，其中，所述第一损失阈值为所述3d重建分支的损失判断阈值，所述第二损失阈值为所述3d分割分支的损失判断阈值；若所述重构损失大于或等于所述第一损失阈值，计算第一损失偏差；若所述重构损失小于所述第一损失阈值，所述第一损失偏差为0；若所述分割损失大于或等于所述第二损失阈值，计算第二损失偏差；若所述分割损失小于所述第二损失阈值，所述第二损失偏差为0；比较所述第一损失偏差与所述第二损失偏差，获取最大损失偏差，根据所述最大损失偏差调整对应分支的网络参数。8.一种基于双网络超分辨算法的3d数据处理系统，其特征在于，用于实施权利要求1-7任意一项所述的一种基于双网络超分辨算法的3d数据处理方法，所述系统包括：训练数据获取模块，所述训练数据获取模块用于获取低分辨率3d数据集、高分辨率3d数据集和3d语义分割结果集，其中，低分辨率3d数据、高分辨率3d数据和3d语义分割结果一一对应；网络模型构建模块，所述网络模型构建模块用于构建3d双分支网络模型，所述3d双分支网络模型包括3d重建分支和3d分割分支，其中，所述3d重建分支与所述3d分割分支共享模型输入数据；分支联合训练模块，所述分支联合训练模块用于通过所述低分辨率3d数据集、所述高分辨率3d数据集和所述3d语义分割结果集对所述3d重建分支和所述3d分割分支进行联合训练，获取联合损失；目标数据获取模块，所述目标数据获取模块用于当所述联合损失小于预设损失阈值时，获取目标低分辨率3d数据；
处理结果获取模块，所述处理结果获取模块用于将所述目标低分辨率3d数据输入所述3d双分支网络模型中，所述3d分割分支对所述目标低分辨率3d数据进行前向运算，获取目标语义分割结果。

技术总结
本发明公开了一种基于双网络超分辨算法的3D数据处理方法及系统，属于人工智能领域，其中方法包括：构建包括3D重建分支和3D分割分支3D双分支网络模型，两个分支共享模型输入数据；通过获取低分辨率3D数据集、高分辨率3D数据集和3D语义分割数据集，计算3D重建分支的重构损失、3D分割分支的分割损失和两者的一致性损失，实现3D重建分支和3D分割分支的联合训练；在满足预设条件的情况下，获取目标低分辨率3D数据，通过3D分割分支对其进行语义分割。本申请解决了现有技术中3D数据语义分割精度较低、数据处理效率低下的技术问题，达到了提高3D数据语义分割准确度、提高数据处理效率的技术效果。技术效果。技术效果。


技术研发人员：朱圣韬 武珊珊 张倩 陈东 曹锐 许之寅
受保护的技术使用者：新光维医疗科技（苏州）股份有限公司
技术研发日：2023.07.10
技术公布日：2023/10/15