基于自适应去噪算法的3D重建方法、装置、设备及介质

基于自适应去噪算法的3d重建方法、装置、设备及介质
技术领域
1.本发明涉及三维图像建模技术领域，具体涉及基于自适应去噪算法的3d重建方法、装置、设备及介质。


背景技术：

2.在2d图像3d重建方向近2年的研究成果中，大多数学者通过单个物体的多视角图像来重建3d模型，但这些方法如果在存在缺失多视觉图像的条件下应用，仅靠单张图像构建的3d模型，与原图像相比会丢失较多细节信息。
3.现有技术不足主要有几个方面：
4.1.无法区分噪音和信号。降噪算法往往不能准确区分噪声和信号，导致重要信息的丢失。
5.2.缺少可扩展性。降噪算法往往受到限制，不能根据被处理的数据集的大小来扩大或缩小规模。
6.3.对非稳态信号的效果有限。非稳态信号往往需要更复杂的降噪算法，这可能难以开发和实施。
7.4.计算的复杂性。降噪算法可能是计算密集型的，使其难以用于对速度要求很高的实时应用中。
8.5.缺少与人工智能库相结合的3d模型，并结合模型对图像进行去噪。
9.6.目前大多数的3d人体重建研究还没有专注于2d图像的连续3d姿态估计。


技术实现要素：

10.为了解决上述现有技术存在的不足，本发明提供基于自适应去噪算法的3d重建方法、装置、设备及介质。
11.本发明提出的技术方案为：
12.第一方面，本发明提供基于自适应去噪算法的3d重建方法，采用如下的技术方案，
13.基于自适应去噪算法的3d重建方法，包括以下步骤：
14.对噪声图像进行处理形成目标数据；
15.分辨器对生成器的虚假数据进行判断，并生成对抗数据；
16.生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；
17.分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。
18.进一步的，所述将噪声图像输入生成器生成虚假数据；具体包括：
19.采用图像的熵值对噪声图像划分区域，确定目标信息并对目标信息生成3d模型虚假数据。
20.作为本发明的进一步技术方案为，所述生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；具体包括：从生成器反向传播的lmse损失和来自分辨器的对抗性损失ladv进行训练优化，公式1中的lmse损失旨在使生成器生成的信息更接近标签；公式2中的
对抗性损失ladv的作用是使生成器生成的信息符合更真实、无噪声的信息；总体损失为lmse损失和对抗性损失ladv之和；
[0021][0022][0023]
lg＝l
mse
+λl
adv
。
[0024]
其中，其中鉴别器表示对样本进行判别，生成的图像热度图cj,x从为真实数据分布中采样得到的样本，虚假热度图j为样本类别标签；生成器反向传播热度图c
ij
,生成器反向传播虚假热度图x为从真实数据分布中采样得到的样本，图像i,j的目标的坐标位置，n，m为图像窗口的长宽值。λ为调节阈值。
[0025]
作为本发明的进一步技术方案为，所述分辨器对生成器的虚假数据进行判断，并生成对抗数据；具体为：分辨器对生成器的虚假数据进行判断，根据对抗数据形成置信因子作为反馈数据输入生成器中，其中，所述置信因子：
[0026]
结合目标的外观深度特征和运动深度特征，并将其融合：y＝(ω1y1,ω2y2)；其中y为融合函数，ω1为外观深度的加权系数，ω2为运动深度的加权系数，目标的外观深度特征和运动深度特征分别用y1，y2表示，ωi是加权系数；
[0027]
目标的外观深度特征和运动深度特征分别用y1，y2表示，ωi是加权系数；同时为了使目标与采集样本一致，算法进行归一化处理，则
[0028][0029][0030]
i，j表示第i，第j个样本，进而推到出sc目标类间的一致性函数：
[0031][0032]
式中nr(fi)表示样本fi且与fi属于同一类的k个最近邻样本的索引集，ωk为邻近样本的加权系数，最后求解下列优化问题确定加权系数，得
[0033]
max{sc+λs||ω||}，其中ωk＞0，||ω||＝1；
[0034]
而λs为控制参数；则目标函数：l(sc,ω)＝sc+λs||ω||；
[0035]
从而可以得到最终的目标函数：l＝l
real
+l(sc，ω)。
[0036]
作为本发明的进一步技术方案为，所述对噪声图像通过生成器生成虚假数据；具体包括：
[0037]
对噪声图像进行分解为得到随机向量，将随机向量输入网络，通过卷积层转换图像的形状和内容输出3d虚假图像；
[0038]
所述生成器配置包括：包括五个卷积层，其中，五个卷积层中的过滤器数量分别为512、256、128、64、1；每个卷积层中的卷积核大小均为4x 4x 4；在前4个卷积层中，步幅分别为1、2、2、2、2，其中前四个卷积层都使用了批量规范化方法和relu激活函数，第五个卷积层中使用sigmoid激活函数；其中，输入层是一个200维的向量，来自于概率潜在空间的随机采
样；输出层输出64x64x 64的3d虚假图像。
[0039]
作为本发明的进一步技术方案为，所述分辨器对生成器的虚假数据进行判断，并生成对抗数据；具体包括：分辨器用于区分生成器生成的虚假数据和真实数据，
[0040]
分辨器对真实数据进行编码形成真实新热图，并计算新热图与真实热图之间的距离，计算lreal损失；
[0041][0042]
分辨器对生成器生成的虚假数据进行编码形成虚假新热图，并计算新热图与生成器生成的虚假热图之间的距离，计算l_无噪声损失；
[0043][0044]
其中鉴别器表示对样本进行判别，生成的图像热度图cj,x从为真实数据分布中采样得到的样本，虚假热度图j为样本类别标签。
[0045]
分辨器的整体损失为：
[0046]
lg＝l
real
+k
t
l
无嗓声
[0047]
其中，k
t+1
＝k
t
+λk(l
real-l
无噪声
)
[0048]kt
，k
t+1
为分辨器是用来约束因子，用来约束分辨器的能力的，在公式(5)的约束下，能够使网络更容易地训练；同时为了兼顾gan收敛过程易出现的网络崩溃问题，我们将l
无噪声
与l
real
的数字进行了调整，其中设置l
无噪声
小于l
real
使网络中的生成器能够生成已经足够真实以欺骗分辨器的有效信息；
[0049]
分辨器通过生成对抗数据形成置信因子反馈至生成器对生成器进行修正，针对图像目标区域，结合人体姿态识别与3d模型，采用gan模型对目标信号进行判断，重建多特征信息的3d模型。
[0050]
作为本发明的进一步技术方案为，所述分辨器的配置包括：5个3d卷积层，其中，每个卷积层有64、128、256、512和1个通道；卷积核大小都为4；步幅分别为2、2、2、2、1；激活函数采用leakyrelu，前4个卷积层还使用了批量规范化技术，输出层为(64,64,64)的3d图像，并且输出一个表示输入数据属于真实或假类的概率的标量值。
[0051]
第二方面，本发明还提供一种2d图像3d重建功能自适应去噪装置，包括：
[0052]
输入模块，对噪声图像进行处理形成目标数据；
[0053]
反馈模块，分辨器对生成器的虚假数据进行判断，并生成对抗数据；
[0054]
生成器，生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；
[0055]
分辨器及输出模块，分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。
[0056]
第三方面，本发明提供一种电子设备，其包括：
[0057]
一个或者多个处理器；
[0058]
存储器；
[0059]
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行一种2d图像3d重建功能自适应去噪方法。
[0060]
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行一种2d图像3d重建功能自适应去噪方法。
[0061]
本发明的有益效果为：
[0062]
1、本发明引入降噪方法提高3d重建精度和准确度：该技术在深度学习算法中引入降噪方法，重建出具备更多特征信息的3d模型；
[0063]
2、生成器不仅捕获特定噪声分量，还会生成目标信号的3d模型，在生成图像过程中不会丢失原图像重要的特征分量，进一步提高了3d重建的准确度；
[0064]
3、无需多视觉图像，在单张图像下实现3d重建，可以实现对单张单目图像进行3d重建，省去了额外采集多视觉图像的成本，提高了3d重建的效率；
[0065]
4、无需对2d图像进行标注，节省训练成本：结合降噪处理的gan技术使用无监督的方法进行训练，无需对2d图像进行标注，降低了训练成本；
[0066]
5、降低光照及极端角度对3d重建的影响：通过从相关的其他原始图像中学习，实现更好的重构效果，降低了光照及极端角度对3d重建的影响。
附图说明
[0067]
图1为本发明提出的基于自适应去噪算法的3d重建方法流程图；
[0068]
图2为本发明提出的基于自适应去噪算法的3d重建方法原理图；
[0069]
图3a为本发明提出的生成器架构图；
[0070]
图3b为本发明提出的生成器生成图像流程图；
[0071]
图4为本发明提出的分辨器网络中张量的流动以及输入和输出图；
[0072]
图5为本发明提出的基于自适应去噪算法的3d重建装置结构图；
[0073]
图6为本发明提出的电子设备结构图。
具体实施方式
[0074]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
[0075]
如图1～6所示，其示出了本发明的具体实施方式：
[0076]
基于自适应去噪算法的3d重建方法，包括以下步骤：
[0077]
对噪声图像进行处理形成目标数据；
[0078]
分辨器对生成器的虚假数据进行判断，并生成对抗数据；
[0079]
生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；
[0080]
分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。
[0081]
本发明通过单张2d图像实现3d图像重建，不需要额外采集多视觉图像，减少应用代价。同时，在单张图像下进行3d重建，仍保留原图像大部分的细节信息；
[0082]
参见图2，利用分辨器生成对抗网络建立模型根据生成网络g于判别网络d形成相互竞争关系，训练出真实有效的结果，在输入端导入含噪声图像，为生成对抗网络提供数
据，并为生成器提供数据生成虚拟目标3d数据；结合人眼特性，并采用图像的熵值，将现有输入的图像划分区域，有目的性的提前图像或者视频中的目标信息，并对目标进行3d模型构造；分辨器的任务是区分输入的热图是真实的热图，还是由生成器生成的虚假热图；分辨器的训练目标是尽可能地区分生成器生成的数据和真实的热图；使分辨器和生成器之间就形成了一个对抗性的竞赛过程。针对图像目标区域，结合人体姿态与3d模型，增强gan模型对目标信号的判断效果，重建出去噪后的多特征信息的3d模型。
[0083]
本发明引入降噪方法提高3d重建精度和准确度：该技术在深度学习算法中引入降噪方法，重建出具备更多特征信息的3d模型；生成器不仅捕获特定噪声分量，还会生成目标信号的3d模型，在生成图像过程中不会丢失原图像重要的特征分量，进一步提高了3d重建的准确度；无需多视觉图像，在单张图像下实现3d重建，可以实现对单张单目图像进行3d重建，省去了额外采集多视觉图像的成本，提高了3d重建的效率；无需对2d图像进行标注，节省训练成本：结合降噪处理的gan技术使用无监督的方法进行训练，无需对2d图像进行标注，降低了训练成本；降低光照及极端角度对3d重建的影响：通过从相关的其他原始图像中学习，实现更好的重构效果，降低了光照及极端角度对3d重建的影响。
[0084]
本发明实施例中，将噪声图像输入生成器生成虚假数据；具体包括：
[0085]
采用图像的熵值对噪声图像划分区域，确定目标信息并对目标信息生成3d模型虚假数据。
[0086]
本发明实施例中，分辨器对生成器的虚假数据进行判断，并生成对抗数据；具体包括：分辨器用于区分生成器生成的虚假数据和真实数据，分辨器的任务是区分输入的热图是真实的热图，还是由生成器生成的虚假热图。最终，分辨器的训练目标是尽可能地区分生成器生成的数据和真实的热图。这样，分辨器和生成器之间就形成了一个对抗性的竞赛过程。
[0087]
分辨器对真实数据进行编码形成真实新热图，并计算新热图与真实热图之间的距离，计算lreal损失；
[0088][0089]
分辨器对生成器生成的虚假数据进行编码形成虚假新热图，并计算新热图与生成器生成的虚假热图之间的距离，计算l_无噪声损失；
[0090][0091]
其中鉴别器表示对样本进行判别，这里判别结果越接近于1越好。生成的图像热度图cj,x从为真实数据分布中采样得到的样本，虚假热度图j为样本类别标签。
[0092]
分辨器的整体损失为：
[0093]
lg＝l
real
+k
t
l
无噪声
；
[0094]
其中，k
t+1
＝k
t
+λk(l
real-l
无噪声
）；
[0095]kt
，k
t+1
为分辨器是用来约束因子，用来约束分辨器的能力的，在公式(5)的约束下，能够使网络更容易地训练；同时为了兼顾gan收敛过程易出现的网络崩溃问题，我们将l
无噪声
与l
real
的数字进行了调整，其中设置l
无噪声
小于l
real
使网络中的生成器能够生成已经足够真实以欺骗分辨器的有效信息。
[0096]
本发明实施例中，生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；具体包括：生成器的主要作用是生成准确的目标信息。作为生成对抗网络的一部分，生成器的主要任务是欺骗最终的分辨器，让它无法分辨当前目标热图是groundtruth还是由生成器生成的。从生成器反向传播的lmse损失和来自分辨器的对抗性损失ladv进行训练优化，公式1中的lmse损失旨在使生成器生成的信息更接近标签；公式2中的对抗性损失ladv的作用是使生成器生成的信息符合更真实、无噪声的信息；总体损失为lmse损失和对抗性损失ladv之和；
[0097][0098][0099]
lg＝l
mse
+λl
adv
[0100]
其中鉴别器表示对样本进行判别，这里判别结果越接近于1越好。生成的图像热度图cj,x从为真实数据分布中采样得到的样本，虚假热度图j为样本类别标签；生成器反向传播热度图c
ij
,生成器反向传播虚假热度图x为从真实数据分布中采样得到的样本，图像i,j的目标的坐标位置，n，m为图像窗口的长宽值。λ为调节阈值，经实验取值为0.324最为合适。
[0101]
本发明实施例中，分辨器对生成器的虚假数据进行判断，并生成对抗数据；具体为：为了提高特征的分类能力，分辨器对生成器的虚假数据进行判断，根据对抗数据形成置信因子作为反馈数据输入生成器中，其中，所述置信因子具体为：
[0102]
结合目标的外观深度特征和运动深度特征，并将其融合：y＝(ω1y1,ω2y2)；其中y为融合函数，ω1为外观深度的加权系数，ω2为运动深度的加权系数，目标的外观深度特征和运动深度特征分别用y1，y2表示，ωi是加权系数；同时为了使目标与采集样本一致，算法进行归一化处理，则
[0103][0104][0105]
i，j表示第i，第j个样本，进而推到出sc目标类间的一致性函数：
[0106][0107]
式中nr(fi)表示样本fi且与fi属于同一类的k个最近邻样本的索引集，ωk为邻近样本的加权系数，最后求解下列优化问题确定加权系数，得
[0108]
max{sc+λs||ω||}，其中ωk＞0，||ω||＝1；
[0109]
而λs为控制参数；则目标函数：l(sc,ω)＝sc+λs||ω||；
[0110]
从而可以得到最终的目标函数：l＝l
real
+l(sc，ω)。
[0111]
参见图3a和图3b本发明实施例中，对噪声图像通过生成器生成虚假数据；具体包括：
[0112]
对噪声图像进行分解为得到随机向量，将随机向量输入网络，通过卷积层转换图
像的形状和内容输出3d虚假图像；
[0113]
通过随机向量输入进入网络，并通过一系列卷积层转换图像的形状和内容，输出一个形状为64x 64x 64的3d图像。生成器的作用是生成逼真的3d图像，配置如下：包括五个卷积层，其中，五个卷积层中的过滤器数量分别为512、256、128、64、1；每个卷积层中的卷积核大小均为4x 4x 4；
[0114]
在前4个卷积层中，步幅分别为1、2、2、2、2，其中前四个卷积层都使用了批量规范化方法和relu激活函数，第五个卷积层中使用sigmoid激活函数；其中，输入层是一个200维的向量，来自于概率潜在空间的随机采样；输出层输出64x64x 64的3d虚假图像。
[0115]
生成器是一种仅由卷积层组成的网络，在末尾没有完全连接的密集层。与具有完全连接层的卷积神经网络相比，它的优点是可以进行端到端的训练，并且在进行图像分割等任务时可以保留更多的空间信息。
[0116]
本发明实施例中，分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型；具体包括：
[0117]
分辨器通过生成对抗数据形成置信因子反馈至生成器对生成器进行修正，针对图像目标区域，结合人体姿态识别与3d模型，采用gan模型对目标信号进行判断，重建多特征信息的3d模型。
[0118]
本发明实施例中，将使用gan(generative adversarial nets,生成模型generator和判别模型)进行模型优化，并结合人眼固有的视觉特性，根据图像进去的熵值，提前目标信息，并目标区域进行处理，利用对抗性生成网络对有噪声的二维目标图像构建目标的三维模型。过程采用置信度系数更好地保留原始图像的目标细节信息。达到有效去噪的同时保留更多目标有效信息。
[0119]
其中对于人体姿势识别根据像素点的分布特性，根据像素点c
real
的分布特性，即目标像素点接近注释点x
j，k
和x
i，k
事，就会达到正态曲线峰值，进而推导每张图像中第j个关节的s值，可以看作是图像中k个人的正态分布峰值。公式如下：
[0120][0121]
其中为图像中第k个人第j个关节值，c
real
代表躯干上的像素点，x
j，k
为第k个人第j个关节实际关键点像素值，值是关键点j1到关键点j2的单位向量.其中的值公式如下：
[0122][0123]
为这个躯干对应的单位方向向量。
[0124]
则属于这个躯干的像素点：
[0125][0126]
其中σ1为像素点之间的距离，l
c，k
为躯干长度，并满足公式
第k个人关键点j2，第k个人关键点j1，v
⊥
表示垂直于v的向量。
[0127]
参见图4，分辨器作用是通过评估输入的3d图像来判断该图像是否为真实数据。该网络的输出是一个0到1之间的标量值，表示输入数据属于真实数据的可能性。用于生成3d图像、去除图像中的噪声，生成更具视觉吸引力的图像。具有以下配置：分辨器的配置包括：5个3d卷积层，其中，每个卷积层有64、128、256、512和1个通道；卷积核大小都为4；步幅分别为2、2、2、2、1；激活函数采用leakyrelu，前4个卷积层还使用了批量规范化技术，输出层为(64,64,64)的3d图像，并且输出一个表示输入数据属于真实或假类的概率的标量值。
[0128]
本发明在深度学习算法中引入降噪方法，使得在面向带噪声的2d图像时，也能够重建出具备原图像更多特征信息的3d模型；生成器引入一个姿态检查，捕获特定的噪声分量，并有意识的构建目标3d模型，实现生成图像时不会丢失原图像重要的特征分量；实现对单张单目图像进行3d重建，不需要额外采集多视觉图像；结合降噪处理的gan技术使用无监督的方法进行训练，无需对2d图像进行标注，减少了训练代价；3d动画重建：在2d人体图像中进行多个3d姿态重建，形成连续的3d效果；通过单张图像实现3d重建：主要针对单张单目图像进行3d重建，不需要额外采集多视觉图像，减少应用代价。同时，在单张图像下进行3d重建，仍保留原图像大部分的细节信息；降低光照及极端角度对3d重建效果的影响：该项目在进行gan渲染时，通过从原始图像相关的其他图像中学习,以实现更好的重构效果。
[0129]
本文研究了生成器生成的generated heatmaps与truth heatmaps在判别器中的处理，得到了confidence heatmaps的结果。对于姿态分辨器需要计算两个loss的情况，需要使用两个标签。在传统使用gan进行图像转换的工作中，鉴别网络会将目标样本标记为1，噪声标记为0。但是在人体姿态估计问题中，只使用0或1来标记数据很难使网络收敛。因此，本文使用判别器生成的confidence heatmaps来引导生成器生成数据。
[0130]
假设生成器最初的输出为低置信度目标图像，则置信度分辨器将将其归类为真实图像。生成器会根据这个错误进行自我优化，生成出更高置信度的图像结果，直到这些结果能够使分辨器认为它们是真实图像为止。
[0131]
在这个网络中，与目标相关的特征图的向量被设定为1，与目标无关的噪声向量则设定为0。其中，di代表第i个身体部位的预测位置与真实位置之间的归一化距离。如果预测的目标与主题无关，那么图像中的姿势对于身体构造显然是不可信的，公式如下：
[0132]
最终目标像素点：
[0133]
本发明在去噪的同时能够尽可能地保留图像的目标信号，具有更好的视觉效果且图像整体效果更加清晰，本发明在处理目标细节上具有很高的优势。
[0134]
上述实施例从方法的角度介绍了基于自适应去噪算法的3d重建方法，下述实施例从装置的角度介绍基于自适应去噪算法的3d重建方法，具体详见下述实施例。
[0135]
参见图5，一种2d图像3d重建功能自适应去噪装置，包括：
[0136]
输入模块，对噪声图像进行处理形成目标数据；
[0137]
反馈模块，分辨器对生成器的虚假数据进行判断，并生成对抗数据；
[0138]
生成器，生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；
[0139]
分辨器及输出模块，分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。
[0140]
前述实施例中的系统中的各种变化方式和具体实例同样适用于本实施例的基于自适应去噪算法的3d重建装置，通过前述对基于自适应去噪算法的3d重建方法的详细描述，本领域技术人员可以清楚的知道本实施例中的基于自适应去噪算法的3d重建装置，所以为了说明书的简洁，在此不再详述。
[0141]
为了更好地实施以上方法，本技术实施例提供一种电子设备，参照图6，电子设备包括：控制器301、存储器303和显示屏305。其中，存储器303、显示屏305均与控制器301相连，如通过总线302相连。可选地，电子设备还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本技术实施例的限定。控制器301可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。通信控制板301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0142]
总线302可包括一通路，在上述组件之间传送信息。总线302可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。
[0143]
存储器303可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact discread only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0144]
存储器303用于存储执行本技术方案的应用程序代码，并由控制器301来控制执行。控制器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
[0145]
图6示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0146]
本技术实施例还提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时实现上述实施例提供的一种自动驾驶公交线网规划方法，处理器加载并执行计算机可读存储介质中存储的计算机程序。
[0147]
本实施例中，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、u盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、讲台随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、
数字多功能盘(dvd)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
[0148]
本实施例中的计算机程序包含用于执行前述所有的方法的程序代码，程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备，或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。
[0149]
以上对本发明进行了详细介绍，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

技术特征：
1.基于自适应去噪算法的3d重建方法，其特征在于：包括以下步骤：对噪声图像进行处理形成目标数据；分辨器对生成器的虚假数据进行判断，并生成对抗数据；生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。2.根据权利要求1所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：将噪声图像输入生成器生成虚假数据；具体包括：采用图像的熵值对噪声图像划分区域，确定目标信息并对目标信息生成3d模型虚假数据。3.根据权利要求1所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：所述生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；具体包括：从生成器反向传播的lmse损失和来自分辨器的对抗性损失ladv进行训练优化，其中lmse损失旨在使生成器生成的信息更接近标签；对抗性损失ladv的作用是使生成器生成的信息符合更真实、无噪声的信息；总体损失为lmse损失和对抗性损失ladv之和；声的信息；总体损失为lmse损失和对抗性损失ladv之和；l
g
＝l
mse
+λl
adv
其中鉴别器表示对样本进行判别，生成的信息，将图像热度图c
j
,原始图像x，虚假热度图j生成的样本或真实样本与类别标签,取值为[1,n]；生成器反向传播热度图c
ij
,生成器反向传播虚假热度图x为从真实数据分布中采样得到的样本，图像i,j的目标的坐标位置，n，m为图像窗口的长宽值，λ为调节阈值。4.根据权利要求1所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：所述分辨器对生成器的虚假数据进行判断，并生成对抗数据；具体为：分辨器对生成器的虚假数据进行判断，根据对抗数据形成置信因子作为反馈数据输入生成器中，其中，所述置信因子：结合目标的外观深度特征和运动深度特征，并将其融合：y＝(ω1y1,ω2y2)；其中y为融合函数，ω1为外观深度的加权系数，ω2为运动深度的加权系数，目标的外观深度特征和运动深度特征分别用y1，y2表示，ω
i
是加权系数；同时为了使目标与采集样本一致，算法进行归一化处理，则致，算法进行归一化处理，则i，j表示第i，第j个样本，进而推到出s
c
目标类间的一致性函数：
式中n
r
(f
i
)表示样本f
i
且与f
i
属于同一类的k个最近邻样本的索引集，ω
k
为邻近样本的加权系数；最后求解下列优化问题确定加权系数，得max{s
c
+λ
s
||ω||}，其中ω
k
>0，||ω||＝1；而λ
s
为控制参数；则目标函数：l(s
c
,ω)＝s
c
+λ
s
||ω||；从而可以得到最终的目标函数：l＝l
real
+l(s
c
，ω)。5.根据权利要求1所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：所述对噪声图像通过生成器生成虚假数据；具体包括：对噪声图像进行分解为得到随机向量，将随机向量输入网络，通过卷积层转换图像的形状和内容输出3d虚假图像；所述生成器配置包括：包括五个卷积层，其中，五个卷积层中的过滤器数量分别为512、256、128、64、1；每个卷积层中的卷积核大小均为4x4x4；在前4个卷积层中，步幅分别为1、2、2、2、2，其中前四个卷积层都使用了批量规范化方法和relu激活函数，第五个卷积层中使用sigmoid激活函数；其中，输入层是一个200维的向量，来自于概率潜在空间的随机采样；输出层输出64x64x64的3d虚假图像。6.根据权利要求1所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：所述分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型；具体包括：分辨器用于区分生成器生成的虚假数据和真实数据，分辨器对真实数据进行编码形成真实新热图，并计算新热图与真实热图之间的距离，计算lreal损失；分辨器对生成器生成的虚假数据进行编码形成虚假新热图，并计算新热图与生成器生成的虚假热图之间的距离，计算l无噪声损失；其中鉴别器表示对样本进行判别，这里判别结果越接近于1越好。生成的图像热度图c
j
，x从为真实数据分布中采样得到的样本，虚假热度图j为样本类别标签；分辨器的整体损失为：l
g
＝l
real
+k
t
l
无噪声
；
ꢀꢀꢀꢀꢀ
(5)其中，k
t+1
＝k
t
+λ
k
(l
real-l
无噪声
)；k
t
，k
t+1
为分辨器是用来约束因子，用来约束分辨器的能力的，其中设置l
无噪声
小于l
real
使网络中的生成器能够生成欺骗分辨器的有效信息；分辨器通过生成对抗数据形成置信因子反馈至生成器对生成器进行修正，针对图像目标区域，结合人体姿态识别与3d模型，采用gan模型对目标信号进行判断，重建多特征信息的3d模型。7.根据权利要求6所述的所述的基于自适应去噪算法的3d重建方法，其特征在于：所述分辨器的配置包括：5个3d卷积层，其中，每个卷积层有64、128、256、512和1个通道；卷积核大小都为4；步幅分别为2、2、2、2、1；激活函数采用leakyrelu，前4个卷积层还使用了批量规范化技术，输出层为(64，64，64)的3d图像，并且输出一个表示输入数据属于真实或假类的概率的标量值。
8.一种2d图像3d重建功能自适应去噪装置，其特征在于：采用如权利要求1-7中任一所述的基于自适应去噪算法的3d重建方法，包括：输入模块，对噪声图像进行处理形成目标数据；反馈模块，分辨器对生成器的虚假数据进行判断，并生成对抗数据；生成器，生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；分辨器及输出模块，分辨器接收生成器训练优化后的虚假数据进行判断输出3d模型。9.一种电子设备，其特征在于，其包括：一个或者多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行如权利要求1-8所述的变电站低压套管缺陷检测方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令所述计算机执行如权利要求1-8所述的变电站低压套管缺陷检测方法。

技术总结
本发明公开基于自适应去噪算法的3D重建方法、装置、设备及介质，涉及三维图像建模技术领域，包括以下步骤：对噪声图像进行处理形成目标数据；分辨器对生成器的虚假数据进行判断，并生成对抗数据；生成器接收分辨器反馈的对抗数据对虚假数据进行训练优化；分辨器接收生成器训练优化后的虚假数据进行判断输出3D模型。本发明引入降噪方法提高3D重建精度和准确度：该技术在深度学习算法中引入降噪方法，重建出具备更多特征信息的3D模型，提高了3D重建的效率，降低了训练成本。降低了训练成本。降低了训练成本。


技术研发人员：王凤 倪伟传 刘少江 许志明 万智萍
受保护的技术使用者：广州新华学院
技术研发日：2023.04.19
技术公布日：2023/9/14