一种基于密度约束自适应图卷积的点云几何压缩方法

1.本发明属于点云压缩技术领域，尤其涉及一种基于密度约束自适应图卷积的点云几何压缩方法。


背景技术：

2.点云是一种先进的表示三维空间中物体和场景的数据，它利用大量空间坐标点的集合离散地表示三维物体表面信息。点云数据由几何信息(三维空间坐标x,y,z)以及属性信息(如颜色、法向量、反射强度等)组成，一般通过多方位相机、深度传感器和激光雷达等3d采集设备获取。相比于传统2d图像和视频，3d点云能够提供更全面、灵活的表示三维信息，具有极强的交互式和沉浸式效果。随着三维信息感知技术的飞速发展，点云已广泛应用于自动驾驶、机器人视觉、虚拟/增强现实(vr/ar)、沉浸式媒体等领域。然而，高维度的数据特点和高精度、大场景的使用需求造成点云的数据量巨大，这给它的存储和传输带来了压力和挑战。因此，对点云数据进行有效的压缩编码对于点云的广泛应用具有重要意义，逐渐成为目前相关技术研究和标准化领域的研究热点。
3.近年来，3d点云几何压缩方法已得到广泛的研究，目前相关的研究工作可分为基于传统方法的点云压缩方法和基于深度学习的点云压缩方法。由于点云在空间中分布无序、不规则的特性，传统的点云压缩方法先将点云转换成有组织的数据结构，然后对转换后的数据进行压缩编码。其中基于树结构的、基于表面近似的，以及基于映射的编码技术是几种主要的几何编码方案。其中最具有代表性的是mpeg组织提出的基于几何的点云压缩(g-pcc)和基于视频的点云压缩(v-pcc)标准
1.。
4.随着人工智能技术的飞速发展，使用深度学习方法处理点云数据成为了一个研究热点，基于深度学习的点云压缩方法也相继被提出。基于深度学习的点云几何压缩方法目前可以分为基于八叉树的方法、基于体素的方法和基于点方法。
5.基于八叉树的方法通过将点云表示为八叉树结构，设计基于上下文的熵编码、预测等实现对八叉树节点占用信息的高效压缩编码，目前多应用于大规模稀疏lidar点云。文[2]设计了一个八叉树结构的条件熵模型，通过在八叉树的节点上提取和聚合特征来预测符号出现的概率。文[3]进一步扩大熵模型的上下文感受野，对兄弟和祖先上下文进行特征建模，并通过注意机制利用相邻节点之间的强依赖性。基于体素的方法适用于密集点云，它将点云转换成体积模型，使用三维卷积设计编解码变换网络。文[4]首先提出了基于3dcnn的深度点云几何压缩方案。文[5]提出了一种基于稀疏张量和稀疏卷积的多尺度几何压缩方法，通过只在被占据的体素上卷积显著降低复杂度。基于点的方法直接将原始坐标作为输入，摆脱了数据表示方式的限制。文[6]首先提出基于pointnet的点云压缩自动编码器框架。文[7]基于pointnet++提出了基于稀疏编码的点云几何压缩方法，并采用分层重建来恢复点云。文[8]开发了一种更高效的基于变分自编码器结构(vae)的点云几何压缩框架，利用多尺度神经图采样(ngs)从点云中提取潜在表示，并在解码端使用转置卷积重构点云。目前基于点的点云几何压缩方法已经在稀疏的小型点云上取得了低码率下令人满意的性能，
并可以通过分块压缩扩展到大型点云上。然而，由于缺乏一种有效的方法来很好地建模点云的局部几何、利用点云局部几何相关性，现有的方法并不能准确地提取出精细的局部特征，因此很难获得点云局部几何结构的高质量重建。
[0006]
上述参考文献为：
[0007]
[1]schwarz s,preda m,baroncini v,et al.emerging mpeg standards for point cloud compression[j].ieee journal on emerging and selected topics in circuits and systems,2018,9(1):133-148.
[0008]
[2]huang l,wang s,wong k,et al.octsqueeze:octree-structured entropy model for lidar compression[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.2020:1313-1323.
[0009]
[3]fu c,li g,song r,et al.octattention:octree-based large-scale contexts model for point cloud compression[j].arxiv preprint arxiv:2202.06028,2022.
[0010]
[4]guarda a f r,rodrigues n m m,pereira f.point cloud coding:adopting a deep learning-based approach[c]//2019picture coding symposium(pcs).ieee,2019:1-5.
[0011]
[5]wang j,ding d,li z,et al.multiscale point cloud geometry compression[c]//2021data compression conference(dcc).ieee,2021:73-82.
[0012]
[6]yan w,liu s,li t h,et al.deep autoencoder-based lossy geometry compression for point clouds[j].arxiv preprint arxiv:1905.03691,2019.
[0013]
[7]huang t,liu y.3d point cloud geometry compression on deep learning[c]//proceedings of the 27th acm international conference on multimedia.2019:890-898.
[0014]
[8]gao l,fan t,wan j,et al.point cloud geometry compression via neural graph sampling[c]//2021ieee international conference on image processing(icip).ieee,2021:3373-3377.


技术实现要素：

[0015]
本发明解决的问题是：克服现有点云几何压缩方法对于局部几何表达存在的不足，提出了一种基于密度约束自适应图卷积的点云几何压缩方法，在压缩过程中高效保留局部几何信息，获得几何细节更精确的高质量重建点云。
[0016]
为实现上述目的，本发明采用如下的技术方案：
[0017]
一、基于密度约束自适应图卷积的点云几何压缩方法：
[0018]
步骤1、对于获取的点云数据进行预处理；
[0019]
步骤2、构建提取和聚合点云几何特征的编码器，获取点云紧致几何特征，其中包括密度约束自适应图卷积模块(dcagc)、下采样模块和最大池化模块；
[0020]
步骤3、使用具有超先验的熵编码器对点云几何特征进行压缩编码；
[0021]
步骤4、构建恢复点云坐标和特征的解码器，其中包括坐标重建模块(cr)；
[0022]
步骤5、构建损失函数，其中包括多尺度倒角距离损失l
cd
和局部密度损失l
ld
；
[0023]
步骤6、根据所述编码器、熵编码器和解码器构建基于密度约束自适应图卷积的点云几何压缩网络模型，根据所述损失函数对网络进行端到端训练；
[0024]
步骤7、将点云数据输入训练完成的模型，实现点云压缩。
[0025]
每个步骤的具体操作如下：
[0026]
步骤一的具体操作：获取点云数据作为训练集，将每个点云三维坐标归一化至单位圆内。
[0027]
步骤二的具体操作：
[0028]
步骤2-1、使用基于密度约束的图卷积模块(dcagc)提取点云几何特征，通过适应地学习相邻点特征并将其附加到关键点；
[0029]
步骤2-2、使用最远点采样方法(fps)对点云进行下采样，减少点云点数；
[0030]
步骤2-3、重复步骤2-1和步骤2-2，逐步扩大感受野，同时高效聚合点云几何特征；
[0031]
步骤2-4、通过最大池化模块获得点云一维紧致特征。
[0032]
步骤三的具体操作：使用熵编码器对点云几何特征进行压缩，其中熵编码器为变分自动编码器(vae)，包括量化模块、算数编码和超先验模型。
[0033]
步骤四的具体操作：
[0034]
步骤4-1：使用坐标重建模块(cr)对点云三维坐标与几何特征进行上采样；
[0035]
步骤4-2：重复步骤4-1，逐步恢复点云三维坐标和特征，最终重建点云。
[0036]
步骤五的具体操作：根据率失真优化(rdo)构建损失函数。其中压缩率表示为经过熵编码后比特流的比特数，失真使用重建质量衡量，包括多尺度倒角距离损失l
cd
和局部密度损失l
ld
。其中局部密度损失表示为原始点云和重建点云关键点局部点云密度的差异。
[0037]
步骤六的具体操作：根据所述编码器、熵编码器和解码器构建端到端点云几何压缩网络模型，通过控制不同的率失真权重训练具有不同压缩率的模型。
[0038]
步骤七的具体操作：将待压缩的点云输入训练完成的模型，得到压缩后的重建点云。
[0039]
二、密度约束自适应图卷积模块(dcagc)：
[0040]
步骤1、对于点云中的每个点使用knn算法找到其k近邻点，构造局部有向图；
[0041]
步骤2、通过中心点的坐标和特征，计算中心点与邻居点的坐标差与特征差，融合全局特征和局部特征；
[0042]
步骤3、使用核密度估计(kde)计算局部图中每个点的局部密度，使用逆密度作为权重尺度约束邻居点特征，通过多层感知器(mlp)对中心点和邻居点对生成自适应核；
[0043]
步骤4、使用自适应核对中心点和邻居点对坐标进行卷积，动态的地获取特征响应，并将几何空间信息有效地合并到每个层中；
[0044]
步骤5、通过多层感知器(mlp)对约束特征进行残差连接操作，合并卷积特征和残差特征以获得中心点和邻居点对之间的边缘特征；
[0045]
步骤6、对局部邻域中的所有边缘特征应用聚集函数，获得中心点最终的输出特征。
[0046]
三、坐标重建模块(cr)：
[0047]
步骤1、拼接点云三维坐标和几何特征，使用转置卷积上采样获得聚合特征；
[0048]
步骤2、聚合特征通过多层感知器(mlp)获得上采样点云坐标；
[0049]
步骤3、再次拼接点云三维坐标和几何特征作为模块的输出。
[0050]
有益效果
[0051]
本发明的一种基于密度约束自适应图卷积的点云几何压缩方法的有益效果在于：在编码端通过密度约束自适应图卷积提取点云几何特征，可以有效的保留点云的局部几何信息。在解码端分层逐步重建点云，可以逐步恢复点云几何细节。添加局部密度损失约束有助于保持重建点云和原始点云的局部几何一致性。使用本发明所提出的基于密度约束自适应图卷积的点云几何压缩方法对点云数据进行压缩，可以实现更优的率失真优化，并获得在几何细节表现方面质量更优的重建点云。
附图说明
[0052]
图1基于密度约束自适应图卷积的点云几何压缩方法的流程图
[0053]
图2基于密度约束自适应图卷积的点云几何压缩方法框架的示意图
[0054]
图3密度约束自适应图卷积(dcagc)模块的示意图
[0055]
图4坐标重建模块(cr)模块的示意图
[0056]
图5本发明基于密度约束自适应图卷积的点云几何压缩方法shapenetcorev2数据集上的压缩率失真曲线的对比图，对比方法分别为yan的方法、huang的方法、gao的方法和本发明的方法。
[0057]
图6本发明基于密度约束自适应图卷积的点云几何压缩方法在shapenetcorev2数据集上的压缩重建主观结果的对比图，其中自左至右列依次为原始点云、yan的方法结果、huang的方法结果、gao的方法结果和本发明的方法结果。
具体实施方式
[0058]
下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。
[0059]
一、基于密度约束自适应图卷积的点云几何压缩方法：
[0060]
图1是本发明实施例中基于密度约束自适应图卷积的点云几何压缩方法的流程图。如图1所示，基于密度约束自适应图卷积的点云几何压缩方法包括以下步骤：
[0061]
步骤1、对于获取的点云数据进行预处理；
[0062]
本实施例中采用公开的shapenetcorev2点云数据集，包含55类共52472个点云，从中划分训练集、验证集和测试集。为了批处理训练，每个点云包含2048个点，并且将其三维坐标归一化至单位圆内。
[0063]
步骤2、构建提取和聚合点云几何特征的编码器，获取点云紧致几何特征；
[0064]
本实施例中点云表示为一组3d点的集合其中xi表示第i个点的三维坐标(x，y，z)，n为点云点数。相应的，点云的特征表示为
其中fi表示第i个点的特征，t为特征维度。
[0065]
步骤2包括以下子步骤：
[0066]
步骤2-1、使用基于密度约束的图卷积模块(dcagc)提取点云几何特征，输入为点云坐标x和特征f，输出为高维几何特征f
′
；
[0067]
步骤2-2、使用最远点采样方法(fps)对点云进行下采样。与其他下采样方法相比，fps可以获得最能保持点云原始形状的子集。fps的具体过程为：首次随机选择一点，接下来每次都选择与被选择点集距离最远的点加入到被选择点集中，直至被选择点数满足要求；
[0068]
步骤2-3、重复步骤2-1和步骤2-2，逐步扩大感受野，同时高效聚合点云几何特征。其中基于密度约束的图卷积模块(dcagc)的输出维度m分别为64、128和256。其中使用最远点采样方法(fps)对点云进行2阶段下采样，下采样比例为1/4，从而获得具有512和128个点的点云；
[0069]
步骤2-4、通过最大池化模块将最后一个阶段点云的特征f
″
池化为一维紧致特征f
out
，其中
[0070]fout
＝max(f
″
)
[0071]
步骤3、使用文献ball6j，minnen d，singh s，et al.variational image compression with a scale hyperprior[j].2018中具有超先验的熵编码器(vae)对点云几何特征进行压缩编码，包括量化模块、算数编码和超先验模型。由于量化过程不可导，因此在训练过程中将量化操作替换为添加随机噪声以实现梯度的反向传播，具体操作为：
[0072][0073]
其中[]代表量化操作，符号d代表求微分，u为[-0.5，0.5]间的随机噪声。
[0074]
步骤4、构建恢复点云坐标和特征的解码器；
[0075]
步骤4包括以下子步骤：
[0076]
步骤4-1：使用坐标重建模块(cr)上采样点云三维坐标与几何特征
[0077]
步骤4-2：重复步骤4-1，对点云进行2阶段上采样，逐步恢复具有128和512的点的点云三维坐标和特征，最终重建点云。
[0078]
步骤5、构建损失函数，其中包括多尺度倒角距离损失l
cd
和局部密度损失l
ld
；
[0079]
步骤五的具体操作：根据率失真优化(rdo)构建损失函数，率失真优化描述为：
[0080]
l＝λ
·
d+r
[0081]
其中压缩率r表示经过熵编码后比特流的比特数，失真d使用重建质量衡量，λ为拉格朗日乘数，用于权衡压缩率r和失真d。在本实施例中，失真d括多尺度倒角距离损失l
cd
和局部密度损失l
ld
。重建点云s1与原始点云s2的点对点倒角距离损失l
cd
计算如下，其中p和q分别为s1和s2中的点：
[0082][0083]
使用局部密度能更好的约束局部几何细节，局部密度损失l
ld
表示原始点云和重建点云关键点局部点云密度的差异：
[0084][0085]
其中和是原始和重建点云以xi为中心的第i个对应区域。局部密度定义为邻居点x
ij
到局部knn图中中心点xi的平均距离，k为邻居点个数，本实施例中设置k＝20。
[0086]
对应原始点云和重建点云，以及编码过程中2个下采样阶段和解码过程中2个重建阶段获得的具有512和128个点的点云，采用多尺度倒角距离损失进行约束。点云总失真d如下所示：
[0087][0088]
其中α、β和γ为权重参数，在本实例中分别设置为0.2、0.4和0.1。
[0089]
步骤6、根据所述编码器、熵编码器和解码器构建基于密度约束自适应图卷积的点云几何压缩方法模型，如图2所示。为了得到本发明方法在不同码率下的压缩结果，将λ取值范围设定为100至2000，本实施例中分别设置λ的值为100、500、1000、1800，并对网络进行端到端训练四个具有不同压缩率的模型。本实施例使用pytorch框架在nvidia 3090gpu上进行训练200个epoch，批处理大小为32，使用adam优化器对网络进行优化。
[0090]
步骤7、将待压缩的点云输入训练完成的模型，得到压缩后的重建点云。在本实施例中，此步骤的熵编码器量化操作为取整函数。
[0091]
二、密度约束自适应图卷积模块(dcagc)：
[0092]
图3是本发明实施例中密度约束自适应图卷积(dcagc)模块的示意图。密度约束自适应图卷积包括以下步骤：
[0093]
步骤1、对于点云中的每个点使用knn算法找到其k近邻点，构造局部有向图其中为局部图的顶点集和边集。将xi视为中心点，为局部图中的邻居点集，点为局部图中第j个邻居点的三维坐标(x，y，z)，k为邻居个数，本实施例中设置k＝20。相应的，f
ij
为局部图中第j个邻居点的特征。
[0094]
步骤2、计算中心点xi与邻居点x
ij
的坐标差x
ij-xi和特征差f
ij-fi，并拼接中心点的坐标和特征，得到局部图坐标δx
ij
＝《xi，(x
ij-xi)》与局部图特征δf
ij
＝《fi，(f
ij-fi)》，以融合全局特征和局部特征，其中《》代表拼接操作；
[0095]
步骤3、使用核密度估计(kde)计算局部图中每个点的局部密度d
ip
，本实施例使用高斯(gaussian)核函数进行计算：
[0096][0097]
其中为局部图中的第p个邻居点，h为内核窗口大小，本实施例中对分别具有2048、512和128个点的点云分别设置设置h的值为0.1、0.2、0.4.
[0098]
使用逆密度作为权重尺度约束邻居点特征，通过多层感知器(mlp)gm对中心点和邻居点对(xi，x
ij
)生成自适应核其中gm依次由一维卷积层、批归一化层、激活函数层和
for point clouds[j].arxiv preprint arxiv：1905.03691，2019.、huang t，liu y.3d point cloud geometry compression on deep learning[c]//proceedings of the 27th acm international conference on multimedia.2019：890-898.、gao l，fan t，wan j，et al.point cloud geometry compression via neural graph sampling[c]//2021ieee international conference on image processing(icip).ieee，2021：3373-3377.在shapenetcorev2点云数据集全部类别和随机四个类别(飞机、汽车、步枪、桌子)上的客观压缩性能delta bit rate(bdbr)。图6为本发明实施例基于密度约束自适应图卷积的点云几何压缩方法与现有主流方法的率失真曲线对比图，其中横坐标表示编码每个点所需要的平均比特数(bpp)，纵坐标分别表示评估重建几何精度的点对点psnr(d1 psnr)、点对平面psnr(d2 psnr)和点对点倒角距离(cd)。与先有同类型方法相比，本发明方法实现了最佳的压缩性能。尤其与最新方法gao的方法相比实现了实现了40.61％的d1 bdbr和37.21％的d2 bdbr的增益。图6为本实施例基于密度约束自适应图卷积的点云几何压缩方法在shapenetcorev2数据集上的压缩重建主观结果的对比图，其中自左至右列依次为原始点云、yan的方法结果、huang的方法结果、gao的方法结果和本发明的方法结果。本发明方法在较低码率下获得了更高质量的重建点云，尤其是在细节几何形状和点的均匀分布上上具有最佳的表现。
[0118]
为了证明各个模块的有效性，本发明进行了一系列消融实验，如表2所示。基线模型的编码器由zhou h,feng y,fang m,et al.adaptive graph convolution for point cloud analysis[c]//proceedings of the ieee/cvf international conference on computer vision.2021:4965-4974.中的agconv、解码器由转置卷积层(decov)组成。接下来逐渐替换为本发明提出的密度约束自适应图卷积(dcagc)和分层坐标重建模块(cr)，并进一步添加多尺度倒角损失l
cds
和局部密度损失l
ld
。实验结果证明了本发明中各部分模块的有效性。
[0119]
实施例作用与效果
[0120]
根据本实施例提供的基于密度约束自适应图卷积的点云几何压缩方法，基于编码器、熵编码器和解码器构建了点云几何压缩模型。本方法以点云数据点坐标作为输入，通过编码器端基于密度约束自适应图卷积和最远点采样逐步提取和聚合点云几何特征，通过具有超先验的熵编码器对池化后的点云一维紧致特征进行压缩，最后通过解码器端坐标重建模块分层重建点云，同时添加局部密度约束优化局部细节。本实施例的基于密度约束自适应图卷积的点云几何压缩方法能够更好地保留原始数据点云的局部几何细节，在较低比特率下获得更高质量的重建点云。
[0121]
表1本发明基于密度约束自适应图卷积的点云几何压缩方法客观压缩性能(bdbr)的对比结果
[0122][0123]
表2本发明基于密度约束自适应图卷积的点云几何压缩方法的消融实验结果
[0124]

技术特征：
1.一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于包括以下步骤：步骤1、对于获取的点云数据进行预处理；步骤2、构建提取和聚合点云几何特征的编码器，获取点云紧致几何特征，其中包括密度约束自适应图卷积模块、下采样模块和最大池化模块；步骤3、使用具有超先验的熵编码器对点云几何特征进行压缩编码；步骤4、构建恢复点云坐标和特征的解码器，其中包括坐标重建模块(cr)；步骤5、构建损失函数，其中包括多尺度倒角距离损失l
cd
和局部密度损失l
ld
；步骤6、根据所述编码器、熵编码器和解码器构建基于密度约束自适应图卷积的点云几何压缩网络模型，根据所述损失函数对网络进行端到端训练；步骤7、将点云数据输入训练完成的模型，实现点云压缩。2.根据权利要求1所述的一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于：步骤1的具体操作：获取点云数据作为训练集，将每个点云三维坐标归一化至单位圆内。3.根据权利要求1所述的一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于，步骤2的具体操作：步骤2-1、使用基于密度约束的图卷积模块(dcagc)提取点云几何特征，通过适应地学习相邻点特征并将其附加到关键点；步骤2-2、使用最远点采样方法对点云进行下采样，减少点云点数；步骤2-3、重复步骤2-1和步骤2-2，逐步扩大感受野，同时聚合点云几何特征；步骤2-4、通过最大池化模块获得点云一维紧致特征。4.根据权利要求1所述的一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于，步骤3的具体操作：使用熵编码器对点云几何特征进行压缩，其中熵编码器为变分自动编码器，包括量化模块、算数编码和超先验模型。5.根据权利要求1所述的一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于，步骤4的具体操作：步骤4-1：使用坐标重建模块对点云三维坐标与几何特征进行上采样；步骤4-2：重复步骤4-1，逐步恢复点云三维坐标和特征，最终重建点云。6.根据权利要求1所述的一种基于密度约束自适应图卷积的点云几何压缩方法，其特征在于：步骤1、对于获取的点云数据进行预处理；采用公开的点云数据集，从中划分训练集、验证集和测试集；将其三维坐标归一化至单位圆内；步骤2、构建提取和聚合点云几何特征的编码器，获取点云紧致几何特征；点云表示为一组3d点的集合其中x
i
表示第i个点的三维坐标(x，y，z)，n为点云点数；相应的，点云的特征表示为其中f
i
表示第i个点的特征，t为特征维度；步骤2包括以下子步骤：
步骤2-1、使用基于密度约束的图卷积模块dcagc提取点云几何特征，输入为点云坐标x和特征f，输出为高维几何特征f
′
；步骤2-2、使用最远点采样方法fps对点云进行下采样；与其他下采样方法相比，fps可以获得最能保持点云原始形状的子集；fps的具体过程为：首次随机选择一点，接下来每次都选择与被选择点集距离最远的点加入到被选择点集中，直至被选择点数满足要求；步骤2-3、重复步骤2-1和步骤2-2，逐步扩大感受野，同时高效聚合点云几何特征；其中基于密度约束的图卷积模块dcagc的输出维度m分别为64、128和256；其中使用最远点采样方法fps对点云进行2阶段下采样，下采样比例为1/4，从而获得具有512和128个点的点云；步骤2-4、通过最大池化模块将最后一个阶段点云的特征f
″
池化为一维紧致特征f
out
，其中f
out
＝max(f
″
)步骤3、使用具有超先验的熵编码器vae对点云几何特征进行压缩编码，包括量化模块、算数编码和超先验模型；在训练过程中将量化操作替换为添加随机噪声以实现梯度的反向传播，具体操作为：其中[]代表量化操作，符号d代表求微分，u为[-0.5，0.5]间的随机噪声；步骤4、构建恢复点云坐标和特征的解码器；步骤4包括以下子步骤：步骤4-1：使用坐标重建模块上采样点云三维坐标与几何特征步骤4-2：重复步骤4-1，对点云进行2阶段上采样，逐步恢复具有128和512的点的点云三维坐标和特征，最终重建点云；步骤5、构建损失函数，其中包括多尺度倒角距离损失l
cd
和局部密度损失l
ld
；步骤五的具体操作：根据率失真优化构建损失函数，率失真优化描述为：l＝λ
·
d+r其中压缩率r表示经过熵编码后比特流的比特数，失真d使用重建质量衡量，λ为拉格朗日乘数，用于权衡压缩率r和失真d；失真d括多尺度倒角距离损失l
cd
和局部密度损失l
ld
；重建点云s1与原始点云s2的点对点倒角距离损失l
cd
计算如下，其中p和q分别为s1和s2中的点：使用局部密度能更好的约束局部几何细节，局部密度损失l
ld
表示原始点云和重建点云关键点局部点云密度的差异：其中和是原始和重建点云以x
i
为中心的第i个对应区域；局部密度定义为邻居点x
ij
到局部knn图中中心点x
i
的平均距离，k为邻居点个数，k＝20；
对应原始点云和重建点云，以及编码过程中2个下采样阶段和解码过程中2个重建阶段获得的具有512和128个点的点云，采用多尺度倒角距离损失进行约束；点云总失真d如下所示：其中α、β和γ为权重参数，分别设置为0.2、0.4和0.1；步骤6、根据所述编码器、熵编码器和解码器构建基于密度约束自适应图卷积的点云几何压缩方法模型，为了得到在不同码率下的压缩结果，将λ取值范围设定为100至2000，并对网络进行端到端训练四个具有不同压缩率的模型；使用pytorch框架进行训练200个epoch，批处理大小为32；步骤7、将待压缩的点云输入训练完成的模型，得到压缩后的重建点云；在本实施例中，此步骤的熵编码器量化操作为取整函数；二、密度约束自适应图卷积模块dcagc：步骤1、对于点云中的每个点使用knn算法找到其k近邻点，构造局部有向图其中其中为局部图的顶点集和边集；将x
i
视为中心点，为局部图中的邻居点集，点为局部图中第j个邻居点的三维坐标(x，y，z)，k为邻居个数，k＝20；相应的，f
ij
为局部图中第j个邻居点的特征；步骤2、计算中心点x
i
与邻居点x
ij
的坐标差x
ij-x
i
和特征差f
ij-f
i
，并拼接中心点的坐标和特征，得到局部图坐标δx
ij
＝<x
i
，(x
ij-x
i
)>与局部图特征δf
ij
＝<f
i
，(f
ij-f
i
)>，以融合全局特征和局部特征，其中<>代表拼接操作；步骤3、使用核密度估计计算局部图中每个点的局部密度d
ip
，本实施例使用高斯核函数进行计算：其中为局部图中的第p个邻居点，h为内核窗口大小，对分别具有2048、512和128个点的点云分别设置设置h的值为0.1、0.2、0.4.使用逆密度作为权重尺度约束邻居点特征，通过多层感知器(mlp)g
m
对中心点和邻居点对(x
i
，x
ij
)生成自适应核其中g
m
依次由一维卷积层、批归一化层、激活函数层和一维卷积层连接构成；m＝1，2，...，m表示对应于单个过滤器的m输出维度之一：步骤4、使用自适应核对中心点和邻居点对(x
i
，x
ij
)坐标进行卷积，动态的地获取特征响应，并将几何空间信息有效地合并到每个维度的层中：
其中
⊙
为点积运算，输出为局部邻域中第j个点的卷积特征；特别是，为了减少计算，本实施例在卷积中使用中间维度h＝32，然后通过多层感知器mlp将其映射到m维度，其中多层感知器由批归一化层、激活函数层和线性全连接层组成；步骤5、通过多层感知器l
m
对约束特征进行残差连接操作得到局部邻域中第j个点的残差特征其中l
m
包括一维卷积层和批归一化层：合并卷积特征h
ijm
和残差特征r
ijm
以获得中心点和第j个邻居点对(x
i
，x
ij
)之间的边缘特征h
′
ij
，其中σ是一个非线性激活函数:步骤6、对局部图邻域中的所有边缘特征h
′
ij
应用通道最大池函数，获得中心点x
i
最终的输出特征f
′
i
：三、坐标重建模块(cr)：步骤1、拼接解码恢复的点云三维坐标和几何特征其中p为点云点数；使用转置卷积上采样获得聚合特征步骤2、聚合特征e
′
通过多层感知器获得上采样点云坐标上采样倍数为4，多层感知器由三个线性层和两个激活函数层穿插组成：c
′
＝mlp(e
′
)步骤3、再次拼接点云三维坐标c
′
和几何特征作e
′
，f
cr
为模块输出的点云特征特征：

技术总结
一种基于密度约束自适应图卷积的点云几何压缩方法属于点云压缩技术领域。本发明在编码端通过密度约束自适应图卷积提取点云几何特征，可以有效的保留点云的局部几何信息。在解码端分层逐步重建点云，可以逐步恢复点云几何细节。添加局部密度损失约束有助于保持重建点云和原始点云的局部几何一致性。使用本发明所提出的基于密度约束自适应图卷积的点云几何压缩方法对点云数据进行压缩，可以实现更优的率失真优化，并获得在几何细节表现方面质量更优的重建点云。更优的重建点云。更优的重建点云。


技术研发人员：王瑾 王丹 李晨阳
受保护的技术使用者：北京工业大学
技术研发日：2023.03.17
技术公布日：2023/7/18