基于自监督PCT深度学习的文物碎片点云分类方法

基于自监督pct深度学习的文物碎片点云分类方法
技术领域
1.本发明属于文物碎片点云数据分类技术领域，涉及一种自监督pct深度学习的文物碎片点云分类方法。


背景技术：

2.传统的文物碎片分类需要借助人工来完成，这种方式显然增加了分类时间与难度。通过将文物碎片数字化，使用计算机技术来辅助完成此类任务成为新的趋势。康馨月等根据大多数文物表面特征存在的规律，提取模型局部表面描述符，最后采用聚类的方式提取文物碎片表面的显著特征，将提取到的特征通过推土距离(earth mover's distance,emd)算法进行特征匹配，但由于描述符只针对特定数据设计，泛化能力不足且分类效果较差。王克刚等针对文物碎片图像特征提取展开了研究，通过采用不同的训练算法提取文物碎片的纹饰形状、纹理、颜色等特征，提升了碎片的分类精度。魏阳等通过将文物碎片形状特征和纹理特征相结合，利用支持向量机(support vector machines,svm)建立分类模型。赵思忠等人将几何特征和二维图像纹理特征相结合，基于层次语义网实现碎片分类。这些方法虽然能够一定程度上改善人工分类效率低下的问题，但都需要手工设计特征，所建立的分类模型提取的特征也很有限。
3.深度学习技术的出现，为实现文物碎片的自动分类提供了新思路。由于部分碎片特征模糊，无法明确描述几何形态或纹理特征，王瑶瑶将直觉模糊理论与神经网络融合，有效地分离了特征，将扩充后的文物碎片多视图数据作为网络模型的输入，实现碎片的聚类，通过这种方式能够在极大地减少人工参与成本的情况下，保证分类的准确率，但是这种方式由于只选取了二维视图数据，从而丢失了碎片的几何特征。为解决这一问题，陆正杰构建了多分支特征网络结构，将均匀采样点与文物碎片多视图作为网络的输入，实现特征互补，提高了分类准确率。gao等人提出了一种基于深度学习网络和模板引导的自动方法来对兵马俑的3d碎片进行分类，碎片最初使用pointnet进行预分类，接着根据与完整兵马俑模型的最佳匹配，对错误分类的碎片进行二次分类。然而，上述三维数据特征提取网络采用的是pointnet，忽略了局部邻域点之间的依赖关系，并且也没有考虑到碎片特征的模糊性。yang等人提出了一种新的3d兵马俑碎片分类框架，该框架的主要特点是利用双模态神经网络结合兵马俑碎片的地理空间和纹理信息，实现了对每个碎片的分类，此外，还提出了一种基于三维网格模型和改进的canny边缘检测算法的纹理信息提取方法，但由于兵马俑碎片特征丰富，而该网络仅考虑了部分特征，导致分类精度不高。为提高pointnet在碎片局部信息提取方面的能力，刘喆提出了点面神经网络架构，它采用三角面片代替原始输入形成点面特征网络，但需要对输入样本结构进行人工设计，分类效果可能会受到人工干预的影响，因此该方法存在一定局限性。针对文物碎片数据数量不平衡问题，高宏娟设计了一种无需人工干预的数据增强网络，扩充数量较少的文物碎片，降低网络过拟合的可能性。鱼跃华通过将通道注意力与resnet18相结合，有效突出关键特征，采取数据增强策略提升网络提取特征的能力，首先通过条件生成式对抗网络对现有秦俑碎片图像数据集进行数据增强，实现秦
俑数据集的扩充，最后利用深度卷积神经网络自动且充分地提取碎片特征信息并实现碎片图像分类。但是只通过卷积无法有效学习到全局点之间的依赖关系，且未考虑碎片模型的几何信息，具有一定的片面性。
4.随着transformer在自然语言处理领域和图像领域中崭露头角，使用transformer进行点云特征提取成为了新的方向。
5.受点云数据处理时固定的排列不变性这一启发，2021年，zhao等人将transformer应用到3d点云处理中，提出了point transformer网络，为点云构建转换器层，将转换后的采样点作为transformer的输入，通过transformer可以从局部到全局更好地学习到点云的内在表达。在此基础上，guo等人提出了一种带有隐式拉普拉斯算子和归一化的偏移注意力模型(point cloud transformer,pct)，这种方法使transformer网络与点云更好地结合起来，非常适合于非结构化、无序、不规则域的点云数据，并且将原始位置编码和输入嵌入合并到一个基于坐标的输入嵌入模块中，使每个点都有一个表示其空间位置的唯一坐标，生成可区分的特征，便于进行点云分类。2022年，lai等人针对点云数据提出了分层transformer，将不同层的点云特征连接，扩大了模型的感受野，并采用了基于上下文的自适应相对位置编码，在高层中更好地保留了细粒度的位置信息。lu等人在2022年将卷积网络与transformer相结合，将卷积的特征学习能力与transformer卓越的上下文建模能力相结合，提出了一种适合于非结构化点云全局特征表达的多尺度层次化框架。2022年，wu等人在点云transformer基础上提出了具有分组权重编码层的组向量注意力，同时，引入了额外的位置编码乘数加强了注意力的位置信息，在此基础上了分区池化方法，实现了更好的空间对齐和采样。上述基于transformer的点云处理模型，可以捕获点云中的局部特征和全局特征，且可以处理任意形状和规模的点云。虽然其分类结果优于之前的其他方法，其收敛速度较慢，数据需求量大，且对于复杂的碎片，只能提取到其单向表示，同时需要大量的参数和计算资源，因此仍存在提升空间。
6.本发明的主要工作以基于transformer的pct网络为基础，针对兵马俑碎片点云数据进行分类，从提高碎片分类精度出发进行相关研究。
7.部分兵马俑碎片由于损坏导致特征缺失，形状各异，pct基于transformer可以通过多头自注意力机制提取出更全面以及更具有代表性的特征。但直接使用pct实现对兵马俑碎片的精细分类仍具有一定的局限性：(1)碎片数据特征复杂且规模小，而transformer收敛速度慢；(2)通过transformer只能学习到点之间的单向关系，而碎片特征复杂，限制了特征提取的全面性。


技术实现要素：

8.本发明的目的是提供一种基于自监督和pct的文物碎片分类方法，以解决由于兵马俑碎片特征复杂、数据规模小导致pct特征提取难的问题，从而提升碎片分类的性能。
9.本发明所采用的技术方案如下：
10.一种基于自监督pct的深度学习文物碎片点云分类方法，包括如下步骤：
11.步骤一：采集文物碎片点云数据；对采集的文物碎片点云数据进行预处理，得到预处理后的点云数据；将预处理后的点云数据分别赋予相应的类别标签，得到点云数据集；
12.步骤二，将步骤一得到的数据集划分为训练集和测试集；
13.步骤三，采用公开数据集shapenetcore和步骤二的训练集进行预训练，得到预训练后的网络模型，具体如下：
14.步骤31，构建文物碎片点云分类网络模型，该模型包括离散vae模块、改进的pct网络和掩码重建模块；
15.所述离散vae模块是将vae网络中的编码器和解码器均采用dgcnn网络得到，离散vae模块用于对输入的点云数据进行处理后输出监督特征；
16.所述改进的pct网络包括pct网络和掩码屏蔽模块，其中，pct网络包括点云局部特征提取器和基于偏移注意力的transformer模块；所述掩码屏蔽模块设置在pct网络的点云局部特征提取器和基于偏移注意力的transformer模块之间，用于对点云局部特征提取器的输出进行掩码屏蔽处理后输入基于偏移注意力的transformer模块；
17.所述掩码重建模块用于将离散vae输出的监督特征与改进的pct网络的输出特征进行比对，还原出点云数据的掩盖位置的特征；
18.步骤32，将公开数据集shapenetcore以及步骤二中的训练集输入离散vae模块进行训练，输出监督特征；
19.步骤33，将公开数据集shapenetcore以及步骤二中的训练集输入改进的pct网络，采用掩码重建模块对改进的pct网络进行训练，得到预训练后的pct网络；
20.步骤四，分类训练：将步骤二的训练集到分类训练的网络模型进行训练得到训练好的pct网络模型；
21.所述分类训练的网络模型包括预训练后的pct网络以及分类层，其中，所述训练后的pct网络的点云局部特征提取器输出的特征直接输入基于偏移注意力的transformer模块，对pct网络的输出特征进行最大池化，并将最大池化的结果与基于偏移注意力的transformer模块输出的类别信息进行连接，输入分类层，所述分类层包含依次连接的两层mlp模块和线性层，通过线性层预测得到类别结果；
22.步骤五，采集兵马俑碎片的点云数据，将其进行与步骤一中相同的去噪和切割处理，输入到训练好的pct网络模型中，得到分类结果。
23.进一步的，步骤一中，所述预处理包括去噪、切割、随机缩放、随机扰动和随机去除点处理。
24.进一步的，步骤一中采集的文物碎片点云数据为兵马俑碎片点云数据，将预处理后的点云数据赋予的类别标签包括头部标签、上身标签、裙摆标签、腿部标签、手部标签、手臂标签和脚部标签。
25.进一步的，步骤四中，每一层mlp的dropout概率为50％。
26.本发明的基于自监督和pct的碎片分类方法，带来的有益效果在于：
27.1、通过采用基于偏移注意力的transformer模块为主干的pct网络，对碎片点云排列和数量具有鲁棒性并提高了泛化能力，能够更好地捕获点云全局信息；同时，通过采用基于偏移注意力的transformer模块对相邻点进行特征提取，能够有效保留碎片点云的局部信息，有效解决了文物碎片特征复杂导致特征提取难的问题。
28.2、通过离散变分自编码器(varational autoencoder,vae)重建输入点云，能够生成有意义的离散点标记，作为预训练监督。同时，通过设计基于掩码重建的预训练策略，将离散vae和pct网络相结合，提出了本发明的pcbit网络，在大型数据集上预训练，将学习到
的信息传递到下游碎片分类任务中，有效解决了兵马俑碎片数据规模不足的问题，提升了碎片分类性能。
附图说明
29.图1是兵马俑碎片点云数据去噪效果图；
30.图2是去噪后的兵马俑碎片点云数据切割效果图；
31.图3部分兵马俑碎片图；
32.图4是离散vae的结构图；
33.图5是掩码屏蔽过程图；
34.图6是掩码重建过程图；
35.图7是兵马俑不同部位的相似碎片图；
36.图8是不同采样点下的分类结果图。
具体实施方式
37.实施例：本实施例给出的基于自监督pct的深度学习文物碎片点云分类方法，包括如下步骤：
38.步骤一：采集兵马俑碎片点云数据；对采集的兵马俑碎片点云数据进行预处理，包括去噪、切割、随机缩放、随机扰动、随机去除处理，得到预处理后的点云数据；将预处理后的点云数据分别赋予相应的类别标签，得到点云数据集。具体实施如下：
39.步骤11，利用手持3d扫描仪在兵马俑历史博物馆对兵马俑实地扫描，获得兵马俑碎片点云数据；
40.步骤12，对兵马俑碎片点云数据集进行去噪采用3d点云处理软件geomagic wrap 2021进行，实现过程如下：
41.(1)打开geomagic wrap 2021，选择g10-18.wrap文件打开。
42.(2)点击菜单栏中的“点”选项，点击“选择”中的“体外弧点”，设置敏感度，选择距离绝大多数点云具有一定距离的点(敏感度越低，距离越远，敏感度越高，则更接近真实数据)，点击“应用”，再点击红色叉号将噪声点删除。
43.(3)点击“选择”中的“非连接项”，设置尺寸值，尺寸值越大表明离真实值越远，点击“应用”，再点击红色叉号将噪声点删除。
44.(4)点击“减少噪音”选项，对于兵马俑上半身碎片的点云模型，由于其表面具有复杂的纹理特征，因此选择“参数”列表中的“自由曲面形状”进行去噪；对于兵马俑下半身碎片的点云模型，由于其表面较为光滑，因此选择“棱柱形(积极)”进行去噪。其余参数根据具体数据进行调整。
45.(5)最后选择右侧菜单栏中的套索工具，选择其余噪点集，点击上方“删除”或者键入“del”键进行删除。
46.采集到的兵马俑碎片点云数据的去噪效果如图1所示。
47.步骤13，将去噪后的点云数据集中的点云属于不同部位的部分进行切割处理。切割处理能够避免错误引导训练模型，从而更准确地提取特征。切割效果如图2所示。
48.步骤14，将切割处理后的点云数据通过随机缩放、随机扰动以及随机去除点得到
预处理后的点云数据。
49.本实施例中，切割处理后，得到的兵马俑碎片数据集包含768个点云数据。将其划分7大类，分别为头部、上身、裙摆、腿部、手部、手臂、脚部。由于数据分布不均衡，例如上身包含253个碎片样本数据，但是手部只包含33个，为了防止模型过拟合，通过随机缩放、扰动以及去除点来扩充点云数据集，针对样本较少的类别增加操作次数，最终将数据扩充到3248个。数据分布如表1所示。
50.表1兵马俑碎片数据集
[0051][0052]
步骤15，将预处理后的点云数据分别赋予类别标签：包括头部标签、上身标签、裙摆标签、腿部标签、手部标签、手臂标签和脚部标签。
[0053]
本实施例中，头部标签为g9-he-x，上身标签为g9-b-x，裙摆标签为g9-s-x，腿部标签为g9-l-x，手部标签为g9-ha-x，手臂标签为g9-a-x，脚部标签为g9-f-x，其中x表示序号。标签示例如图3所示。赋予标签是为了满足本发明的分类的数据要求。
[0054]
步骤二，将步骤一得到的数据集划分为训练集和测试集。
[0055]
步骤三，采用公开数据集shapenetcore和步骤二中的训练集进行预训练，得到预训练后的pct网络模型。具体如下：
[0056]
步骤31，构建文物碎片点云分类网络模型，该模型包括离散vae模块、改进的pct网络和掩码重建模块。
[0057]
离散vae模块(参见zero-shot text-to-image generation，aditya ramesh等)是将常规的vae网络中的编码器和解码器均采用dgcnn网络得到，离散vae模块用于对输入的点云数据进行处理后输出监督特征；如图4所示，输入离散vae模块的编码器的点云数据为x＝{x1,x2,
…
,xn}，经编码器处理后输出ze(x)，其中e∈rk×d，其中k为离散隐藏空间的大小即类别变量的维度，d为每一个隐藏向量ei的维度。
[0058]
改进的pct网络的主干网络为公知的pct网络，改进的pct网络包括主干网络和掩码屏蔽模块。其中，pct网络包括点云局部特征提取器和基于偏移注意力的transformer模块；掩码屏蔽模块设置在pct网络的点云局部特征提取器和基于偏移注意力的transformer模块之间，用于对点云局部特征提取器的输出进行掩码屏蔽处理后输入基于偏移注意力的transformer模块。如图5所示，为掩码屏蔽模块的结构，掩码位置l定义为r为遮盖比率，遮掩区域替换为可学习的特征f[l]，并保留其位置信息emdpos，s为采样分组后的局部邻域数量；经过掩码屏蔽处理后的点云特征输入pct网络的基于偏移注意力的transformer模块。
[0059]
掩码重建模块用于将离散vae输出的监督特征与改进的pct网络的输出特征进行
比对，还原出点云数据的掩盖位置的特征(掩码重建)。
[0060]
步骤32，将公开数据集shapenetcore以及步骤二中的训练集输入离散vae模块进行训练，输出监督特征。
[0061]
步骤33，将公开数据集shapenetcore以及步骤二中的训练集输入改进的pct网络，采用掩码重建模块对改进的pct网络进行训练，得到预训练后的pct网络。
[0062]
上述技术方案中，通过离散vae模块在重建输入的样本过程中能够有效学习出离散的点云表示，对应每个邻域的几何特征，作为本发明的文物碎片点云分类网络模型(pcbit)进行预训练阶段的监督特征。如图6所示，通过基于偏移注意力的transformer模块(offset-transformer)预测被遮盖的点云是自监督的过程，相较于常规的pct网络，能够捕捉更长距离的依赖，并且能够学习点云中多个方向上的特征。
[0063]
步骤四，分类训练：将步骤二的训练集到分类训练的网络模型进行训练，得到训练好的pct网络模型。
[0064]
分类训练的网络模型包括预训练后的pct网络以及分类层。其中，训练后的pct网络的点云局部特征提取器输出的特征直接输入基于偏移注意力的transformer模块(不执行掩码重建模块)，对pct网络的输出特征进行最大池化，并将最大池化的结果与基于偏移注意力的transformer模块输出的类别信息进行连接，输入分类层，分类层包含依次连接的两层mlp模块和线性层，每一层mlp的dropout概率为50％，通过线性层预测得到类别结果。
[0065]
本发明中，针对兵马俑碎片数据关于pct网络模型的改进点主要包括：
[0066]
(1)将常规的pct网络优化为可以学习双向特征的网络模型。在预训练过程中，首先通过离散vae将点云特征转换为离散表示，接着设计了掩码屏蔽模块随机掩盖部分点云表示，将离散表示附加位置编码作为双向编码器的输入，在学习过程中根据离散vae的输出预测掩盖位置的点云，以离散表示为监督信息预测被掩盖的部分，使掩盖位置的子点云无限接近原始的离散表示，以此来学习点云的深层次以及全局双向特征，将通用性特征传递到下游碎片分类任务，提高模型性能并减少模型训练时间。
[0067]
(2)将pct网络成功应用于小规模碎片数据集上。由于基于偏移注意力的transformer模块训练时收敛速度较慢，需要大规模的点云数据，而兵马俑碎片数据集较小，根据离散vae训练后输出的监督特征，采用掩码重建模块将pct网络调整为自监督学习的预训练模型，不仅能提高兵马俑碎片的分类性能，还能够增强模型的鲁棒性以及泛化能力。
[0068]
步骤五，采集兵马俑碎片的点云数据，将其进行与步骤一中相同的去噪和切割处理，输入到训练好的pct网络模型中，得到分类结果。
[0069]
为了证明本发明的可行性和有效性，本发明进行了如下实验。
[0070]
该部分首先介绍pcbit网络在训练和评估时所用的开发环境以及公开数据集，随后介绍本实施例提出的网络在兵马俑碎片上的分类效果以及与其它主流的点云分类网络的对比实验，并进行相关消融实验。
[0071]
1、开发环境
[0072]
表4实验环境
[0073][0074]
2、参数设置
[0075]
在预训练过程以及分类训练中的参数设置详情如表5所示，其中s+t表示公开数据集shapenetcore和兵马俑碎片数据集(即步骤二的训练集)，t/m表示兵马俑碎片或modelnet40数据集。
[0076]
表5 pcbit网络初始参数
[0077][0078]
本实验共分为两个过程，包括预训练过程和碎片分类过程。
[0079]
(1)预训练过程：预训练过程分为两个阶段，第一个阶段是将离散vae在shapenetcore数据集上预训练300个epoch，将点云转换为包含点云局部邻域几何特征的离散表示，第二个阶段执行自监督策略，同样以shapenetcore数据集作为输入，执行掩码屏蔽处理，在前一阶段输出的离散表示的监督下，预测被掩盖区域的原始特征。为使模型能更好地适应兵马俑碎片数据集的特征，在预训练数据集中加入兵马俑各部位训练集的碎片数据
作为训练样本。
[0080]
(2)分类训练过程：取消执行掩码屏蔽处理，直接将原始兵马俑碎片点云数据作为网络输入，使用dropout为0.5的两层mlp作为分类头，以学习率为0.005的adamw优化器进行优化，并使用余弦学习率衰减策略调整学习率大小。
[0081]
以预处理后的兵马俑碎片数据集为实验对象，表6展示了pcbit和pct在各部位上的分类效果对比。我们知道，分类训练中网络模型的评价指标有准确率、精确率、召回率和f1值。其中准确率和f1值分别都能够直接反映分类算法的性能，在不平衡数据集中，样本数量明显较少，此时准确率不足以反映分类器的性能，而f1值则同时考虑了分类器的精确率和召回率，能够更全面地评估分类器的性能。因此，本实施例使用准确率和f1值作为分类训练中网络模型的评价指标。
[0082]
表6各部位碎片分类结果
[0083][0084]
本发明将兵马俑碎片分为七小类：头部、上身、手臂、手部、裙摆、腿部、脚部。从表中可以看出，躯干、头部的分类结果最佳，这是由于其几何特征较为显著，具有独特的纹理，而手臂、裙摆与腿部以及手部与脚部都分别具有一定程度的相似特征，因此分类精度较低。如图7为手部(a)与脚部(b)的相似特征，其相似几何特征主要集中在手指与脚趾处。其中脚部碎片分类效果略优于手部，这是由于大部分脚部碎片都与足踏板相连，其形状相对稳定，变化较小，而手部碎片形状更为复杂，包含更多细节信息，因此更难以分类，并由于裙摆碎片破损较为严重，纹理特征缺失，特征较难提取，同时与手臂、腿部纹理特征相似，因此分类效果最差。横向对比表3.4可以看出，与pct相比，本发明所采用的pcbit模型在碎片各个部位以及总体分类效果上均优于pct，主要是由于基于transformer的模型收敛速度较慢，本实施例所提出的预训练策略在一定程度上缓解了碎片数据集因规模较小而导致的过拟合问题。
[0085]
由于部分兵马俑碎片相似度较高，因此在实验过程中产生了错分、漏分现象，如图7(a)所示的碎片本属于手部的碎片，却被误分为脚部的碎片，图7(b)为脚部碎片。从图中可以得出，两个碎片总体轮廓极为相似，但通过人眼仔细观察可以看出两者之间的许多地方都存在差异，表明本实施例算法在训练过程中忽略了某些细节信息，因此为了更全面地捕获特征，通过调整采样点数量以使点云尽可能地覆盖到碎片的各个部分，促使采样点分布更均匀。
[0086]
图8折线图直观地展示了不同采样点数量下pcbit模型在兵马俑碎片数据集上的
分类效果，由图中数据可知，随着采样点数量的增加，碎片总体分类效果有明显提升，这是由于采样点越多，增加了点云的密度，使得点云表示更为精确，增强了碎片的细节特征，因此在训练过程中更易捕获碎片特征，但达到一定数量后，其分类效果不仅没有提升，甚至出现了下降的趋势，这是因为采样点数量过多导致了网络的过拟合，降低了模型的泛化能力，导致分类效果下降，同时增大点云维度也会导致模型计算成本的增加。为了保证网络性能，本实施例在每个碎片样本中使用fps采样法选择4096个采样点作为训练数据。
[0087]
除了在兵马俑碎片数据集上的实验以外，为了说明本发明的方法的有效性，在modelnet40数据集上与目前基于深度学习的主流点云分类网络展开了对比，对比网络如下：
[0088]
(1)pointnet：pointnet是点云深度学习的开山之作，首次将点云直接作为卷积网络的输入，并取得了可观的效果，因此具有代表性意义。
[0089]
(2)pointnet++：pointnet++在pointnet的基础上引入了局部特征提取器，通过分层网络取得了比pointnet更好的分类效果。
[0090]
(3)dgcnn：dgcnn网络在pointnet的基础上引入了动态图卷积策略，动态建立点与点之间的拓扑关系，更全面地学习了点云的局部邻域特征。
[0091]
(4)pointasnl：pointasnl网络采用类似自注意力机制的l-nl模块捕捉点之间的长距离依赖关系，使得网络在学习过程中对噪声不敏感，提升了网络的鲁棒性。
[0092]
(5)pct：pct网络成功将transformer直接用作点云的特征提取器，能够深层次地捕获点云全局以及局部邻域之间的长距离关系。
[0093]
上述提到的各算法在modelnet40数据集上的对比实验结果如表7所示。
[0094]
表7 modelnet40分类结果
[0095][0096]
从表7中可以看出，pointnet与pointnet++准确率较低，pointnet首次将非结构化的点云经过坐标变换，使其可以作为神经网络的输入，使用多层mlp充分提取点云特征，但将整个点云作为mlp的输入只能提取到点云的全局信息，从而忽略了局部邻域的信息，pointnet++在pointnet的基础上进一步应用k-nn分组和最大池化运算的层次结构捕获局部信息，但该网络只是简单的将局部特征通过最大池化汇聚为单一特征，局部信息未能充分利用。dgcnn与pointasnl都可以动态学习点云的局部邻域信息以及全局特征，因此效果较于pointnet系列的网络更好。本发明的pcbit在modelnet40数据集上的分类效果优于上述的主流点云分类模型，这是由于本发明的pcbit网络首先在大规模数据集上进行了预训练，网络已经充分学习到物体深层次的几何特征，因此在下游碎片分类任务中进行训练时，主干网络已经基于一个稳定的初始状态，可以实现更快的收敛速度，因而泛化能力较强，表
现出了较好的效果，证明了本实施例算法的有效性。

技术特征：
1.一种基于自监督pct的深度学习文物碎片点云分类方法，其特征在于，包括如下步骤：步骤一：采集文物碎片点云数据；对采集的文物碎片点云数据进行预处理，得到预处理后的点云数据；将预处理后的点云数据分别赋予相应的类别标签，得到点云数据集；步骤二，将步骤一得到的数据集划分为训练集和测试集；步骤三，采用公开数据集shapenetcore和步骤二的训练集进行预训练，得到预训练后的网络模型，具体如下：步骤31，构建文物碎片点云分类网络模型，该模型包括离散vae模块、改进的pct网络和掩码重建模块；所述离散vae模块是将vae网络中的编码器和解码器均采用dgcnn网络得到，离散vae模块用于对输入的点云数据进行处理后输出监督特征；所述改进的pct网络包括pct网络和掩码屏蔽模块，其中，pct网络包括点云局部特征提取器和基于偏移注意力的transformer模块；所述掩码屏蔽模块设置在pct网络的点云局部特征提取器和基于偏移注意力的transformer模块之间，用于对点云局部特征提取器的输出进行掩码屏蔽处理后输入基于偏移注意力的transformer模块；所述掩码重建模块用于将离散vae输出的监督特征与改进的pct网络的输出特征进行比对，还原出点云数据的掩盖位置的特征；步骤32，将公开数据集shapenetcore以及步骤二中的训练集输入离散vae模块进行训练，输出监督特征；步骤33，将公开数据集shapenetcore以及步骤二中的训练集输入改进的pct网络，采用掩码重建模块对改进的pct网络进行训练，得到预训练后的pct网络；步骤四，分类训练：将步骤二的训练集到分类训练的网络模型进行训练得到训练好的pct网络模型；所述分类训练的网络模型包括预训练后的pct网络以及分类层，其中，所述训练后的pct网络的点云局部特征提取器输出的特征直接输入基于偏移注意力的transformer模块，对pct网络的输出特征进行最大池化，并将最大池化的结果与基于偏移注意力的transformer模块输出的类别信息进行连接，输入分类层，所述分类层包含依次连接的两层mlp模块和线性层，通过线性层预测得到类别结果；步骤五，采集兵马俑碎片的点云数据，将其进行与步骤一中相同的去噪和切割处理，输入到训练好的pct网络模型中，得到分类结果。2.如权利要求1所述的基于自监督pct的深度学习文物碎片点云分类方法，其特征在于，步骤一中，所述预处理包括去噪、切割、随机缩放、随机扰动和随机去除点处理。3.如权利要求1所述的基于自监督pct的深度学习文物碎片点云分类方法，其特征在于，步骤一中采集的文物碎片点云数据为兵马俑碎片点云数据，将预处理后的点云数据赋予的类别标签包括头部标签、上身标签、裙摆标签、腿部标签、手部标签、手臂标签和脚部标签。4.如权利要求1所述的基于自监督pct的深度学习文物碎片点云分类方法，其特征在于，步骤四中，每一层mlp的dropout概率为50％。

技术总结
本发明公开了一种基于自监督PCT的深度学习文物碎片点云分类方法：步骤一：采集文物碎片点云数据、预处理赋予类别标签；步骤二，划分训练集和测试集；步骤三，采用公开数据集和步骤二的训练集进行预训练，得到预训练后的网络模型；步骤四，将步骤二的训练集到分类训练的网络模型进行训练得到训练好的PCT网络模型；步骤五，采集兵马俑碎片的点云数据，将其进行与步骤一中相同的去噪和切割处理，输入到训练好的PCT网络模型中，得到分类结果。本发明的方法能够有效解决由于兵马俑碎片特征复杂、数据规模小导致PCT特征提取难的问题，从而提升碎片分类的性能。片分类的性能。片分类的性能。


技术研发人员：陈莉 李豪斌 王毅 林薇 李文强
受保护的技术使用者：西北大学
技术研发日：2023.04.03
技术公布日：2023/8/9