一种3D目标组件自动识别与分析方法及系统与流程

一种3d目标组件自动识别与分析方法及系统
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种3d目标组件自动识别与分析方法及系统。


背景技术：

2.制造业在作为国民经济的基础工业部门，是决定我国经济发展水平的关键行业。从机械制造业的发展过程来看，经历了手工制造业、泰勒化制造、高度自动化、柔性自动化和集成化制造。制造业的自动化成为未来发展的趋势，智能设计也成为制造业未来的发展方向。传统的设计需要消耗大量的人力和物力资源。流水线生产极大地提高了工业生产效率，有助于实现产品的标准化，是目前被广为采用的生产方式。传统的流水线生产是一类“被动式”生产，流水线机械地将工件进行传送，各加工、检验、包装等环节均由分布于流水线两侧的工人来实现。随着自动化技术的发现，越来越多的流水线引入了各类自动化操作和判断技术，从而减少人工投入、保障产品质量。
3.人工智能技术融入到很多行业中，人工智能的出现让许多工作不在单纯的使用人力资源。作为流水线自动化的基础，对工件的识别是自动化流程的起始一步，也是颇具难度的步骤。将人工智能技术加入传统的机械制造领域，可以采用更智能，消耗资源更少的人工智能模型来实现智能设计和仿真的工作。现有技术中公开了多种实现3d视觉识别的方法，例如激光轮廓分析和立体成像，现有技术的研发热点之一正是在于提供各类不同的3d视觉识别系统；但是此类技术往往热衷于提供新的识别构思或者数学模型，而没有深入考虑如何将3d视觉识别的结果应用于具体的工业生产中。


技术实现要素：

4.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种3d目标组件自动识别与分析方法及系统，为传统的制造业自动化中加入了人工智能方法，智能识别并分析出所需要求的组件结构，以用于更好的应用自动化生产。
5.为解决上述技术问题，本发明提出的技术方案为：
6.一种3d目标组件自动识别与分析方法，包括：
7.s1、对目标组件的点云所在空间执行体素分割，得到由体素组成的3d网络；
8.s2、将目标组件的点云划分到对应的体素中，剔除没有点云的体素；
9.s3、提取剩余体素的上下文特征，并以此生成初始预测结构的锚框作为建议；
10.s4、融合目标组件的点云和上下文特征得到特征图，根据锚框和特征图的对应关系得到对边界框的预测；
11.s5、使用零件聚合网络对建议感兴趣区域的点云进行学习，根据学习结果对边界框进行调整，得到目标组件的识别结果；
12.s6、根据目标组件的识别结果在预设的数据库进行检索，得到目标组件的相关信息。
13.进一步的，步骤s1具体包括：设置用于容纳目标组件的所有点云的长方体3d空间，按照自定义的体素尺寸，将长方体3d空间划分为堆叠的体素。
14.进一步的，步骤s2将目标组件的点云划分到对应的体素中具体包括：使用3d稀疏卷积将目标组件的点云转换为不同级别的下采样特征量，每个级别的下采样特征量均作为一组体素特征向量。
15.进一步的，步骤s3具体包括：对所有体素的特征向量的集合通过下采样转换得到2d鸟瞰特征图，将2d鸟瞰特征图作为体素的上下文特征，然后对所述2d鸟瞰特征图使用基于锚框的方法生成初始预测结构的锚框。
16.进一步的，所述基于锚框的方法具体包括：
17.通过区域提议网络，用一个3
×
3的卷积核在特征图上滑动；
18.对于每一个位置，使用k个尺寸和比例各不相同的锚框，在特征图上匹配到不同比例的对象；
19.对于每个锚框，从对应的对象中提取特征向量并输入分类分支以估计每个对象对应类别的评分，同时输入回归分支以从原始的锚框估计中优化边界框的位置；
20.对锚框进行规范化。
21.进一步的，步骤s4具体包括：
22.将目标组件的点云输入点云处理神经网络中，获得点云数据的全局高维特征；
23.将上下文特征作为卷积特征，将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取，得到目标特征，将卷积特征输入两个全连接层得到权重系数，所述全连接层每一个结点都与上一层的所有结点相连；
24.将所述权重系数和目标特征相乘的结果输入两层多层感知机中，得到对边界框的预测。
25.进一步的，所述轻量级的点云处理神经网络的第1卷积块包括六个三维卷积层，所述轻量级的点云处理神经网络的第2卷积块、第3卷积块、第4卷积块均为二维卷积块；将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取得到目标特征具体包括：
26.通过反卷积对第2卷积块、第3卷积块、第4卷积块最后一层的特征图进行上采样，然后将上采样的结果连接起来，在1、2层中收集位置信息，在3、4层中收集语义信息，得到融合原始点云和提取上下文特征的特征图；
27.建立锚框与所述特征图的对应关系，对每个锚框进行分类，并对目标组件的位置进行回归运算，将运算结果矢量化为特征向量，将所述特征向量输入分类分支以对边界框评分，同时输入回归分支以优化边界框的位置。
28.进一步的，步骤s5具体包括：执行建议的感兴趣区域内的点云汇集操作，将汇集结果输入零件聚合网络得到目标组件的盒参数，再将盒参数矢量化为特征向量后，输入分类分支以评估边界框的置信度，同时输入回归分支以优化边界框的位置。
29.进一步的，输入回归分支以优化边界框的位置具体包括：采用平滑损失来回归归一化盒参数，表达式如下：
30.[0031][0032][0033]
其中，x,y,z,l,w,h,θ分别为激光雷达坐标系中目标组件边界框的参数，其中x,y,z为目标组件中心位置，l,w,h为目标组件大小，θ为鸟瞰目标方向。
[0034]
本发明还提出一种3d目标组件自动识别与分析系统，包括计算机设备，所述计算机设备被编程或配置以执行任一所述的3d目标组件自动识别与分析方法。
[0035]
与现有技术相比，本发明的优点在于：
[0036]
本发明首先将组件的点云数据体素化，基于锚的方法生成初始的建议(预测区域)，然后使用零件聚集策略，通过拟合相应方案中所有点的预测零件位置来直接求解3d包围盒的参数，并对盒子评分来评估该建议的质量，还根据零件特征和信息进行位置优化以提高建议的质量，得到优化识别结果；组件识别完成后在数据库中对目标组件进行检索，并得到其分类信息、类别联系及应用领域。本发明通过人工智能算法快速的识别目标组件，减少分类的工作量，以用于应用制造业的自动化生产。
附图说明
[0037]
图1为本发明实施例方法的流程示意图。
[0038]
图2为本发明实施例中的体素网络结构图。
具体实施方式
[0039]
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
[0040]
在介绍具体实施例之前，先针对相关概念进行说明：
[0041]
3d目标组件识别技术：又称为机器视觉组件识别技术，为该步骤的工业化应用奠定了基础。3d目标组件识别技术的基本原理是，通过采集工件的图像，并通过一定的算法进行处理，获得工件轮廓、外貌、纹理、形态等物理信息，并将这些物理信息数字化、模型化，从而获得计算机可以识别和处理的数字信号，使得诸如机械手等设备能够根据这些数字信号识别并处理工件，从而达到自动化生产的目的。
[0042]
激光轮廓分析：激光轮廓分析是最受欢迎的3d成像技术之一。被测物体通过激光束移动，因为以已知角度定位的相机记录当物体穿过它时激光器的变化轮廓。这种配置在工厂生产地板或包装线上特别受欢迎，因为它依赖于相对于激光器移动的物体，这意味着它非常适合于传送带上的产品。
[0043]
立体成像：另一种流行的3d成像技术是立体成像，其中两个相机用于记录物体的2d图像，然后可以将其三角化并制成3d图像。与激光轮廓分析一样，这种技术也允许在测量和记录时物体的移动。使用随机静态照明图案还可以为普通表面和没有自然边缘的对象提供任意纹理，这是许多立体重建算法所需要的。
[0044]
如图1，本实施例提出一种3d目标组件自动识别与分析方法，包括以下步骤：
[0045]
s1、为目标组件的点云执行体素分割，具体的，对目标组件的点云所在空间执行体素分割，得到由体素组成的3d网络，其中一个最小的单元也就是一个体素；
[0046]
s2、对得到的体素进行分组，划分指定范围，具体的，将目标组件的点云划分到对应的体素中，剔除没有点云的体素；
[0047]
s3、处理生成少量的初始预测结构，具体的，提取剩余体素的上下文特征，并以此生成初始预测结构的锚框作为建议；
[0048]
s4、融合原始点云和提取上下文特征，进而生成每个预测的边界框特征，具体的，融合目标组件的点云和上下文特征得到特征图，根据锚框和特征图的对应关系得到对边界框的预测；
[0049]
s5、使用零件聚合网络对建议感兴趣区域的点云进行学习，根据学习结果对边界框进行调整，将真值框和点云规范化，减少顺序不确定性，得到目标组件的识别结果，真值框是用目前领域中公开常规的方法选择人工标注得到的，预测框是由目标检测模型计算输出的框，前文的边界框是用于标识物体的位置，可以是真实框也可以是预测框；
[0050]
s6、根据目标组件的识别结果在预设的数据库进行检索，得到目标组件的相关信息，具体的，建立组件从属的数据库，从中进行组件的检索，进一步分析组件的构成部分。
[0051]
本实施例的方法的基本原理为：以体素表示为输入，只包含轻量卷积运算，产生少量高质量的初始预测。初始预测中每个点的坐标和索引卷积特征与注意机制有效融合，既保留了准确的定位信息，又保留了上下文信息。后续研究内部点及其融合特征，以进一步完善预测。与传统的人工识别方法相比有很大程度的速度提高，和可用性的提高。
[0052]
本实施例中，步骤s1具体包括：设置用于容纳目标组件的所有点云的长方体3d空间，按照自定义的体素尺寸，将长方体3d空间划分为堆叠的体素。
[0053]
步骤s1假设所有的点云就装载在一个盒子里，先用大的3d空间容纳所有的点云数据，其深度、高度和宽度分别为(d,h,w)。进行体素分割操作时，将长方体3d空间以固定的单元大小进行了切割，其中的最小单元就是体素，即将空间划分为一个个堆叠的、相同大小的voxel(体素)，本实施例中自定义体素尺寸(v d,v h,v w)，则整个数据的三维体素化的结果在各个坐标上生成的体素格(voxel grid)的个数为：(d/v d,h/v h,w/v w)。步骤s1中盒子沿xyz轴的尺寸分别是whd，体素分割操作最终会产生一个3d网络,尺寸的计算公式为：
[0054]d′
＝d/vd,h
′
＝h/vh,w
′
＝w/vw。
[0055]
本实施例中，步骤s2将目标组件的点云划分到对应的体素中具体包括：使用3d稀疏卷积将目标组件的点云转换为不同级别的下采样特征量，每个级别的下采样特征量均作为一组体素特征向量。具体的，利用一系列3
×3×
3的3d稀疏卷积将目标组件的点云逐渐转换为具有1
×
、2
×
、4
×
、8
×
下采样大小的特征量。每个级别的这种稀疏特征量可以被视为一组体素特征向量。常用的特征是3d坐标和反射强度，确定好体素的尺寸之后，一个体素内的所有点都会变成一个点,这个点位于体素内所有点的重心，即体素的内点，体素的内点坐标即体素坐标，原始点云即体素分割前的所有点云。
[0056]
本实施例中，步骤s2中通过使用稀疏卷积、下采样最终编码操作，将所有的点云数据划分到所定义的体素中，因为点云是稀疏的，并且在在整个空间中具有高度可变的点密度，所以分组之后体素中的点云个数各不相同，剔除掉没有点云的体素，降低占用的计算资源。
[0057]
本实施例中，步骤s3具体包括：对所有体素的特征向量的集合通过下采样转换得到2d鸟瞰特征图，将2d鸟瞰特征图作为体素的上下文特征，然后对所述2d鸟瞰特征图使用
基于锚框的方法生成初始预测结构的锚框。
[0058]
本实施例中，步骤s3中把8倍降采样后的3d特征体(volume，其实就是特征向量的集合)转换成2d鸟瞰特征图，用基于anchor(锚框)的方法生成少量的建议(初始预测结构的锚框，也称为提案框)。基于锚框的方法具体包括：
[0059]
通过区域提议网络，用一个3
×
3的卷积核在特征图上滑动；
[0060]
对于每一个位置，使用k个尺寸和比例各不相同的锚框，在特征图上匹配到不同比例的对象；
[0061]
对于每个锚框，从对应的对象中提取特征向量并输入分类分支以估计每个对象对应类别的评分，同时输入回归分支以从原始的锚框估计中优化边界框的位置；
[0062]
对锚框进行规范化。
[0063]
所谓基于锚框的方法，即rpn(区域提议网络)用一个3
×
3的卷积核在一张特征图上滑动，对于每一个位置，我们考虑k个锚框，它们的尺寸和比例各不相同。这些变化的尺寸和比例允许网络在特征图上匹配到不同比例的对象。基于测试集里标有标记的真实边界框(ground truth box)，我们用最合适的锚框匹配到目标的位置，从而获得锚估计的监督信号。对于每个锚框，我们将提取出一个256维的特征向量并将其投喂到两个并列的分支中—分类层(classification layer)与回归层(regression layer)。分类分支负责估计每个对象对应类别的评分，回归分支负责从原始的锚框估计中，优化边界框的位置。边界框主要由4个值进行编码：(x，y，w，h)分别代表提议边界框的中心坐标以及宽和高。每个类有2*l/8*w/8个提案框(标签的平均尺寸，0度和90度)。在将每个点的坐标输入到s4中的网络之前，首先要对其进行规范化，以保证平移和旋转不变性，通过旋转和平移提案框来进行裁剪和规范。
[0064]
本实施例中，步骤s4具体包括：
[0065]
将目标组件的点云输入点云处理神经网络中，获得点云数据的全局高维特征；
[0066]
将上下文特征作为卷积特征，将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取，得到目标特征，将卷积特征输入两个全连接层得到权重系数，所述全连接层每一个结点都与上一层的所有结点相连；
[0067]
将所述权重系数和目标特征相乘的结果输入两层多层感知机中，得到对边界框的预测。
[0068]
本实施例中，步骤s4通过融合原始点云和上下文特征，可以基于建议(初始预测结构)的边界框来预测所有边界框角点的精细位置。s3中得到的上下文特征(2d鸟瞰图特征)，将每个原始点云放入pointnet(点云处理神经网络)中可以获得点云数据的全局高维特征。使用一个公开的注意力机制，将坐标的全局高维特征和卷积特征(上下文特征)进行拼接，拼接之后放进一个轻量级的pointnet(点云处理神经网络)进行特征提取，将卷积特征放入两个全连接层(每一个结点都与上一层的所有结点相连，用来把前面几层提取到的特征综合起来。)得到一个n*1的矩阵作为注意力机制中的权重系数。将这个权重系数与pointnet提取的特征进行相乘，再将得到的结果放入两层mlp(多层感知机)中，得到对边界框的预测。
[0069]
本实施例中，步骤s4输入体素化处理后的点云(实际上是一个规则网格)，输出特征图即每个预测的边界框特征。轻量级的点云处理神经网络的网络结构如图2所示：针对三
维检测，网络需要从(x，y，z)维度清楚地过滤信息。主干网由二维和三维卷积组成，第一部分的的第1卷积块包括六个三维卷积层，这些卷积层只有少量的滤波器来减少运算时间。之后是第2卷积块、第3卷积块、第4卷积块共三个二维卷积块，用于进一步提取和扩大感受野。
[0070]
将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取得到目标特征时，通过反卷积对2、3和4卷积块最后一层的特征图进行上采样，然后将这些特征图连接起来，在较低的1、2层中收集丰富的位置信息，在较高的3、4层中收集更强的语义信息。然后，获取规范化之后的预定义的特定比例和角度的anchors(锚框)，通过将锚框的设置位置与特征图建立一一对应的映射关系，将锚框用于融合的特征图上，即融合原始点云和提取上下文特征的特征图。最后，显著区域的特征可能具有丰富的分类信息，而边界附近的特征更有利于位置回归，以此将分类和回归头分别运行在显著区域特征图和边界附近特征图上，对每个anchor(锚框)进行分类，并对目标组件的位置进行回归运算。此后将运算结果矢量化为一个特征向量，并添加与步骤s3中相同的2个分支，分类分支用于最终的边界框评分，回归分支用于位置细化，将所述特征向量输入分类分支以对边界框评分，同时输入回归分支以优化边界框的位置。
[0071]
本实施例的步骤s5具体包括：执行建议的感兴趣区域内的点云汇集操作，将汇集结果输入零件聚合网络得到目标组件的盒参数，再将盒参数矢量化为特征向量后，输入分类分支以评估边界框的置信度，同时输入回归分支以优化边界框的位置。
[0072]
本实施例的步骤s5中，对得到的边界框进行调整，将真值框和点云规范化，通过考虑建议中所有3d点(即建议的锚框中的点云数据)的预测对象内零件位置的空间分布，用聚集预测零件位置来评估该建议的质量是否是合理。执行建议的roi(感兴趣区域)感知点云汇集操作，对每个3d点对应的建议中的零件信息进行分组，使用零件聚合网络对边界进行评分，再根据零件特征和信息(s2中的体素特征信息)对目标边界框进行位置优化，通过优化与真实边界框的中心点坐标值、宽和高的值来实现目标框位置的优化，以提高建议的质量。对于每个3d建议，将建议的roi感知点云汇集操作分别应用于来自初始预测结构中的点状零件位置(平均汇集)和点状特征(最大汇集)，由初始预测结构中的点状特征的特征维度在汇集操作之后，以分层方式实现零件聚合网络，以从预测的对象内部零件位置的空间分布中学习得到目标组件的盒参数。零件聚合网络先堆叠几个核大小为3的3d稀疏卷积层，以便随着感受野的增加聚合提案的所有部件特征。在稀疏卷积层之间插入了一个核大小为2步长也为2的稀疏最大池化，以将特征体积的采样降低到7，从而节省计算成本和参数。最后，将目标组件的盒参数矢量化为一个特征向量(空体素保持为0)，并将其馈送到分类和回归两个分支中，用于边界框评分和位置优化。本步骤中的分类分支采用盒子评分分支，盒子评分分支用于评估边界框的置信度，使用3d建议书与其对应的地面真值盒之间的3d iou作为建议书质量评估的软标签，这也是通过二元交叉熵损失作为来学习的。步骤s3中仅生成了一部分建议，作为本步骤中新生成建议的生成和细化，本步骤中的回归分支采用平滑损失来回归归一化盒参数，以优化边界框的位置，表达式如下所示：
[0073][0074]
[0075][0076]
其中，三维边界框在激光雷达坐标系中表示为(x,y,z,l,w,h,θ)，其中(x,y,z)为目标中心位置，(l,w,h)为目标大小，θ为鸟瞰目标方向。
[0077]
本实施例中，步骤s5中在计算回归目标时，通过提案框的旋转和平移来将真值框和点云规范化。此操作将真值边界框的角点按特定顺序组织，可以减少旋转引起的角顺序不确定性。使用零件聚集策略，通过拟合相应方案中所有点的预测零件位置来直接求解3d边界框的参数，用聚集预测零件位置来评估该建议。与将合并后的三维特征图直接矢量化为特征向量的简单方法相比，提出的零件聚集策略可以通过将特征从局部尺度聚集到全局尺度来有效地学习预测零件位置的空间分布。
[0078]
本实施例中，步骤s6中建立组件从属的数据库，从中进行组件的检索与分析构成。这个数据库存储有3d组件图片样例和标签，标签包括所有组件的类别、联系以及使用领域，在执行完组件的识别后，在数据库中检索，得到组件从属的类别，每个组件检索完之后可检查之间的联系，与常规的分析方法相比节省了计算同类组件的时间，不必每次分析时单独调用额外资源，为下游的智能组装做好前置准备。
[0079]
本实施例还提出一种3d目标组件自动识别与分析系统，包括计算机设备，所述计算机设备被编程或配置以执行本实施例所述的3d目标组件自动识别与分析方法。
[0080]
综上所述，本实施例方法首先将点云数据体素化，放入基于锚的方法——rpn中生成一个初始的建议(预测区域)，这一过程由于使用了体素化以及卷积，所以会丢失一部分的定位信息。将体素坐标的高维特征和卷积特征进行拼接，拼接之后放进一个轻量级的pointnet(点云处理神经网络)进行特征提取，与权重系数相乘放入两层mlp(多层感知机)中，得到预测边界框。然后使用零件聚集策略，通过拟合相应方案中所有点的预测零件位置来直接求解3d边界框的参数，预测置信度评估该建议的质量和边界框优化，最后进行组件的分析工作，得到类别联系及应用领域。本实施例方法可以通过对基础的机械零件进行智能的识别，识别出符合外观要求、物理要求以及工业要求。
[0081]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计
算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

技术特征：
1.一种3d目标组件自动识别与分析方法，其特征在于，包括：s1、对目标组件的点云所在空间执行体素分割，得到由体素组成的3d网络；s2、将目标组件的点云划分到对应的体素中，剔除没有点云的体素；s3、提取剩余体素的上下文特征，并以此生成初始预测结构的锚框作为建议；s4、融合目标组件的点云和上下文特征得到特征图，根据锚框和特征图的对应关系得到对边界框的预测；s5、使用零件聚合网络对建议感兴趣区域的点云进行学习，根据学习结果对边界框进行调整，得到目标组件的识别结果；s6、根据目标组件的识别结果在预设的数据库进行检索，得到目标组件的相关信息。2.根据权利要求1所述的3d目标组件自动识别与分析方法，其特征在于，步骤s1具体包括：设置用于容纳目标组件的所有点云的长方体3d空间，按照自定义的体素尺寸，将长方体3d空间划分为堆叠的体素。3.根据权利要求1所述的3d目标组件自动识别与分析方法，其特征在于，步骤s2将目标组件的点云划分到对应的体素中具体包括：使用3d稀疏卷积将目标组件的点云转换为不同级别的下采样特征量，每个级别的下采样特征量均作为一组体素特征向量。4.根据权利要求1所述的3d目标组件自动识别与分析方法，其特征在于，步骤s3具体包括：对所有体素的特征向量的集合通过下采样转换得到2d鸟瞰特征图，将2d鸟瞰特征图作为体素的上下文特征，然后对所述2d鸟瞰特征图使用基于锚框的方法生成初始预测结构的锚框。5.根据权利要求4所述的3d目标组件自动识别与分析方法，其特征在于，所述基于锚框的方法具体包括：通过区域提议网络，用一个3
×
3的卷积核在特征图上滑动；对于每一个位置，使用k个尺寸和比例各不相同的锚框，在特征图上匹配到不同比例的对象；对于每个锚框，从对应的对象中提取特征向量并输入分类分支以估计每个对象对应类别的评分，同时输入回归分支以从原始的锚框估计中优化边界框的位置；对锚框进行规范化。6.根据权利要求1所述的3d目标组件自动识别与分析方法，其特征在于，步骤s4具体包括：将目标组件的点云输入点云处理神经网络中，获得点云数据的全局高维特征；将上下文特征作为卷积特征，将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取，得到目标特征，将卷积特征输入两个全连接层得到权重系数，所述全连接层每一个结点都与上一层的所有结点相连；将所述权重系数和目标特征相乘的结果输入两层多层感知机中，得到对边界框的预测。7.根据权利要求6所述的3d目标组件自动识别与分析方法，其特征在于，所述轻量级的点云处理神经网络的第1卷积块包括六个三维卷积层，所述轻量级的点云处理神经网络的第2卷积块、第3卷积块、第4卷积块均为二维卷积块；将全局高维特征和卷积特征进行拼接之后输入轻量级的点云处理神经网络中进行特征提取得到目标特征具体包括：
通过反卷积对第2卷积块、第3卷积块、第4卷积块最后一层的特征图进行上采样，然后将上采样的结果连接起来，在1、2层中收集位置信息，在3、4层中收集语义信息，得到融合原始点云和提取上下文特征的特征图；建立锚框与所述特征图的对应关系，对每个锚框进行分类，并对目标组件的位置进行回归运算，将运算结果矢量化为特征向量，将所述特征向量输入分类分支以对边界框评分，同时输入回归分支以优化边界框的位置。8.根据权利要求1所述的3d目标组件自动识别与分析方法，其特征在于，步骤s5具体包括：执行建议的感兴趣区域内的点云汇集操作，将汇集结果输入零件聚合网络得到目标组件的盒参数，再将盒参数矢量化为特征向量后，输入分类分支以评估边界框的置信度，同时输入回归分支以优化边界框的位置。9.根据权利要求8所述的3d目标组件自动识别与分析方法，其特征在于，输入回归分支以优化边界框的位置具体包括：采用平滑损失来回归归一化盒参数，表达式如下：以优化边界框的位置具体包括：采用平滑损失来回归归一化盒参数，表达式如下：δθ＝θ
g-θ
a
,其中，x,y,z,l,w,h,θ分别为激光雷达坐标系中目标组件边界框的参数，其中x,y,z为目标组件中心位置，l,w,h为目标组件大小，θ为鸟瞰目标方向。10.一种3d目标组件自动识别与分析系统，包括计算机设备，其特征在于，所述计算机设备被编程或配置以执行权利要求1～9任一所述的3d目标组件自动识别与分析方法。

技术总结
本发明公开了一种3D目标组件自动识别与分析方法及系统，方法包括：对目标组件的点云所在空间执行体素分割；将目标组件的点云划分到对应体素中，剔除没有点云的体素；提取剩余体素的上下文特征，并以此生成初始预测结构的锚框作为建议；融合目标组件的点云和上下文特征得到特征图，根据锚框和特征图的对应关系得到对边界框的预测；使用零件聚合网络对建议感兴趣区域的点云进行学习，根据学习结果对边界框进行调整，得到目标组件的识别结果；根据识别结果在预设的数据库进行检索，得到目标组件的相关信息。本发明为传统的制造业中加入了人工智能识别分析方法，智能识别出目标组件，减少分类工作量，分析其结构，以用于应用制造业的自动化生产。的自动化生产。的自动化生产。


技术研发人员：张敖 肖罡 张蔚 赵斯杰 魏志宇 万可谦 刘小兰
受保护的技术使用者：江西科骏实业有限公司
技术研发日：2023.02.17
技术公布日：2023/7/13