一种隧道弃渣颗粒识别分级方法及装置

1.本发明涉及工程弃渣检测分析领域，具体来说，涉及一种隧道弃渣颗粒识别分级方法及装置。


背景技术：

2.在隧道与地下工程建设的过程中会产生隧道弃渣，隧道弃渣的消纳处置已成为工程建设中的重要环节。对于不同岩性的岩体地层，爆破或机械破碎后的岩体形成了颗粒形状与大小不一的岩渣材料，其力学性质也会受到颗粒表观形态和粒径的显著影响。
3.目前，隧道弃渣的消纳处置主要包括两种途径。其中，山岭隧道的弃渣多采用选址堆积的方式形成弃渣场，而弃渣场的工程稳定性与弃渣颗粒的形状、粒径级配等特征密切相关；而对于城市环境中隧道与地下工程而言，弃渣的转运贮存需要高昂的运输与土地成本，近年来工程技术人员更关注隧道弃渣的再利用，如常见的再利用途径包括路基填筑、建材骨料再利用等，而弃渣颗粒的形状、粒径级配等特征显著影响着资源化再利用后的工程特性(如路基的强度、压实特性以及骨料的堆积密度等)。综上所述，快速、准确地评估隧道弃渣的颗粒信息，有助于实现隧道弃渣的精细化管理及分类，一方面可以辅助评估弃渣场的工程稳定性，另一方面可以提高隧道弃渣资源化再利用产品的质量控制水平。
4.在颗粒信息的采集方面，对于隧道弃渣而言，传统的颗粒粒径采集以现场或室内测试为主，而颗粒形态轮廓的捕捉则依赖手持式三维扫描仪等设备。传统方法人工与时间成本较高，每次测试的采样数量较少，数据采集的随机性较大，难以快速、准确地反映大规模的弃渣级配与颗粒形态特征。在颗粒形态信息的处理与分析方面，单个岩土颗粒往往具有多尺度的形态特征，包括宏观形状、棱角特征、细观纹理等，形态表征参数繁多，且部分参数间存在相关性联系，在大规模颗粒信息数据的批量化分析时存在冗余问题。合理的颗粒形态分类有助于消除系统的冗余度，而现有的颗粒形态分类方法仅能实现颗粒宏观形状尺度信息的分类判定，忽略了棱角、纹理等细观尺度的形态特征。
5.基于卷积神经网络图像处理方法在精度与批量化处理等方面均有优异表现，并在堆石材料、建筑弃土等领域的颗粒识别中已有部分创新应用：授权号cn111242909b公开了一种基于卷积神经网络的建筑弃土粒度分布快速识别方法，但该方法并未实现颗粒形态信息的识别与分类判别；申请号cn202110836767.8公开了一种堆石图像数据提取方法及装置，可以实现堆石颗粒面积与圆度的提取，但并未涉及棱角、纹理等更多尺度颗粒信息的识别。


技术实现要素：

6.针对相关技术中的上述技术问题，本发明提出一种隧道弃渣颗粒识别分级方法，其包括如下步骤：
7.s3、获取弃渣颗粒轮廓的分割掩膜数据集m1；
8.s4、采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣
颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s，所述形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；其中基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；
9.s5、根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；
10.s6、将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的第二神经网络模型n2；
11.s7、将任意新采集的弃渣颗粒图像输入第二神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。
12.具体的，所述方法还包括：s1、获取包含有弃渣颗粒轮廓和尺寸标记物轮廓标签的弃渣颗粒图像数据集d1；
13.s2、将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的第一神经网络模型n1；
14.具体的，所述步骤s3具体为，将未标注的弃渣颗粒图像数据集d2输入第一神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1。
15.具体的，所述步骤s1中采用的图像采集过程中，需在图像中心附近处放置一个尺寸标记物。
16.具体的，所述步骤s2图像数据集d1按比例随机划分成训练集、验证集、测试集。
17.具体的，所述步骤s3中未标注的弃渣颗粒图像数据集d2为从步骤s1所采集的图像中随机选取第二预设数量的弃渣颗粒图像构建形成；所述数据集m1包含各弃渣颗粒掩膜图片集合、各弃渣颗粒轮廓最小包围框的角点坐标数据集合、对应原始图片集合。
18.具体的，所述步骤s4中计算弃渣颗粒的形状指标包括：长短轴比ar为弃渣颗粒最大费雷特半径与弃渣颗粒最小费雷特半径之比；圆度cir为弃渣颗粒投影与等周长圆的面积比；凹凸度sol为弃渣颗粒投影与最小外接多边形的面积比、棱角度ang为弃渣颗粒内每个棱角的最大内接圆半径平均值与最大内接圆半径之比、粗糙度tex为弃渣颗粒投影与最小外接多边形的周长比。
19.具体的，所述步骤s4中计算综合形状因子的方法包括如下步骤：
20.s41、对形状指标按下式进行正向化处理:
[0021][0022]
其中，x'
ij
为正向化指标；x
ij
为需正向化的各指标构成的列向量元素；
[0023]
s42、计算五种形状指标的正理想解y
+
，计算公式为：
[0024][0025]
其中，y
+
为指标的正理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0026]
计算五种形状指标的负理想解y-，计算公式为：
[0027][0028]
其中，y-为指标的负理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0029]
s43、将正向化的长短轴比ar、棱角度ang、粗糙度tex和圆度cir、凹凸度sol构成评价指标矩阵x；计算各指标xi到正理想解y
+
的马氏距离d(xi,y
+
)，计算公式为：
[0030][0031]
计算各指标xi到负理想解y-的马氏距离d(xi,y-)，计算公式为：
[0032][0033]
s44、计算各弃渣颗粒的综合形状因子fi，计算公式为：
[0034][0035]
具体的，所述步骤s5中弃渣颗粒的形态分级标准具体方法为根据各弃渣颗粒的综合形状因子fi的大小，划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述弃渣颗粒图像数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。
[0036]
具体的，其特征在于，所述弃渣颗粒等效粒径d的计算公式为：
[0037][0038]
其中，mr为弃渣颗粒掩膜像素面积；ms为标记物掩膜像素面积；ss为标记物实际面积。
[0039]
第二方面，本发明的另一个实施例公开了一种隧道弃渣颗粒识别分级装置，包括如下单元：
[0040]
分割掩膜数据集生成单元，用于获取弃渣颗粒轮廓的分割掩膜数据集m1；
[0041]
综合形状因子数据集生成单元，采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s，所述形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；其中基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；
[0042]
第二数据集生成单元，用于根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；
[0043]
第二建模单元，用于将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的第二神经网络模型n2；
[0044]
分级单元，用于将任意新采集的弃渣颗粒图像输入第二神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。
[0045]
本发明的隧道弃渣颗粒识别分级方法，采用基于马氏距离的改进topsis方法，根
据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s；根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的神经网络模型n2；将任意新采集的弃渣颗粒图像输入神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。进一步的，本技术还通过第一神经网络模型n1来对采集到的隧道弃渣颗粒图形进行识别，从而获得弃渣颗粒轮廓的分割掩膜数据集m1，本发明通过对隧道弃渣颗粒进行图像采集，选取第一预设数量的弃渣颗粒图像，通过辅助标注工具对弃渣颗粒轮廓、尺寸标记物进行标注，形成带有弃渣颗粒轮廓和标记物标签的弃渣颗粒图像数据集d1；将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的神经网络模型n1；将未标注的弃渣颗粒图像数据集d2输入神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1，基于通用分割神经网络开发的辅助标注工具，能大大提高对弃渣颗粒轮廓的标注效率。
[0046]
本发明中的基于统计原理的马氏距离的改进topsis分级方法，计算简便，所得到的综合形状因子能够考虑各形状指标之间的相关性，并排除各指标之间不同程度的相关性的干扰，可以更准确地反映各指标体现的形态信息关系。
[0047]
进一步的，本发明中最终训练得到的隧道弃渣颗粒识别神经网络，在自动、准确地标注出隧道弃渣颗粒轮廓的同时，还能直接预测输出隧道弃渣颗粒的形态分级结果，并可通过简单的后处理计算等效粒径分布，能大大简化人工进行尺寸特征、形状特征指标量化提取及分级的工作流程，节省时间和人力，提高工作效率。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1是根据本发明实施例提供的一种隧道弃渣颗粒识别分级方法流程图；
[0050]
图2是根据本发明实施例提供的采集的隧道弃渣颗粒示例图像；
[0051]
图3是根据本发明实施例提供的神经网络模型n2预测输出的分割掩膜数据示例图；
[0052]
图4是根据本发明实施例提供的神经网络模型n2预测输出弃渣颗粒分级统计图；
[0053]
图5是根据本发明实施例提供的神经网络模型n2预测输出弃渣颗粒级配分布图；
[0054]
图6是根据本发明实施例提供的一种隧道弃渣颗粒识别分级装置示意图；
[0055]
图7是根据本发明实施例提供的一种隧道弃渣颗粒识别分级设备示意图。
具体实施方式
[0056]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
实施例一
[0058]
参考图1，根据本实施例公开了一种隧道弃渣颗粒识别分级方法，其包括如下步骤：
[0059]
s3、获取弃渣颗粒轮廓的分割掩膜数据集m1；
[0060]
本实施例的步骤s3中获取弃渣颗粒轮廓的分割掩膜数据集m1，可以是通过卷积神经网络的形式从弃渣颗粒图像中识别出来。
[0061]
具体的，本技术可以通用分割神经网络开发的辅助标注工具，来提高对弃渣颗粒轮廓的标注效率；本实施例还包括：
[0062]
s1、对隧道弃渣颗粒进行图像采集，选取第一预设数量的弃渣颗粒图像，通过辅助标注工具对弃渣颗粒轮廓、尺寸标记物进行标注，形成带有弃渣颗粒轮廓和标记物标签的弃渣颗粒图像数据集d1；
[0063]
具体的，所述步骤s1中采用的图像采集过程中，需在图像中心附近处放置一个尺寸标记物。
[0064]
具体的，尺寸标记物是一种薄厚度的平板或具有一定直径的球体，在图像上通过标注其轮廓来表征其图像所属区域。
[0065]
参考图2，尺寸标记物采用白色背景、带有黑色标识物的矩形薄板；尺寸标记物的尺寸为15cm
×
10cm；采集图像的尺寸为4000pixel
×
6000pixel。
[0066]
具体的，所述步骤s1中采用的辅助标注工具为基于通用分割神经网络segment anything model开发的辅助标注软件，可通过输入点或框提示自动快速生成高质量标注轮廓。
[0067]
优选的，所述步骤s1中第一预设数量为400张，选取方式为随机选取；采用的辅助标注工具基于通用分割神经网络segment anything model，并采用具有大型网络骨干尺寸的训练权重，改进了传统的手动多点包络拟合标注的方式，实现用户通过鼠标输入点或框提示自动快速生成图像中指定物体的高质量分割掩膜，对掩膜轮廓拟合转化为多边形点标注形式。采用的标注方法为对每张图片中表层每块清晰的弃渣颗粒轮廓以多边形点的标注形式标注，并赋予带有序列的标签“stone_1”、“stone_2”、“stone_3”等等，对尺寸标记物也以多边形点的标注形式标注，并赋予带有序列的标签“signboard_1”、“signboard_2”、“signboard_3”等等；所述数据集d1具体包含选取采集弃渣颗粒图像集合和对应的弃渣颗粒轮廓、尺寸标志物轮廓标签数据集合。
[0068]
s2、将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的神经网络模型n1；
[0069]
具体的，所述步骤s2图像数据集d1按比例随机划分成训练集、验证集、测试集。
[0070]
优选的，所述步骤s2中将图像数据集d1按8:1:1的比例随机划分成训练集、验证集、测试集；将训练集、验证集、测试集的图像和标注数据分割成图像尺寸为1000pixel
×
1000pixel的等尺寸图块；所述神经网络采用基于microsoft common objects in context数据集预训练权重的mask-rcnn模型。
[0071]
具体的，输入神经网络的轮廓与标签是一一映射的关系，输入的轮廓点集经过处理形成所对应包围区域的像素分割掩膜，而后传递至神经网络进行卷积等操作。
[0072]
进一步的，步骤s3为将未标注的弃渣颗粒图像数据集d2输入神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1。
[0073]
具体的，所述步骤s3中未标注的弃渣颗粒图像数据集d2为从步骤s1所采集的图像中随机选取第二预设数量的弃渣颗粒图像构建形成；所述数据集m1包含各弃渣颗粒掩膜图片集合、各弃渣颗粒轮廓最小包围框的角点坐标数据集合、对应原始图片集合。
[0074]
优选的，所述步骤s3第二预设数量为1000张，从步骤s1所采集的图像中随机选取1000张构建形成图像数据集d2；
[0075]
具体的，分割掩膜是一个w
×h×
1的三维矩阵，可以以灰度图像格式保存，其中w、h分别为图像宽和高，第三维为像素值，对应颗粒所属区域像素值为1，非颗粒区域为0。
[0076]
具体的，在执行神经网络预测输出分割掩膜的同时对分割掩膜进行简单的处理，能使其能产生一些副产品，例如掩膜的最小外包框等等。
[0077]
s4、采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s，所述形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；所述基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；
[0078]
具体的，所述步骤s4中计算弃渣颗粒的形状指标包括：长短轴比ar为弃渣颗粒最大费雷特半径与弃渣颗粒最小费雷特半径之比；圆度cir为弃渣颗粒投影与等周长圆的面积比；凹凸度sol为弃渣颗粒投影与最小外接多边形的面积比、棱角度ang为弃渣颗粒内每个棱角的最大内接圆半径平均值与最大内接圆半径之比、粗糙度tex为弃渣颗粒投影与最小外接多边形的周长比。
[0079]
具体的，五种形状指标计算公式如下：
[0080]
a、长短轴比ar计算公式为：
[0081][0082]
其中，f
max
为弃渣颗粒最大费雷特半径，f
min
为弃渣颗粒最小费雷特半径；
[0083]
b、圆度cir计算公式为：
[0084][0085]
其中，s为弃渣颗粒掩膜面积，p为弃渣颗粒掩膜周长；
[0086]
c、凹凸度sol计算公式为：
[0087][0088]
其中，s为弃渣颗粒掩膜面积，s
con
为弃渣颗粒掩膜最小外接多边形的面积；
[0089]
d、棱角度ang计算公式为：
[0090][0091]
其中，ri为弃渣颗粒掩膜内每个棱角的最大内接圆半径；n为弃渣颗粒掩膜内棱角的个数；r为弃渣颗粒掩膜最大内接圆半径；
[0092]
e、粗糙度tex计算公式为：
[0093][0094]
其中，p为弃渣颗粒掩膜周长；p
con
为弃渣颗粒掩膜最小外接多边形的周长。
[0095]
具体的，所述步骤s4中计算综合形状因子的方法包括如下步骤：
[0096]
s41、对形状指标按下式进行正向化处理:
[0097][0098]
其中，x'
ij
为正向化指标；x
ij
为需正向化的各指标构成的列向量元素；
[0099]
s42、计算五种形状指标的正理想解y
+
，计算公式为：
[0100][0101]
其中，y
+
为指标的正理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0102]
计算五种形状指标的负理想解y-，计算公式为：
[0103][0104]
其中，y-为指标的负理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0105]
s43、将正向化的长短轴比ar、棱角度ang、粗糙度tex和圆度cir、凹凸度sol构成评价指标矩阵x；计算各指标xi到正理想解y
+
的马氏距离d(xi,y
+
)，计算公式为：
[0106][0107]
计算各指标xi到负理想解y-的马氏距离d(xi,y-)，计算公式为：
[0108][0109]
s44、计算各弃渣颗粒的综合形状因子fi，计算公式为：
[0110][0111]
s5、根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；
[0112]
具体的，所述步骤s5中弃渣颗粒的形态分级标准具体方法为根据各弃渣颗粒的综合形状因子fi的大小，划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述弃渣颗粒图像数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。
[0113]
优选的，所述步骤s5中弃渣颗粒的形态分级标准具体方法为：根据各弃渣颗粒的综合形状因子fi的大小，按0≤fi《0.2、0.2≤fi《0.4、0.4≤fi《0.6、0.6≤fi《0.8、0.8≤fi《1依次划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。
[0114]
s6、将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的神经网络模型n2；
[0115]
优选的，所述步骤s6中将图像数据集d3按8:1:1的比例随机划分成训练集、验证集、测试集；所述神经网络采用基于microsoft common objects in context数据集预训练权重的mask-rcnn模型。
[0116]
具体的，输入数据集d3的标签为形态等级l，因此分割神经网络将会输出以形态等级分类的轮廓，相当于神经网络n1输出的是单分类(stone)的轮廓掩膜，而n2可以输出包含topsis分级方法的依据形态等级分类的轮廓掩膜。
[0117]
神经网络模型n2与神经网络模型n1是独立的神经网络，但是采用同一神经网络架构和预训练数据权重，两者采用的神经网络是实例分割型的神经网络；
[0118]
s7、将任意新采集的弃渣颗粒图像输入神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。
[0119]
参考图3-图5，所述步骤s7中分割掩膜数据包含预测图像中单块弃渣颗粒和标记物掩膜图片集合、单块弃渣颗粒和标记物最小包围框的角点坐标数据集合、对应原始预测图像。
[0120]
具体的，所述弃渣颗粒等效粒径d的计算公式为：
[0121][0122]
其中，mr为弃渣颗粒掩膜像素面积；ms为标记物掩膜像素面积；ss为标记物实际面积。
[0123]
本实施例的隧道弃渣颗粒识别分级方法，采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s；根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的神经网络模型n2；将任意新采集的弃渣颗粒图像输入神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。进一步的，本技术还通过第一神经网络模型n1来对采集到的隧道弃渣颗粒图形进行识别，从而获得弃渣颗粒轮廓的分割掩膜数据集m1，本发明通过对隧道弃渣颗粒进行图像采集，选取第一预设数量的弃渣颗粒图像，通过辅助标注工具对弃渣颗粒轮廓、尺寸标记物进行标注，形成带有弃渣颗粒轮廓和标记物标签的弃渣颗粒图像数据集d1；将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的神经网络模型n1；将未标注的弃渣颗粒图像数据
集d2输入神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1，基于通用分割神经网络开发的辅助标注工具，能大大提高对弃渣颗粒轮廓的标注效率。
[0124]
本实施例中的基于统计原理的马氏距离的改进topsis分级方法，计算简便，所得到的综合形状因子能够考虑各形状指标之间的相关性，并排除各指标之间不同程度的相关性的干扰，可以更准确地反映各指标体现的形态信息关系。
[0125]
本实施例中的最终训练得到的隧道弃渣颗粒识别神经网络，在自动、准确地标注出隧道弃渣颗粒轮廓的同时，还能直接预测输出隧道弃渣颗粒的形态分级结果，并可通过简单的后处理计算等效粒径分布，能大大简化人工进行尺寸特征、形状特征指标量化提取及分级的工作流程，节省时间和人力，提高工作效率。
[0126]
实施例二
[0127]
参考图6，根据本实施例公开了一种隧道弃渣颗粒识别分级装置，其包括如下单元：
[0128]
第一数据集生成单元，用于对隧道弃渣颗粒进行图像采集，选取第一预设数量的弃渣颗粒图像，通过辅助标注工具对弃渣颗粒轮廓、尺寸标记物进行标注，形成带有弃渣颗粒轮廓和标记物标签的弃渣颗粒图像数据集d1；
[0129]
具体的，所述第一数据集生成单元中采用的图像采集过程中，需在图像中心附近处放置一个尺寸标记物。
[0130]
具体的，尺寸标记物是一种薄厚度的平板或具有一定直径的球体，在图像上通过标注其轮廓来表征其图像所属区域。
[0131]
参考图2，尺寸标记物采用白色背景、带有黑色标识物的矩形薄板；尺寸标记物的尺寸为15cm
×
10cm；采集图像的尺寸为4000pixel
×
6000pixel。
[0132]
具体的，所述第一数据集生成单元中采用的辅助标注工具为基于通用分割神经网络segment anything model开发的辅助标注软件，可通过输入点或框提示自动快速生成高质量标注轮廓。
[0133]
优选的，所述第一数据集生成单元中第一预设数量为400张，选取方式为随机选取；采用的辅助标注工具基于通用分割神经网络segment anything model，并采用具有大型网络骨干尺寸的训练权重，改进了传统的手动多点包络拟合标注的方式，实现用户通过鼠标输入点或框提示自动快速生成图像中指定物体的高质量分割掩膜，对掩膜轮廓拟合转化为多边形点标注形式。采用的标注方法为对每张图片中表层每块清晰的弃渣颗粒轮廓以多边形点的标注形式标注，并赋予带有序列的标签“stone_1”、“stone_2”、“stone_3”等等，对尺寸标记物也以多边形点的标注形式标注，并赋予带有序列的标签“signboard_1”、“signboard_2”、“signboard_3”等等；所述数据集d1具体包含选取采集弃渣颗粒图像集合和对应的弃渣颗粒轮廓、尺寸标志物轮廓标签数据集合。
[0134]
第一建模单元，用于将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的神经网络模型n1；
[0135]
具体的，所述第一建模单元中图像数据集d1按比例随机划分成训练集、验证集、测试集。
[0136]
优选的，所述第一建模单元中将图像数据集d1按8:1:1的比例随机划分成训练集、
验证集、测试集；将训练集、验证集、测试集的图像和标注数据分割成图像尺寸为1000pixel
×
1000pixel的等尺寸图块；所述神经网络采用基于microsoft common objects in context数据集预训练权重的mask-rcnn模型。
[0137]
具体的，输入神经网络的轮廓与标签是一一映射的关系，输入的轮廓点集经过处理形成所对应包围区域的像素分割掩膜，而后传递至神经网络进行卷积等操作。
[0138]
分割掩膜数据集生成单元，用于将未标注的弃渣颗粒图像数据集d2输入神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1，计算弃渣颗粒的五种形状指标，所述五种形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；
[0139]
具体的，所述分割掩膜数据集生成单元中未标注的弃渣颗粒图像数据集d2为从第一数据集生成单元中所采集的图像中随机选取第二预设数量的弃渣颗粒图像构建形成；所述数据集m1包含各弃渣颗粒掩膜图片集合、各弃渣颗粒轮廓最小包围框的角点坐标数据集合、对应原始图片集合。
[0140]
优选的，所述分割掩膜数据集生成单元中第二预设数量为1000张，从第一数据集生成单元所采集的图像中随机选取1000张构建形成图像数据集d2；
[0141]
具体的，分割掩膜是一个w
×h×
1的三维矩阵，可以以灰度图像格式保存，其中w、h分别为图像宽和高，第三维为像素值，对应颗粒所属区域像素值为1，非颗粒区域为0。
[0142]
具体的，在执行神经网络预测输出分割掩膜的同时对分割掩膜进行简单的处理，能使其能产生一些副产品，例如掩膜的最小外包框等等。
[0143]
具体的，所述分割掩膜数据集生成单元中计算弃渣颗粒的五种形状指标包括：长短轴比ar为弃渣颗粒最大费雷特半径与弃渣颗粒最小费雷特半径之比；圆度cir为弃渣颗粒投影与等周长圆的面积比；凹凸度sol为弃渣颗粒投影与最小外接多边形的面积比、棱角度ang为弃渣颗粒内每个棱角的最大内接圆半径平均值与最大内接圆半径之比、粗糙度tex为弃渣颗粒投影与最小外接多边形的周长比。
[0144]
具体的，五种形状指标计算公式如下：
[0145]
a、长短轴比ar计算公式为：
[0146][0147]
其中，f
max
为弃渣颗粒最大费雷特半径，f
min
为弃渣颗粒最小费雷特半径；
[0148]
b、圆度cir计算公式为：
[0149][0150]
其中，s为弃渣颗粒掩膜面积，p为弃渣颗粒掩膜周长；
[0151]
c、凹凸度sol计算公式为：
[0152][0153]
其中，s为弃渣颗粒掩膜面积，s
con
为弃渣颗粒掩膜最小外接多边形的面积；
[0154]
d、棱角度ang计算公式为：
[0155][0156]
其中，ri为弃渣颗粒掩膜内每个棱角的最大内接圆半径；n为弃渣颗粒掩膜内棱角的个数；r为弃渣颗粒掩膜最大内接圆半径；
[0157]
e、粗糙度tex计算公式为：
[0158][0159]
其中，p为弃渣颗粒掩膜周长；p
con
为弃渣颗粒掩膜最小外接多边形的周长。
[0160]
综合形状因子数据集生成单元，采用基于马氏距离的改进topsis方法，根据每个弃渣颗粒的五种形状指标，计算其综合形状因子，形成弃渣颗粒的综合形状因子数据集s；
[0161]
具体的，所述分割掩膜数据集生成单元中计算综合形状因子的方法包括如下步骤：
[0162]
s41、对形状指标按下式进行正向化处理:
[0163][0164]
其中，x'
ij
为正向化指标；x
ij
为需正向化的各指标构成的列向量元素；
[0165]
s42、计算五种形状指标的正理想解y
+
，计算公式为：
[0166][0167]
其中，y
+
为指标的正理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0168]
计算五种形状指标的负理想解y-，计算公式为：
[0169][0170]
其中，y-为指标的负理想解，x
ij
为需正向化的各指标构成的列向量元素；
[0171]
s43、将正向化的长短轴比ar、棱角度ang、粗糙度tex和圆度cir、凹凸度sol构成评价指标矩阵x；计算各指标xi到正理想解y
+
的马氏距离d(xi,y
+
)，计算公式为：
[0172][0173]
计算各指标xi到负理想解y-的马氏距离d(xi,y-)，计算公式为：
[0174][0175]
s44、计算各弃渣颗粒的综合形状因子fi，计算公式为：
[0176][0177]
具体的，基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；
[0178]
第二数据集生成单元，用于根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有
形态等级标签和标志物标签的弃渣颗粒图像数据集d3；
[0179]
具体的，所述第二数据集生成单元中弃渣颗粒的形态分级标准具体方法为根据各弃渣颗粒的综合形状因子fi的大小，划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述弃渣颗粒图像数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。
[0180]
优选的，所述第二数据集生成单元中弃渣颗粒的形态分级标准具体方法为：根据各弃渣颗粒的综合形状因子fi的大小，按0≤fi《0.2、0.2≤fi《0.4、0.4≤fi《0.6、0.6≤fi《0.8、0.8≤fi《1依次划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。
[0181]
第二建模单元，用于将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的第二神经网络模型n2；
[0182]
优选的，所述第二建模单元中将图像数据集d3按8:1:1的比例随机划分成训练集、验证集、测试集；所述神经网络采用基于microsoft common objects in context数据集预训练权重的mask-rcnn模型。
[0183]
具体的，输入数据集d3的标签为形态等级l，因此分割神经网络将会输出以形态等级分类的轮廓，相当于神经网络n1输出的是单分类(stone)的轮廓掩膜，而n2可以输出包含topsis分级方法的依据形态等级分类的轮廓掩膜。
[0184]
具体的，第二神经网络模型n2与神经网络模型n1是独立的神经网络，但是采用同一神经网络架构和预训练数据权重，两者采用的神经网络是实例分割型的神经网络；
[0185]
分级单元，用于将任意新采集的弃渣颗粒图像输入第二神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。
[0186]
参考图3-图5，所述分级单元中分割掩膜数据包含预测图像中单块弃渣颗粒和标记物掩膜图片集合、单块弃渣颗粒和标记物最小包围框的角点坐标数据集合、对应原始预测图像。
[0187]
具体的，所述弃渣颗粒等效粒径d的计算公式为：
[0188][0189]
其中，mr为弃渣颗粒掩膜像素面积；ms为标记物掩膜像素面积；ss为标记物实际面积。
[0190]
本实施例通过利用深度卷积神经网络的强大学习能力和图像处理技术的便捷，仅需通过基于通用分割神经网络的辅助标注工具对部分含隧道弃渣颗粒的图片快速进行标注，对标注图片数据进行训练后即可检测识别隧道弃渣颗粒轮廓，并基于马氏距离的改进topsis方法对弃渣颗粒形态的多尺度特征进行统计分类，最终实现隧道弃渣颗粒的识别与颗粒形态判定。方法简单高效，操作易行。
[0191]
本实施例中基于通用分割神经网络开发的辅助标注工具，能大大提高对弃渣颗粒轮廓的标注效率；
[0192]
本实施例中的基于统计原理的马氏距离的改进topsis分级方法，计算简便，所得
到的综合形状因子能够考虑各形状指标之间的相关性，并排除各指标之间不同程度的相关性的干扰，可以更准确地反映各指标体现的形态信息关系；
[0193]
本实施例中的最终训练得到的隧道弃渣颗粒识别神经网络，在自动、准确地标注出隧道弃渣颗粒轮廓的同时，还能直接预测输出隧道弃渣颗粒的形态分级结果，并可通过简单的后处理计算等效粒径分布，能大大简化人工进行尺寸特征、形状特征指标量化提取及分级的工作流程，节省时间和人力，提高工作效率。
[0194]
实施例三
[0195]
参考图7，图7是本实施例的一种隧道弃渣颗粒识别分级设备的结构示意图。该实施例的一种隧道弃渣颗粒识别分级设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0196]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述一种隧道弃渣颗粒识别分级设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。
[0197]
所述一种隧道弃渣颗粒识别分级设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是一种隧道弃渣颗粒识别分级设备20的示例，并不构成对一种隧道弃渣颗粒识别分级设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种隧道弃渣颗粒识别分级设备20还可以包括输入输出设备、网络接入设备、总线等。
[0198]
所述处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述一种隧道弃渣颗粒识别分级设备20的控制中心，利用各种接口和线路连接整个一种隧道弃渣颗粒识别分级设备20的各个部分。
[0199]
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述一种隧道弃渣颗粒识别分级设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0200]
其中，所述一种隧道弃渣颗粒识别分级设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0201]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0202]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种隧道弃渣颗粒识别分级方法，其特征在于，包括如下步骤：s3、获取弃渣颗粒轮廓的分割掩膜数据集m1；s4、采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s，所述形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；其中基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；s5、根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；s6、将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的第二神经网络模型n2；s7、将任意新采集的弃渣颗粒图像输入第二神经网络模型n2中，进行弃渣颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。2.根据权利要求1所述的方法，其特征在于：所述方法还包括：s1、获取包含有弃渣颗粒轮廓和尺寸标记物轮廓标签的弃渣颗粒图像数据集d1；s2、将弃渣颗粒图像数据集d1输入神经网络中训练，获得包含弃渣颗粒轮廓特征权重的第一神经网络模型n1；所述步骤s3具体为，将未标注的弃渣颗粒图像数据集d2输入第一神经网络模型n1，进行弃渣颗粒轮廓和标记物的识别与标注，并输出形成弃渣颗粒轮廓的分割掩膜数据集m1。3.根据权利要求2所述的方法，其特征在于，所述步骤s1中采用的图像采集过程中，需在图像中心附近处放置一个尺寸标记物。4.根据权利要求2所述的方法，其特征在于，所述步骤s2图像数据集d1按比例随机划分成训练集、验证集、测试集。5.根据权利要求2所述的方法，其特征在于，所述步骤s3中未标注的弃渣颗粒图像数据集d2为从步骤s1所采集的图像中随机选取第二预设数量的弃渣颗粒图像构建形成；所述数据集m1包含各弃渣颗粒掩膜图片集合、各弃渣颗粒轮廓最小包围框的角点坐标数据集合、对应原始图片集合。6.根据权利要求1所述的方法，其特征在于，所述步骤s4中计算弃渣颗粒的形状指标包括：长短轴比ar为弃渣颗粒最大费雷特半径与弃渣颗粒最小费雷特半径之比；圆度cir为弃渣颗粒投影与等周长圆的面积比；凹凸度sol为弃渣颗粒投影与最小外接多边形的面积比、棱角度ang为弃渣颗粒内每个棱角的最大内接圆半径平均值与最大内接圆半径之比、粗糙度tex为弃渣颗粒投影与最小外接多边形的周长比。7.根据权利要求1所述方法，其特征在于，所述步骤s4中计算综合形状因子的方法包括如下步骤：s41、对形状指标按下式进行正向化处理:其中，x
′
ij
为正向化指标；x
ij
为需正向化的各指标构成的列向量元素；
s42、计算五种形状指标的正理想解y
+
，计算公式为：其中，y
+
为指标的正理想解，x
ij
为需正向化的各指标构成的列向量元素；计算五种形状指标的负理想解y-，计算公式为：其中，y-为指标的负理想解，x
ij
为需正向化的各指标构成的列向量元素；s43、将正向化的长短轴比ar、棱角度ang、粗糙度tex和圆度cir、凹凸度sol构成评价指标矩阵x；计算各指标x
i
到正理想解y
+
的马氏距离d(x
i
,y
+
)，计算公式为：计算各指标x
i
到负理想解y-的马氏距离d(x
i
,y-)，计算公式为：s44、计算各弃渣颗粒的综合形状因子f
i
，计算公式为：8.根据权利要求7所述的方法，其特征在于，所述步骤s5中弃渣颗粒的形态分级标准具体方法为根据各弃渣颗粒的综合形状因子f
i
的大小，划分为l1、l2、l3、l4、l5共5个等级的形态等级l；所述弃渣颗粒图像数据集d3根据综合形状因子数据集s和分割掩膜数据集m1自动标注形成，包含数据集m1中的原始图像集合和对应的弃渣颗粒形态等级l标签、标志物标签数据集合。9.根据权利要求1所述的方法，其特征在于，所述弃渣颗粒等效粒径d的计算公式为：其中，m
r
为弃渣颗粒掩膜像素面积；m
s
为标记物掩膜像素面积；s
s
为标记物实际面积。10.一种隧道弃渣颗粒识别分级装置，其特征在于：包括如下单元：分割掩膜数据集生成单元，用于获取弃渣颗粒轮廓的分割掩膜数据集m1；综合形状因子数据集生成单元，采用基于马氏距离的改进topsis方法，根据分割掩膜数据集m1计算每个弃渣颗粒的形状指标和综合形状因子，形成弃渣颗粒的综合形状因子数据集s，所述形状指标包括长短轴比ar、圆度cir、凹凸度sol、棱角度ang、粗糙度tex；其中基于马氏距离的改进topsis方法是使用马氏距离评分公式替换topsis中的距离评分公式；第二数据集生成单元，用于根据分割掩膜数据集m1和综合形状因子数据集s，构建弃渣颗粒的形态分级标准，计算分割掩膜数据集m1中每个弃渣颗粒的形态等级l，形成具有形态等级标签和标志物标签的弃渣颗粒图像数据集d3；第二建模单元，用于将弃渣颗粒图像数据集d3输入神经网络中训练，获得包含弃渣颗粒轮廓及其形态等级特征权重的第二神经网络模型n2；分级单元，用于将任意新采集的弃渣颗粒图像输入第二神经网络模型n2中，进行弃渣
颗粒的轮廓识别及其形态检测，并输出弃渣颗粒分割掩膜数据和形态等级，由分割掩膜数据计算弃渣颗粒等效粒径d。

技术总结
本发明提供了一种隧道弃渣颗粒识别分级方法及装置，所述方法包括：S3、获取弃渣颗粒轮廓的分割掩膜数据集；S4、采用基于马氏距离的改进TOPSIS方法，根据分割掩膜数据集获得弃渣颗粒的综合形状因子数据集；S5、根据分割掩膜数据集和综合形状因子数据集，获取每个弃渣颗粒的形态等级，形成形态等级标签和标志物标签的弃渣颗粒图像数据集；S6、将弃渣颗粒图像数据集输入神经网络中训练，获得第二神经网络模型；S7、将任意新采集的弃渣颗粒图像输入第二神经网络模型中，输出弃渣颗粒分割掩膜数据和形态等级。本发明的基于马氏距离的改进TOPSIS方法，所得到的综合形状因子能够考虑各形状指标之间的相关性，更准确地反映各指标体现的形态信息关系。态信息关系。态信息关系。


技术研发人员：游钰阳 谢亦朋 阳军生 张聪 方星桦 相懋龙 唐宇
受保护的技术使用者：中南大学
技术研发日：2023.07.21
技术公布日：2023/10/15