一种基于改进M2Det的废杂塑料检测方法

一种基于改进m2det的废杂塑料检测方法
技术领域
1.本发明涉及废杂塑料检测识别领域，尤其涉及一种基于改进m2det的废杂塑料检测方法。


背景技术：

2.塑料制品曾被视为20世纪“最伟大”的发明之一，在社会经济高速发展的今天，塑料制品已经成为人们生活中不可或缺的一部分，不管是在工业或者农业中，都已成为当前社会的必需品。国内塑料制品业也因此得到快速的发展，因其优良的化学稳定性、出色的耐磨性和成型性、绝缘性好、导热性低以及加工成本低廉等特点，在生产制造、交通运输、国防、医疗和日常生活等场景中得到了极其广泛的应用。我国是塑料产业大国，根据相关产业报告显示，在2011至2019年间，我国塑料制品产量总体呈增长态势，2019年产量达8184.2万吨，较2018年增长35.45％。同时我国也是塑料制品重要出口国之一，2019年我国对外出口塑料制品为1424万吨，较2018年增长8.54％。
3.塑料因其制造成本低、质量较轻、用途广泛等优点，在食品包装、建筑行业、工业零件等各个领域都发挥着重要作用。目前我国的塑料生产销量位居全球首位。但是塑料也具有分布广、降解难等问题，每年都会产生难以估算的塑料垃圾，这些塑料垃圾处理不当容易造成环境污染，我国目前对废旧塑料垃圾的传统处理方法主要是集中填埋和焚烧，这种处理方法短期内会有一定的效果，但长期来看，会对生态环境造成严重的污染，例如一个塑料瓶需要400年才能够降解，这些手段也不符合国家的可持续发展战略。因此，制定健康可持续发展的废杂塑料分类回收方法显得十分迫切，而其中对塑料垃圾进行分类是关键。
4.目前我国对废杂塑料进行大规模分类的产业线仍然是以人工为主，工作环境恶劣，人工费用较高、效率低下等都制约着行业的发展。传统的视觉检测算法大多需要较多的人工预先设计，如选取合适的滑动窗口在图像上按顺序滑动以提取可能存在物品的区域，然后利用事先选择的特征提取算子如hog进行特征提取，最后使用浅层的机器学习算法如svm进行分类与回归预测。由于目标物的尺寸通常不定，传统目标检测算法需要设计各种尺寸的窗口，造成计算量比较大，运算速度慢，同时识别精度不高。今年来因为cpu和dsp芯片等硬件处理性能的快速提高，以及人们关于计算机视觉相关算法不断探索，计算机视觉技术开始在工业制造等领域得到应用。进入21世纪，深度学习技术进入爆发式发展阶段。借助于深度学习在视觉领域的技术沉淀，计算机视觉技术已实现了跨越式突破并进行实际落地，在工业、农业、制药和服务业等众多领域取得了不错的效果。图像处理、计算机视觉和人工智能的快速崛起为废杂塑料的分选提供了新思路，以图像处理、图像特征提取以及目标检测作为技术支持，通过对废杂塑料图像的处理，获得图像特征，主要是图像的形状特征，再根据形状设计分类算法实现对图像的识别。但是，目前国内外的视觉分选系统仍然存在不少的问题，例如：分选精度较低；对于尺度跨度较大的塑料种类，识别困难，导致需要二次人工筛选；物体间的不可避免的会彼此遮挡，从而导致漏检等问题。
5.如《决策树算法在塑料分类中的应用》中提到，通过激光照射的方法能够快速准确
地识别塑料的谱线，这里应用了近红外光谱的相关技术，得到塑料中的元素成分及其含量以后，通过机器学习的方法，以塑料成分作为特征值，基于决策树算法提出塑料分类算法，最后通过熵增最大原理选取特征。该文提到的技术与方法虽然有极高的检测准确率，但是前提是能够准确的通过激光照射获取到塑料的主要成分，这就要求塑料在检测之前需要经过预处理，包括清洗等步骤，实际的应用场景下，所回收的废杂塑料环境复杂，表面污泥较多，外形多样，这对激光照射无疑有着极大的影响，因此该方法需要预处理同样也增大了废杂塑料分类的成本。


技术实现要素：

6.针对现有的废杂塑料检测系统，本发明提供了一种基于改进的m2det检测方法，建立在基本的m2det方法之上，通过对m2det目标检测算法的多方面改进，使得改进算法能快速高效的适用于废杂塑料检测环境，同时针对废杂塑料的实际场景，进行算法的改进，进而提高对废杂塑料的检测精度和检测速度。而且本发明则无需高成本的预处理，仅仅只需要打散废杂塑料即可，同时适用范围更加广泛，并且本发明能够更好的识别遮挡情况下的目标类别。
7.本发明至少通过如下技术方案之一实现。
8.一种基于改进m2det的废杂塑料检测方法，包括以下步骤：
9.获取图像数据集，并对图像数据集进行数据增强预处理；
10.构建并训练基于改进m2det的目标检测模型；
11.使用训练好的目标检测模型检测塑料样品的种类。
12.进一步地，所述基于改进m2det的目标检测模型采用可变形卷积代替普通卷积，以解决目标尺寸差异较大的问题，采用resnext-101作为主干网络代替resnet-101以提高特征提取能力。
13.进一步地，主干网络采用vgg-16和resnext-101，并采用可变形卷积代替普通卷积，主干网络之后仍然采用原mlfpn结构并在损失函数中引入斥力损失。
14.进一步地，改进m2det的目标检测模型包括骨干网络、接在骨干网络之后的多级特征金字塔网络，所述多级特征金字塔网络以ssd的方式输出检测。
15.进一步地，述骨干网络包括第一特征融合模块、多个第二特征融合模块以及尺度特征聚合模块；
16.第一特征融合模块将不同深度和尺寸的特征图进行融合，得到统一尺度的基本特征；
17.堆叠多个细化u型模块和第二特征融合模块，每个细化u型模块产生多个不同尺寸的特征图，每个第二特征融合模块融合基本特征和上一个细化u型模块的输出，并给到下一个细化u型模块作为输入；
18.尺度特征聚合模块将不同细化u型模块的输出按尺度拼接，并经过注意力机制，最后输出特征金字塔。
19.进一步地，每个层级的输出如下公式所述；
20.21.其中表示第l层细化u型模块的第i大尺寸的特征图，x
base
表示基本特征图，t
l
表示第l个细化u型模块的函数，f表示特征融合模块ffm的函数。
22.进一步地，训练基于改进m2det的目标检测模型，包括以下步骤：
23.使用labelme软件对预处理后的数据集打标签，并划分训练集和测试集；
24.将训练集输入到基于改进m2det的目标检测模型中开启训练，得到最终的训练权重。
25.进一步地，将经过预处理的图像数据集划分为训练集、验证集和测试集，使用训练好的目标检测模型对测试集进行检测，并计算map和检测时间作为最终评价结果。
26.进一步地，所述预处理包括数据增强以及像素变换；
27.所述数据增强包括翻转、旋转、裁剪、缩放、平移、抖动；
28.像素变换包括加椒盐噪声、高斯噪声、进行高斯模糊、调整hsv对比度、调节亮度、饱和度、直方图均衡化、调整白平衡。
29.进一步地，所述预处理包括mosaic数据增强。
30.与现有的技术相比，本发明的有益效果为：
31.在目标检测识别的精度和速度上均得到了一定的提升，并且通过可变形卷积在原有的基础之上提升了有效感受野，最后在损失函数中引入了斥力损失有效减少被遮挡目标的漏检率，一定程度上解决了严重遮挡情况下的废杂塑料检测问题。
附图说明
32.图1为本发明实施例一种基于改进m2det的废杂塑料检测方法流程示意图；
33.图2为本发明实施例基于改进m2det的目标检测模型结构图；
34.图3为本发明实施例resnext-101块结构图。
具体实施方式
35.为使得本技术实施例的目的，技术方案和优点更加清楚，接下来将结合本发明的附图对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，均属于本发明保护的范围。
36.如图1所示的一种基于改进m2det的废杂塑料检测方法，包括如下步骤：
37.步骤s1、获取数据集：
38.本实施例的图片样本采集主要有两部分来源，第一部分为平时日常生活中线下所拍摄的图片；第二部分为网络爬虫软件在诸如淘宝、京东、百度和360浏览器等app上收集，并将爬虫所得的图片进行人为的清洗，筛去不符合标准的图片后共采集6230张图片，各类图片数目分别为，饮料瓶1704张，洗漱用品瓶1993张，利乐盒1226张，快递包装袋696张，一次性餐具盒611张。得到数据集之后，使用labelme软件对所有的数据集打标签。
39.步骤s2、为避免过拟合，提升模型鲁棒性和泛化能力。需要对数据集进行数据增强预处理，常用的传统数据增强方法主要有：翻转、旋转、裁剪、缩放、平移、抖动，像素变换方法：加椒盐噪声、高斯噪声、进行高斯模糊、调整hsv对比度、调节亮度、饱和度、直方图均衡化、调整白平衡等。
40.作为一种优选的实施例，除了传统的数据增强，还采用了是一种由cutmix改进而来的增强方法mosaic数据增强，cutmix数据增强在目标检测领域的做法是将一张训练图像随机粘贴另一张经过随机剪切与缩放后的图像，并处理好标签边界。先按索引获取第一张图像，再随机选取另外三张图像进行拼接，丰富了训练背景。由于模型大小以及显存限制的原因，模型训练时只能取较小训练图像批数，mosaic数据增强相当于一次性训练了四张图像，批数增加了三倍。既丰富了数据样本又类似于提高了训练批数，使用mosaic数据增强往往能实现稳定涨点。比起传统的数据增强更加强大有效。
41.作为一种优选的实施例，经过处理后的图像统一尺寸为320
×
320大小。
42.步骤s3、将经过预处理转换的废杂塑料图像数据集按7:1.5:1.5的比例随机划分为训练集、验证集和测试集，其中训练集用于寻找最优超参数，使用训练好的目标检测模型对测试集进行检测，并计算map和检测时间作为最终评价结果，map是一种平均精度均值，其同时考虑了模型的分类和定位精准程度，也是使用最为广泛的模型检测精度评价指标；而检测速度则通过衡量模型推理速度的指标fps(frame per second，每秒帧率)来检测，一般通过多次测量模型处理同一张图像所需时间换算而来。
43.步骤s4、对m2det模型进行改进得到基于改进m2det的目标检测模型：采用更深更宽的变体resnext-101作为主干网络代替resnet-101，能提高模型的特征提取能力和精度，resnext-101是resnet-101在宽度上的一个扩充，resnext在与resnet在相同参数个数的情况下，训练时前者错误率更低，但下降速度差不多，同时101层的resnext比200层的resnet的效果更好，在几种sota的模型上的表现，resnext准确率和性能等明显是要优于resnet；使用带有缩放系数的可变形卷积代替普通卷积，添加每个采样点的偏移量，然后利用反向传播算法迭代优化学习偏移量，以此提升卷积过程的有效感受野；在原有的损失函数的基础之上引入repulsion loss(斥力损失)，既可以减少预测框和真实框之间的损失，又可以增加预测框与其周围目标的真实框之间的损失，减少被遮挡目标的漏检率，使得目标检测器可以实现更高的检测精度。改进的m2det组成结构如下：主干网络采用vgg-16和resnext-101，主干网络之后仍然采用原mlfpn结构，并采用可变形卷积代替普通卷积，并在损失函数中引入斥力损失。
44.步骤s5、对得到基于改进m2det的目标检测模型进行迭代训练，首先将训练集输入到网络模型中开启训练，使用的训练设备是载有i9-10980xe的十八核cpu、48gb的显存和型号为rtx3090的2个nvidia显卡，操作系统为ubuntu的服务器，设置网络一共训练100轮，经过网络模型的结构训练得到最终的训练权重。
45.本发明使用了m2det作为基本的目标检测算法，以下简单说明m2det算法。
46.m2det是2019年北大发表在aaai上的文章，属于one-stage网络，为了更有效的解决目标检测中尺度多变带来的问题，它创造性的提出了一种更有效的特征金字塔结构—mlfpn结构。mlfpn是建立在fpn之上，将原本fpn框架中不同深度的层替换成一个小的fpn模块。与此同时还引入了se block，对不同深度的特征赋予了权重。
47.大致流程如图所示：首先，对主干网络提取到的特征进行融合；然后通过细化u形模块(tum)和特征融合模块(ffm)提取更有代表性的multi-level&mutli-scale特征；最后通过按比例缩放特征聚合模块(sfam)融合多级特征，得到多级特征金字塔用于最后的预测。
48.如图2所示，改进m2det的目标检测模型包括：
49.backbone(骨干网络)直接选用了vgg-16(视觉几何群网络)和resnet-101(深度残差神经网络)。mlfpn(多级特征金字塔网络)模块接在backbone之后，detection out(检测输出)用了ssd(single shot multibox detector)的方式。
50.首先，ffmv1(第一特征融合模块)子模块负责将backbone中不同深度和尺寸的feature maps(特征图)进行融合，得到一个统一尺度的base feature(基本特征)。
51.其次，堆叠多个tum(细化u型模块)和ffmv2(第二特征融合模块)，每个tum可以产生多个不同scale(尺寸)的feature map，每个ffmv2融合base feature和上一个tum的输出，并给到下一个tum作为输入(更高level)。每个level(层级)的输出如下公式所述；
[0052][0053]
其中表示第l层tum的第i大尺寸的特征图(按大小升序)，x
base
表示基本特征图，t
l
表示第l个tum处理过程，f表示ffm的处理过程。
[0054]
最后，sfam(尺度特征聚合模块)模块负责将不同tum模块的输出按尺度拼接，并经过一个se block(注意力机制，squeeze-and-excitation)，最后输出特征金字塔。m2det能够超过sota(目前行业最先进网络)的原因是mlfpn。一方面融合backbone中多层特征图作为基本特征，然后从基本特征中抽取出多层多级特征图用于目标检测比起fpn仅利用单层特征进行目标检测更具有代表性。既考虑到了特征图的感受野，也考虑到了不同层的语义信息。比起图像金字塔仅考虑scale层面，和比起特征分层仅考虑level层面，fpn和mlfpn要更加合理，但是fpn主要还是考虑scale层面，mlfpn兼顾了两者。
[0055]
但是现有的m2det模型还无法完全适用于废杂塑料检测场景，原因一是废杂塑料检测背景较为复杂，在实际应用场景中，即使经过初筛也会混入其他各种垃圾碎屑，同时废杂塑料也会存在损坏变形等，导致外观有时会发生较大的变化，难以检测，因此模型需要极优秀的特征提取能力；原因二是有些类别的废杂塑料外形差距较大，多尺度问题导致模型泛化能力不够，使得检测效果较差；原因三是废杂塑料难免会出现相互遮挡的问题而导致模型识别出现误差。
[0056]
步骤s6、测试模型，使用训练好的模型预测测试集中样本的种类，并计算map和fps作为最终评价结果。
[0057]
步骤s7、通过训练好的目标检测模型识别废杂塑料的种类。将训练之后的权重文件导入预测代码，预测代码对废杂塑料进行实时检测。
[0058]
本发明为了提高模型在复杂分选背景下的特征提取能力，采用更深更宽的变体resnext-101作为主干网络代替resnet-101。resnext-101引入了inception的多支路思想，把resnet-101的单个卷积改成了多支路的卷积，如图3所示resnext的块结构图：将输入通道数缩小到4个通道，然后在不改变通道数量的情况下接3
×
3的卷积，最后将通道数恢复到256。然后对32个分支的输出张量进行求和,最后利用跨层连接将输入添加到结果中来。resnext-101在保持高可移植性的同时，也继续提高了精度。m2det自身的mlfpn已经能有效解决多尺度问题，为了更加精确，本发明使用带有缩放系数的可变形卷积代替普通卷积，添加每个采样点的偏移量，然后利用反向传播算法迭代优化学习偏移量，以此提升卷积过程
的有效感受野。本发明在原有的损失函数中使用repulsion loss(斥力损失)，减少被遮挡目标的漏检率。
[0059]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于改进m2det的废杂塑料检测方法，其特征是，包括以下步骤：获取图像数据集，并对图像数据集进行数据增强预处理；构建并训练基于改进m2det的目标检测模型；使用训练好的目标检测模型检测塑料样品的种类。2.如权利要求1中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，所述基于改进m2det的目标检测模型采用可变形卷积代替普通卷积，以解决目标尺寸差异较大的问题，采用resnext-101作为主干网络代替resnet-101以提高特征提取能力。3.如权利要求1中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，主干网络采用vgg-16和resnext-101，并采用可变形卷积代替普通卷积，主干网络之后仍然采用原mlfpn结构并在损失函数中引入斥力损失。4.如权利要求1中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，改进m2det的目标检测模型包括骨干网络、接在骨干网络之后的多级特征金字塔网络，所述多级特征金字塔网络以ssd的方式输出检测。5.如权利要求4中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，述骨干网络包括第一特征融合模块、多个第二特征融合模块以及尺度特征聚合模块；第一特征融合模块将不同深度和尺寸的特征图进行融合，得到统一尺度的基本特征；堆叠多个细化u型模块和第二特征融合模块，每个细化u型模块产生多个不同尺寸的特征图，每个第二特征融合模块融合基本特征和上一个细化u型模块的输出，并给到下一个细化u型模块作为输入；尺度特征聚合模块将不同细化u型模块的输出按尺度拼接，并经过注意力机制，最后输出特征金字塔。6.如权利要求5中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，每个层级的输出如下公式所述；其中表示第l层细化u型模块的第i大尺寸的特征图，x
base
表示基本特征图，t
l
表示第l个细化u型模块的函数，f表示特征融合模块ffm的函数。7.如权利要求1中所述的一种基于改进m2det的废杂塑料检测方法，其特征是，训练基于改进m2det的目标检测模型，包括以下步骤：使用labelme软件对预处理后的数据集打标签，并划分训练集和测试集；将训练集输入到基于改进m2det的目标检测模型中开启训练，得到最终的训练权重。8.权利要求1中所述的一种基于基于改进m2det的废杂塑料检测方法，其特征是，将经过预处理的图像数据集划分为训练集、验证集和测试集，使用训练好的目标检测模型对测试集进行检测，并计算map和检测时间作为最终评价结果。9.权利要求1～8任一项所述中所述的一种基于基于改进m2det的废杂塑料检测方法，其特征是，所述预处理包括数据增强以及像素变换；所述数据增强包括翻转、旋转、裁剪、缩放、平移、抖动；像素变换包括加椒盐噪声、高斯噪声、进行高斯模糊、调整hsv对比度、调节亮度、饱和
度、直方图均衡化、调整白平衡。10.权利要求9中所述的一种基于基于改进m2det的废杂塑料检测方法，其特征是，所述预处理包括mosaic数据增强。

技术总结
本发明公开了一种基于改进M2Det的废杂塑料检测方法，所述的方法包括：通过相机实时采样和网络爬虫的方式收集多种废杂塑料数据；将原始图片随机划分为训练集、验证集和测试集；通过数据增强方法扩充已有数据集并获得大量数据；使用改进的M2Det算法建立废杂塑料的识别模型；采用可变形卷积代替普通卷积，采用ResNeXt-101作为主干网络代替ResNet-101来提高特征提取能力，建立最终检测模型；基于训练出的检测模型，通过相机拍摄图片得到最终的检测结果。本发明有效的解决了废杂塑料分选背景复杂的问题以及不同塑料外形差异大的问题，提高了检测多种常见废杂塑料物的识别精度，有助于实际生产应用。于实际生产应用。于实际生产应用。


技术研发人员：文生平 张豪 李建军
受保护的技术使用者：华南理工大学
技术研发日：2023.03.09
技术公布日：2023/7/18