基于多模态图像识别的木板等级分类及切割方法与系统与流程

1.本公开涉及机器学习技术领域，具体涉及一种基于多模态图像识别的木板等级分类及切割方法与系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.在木板加工行业，木板缺陷剔除和木板等级分类是不可或缺的重要环节，二者的工作效率和准确程度直接关系到木料出材率，但是当前木板分级和切割过程中，并未完实现自动化，而是首先将木头切成木板，如果木板中有很多缺陷，则淘汰，否则对木板进行分级。最后对木板进行自动化切割，得到最大面积的板材。现在一般是使用人工标定切割位置，在整个木板分级和木板切割过程中，需要较多的工人进行人工操作、效率低、成本高，且工人培养的周期比较长。


技术实现要素：

4.本公开为了解决上述问题，提出了一种基于多模态图像识别的木板等级分类及切割方法与系统，将木板进行自动分级和自动划分切割区域，提高木材分级效率和出材率。
5.根据一些实施例，本公开采用如下技术方案：
6.基于多模态图像识别的木板等级分类及切割方法，包括：
7.获取待处理木板图像，并对所述木板图像进行预处理；
8.检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；
9.对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。
10.根据一些实施例，本公开采用如下技术方案：
11.基于多模态图像识别的木板等级分类及切割系统，包括：
12.木板图像预处理模块，用于获取待处理木板图像，并对所述木板图像进行预处理；
13.木板遮挡区域处理模块，用于检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；
14.木板分级模块，用于对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；
15.木板分割模块，用于对分级之后的非缺陷木板进行最大内接矩形算法计算，得到
木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。
16.根据一些实施例，本公开采用如下技术方案：
17.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多模态图像识别的木板等级分类及切割方法。
18.根据一些实施例，本公开采用如下技术方案：
19.一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多模态图像识别的木板等级分类及切割方法。
20.与现有技术相比，本公开的有益效果为：
21.本公开的方法可以快速找到图像定位点并根据定位点对木板进行粗定位，减少其他区域对后续流程的干扰。此外，如果连续多次查找不到定位点则提示清洁定位点；可以快速去除木板图像中的遮挡位置，减少后续流程中对图像切割位置的影响；可以快速实现木板的分级区分；使用多种算法准确的提供切割位置，在木材加工领域实现对木板图像进行全流程、全自动化的处理方法，可以极大的减少人工操作步骤，增加木板的分级效率和出材率。
附图说明
22.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
23.图1为本公开实施例的功能模块图；
24.图2为本公开的木板设备示意图；
25.图3为本公开的方法流程图。
具体实施方式：
26.下面结合附图与实施例对本公开作进一步说明。
27.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
28.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
29.实施例1
30.本公开的一种实施例中提供了一种基于多模态图像识别的木板等级分类及切割方法，包括：
31.步骤一：获取待处理木板图像，并对所述木板图像进行预处理；
32.步骤二：检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；
33.步骤三：对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，其中主要是使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。
34.作为一种实施例，步骤一中，获取待处理木板图像，并对所述木板图像进行预处理操作，包括对工业相机拍摄获取的木板图像，进行图像预处理，分别对图像进行灰度化、二值化、形态学处理；
35.具体的，通过接口获取工业相机拍摄的木板图像后，首先对木板图像进行灰度化操作，得到两通道的灰度图像；再对灰度图像进行固定阈值的二值化操作，得到二值化图像；最后使用开闭运算去除二值化图像中的噪点。
36.对图像进行灰度化、二值化后，由于定位点和木板拍摄图像亮度很高，在二值化处理时，通过提高二值化阈值可以去除一般背景的干扰。接着使用霍夫变换对二值化图像检测圆形定位点，具体的，在步骤二中，获取切割的木板的粗定位图像的方法包括：
37.使用霍夫变换检测木板切割的圆形定位点，其中通过控制圆形之间的距离、圆形的最小半径、圆形的最大半径，基于梯度的参数控制图像中检测出的圆形定位点。
38.基于梯度的参数控制包括：若检测出的圆形定位点的数量符合设置的阈值数量，则依次计算邻近圆形定位点的角度，如果圆形定位点角度均在阈值内，则正常；若检测出的圆形定位点的数量小于阈值数量，则提示清洁圆形定位点，若大于阈值数量，则调试相机参数，记录当前挡板位置。
39.具体的，使用霍夫变换对二值化图像检测圆形定位点，其中通过控制圆形之间的距离、圆形的最小半径、圆形的最大半径、基于梯度的检测方法等参数控制二值化图像中检测出的圆形定位点。如果检测到的定位点数量等于4个，则依次计算邻近定位点的角度，如果定位点角度均在阈值内，则正常，否则需要提示异常。如果检测的定位点数量小于4个，则提示工控系统清洁定位点。如果检测的定位点数量大于4个，则且向工控系统提示异常并记录。此外，通过设置相机参数和工控软件的调试，可以记录得到下挡板的位置。
40.在经过工控系统及相机的调试之后，在正常使用过程中，运行稳定，定位点的获取十分准确。本模块结束后，主要记录定位点和下挡板的位置，并根据位置对木板图像切分得到木板的粗定位图像，目的是为了降低周围复杂背景对后续处理流程中的干扰。
41.由于切割器具对木板的遮挡，工业相机拍摄的木板图像上下存在遮挡，如图2中左压板和右压板处，木板遮挡区域处理模块自动去除遮挡的影响，根据木板走势自动将遮挡区域进行置白处理，得到遮挡区域的位置信息和木板遮挡处置白之后的图像。下挡板和左
右压板是起到固定木板的作用，上面四个定位点可以起到协助固定木板的作用和便于图像算法定位到木板的作用。
42.具体的，针对得到的木板的粗定位图像，根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像的过程为：根据木板圆形定位点的位置信息进行垂直方向投影，得到遮挡区域在图像中x轴方向的起始位置和结束位置；然后对截取的粗定位图像进行水平方向投影，得到y轴方向的起始位置和结束位置，最终得到遮挡区域的掩膜图像，然后根据木板走势将遮挡区域进行置白处理，得到遮挡区域的位置信息和木板遮挡处置白之后的图像。
43.首先根据位置信息对遮挡区域分别截取附近区域得到图像i_cut，对图像i_cut进行灰度化、二值化处理；再对二值化图像进行垂直方向投影，得到遮挡区域在图像中x轴方向的起始位置x_start和结束位置x_end；然后对截取的二值化图像进行水平方向投影，得到y轴方向的起始位置y_start和结束位置y_end，最终得到遮挡区域的掩膜图像，将原图像中的掩膜位置进行补白处理。
44.该步骤可以防止遮挡区域在木板分级和木板切割过程中的干扰，最终得到遮挡区域的位置(x_start,x_end,y_start,y_end)和木板遮挡处置白之后的图像。
45.对于一根木板，缺陷是最先被处理的部分。缺陷主要包括节疤、变色、虫眼、腐朽等，其存在会降低木板局部强度，增加木板开裂概率。所谓多模态图像识别技术，就是指融合或整合多种图像特征，利用不同图像识别技术的特点和各自独特的优势，并结合融合技术，使得木板分级的过程更加准确，从而提高系统的整体性能。使用图像处理技术和人工设定的一些提取特征规则，并使用机器学习方法对提取的特征进行木板等级分类，将木板图像分为是否有缺陷、直纹木板，非直纹木板3个等级。
46.作为一种实施例，木板分级的过程包括：
47.首先对得到的遮挡区域置白之后的图像，分别计算需要提取的木板特征，这些特征主要包括木板宽度、木板高度、木板面积、木板平均像素值、木板内圆形总面积、木板内圆形个数、木板整体弯曲程度、木板切面宽度差、纹路弯曲程度及对应的纹路数量、纹路间距、纹路数量、横向投影直方图、纵向投影直方图等，将以上特征进行归一化处理构成一个特征向量，使用构造的数据集和svm算法对特征向量进行分类，最终得到有缺陷、直纹木板、非直纹木板三类图像。
48.对于一个三分类问题，使用one-vs-all策略训练训练3个svm模型，每个模型对应一个类别和其他所有类别的组合。
49.具体说：对于第1个类别，将第1个类别的样本标记为正样本，将其他2个类别的样本标记为负样本，然后训练一个svm模型。对于第2个类别，将第2个类别的样本标记为正样本，将其他2个类别的样本标记为负样本，然后训练第二个svm模型。以此类推，对于第3个类别，将第3个类别的样本标记为正样本，将其他2个类别的样本标记为负样本，然后训练第3个svm模型。
50.作为一种实施例，木板切割的过程包括：
51.对于分级之后的木板，使用两种方法得到切割面积，通过比较两种不同方法的差值，找出最合理的切割方案，使木板切割面积最准确，得到更大的出材率，最终输出木板图像中的切割位置。
52.在工控条件下，木板图像的拍摄质量很高。对于得到的非缺陷木板进行切割位置的确定。首先使用方法1，所述方法1为传统图像处理算法，对粗定位的去除遮挡区域影响的木板图像，进行最大内接矩形算法计算，得到木板区域内的最大切割面积s1，进而得到切割位置；再使用方法2，即mask r-cnn算法，使用改进的mask r-cnn算法实现木板的实例分割，其中主要是使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息。主要是通过方法1和人工标注得到数据集，训练模型收敛之后，使用该模型可以得到木板图像的掩膜。对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积s2。如果两种方法得到的面积差小于阈值t1，则使用方法1中的切割位置，方法1中，使用以上步骤可得到一个二值化木板的图像，其中木板切面为白色，背景为黑色，对二值化图像求最大内接矩形，得到4个矩形顶点，顶点即切割位置；如果大于阈值t1且小于阈值t2，再判定木板掩膜图像区域平均灰度小、边缘弯曲程度大、空洞多，则使用方法2的切割位置，方法2得到切割位置与方法1相同，两个方法不同的是得到木板边缘图像的处理过程不同，方法1采用传统图像处理方法，方法2使用深度学习模型对图像中的像素点进行分类是否属于木板。两种方法最终得到木板的二值化图像，最后采用最大内接矩方法得到顶点，为切割位置否则使用方法1的切割位置；如果两者面积差大于阈值t2，则返回异常，两种方法均不采用。
53.实施例2
54.本公开的一种实施例中提供了一种基于多模态图像识别的木板等级分类及切割系统，包括：
55.预处理模块，用于获取待处理木板图像，并对所述木板图像进行预处理；
56.木板分级模块，用于检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；
57.对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；
58.木板分割模块，用于对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，其中主要是使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。
59.实施例3
60.本公开的一种实施例中提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多模态图像识别的木板等级分类及切割方法的步骤。
61.实施例4
62.本公开的一种实施例中提供了一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多模态图像识别的木板等级分类及切割方法的步骤。
63.本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
64.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
65.上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

技术特征：
1.基于多模态图像识别的木板等级分类及切割方法，其特征在于，包括：获取待处理木板图像，并对所述木板图像进行预处理；检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。2.如权利要求1所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，所述预处理的方式包括：分别对图像进行灰度化、二值化、形态学处理。3.如权利要求1所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，所述获取切割的木板的粗定位图像的方法包括：使用霍夫变换检测木板切割的圆形定位点，其中通过控制圆形之间的距离、圆形的最小半径、圆形的最大半径，基于梯度的参数控制图像中检测出的圆形定位点。4.如权利要求3所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，基于梯度的参数控制包括：若检测出的圆形定位点的数量符合设置的阈值数量，则依次计算邻近圆形定位点的角度，如果圆形定位点角度均在阈值内，则正常；若检测出的圆形定位点的数量小于阈值数量，则提示清洁圆形定位点，若大于阈值数量，则调试相机参数，记录当前挡板位置。5.如权利要求1所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，所述根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像的过程为：根据木板圆形定位点的位置信息进行垂直方向投影，得到遮挡区域在图像中x轴方向的起始位置和结束位置；然后对截取的粗定位图像进行水平方向投影，得到y轴方向的起始位置和结束位置，最终得到遮挡区域的掩膜图像，然后根据木板走势将遮挡区域进行置白处理，得到遮挡区域的位置信息和木板遮挡处置白之后的图像。6.如权利要求1所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，木板的缺陷类型包括结疤、变色、虫眼以及腐朽，分为是否有缺陷、直纹木板以及非直纹木板三个等级。7.如权利要求1所述的基于多模态图像识别的木板等级分类及切割方法，其特征在于，木板特征包括木板宽度、木板高度、木板面积、木板平均像素值、木板内圆形总面积、木板内圆形个数、木板整体弯曲程度、木板切面宽度差、纹路弯曲程度及对应的纹路数量、纹路间距、纹路数量、横向投影直方图、纵向投影直方图。8.基于多模态图像识别的木板等级分类及切割系统，其特征在于，包括：木板图像预处理模块，用于获取待处理木板图像，并对所述木板图像进行预处理；木板遮挡区域处理模块，用于检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；木板分级模块，用于对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量
机进行分类，获取分级类型；木板切割模块，用于对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的mask r-cnn算法，其中主要是使用resnest网络替换mask r-cnn的骨干网络，增强特征的表征能力，使得网络能够更好地捕捉木板的局部和全局信息，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于多模态图像识别的木板等级分类及切割方法。10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于多模态图像识别的木板等级分类及切割方法。

技术总结
本公开提供了基于多模态图像识别的木板等级分类及切割方法与系统，涉及机器学习技术领域，方法包括对木板图像并进行预处理；检测木板切割的圆形定位点，获取切割的木板的粗定位图像；根据粗定位图像进行垂直方向投影，获取投影遮挡区域的掩膜图像；对掩膜图像进行木板特征提取，将提取的特征向量输入支持向量机进行分类，获取分级类型；对分级之后的非缺陷木板进行最大内接矩形算法计算，得到木板区域内的最大切割面积，进而得到切割位置，再使用改进的Mask R-CNN算法，对木板进行像素级的定位，接着进行最大内接矩形算法，得到木板区域内的最大切割面积，利用两者的面积差值与一定的阈值大小关系，确定切割方法进行木板的分割。本公开提高了木板的出材率。本公开提高了木板的出材率。本公开提高了木板的出材率。


技术研发人员：胡代国 宗云兵 谢玉鑫 刘栋 梁果敢 谢静
受保护的技术使用者：金现代信息产业股份有限公司
技术研发日：2023.03.20
技术公布日：2023/7/26