表面浅弱划痕检测的多模态融合成像方法、系统和设备

1.本发明属于图像处理领域，具体涉及了一种表面浅弱划痕检测的多模态融合成像方法、系统和设备。


背景技术：

2.机械、光学等工业领域的零部件在制造、制备等加工成型过程中，其表面不可避免地会产生划痕等离散性的微观缺陷，严重影响工业零部件的服役性能和使用寿命。表面划痕，尤其是狭细窄长的弱划痕，作为工业表面最为典型的缺陷之一，如何对其进行准确而高效的检测，是工业领域极为重要但也极具挑战的课题。
3.随着数字成像技术和模式识别理论的快速发展，基于机器视觉的表面划痕检测方法得到了越来越多的关注。传统的机器视觉方法多采用白光照明和暗场成像，不同波长的散射光相互叠加，表面缺陷细节易被掩盖或产生模糊，特别对于弱划痕，难以保证采集到精准的划痕图像。
4.在建立高质量成像系统的同时，准确高效的划痕分割算法是提升工业表面划痕检测精度的又一关键环节。基于传统机器学习的检测算法很大程度上依赖于缺陷特征的手工构造，对于麻点、气泡等特征显著的缺陷检测效果较好，然而并不适用于工业表面狭细窄长的弱划痕。近年来，基于卷积神经网络的语义分割，不仅克服了传统检测方法特征提取的问题，还可提供缺陷的定位、轮廓等全面信息，在划痕检测领域广泛应用。但现有针对工业表面划痕的分割算法，由于暗场广谱照明存在散射光过度叠加而引发缺陷模糊的问题，其精细程度仍有待进一步提升。


技术实现要素：

5.为了解决现有技术中的上述问题，即现有技术中暗场广谱照明存在散射光过度叠加而引发缺陷模糊，获得的划痕精细度不足的问题，本发明提供了一种表面浅弱划痕检测的多模态融合成像方法，所述方法包括：
6.通过三基色分光的光源对待测零件进行三基色分光照明；
7.获取待测零件的表面缺陷图像；
8.基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型su-net，获取划痕分割图像；
9.所述基于编解码卷积神经网络的深度模型su-net，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建，通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。
10.在一些优选的实施方式中，所述三基色分光照明，具体包括：选用设定波长的三个基色光源分别从设定倾角向待测零件表面发出偏振光。
11.在一些优选的实施方式中，所述三个基色光源为环形布置。
12.在一些优选的实施方式中，所述偏振光，通过在led光源前添加设定的多光谱滤光片和偏振片获得。
13.在一些优选的实施方式中，所述获取待测零件的表面缺陷图像，通过依序朝向待测零件表面的cmos视觉传感器和设置于cmos视觉传感器前的显微放大镜组获取。
14.在一些优选的实施方式中，所述优化残差编码器模块，具体包括：
15.3个连续的第一卷积结构，当前第一卷积结构的输出端经由下采样部分连接下一级第一卷积结构的输入端，当前第一卷积结构的输出端同时通过残差连接的方式连接至三卷积解码器模块tcd的对应级输入端；最后一级第一卷积结构的输出端经由下采样部分连接串并联多尺度融合模块spmf的输入端；下采样部分为步长为2的卷积层；
16.每个第一卷积结构包括并联的一个1
×
1的卷积块和两个连续的3
×
3的卷积块；
17.其中每个卷积块包括卷积层conv、批处理归一化层bn和线性整流激活函数层relu；
18.通过卷积结构对缺陷图像进行分级编码和下采样部分进行下采样，获得表面缺陷图像的分级特征；
19.表面缺失图像的分级特征通过残差连接传输至三卷积解码器模块tcd的对应级输入端；
20.输出最后一级表面缺陷图像的分级特征，输入串并联多尺度融合模块spmf。
21.在一些优选的实施方式中，所述串并联多尺度融合模块spmf，包括：
22.扩空洞卷积块、四个并联的卷积分支和融合卷积层；
23.四个并联的卷积分支，其中的三个卷积分支为扩张系数不同的3
×
3空洞卷积分支，按照扩张系数由大到小串联；一个为1
×
1的卷积分支；
24.四个并联的卷积分支的输出端共同连接至融合卷积层，融合卷积层为1
×
1的卷积层；
25.通过四个并联的卷积分支以不同尺度感受野的划痕特征，并将不同尺度的划痕特征通过融合卷积层进行特征融合获得融合后的划痕特征图，传输至三卷积解码器模块tcd的输入端。
26.在一些优选的实施方式中，所述三卷积解码器模块tcd，具体包括：
27.3个连续的第二卷积结构，每个第二卷积结构的输入端之前连接上采样部分，上采样部分包括步长为2的2
×
2转置卷积；
28.每个第二卷积结构包括三个连续的3
×
3卷积块；每个第二卷积结构的输入端通过残差连接的方式与优化残差编码器模块ore的对应级连接；
29.通过三卷积解码器模块tcd将融合后的划痕特征图和对应级的表面缺陷图像的分级特征进行分级解码，通过1
×
1的卷积层和softmax激活函数，获得划痕分割图像。
30.在一些优选的实施方式中，所述基于编解码卷积神经网络的深度模型su-net，其训练方法为：
31.将训练集图像输入初始的基于编解码卷积神经网络的深度模型su-net，输出训练集划痕分割图像；
32.基于所述训练集划痕分割图像计算加权交叉熵损失函数lw：
lw＝-[w
ij
t
ij
logy
ij
+(1-t
ij
)log(1-y
ij
)]
[0033]
其中，w
ij
表示权重系数，n表示整个图像的像素数量，n
ij
表示像素点i属于j类的像素数，t
ij
表示样本标签，log表示以e为底的自然对数，y
ij
表示像素i被模型预测为j类的概率，如果像素点i属于j类y
ij
取值为1，否则y
ij
取值为0。
[0034]
本发明的另一方面，提出了一种表面浅弱划痕检测的多模态融合成像系统，所述系统包括：
[0035]
亮场单元，配置为通过三基色分光的光源对待测零件进行三基色分光照明；
[0036]
图像获取单元，配置为获取待测零件的表面缺陷图像；
[0037]
划痕分割图像获取单元，配置为基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型su-net，获取划痕分割图像；
[0038]
所述基于编解码卷积神经网络的深度模型su-net，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建，通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。
[0039]
本发明的第三方面，提出一种电子设备，其特征在于，包括：
[0040]
至少一个处理器；以及
[0041]
与至少一个所述处理器通信连接的存储器；其中，
[0042]
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的表面浅弱划痕检测的多模态融合成像方法。
[0043]
本发明的有益效果：
[0044]
(1)本发明首先构建了一套多模态融合成像的工业表面缺陷检测系统，采用实际工业场景中较为常见的亮场成像环境，并使用三基色光与偏振光多模态融合的成像方式，以离散的三基色光代替连续波长的白光，在保证彩色成像的同时保留并突出更多的划痕细节，并采用偏振滤光以减弱或消除工业表面的杂散反光，提升亮场图像的清晰度与对比度。
[0045]
(2)本发明提出的su-net模型优于同类深度学习算法，具有良好的分割性能和计算效率。
[0046]
(3)本发明一种基于编解码卷积神经网络的深度模型su-net，可实现准确而高效的工业表面弱划痕分割，并适应多道微弱划痕或擦痕的分割场景。
附图说明
[0047]
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
[0048]
图1是本发明实施例中表面浅弱划痕检测的多模态融合成像方法的流程示意图；
[0049]
图2是本发明实施例中光源和图像采集设备设置示意图；
[0050]
图3是本发明实施例中基于编解码卷积神经网络的深度模型su-net的结构示意图；
[0051]
图4是本发明与其他同类算法的效果对比图；
[0052]
图5是本发明基于编解码卷积神经网络的深度模型su-net各个阶段图像的效果示意图。
具体实施方式
[0053]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0054]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0055]
为了更清晰地对本发明表面浅弱划痕检测的多模态融合成像方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
[0056]
针对现有技术中的测量精度较低的问题，本发明首先采用实际工业场景中更易实现的亮场成像环境，并使用三基色光与偏振光多模态融合的成像方式，以离散的三基色光代替连续波长的白光，有效避免暗场广谱照明存在散射光过度叠加而引发缺陷模糊的问题，在保证彩色成像的同时保留并突出更多的划痕细节，并采用偏振滤光以减弱或消除工业表面的杂散反光，提升亮场图像的清晰度与对比度。在此基础上，针对工业表面多道微弱划痕或擦痕的情况，设计了基于u形编解码器的深度模型(scratch-oriented u-shape encoder-decoder network，su-net)，该模型通过优化残差编码器、串并联多尺度融合模块、三卷积解码器的联合使用，实现了准确而高效的工业表面弱划痕分割。
[0057]
本发明第一实施例的表面浅弱划痕检测的多模态融合成像方法，包括步骤s100-步骤s300，各步骤详细描述如下：
[0058]
步骤s100，通过三基色分光的光源对待测零件进行三基色分光照明。
[0059]
在本实施例中，所述三基色分光照明，具体包括：选用设定波长的三个基色光源分别从设定倾角向待测零件表面发出偏振光。所述三个基色光源为环形布置。所述偏振光，通过在led光源前添加设定的多光谱滤光片和偏振片获得。
[0060]
步骤s200，获取待测零件的表面缺陷图像。在本实施例中，通过依序朝向待测零件表面的cmos视觉传感器和设置于cmos视觉传感器前的显微放大镜组获取。与传统的暗场显微镜成像系统相比，本发明在亮场环境下使用rgb三基色窄带滤光片和偏振片，搭建了如图2所示的工业表面缺陷的多模态融合成像装置。在图2中，三个环形布置的led光源在常规环境下斜射到待测零件表面，表面缺陷处的出射光经显微放大镜组即远心微距变倍镜头，汇聚到cmos视觉传感器，形成表面缺陷图像。实验中所用led光源为常见的连续白光谱，为避免不同波长散射光过度叠加引发的缺陷成像模糊问题，同时又保证彩色成像且保留足够细节，本发明利用相应的窄带滤光片对三个led光源进行滤光，实现波长700.0nm、546.1nm和435.8nm的rgb三基色分光照明。同时，采用线偏的偏振片作为起偏器和检偏器，以减弱或消除工业表面的杂散反光，实现了提升亮场图像的清晰度与对比度的有益效果。考虑到成像系统联合使用窄带滤光片及偏振片获取图像，二者的位置为首要考虑的问题。窄带滤光片放置在光源出口位置的照明光路中。偏振片的检偏器放置于cmos前的成像光路中。偏振片的起偏器同样放置在照明光路，且选取75
°
偏振角，以更好地滤除杂散光，使缺陷区域和背
景区域的对比度更高。同时，为得到更高的缺陷像素强度和更丰富的划痕图像细节，将起偏器放置在窄带滤光片之后。与传统的暗场白光成像系统进行对比(相同系统设置但移除滤光片与偏振片)，本发明提出的多模态融合成像系统，可采集到对比度更高、细节更丰富的弱划痕图像，且缺陷信息集中、连贯，杂散光的干扰更少，能够支持更加精确的后续弱划痕分割。
[0061]
步骤s300，基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型su-net，获取划痕分割图像。
[0062]
所述基于编解码卷积神经网络的深度模型su-net，其具体结构如图3所示，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建。
[0063]
通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。
[0064]
在本实施例中，所述优化残差编码器模块，具体包括：
[0065]
3个连续的第一卷积结构，当前第一卷积结构的输出端经由下采样部分连接下一级第一卷积结构的输入端，当前第一卷积结构的输出端同时通过残差连接的方式连接至三卷积解码器模块tcd的对应级输入端；最后一级第一卷积结构的输出端经由下采样部分连接串并联多尺度融合模块spmf的输入端；下采样部分为步长为2的卷积层，避免池化引发的小目标特征信息丢失的问题。其中每个卷积层的填充方式采用边缘镜像填充。
[0066]
每个第一卷积结构包括并联的一个1
×
1的卷积块和两个连续的3
×
3的卷积块；
[0067]
其中每个卷积块包括卷积层conv、批处理归一化层bn和线性整流激活函数层relu；
[0068]
通过卷积结构对缺陷图像进行分级编码和下采样部分进行下采样，获得表面缺陷图像的分级特征；
[0069]
表面缺失图像的分级特征通过残差连接传输至三卷积解码器模块tcd的对应级输入端；
[0070]
输出最后一级表面缺陷图像的分级特征，输入串并联多尺度融合模块spmf。
[0071]
工业表面的划痕缺陷通常具有狭长、浅弱的形态特点，其长宽方向的尺度差异很大，其分割势必需要融合多尺度信息。
[0072]
在本实施例中，所述串并联多尺度融合模块spmf，包括：
[0073]
扩空洞卷积块、四个并联的卷积分支和融合卷积层；
[0074]
四个并联的卷积分支，其中的三个卷积分支为扩张系数不同的3
×
3空洞卷积分支，如扩张系数为3、5、7，，按照扩张系数由大到小串联，通过不同扩张系数的空洞卷积实现不同尺度的感受野。一个为1
×
1的卷积分支；
[0075]
四个并联的卷积分支的输出端共同连接至融合卷积层，融合卷积层为1
×
1的卷积层；
[0076]
通过四个并联的卷积分支以不同尺度感受野的划痕特征，并将不同尺度的划痕特征通过融合卷积层进行特征融合获得融合后的划痕特征图，传输至三卷积解码器模块tcd的输入端。。得益于串并联相结合的稠密连接结构，spmf模块具有更大感受野，能够提取更
多的上下文信息、融合更多尺度的划痕特征，将包含更丰富细节的特征图输送给解码模块。
[0077]
在本实施例中，所述三卷积解码器模块tcd，具体包括：
[0078]
3个连续的第二卷积结构，每个第二卷积结构的输入端之前连接上采样部分，上采样部分包括步长为2的2
×
2转置卷积；上采样部分用以恢复特征图的尺度，将编码器路径的划痕浅层信息，如位置、轮廓等引入解码器路径，指导划痕区域的分割。
[0079]
每个第二卷积结构包括三个连续的3
×
3卷积块；每个第二卷积结构的输入端通过残差连接的方式与优化残差编码器模块ore的对应级连接；
[0080]
通过三卷积解码器模块tcd将融合后的划痕特征图和对应级的表面缺陷图像的分级特征进行分级解码，通过1
×
1的卷积层和softmax激活函数，获得划痕分割图像。
[0081]
本实施例中的基于编解码卷积神经网络的深度模型su-net各个阶段中的图像效果如图5所示，从算法角度看，su-net模型的测试过程可分为切片-预测-拼接三个阶段，对由高分辨率的切分为512
×
512的低分辨率图像进行划痕区域预测及拼接。
[0082]
在本实施例中，所述基于编解码卷积神经网络的深度模型su-net，其训练方法为：
[0083]
将训练集图像输入初始的基于编解码卷积神经网络的深度模型su-net，输出训练集划痕分割图像；
[0084]
基于所述训练集划痕分割图像计算加权交叉熵损失函数lw：lw＝-[w
ij
t
ij
logy
ij
+(1-t
ij
)log(1-y
ij
)]
[0085]
其中，w
ij
表示权重系数，n表示整个图像的像素数量，n
ij
表示像素点i属于j类的像素数，t
ij
表示样本标签，log表示以e为底的自然对数，y
ij
表示像素i被模型预测为j类的概率，如果像素点i属于j类y
ij
取值为1，否则y
ij
取值为0。加权交叉熵损失函数能够很好的解决图像背景和划痕的像素占比差距过大导致的类不平衡问题。
[0086]
本发明采用像素准确率(pixel accuracy，pa)、平均像素准确率(mean pixel accuracy，mpa)、平均交并比(mean intersection over union，miou)、频率加权交并比(frequency weighted intersection over union，fwiou)以及平均边缘f1得分(mean boundary f1 score，mbf1)作为工业表面划痕分割的评价指标。
[0087]
其中，pa代表正确分类的像素与总像素的比率；miou是所有类交集并集之比的平均值；fwiou则是在miou的基础上，根据每一类的出现频率为其设置权重，衡量其加权的交集并集之比；mbf1是所有类的预测边界与真实边界的对齐程度得分的平均值。对于本发明的划痕分割任务，类别数为2，分别对应划痕与背景。每个指标的数值越高，代表模型的分割性能越好。其具体公式如下：性能越好。其具体公式如下：性能越好。其具体公式如下：
[0088]
其中，tp和tn分别表示正确分类的正样本和负样本像素的数量。fp和fn分别表示被错误分类的正样本和负样本像素的数量。
[0089]
将本实施例提出的su-net获取的划痕分割图像与现有技术中的u-net、segnet、deeplab v3+等同类算法在相同实验环境下进行定性与定量比较，各项评价指标如表1所示：
[0090]
表1模型对比结果
[0091]
可以看出，本发明提出的su-net在pa达到了99.1％，miou达到了79.6％，fwiou达到了98.6％，mbf1达到了97.8％，分割精度指标均高于同类算法，尤其miou较deeplab v3+提升了3.3％，同时具有更少的模型参数，模型大小低至58mb，综合检测效果明显更优。
[0092]
将本实施例提出的su-net获取的划痕分割图像与现有技术中的u-net、segnet、deeplab v3+等同类算法在相同实验环境下进行定性与定量比较，如图4所示，对于工业表面的浅弱划痕，u-net的分割效果较为粗糙、轮廓较不准确，而segnet与deeplab v3+虽然可以相对精细地分割出划痕轮廓，但准确性和精细程度仍旧不足。相比之下，su-net的划痕分割结果更接近真实值，在轻量的同时具有更好的分割效果，更加满足工业表面弱划痕准确而高效的检测需求。
[0093]
针对工业表面多道微弱划痕或擦痕的情况，本发明继续设计了基于u形编解码器的深度卷积神经网络模型su-net，通过ore模块增强编码部分的特征提取能力；通过spmf模块串、并联不同的感受野更好的获取上下文的信息；最后通过tcd模块生成与原始输入图像相同大小的划痕分割图。
[0094]
实验结果证明，su-net模型优于同类深度学习算法，具有良好的分割性能和计算效率。
[0095][0096]
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
[0097]
本发明第二实施例的表面浅弱划痕检测的多模态融合成像系统，所述系统包括：
[0098]
亮场单元，配置为通过三基色分光的光源对待测零件进行三基色分光照明；
[0099]
图像获取单元，配置为获取待测零件的表面缺陷图像；
[0100]
划痕分割图像获取单元，配置为基于所述表面缺陷图像，通过基于编解码卷积神
经网络的深度模型su-net，获取划痕分割图像；
[0101]
所述基于编解码卷积神经网络的深度模型su-net，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建，通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。
[0102]
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0103]
需要说明的是，上述实施例提供的表面浅弱划痕检测的多模态融合成像系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0104]
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0105]
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0106]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0107]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0108]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.一种表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述方法包括：通过三基色分光的光源对待测零件进行三基色分光照明；获取待测零件的表面缺陷图像；基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型su-net，获取划痕分割图像；所述基于编解码卷积神经网络的深度模型su-net，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建，通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。2.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述三基色分光照明，具体包括：选用设定波长的三个基色光源分别从设定倾角向待测零件表面发出偏振光。3.根据权利要求2所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述偏振光，通过在led光源前添加设定的多光谱滤光片和偏振片获得。4.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述获取待测零件的表面缺陷图像，通过依序朝向待测零件表面的cmos视觉传感器和设置于cmos视觉传感器前的显微放大镜组获取。5.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述优化残差编码器模块，具体包括：3个连续的第一卷积结构，当前第一卷积结构的输出端经由下采样部分连接下一级第一卷积结构的输入端，当前第一卷积结构的输出端同时通过残差连接的方式连接至三卷积解码器模块tcd的对应级输入端；最后一级第一卷积结构的输出端经由下采样部分连接串并联多尺度融合模块spmf的输入端；下采样部分为步长为2的卷积层；每个第一卷积结构包括并联的一个1
×
1的卷积块和两个连续的3
×
3的卷积块；其中每个卷积块包括卷积层conv、批处理归一化层bn和线性整流激活函数层relu；通过卷积结构对缺陷图像进行分级编码和下采样部分进行下采样，获得表面缺陷图像的分级特征；表面缺失图像的分级特征通过残差连接传输至三卷积解码器模块tcd的对应级输入端；输出最后一级表面缺陷图像的分级特征，输入串并联多尺度融合模块spmf。6.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述串并联多尺度融合模块spmf，包括：扩空洞卷积块、四个并联的卷积分支和融合卷积层；四个并联的卷积分支，其中的三个卷积分支为扩张系数不同的3
×
3空洞卷积分支，按照扩张系数由大到小串联；一个为1
×
1的卷积分支；四个并联的卷积分支的输出端共同连接至融合卷积层，融合卷积层为1
×
1的卷积层；通过四个并联的卷积分支以不同尺度感受野的划痕特征，并将不同尺度的划痕特征通过融合卷积层进行特征融合获得融合后的划痕特征图，传输至三卷积解码器模块tcd的输
入端。7.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述三卷积解码器模块tcd，具体包括：3个连续的第二卷积结构，每个第二卷积结构的输入端之前连接上采样部分，上采样部分包括步长为2的2
×
2转置卷积；每个第二卷积结构包括三个连续的3
×
3卷积块；每个第二卷积结构的输入端通过残差连接的方式与优化残差编码器模块ore的对应级连接；通过三卷积解码器模块tcd将融合后的划痕特征图和对应级的表面缺陷图像的分级特征进行分级解码，通过1
×
1的卷积层和softmax激活函数，获得划痕分割图像。8.根据权利要求1所述的表面浅弱划痕检测的多模态融合成像方法，其特征在于，所述基于编解码卷积神经网络的深度模型su-net，其训练方法为：将训练集图像输入初始的基于编解码卷积神经网络的深度模型su-net，输出训练集划痕分割图像；基于所述训练集划痕分割图像计算加权交叉熵损失函数l
w
：l
w
＝-[w
ij
t
ij
logy
ij
+(1-t
ij
)log(1-y
ij
)]其中，w
ij
表示权重系数，n表示整个图像的像素数量，n
ij
表示像素点i属于j类的像素数，t
ij
表示样本标签，log表示以e为底的自然对数，y
ij
表示像素i被模型预测为j类的概率，如果像素点i属于j类y
ij
取值为1，否则y
ij
取值为0。9.一种表面浅弱划痕检测的多模态融合成像系统，其特征在于，所述系统包括：亮场单元，配置为通过三基色分光的光源对待测零件进行三基色分光照明；图像获取单元，配置为获取待测零件的表面缺陷图像；划痕分割图像获取单元，配置为基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型su-net，获取划痕分割图像；所述基于编解码卷积神经网络的深度模型su-net，基于优化残差编码器模块ore、串并联多尺度融合模块spmf和三卷积解码器模块tcd构建，通过优化残差编码器模块ore编码获得表面缺陷图像的分级特征，通过串并联多尺度融合模块spmf将表面缺陷图像的特征进行不同尺度感受野的划痕特征提取并进行划痕特征图融合获得融合后的划痕特征图，通过三卷积解码器模块tcd将融合后的划痕特征图解码获得划痕分割图像。10.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的表面浅弱划痕检测的多模态融合成像方法。

技术总结
本发明属于图像处理领域，具体涉及了一种表面浅弱划痕检测的多模态融合成像方法、系统和设备，旨在解决现有技术中暗场广谱照明存在散射光过度叠加而引发缺陷模糊，获得的划痕精细度不足的问题。本发明包括：通过三基色分光的光源对待测零件进行三基色分光照明；获取待测零件的表面缺陷图像；基于所述表面缺陷图像，通过基于编解码卷积神经网络的深度模型SU-Net，获取划痕分割图像。本发明提出的SU-Net模型优于同类深度学习算法，具有良好的分割性能和计算效率，可实现准确而高效的工业表面弱划痕分割，并适应多道微弱划痕或擦痕的分割场景。割场景。割场景。


技术研发人员：梁晓 孙晶爽 王雪玮 甄汉岑 张宇 郭京波
受保护的技术使用者：石家庄铁道大学
技术研发日：2023.04.17
技术公布日：2023/7/12