一种物体表面缺陷检测方法、装置、设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种物体表面缺陷检测方法、装置、设备及存储介质。


背景技术：

2.随着生活水平的提高和生产制造力技术的发展，人们对物体的生产质量提出了更高的要求。而物体表面的缺陷会直接影响到产品的使用和深加工的产品，给使用者和深加工用户都带来极大的损失，因此，如何对物体表面的缺陷进行准确检测显得的尤为重要。
3.目前，现有的物体表面缺陷检测方法通常采用的是基于光度立体视觉的缺陷检测方法，具体是先基于光度立体算法对物体所在图像进行求解得到相对深度图或其高斯曲率图像，然后再利用现有的视觉检测方法，对得到的求解结果进行检测，得到缺陷检测结果。但该缺陷检测方法通常仅能被应用在有限的检测场景，具有较大的局限性，缺乏通用性与泛化性，且得到的检测结果也不够准确。因此，如何提高对于物体表面缺陷的检测准确性，以提高检测效果是目前亟待解决的技术问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种物体表面缺陷检测方法、装置、设备及存储介质，能够有效提高对于物体表面缺陷的检测准确性，进而提高检测效果。
5.第一方面，本技术提供了一种物体表面缺陷检测方法，包括：获取待检测的目标图像；该目标图像为包含目标物体的图像；利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图；利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像；利用缺陷检测算法对该形状图像进行缺陷检测，得到目标图像中目标物体表面的缺陷检测结果。
6.第二方面，本技术实施例还提供了一种物体表面缺陷检测装置，包括：获取模块，用于获取待检测的目标图像；该目标图像为包含目标物体的图像；计算模块，用于利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图；处理模块，用于利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像；检测模块，用于利用缺陷检测算法对该形状图像进行缺陷检测，得到目标图像中目标物体表面的缺陷检测结果。
7.第三方面，本技术提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
8.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
9.第五方面，本技术提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
10.上述物体表面缺陷检测方法、装置、设备及存储介质，具有如下有益效果：本技术在对目标图像中目标物体表面进行缺陷检测时，首先是计算出目标图像中目标物体表面的法向图，然后再利用预设的图像后处理算子图对目标图像中目标物体表面的法向图进行处理，使得得到的形状图像中目标物体表面的缺陷特征更为显著，从而在利用缺陷检测算法对该形状图像进行缺陷检测时，能够有效提高缺陷检测结果的准确率。
附图说明
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1为本技术实施例提供的一种物体表面缺陷检测方法的流程示意图；图2为本技术实施例提供的目标图像的示例图之一；图3为本技术实施例提供的目标物体表面的法向图的示例图之一；图4为本技术实施例提供的利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像的过程示意图之一；图5为本技术实施例提供的形状图像的示例图之一；图6为本技术实施例提供的形状图像包含的缺陷区域的示例图之一；图7为本技术实施例提供的利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像的过程示意图之二；图8为本技术实施例提供的目标图像的示例图之二；图9为本技术实施例提供的目标物体表面的法向图的示例图之二；图10为本技术实施例提供的形状图像的示例图之二；图11为本技术实施例提供的形状图像包含的缺陷区域的示例图之二；图12为本技术实施例提供的形状图像的示例图之三；图13为本技术实施例提供的二值图像的示例图；图14为本技术实施例提供的新的二值图像的示例图；图15为本技术实施例提供的膨胀后的连通域的示例图；图16为本技术实施例提供的目标物体表面的缺陷检测结果的示例图；图17为本技术实施例提供的物体表面缺陷检测的整体过程示意图；图18为本技术实施例提供的一种物体表面缺陷检测装置的组成示意图；图19为本技术实施例提供的一种计算机设备的内部结构图；图20为本技术实施例提供的另一种计算机设备的内部结构图；图21为本技术实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
13.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
14.随着计算机技术，人工智能等科学技术的出现和发展，以及研究的深入，出现了基于光度立体视觉技术的物体表面缺陷检测技术。其中，光度立体视觉技术是一种通过输入多个不同方向光照的物体表面的二维（2d）成像，计算出物体表面几何（如表面法向量，表面深度等）的一种算法。它可以被应用于工业视觉检测，适用于细微缺陷在普通2d成像或目视不明显、缺陷角度/方向/厚度随机、且缺陷具有一定高度差的场景，是工业视觉检测的一项重要技术。
15.本技术的发明人在进行技术研究时发现，现有的物体表面缺陷检测方法通常采用的是基于光度立体视觉的缺陷检测方法，具体是先基于光度立体算法对物体所在图像进行求解得到相对深度图或其高斯曲率图像，然后再利用现有的视觉检测方法，对得到的求解结果进行检测，得到缺陷检测结果。但该缺陷检测方通常仅能被应用在有限的检测场景，具有较大的局限性，缺乏通用性与泛化性，且得到的检测结果也不够准确。
16.可见，如何提高对于物体表面缺陷的检测准确性，以提高检测效果是目前亟待解决的技术问题。
17.基于此，为解决上述缺陷，本技术提供了一种物体表面缺陷检测方法，首先计算出目标图像中目标物体表面的法向图，然后再利用预设的图像后处理算子图对目标图像中目标物体表面的法向图进行处理，使得得到的形状图像中目标物体表面的缺陷特征更为显著，从而在利用缺陷检测算法对该形状图像进行缺陷检测时，能够有效提高缺陷检测结果的准确率，进而获得更准确的目标物体表面的缺陷检测结果。
18.如图1所示，本技术实施例提供了一种物体表面缺陷检测方法，该方法包括以下步骤：s101：获取待检测的目标图像；其中，目标图像为包含目标物体的图像。
19.在本实施例中，将需要进行表面缺陷检测的任一物体定义为目标物体，并将目标物体所在图像定义为待检测的目标图像。需要说明的是，本实施例不限制目标图像的类型，比如，目标图像可以是由红（r）、绿（g）、蓝（b）三原色组成的彩色图像、也可以是灰度图像等，例如可将图2所示的图像作为目标图像。并且，本技术也不限制目标物体的具体内容，比如，目标物体可以是电池、铝板或皮革等。
20.可以理解的是，目标图像可以根据实际需要，通过拍照等方式获得，例如，目标图像可以利用手机摄像头拍摄到的方形电池的图像等。进一步的，在获取到目标图像后，可以利用本实施例提供的方案对该目标图像中的目标物体的表明进行缺陷检测处理，得到更为准确的检测结果。
21.s102：利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图。
22.在本实施例中，通过步骤s101获取到包含目标物体的待检测的目标图像后，为了能够更为有效的提高对于目标图像中目标物体表面进行缺陷检测的准确性，以提高检测效果，进一步的，可以利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图，用以执行后续步骤s103。其中，本技术对目标物体表面的法向图的表征方式不做限定，可根据实际情况来设定，优选的实现方式是，可以利用目标物体的表面法向量来表征目
标物体表面的法向图，具体表示如下：
23.其中，分别表示目标物体的表面法向量在x轴、y轴与z轴的向量数值。
24.s103：利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像。
25.在本实施例中，通过步骤s102得到目标物体表面的法向图（如目标物体的表面法向量n）后，为了能够更为有效的提高对于目标图像中目标物体表面进行缺陷检测的准确性，以提高检测效果，进一步的，可以利用预设的图像后处理算子图对目标物体表面的法向图进行图像处理，得到缺陷特征更为显著的形状图像，用以执行后续步骤s104。
26.其中，需要说明的是，本实施例对图像后处理算子图的具体内容不做限定，可根据实际情况和经验值进行预先设定。在一些实施例中，为了能够更准确的识别出各个场景下的物体表面缺陷，本实施例预先构建了后处理算子库，该后处理算子库中存储了各个场景下实现不同的后处理算子，且每个算子均是由函数构成。则图像后处理算子图可以是从该预先构建的后处理算子库中选择出的与目标物体表面缺陷所属场景相关的后处理算子搭建的，即，图像后处理算子图可以是由各种不同函数构成的算子的集合，以实现相关领域的新功能。
27.并且，本技术对目标物体表面缺陷所属场景不做限定，该场景可以是描述目标物体表面缺陷的详细属性的各个场景，如可以是表面缺陷纹理较为复杂的场景、或者缺陷较深或较浅的场景等。且各个场景相关的各个后处理算子可以相同也可以不同，仅需实现对应场景领域进行缺陷检测时所需的各个功能即可。例如，假设目标物体表面缺陷所属场景在进行缺陷检测时需要去噪功能，则可以采用后处理算子库中存储的该场景下实现去噪功能的双边滤波算子和对比度增强算子等进行去噪。
28.具体来讲，在一些实施例中，目标物体表面缺陷所属的场景可以是目标物体表面纹理复杂且有较多噪声、缺陷较宽且表面深度平缓，如线圈压印等。此时，需要图像后处理算子图具有较强的去噪能力，以提取出目标物体表面最显著的缺陷特征，因此，本实施例可以从预先构建的后处理算子库中选择法向图梯度算子、索贝尔（sobel）算子、双边滤波算子和对比度增强算子，以搭建图像后处理算子图，如图4虚线框所示。在此基础上，本步骤s103的实现过程具体可以包括下述步骤a1-a4：步骤a1：根据目标物体表面的法向图，利用法向图梯度算子，计算目标物体表面的梯度空间。
29.在本实施例中，得到目标物体表面的法向图（如目标物体的表面法向量n）后，进一步可以根据目标物体表面的法向量n，利用法向图梯度算子，计算出目标物体表面的梯度空间（gradient space），并将其定义为g，用以执行后续步骤a2，其中，g的具体计算公式如下：
30.步骤a2：利用索贝尔算子提取目标物体表面的梯度空间的边缘信息，得到边缘图像。
31.在本实施例中，通过步骤a1计算出目标物体表面的梯度空间g后，为了提取较为显
著的缺陷特征，进一步的，可以先对目标物体表面的梯度空间g进行一定的去噪处理，比如，可以先从处理算子库中选择出高斯模糊算子，并将其作为图像后处理算子图的一部分，用以对目标物体表面的梯度空间g的p维与q维进行模糊处理，得到模糊图像，具体计算公式如下：
[0032][0033]
其中，k表示模糊核半径，具体取值不做限定，可根据实际情况和经验值进行设定，比如在此场景中，可以将k设定为13至17范围内的任一取值（如15）；表示用于控制模糊程度的参数，具体取值不做限定，可根据实际情况和经验值进行设定，比如在此场景中，可以将设定为3至7范围内的任一取值（如5）；b
p
和bq表示模糊图像。
[0034]
在此基础上，进一步的，可以利用sobel 算子对模糊图像b
p
和bq进行处理，计算出它们在x方向以及在y方向上的一阶梯度，以提取出目标物体表面的梯度空间的边缘信息，得到边缘图像。其中，sobel的卷积因子在x方向与y方向如下所示：
[0035]
然后，可以利用sobel的卷积因子分别提取出模糊图像b
p
在x方向上的边缘图像s
p
，以及模糊图像bq在y方向上的边缘图像sq，如下所示：
[0036]
其中，*表示卷积操作。
[0037]
接着，将边缘图像s
p
和边缘图像sq进行合并处理，可以得到最终的边缘图像s如下所示：
[0038]
步骤a3：利用双边滤波算子对边缘图像进行噪声抑制的平滑处理，得到处理后的边缘图像。
[0039]
在本实施例中，通过步骤a2得到边缘图像s后，为了提取较为显著的缺陷特征，进一步的，可以利用双边滤波算子对边缘图像s进行噪声抑制的平滑处理，得到处理后的边缘图像，并将其定义为f，具体处理公式如下：
[0040]
其中，表示一个同时考虑邻域内空间域核d与值域核r影响的权重因子，具体计算公式如下：
[0041]
需要说明的是，为了便于后续的计算处理，可以将边缘图像f(x,y)进行归一化处理，即，将其归一化到[0, 1]的值域中，具体计算公式如下：
[0042]
其中，min(f(x,y) )表示f(x,y)的最小值；min(f(x,y) )表示f(x,y)的最大值。
[0043]
步骤a4：利用对比度增强算子对处理后的边缘图像进行对比度增强处理，得到形状图像。
[0044]
在本实施例中，通过步骤a3得到经过平滑处理后的边缘图像f’(x,y)后，为了提取较为显著的缺陷特征，进一步的，可以利用对比度增强算子对处理后的边缘图像进行对比度增强处理，得到缺陷特征更为显著的形状图像，用以执行后续步骤s104。
[0045]
具体来讲，在通过上述步骤a2-a3对目标物体表面的法向图进行边缘提取与噪声抑制后，得到的处理后的边缘图像的像素值通常较为集中，因此需要提升对比度，以更好地区分缺陷与背景。并且，由于像素值较小的区域通常代表目标物体表面深度值较小的区域（即凹陷区域），而像素值较大的区域通常代表目标物体表面深度值较大的区域（即凸起区域），因此本实施例同时对这两部分进行gamma增强处理，过程如下：首先，计算处理后的边缘图像f’(x,y)对应的指示图像，并将该指示图像定义为sig_ f’(x,y)。其中，该指示图像包括目标物体表面的凹陷区域图像与凸起区域图像，sig_ f’(x,y)具体表示如下：
[0046]
然后，利用对比度增强算子对目标物体表面的凹陷区域图像与凸起区域图像进行对比度增强处理，得到增强图像，并将其定义为gamma (x,y)，具体表示如下：
[0047]
其中，表示控制增强程度的系数，具体取值不做限定，可根据实际情况和经验值进行设定。
[0048]
接着，可以将指示图像sig_ f’(x,y)和增强图像gamma (x,y)进行相乘，并将乘积结果与偏移量（具体取值不做限定，可根据实际情况和经验值设定，如可以将其设定为0.5）相加恢复原始值域，得到最终的形状图像，并将其定义为r (x,y)，具体表示如下：
[0049]
举例说明：基于上述举例，假设目标图像及其表面的法向图分别如图2和图3所示，则对其进行上述步骤a1-a4处理后，可以得到如图5所示的形状图像，以及如图6中箭头指示
的条状区域圈起来的部分均为形状图像中包含的缺陷区域。
[0050]
可见，在本实施例中，基于图像后处理算子图具备的较强的去噪能力，利用其对目标物体的表面法向图进行图像处理后，可以得到缺陷特征更为显著的形状图像，从而能够为后续进行目标物体表面的缺陷检测提供更为准确的依据信息，便于提高后续检测结果的准确性。
[0051]
在一些实施例中，目标物体表面缺陷所属的场景还可以是目标物体表面纹理简单且平整、缺陷较细且表面深度较浅，如物体表面划痕等。此时，需要图像后处理算子图具有清晰地突出被测目标物体表面的细微划痕，避免对图像进行过多平滑的能力，以提取出目标物体表面细微划痕等最显著的缺陷特征，因此，本实施可以从预先构建的后处理算子库中选择法向图梯度算子、索贝尔（sobel）算子和图像锐化算子，以搭建图像后处理算子图，如图7虚线框所示。在此基础上，上述步骤s103的实现过程具体可以包括下述步骤b1-b3：步骤b1：根据目标物体表面的法向图，利用法向图梯度算子，计算目标物体表面的梯度空间。
[0052]
步骤b2：利用索贝尔算子提取目标物体表面的梯度空间的边缘信息，得到边缘图像。
[0053]
在本实施例中，步骤b1-b2的实现过程与上述步骤a1-a2，仅是将模糊核半径k和模糊程度的取值设置的较小，如可以将模糊核半径大小k设定为3至5范围内的任一取值（如3），将模糊程度设定为1至3范围内的任一取值（如1）。这样，较小的模糊半径与模糊程度可以使得目标物体表面的法向图的细节尽可能保留，得到更为准确的边缘图像s。
[0054]
步骤b3：利用图像锐化算子对边缘图像进行锐化处理，得到形状图像。
[0055]
在本实施例中，通过步骤b2得到边缘图像s后，为了使得目标物体表面的法向图的细节尽可能保留，进一步的，可以利用图像锐化算子对边缘图像s进行锐化处理，使得缺陷细节尽可能地保留与凸显，其中，本实施例采用的卷积核k
t
如下所示：
[0056]
这样，利用上述锐化卷积核k
t
对边缘图像s进行锐化处理，可以得到缺陷细节尽可能地保留与凸显的形状图像，并将其定义为r，具体表示如下：
[0057]
其中，*表示卷积操作。
[0058]
举例说明：假设目标图像及其表面的法向图分别如图8和图9所示，则对其进行上述步骤b1-b3处理后，可以得到如图10所示的形状图像，以及如图11中箭头指示的条状区域圈起来的部分均为形状图像中包含的缺陷区域。
[0059]
可见，在本实施例中，基于图像后处理算子图具有清晰地突出被测目标物体表面的细微划痕，避免对图像进行过多平滑的能力，利用其对目标物体的表面法向图进行图像处理后，可以得到缺陷细节尽可能地保留与凸显的形状图像，从而能够为后续进行目标物体表面的缺陷检测提供更为准确的依据信息，便于提高后续检测结果的准确性。
[0060]
s104：利用缺陷检测算法对形状图像进行缺陷检测，得到目标图像中目标物体表
面的缺陷检测结果。
[0061]
在本实施例中，通过步骤s103得到更能凸显缺陷特征的形状图像r后，为了能够更为有效的提高对于目标图像中目标物体表面进行缺陷检测的准确性，以提高检测效果，进一步的，可以利用缺陷检测算法对该形状图像进行缺陷检测，从而得到目标图像中目标物体表面的更为准确的缺陷检测结果。
[0062]
在一些实施例中，本步骤s104的实现过程具体可以包括下述步骤c1-c4：步骤c1：根据形状图像的像素值分布，计算上边界阈值和下边界阈值；并根据上边界阈值和下边界阈值，提取形状图像中满足预设条件的像素点。
[0063]
在本实施例中，在得到更能凸显缺陷特征的形状图像r后，可以根据形状图像的像素值分布，计算出上边界阈值和下边界阈值，并将二者分别定义为tu和t
l
，并通过上边界阈值和下边界阈值提取形状图像中满足预设条件（具体内容不做限定，可根据实际情况和经验值设定）的像素点。但由于不同图像后处理算子图计算得到的形状图像r的像素值分布情况有较大差异，所以，本实施例采用自适应的方法来动态计算出上边界阈值tu和下边界阈值t
l
，具体计算过程如下：首先，统计出形状图像r中像素值的直方图分布。然后通过直方图将形状图像r中像素占比前30且全图占比大于1.5%的像素值放入集合{s}中。接着，计算集合{s}中像素的最大值和最小值，并分别作为上边界阈值tu和下边界阈值t
l
，即tu=max ({s})，t
l
=min ({s})。
[0064]
进而，根据计算出的上边界阈值tu和下边界阈值t
l
，可以初步从形状图像r中提取出目标物体表面不平整的像素点，即像素值在上边界阈值tu和下边界阈值t
l
之外的像素点。此处利用一个二值图像m表示其结果，如下所示：
[0065]
步骤c2：按照空间邻域关系，将形状图像中满足预设条件的像素点连结成不同的连通域，并计算每个连通域的缺陷特征分数。
[0066]
在本实施例中，步骤c1提取出形状图像r中满足预设条件的像素点，并利用利用一个二值图像m表示后，进一步可以将这些像素点分别按照空间邻域关系，连结成不同大小的图像连通域，并计算每个连通域的缺陷特征分数，具体计算过程如下：首先，对于二值图像m中的每个像素点m(x,y)，本实施例将它们聚集为不同的连通域{ci}。然后对于每两个像素点m(x1,y1)与m(x2,y2)，判定二者属于同一个连通域ci的条件如下：
[0067]
接着，在得到各个不同的连通域{ci}后，可以计算出每个连通域的缺陷特征分数s(ci)，具体计算公式如下：
[0068]
其中，每个连通域的缺陷特征分数s(ci)包含面积分数和像素值分数两部分；
表示连通域的面积分数；表示连通域的缺陷像素值分数；和表示系数，具体取值不做限定，可根据实际情况和经验值设定，比如可以将二者分别设定为1.0 和0.2等。和的具体计算公式如下：
[0069][0070]
步骤c3：根据每个连通域的缺陷特征分数，对连通域进行膨胀处理，得到膨胀后的连通域。
[0071]
在本实施例中，步骤c2计算每个连通域{c
i }的缺陷特征分数s(ci)后，进一步可以在将每个连通域{c
i }的缺陷特征分数s(ci)按照从大到小进行排序后，从中选择出前k个分数对应的k个连通域{c
i }，由于这k个膨胀后的连通域通常是零散的，由此本实施例需要对k个连通域{ci}进行膨胀处理，得到膨胀后的连通域。其中，k为大于0的正整数，具体取值不做限定，优选的实现方式是，可以将k取值为100。
[0072]
步骤c4：将膨胀后的连通域连结成新的连通域，并计算每个新的连通域的缺陷特征分数，以根据缺陷特征分数，确定目标物体表面的缺陷区域，作为目标图像中目标物体表面的缺陷检测结果。
[0073]
在本实施例中，步骤c3得到k个膨胀后的连通域{ci}后，可以再次进行连通域连结形成新的连通域, 并对新的连通域进行筛选，得到符合预设条件的新的连通域作为最后的缺陷检测区域，具体首先过程如下：首先，将k个膨胀后的连通域映射在新的二值图像 m2，如下所示：
[0074]
然后，使用opencv的图像膨胀操作cv2.dilate对m2(x,y)进行膨胀处理，如下所示：
[0075]
其中，dil(x,y)表示膨胀后的图像。
[0076]
接着，采用与上述步骤c2类似的方式对膨胀后的图像dil(x,y)进行连通域的连结与划分，得到新的连通域，具体实现过程在此不再赘述。
[0077]
进而，采用与上述步骤c2中计算连通域的缺陷特征分数的类似方式，可以计算出各个新的连通域的缺陷特征分数，再通过设置分数阈值t
s （具体取值不做限
定，可根据实际情况和经验值设定，比如可以将ts设定为0.5等）对各个新的连通域进行过滤，得到最后的缺陷检测区域，并将其定义为{d
i }，即可以过滤出缺陷特征分数大于ts的新的连通域作为目标图像中目标物体表面的缺陷检测结果{di}，具体公式表达如下：
[0078]
举例说明：假设形状图像如12所示，则对其进行上述步骤c1-c4处理后，可以得到如图13所示的二值图像、如图14所示的新的二值图像、如图15所示的膨胀后的连通域，以及如图16中白色条状区域圈起来的部分所示的目标物体表面的缺陷检测结果。
[0079]
可见，在本实施例中，基于光度立体视觉的缺陷检测算法对形状图像进行缺陷检测时，其可以被很好地应用在形状图像上，从而能更精确地识别与检测图像上的缺陷，便于提高检测结果的准确性。
[0080]
这样，通过执行上述步骤s101-s104，可以实现如图17所示的物体表面缺陷检测的整体过程，具体处理过程主要可以包括：首先，在获取到包含目标物体的待检测的目标图像后，利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图。其次，利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像。其中，图像后处理算子图可以是基于预先构建的后处理算子库，根据实际场景需求搭建的。并且，图像后处理算子图是由不同类别或者不同参数的算子构成。接着，将视觉缺陷检测算法应用在形状图像上，以得到目标物体表明的缺陷检测结果。
[0081]
综上，本实施例提供的物体表面缺陷检测方法，在获取到包含目标物体的待检测的目标图像后，首先是利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图，然后是利用图像后处理算子图对目标图像中目标物体表面的法向图进行处理，使得得到的形状图像中目标物体表面的缺陷特征更为显著，从而在利用缺陷检测算法对该形状图像进行缺陷检测时，能够有效提高缺陷检测结果的准确率。
[0082]
基于同样的发明构思，本技术实施例还提供了一种物体表面缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物体表面缺陷检测装置实施例中的具体限定可以参见上文中对于物体表面缺陷检测方法的限定，在此不再赘述。
[0083]
如图18所示，本技术实施例提供了一种物体表面缺陷检测装置1800，包括：获取模块1801，用于获取待检测的目标图像；该目标图像为包含目标物体的图像；计算模块1802，用于利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图；处理模块1803，用于利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像；检测模块1804，用于利用缺陷检测算法对该形状图像进行缺陷检测，得到目标图像中目标物体表面的缺陷检测结果。
[0084]
在一些实施例中，图像后处理算子图是利用从预先构建的后处理算子库中选择出的与目标物体表面缺陷所属场景相关的后处理算子搭建的。
[0085]
在一些实施例中，图像后处理算子图包括法向图梯度算子、索贝尔算子、双边滤波算子和对比度增强算子；处理模块1803具体用于：根据目标物体表面的法向图，利用法向图梯度算子，计算目标物体表面的梯度空间；利用索贝尔算子提取目标物体表面的梯度空间的边缘信息，得到边缘图像；利用双边滤波算子对边缘图像进行噪声抑制的平滑处理，得到处理后的边缘图像；利用对比度增强算子对处理后的边缘图像进行对比度增强处理，得到形状图像。
[0086]
在一些实施例中，图像后处理算子图还包括高斯模糊算子；处理模块1803还具体用于：利用高斯模糊算子对目标物体表面的梯度空间进行模糊处理，得到模糊图像；利用索贝尔算子提取所述模糊图像的边缘信息，得到边缘图像。
[0087]
在一些实施例中，处理模块1803还具体用于：计算处理后的边缘图像对应的指示图像，该指示图像包括目标物体表面的凹陷区域图像与凸起区域图像；利用对比度增强算子对目标物体表面的凹陷区域图像与凸起区域图像进行对比度增强处理，得到增强图像；在将指示图像和增强图像进行相乘处理后，将得到的处理结果与偏移量相加，得到形状图像。
[0088]
在一些实施例中，图像后处理算子图包括法向图梯度算子、索贝尔算子和图像锐化算子；处理模块1803具体用于：根据目标物体表面的法向图，利用法向图梯度算子，计算目标物体表面的梯度空间；利用索贝尔算子提取目标物体表面的梯度空间的边缘信息，得到边缘图像；利用图像锐化算子对边缘图像进行锐化处理，得到形状图像。
[0089]
在一些实施例中，检测模块1804具体用于：根据形状图像的像素值分布，计算上边界阈值和下边界阈值；并根据上边界阈值和下边界阈值，提取形状图像中满足预设条件的像素点；按照空间邻域关系，将形状图像中满足预设条件的像素点连结成不同的连通域，并计算每个连通域的缺陷特征分数；根据每个连通域的缺陷特征分数，对连通域进行膨胀处理，得到膨胀后的连通域；将膨胀后的连通域连结成新的连通域，并计算每个新的连通域的缺陷特征分数，以根据该缺陷特征分数，确定目标物体表面的缺陷区域，作为目标图像中目标物体表面的缺陷检测结果。
[0090]
在一些实施例中，检测模块1804还具体用于：在将所述每个连通域的缺陷特征分数按照从大到小进行排序后，从中选择出前k个分数对应的k个连通域，并对所述k个连通域进行膨胀处理，得到膨胀后的连通域；所述k为大于0的正整数。
[0091]
上述物体表面缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合
来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
[0092]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图19所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储设计图。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的物体表面缺陷检测方法中的步骤。
[0093]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图20所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的物体表面缺陷检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0094]
本领域技术人员可以理解，图19或图20中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0095]
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0096]
在一些实施例中，如图21所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0097]
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0098]
需要说明的是，本技术所涉及的用户相关信息（包括但不限于用户设备信息、用户操作信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经
用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0099]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0100]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0101]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种物体表面缺陷检测方法，其特征在于，包括：获取待检测的目标图像；所述目标图像为包含目标物体的图像；利用光度立体视觉算法对所述目标图像进行求解计算，得到所述目标物体表面的法向图；利用图像后处理算子图对所述目标物体表面的法向图进行图像处理，得到形状图像；利用缺陷检测算法对所述形状图像进行缺陷检测，得到所述目标图像中目标物体表面的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述图像后处理算子图是利用从预先构建的后处理算子库中选择出的与所述目标物体表面缺陷所属场景相关的后处理算子搭建的。3.根据权利要求1或2任一项所述的方法，其特征在于，所述图像后处理算子图包括法向图梯度算子、索贝尔算子、双边滤波算子和对比度增强算子；所述利用图像后处理算子图对所述目标物体的表面法向图进行图像处理，得到形状图像，包括：根据所述目标物体表面的法向图，利用所述法向图梯度算子，计算所述目标物体表面的梯度空间；利用所述索贝尔算子提取所述目标物体表面的梯度空间的边缘信息，得到边缘图像；利用所述双边滤波算子对所述边缘图像进行噪声抑制的平滑处理，得到处理后的边缘图像；利用所述对比度增强算子对所述处理后的边缘图像进行对比度增强处理，得到形状图像。4.根据权利要求3所述的方法，其特征在于，所述图像后处理算子图还包括高斯模糊算子；所述利用所述索贝尔算子提取所述目标物体表面的梯度空间的边缘信息，得到边缘图像之前，所述方法还包括：利用所述高斯模糊算子对所述目标物体表面的梯度空间进行模糊处理，得到模糊图像；所述利用所述索贝尔算子提取所述目标物体表面的梯度空间的边缘信息，得到边缘图像，包括：利用所述索贝尔算子提取所述模糊图像的边缘信息，得到边缘图像。5.根据权利要求3所述的方法，其特征在于，所述利用所述对比度增强算子对所述处理后的边缘图像进行对比度增强处理，得到形状图像，包括：计算所述处理后的边缘图像对应的指示图像，所述指示图像包括所述目标物体表面的凹陷区域图像与凸起区域图像；利用所述对比度增强算子对所述目标物体表面的凹陷区域图像与凸起区域图像进行对比度增强处理，得到增强图像；在将所述指示图像和所述增强图像进行相乘处理后，将得到的处理结果与偏移量相加，得到形状图像。6.根据权利要求1所述的方法，其特征在于，所述图像后处理算子图包括法向图梯度算子、索贝尔算子和图像锐化算子；所述利用图像后处理算子图对所述目标物体的表面法向图进行图像处理，得到形状图像，包括：根据所述目标物体表面的法向图，利用所述法向图梯度算子，计算所述目标物体表面
的梯度空间；利用所述索贝尔算子提取所述目标物体表面的梯度空间的边缘信息，得到边缘图像；利用所述图像锐化算子对所述边缘图像进行锐化处理，得到形状图像。7.根据权利要求1所述的方法，其特征在于，所述利用缺陷检测算法对所述形状图像进行缺陷检测，得到所述目标图像中目标物体表面的缺陷检测结果，包括：根据形状图像的像素值分布，计算上边界阈值和下边界阈值；并根据所述上边界阈值和下边界阈值，提取所述形状图像中满足预设条件的像素点；按照空间邻域关系，将所述形状图像中满足预设条件的像素点连结成不同的连通域，并计算每个连通域的缺陷特征分数；根据所述每个连通域的缺陷特征分数，对所述连通域进行膨胀处理，得到膨胀后的连通域；将膨胀后的连通域连结成新的连通域，并计算每个新的连通域的缺陷特征分数，以根据所述缺陷特征分数，确定所述目标物体表面的缺陷区域，作为所述目标图像中目标物体表面的缺陷检测结果。8.根据权利要求7所述的方法，其特征在于，所述根据所述每个连通域的缺陷特征分数，对所述连通域进行膨胀处理，得到膨胀后的连通域，包括：在将所述每个连通域的缺陷特征分数按照从大到小进行排序后，从中选择出前k个分数对应的k个连通域，并对所述k个连通域进行膨胀处理，得到膨胀后的连通域；所述k为大于0的正整数。9.一种物体表面缺陷检测装置，其特征在于，包括：获取模块，用于待检测的目标图像；所述目标图像为包含目标物体的图像；计算模块，用于利用光度立体视觉算法对所述目标图像进行求解计算，得到所述目标物体表面的法向图；处理模块，用于利用图像后处理算子图对所述目标物体表面的法向图进行图像处理，得到形状图像；检测模块，用于利用缺陷检测算法对所述形状图像进行缺陷检测，得到所述目标图像中目标物体表面的缺陷检测结果。10.一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本申请涉及一种物体表面缺陷检测方法、装置、设备及存储介质，该方法包括：首先获取包含目标物体的待检测的目标图像；然后利用光度立体视觉算法对目标图像进行求解计算，得到目标物体表面的法向图；接着，利用图像后处理算子图对目标物体表面的法向图进行图像处理，得到形状图像；进而利用缺陷检测算法对形状图像进行缺陷检测，得到目标物体表面的缺陷检测结果。采用本申请，能够在计算出目标图像中目标物体表面的法向图后，利用预设的图像后处理算子图对目标物体表面的法向图进行处理，使得目标物体表面的缺陷特征更为显著，从而在利用缺陷检测算法对该形状图像进行缺陷检测时，能够有效提高缺陷检测结果的准确性。有效提高缺陷检测结果的准确性。有效提高缺陷检测结果的准确性。


技术研发人员：吴锐正 沈小勇 吕江波 魏宗琪 吴海浪 胡思行 蒋念娟
受保护的技术使用者：深圳思谋信息科技有限公司
技术研发日：2023.07.12
技术公布日：2023/8/14