基于机器视觉的缺陷区域修复方法、装置、设备以及介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于机器视觉的缺陷区域修复方法、装置、设备以及介质。


背景技术：

2.实木板材等材料往往存在一些因虫蛀、侵蚀等造成的凹陷缺陷，在将材料制作成地板等成品时，会保留这些凹陷缺陷，并对凹陷处进行涂胶填充。
3.现有技术中，通常由人工使用涂胶枪对凹陷的缺陷区域进行涂胶填充，但是，由于人工涂胶存在判断的局限性和主观性，容易造成涂胶不均匀、漏填、多填的情况，不利于对地板等成品的质量控制，同时，人工涂胶效率较低，成本较高。


技术实现要素：

4.本发明提供了一种基于机器视觉的缺陷区域修复方法、装置、设备以及介质，以实现对缺陷区域的自动填补，有效、准确地完成缺陷修复。
5.第一方面，本发明实施例提供了一种基于机器视觉的缺陷区域修复方法，该方法包括：
6.获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；
7.根据所述缺陷区域的轮廓坐标，确定涂胶坐标；
8.根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
9.第二方面，本发明实施例还提供了一种基于机器视觉的缺陷区域修复装置，该装置包括：
10.缺陷区域确定模块，用于获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；
11.涂胶坐标确定模块，用于根据所述缺陷区域的轮廓坐标，确定涂胶坐标；
12.缺陷区域涂胶模块，用于根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
13.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的基于机器视觉的缺陷区域修复方法。
14.第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的基于机器视觉的缺陷区域修复方法。
15.本发明实施例的技术方案，通过待处理对象的三维图像中各像素点的深度信息，确定缺陷区域，并根据缺陷区域的轮廓坐标，确定涂胶坐标，控制涂胶设备根据涂胶坐标进行缺陷区域的涂胶。解决了现有技术中对缺陷区域进行人工涂胶填充的方式，容易造成涂
胶不均匀、漏填、多填的情况，不利于对地板等成品的质量控制的问题，以及人工涂胶效率较低、成本较高的问题，实现了对缺陷区域的自动填补，有效、准确地完成缺陷修复，保证了成品的质量稳定性，降低了人工成本。
16.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明实施例一提供的一种基于机器视觉的缺陷区域修复方法的流程图；
19.图2是本发明实施例一提供的一种涂胶坐标的示意图；
20.图3是本发明实施例一提供的另一种涂胶坐标的示意图；
21.图4是本发明实施例二提供的一种基于机器视觉的缺陷区域修复方法的流程图；
22.图5是本发明实施例三提供的一种基于机器视觉的缺陷区域修复装置的结构示意图；
23.图6是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.实施例一
27.图1为本发明实施例一提供了一种基于机器视觉的缺陷区域修复方法的流程图，本实施例可适用于对材料的凹陷缺陷进行修复的情况，该方法可以由基于机器视觉的缺陷区域修复装置来执行，该基于机器视觉的缺陷区域修复装置可以采用硬件和/或软件的形式实现，该基于机器视觉的缺陷区域修复装置可配置于电子设备中，并与涂胶设备配合使用。
28.如图1所示，该方法包括：
29.s110、获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域。
30.其中，待处理对象可以是实木板材等材料，三维图像指3d图像，是通过3d线扫相机等拍摄装置对待处理对象进行拍摄和扫描得到，其中，三维图像中包含各像素点的深度信息，各像素点的深度信息能够反映材料表面的几何形状，从而判断表面是否存在凹陷缺陷。缺陷区域是指待处理对象表面存在凹陷缺陷的区域，在制作成成品之前，需要对缺陷区域进行填充。
31.在本实施例中，根据三维图像中各像素点的深度信息，确定待处理对象的缺陷区域，可以是筛选出三维图像的各像素点中深度值为正数的像素点，并确定深度值为正数的像素点形成的连通域，作为缺陷区域。但是，本实施例对根据三维图像中各像素点的深度信息确定缺陷区域的具体方式不进行限制。
32.进一步的，s110又可以包括：
33.s111、将所述三维图像转换为二维图像，其中，所述二维图像中目标像素点的灰度信息与所述三维图像中目标像素点的深度信息相匹配；
34.其中，二维图像指2d图像，将3d图像转换为2d图像，可以通过转换工具或者空间转换算法实现，本实施例对3d图像转换为2d图像的具体实现方式不进行限制。但是，需要说明的是，转换后的2d图像中像素点的灰度信息，与三维图像中该像素点的深度信息成正相关，因此，根据2d图像中各像素点的灰度信息，可以确定缺陷区域。
35.s112、对所述二维图像进行前景分割，确定前景区域；
36.为避免背景区域对确定缺陷区域的影响，本实施例先对2d图像进行前景分割，得到前景区域，再对前景区域进行缺陷区域提取。示例性的，可以通过对2d图像进行blob（binary large object，二进制大对象）分析，blob是指图像中的具有相似颜色、纹理等特征所组成的一块连通区域，一般来说，该区域就是图像中的前景。blob分析就是将图像分割得到前景图像和背景图像，然后进行连通区域检测以及面积、周长重心等特征的分析，从而得到blob的过程。通过对2d图像进行blob分析，得到2d图像中的前景区域。
37.需要进行说明的是，2d图像中的前景区域的数量可以为一个或者多个，表示待处理对象表面分别有一处凹陷缺陷或者有多处凹陷缺陷。当2d图像中的前景区域的数量为多个时，对多个前景区域，分别确定缺陷区域，并进行后续轮廓坐标和涂胶坐标的确定。可以对各缺陷区域进行标号，根据其标号的前后顺序，依次控制涂胶设备对缺陷区域进行涂胶修复。
38.相应的，当某待处理图像中前景区域的数量为0时，表明该待处理图像中不包括凹陷缺陷，无需对其进行后续处理。
39.进一步的，s112可以包括：将所述二维图像转换为二值化图像，对所述二值化图像进行前景分割。
40.在本实施例中，可以先将2d图像转换为二值化图像，再对二值化图像进行前景分割。这样设置的好处在于，能够使缺陷区域与背景区域的区别更加明显，从而提高缺陷区域提取的准确率。
41.具体的，本实施例中可以预先设置灰度值阈值，对各像素点的灰度值与灰度值阈值进行对比，从而进行二值化处理。其中，灰度值阈值可以根据缺陷区域提取的实际需要进
行灵活设置，例如，可以根据二维图像的不同的图像亮度，确定不同的灰度值阈值，本实施例对二值化处理的具体方式、二值化过程中的灰度值阈值的设置方式和调整条件等不进行限制。
42.s113、根据前景区域中各像素点的灰度信息，确定缺陷区域。
43.在本实施例中，在将3d图像转换为2d图像，并对2d图像进行前景区域提取之后，可以根据前景区域中各像素点的灰度信息确定缺陷区域，示例性的，若像素点的灰度值大于灰度值阈值时，将该像素点的灰度值置255，否则置0，则可以将前景区域中灰度信值为正数的像素点筛选出来，并将灰度信值为正数的像素点组成的连通域作为缺陷区域。
44.s120、根据所述缺陷区域的轮廓坐标，确定涂胶坐标。
45.其中，轮廓坐标是指对缺陷区域进行轮廓边缘提取之后，轮廓边缘上一系列边缘点的坐标，具体的，可通过图像轮廓坐标提取函数，提取缺陷区域的轮廓坐标，示例性的，图像轮廓坐标提取函数可以是imcontour函数或者bwboundaries函数等，本实施例对轮廓坐标的具体确定方式不进行限制。
46.涂胶坐标是涂胶设备对待处理对象的缺陷区域进行涂胶时，涂胶设备进行移动所需依据的位置坐标信息。具体的，可以对轮廓坐标进行图像坐标系与空间坐标系的转换之后，得到涂胶坐标。
47.为保证对缺陷区域涂胶均匀，同时，由于胶体具有一定的流动性，因此，在本实施例中，根据缺陷区域的轮廓坐标，确定涂胶坐标，可以是以轮廓上的一个边缘点为起点，通过多个等距离间隔的直线划分缺陷区域，并根据轮廓边缘和直线确定涂胶坐标。示例性的，图2提供了一种涂胶坐标的示意图，如图2所示，以缺陷区域的右侧顶点为起点，向左移动预设间隔之后向上做竖线，当竖线与缺陷区域边缘相交时，沿缺陷区域边缘向左移动，直至当前位置到第一条竖线的垂直距离等于预设间隔，向下做竖线，重复上述过程，直至缺陷区域的左侧顶点到当前竖线的垂直距离小于或等于预设间隔，通过左侧顶点向当前竖线作垂线，与当前竖线相交，得到最终的涂胶路线。在涂胶路线上每隔预设数量个像素点取一个像素点的坐标，进行坐标系转换之后，得到涂胶坐标，也即，涂胶坐标是一系列连续的像素点坐标进行坐标系转换之后的位置坐标的集合。
48.在另一个示例中，图3提供了另一种涂胶坐标的示意图，如图3所示，确定缺陷区域的轮廓坐标之后，对缺陷区域的轮廓进行缩小，直至缺陷区域的轮廓无法再缩小，对缺陷区域的轮廓以及缩小后的各轮廓，按照轮廓由大到小或者由小到大的顺序，在轮廓上每隔数量个像素点取一个像素点的坐标，进行坐标系转换之后，得到涂胶坐标。
49.本实施例仅为对根据缺陷区域的轮廓坐标确定涂胶坐标的示例，本实施例对根据缺陷区域的轮廓坐标确定涂胶坐标的具体方式不进行限制。
50.s130、根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
51.在本实施例中，确定得到涂胶坐标之后，将涂胶坐标发送至涂胶设备，涂胶设备移动至缺陷区域的涂胶坐标的起点处，根据涂胶坐标进行依次移动，并对缺陷区域进行涂胶。
52.当缺陷区域存在多个时，可以在确定缺陷区域时，根据缺陷区域的中心点坐标等缺陷区域在待处理图像中的图像位置信息，对缺陷区域进行编号，按照缺陷区域的编号顺序，依次对缺陷区域进行涂胶。还可以根据涂胶设备与各缺陷区域之间的距离，选择与涂胶
设备距离最近的缺陷区域进行涂胶，涂胶完成后，对该缺陷区域进行已涂胶的标签标记，再在剩余未标记的各缺陷区域中，继续选择与涂胶设备当前距离最近的缺陷区域进行涂胶，直至完成对全部缺陷区域的涂胶处理。
53.本发明实施例的技术方案，通过待处理对象的三维图像中各像素点的深度信息，确定缺陷区域，并根据缺陷区域的轮廓坐标，确定涂胶坐标，控制涂胶设备根据涂胶坐标进行缺陷区域的涂胶。解决了现有技术中对缺陷区域进行人工涂胶填充的方式，容易造成涂胶不均匀、漏填、多填的情况，不利于对地板等成品的质量控制的问题，以及人工涂胶效率较低、成本较高的问题，实现了对缺陷区域的自动填补，有效、准确地完成缺陷修复，保证了成品的质量稳定性，降低了人工成本。
54.实施例二
55.图4为本发明实施例二提供的一种基于机器视觉的缺陷区域修复方法的流程图，本发明实施例在上述实施例的基础上，对确定缺陷区域的过程、根据缺陷区域的轮廓坐标确定涂胶坐标的过程，以及控制涂胶设备进行缺陷区域涂胶的过程进行了进一步的具体化。
56.如图4所示，该方法包括：
57.s210、将所述三维图像转换为二维图像，并确定所述二维图像中各像素点对应的深度信息。
58.s220、将所述二维图像转换为二值化图像，对所述二值化图像进行前景分割。
59.s230、根据前景区域中各像素点的深度信息，确定缺陷区域。
60.其中，s210-s230的方案在上述实施例中已进行说明，本实施例在此不再赘述。
61.s240、根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，并确定缩小后的轮廓的坐标。
62.在本实施例中，以对缺陷区域的轮廓进行缩小处理，并根据缺陷区域的轮廓和缩小后的各轮廓确定涂胶坐标为例进行说明。
63.其中，预设的步长是指缩小前后的轮廓的最小外接圆的直径的差值，迭代次数阈值是指对轮廓进行缩小操作的次数的上限值，迭代次数阈值用于避免轮廓缩小的次数过多。在本实施例中，步长以及迭代次数阈值可以根据涂胶的需要进行灵活设置，例如，若涂胶设备的出胶量较大，缺陷区域的面积较小，则可以设置较大的步长，以及较小的迭代次数阈值，从而在保证涂胶均匀的同时不溢胶。
64.缩小处理是指对缺陷区域的轮廓采用膨胀算法或者腐蚀算法进行缩小，膨胀算法的作用是让亮的区域变大，腐蚀算法的作用是让暗的区域变大，具体采用膨胀算法还是腐蚀算法取决于缺陷区域的各像素点的灰度值，本实施例对缩小处理采用的具体方式不进行限制。
65.如图3所示，对缺陷区域的轮廓进行了四次缩小，得到了四个缩小后的轮廓，分别确定四个缩小后的轮廓的坐标。可以通过确定缺陷区域的轮廓坐标的方式，确定缩小后的轮廓的坐标。也可以确定缺陷区域的中心点，对缩小前的轮廓中的某像素点以及缩小后的轮廓中的该像素点，根据缩小前的轮廓中的像素点坐标、步长的大小、缩小前的轮廓中的像素点与中心点连线与水平线之间的夹角，确定缩小后的轮廓中的该像素点的坐标。本实施例对缩小后的轮廓的坐标的确定方式不进行限制。
66.进一步的，s240可以包括：若确定当前迭代次数小于或等于预设的迭代次数阈值，则根据预设的步长，对缺陷区域的轮廓进行缩小，并确定缩小后的轮廓的坐标。
67.在本实施例中，通过将轮廓的当前迭代次数与迭代次数阈值进行比对，可以避免轮廓缩小次数过多，从而导致涂胶设备涂胶时旋转次数过多，影响涂胶效率。
68.需要进行说明的是，若当前迭代次数已达到迭代次数阈值，但是当前缩小后的轮廓的直径仍较大，则可以对步长进行调整，将步长调高，以保证缩小后的各轮廓在缺陷区域内分布均匀。
69.s250、判断缩小后的轮廓的最小外接圆的直径是否小于或等于预设步长，若是，则执行s260，否则返回执行s240。
70.其中，对缩小后的轮廓确定最小外接圆，当缩小后的轮廓的最小外接圆的直径小于或等于预设步长时，说明无法继续再对当前的缩小后的轮廓继续缩小，此时停止对轮廓的缩小处理。
71.s260、根据缺陷区域的轮廓坐标，以及各缩小后的轮廓的坐标，确定涂胶坐标。
72.在本实施例中，缺陷区域的轮廓坐标以及各缩小后的轮廓的坐标，可以是以轮廓上的一个边缘点为原点，顺时针方向或者逆时针方向的各像素点的坐标的形式。缺陷区域的轮廓以及各缩小后的轮廓选定的原点以及像素点方向可以相匹配，便于后续进行涂胶坐标的处理。
73.在本实施例中，在确定缺陷区域的轮廓坐标以及各缩小后的轮廓的坐标之后，将各坐标按照轮廓由小到大或者由大到小的顺序，转换成空间位置坐标之后，得到涂胶坐标。
74.进一步的，s260可以包括：对目标轮廓的坐标，每隔预设数量个像素点，确定目标像素点坐标；根据目标像素点坐标，确定涂胶坐标；其中，所述目标轮廓包括缺陷区域的轮廓以及缩小后的轮廓。
75.在本实施例中，为防止涂胶坐标过于密集，可以每隔预设数量个像素点，在轮廓坐标中选定一个像素点坐标进行坐标系转换，得到涂胶坐标。
76.本实施例对缺陷区域的轮廓进行缩小，从而确定涂胶坐标，使得涂胶坐标为螺旋式的连续像素点坐标的形式，结合胶料的流动性，能够保证涂胶的均匀性和完整性。
77.s270、根据所述涂胶坐标、至少两个涂胶设备的当前位置，以及至少两个涂胶设备的当前作业状态，在至少两个涂胶设备中确定目标涂胶设备。
78.本实施例以涂胶设备为多个时，对选定涂胶设备以及控制涂胶设备进行涂胶作业的过程进行说明。
79.当前作业状态可以包括作业中状态和空闲状态，也可以包括作业中状态、空闲状态以及作业完成待复位状态等，本实施例对此不进行限制。
80.具体的，当涂胶设备为多个时，在多个涂胶设备中选择进行涂胶作业的涂胶设备的原则是，优先选择距离缺陷区域距离更近的、非作业中涂胶设备。具体的，确定当前未处于作业中状态的涂胶设备，若不存在未处于作业中状态的涂胶设备，则每隔预设时间间隔，重新检查各涂胶设备的作业状态，直至能够确定至少一个未处于作业中状态的涂胶设备。若未处于作业中状态的涂胶设备只有一个，则将该涂胶设备作为目标涂胶设备，对缺陷区域进行涂胶作业。若未处于作业中状态的涂胶设备存在多个，则在未处于作业中状态的各涂胶设备中，确定目标涂胶设备。具体的，对未处于作业中状态的各涂胶设备，根据其当前
位置与涂胶坐标中原点位置之间的距离，选择距离最短的涂胶坐标作为目标涂胶设备。
81.s280、根据所述涂胶坐标以及各涂胶设备的当前位置，控制所述目标涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
82.本发明实施例的技术方案，通过将待处理对象的三维图像转换为二维图像，二维图像的各像素点包含深度信息，将二维图像转换为二值化图像，对二值化图像进行前景分割，根据前景区域中各像素点的深度信息得到缺陷区域，提高了缺陷区域提取的准确率。根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，直至缩小后的轮廓的最小外接圆直径小于或等于预设步长，停止缩小，并根据缺陷区域的轮廓以及缩小后的各轮廓的坐标，确定涂胶坐标，使得涂胶坐标为螺旋式的连续像素点坐标的形式，保证了涂胶的均匀性和完整性。控制涂胶设备根据涂胶坐标进行缺陷区域的涂胶，实现了对缺陷区域的自动填补，有效、准确地完成缺陷修复，保证了成品的质量稳定性，降低了人工成本。
83.实施例三
84.图5为本发明实施例三提供的一种基于机器视觉的缺陷区域修复装置的结构示意图。如图5所示，该装置包括：缺陷区域确定模块310、涂胶坐标确定模块320以及缺陷区域涂胶模块330，其中：
85.缺陷区域确定模块310，用于获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；
86.涂胶坐标确定模块320，用于根据所述缺陷区域的轮廓坐标，确定涂胶坐标；
87.缺陷区域涂胶模块330，用于根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
88.本发明实施例的技术方案，通过待处理对象的三维图像中各像素点的深度信息，确定缺陷区域，并根据缺陷区域的轮廓坐标，确定涂胶坐标，控制涂胶设备根据涂胶坐标进行缺陷区域的涂胶。解决了现有技术中对缺陷区域进行人工涂胶填充的方式，容易造成涂胶不均匀、漏填、多填的情况，不利于对地板等成品的质量控制的问题，以及人工涂胶效率较低、成本较高的问题，实现了对缺陷区域的自动填补，有效、准确地完成缺陷修复，保证了成品的质量稳定性，降低了人工成本。
89.在上述实施例的基础上，缺陷区域确定模块310，包括：
90.三维图像转换单元，用于将所述三维图像转换为二维图像，其中，所述二维图像中目标像素点的灰度信息与所述三维图像中目标像素点的深度信息相匹配；
91.前景区域确定单元，用于对所述二维图像进行前景分割，确定前景区域；
92.缺陷区域确定单元，用于根据前景区域中各像素点的灰度信息，确定缺陷区域。
93.在上述实施例的基础上，前景区域确定单元，具体用于：
94.将所述二维图像转换为二值化图像，对所述二值化图像进行前景分割。
95.在上述实施例的基础上，涂胶坐标确定模块320，包括：
96.轮廓缩小单元，用于根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，并确定缩小后的轮廓的坐标；
97.轮廓直径判断单元，用于重复执行根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理的操作，直至缩小后的轮廓的最小外接圆的直径小于或等
于预设步长；
98.涂胶坐标确定单元，用于根据缺陷区域的轮廓坐标，以及各缩小后的轮廓的坐标，确定涂胶坐标。
99.在上述实施例的基础上，轮廓缩小单元，具体用于：
100.若确定当前迭代次数小于或等于预设的迭代次数阈值，则根据预设的步长，对缺陷区域的轮廓进行缩小，并确定缩小后的轮廓的坐标。
101.在上述实施例的基础上，涂胶坐标确定单元，具体用于：
102.对目标轮廓的坐标，每隔预设数量个像素点，确定目标像素点坐标；
103.根据目标像素点坐标，确定涂胶坐标；
104.其中，所述目标轮廓包括缺陷区域的轮廓以及缩小后的轮廓。
105.在上述实施例的基础上，缺陷区域涂胶模块330，包括：
106.目标涂胶设备确定单元，用于根据所述涂胶坐标、至少两个涂胶设备的当前位置，以及至少两个涂胶设备的当前作业状态，在至少两个涂胶设备中确定目标涂胶设备；
107.缺陷区域涂胶单元，用于根据所述涂胶坐标以及各涂胶设备的当前位置，控制所述目标涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。
108.本发明实施例所提供的基于机器视觉的缺陷区域修复装置可执行本发明任意实施例所提供的基于机器视觉的缺陷区域修复方法，具备执行方法相应的功能模块和有益效果。
109.实施例四
110.图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
111.如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（rom）12、随机访问存储器（ram）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（rom）12中的计算机程序或者从存储单元18加载到随机访问存储器（ram）13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出（i/o）接口15也连接至总线14。
112.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
113.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（中央处理器）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例
如基于机器视觉的缺陷区域修复方法。
114.在一些实施例中，基于机器视觉的缺陷区域修复方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的基于机器视觉的缺陷区域修复方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于机器视觉的缺陷区域修复方法。
115.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
116.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
117.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
118.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
119.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
120.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
121.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
122.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种基于机器视觉的缺陷区域修复方法，其特征在于，包括：获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；根据所述缺陷区域的轮廓坐标，确定涂胶坐标；其中，根据所述缺陷区域的轮廓坐标，确定涂胶坐标，包括：根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，并确定缩小后的轮廓的坐标；重复执行根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理的操作，直至缩小后的轮廓的最小外接圆的直径小于或等于预设步长；根据缺陷区域的轮廓坐标，以及各缩小后的轮廓的坐标，确定涂胶坐标；根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。2.根据权利要求1所述的方法，其特征在于，根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域，包括：将所述三维图像转换为二维图像，其中，所述二维图像中目标像素点的灰度信息与所述三维图像中目标像素点的深度信息相匹配；对所述二维图像进行前景分割，确定前景区域；根据前景区域中各像素点的灰度信息，确定缺陷区域。3.根据权利要求2所述的方法，其特征在于，对所述二维图像进行前景分割，包括：将所述二维图像转换为二值化图像，对所述二值化图像进行前景分割。4.根据权利要求1所述的方法，其特征在于，根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，并确定缩小后的轮廓的坐标，包括：若确定当前迭代次数小于或等于预设的迭代次数阈值，则根据预设的步长，对缺陷区域的轮廓进行缩小，并确定缩小后的轮廓的坐标。5.根据权利要求1所述的方法，其特征在于，根据缺陷区域的轮廓坐标，以及各缩小后的轮廓的坐标，确定涂胶坐标，包括：对目标轮廓的坐标，每隔预设数量个像素点，确定目标像素点坐标；根据目标像素点坐标，确定涂胶坐标；其中，所述目标轮廓包括缺陷区域的轮廓以及缩小后的轮廓。6.根据权利要求1所述的方法，其特征在于，根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶，包括：根据所述涂胶坐标、至少两个涂胶设备的当前位置，以及至少两个涂胶设备的当前作业状态，在至少两个涂胶设备中确定目标涂胶设备；根据所述涂胶坐标以及各涂胶设备的当前位置，控制所述目标涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。7.一种基于机器视觉的缺陷区域修复装置，其特征在于，包括：缺陷区域确定模块，用于获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；涂胶坐标确定模块，用于根据所述缺陷区域的轮廓坐标，确定涂胶坐标；涂胶坐标确定模块，包括：
轮廓缩小单元，用于根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理，并确定缩小后的轮廓的坐标；轮廓直径判断单元，用于重复执行根据预设的步长以及迭代次数阈值，对缺陷区域的轮廓进行至少一次缩小处理的操作，直至缩小后的轮廓的最小外接圆的直径小于或等于预设步长；涂胶坐标确定单元，用于根据缺陷区域的轮廓坐标，以及各缩小后的轮廓的坐标，确定涂胶坐标；缺陷区域涂胶模块，用于根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的基于机器视觉的缺陷区域修复方法。9.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的基于机器视觉的缺陷区域修复方法。

技术总结
本发明公开了一种基于机器视觉的缺陷区域修复方法、装置、设备以及介质。该方法包括：获取待处理对象的三维图像，并根据所述三维图像中各像素点的深度信息，确定待处理对象的缺陷区域；根据所述缺陷区域的轮廓坐标，确定涂胶坐标；根据所述涂胶坐标，控制涂胶设备对所述待处理对象的所述缺陷区域进行涂胶。使用本发明的技术方案，可以实现对缺陷区域的自动填补，有效、准确地完成缺陷修复。准确地完成缺陷修复。准确地完成缺陷修复。


技术研发人员：葛铭 李功博 沈井学 魏江
受保护的技术使用者：杭州百子尖科技股份有限公司
技术研发日：2023.07.14
技术公布日：2023/8/13