基于自监督学习的缺陷检测的制作方法

基于自监督学习的缺陷检测


背景技术：

1.缺陷检测是一种涉及获取评估对象的图像并对该图像进行处理以检测缺陷的过程。缺陷检测的常用方法包括将评估对象的图像与参考对象的图像进行对比。该对比需要将被检查对象与参考对象对齐。该对齐可能会耗费时间和资源，尤其是当该对象不平时，且尤其是当该对象是弯曲的时。
2.将评估对象与无缺陷的参考对象进行对比可能是有益的，但生成无缺陷参考对象的图像也可能会耗费时间和资源。将被检查对象与任意参考对象进行对比可能会产生模棱两可的结果，因为评估对象与参考对象之间的差异可能是由评估对象或参考对象的缺陷引起的。
3.越来越需要提供一种成本效益好的缺陷检测方法。


技术实现要素：

4.一种基于自监督学习的缺陷检测方法、系统和非瞬态计算机可读介质。
附图说明
5.为了更充分地理解和认识本发明的实施例，以下结合附图对其进行详细描述，其中：
6.图1示出了一种方法的示例；
7.图2示出了包括对象和背景的图像示例，以及失真图像的示例；
8.图3示出了包括对象和背景的图像示例，以及失真图像的示例；
9.图4示出了对象的简化图像示例和失真对象的简化图像示例；和
10.图5示出了图像示例。
具体实施方式
11.在下面的详细描述中，对许多具体细节进行了阐述以充分理解本发明。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实施本发明。在其他情况下，没有对公知的方法、程序和组件进行详细的描述以免混淆本发明。
12.在说明书的结论部分中特别指出并明确要求保护本发明的主题。然而，本发明关于组织和操作方法，连同其目的、特征和优点，可以在阅读附图时通过参考以下详细描述得到最好的理解。
13.应当理解，为了简单和清楚的说明，图中所示的元件未必按比例绘制。例如，为了清楚起见，部分元件的尺寸可能相对于其他元件被放大。此外，在认为合适的情况下，附图标记可以在附图中重复以指示相应或类似的元件。
14.因为本发明的所示实施例大部分可以使用本领域技术人员已知的电子元件和电路来实现，所以为了理解本发明的基本概念，将不会在任何比上文所示的认为必要的范围更大的范围内对细节进行解释，以免混淆或分散本发明的教导。
15.说明书中对方法的任何引用应比照适用于能够执行该方法的设备或系统和/或可比照适用于存储用于执行该方法的指令的非瞬态计算机可读介质。
16.说明书中对系统或设备的任何引用应比照适用于可由系统执行的方法，和/或可比照适用于存储可由该系统执行的指令的非瞬态计算机可读介质。
17.说明书中对非瞬态计算机可读介质的任何引用应比照适用于能够执行存储在该非瞬态计算机可读介质中的指令的设备或系统和/或可以比照适用于执行该指示的方法。
18.说明书和/或附图可能涉及到信息单元。信息单元可以是感测信息单元。感测信息单元可以捕获或可以指示自然信号，例如但不限于自然产生的信号、表示人类行为的信号、表示与股票市场相关的操作的信号、医疗信号、音频信号、视觉信息信号等。感测信息可以由任何类型的传感器，例如可见光相机，或可以感测红外线、雷达图像、超声波、电光学、射线照相术、lidar(光探测和测距)等的传感器感测。
19.说明书和/或附图可能涉及处理器。处理器可以是处理电路。处理电路可以实现为中央处理单元(cpu)和/或一个或更多个其他集成电路，例如专用集成电路(asi定)、现场可编程门阵列(fpga)、全定制集成电路等,或此类集成电路的组合。
20.可以提供说明书和/或附图中所示的任何方法的任何步骤的任何组合。
21.可以提供任何权利要求的任何主题的任何组合。
22.可以提供说明书和/或附图中所示的系统、单元、组件、处理器、传感器的任何组合。
23.可以提供一种用于基于自学习的缺陷检测的系统、方法和非瞬态计算机可读介质。
24.图1示出了一种用于缺陷检测的方法的示例。
25.方法100可开始于获得失真去除机器学习过程的步骤110。
26.步骤110可包括(a)训练失真去除机器学习过程，或(b)接收该失真去除机器学习过程中的至少一个。
27.该失真去除机器学习过程被配置为去除对象的图像中的失真。该去除是在训练过程中学习的。
28.失真去除机器学习过程的训练过程包括为机器学习过程馈送参考对象的图像和参考对象的失真图像。失真图像是通过使参考对象的图像失真而生成的。
29.失真可以是形状和/或尺寸不同于被检查对象的缺陷的形状和/或尺寸的失真。例如，可能比预期的缺陷小，可能具有不同的形状，例如具有圆形的多边形形状，而预期的缺陷可能具有更真实的-有缺陷的形状。
30.训练过程可以是自监督的过程。
31.参考对象可以没有缺陷，可以包括缺陷或者可以是任意缺陷级别。
32.训练过程可以包括获得参考对象的失真图像。该获得可以包括生成失真图像、接收失真图像、接收部分失真图像和生成部分其他失真图像。
33.参考对象的图像可以以多种方式多次失真以提供多个失真图像。
34.对象的图像的失真可包括用失真的片段替换图像的片段。
35.通过在图像的相应片段的一个或更多个属性中引入差异来生成失真片段。
36.该一个或更多个属性可以包括图像的对应片段的强度参数。强度参数可以是灰度
级参数，例如平均灰度级、去除离群点后的平均灰度级、灰度级分布参数(例如方差，或任意幂的σ)等。
37.一个或更多个属性可包括图像对应片段的平均强度。差异可包括将平均灰度级映射到另一个值，该映射可以是随机映射、非随机映射等。
38.一个或更多个属性可包括出现在图像相应片段中的对象的大小。该片段可以按任何系数缩小或放大。
39.一个或更多个属性可包括出现在图像对应片段中的对象的朝向。该片段可能会发生朝向上的任何变化(沿任何轴旋转等)。
40.该片段可以任何方式翘曲或失真。
41.从一个视点拍摄的对象图像的片段可以由从另一个视点拍摄的该对象的片段代替。
42.完成步骤110之后可进行步骤120，接收评估对象的图像。
43.完成步骤120之后可进行步骤130，对图像应用失真去除机器学习过程以提供评估对象的已处理图像。
44.理想地，该评估对象可与在其上训练失真去除机器学习过程的参考对象相同。
45.该评估对象可与在其上训练失真去除机器学习过程的参考对象不同。
46.完成步骤130之后可进行步骤140，将该图像与已处理图像进行对比，得到对比结果。
47.步骤140可包括生成差异图像。
48.完成步骤140之后可进行步骤150，基于对比结果检测一个或更多个对象缺陷。
49.步骤130中对图像应用失真去除机器学习过程将评估对象的朝向和位置保持在失真图像范围内。
50.执行步骤120、130、140和150时可无需进行图像对齐。当评估对象不平坦时(或至少具有不平坦的下表面，或具有多个小平面可供该对象定位，或旋转或以其他方式定位或定向在检查现场时)，这是非常有益的。当评估对象具有单个平坦表面但可能与参考对象未对齐时，这也是有益的。
51.针对多个图像可以反复多次执行步骤120-150。
52.方法100可包括对评估对象的图像进行预处理，以提供预处理图像。这包括应用不同于步骤130的处理的预处理操作。
53.方法100还可包括对已处理图像(步骤130的输出)进行预处理经以得到双重处理图像。
54.步骤140可包括将预处理图像和双重处理图像进行对比，以提供对比结果。
55.预处理图像可提供关于图像的一个或更多个特征的信息。这些特征可以是梯度或任何其他特征。预处理图像可以是已处理图像的梯度图像。可以相对于任何方向或通过应用任何梯度核来计算梯度。双重处理图像也同样适用。
56.图2示出了包括对象212和背景214的图像210的示例，以及包括失真对象222和失真背景224的失真图像220的示例。图像210和失真图像220被馈送到自学习机器学习过程。对象的失真表示为225。背景的失真表示为226。背景可能会失真或不会失真。可能存在跨越背景和对象的失真。
57.图3示出了包括对象232和背景234的图像230的示例，以及包括失真对象242和失真背景244的失真图像240的示例。图像230和失真图像240被馈送到自学习机器学习过程。对象的失真表示为245。背景可能会失真或不会失真。可能存在跨越背景和对象的失真。
58.图4示出了具有对象的部分258的对象250的简化图像和具有失真部分268的失真对象260的简化图像的示例。部分258通过更改灰度级值并将特定大小的白色正方形转换为更大的正方形而失真，该更大的正方形包括由黑色正方形所包围的定向六边形。
59.图5示出了获取的图像281、评估对象的已处理图像(从失真去除机器学习过程中输出)282、差异图像283和热图284的示例。获取的图像显示了有缺陷的对象291，在已处理图像中几乎看不到缺陷(参见292)，在差异图像中缺陷清晰可见(参见293)。热图284也示出了同样的情况。
60.说明书中对方法的任何引用应比照适用于能够执行该方法的系统，并且应比照适用于存储指令的非瞬态计算机可读介质，该指令一旦被计算机执行则会执行该方法。
61.说明书中对系统和任何其他组件的任何引用应比照适用于可由系统执行的方法，并应比照适用于存储可由系统执行的指令的非瞬态计算机可读介质系统。
62.说明书中对非瞬态计算机可读介质的任何引用应比照适用于能够执行存储在非瞬态计算机可读介质中的指令的系统，并且应比照适用于可由计算机执行的方法，该计算机读取存储在非瞬态计算机可读介质中的指令。
63.任何附图中列出的任何模块或单元的任何组合、说明书的任何部分和/或任何权利要求都可得到。特别是可以得到任何要求保护的特征的任何组合。
64.对术语“包括”或“具有”的任何引用也应解释为指的是“由...组成”或“基本上由...组成”。例如，包括某些步骤的方法可以包括另外的步骤，可以限于特定的步骤，或者可以包括不会分别实质性影响该方法的基本和新颖特征的另外的步骤。
65.本发明还可以在用于在计算机系统上运行的计算机程序中实现，其至少包括代码部分，用于当在诸如计算机系统的可编程装置上运行时执行本发明的方法的步骤或使可编程装置能够执行本发明的设备或系统的功能。计算机程序可以使存储系统将磁盘驱动分配给磁盘驱动器组。
66.计算机程序是指令列表，例如特定应用程序和/或操作系统。计算机程序例如可以包括以下一项或多项：子例程、函数、过程、对象方法、对象实现、可执行应用程序、applet、servlet、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其他指令序列。
67.计算机程序可以存储在诸如非瞬态计算机可读介质之类的计算机程序产品内。所有或部分计算机程序可永久地、可移除地设置于非瞬态计算机可读介质上或或可远程耦合到信息处理系统上。非瞬态计算机可读介质可以包括例如但不限于以下任何数量的：磁存储介质，包括磁盘和磁带存储介质；光盘存储介质(如cd-rom、cd-r等)、数字视盘存储介质等光存储介质；非易失性存储器存储介质，包括基于半导体的存储单元，例如flash存储器、eeprom、eprom、rom；铁磁数字存储器；磁性随机存储器mram；易失性存储介质，包括寄存器、缓冲或高速缓存、主存储器、随机存储器ram等。计算机进程通常包括正在执行(运行)的程序或程序的一部分、当前程序值和状态信息，以及操作系统用来管理进程执行的资源。操作系统(os)是管理计算机资源共享并为程序员提供用于访问这些资源的接口的软件。操作系
统处理系统数据和用户输入，并通过分配和管理任务和内部系统资源作为服务来对系统用户和程序进行响应。计算机系统例如可以包括至少一个处理单元、相关联的存储器和多个输入/输出(i/o)设备。当执行该计算机程序时，计算机系统根据计算机程序处理信息，并通过i/o设备产生结果输出信息。
68.在前述说明书中，已经参考本发明实施例的具体示例对本发明进行了说明。然而，显而易见的是，在不脱离如所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。
69.此外，说明书和权利要求中的“前”、“后”、“顶部”、“底部”、“上方”、“下方”等术语(如有)仅用于描述目的，不一定用于描述永久相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，使得本文描述的本发明的实施例例如能够在不同于本文图示或以其他方式描述的方向的其他方向上进行操作。
70.本领域的技术人员将认识到，逻辑块之间的边界仅仅是说明性的，并且可选实施例可以对逻辑块或电路元件进行合并或将功能的可选分解施加到各种逻辑块或电路元件上。因此，应当理解，本文描述的架构仅仅是示例性的，并且实际上可以实施实现相同功能的许多其他架构。
71.为实现相同功能的任何组件的布置都被有效地“关联”，从而实现所需的功能。因此，本文组合以实现特定功能的任何两个组件可被视为彼此“相关联”以使得实现所期望的功能，无需考虑架构或中间组件。同样地，如此关联的任何两个组件也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现所期望的功能。
72.此外，本领域的技术人员将认识到，上述操作之间的界限仅仅是说明性的。多个操作可以组合成单个操作，单个操作可以分布在另外的操作中并且操作可以在时间上至少部分重叠地执行。此外，可选实施例可以包括特定操作的多个实例，并且在各种其他实施例中可以改变操作顺序。又例如，在一个实施例中，所示示例可以实现为位于单个集成电路上或同一设备内的电路。可选地，这些示例可以被实现为以合适的方式彼此互连的任意数量的单独的集成电路或单独的设备。
73.又例如，示例或其部分可以实现为物理电路的软件或代码表示或可转换成物理电路的逻辑表示，例如以任何适当类型的硬件描述语言。
74.此外，本发明不限于以非可编程硬件实现的物理设备或单元，还可以应用于能够通过根据合适的程序代码操作来执行期望的设备功能的可编程设备或单元，例如大型机、小型计算机、服务器、工作站、个人电脑、笔记本计算机、个人数字助理、电子游戏、汽车和其他嵌入式系统、手机和各种其他无线设备，在本技术中通常称为“计算机系统”。
75.然而，其他修改、变型和替换也是可能的。因此，说明书和附图将被认为是说明性的而不是限制性的。
76.在权利要求中，置于括号之间的任何参考符号不应被解释为对权利要求的限制。“包括”一词不排除权利要求中未列出的其他要素或步骤的存在。此外，本文所用的术语“一个”被定义为一个或一个以上。此外，在权利要求中使用诸如“至少一个”和“一个或更多个”的介绍性短语不应被解释为意味着通过不定冠词“一个”引入另一个权利要求要素将包含此类引入的权利要求要素的任何特定权利要求限制为仅包含一个此类要素的发明，即使同一权利要求包含介绍性短语“一个或更多个”或“至少一个”和不定冠词，例如“一个”。定冠
词的使用也是如此。除非另有说明，诸如“第一”和“第二”之类的术语用于任意区分这些术语描述的元素。因此，这些术语不一定旨在指示此类元素的时间或其他优先级。仅在相互不同的权利要求中列举了某些措施这一事实并不表明这些措施的组合不能发挥优势。
77.虽然已经在本文中对本发明的某些特征进行了说明和描述，但是本领域的普通技术人员现在还能想到许多修改、替换、变型和等同物。因此，应当理解，所附权利要求旨在涵盖落入本发明的真实精神内的所有此类修改和变型。

技术特征：
1.一种用于缺陷检测的方法，该方法包括：接收评估对象的图像；对所述图像应用失真去除机器学习过程以提供所述评估对象的已处理图像；将所述图像与所述已处理图像进行对比以提供对比结果；以及基于所述对比结果检测一个或多个对象缺陷；其中，所述失真去除机器学习过程由训练过程训练，以去除对象图像中的失真；以及其中，所述训练过程包括向所述机器学习过程馈送参考对象的图像和所述参考对象的失真图像；其中，所述失真图像是通过使所述参考图像失真而生成的。2.根据权利要求1所述的方法，其中，无缺陷对象的图像的失真包括用失真的片段替换所述图像的片段；其中，通过在所述图像的相应片段的一个或更多个属性中引入差异来生成失真片段。3.根据权利要求2所述的方法，其中，所述一个或更多个属性包括所述图像的相应片段的强度参数。4.根据权利要求2所述的方法，其中，所述一个或更多个属性包括所述图像的相应片段的平均强度。5.根据权利要求2所述的方法，其中，所述一个或更多个属性包括出现在所述图像的相应片段中的物件的大小。6.根据权利要求2所述的方法，其中，所述一个或更多个属性包括出现在所述图像的相应片段中的物件的朝向。7.根据权利要求1所述的方法，其中，所述对图像应用失真去除机器学习过程将所述评估对象的朝向和位置保持在所述失真图像的范围内。8.根据权利要求1所述的方法，其中，在执行所述应用、对比和生成步骤时无需进行图像对齐。9.根据权利要求1所述的方法，其中，所述对比包括生成差异图像。10.根据权利要求1所述的方法，其中，所述训练过程为自监督训练过程。11.根据权利要求1所述的方法，其中，所述参考对象的图像为无缺陷参考对象的图像。12.一种用于缺陷检测的非瞬态计算机可读介质，所述非瞬态计算机可读介质存储指令用于：接收评估对象的图像；对所述图像应用失真去除机器学习过程以提供所述评估对象的已处理图像；将所述图像与所述已处理图像进行对比以提供对比结果；以及基于所述对比结果检测一个或多个对象缺陷；其中，所述失真去除机器学习过程由训练过程训练，以去除对象图像中的失真；以及其中，所述训练过程包括向所述机器学习过程馈送参考对象的图像和所述参考对象的失真图像；其中，所述失真图像是通过使所述参考图像失真而生成的。13.根据权利要求13所述的非瞬态计算机可读介质，其中，无缺陷对象的图像的失真包括用失真的片段替换所述图像的片段；其中，通过在所述图像的相应片段的一个或更多个属性中引入差异来生成失真片段。14.根据权利要求13所述的非瞬态计算机可读介质，其中，所述的对所述图像应用失真
去除机器学习过程将所述评估对象的朝向和位置保持在所述失真图像的范围内。15.根据权利要求13所述的非瞬态计算机可读介质，其中，在执行所述应用、对比和生成步骤时无需进行图像对齐。16.根据权利要求13所述的非瞬态计算机可读介质，其中，所述对比包括生成差异图像。17.根据权利要求13所述的非瞬态计算机可读介质，其中，所述训练过程为自监督训练过程。18.根据权利要求13所述的非瞬态计算机可读介质，其中，所述参考对象的图像为无缺陷参考对象的图像。19.一种用于通过不同模态进行半监督学习的系统，该系统包括神经网络处理器，其被配置为：接收被评估对象的图像；对所述图像应用失真去除机器学习过程以提供所述评估对象的已处理图像；将所述图像与所述已处理图像进行对比以提供对比结果；以及基于所述对比结果检测一个或多个对象缺陷；其中，所述失真去除机器学习过程由训练过程训练，以去除对象图像中的失真；以及其中，训练过程包括向所述机器学习过程馈送参考对象的图像和所述参考对象的失真图像；其中，所述失真图像是通过使所述参考图像失真而生成的。

技术总结
可提供一种用于基于自监督学习的缺陷检测的方法，该方法可包括：(a)接收被评估对象的图像；(b)对所述图像应用失真去除机器学习过程以提供所述评估对象的已处理图像；(c)将该图像与所述已处理图像进行对比以提供对比结果；和(d)基于所述对比结果检测一个或多个对象缺陷。所述失真去除机器学习过程由训练过程训练，以去除对象图像中的失真。所述训练过程包括向所述机器学习过程馈送参考对象的图像和所述参考对象的失真图像。所述失真图像是通过使所述参考图像失真而生成的。过使所述参考图像失真而生成的。过使所述参考图像失真而生成的。


技术研发人员：S
受保护的技术使用者：精益人工智能科技有限公司
技术研发日：2023.02.02
技术公布日：2023/8/5