在基于AI的视觉检查处理期间检验与图像数据相关联的数据收集条件的方法和系统与流程

在基于ai的视觉检查处理期间检验与图像数据相关联的数据收集条件的方法和系统
技术领域
1.本发明一般涉及启用人工智能(ai)的视觉检查，并且具体涉及创建用于所述分类的数据集。


背景技术：

2.使用机器学习的缺陷的自动视觉检查已存在了一段时间。示例架构包括人工智能(ai)技术、深度学习架构以实现各种材料的自动视觉检查作为质量控制处理的一部分。另外的示例包括启用半自动ai的视觉检查处理，其中视觉检查的一部分可以由人类通过提供用户输入来呈现，以便于启用ai的视觉检查处理的操作。
3.从现有技术的上述ai模型来看，至少期望识别实际缺陷，而不是捕获源自不同数据收集条件的假缺陷。这样的不同数据捕获条件背后的至少一个原因是，为了ai模型的检查而收集的数据可能来自不同的生产线，并且照明条件也在一段时间内变化。然而，现有技术的ai模型倾向于忽略这种不一致。
4.因此，如果未对数据捕获条件中的不一致的存在进行检验，则可能导致误导模型性能。换句话说，启用ai的视觉检查模型将由于照明条件而产生的像差误识别为缺陷，并且倾向于获得除实际缺陷之外的假缺陷。
5.总体而言，在跨不同类的数据收集条件(例如，照明条件、聚焦错误、照相机对准、模糊等)不类似的情况下，传统技术不能自动调整图像以补偿诸如照明等的不同条件。现有技术的机制无法使得ai模型仅关注于给定数据集内的实际缺陷。
6.需要长期的系统维护机制，该长期的系统维护机制可以检测捕获条件的变化，并在检测到这样的条件时自动生成标志或应用补偿/校正技术。
7.需要确保ai模型不会因不同的捕获条件而产生偏差，并且需要致力于训练数据集和启用ai的视觉检查系统的长期维护。


技术实现要素：

8.本发明内容是为了以简化格式介绍在本公开的详细说明中进一步说明的概念的选择而提供的。本发明内容部分既不旨在标识所要求保护的主题的关键或重要发明构思，也不旨在确定所要求保护的主题的范围。根据本公开的目的，如本文所体现和广义说明的本公开描述了用于在全自动环境中或通过半自动机构预测或分类任何材料或对象的摄像条件或者与材料/对象相关的任何摄像特征/属性的方法和系统。
9.本主题涉及一种用于作为基于ai的视觉检查处理的一部分而检验与各种对象的图像相关联的数据收集条件或图像捕获条件的方法。所述方法包括生成第一组图像的第一代表图像即fr1图像和第二组图像的第二代表图像即fr2图像。基于计算具有相同坐标值的像素的亮度值之间的差来在所述fr1图像和所述fr2图像之间生成差分图像数据。之后，基于获取由像素的亮度差值形成的差分图像数据来在差分图像内确定多个白色像素或强度
值中的一个或多于一个白色像素或强度值。确定表示跨所述fr1图像和所述fr2图像的数据捕获条件的差异的指数，所述指数至少基于所述多个白色像素或强度值来确定。
10.在另一实施例中，本主题涉及一种用于基于检验与图像数据相关联的图像收集条件来校正图像数据的方法。这样的校正可以在作为基于ai的视觉检查处理的一部分的数据收集阶段进行。数据收集处理可以由于不同的位置、不同的工厂等而不同。所述方法包括：生成第一组图像的第一代表图像即fr1图像和第二组图像的第二代表图像即fr2图像；以及基于计算具有相同坐标值的像素的亮度值之间的差来在所述fr1图像和所述fr2图像之间生成差分图像数据。基于获取由像素的亮度差值形成的差分图像数据，来在差分图像内确定多个白色像素或强度值中的一个或多于一个白色像素或强度值。确定表示跨所述fr1图像和所述fr2图像的数据捕获条件的差异的指数，使得所述指数是至少基于所述多个白色像素或强度值确定的。基于所确定的指数，针对属于所述fr1图像和所述fr2图像的各个类的图像中的一个或多于一个图像来执行以下项中的至少一个的自动校正：所检测到的未对准；对准或未对准的图像内的所检测到的照度变化；以及所检测到的模糊。
11.至少借助于前述，本主题使得能够进行跨不同类的数据收集条件的类似度的自动评级。之后，在图像内自动调整诸如照明条件和对准等的所检测到的数据捕获条件以补偿不同的照明。
12.实施例的目的和优点将至少通过在权利要求书中特别指出的元素、特征和组合来实现和达成。应当理解，前面的一般说明和以下的详细说明都是代表性和解释性的，而不是对所要求保护的本发明的限制。
附图说明
13.此外，熟练的技术人员将理解，附图中的元素是为简单而例示的，并且可能不一定是按比例绘制的。例如，流程图从所涉及的最主要步骤方面例示方法，以帮助提高对本发明的方面的理解。此外，就装置的构造而言，装置的一个或多于一个组件可能已在附图中由传统符号表示，并且附图可能仅示出与理解本公开的实施例相关的具体细节，以免附图因本领域普通技术人员受益于本文的说明而将容易明白的细节而变得费解。
14.图1例示根据本公开实施例的方法步骤；
15.图2例示根据本公开另一实施例的方法步骤；
16.图3例示根据本公开又一实施例的方法步骤；
17.图4例示根据本公开实施例的用于自动照明和对准检验的控制流；
18.图5例示根据本公开实施例的所需图像的计算以及由此的与数据捕获条件相关的各种指数的确定；
19.图6表示根据本公开实施例的差分图像的计算；
20.图7表示根据本公开另一实施例的对包括相对于差分图像的一个或多于一个错误像素或白色像素的blob(二进制大对象)的分析；
21.图8a表示根据本公开另一实施例的检测作为数据捕获条件的照明的未对准或差异；
22.图8b表示根据本公开另一实施例的检测作为数据捕获条件的照明的未对准或差异；
23.图9表示根据本公开另一实施例的作为自动对准校正和照明校正的一部分的校正技术的应用；
24.图10例示根据本公开另一实施例的示例性图像到图像转换(image to image translation)技术；以及
25.图11例示根据本公开另一实施例的如前图所示的系统在计算环境中的实现。
26.附图中的元素是为简单起见而例示的，并且可能不一定是按比例绘制的。此外，就装置的构造而言，装置的一个或多于一个组件可能已在附图中由传统符号表示，并且附图可能仅示出与理解本发明的实施例相关的具体细节，以免附图因本领域普通技术人员受益于本文的说明而将容易明白的细节而变得费解。
具体实施方式
27.为了促进对本发明的原理的理解的目的，现在将参考附图中所示的实施例，并且将使用特定语言来说明这些实施例。然而，将理解，并不旨在限制本发明的范围，其中所示系统中的这种更改和进一步修改以及如所示系统中所示的本发明的原理的这种进一步应用被认为是本发明所涉及领域的技术人员通常会想到的。
28.本领域技术人员将理解，前面的一般说明和以下的详细说明是本发明的解释，而不旨在限制本发明。
29.整个本说明书中对“一方面”、“另一方面”或类似语言的提及意味着结合实施例所述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个该说明书中短语“在实施例中”、“在另一实施例中”和类似语言的出现可以但没有必要一定全部指代相同的实施例。
30.术语“包括(comprises/comprising)”或其任何其他变形旨在涵盖非排他性包含，使得包括一系列步骤的处理或方法不是仅包括这些步骤，而是可以包括未明确列出的或这种处理或方法固有的其他步骤。类似地，在“包括
……
(comprises
…
a)”之前的一个或多于一个装置或子系统或元件或结构或组件在无更多约束的情况下，不排除其他装置或其他子系统或其他元件或其他结构或其他组件或者附加装置或附加子系统或附加元件或附加结构或附加组件的存在。
31.除非另外定义，否则本文所使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。本文所提供的系统、方法和示例仅是例示性的，而不是旨在限制。
32.以下参考附图来详细说明本主题的实施例。
33.图1例示在基于ai的视觉检查处理期间检验与图像数据相关联的数据收集条件的方法。该方法包括生成(步骤102)第一组图像的第一代表(fr1)图像和第二组图像的第二代表(fr2)图像。在实施例中，分别根据由第一组图像和第二组图像的中值图像定义的对准数据集来生成fr1图像和fr2图像，并且其中fr1图像和fr2图像表示整个对象或关注区域(roi)。
34.可以对fr1图像和fr2图像各自进行评估以推荐fr1图像和fr2图像内的一个或多于一个图像特征。该评估包括检测fr1图像和fr2图像各自内的多个关注点，并由此关于针对fr1图像和fr2图像的所检测到的多个关注点确定重复率(repeatability rate)，所述重
复率定义几何稳定性准则。此外，可以针对fr1图像和fr2图像确定与所述重复率相对应的子多个关注点(sub-plurality of interest points)。根据关键点特征的标准库，将子多个关注点识别为由角(corner)、边缘(edge)、脊(ridge)中的一个或多于一个定义的一个或多于一个图像特征。
35.此外，该方法包括基于计算具有相同坐标值的像素的亮度值之间的差来在fr1图像和fr2图像之间生成(步骤104)差分图像数据。差分图像可以是二值图像或灰度图像。fr1/fr2图像表示各类的中值图像，该中值图像进而表示无缺陷的干净表示(即，中值图像)。
36.此外，该方法包括基于由像素的亮度差值形成的差分图像数据的获取来在差分图像内确定(步骤106)多个白色像素或强度值中的一个或多于一个白色像素或强度值。确定白色像素或强度值包括在用作差分图像的二值图像中将白色像素定位为至少一个错误像素，以及在用作差分图像的灰度图像中定位强度区域。
37.此外，该方法包括确定(步骤108)表示跨fr1图像和fr2图像的数据捕获条件的差异的指数，所述指数至少基于多个白色像素或强度值来确定。关于二值图像的指数的确定包括基于形成blob的一部分的白色像素的数量与二值图像内的像素总数的比来计算总指数。总指数包括由大blob的数量与像素总数的比定义的照明指数，所述大blob由高于预定义阈值的高度和宽度定义。对准指数是由窄blob的数量与像素总数的比定义的，所述窄blob由低于预定义阈值的高度和宽度定义。
38.在示例中，表示关于二值图像和灰度图像的数据捕获条件的差异的指数的确定包括基于对二值图像中的每列的错误点的数量进行计数来计算fr1图像和fr2图像之间的基于照度的指数的差，并由此计算二值图像的每列的高强度的计数的中值。在另一示例中，该方法包括计算灰度图像中的每列的平均强度，并由此计算灰度图像的每列的平均强度的中值。
39.二值图像和灰度图像的所计算出的中值用作照度指数的差。如果所计算出的照度指数的差高于预定义阈值，则计算fr1图像和fr2图像中的任一个图像中的照度差。在fr1图像和fr2图像中的任一个图像中，基于以下中的至少一个来确定未对准条件：a)照度指数的差低于预定义阈值；以及b)所计算出的总指数高于预定义阈值并由此描绘错误。
40.此外，作为图像校正技术的一部分，该方法包括：将差分图像内的blob的扩散分析为低于预定义阈值并沿着所识别出的关注点其中之一而存在，所述blob各自表示差分图像内的白色像素的组。基于对blob的扩散的分析，针对fr1图像和fr2图像中的任一个图像将对准质量指数确定为高于容差。
41.针对与fr1图像或fr2图像的类相对应的图像中的一个或多于一个图像，自动校正所检测到的未对准。所检测到的未对准的自动校正是基于在强度空间中从fr1图像和fr2图像其中之一中提取一个或多于一个尺度不变(sift)图像特征来实现的。将一个或多于一个尺度不变图像特征与基于应用在fr1图像和fr2图像中的一个或多于一个图像上的深度学习准则所确定的多个对应关注点进行映射。使用对应关注点来使与fr1图像或fr2图像的类相对应的图像中的一个或多于一个图像对准。
42.此外，作为图像校正技术的一部分，该方法包括：将差分图像内的blob的扩散分析为高于预定义阈值并沿着所识别出的关注点其中之一而存在，所述blob各自表示差分图像
内的白色像素的组。基于对blob的扩散的分析，针对fr1图像和fr2图像中的任一个图像将照度质量指数检测为高于容差值。针对fr1图像和fr2图像其中之一，基于照度质量指数来自动校正所检测到的照度变化。基于启用深度学习的图像到图像转换技术来针对与fr1图像或fr2图像的类相对应的一个或多于一个未对准图像自动校正所检测到的照度变化，所述转换技术被配置为捕获与一组图像有关的照明条件的特性并将其重建为另一组图像。
43.关于对准数据集，自动校正针对与对准数据集相对应的fr1图像或fr2图像的所检测到的照度变化。对于指代第二组图像的类2中的特定图像，计算fr1图像和正在考虑的特定图像之间的差以产生另一差分图像。在该另一差分图像内定位多个blob。所述blob各自表示差分图像内的白色像素的组。对所定位的blob按区域编索引。对于特定blob区域(例如，差分图像中的区域i)，计算fr1图像的区域与第二组图像内的特定图像的区域之间的差。之后，如果针对正在考虑的blob的所计算出的差大于容差值，则对于第二组图像的特定图像，使正在考虑的blob的像素值变化。进行正在考虑的特定图像的像素值的变化，直到针对正在考虑的blob的所计算出的差小于容差值为止。之后，针对第二组中的剩余图像再次执行这些步骤，以由此使得对与fr2图像的类相对应的对准的一个或多于一个图像进行照度校正。
44.此外，作为图像校正技术的一部分，该方法还包括：将差分图像内的blob的扩散分析为高于预定义阈值并且沿着所识别出的关注点其中之一而存在，所述blob各自表示差分图像内的白色像素的组。基于对blob的扩散的分析，针对fr1图像和fr2图像中的任一个图像将模糊质量指数检测为高于容差。通过操作者对摄像装置进行再聚焦，基于针对fr1图像和fr2图像其中之一的所检测到的模糊质量指数来自动校正模糊质量。
45.图2是指用于在基于ai的视觉检查处理期间检验与图像数据相关联的数据收集条件来校正图像数据的方法。
46.该方法包括：生成(步骤202)第一组图像的第一代表(fr1)图像和第二组图像的第二代表(fr2)图像，并且基于此，基于计算具有相同坐标值的像素的亮度值之间的差来在fr1图像和fr2图像之间生成(步骤204)差分图像数据。基于此，基于获取由像素的亮度差值形成的差分图像数据来在差分图像内确定(步骤206)多个白色像素或强度值中的一个或多于一个白色像素或强度值。
47.确定(步骤208)表示跨fr1图像和fr2图像的数据捕获条件的差异的指数，所述指数至少基于多个白色像素或强度值来确定。之后，对于fr1图像和fr2图像其中之一，基于所确定的指数来进行自动校正。可以基于以下项中的至少一个来进行自动校正：所检测到的未对准、对准或未对准图像内的所检测到的照度变化、以及所检测到的模糊。
48.图3例示用于在基于ai的视觉检查处理期间校正与图像数据相关联的照度变化条件的方法。这种校正可以在作为基于ai的视觉检查处理的一部分的数据收集阶段期间进行。数据收集处理可能由于不同的位置、不同的工厂等而不同。该方法包括：生成(步骤302)第一组图像的第一代表图像(fr1)和第二组图像的第二代表图像(fr2)。此外，基于计算具有相同坐标值的像素的亮度值之间的差来在fr1图像和fr2图像之间生成(步骤304)差分图像数据，并且基于此来检测fr2图像的照度变化。
49.为了校正照度变化，计算(步骤306)fr1图像和第二组图像中的特定图像之间的差分以产生另一差分图像。在该另一差分图像内定位多个blob，所述blob各自表示差分图像
内的白色像素的组。对于与另一差分图像相对应的各blob区域，计算(步骤308)fr1图像与第二组图像的特定图像之间的差分。如果针对正在考虑的blob的所计算出的差大于容差值，则对于第二组图像中的特定图像，使正在考虑的blob区域的像素值变化(步骤310)。执行像素值的变化(步骤312)，直到针对特定图像的正在考虑的blob区域的所计算出的差小于容差值为止。针对第二组图像中的其他图像重复这些步骤，并且由此校正了fr2图像的照度变化。
50.图4例示用于自动照明和对准检验的控制流，并且相应地分别与图1、图2和图3的步骤102、104、202、204和302、304相对应。
51.步骤402与接收视觉检查所用的数据集相对应。该数据集可以与所捕获到的对象的图像相对应。
52.步骤404与通过现有技术的启用ai和非ai的自动或半自动对准技术的在步骤402中所接收到的图像数据集内的对象的对准相对应。在示例中，半自动技术包括图像内的关注点的用户注释，并且基于此，图像内的对象在图像帧内对准。
53.基于对准，可以根据诸如良好(ok)或不良(ng)等的各种类别对对准的图像数据集进行自动分类。
54.步骤406对应于：类1(例如，ok(不存在缺陷))的中值图像或代表图像的计算以及另一类2(例如，表示存在诸如划痕等的缺陷的ng)的中值图像的计算。换句话说，生成第一组图像的第一代表(fr1)图像和第二组图像的第二代表(fr2)图像。fr1图像和fr2图像表示整个对象或关注区域。各中值图像fr1和fr2表示无缺陷的干净表示(即，中值图像)
55.步骤408与根据图5至图7的说明对步骤406的中值图像的附加ai驱动处理(即，指数计算和分析)相对应。
56.图5例示计算所需图像以及由此确定与数据捕获条件相关的各种指数。指数描述由于数据捕获条件的不同而是否存在问题以及什么类型的问题。
57.步骤502与生成fr1图像和fr2图像之间的差分相对应。具体地，基于计算具有相同坐标值的像素的亮度值之间的差来在fr1图像和fr2图像之间生成差分图像数据。可以使用图像相减来量化条件的差异。该步骤可以由操作员从视觉上解读，或者通过使用阈值和非零像素位置来自动解读。
58.步骤504与将步骤502中所生成的差分图像表示为二值图像或灰度图像相对应。
59.图6表示根据步骤504的差分图像的计算以及通过二值图像的差分图像的表示。图6的(a)表示作为差分图像的二值图像的生成，并由此将白色像素或错误像素描绘为两个图像之间的差。图6的(b)表示fr1和fr2这两者都对应于相同或类似的类并且在fr1和fr2之间不存在明显差异的情景。因此，图6的(b)中的差分图像是具有可忽略的错误像素的空白图像。
60.图7表示针对用于确定与步骤104和106相对应的数据捕获条件指数的差分图像而分析包括一个或多于一个错误像素或白色像素的blob。例如通过应用所连接组件分析，在图像中定位白色blob。根据blob的数量及其大小来计算总指数。在示例中，总指数位于0和1之间，并且通过以下来定义：
61.[数学式1]
[0062][0063]
另一示例指数是照明指数，其基于在宽度》阈值的情况下、在高度》阈值的情况下的大blob数量和尺寸。照明指数通过以下来表示：
[0064]
[数学式2]
[0065][0066]
因此，照明指数由大blob的数量与像素总数的比来定义，所述大blob由高于预定义阈值的高度和宽度来定义。又一示例指数是对准指数，其基于窄blob数量和尺寸，使得对于blob，宽度大于阈值1且高度小于阈值2。因此，对准指数由窄blob的数量与像素总数的比来定义。窄blob由低于预定义阈值的高度和宽度来定义。对准指数可以通过以下来表示：
[0067]
[数学式3]
[0068][0069]
在示例中，总指数还可以被表示为：
[0070]
照明指数+对准指数+其他blob中的像素-(照明指数、对准指数)的交集
[0071]
在示例中，上述指数例如可以基于多个ai或ml技术的应用来计算。在其他示例中，可以使用多个深度学习技术来计算指数。对于诸如未对准条件或照明条件的差异等的数据捕获条件，将如上所述确定的指数与各种阈值或容差值进行比较。如果blob位于边缘附近，则系统建议细化对准。如果blob跨宽广的区域地扩散，则这指示照明条件的差异。
[0072]
作为这种比较的前兆，对fr1图像和fr2图像各自进行评估以推荐fr1图像和fr2图像内的一个或多于一个图像特征。
[0073]
评估从检测fr1图像和fr2图像各自内的多个关注点开始。例如，关于fr1(类1)和fr2(类2)，通过特征描述符d提取关注点。如果在图像fr2中检测到对应点p2，则在图像fr2中对在图像fr1中检测到的点p1进行重复。
[0074]
之后，关于针对fr1图像和fr2图像的所检测到的多个关注点确定重复率，所述重复率定义几何稳定性准则。关于fr1图像和fr2图像确定与所述重复率相对应的子多个关注点。换句话说，使用重复率，检验在两个中值图像中重复的检测点的百分比，这明确地描述了在不同条件下拍摄到的给定场景的不同图像之间的关注点检测器的几何稳定性。
[0075]
之后，根据关键点特征的标准库，将子多个关注点识别为由角、边缘、脊中的一个或多于一个定义的一个或多于一个图像特征。然后，应用信息增益以测量描述符的特征的独特性。
[0076]
根据用于对fr1图像和fr2图像进行上述评估的示例情景，可以利用诸如sift、surf、fast、brief、orb等的关键点特征的库来执行软件(sw)。至少一个目标可以是估计要用于数据集的最佳特征。可以如下提供示例方法/算法步骤(1-5)：
[0077]
步骤1：提取与fr1相对应的类1中的图像的特征
[0078]
步骤2：对与fr2相对应的类2中的图像重复步骤1
[0079]
步骤3：检验关键点检测的质量
[0080]
i.步骤3i：针对类1中的图像计算关键点j的标准偏差
[0081]
○
j＝1至n，n是在图像中检测到的关键点的总数
[0082]
○
较小的标准偏差示出特征的稳定性
[0083]
ii.步骤3ii：对类2中的图像重复步骤
[0084]
iii.步骤3iii：针对类1和类2中的图像计算关键点j之间的rmse
[0085]
○
较小的rmse示出特征的重复性
[0086]
步骤4：对所有特征(sift、surf、fast、brief、orb等)重复1至3
[0087]
步骤5：最终确定提供std和rmse的最小值的特征
[0088]
现在，为了检测对准问题，将差分图像内的blob的扩散分析为低于预定义阈值并且沿着所识别出的关注点其中之一而存在。基于对blob的扩散的分析，将针对fr1图像和fr2图像中的任一个图像的对准质量指数检测为“高于容差”，并且由此建立了未对准。
[0089]
现在，为了检测照明问题的差异，将差分图像内的blob的扩散分析为高于预定义阈值并且沿着所识别出的关注点其中之一而存在。基于对blob的扩散的分析，将针对fr1图像和fr2图像中的任一个图像的照明指数或照度质量指数检测为“高于容差”值，并且由此建立了照明的差异。
[0090]
可替代地，如果blob位于边缘附近，则本系统检测到未对准并建议细化对准。如果blob跨宽广的区域地扩散，则这指示照明条件的差异。
[0091]
在另一示例中，本主题可被解释为基于对blob的扩散的分析来将针对fr1图像和fr2图像中的任一个图像的模糊质量指数检测为高于容差。所检测到的模糊可以稍后基于诸如由操作员进行的照相机的重新聚焦以捕获图像等的现有技术来校正。
[0092]
图8a和图8b表示用于检测作为数据捕获条件的未对准或照明的差异的替代实施例。确定表示关于二值图像和灰度图像的数据捕获条件的差异的指数包括计算fr1图像和fr2图像之间的基于照度的指数的差。至少一个目的是检测ok和ng的中值图像之间的照度差。可以观察到在对两个类的中值图像fr1和fr2之间的差进行二值化之后的错误点或白色像素的全局扩散。
[0093]
在操作中，对二值图像中的每列的错误点的数量进行计数，并且由此针对二值图像计算每列的高强度的计数的中值。此外，计算灰度图像中的每列的平均强度，并且由此针对灰度图像计算每列的平均强度的中值。将所计算出的二值图像和灰度图像的中值定义为照度指数的差。
[0094]
如果所计算出的照度指数的差高于预定义阈值，则确定了fr1图像和fr2图像中的任一个图像中的照度差。另一方面，基于以下项中的至少一个来在fr1图像和fr2图像中的任一个图像中确定未对准条件：a)照度指数的差异低于预定义阈值；以及b)图7中的所计算出的总指数高于预定义阈值，由此描绘错误。
[0095]
图9例示根据步骤208和步骤306的作为自动对准校正和照明校正的一部分的校正技术的应用。
[0096]
步骤902至906与图4的步骤402至406相对应。
[0097]
步骤908与根据图7基于对准指数与容差的比较来确定未对准条件相对应。可以理解，如果两个类的中值图像之间的差的二值化之后的blob的扩散低并且沿着边缘突出，则发生对准校正测量。两个图像类的照相机设置的显著差异可能导致这些类其中之一中的这
种不对准。
[0098]
步骤910与根据图7基于照明指数与容差的比较来确定照度条件的差异相对应。这种确定是基于两个类的中值图像之间的差异的二值化之后的blob的扩散高并且沿着边缘突出。在这种情景中，由于照明条件的变化，对准也可能失败。
[0099]
在仅不满足步骤908的条件但满足步骤910的条件的情况下，控制流处理返回到步骤904以校正对准。然而，在不满足步骤908和步骤910这两者的条件的情况下，那么控制转移到步骤912以校正将未对准结合在一起的两个照明问题。
[0100]
作为步骤904处的对准校正的一部分，在强度空间中从fr1图像或fr2图像其中之一中提取一个或多于一个尺度不变图像特征。在示例中，可以采用尺度不变特征检测器和描述符来提取强度空间中的梯度特征。将一个或多于一个尺度不变图像特征与基于深度学习准则所确定的并应用在fr1图像和fr2图像中的一个或多于一个图像上的多个对应关注点进行映射。在示例中，可以采用暴力最近邻(brute force nearest-neighbours)方法来匹配对应关注点，并使用对应关注点来对准图像。基于此，使用对应关注点来对准fr1图像和fr2图像其中之一。
[0101]
在步骤912处，基于启用深度学习的图像到图像转换技术来针对未对准的fr1图像或未对准的fr2图像自动校正所检测到的照度变化，所述转换技术被配置为捕获与一组图像有关的照明条件的特性并将其重建为另一组图像。在图10中定义的示例实施例中进一步参考了相同的内容。
[0102]
在步骤912之后，控制再次转移到步骤906，然后转移到步骤908。如果现在满足步骤908中的条件并且现在认为数据集对准，则控制转移到步骤914。
[0103]
步骤914对应于：基于根据图7将照明指数与容差进行比较来针对对准的数据集确定照度条件的差异。在不满足步骤914的条件的情况下，然后控制转移到步骤916以校正两个照明问题。基于分析为两个类的中值图像之间的差异的二值化之后的blob的分散高，观察到两个类的图像的照明条件的显著差异。
[0104]
在步骤916处，自动校正针对与对准数据集相对应的fr1图像或fr2图像的所检测到的照度变化。对于指代第二组图像的类2中的特定图像，计算fr1图像和正在考虑的特定图像之间的差分以产生另一差分图像。在该另一差分图像内定位多个blob，所述blob各自表示另一差分图像内的白色像素的组。按区域对所定位的blob编索引。对于特定blob区域(例如，差分图像中的区域i)，在fr1图像的区域和第二组图像的特定图像的区域之间计算差异。如果所计算的差异大于容差值，则针对第二组图像的特定图像，使正在考虑的特定区域的像素值变化。执行正在考虑的特定图像的像素值的这种变化，直到针对正在考虑的blob的所计算出的差小于容差值为止。之后，对属于第二组图像或类2的下一图像重复像素值的定位、计算、变化的步骤，以最终校正在对准fr2中的照度。
[0105]
可以如下针对与fr2相对应的类2中的各图像执行构成步骤916的基础的示例算法步骤1至7：
[0106]
针对类2中的各图像：
[0107]
步骤1：中值(类1)-类2的样本图像
[0108]
步骤2：对差分图像进行二值化
[0109]
步骤3：顺次对大blob的区域进行分割和编索引(1、2、..n)
[0110]
步骤4：对于blob区域i，计算中值(类1,区域i)-类2的样本图像(区域i)
[0111]
步骤5：如果差(区域i)》容差，则使类2的样本图像的区域i的像素值递增/递减(假定照度被标准化为类1)
[0112]
步骤6：重复步骤5，直到区域i的差异小于阈值为止
[0113]
步骤7：针对blob区域1至n重复步骤4至6
[0114]
针对类2的下一图像重复步骤1至7
[0115]
在另一示例中，步骤916可被解释为基于针对fr1图像和fr2图像其中之一所检测到的模糊质量指数来自动校正模糊质量。为此目的，照相机可以由操作者重新聚焦以校正模糊。
[0116]
在步骤916中进行照明校正之后，控制转移回到步骤906。一旦满足了步骤908、914的条件，则将校正和补偿后的数据集(例如，光补偿数据集)传递到步骤918以进行自动视觉检查。
[0117]
本主题通过使得能够检验在不同日期收集的数据是否将会有用来呈现对数据收集的支持。该操作可以作为数据收集条件的校正的一部分而日常进行，并且可以不需要数据集的标记。
[0118]
在ai训练阶段之前需要数据检验的情况下，在进行本主题操作之前可能需要对数据集进行标记。之后，可以保存数据集。
[0119]
作为部署之后的系统维护的一部分，本主题可适用于将当前条件与数据收集期间的条件进行比较。例如，几年之后，可以在不干扰生产线生产的情况下检测到硬件问题。在这样的情景中，可以对数据集进行校正或者数据集可以经过重新训练，或者这两者都适用。
[0120]
图10例示作为自动照明校正的一部分的根据步骤912的示例性图像到图像转换技术。
[0121]
例如，具有理想照明的图像可以是i1，并且具有非理想照明的图像可以是i2。将非理想照明图像转换成理想照明图像i2’。至少一个目标是使用深度学习方法来识别映射函数(f)以将任何非理想照明图像转换成理想照明。因此，最终目标或理想照明图像i2’是f.i2，其中f是使用训练图像对(i1,i2)所学习的映射函数，使得i2＝f.i1。
[0122]
利用图像到图像转换技术，捕获到fr1图像的照明条件，并对这些特性进行转换以生成并提高与fr2相对应的图像质量。
[0123]
基于生成器对抗网络(gan)的示例图像到图像转换模块由如如下描绘的示例三个组件构成。
[0124]
生成器1002：编码器-解码器模型包括卷积、激活层、丢弃(dropout)、批归一化(batch normalization)等的标准化块，这使得生成器能够学习并生成目标域类中的合理图像。
[0125]
鉴别器1004：使用深度卷积神经网络来对所生成的图像或伪图像进行分类。鉴别器判断所生成的图像是否是原始图像的似乎合理的变换(plausible transformation)。
[0126]
增强器1006：采用基于接收场的深度模型，来在保留原始图像结构的同时，增强所生成的图像的精细尺度并增强其照明条件。
[0127]
图11例示如图4至图9所示的系统在计算环境中的实现。本图基本上例示了系统的硬件结构。计算机系统1400可以包括可以被执行以使得计算机系统1400进行所公开的方法
中的任何一个或多于一个的指令集合。计算机系统1400可以作为独立装置进行操作，或者可以例如使用网络连接到其他计算机系统或外围装置。
[0128]
在联网部署中，计算机系统1400可以以服务器的能力、或者作为服务器-客户端用户网络环境中的客户端用户计算机、或者作为对等(或分布式)网络环境中的对等计算机系统进行操作。计算机系统1400还可以被实现为或并入各种装置，诸如个人计算机(pc)、平板pc、个人数字助理(pda)、移动装置、掌上计算机、膝上型计算机、台式计算机、通信装置、无线电话、固定电话、web设备、网络路由器、交换机或网桥、或者能够执行指定机器所要执行的动作的(顺序的或按其他方式的)指令的集合的任何其他机器等。此外，尽管例示了单个计算机系统1400，但术语“系统”也应被视为包括单独或共同执行一个或多于一个指令集合以进行一个或多于一个计算机功能的系统或子系统的任何集合。
[0129]
计算机系统1400可以包括处理器1402(例如，中央处理单元(cpu)、图形处理单元(gpu)或这两者)。处理器1402可以是各种系统中的组件。例如，处理器1402可以是标准个人计算机或工作站的一部分。处理器1402可以是一个或多于一个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、它们的组合、或者用于分析并处理数据的其他现在已知或以后开发的装置。处理器1402可以实现软件程序，诸如手动生成(即，编程)的代码等。
[0130]
计算机系统1400可以包括存储器1404，诸如可以经由总线1408进行通信的存储器1404等。存储器1404可以是主存储器、静态存储器或动态存储器。存储器1404可以包括但不限于计算机可读存储介质，诸如各种类型的易失性和非易失性存储介质等，其包括但不限于随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可擦除只读存储器、闪速存储器、磁带或磁盘、以及光学介质等。在一个示例中，存储器1404包括用于处理器1402的高速缓存存储器或随机存取存储器。在替代示例中，存储器1404与处理器1402(诸如处理器的高速缓冲存储器、系统存储器或其他存储器等)分离。存储器1404可以是用于存储数据的外部存储装置或数据库。示例包括硬盘驱动器、致密盘(“cd”)、数字视频盘(“dvd”)、存储卡、记忆棒、软盘、通用串行总线(“usb”)存储装置、或可用于存储数据的任何其他装置。存储器1404可操作以存储可由处理器1402执行的指令。在附图中例示的或所描述的功能、动作或任务可以通过编程处理器1402执行存储器1404中所存储的指令来进行。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以通过软件、硬件、集成电路、固件和微代码等单独或组合操作来进行。同样，处理策略可以包括多处理、多任务处理和并行处理等。
[0131]
如图所示，计算机系统1400可以或可以不进一步包括显示单元1410，诸如液晶显示器(lcd)、有机发光二极管(oled)、平板显示器、固态显示器、阴极射线管(crt)、投影仪、打印机、或者用于输出所确定的信息的其他现在已知或以后开发的显示装置等。显示器1410可以用作用户查看处理器1402的功能的接口，或者具体地用作与存储器1404或驱动单元1416中所存储的软件的接口。
[0132]
另外，计算机系统1400可以包括被配置为使得用户能够与系统1400的任何组件交互的输入装置1412。输入装置1412可以是数字小键盘、键盘或光标控制装置(诸如鼠标或操纵杆)、触摸屏显示器、遥控器或可操作以与计算机系统1400交互的任何其他装置等。
[0133]
计算机系统1400还可以包括盘或光学驱动单元1416。盘驱动单元1416可包括计算
机可读介质1422，其中在该计算机可读介质1422中，可以嵌入指令1424的一个或多于一个集合(例如，软件)。此外，指令1424可以体现如所述的方法或逻辑中的一个或多于一个。在特定示例中，指令1424在由计算机系统1400执行期间，可以完全地或至少部分地驻留在存储器1404内或处理器1402内。存储器1404和处理器1402还可以包括如上所述的计算机可读介质。
[0134]
本发明设想了一种计算机可读介质，该计算机可读介质包括指令1424或者响应于所传播的信号而接收并执行指令1424，使得连接到网络1426的装置可以通过网络1426通信语音、视频、音频、图像或任何其他数据。此外，可以经由通信端口或接口1420或者使用总线1408通过网络1426发送或接收指令1424。通信端口或接口1420可以是处理器1402的一部分或者可以是单独的组件。通信端口1420可以在软件中创建，或者可以是硬件中的物理连接。通信端口1420可以被配置为与网络1426、外部介质、显示器1410、或者系统1400中的任何其他组件或其组合连接。与网络1426的连接可以是物理连接，诸如有线以太网连接等，或者可以是如后面所述无线地建立的。同样地，与系统1400的其他组件的附加连接可以是物理连接或者可以无线地建立。网络1426可以可替代地直接连接到总线1408。
[0135]
网络1426可以包括有线网络、无线网络、以太网avb网络或其组合。无线网络可以是蜂窝电话网络、802.11、802.16、802.20、802.1q或wimax网络。此外，网络1426可以是诸如因特网等的公共网络、诸如内部网等的专用网络或其组合，并且可以利用现在可用或以后开发的各种网络协议，其包括但不限于基于tcp/ip的网络协议。
[0136]
在替代示例中，可以构造诸如专用集成电路、可编程逻辑阵列和其他硬件装置等的专用硬件实现以实现系统1400的各个部分。
[0137]
至少基于上述特征，本主题呈现了：在相同照明条件下收集不同类的自动检验；针对各对象、对准正确的自动检验；缩放系数正确并补偿照明条件的差异的自动检验。
[0138]
本主题能够检测跨多个图像的变化，而不仅仅是在同一样本内。本主题关注于细微的照相机变化、照明变化等。本主题包括特定于机器学习的校正步骤：光校正、缩放校正等。
[0139]
在一个示例中，作为自动对准校正的一部分，如果由于对象的大小而在对准处检测到问题，则本主题建议对这些变化不太敏感的特征。在其他示例中，作为自动照明校正的一部分，本主题确保了数据集可用于训练并且模型进行学习以检测缺陷。这最大限度地减少了在不同条件中收集到的数据的影响。
[0140]
在本公开中并且特别是在所附权利要求书(例如，所附权利要求书的主体)中使用的术语通常旨在作为“开放式”术语(例如，术语“包含(including)”应被解释为“包含但不限于”，术语“具有”应被解释为“至少具有”，术语“包括(includes)”应被解释为“包括但不限于”，等等)。
[0141]
另外，如果特定数量的引入的权利要求记载是有意的，则这种意图将明确记载在权利要求书中，并且在不存在这种记载的情况下则不存在这种意图。例如，为了帮助理解，以下的所附权利要求书可以包含引导短语“至少一个”和“一个或多于一个”的使用以引入权利要求记载。然而，即使在同一权利要求包括引导短语“一个或多于一个”或者“至少一个”以及诸如“a”或“an”等的不定冠词(例如，“a”和/或“an”应被解释为表示“至少一个”或者“一个或多于一个”)的情况下，这些短语的使用也不应被解释为暗示利用不定冠词“a”或“an”的权利要求记载的引入将包含这种引入的权利要求记载的任何特定权利要求限制为仅包含一个这种记载的实施例；这对于使用引入权利要求记载所使用的定冠词的情况同样成立。
[0142]
另外，即使明确记载了特定数量的引入的权利要求记载，本领域技术人员也将意识到，这种记载应被解释为意味着至少所记载的数量(例如，无其他修饰的“两个记载”的直接记载意味着至少两个表述、或者两个或多于两个记载)。此外，在使用与“a、b和c等中的至少一个”或“a、b和c等中的一个或多于一个”类似的惯例的实例中，通常这种构造旨在包括单独的a、单独的b、单独的c、a和b一起、a和c一起、b和c一起、或者a、b和c一起、等等。例如，术语“和/或”的使用旨在以这种方式解释。
[0143]
此外，提出两个或多于两个替代术语的任何分隔词语或短语无论是在实施例、权利要求书还是附图的说明中都应被理解为考虑包括术语中的一个、术语中的任一个或者这两个术语的可能性。例如，短语“a或b”应被理解为包括“a”或“b”或“a和b”的可能性。
[0144]
本公开中记载的所有示例和条件性语言旨在用于教学目的，以帮助读者理解本发明和发明人为促进本领域而贡献的概念，并且应被解释为不限于这些具体记载的示例和条件。尽管已经详细说明了本公开的实施例，但应当理解，在没有背离本公开的精神和范围的情况下，可以对本发明进行各种改变、替换和更改。

技术特征：
1.一种用于在基于ai的视觉检查处理期间检验与图像数据相关联的数据收集条件的方法，所述方法包括：生成第一组图像的第一代表图像即fr1图像和第二组图像的第二代表图像即fr2图像；基于计算具有相同坐标值的像素的亮度值之间的差，来在所述fr1图像和所述fr2图像之间生成差分图像数据；基于获取由像素的亮度差值形成的差分图像数据，来在差分图像内确定多个白色像素或强度值中的一个或多于一个白色像素或强度值；以及确定表示跨所述fr1图像和所述fr2图像的数据捕获条件的差异的指数，所述指数至少基于所述多个白色像素或强度值来确定。2.根据权利要求1所述的方法，其中，所述fr1图像和所述fr2图像分别是从所述第一组图像和所述第二组图像的中值图像所定义的对准数据集生成的，以及其中，所述fr1图像和所述fr2图像表示整个对象或关注区域即roi。3.根据权利要求1所述的方法，其中，确定白色像素或强度值包括以下项中的至少一个：在用作所述差分图像的二值图像中将所述白色像素定位为至少一个错误像素；以及在用作所述差分图像的灰度图像中定位强度区域。4.根据权利要求3所述的方法，其中，针对所述二值图像的所述指数的确定包括基于形成blob的一部分的白色像素的数量与所述二值图像内的像素总数的比来计算总指数，所述总指数包括：照明指数，其由大blob的数量与所述像素总数的比来定义，其中所述大blob由高于预定义阈值的高度和宽度来定义；以及对准指数，其由窄blob的数量与所述像素总数的比来定义，其中所述窄blob由低于预定义阈值的高度和宽度来定义。5.根据权利要求4所述的方法，其中，表示针对所述二值图像和所述灰度图像的数据捕获条件的差异的指数的确定包括：基于以下项中的至少一个来计算所述fr1图像和所述fr2图像之间的基于照度的指数的差：对所述二值图像中的每列的错误点的数量进行计数，并由此计算所述二值图像的每列的高强度的计数的中值；计算所述灰度图像中的每列的平均强度，并由此计算所述灰度图像的每列的平均强度的中值；将所述二值图像和所述灰度图像的所计算出的中值定义为照度指数的差；如果所计算出的照度指数的差高于预定义阈值，则确定所述fr1图像和所述fr2图像中的任一个图像中的照度差；以及基于以下项来确定所述fr1图像和所述fr2图像中的任一个图像中的未对准条件：照度指数的差低于预定阈值，以及所计算出的总指数高于预定义的阈值，并由此描绘错误。6.根据权利要求1所述的方法，还包括：对所述fr1图像和所述fr2图像中的各个图像进行评估以推荐所述fr1图像和所述fr2图像内的一个或多于一个图像特征，所述评估包括：
在所述fr1图像和fr2图像中的各个图像内检测多个关注点，并由此确定关于针对所述fr1图像和所述fr2图像的所检测到的多个关注点的重复率，所述重复率定义几何稳定性准则；针对所述fr1图像和所述fr2图像，进一步确定与所述重复率相对应的子多个关注点；以及根据关键点特征的标准库，将所述子多个关注点识别为由角、边缘、脊中的一个或多于一个定义的一个或多于一个图像特征。7.根据权利要求6所述的方法，还包括：将所述差分图像内的blob的扩散分析为低于预定义阈值且沿着所识别出的关注点其中之一而存在，所述blob各自表示所述差分图像内的白色像素的组；基于对所述blob的扩散的分析，将针对所述fr1图像和所述fr2图像中的任一个图像的对准质量指数检测为高于容差；以及针对所述fr1图像和所述fr2图像中的一个图像自动校正所检测到的未对准。8.根据权利要求7所述的方法，其中，基于以下步骤来自动校正所检测到的未对准：在强度空间中从所述fr1图像和所述fr2图像中的一个图像中提取一个或多于一个尺度不变图像特征；将所述一个或多于一个尺度不变图像特征与基于应用在所述fr1图像和所述fr2图像中的一个或多于一个图像上的深度学习准则所确定的多个对应关注点进行映射；以及使用所述对应关注点来对准所述fr1图像和所述fr2图像中的一个图像。9.根据权利要求6所述的方法，还包括：将所述差分图像内的blob的扩散分析为高于预定义阈值且沿着所识别出的关注点其中之一而存在，所述blob各自表示所述差分图像内的白色像素的组；基于对所述blob的扩散的分析，将针对所述fr1图像和所述fr2图像中的任一个图像的照度质量指数检测为高于容差值；以及针对所述fr1图像和所述fr2图像中的一个图像，基于所述照度质量指数来自动校正所检测到的照度变化。10.根据权利要求9所述的方法，其中，基于启用深度学习的图像到图像转换技术来针对未对准的fr1图像或未对准的fr2图像自动校正所检测到的照度变化，所述转换技术被配置为捕获与一组图像有关的照明条件的特性并将其重建为另一组图像。11.根据权利要求9所述的方法，其中，基于以下步骤来自动校正针对与对准数据集相对应的fr1图像或fr2图像的所检测到的照度变化：计算所述fr1图像与正在考虑的特定图像之间的差以产生另一差分图像；在所述另一差分图像内定位多个blob，所述blob各自表示所述另一差分图像内的白色像素的组；针对与所述另一差分图像相对应的各blob区域，计算所述fr1图像与属于所述第二组图像的所述特定图像之间的差；如果针对正在考虑的blob的所计算出的差大于容差值，则针对所述第二组图像的所述特定图像使正在考虑的blob区域的像素值变化；执行像素值的变化，直到针对正在考虑的blob的所计算出的差小于容差值为止；以及
针对属于所述第二组图像的下一图像，再次执行像素值的定位、计算和变化的步骤，并由此针对所述fr2图像校正照度变化。12.一种用于基于在基于ai的视觉检查处理期间检验与图像数据相关联的数据收集条件来校正图像数据的方法，所述方法包括：生成第一组图像的第一代表图像即fr1图像和第二组图像的第二代表图像即fr2图像；基于计算具有相同坐标值的像素的亮度值之间的差，来在所述fr1图像和所述fr2图像之间生成差分图像数据；基于获取由像素的亮度差值形成的差分图像数据，来在差分图像内确定多个白色像素或强度值中的一个或多于一个白色像素或强度值；确定表示跨所述fr1图像和所述fr2图像的数据捕获条件的差异的指数，所述指数至少基于所述多个白色像素或强度值来确定；以及基于所确定的指数来针对所述fr1图像和所述fr2图像中的一个图像自动校正以下项中的至少一个：所检测到的未对准，对准或未对准的图像内的所检测到的照度变化，以及所检测到的模糊。13.根据权利要求12所述的方法，其中，对所检测到的未对准的校正包括：将所述差分图像内的blob的扩散分析为低于预定义阈值且沿着所识别出的关注点其中之一而存在，所述blob各自表示所述差分图像内的白色像素的组；基于对所述blob的扩散的分析，将针对所述fr1图像和所述fr2图像中的任一个图像的对准质量指数检测为高于容差；以及针对与所述fr1图像或所述fr2图像的类相对应的一个或多于一个图像自动校正所检测到的未对准。14.根据权利要求13所述的方法，其中，自动校正所检测到的未对准是基于以下步骤的：在强度空间中从所述fr1图像和所述fr2图像中的一个图像中提取一个或多于一个尺度不变图像特征；将所述一个或多于一个尺度不变图像特征与基于应用在所述fr1图像和所述fr2图像中的一个或多于一个图像上的深度学习准则所确定的多个对应关注点进行映射；以及使用所述对应关注点来对准与所述fr1图像或所述fr2图像的类相对应的图像中的一个或多于一个图像。15.根据权利要求12所述的方法，其中，对所检测到的照度变化的校正包括：将所述差分图像内的blob的扩散分析为高于预定义阈值且沿着所识别出的关注点其中之一而存在，所述blob各自表示所述差分图像内的白色像素的组；基于对所述blob的扩散的分析，将针对所述fr1图像和所述fr2图像中的任一个图像的照度质量指数检测为高于容差值；以及针对与所述fr1图像或所述fr2图像的类相对应的图像中的一个或多于一个图像，基于所述照度质量指数来自动校正所检测到的照度变化。16.根据权利要求15所述的方法，其中，基于启用深度学习的图像到图像转换技术来针
对与所述fr1图像或所述fr2图像的类相对应的图像中的未对准的一个或多于一个图像自动校正所检测到的照度变化，所述转换技术被配置为捕获与一组图像有关的照明条件的特性并将其重建为另一组图像。17.根据权利要求15所述的方法，其中，基于以下步骤来自动校正针对与对准数据集相对应的fr1图像或fr2图像的所检测到的照度变化：计算所述fr1图像与正在考虑的特定图像之间的差以产生另一差分图像；在所述另一差分图像内定位多个blob，所述blob各自表示所述另一差分图像内的白色像素的组；针对与所述另一差分图像相对应的各blob区域，计算所述fr1图像与属于所述第二组图像的特定图像之间的差；如果针对正在考虑的blob的所计算出的差大于容差值，则针对所述第二组图像的特定图像使正在考虑的blob区域的像素值变化；执行像素值的变化，直到针对正在考虑的blob的所计算出的差小于容差值为止；以及针对属于所述第二组图像的下一图像，再次执行像素值的定位、计算和变化的步骤。18.一种用于在基于ai的视觉检查处理期间校正与图像数据相关联的照度变化条件的方法，所述方法包括：生成第一组图像的第一代表图像即fr1图像和第二组图像的第二代表图像即fr2图像；基于计算具有相同坐标值的像素的亮度值之间的差，来在所述fr1图像和所述fr2图像之间生成差分图像数据；针对所述fr2图像检测照度变化；计算所述fr1图像与所述第二组图像的特定图像之间的差以产生另一差分图像；在所述另一差分图像内定位多个blob，所述blob各自表示所述另一差分图像内的白色像素的组；针对与所述另一差分图像相对应的各blob区域，计算所述fr1图像与属于所述第二组图像的所述特定图像之间的差；如果针对正在考虑的blob的所计算出的差大于容差值，则针对所述第二组图像的所述特定图像使正在考虑的blob区域的像素值变化；执行像素值的变化，直到对于所述特定图像的针对正在考虑的blob区域的所计算出的差小于容差值为止；以及针对属于所述第二组图像的下一图像，再次执行像素值的定位、计算和变化的步骤，并由此针对所述fr2图像校正照度变化。19.根据权利要求18所述的方法，还包括：基于启用深度学习的图像到图像转换技术来针对与所述fr1图像或所述fr2图像的类相对应的图像中的未对准的一个或多于一个图像自动校正照度变化，所述转换技术被配置为捕获与一组图像有关的照明条件的特性并将其重建为另一组图像。

技术总结
本主题涉及用于在基于AI的视觉检查处理期间检验与图像相关联的数据收集条件或图像捕获条件的方法和系统。该方法包括生成第一组图像的第一代表图像即FR1图像和第二组图像的第二代表图像即FR2图像。基于计算具有相同坐标值的像素的亮度值之间的差来在FR1图像和FR2图像之间生成差分图像数据。之后，基于获取由像素的亮度差值形成的差分图像数据来在差分图像内确定多个白色像素或强度值中的一个或多于一个白色像素或强度值。确定表示跨FR1图像和FR2图像的数据捕获条件的差异的指数，所述指数至少基于多个白色像素或强度值，例如，基于多个AI或ML技术的应用来确定。基于多个AI或ML技术的应用来确定。基于多个AI或ML技术的应用来确定。


技术研发人员：A
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：2022.01.24
技术公布日：2023/10/8