检测异物的方法及装置与流程

1.本公开涉及检测异物的方法及装置。


背景技术：

2.工业制品及食品加工物的表面的异物检查到目前为止由人通过目视进行。近年来，开始通过基于相机摄像的图像诊断进行表面的异物检查。例如，开发了对由工业用的单色相机或rgb彩色相机生成的图像数据适当进行处理来检测异物的技术。根据异物的不同，有形状、色调及构成成分与作为检查对象的工业制品及食品加工物类似的情况。这样的异物原本即使通过目视也容易看漏，通过利用了单色相机或rgb彩色相机的图像诊断也不容易检测。因此，利用了单色相机或rgb彩色相机的图像诊断其应用范围受限。
3.相对于此，利用了高光谱相机(hyperspectral camera)等能够取得较多波长的图像信息的摄像装置的图像诊断连上述那样的异物也能够检测。专利文献1公开了生物体组织的解析中的高光谱图像数据的处理方法。专利文献2公开了利用压缩感知(compressed sensing)技术得到对象物的高光谱图像的摄像装置。
4.现有技术文献
5.专利文献
6.专利文献1：国际公开第2019/181845号
7.专利文献2：美国专利第9599511号说明书


技术实现要素：

8.本公开提供减轻异物检测中的处理负荷的技术。
9.本公开的一技术方案的方法，是由计算机执行的检测对象物的异物的方法，包括：取得包含4个以上波段的信息的上述对象物的图像数据；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据；基于上述局部图像数据，按每个区域检测上述对象物的异物；将表示检测结果的数据输出；上述至少1个波段对应于上述多个区域的每个而被选择。在本说明书、附图中，有将波长段(wavelength band)记作波段(band)的情况。
10.另外，这些总括性或具体性的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。计算机可读取的记录介质包括例如cd－rom(compact disc-read only memory)等非易失性的记录介质。装置可以由1个以上装置构成。在装置由两个以上的装置构成的情况下，该两个以上的装置既可以配置在1个设备内，也可以分开配置在分离的两个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，还可以指由多个装置构成的系统。在“系统”所包含的多个装置中，也可以包括其他与装置远程地设置且经由通信网络连接的装置。
11.根据本公开的技术，能够减轻异物检测的处理的负荷。
附图说明
12.图1a是用来说明对象波长范围和包含在其中的多个波段的关系的图。
13.图1b是示意地表示高光谱图像的例子的图。
14.图2a是示意地表示滤波器阵列的例子的图。
15.图2b是表示图2a所示的滤波器阵列中包含的第1滤波器的透射光谱的例子的图。
16.图2c是表示图2a所示的滤波器阵列中包含的第2滤波器的透射光谱的例子的图。
17.图2d是表示对象波长范围中包含的多个波段w1、w2、
…
、wi各自的光的透射率的空间分布的例子的图。
18.图3a是示意地表示本公开的例示性的实施方式1的检查系统的框图。
19.图3b是示意地表示制造线上的摄像装置及工作装置的配置的例子的图。
20.图4a是示意地表示图3a所示的输入装置的第1例的框图。
21.图4b是示意地表示图3a所示的输入装置的第2例的框图。
22.图4c是示意地表示图3a所示的输入装置的第3例的框图。
23.图5a是表示图4a所示的输入装置的动作的例子的流程图。
24.图5b是示意地表示在图4c所示的存储装置中存储的数据的例子的图。
25.图6a是示意地表示在图3a所示的存储装置中存储的参照数据的第1例的图。
26.图6b是示意地表示在图3a所示的存储装置中存储的参照数据的第2例的图。
27.图6c是示意地表示在图3a所示的存储装置中存储的参照数据的第3例的图。
28.图7a是表示异物检查中的处理电路的动作的例子的流程图。
29.图7b是表示图7a所示的步骤s104中的处理电路的动作的例子的流程图。
30.图7c是表示图7a所示的步骤s105中的处理电路的动作的例子的流程图。
31.图8a是表示由输入装置将对象物的图像划分为多个区域的结果的图。
32.图8b是示意地表示实施例的参照数据的图。
33.图8c是表示被划分为“深藏蓝”的区域中的深藏蓝布料及设想的异物的反射光谱的曲线图。
34.图9a是表示在被划分为“深藏蓝”的区域中混入了缝纫针的情况下的关于750nm的图像的图。
35.图9b是表示图9a的黑白反转图像的图。
36.图9c是表示在被划分为“深藏蓝”的区域中混入了安全别针的情况下的加工图像的图。
37.图10是示意地表示本公开的例示性的实施方式2的检查系统的框图。
38.图11a是示意地表示图10所示的输入装置的第1例的框图。
39.图11b是示意地表示图10所示的输入装置的第2例的框图。
40.图11c是示意地表示图10所示的输入装置的第3例的框图。
41.图12a是示意地表示完全复原表的例子的图。
42.图12b是示意地表示分区域复原表的例子的图。
43.图13a是表示使用了完全复原表的异物检查中的处理电路的动作的例子的流程图。
44.图13b是表示使用了分区域复原表的异物检查中的处理电路的动作的例子的流程
图。
45.图14a是用来说明使用图11b所示的输入装置将盒饭的压缩图像划分为多个区域并且指定区域内容的次序的图。
46.图14b是用来说明使用图11b所示的输入装置将盒饭的压缩图像划分为多个区域并且指定区域内容的次序的图。
47.图14c是用来说明使用图11b所示的输入装置将盒饭的压缩图像划分为多个区域并且指定区域内容的次序的图。
48.图14d是用来说明使用图11b所示的输入装置将盒饭的压缩图像划分为多个区域并且指定区域内容的次序的图。
49.图14e是用来说明使用图11b所示的输入装置将盒饭的压缩图像划分为多个区域并且指定区域内容的次序的图。
50.图15a是表示被划分为“白饭”的区域中的“白饭”及设想的异物的反射光谱的曲线图。
51.图15b是示意地表示示出关于被划分为“白饭”的区域的复原波段及处理方法的关系的表的图。
52.图15c是表示在被划分为“白饭”的区域中混入了毛发(黑发)的情况下的关于520nm的图像的图。
53.图15d是表示图15c的黑白反转图像的图。
54.图15e是表示在被划分为“白饭”的区域中混入了毛发(白发)的情况下的加工图像的图。
55.图16a是表示被划分为“海苔”的区域中的“海苔”及设想的异物的反射光谱的曲线图。
56.图16b是示意地表示示出关于被划分为“海苔”的区域的复原波段及处理方法的关系的表的图。
57.图16c是表示在被划分为“海苔”的区域中混入了毛发(黑发)的情况下的关于800nm的图像的图。
58.图16d是表示图16c的黑白反转图像的图。
59.图17a是表示被划分为“油炸食物”的区域中的“油炸食物”及设想的异物的反射光谱的曲线图。
60.图17b是示意地表示示出关于被划分为“油炸食物”的区域的复原波段及处理方法的关系的表的图。
61.图17c是表示在被划分为“油炸食物”的区域中混入了毛发(茶色发高度漂白)的情况下的加工图像的图。
62.图18是表示坐标轴、坐标的例子的图。
63.图19是表示压缩图像中的多个像素的多个位置、压缩图像中包含的多个像素的多个像素值、压缩图像的数据g、与波长段wk对应的图像ik中的多个像素的多个位置、图像ik中包含的多个像素的多个像素值、图像ik的数据fk(k＝1、2、3、4)的图。
64.图20是表示处理电路40计算的像素值和不计算的像素值、将不计算的像素值省去后的图像数据fk′
的图。
65.图21是表示f、h、f
′
、h
′
的比较的图。
66.图22表示图21中包含的a、b、c、d。
具体实施方式
67.在本公开中，电路、单元、装置、部件或部件的全部或一部分、或者框图中的功能块的全部或一部分例如可以由包括半导体装置、半导体集成电路(ic)或lsi(large scale integration)的1个或多个电子电路来执行。lsi或ic可以集成到1个芯片上，也可以将多个芯片组合而构成。例如，可以将存储元件以外的功能块集成到1个芯片上。这里称作lsi或ic，但根据集成的程度而叫法变化，也可以是称作系统lsi、vlsi(very large scale integration)或ulsi(ultra large scale integration)的集成电路。在lsi的制造后被编程的fpga(field programmable gate array)、或者能够进行lsi内部的连接关系的重构或lsi内部的电路划分的设置的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的来使用。
68.进而，电路、单元、装置、部件或部件的全部或一部分的功能或操作能够通过软件处理来执行。该情况下，软件被记录到1个或多个rom、光盘、硬盘驱动器等非暂时性记录介质中，当处理装置(processor)执行了软件时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的1个或多个非暂时性记录介质、处理装置(processor)及必要的硬件设备、例如接口。
69.以下，说明本公开的例示性的实施方式。另外，以下说明的实施方式都表示总括性或具体性的例子。在以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等作为一例而并不意欲限定本公开。此外，关于以下实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。此外，各图是示意图，并不一定严格地图示。进而，在各图中，对于实质相同的构成要素赋予相同的标号，有将重复的说明省略或简化的情况。
70.首先，参照图1a及图1b简单地说明高光谱图像的例子。高光谱图像是具有比通常的rgb图像多的波长的信息的图像数据。rgb图像按每个像素而具有红(r)、绿(g)及蓝(b)3个波段的各自的值。相对于此，高光谱图像按每个像素而具有比rgb图像的波段数多的波段的值。在本说明书中，“高光谱图像”是指各像素具有包含在预先设定的对象波长范围中的4个以上的各个波段的值的图像数据。在以下的说明中，将各像素按每个波段具有的值称作“像素值”。高光谱图像中的波段数典型地是10以上，根据情况也有超过100的情况。有时也将“高光谱图像”称作“高光谱数据立方体”或“高光谱立方体”。
71.图1a是用来说明对象波长范围w和其中包含的多个波段w1、w2、
…
、wi的关系的图。对象波长范围w根据用途可以设定为各种各样的范围。对象波长范围w例如可以是约400nm到约700nm的可视光的波长范围、约700nm到约2500nm的近红外线的波长范围、或者约10nm到约400nm的近紫外线的波长范围。或者，对象波长范围w也可以是中红外或远红外的波长范围。这样，所使用的波长范围并不限于可视光范围。在本说明书中，不限于可视光，方便起见将紫外线及近红外线等不包含在可视光的波长范围中的波长的电磁波也称作“光”。
72.在图1a所示的例子中，设i为4以上的任意整数，设将对象波长范围w进行i等分而得到的各个波长范围为波段w1、w2、
…
、wi。但是，并不限定于这样的例子。对象波长范围w中
包含的多个波段可以任意地设定。例如，也可以使宽度根据波段而不均匀。也可以在相邻的波段之间有间隙。只要波段的数量是4个以上，就能够从高光谱图像得到比rgb图像多的信息。
73.图1b是示意地表示高光谱图像12的例子的图。在图1b所示的例子中，摄像对象是苹果。高光谱图像12包括关于波段w1的图像12w1、关于波段w2的图像12w2、
…
、关于波段wi的图像12wi。这些图像分别包括二维地排列的多个像素。在图1b中例示了表示像素的划分的纵横的虚线。每1个图像的实际的像素数例如可以是几万到几千万那样较大的值，但在图1b中，为了容易理解，假设每1个图像的像素数很少而表示了像素的划分。在用光照射了对象物的情况下产生的反射光被图像传感器中的每个光检测元件检测。表示由各光检测元件检测到的光量的信号表现出与该光检测元件对应的像素的像素值。高光谱图像12中的各像素按波段具有像素值。因而，通过取得高光谱图像12，能够得到对象物的光谱的二维分布的信息。基于对象物的光谱，能够正确地分析对象物的与光有关的特性。
74.接着，简单地说明生成高光谱图像的方法的例子。高光谱图像例如能够通过使用棱镜或光栅等分光元件的摄像来取得。在使用棱镜的情况下，当来自对象物的反射光或透射光在棱镜中通过，则该光从棱镜的射出面以与波长对应的射出角射出。在使用光栅的情况下，当来自对象物的反射光或透射光向光栅入射，则该光以与波长对应的衍射角被衍射。通过将来自对象物的光用棱镜或光栅按波段分离，并将分离后的光按波段检测，能够得到高光谱图像。
75.高光谱图像也能够利用专利文献2中公开的压缩感知技术而取得。在专利文献2所公开的压缩感知技术中，由图像传感器检测经过被称作编码元件的滤波器阵列而被对象物反射的光。滤波器阵列包括二维地排列的多个滤波器。这些滤波器分别具有固有的透射光谱。通过使用这样的滤波器阵列的摄像，得到将多个波段的图像信息压缩为1个二维图像的压缩图像。在该压缩图像中，对象物的光谱信息按每个像素而被压缩为1个像素值并被记录。
76.图2a是示意地表示滤波器阵列80的例子的图。滤波器阵列80包括二维地排列的多个滤波器。各滤波器具有被分别设定的透射光谱。透射光谱设入射光的波长为λ而由函数t(λ)表示。透射光谱t(λ)可以取0以上1以下的值。在图2a所示的例子中，滤波器阵列80具有排列为6行8列的48个矩形状的滤波器。这只不过是例示，根据实际的用途，可以设置更多的滤波器。滤波器阵列80中包含的滤波器的个数可以是与图像传感器的像素数相同的程度。
77.图2b及图2c分别是表示图2a的滤波器阵列80中包含的多个滤波器中的第1滤波器a1及第2滤波器a2的透射光谱的例子的图。第1滤波器a1的透射光谱和第2滤波器a2的透射光谱相互不同。这样，滤波器阵列80的透射光谱根据滤波器而不同。但是，不需要全部滤波器的透射光谱一定不同。在滤波器阵列80中，多个滤波器中的至少两个以上的滤波器的透射光谱相互不同。即，滤波器阵列80包括透射光谱相互不同的两个以上的滤波器。在一例中，滤波器阵列80中包含的多个滤波器的透射光谱的模式(pattern)的数量可以与对象波长范围中包含的波段的数量i相同或在其以上。也可以将滤波器阵列80设计为，使半数以上的滤波器的透射光谱不同。
78.图2d是表示对象波长范围中包含的多个波段w1、w2、
…
、wi各自的光的透射率的空间分布的例子的图。在图2d所示的例子中，各滤波器的深浅的差异表示光透射率的差异。越
浅的滤波器则光透射率越高，越深的滤波器则透射率越低。如图2d所示，光透射率的空间分布根据波段而不同。
79.使用表示滤波器阵列中的每个波段的光透射率的空间分布的数据，能够从压缩图像将高光谱图像复原。在复原中使用压缩感知技术。将在复原处理中使用的、表示滤波器阵列中的每个波段的光透射率的空间分布的数据称作“复原表”。由于在压缩感知技术中不需要使用棱镜或光栅，所以能够使高光谱相机小型化。进而，在压缩感知技术中，通过压缩图像，能够减少处理电路处理的数据量。
80.接着，说明使用复原表从压缩图像将高光谱图像复原的方法。由图像传感器取得的压缩图像数据g、复原表h及高光谱图像数据f满足以下的式(1)。
81.[数式1]
[0082]
g＝hf
ꢀꢀꢀꢀ
(1)
[0083]
设压缩图像的像素数为ng，高光谱图像包含关于波段w1的图像、
…
、关于波段wm的图像(即，设波段数为m)，设关于波段w1的图像、
…
、关于波段wm的图像各自的像素数为nf，则压缩图像数据g能够表现为ng行1列的矩阵，高光谱图像数据f能够表现为nf×
m行1列的矩阵，复原表h能够表现为ng行(nf×
m)列的矩阵。ng及nf可以设计为相同的值。
[0084]
似乎只要给出压缩图像数据g和矩阵h，则通过解出式(1)的逆问题(inverse problem)就能计算出f。但是，由于所求的数据f的要素数nf×
m比取得数据g的要素数ng多，所以该问题是不良设定问题，无法直接解出。因此，利用数据f中包含的图像的冗余性，使用压缩感知的方法来求解。具体而言，通过解出以下的式(2)来推定所求的数据f。
[0085]
[数式2]
[0086][0087]
这里，f’表示所推定的f的数据。上式的括号内的第1项表示推定结果hf与取得数据g的偏差量即所谓的残差项。这里，将平方和作为残差项，但也可以将绝对值或平方和平方根等作为残差项。括号内的第2项是后述的正则化项或稳定化项。式(2)意味着求使第1项与第2项的和最小化的f。处理电路通过递归性迭代运算使解收敛，能够计算出最终的解f。
[0088]
式(2)的括号内的第1项意味着求出取得数据g与将推定过程的f通过矩阵h进行系统变换后的hf之间的差分的平方和的运算。第2项的φ(f)是f的正则化的制约条件，是反映了推定数据的稀疏信息的函数。作为功用，有使推定数据平滑或稳定的效果。正则化项例如可以通过f的离散余弦变换(dct)、小波变换、傅里叶变换或总变分(tv)等表示。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正则化项的空间中的对象物的稀疏性根据对象物的纹理(texture)而不同。可以选择对象物的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是加权系数。加权系数τ越大，冗余性数据的削减量越多，压缩的比例越高。加权系数τ越小，向解的收敛性越弱。将加权系数τ设定为f在某种程度上收敛并且不会变得过压缩的适度的值。
[0089]
在专利文献2中公开了通过压缩感知技术得到高光谱图像的更详细的方法。在本说明书中引用专利文献2的全部公开内容。另外，通过摄像取得高光谱图像的方法并不限定于上述的利用压缩感知的方法。例如，也可以通过使用滤波器阵列的摄像来取得高光谱图
像，该滤波器阵列中二维地排列有包括透射波长范围分别不同的4个以上滤波器的多个像素区域。或者，也可以利用使用棱镜或光栅的分光来取得高光谱图像。
[0090]
使用高光谱相机，例如能够检查工业制品及食品加工物等物品的表面或其内部的异物的有无。通过高光谱相机，能够检测出用单色相机或rgb彩色相机有可能看漏的异物。进而，如果选择适当的光源，则能够关于比可视光范围宽的对象波长范围得到高光谱图像。因而，能够关于通过目视不能检测到的波长范围检测异物。
[0091]
另一方面，由于高光谱图像数据包含较多的波段的图像信息，所以其尺寸比单色图像数据及rgb图像数据的尺寸大。进而，在对于结构复杂的工业制品及食品加工物的异物检查中，在与高光谱图像数据的比较中使用的不存在异物的物品的光谱数据也有可能变得复杂。因此，在制造线上检查异物的有无的在线检查中，需要大型且高性能的处理电路，在处理中花费较多的时间。
[0092]
本发明的发明人对于能够减轻这样的处理电路的处理负荷的异物检测方法反复进行研究，想到了本公开的实施方式的异物检测方法。本公开的一实施方式的方法是以下这样的。从高光谱图像数据或压缩图像数据中，关于对象物的多个区域的每个，提取与至少1个波段对应的局部图像数据。“局部图像数据”是指具有由二维空间及波长构成的三维图像信息的高光谱图像数据或压缩图像数据的一部分数据。“一部分”既可以是空间中的一部分，也可以是波长轴中的一部分。基于局部图像数据，按每个区域检测对象物的异物。通过本实施方式的方法，能够使在1个处理中处置的数据尺寸变小。结果，能够减轻对于处理电路的处理的负荷，在在线检查中能够实现适当的处理速度。
[0093]
根据专利文献1的方法，在生物体组织的解析中，在高光谱图像数据所包含的全部波段的图像数据中，解析所需要的波段的图像数据被保留，其以外的波段的图像数据被削减。这样，实现了数据尺寸的削减。相对于此，根据本实施方式的异物的检测方法，将图像划分为多个区域，按每个区域基于所指定的波段的局部图像数据进行异物的检查。由此，与不将图像划分为多个区域的专利文献1的方法相比，能够使在1个处理中处置的数据尺寸变小。以下，简单地说明本公开的实施方式的异物的检测方法。
[0094]
第1项目的方法，是由计算机执行的检测对象物的异物的方法。上述方法包括：取得包含4个以上波段的信息的上述对象物的图像数据；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据；基于上述局部图像数据，按每个区域检测上述对象物的异物；以及将表示检测结果的数据输出；上述至少1个波段对应于上述多个区域的每个来选择。
[0095]
通过该方法，能够减轻异物检测中的处理的负荷。
[0096]
第2项目的方法，在第1项目的方法中，取得上述图像数据包括取得高光谱图像数据，该高光谱图像数据表示上述4个以上波段的上述对象物的图像。
[0097]
通过该方法，能够使用高光谱图像数据检测异物。
[0098]
第3项目的方法，在第1项目的方法中，取得上述图像数据包括取得压缩图像数据，该压缩图像数据是将上述4个以上波段的上述对象物的图像信息压缩为1个图像的压缩图像数据。
[0099]
通过该方法，能够使用压缩图像数据检测异物。
[0100]
第4项目的方法，在第3项目的方法中，提取上述局部图像数据包括从上述压缩图
像数据将上述与至少1个波段对应的上述局部图像数据复原。
[0101]
通过该方法，与不使用压缩图像数据并且不进行区域的划分的方法相比，能够削减处理的次数及暂时存储的数据量。
[0102]
第5项目的方法，在第4项目的方法中，通过滤波器阵列将上述对象物摄像从而取得上述压缩图像数据。上述滤波器阵列具备二维地排列的多个滤波器。上述多个滤波器中的至少两个以上的滤波器的透射光谱相互不同。将上述局部图像数据复原包括使用与上述至少1个波段对应的至少1个复原表进行复原。上述复原表表示上述多个区域各自的关于上述滤波器阵列的每个波段的光透射率的空间分布。
[0103]
通过该方法，能够从压缩图像数据将与至少1个波段对应的局部图像数据复原。
[0104]
第6项目的方法，在第1至第5项目的任一方法中，还包括取得与上述对象物的种类对应的区域划分数据。上述多个区域基于上述图像数据及上述区域划分数据来决定。
[0105]
通过该方法，能够根据对象物的种类决定多个区域。
[0106]
第7项目的方法，在第6项目的方法中，上述至少1个波段基于上述区域划分数据来选择。
[0107]
第8项目的方法，在第6项目或第7项目中，上述区域划分数据包含用来决定上述多个区域的区域信息；上述方法还包括基于上述区域划分数据取得参照数据，该参照数据包含与上述区域信息对应的波段的信息；上述至少1个波段基于上述参照数据来选择。
[0108]
第9项目的方法，在第6至第8的任一项目的方法中，还包括将上述区域划分数据更新以及将上述多个区域更新。
[0109]
通过该方法，即使在将对象物的种类变更了的情况下，也能够根据变更后的种类决定多个区域。
[0110]
第10项目的方法，在第9项目的方法中，还包括将上述至少1个波段更新。
[0111]
通过该方法，即使在将对象物的种类变更了的情况下，也能够根据变更后的种类提取至少1个波段的局部图像数据。
[0112]
第11项目的方法，在第6至第10项目的任一方法中，上述对象物是工业制品，上述区域划分数据包含表示上述工业制品的零件配置图的数据。
[0113]
通过该方法，能够基于工业制品的零件配置图决定多个区域。
[0114]
第12项目的方法，在第6至第10项目的任一方法中，上述对象物是食品加工物，上述区域划分数据包含表示上述食品加工物的内容物的配置图的数据。
[0115]
通过该方法，能够基于食品加工物的内容物的配置图决定多个区域。
[0116]
第13项目的方法，在第6至第11项目的任一方法中，上述区域划分数据通过对不存在异物的上述对象物的图像进行图像识别处理来生成。
[0117]
通过该方法，能够通过图像识别处理自动地生成区域划分数据。
[0118]
第14项目的处理装置，具备：处理器；以及存储器，保存有由上述处理器执行的计算机程序。上述计算机程序为了进行对象物的异物的检测，使上述处理器执行：取得包含4个以上波段的信息的上述对象物的图像数据；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据；基于上述局部图像数据，按每个区域检测上述对象物的异物；将表示检测结果的数据输出；上述至少1个波段对应于上述多个区域的每个来选择。
[0119]
根据该处理装置，能够减轻异物检测中的处理的负荷。
[0120]
(实施方式1)
[0121]
在实施方式1的检查系统中，使用不基于压缩感知技术的高光谱相机来检测对象物的异物。实施方式1的异物检测方法的概要是以下这样的。取得与作为检查对象的对象物有关的高光谱图像数据。将高光谱图像数据所表示的图像划分为多个区域。从高光谱图像数据中，关于多个区域的每个，提取与对象波长范围中包含的4个以上的波段中的至少1个波段对应的局部图像数据。基于提取出的局部图像数据，按每个区域检测对象物的异物。
[0122]
异物的反射光谱可能与对象物的反射光谱不同。由于对象物与异物的反射光谱的差异，在上述的局部图像数据所表示的图像中，异物与周围相比呈现得较白或较黑。结果，能够进行异物的检测。作为局部图像数据的波段，按每个区域指定适合于异物检测的波段。
[0123]
在对象物是工业制品或食品加工物的情况下，异物的种类在检查前已知的情况较多。在对象物是衣物的情况下，异物例如可能包括缝纫针、绷针或夹子。在对象物是盒饭的情况下，异物例如可能包括毛发或蛋壳。在以下的说明中，假设异物的种类在检查前已知。
[0124]
图3a是示意地表示本公开的例示性的实施方式1的检查系统的框图。图3所示的检查系统100a具备摄像装置10、输入装置20、存储装置30、处理电路40、存储器42、输出装置50和工作装置60。处理电路40对摄像装置10、存储装置30及输出装置50的动作进行控制。
[0125]
摄像装置10作为通过摄像生成对象物的高光谱图像数据并输出的高光谱相机发挥功能。摄像装置10不使用压缩感知技术。摄像装置10例如可以依次具备位于来自对象物的反射光或透射光的光路上的光学系统、分光元件及图像传感器。如果设图像传感器与对象物的距离为距离a，设图像传感器与光学系统的距离为距离b，设图像传感器与分光元件的距离为距离c，则可以是距离a》距离b》距离c。光学系统在图像传感器的光检测面上形成像。分光元件将来自对象物的光按波段分离。图像传感器检测按波段分离后的光。在该结构中，在1次的摄像中，得到对象物的沿着一个方向的部分的一维高光谱图像数据。通过将对象物和摄像装置10的配置在与该一个方向垂直的方向上阶段性地错移并多次摄像，得到对象物的二维高光谱图像数据。
[0126]
输入装置20是生成异物检查所需要的各种数据的装置，在检查之前使用。使用输入装置20，将与检查的对象物种类相同且不存在异物的对象物的图像划分为多个区域，并且按每个区域指定表示形状、色调及构成成分等的区域内容。在本说明书中，“对象物的多个区域”是指在图像中被划分出的对象物的多个区域。区域内容例如可以是工业制品的颜色及/或图案、加工食品的配菜及食材。输入装置20生成表示区域内容被指定的多个区域的区域划分数据并输出。区域划分数据根据对象物的种类而不同。区域划分数据例如可以是表示工业制品的零件配置图的数据或表示食品加工物的内容物的配置图的数据。关于输入装置20的结构在后面叙述。
[0127]
存储装置30存储从输入装置20输出的区域划分数据、在异物检查中使用的参照数据、以及表示每个区域的异物检查结果的数据。参照数据包含按每个区域使用的波段的信息、以及如何处理波段的局部图像数据的信息。关于参照数据的详细情况在后面叙述。存储装置30例如包括半导体存储器、磁存储装置、光存储装置等任意的存储介质。
[0128]
处理电路40从摄像装置10取得高光谱图像数据，从存储装置30取得区域划分数据及参照数据。处理电路40基于所取得的这些数据，检查对象物是否包含异物。在检测到异物
的情况下，处理电路40将表示检测结果的数据向输出装置50输出。由处理电路40执行的计算机程序被保存在rom或ram(random access memory)等存储器42中。处理电路40及存储器42作为处理装置发挥功能。处理电路40及存储器42可以集成在1个电路基板上，也可以设在不同的电路基板上。
[0129]
输出装置50从处理电路40取得表示检测结果的数据，将在对象物中存在异物的情况输出。该输出例如通过显示器那样的图像显示设备的图像或字符的显示、扬声器那样的音响设备的蜂鸣音或语音的发出、或警告灯的点亮来进行。进而，输出装置50向工作装置60发送控制信号。
[0130]
工作装置60接收来自输出装置50的控制信号，将存在异物的对象物从制造线上废弃。该废弃例如通过制造线上的带式输送机的路径切换或对象物的拣取来进行。
[0131]
图3b是示意地表示制造线上的摄像装置10及工作装置60的配置的例子的图。在图3b所示的例子中，工作装置60是带式输送机，运送多个对象物70。摄像装置10将多个对象物70依次摄像。每当摄像，处理电路40就执行对象物70的异物检查的动作。
[0132]
接着，参照图4a至图4c，说明图3a所示的输入装置20的例子。图4a至图4c是示意地表示图3a所示的输入装置20的例子的框图。
[0133]
在图4a所示的例子中，输入装置20具备前置相机(pre-camera)21、图像处理装置22和处理电路23。前置相机21例如可以是单色相机或rbg相机。图像处理装置22例如可以是图像识别装置。图像处理装置22预先存储有表示工业制品的颜色及/或图案的配置、或者加工食品的配菜及/或食材的配置那样的区域内容的配置的数据。处理电路23使前置相机21将与检查对象种类相同且不存在异物的对象物摄像。前置相机21生成对象物的图像数据并输出。处理电路23使图像处理装置22划分图像数据所表示的图像中的多个区域。处理电路23使图像处理装置22基于所存储的表示区域内容的配置的数据而按每个区域指定区域内容。例如，图像处理装置22判定由前置相机21生成的rgb图像数据所表示的图像的颜色模式与所存储的数据所表示的区域内容的配置的颜色模式是否一致。在两者的颜色模式一致的情况下，图像处理装置22基于颜色模式一致的数据，按每个区域指定区域内容。处理电路23取得从图像处理装置22输出的数据，生成表示被指定了区域内容的多个区域的区域划分数据并输出。
[0134]
在图4b所示的例子中，输入装置20具备前置相机21、处理电路23和显示装置24，显示装置24显示用于用户划分区域并指定区域内容的gui(graphical user interface：图形用户界面)。处理电路23使显示装置24将前置相机21所生成的图像数据所表示的图像显示在gui中。用户使用指示机构，将显示在gui上的图像划分为多个区域，并且按每个区域指定区域内容。处理电路23取得从显示装置24输出的数据，生成表示被指定了区域内容的多个区域的区域划分数据并输出。
[0135]
在图4c所示的例子中，输入装置20具备前置相机21、处理电路23、显示装置24和存储装置25。存储装置25预先存储有表示区域内容的配置的数据。处理电路23使显示装置24将前置相机21所生成的图像数据所表示的图像以及存储在存储装置25中的数据所包含的区域内容的配置的信息显示在gui上。用户使用选择开关从显示在gui上的信息中选择区域内容的配置。选择开关可以显示在gui上，也可以是硬件开关。处理电路23取得从显示装置24输出的数据，生成表示被指定了区域内容的多个区域的区域划分数据并输出。
[0136]
也可以将图4a至图4c所示的输入装置20中包含的处理电路23和检查系统100a中包含的处理电路40构成为1个处理电路。
[0137]
图5a是表示在图4a所示的输入装置20中包含的处理电路23的动作的例子的流程图。处理电路23执行图5a所示的步骤s11到s14的动作。
[0138]
《步骤s11》
[0139]
处理电路23使前置相机21将对象物摄像。前置相机21生成对象物的图像数据并输出。
[0140]
《步骤s12》
[0141]
处理电路23使图像处理装置22将图像数据所表示的图像划分为多个区域。
[0142]
《步骤s13》
[0143]
处理电路23使图像处理装置22对于划分出的多个区域的每个指定区域内容。
[0144]
《步骤s14》
[0145]
处理电路23取得从图像处理装置22输出的数据，生成区域划分数据并输出。
[0146]
图5b是示意地表示存储在图4c所示的存储装置25中的数据的例子的图。图5b所示的数据包含表示输入id与和输入id建立了关联的区域模式id的关系的表。区域模式id是识别由区域内容的配置的模式规定的区域模式的id。用户使用选择开关选择在显示装置24的gui上显示的输入id而决定区域模式id。
[0147]
接着，参照图6a至图6c说明存储在图3a所示的存储装置30中的参照数据的例子。图6a至图6c是示意地表示存储在图3a所示的存储装置30中的参照数据的例子的图。图6a至图6c所示的制品id是识别制品的种类的id。在图6a至图6c中，作为参照数据的格式而例示了3个格式。
[0148]
《第1格式》
[0149]
如图6a所示，参照数据包含对于多个制品id的每个分别赋予了多个区域模式id的多个表。该表包含与区域模式id直接建立了关联的区域信息、波段信息及处理信息。区域信息包含对区域进行规定的xy坐标的范围的信息。x轴及y轴例如可以与矩形形状的图像的水平方向及垂直方向分别平行。xy坐标的原点可以是例如矩形形状的图像的中心，也可以是四角的某个。波段信息包含与区域信息对应的至少1个使用波段的信息。使用波段的数量可以是1个也可以是多个。例如，“αnm、βnm、γnm、δnm”是指在对象波长范围所包含的波段中使用这4个波段。“αnm”是指5nm或10nm那样的具有一定的波长宽度的波段。关于“βnm”、“γnm”及“δnm”也是同样的。
[0150]“αnm”省略记载了本来应记作“(α
±
δα)nm”的内容。α是预先决定的常数。可以是δα＝2.5或δα＝5。
[0151]“βnm”省略记载了本来应记作“(β
±
δβ)nm”的内容。β是预先决定的常数。可以是δβ＝2.5或δβ＝5。
[0152]“γnm”省略记载了本来应记作“(γ
±
δγ)nm”的内容。γ是预先决定的常数。可以是δγ＝2.5或δγ＝5。
[0153]“δnm”省略记载了本来应记作“(δ
±
δδ)nm”的内容。δ是预先决定的常数。可以是δδ＝2.5或δδ＝5。
[0154]“εnm”省略记载了本来应记作“(ε
±
δε)”nm的内容。ε是预先决定的常数。可以是
δε＝2.5或δε＝5。
[0155]“ζnm”省略记载了本来应记作“(ζ
±
δζ)”nm的内容。ζ是预先决定的常数。可以是δζ＝2.5或δζ＝5。
[0156]“ηnm”省略记载了本来应记作“(η
±
δη)”nm的内容。η是预先决定的常数。可以是δη＝2.5或δη＝5。
[0157]
处理信息包含如何处理多个使用波段的局部图像数据的处理方法的信息。“αnm提取”及“βnm提取”分别意味着关于αnm及βnm提取局部图像数据。“γnm/δnm”意味着生成将γnm的局部图像数据的像素值除以δnm的局部图像数据的像素值而得到的加工图像数据。加工图像数据能够将多个波段的局部图像数据的像素值通过加法、减法、乘法或除法而生成。
[0158]
《第2格式》
[0159]
如图6b所示，参照数据包含对于多个制品id的每个分别赋予了多个区域模式id的多个主表。该主表包含与区域模式id直接建立了关联的区域信息及光谱模式id的信息。参照数据还包含表示光谱模式id与使用波段的关系的副表、以及表示光谱模式id与处理方法的关系的副表。图6b所示的引出框表示主表中包含的信息与副表的对应关系。在光谱模式的id被决定的情况下，使用波段及处理方法也被决定。
[0160]
《第3格式》
[0161]
如图6c所示，参照数据包含对于多个制品id的每个分别赋予了多个区域模式id的多个主表。该主表包含与区域模式id直接建立了关联的区域信息、光谱模式id的信息及处理模式id的信息。参照数据还包含表示光谱模式id与使用波段的关系的副表、以及表示每个光谱模式id的处理模式id与处理方法的关系的副表。关于图6c所示的引出框，与图6b所示的引出框是同样的。在第3格式中，与第2格式不同，在1个光谱模式id中存在多个处理模式id。每个处理模式id的处理方法不同。第3格式适用于尽管使用波段相同但处理方法根据对象物而不同的情况。
[0162]
图6a至图6c所示那样的参照数据由用户预先存储在存储装置30中。用户例如可以使用图4b所示的输入装置20生成参照数据。用户在显示装置24所显示的gui中输入区域信息、波段信息及处理信息。处理电路23取得从显示装置24输出的数据，生成参照数据并输出。处理电路40使存储装置30存储从输入装置20输出的参照数据。
[0163]
接着，参照图7a至图7c，说明异物检查中的处理电路40的动作的例子。在异物检查之前，用户使用输入装置20，将与检查对象种类相同且不存在异物的对象物的图像划分为多个区域，并且按每个区域指定区域内容。处理电路40使存储装置30存储从输入装置20输出的区域划分数据。在异物检查之前，处理电路40基于区域划分数据，从存储装置30取得参照数据。所取得的参照数据中包含的区域模式与区域划分数据中包含的区域内容的配置的模式一致。
[0164]
图7a是表示异物检查中的处理电路40的动作的例子的流程图。处理电路40执行图7a所示的步骤s101到s111的动作。图7b是表示图7a所示的步骤s104中的处理电路40的动作的例子的流程图。图7c是表示图7a所示的步骤s105中的处理电路40的动作的例子的流程图。另外，关于本说明书中的流程图的步骤，只要没有矛盾就可以将步骤的顺序替换，也可以在步骤之间追加其他新的步骤。
[0165]
《步骤s101》
[0166]
处理电路40使摄像装置10将对象物摄像。摄像装置10生成对象物的高光谱图像数据并输出。图7a所示的“hs图像数据”表示高光谱图像数据。
[0167]
《步骤s102》
[0168]
处理电路40从摄像装置10取得高光谱图像数据，从存储装置30取得区域划分数据。处理电路40基于区域划分数据，决定高光谱图像数据所表示的图像中的多个区域。
[0169]
《步骤s103》
[0170]
处理电路40从在步骤s102中决定的多个区域中选择进行处理的区域。
[0171]
《步骤s104》
[0172]
处理电路40执行图7b所示的步骤s104a到s104c的动作，提取与多个使用波段分别对应的多个局部图像数据。处理电路40基于参照数据，取得与所选择的区域对应的多个使用波段的信息(步骤s104a)。接着，处理电路40从高光谱图像数据中提取与多个使用波段分别对应的多个局部图像数据(步骤s104b)。接着，处理电路40使存储装置30存储提取出的多个局部图像数据(步骤s104c)。
[0173]
《步骤s105》
[0174]
处理电路40执行图7c所示的步骤s105a到s105c的动作，对提取出的多个局部图像数据进行处理。处理电路40基于参照数据，取得与所选择的区域对应的多个处理方法的信息(步骤s105a)。接着，处理电路40基于所取得的处理方法对局部图像数据进行处理(步骤s105b)。处理后的局部图像数据例如可以是提取出的单一的波段的局部图像数据、或将提取出的多个波段的多个局部图像数据加工后的加工图像数据。接着，处理电路40以一定值为基准而将处理后的局部图像数据中的各像素值二值化(步骤s105c)。接着，处理电路40判定是否结束了处理信息中包含的全部的处理方法(步骤s105d)。在判定为“是”的情况下，处理电路40执行步骤s106的动作。在判定为“否”的情况下，处理电路40再次执行步骤s105b的动作。
[0175]
《步骤s106》
[0176]
处理电路40基于步骤s105中的二值化的结果，检查所选择的区域中的异物的有无。例如，在处理后的局部图像数据所表示的图像中存在具有一定值以上或一定值以下的像素值的部分的情况下，处理电路40能够决定为在该部分中有异物。
[0177]
《步骤s107》
[0178]
处理电路40将表示检查结果的数据存储到存储装置30中。
[0179]
《步骤s108》
[0180]
处理电路40判定是否对划分出的多个区域的全部结束了处理。在判定为“是”的情况下，处理电路40执行步骤s109的动作。在判定为“否”的情况下，处理电路40再次执行步骤s103的动作。
[0181]
《步骤s109》
[0182]
处理电路40基于存储在存储装置30中的表示检查结果的数据，判定是否检测到了异物。在判定为“是”的情况下，处理电路40执行步骤s110的动作。在判定为“否”的情况下，处理电路40结束动作。
[0183]
《步骤s110》
[0184]
处理电路40使输出装置50输出关于警告的信息。关于输出方法，是在说明图3a所
示的输出装置50的部分中记载的方法。
[0185]
《步骤s111》
[0186]
处理电路40使工作装置60将检测出异物的对象物废弃。关于废弃方法，是在说明图3a所示的工作装置60的部分中记载的方法。
[0187]
在如图3b所示那样依次运送多个对象物70的情况下，处理电路40对于多个对象物70分别执行步骤s101到s111的动作。在变更对象物70的种类的情况下，在异物检查之前，用户使用输入装置20，新生成与检查对象种类相同且不存在异物的对象物的区域划分数据。处理电路40使存储装置30将所存储的区域划分数据更新为新的区域划分数据。在异物检查之前，处理电路40基于新的区域划分数据将参照数据更新。在异物检查开始后，处理电路40在步骤s102中将高光谱图像数据表示的图像中的多个区域更新，在步骤s104中将波段信息中包含的使用波段的信息更新，在步骤s105中将处理信息中包含的处理方法的信息更新。
[0188]
在实施方式1中，使用对象波长范围中包含的4个以上的波段中的一部分波段的图像数据进行异物检查。一部分波段的图像数据能够从高光谱相机所生成的高光谱图像数据中取得。通过使用射出可视光范围以外的近红外区域的光的光源，能够实现在目视下不容易的异物的检测。
[0189]
在实施方式1中，按划分出的每个区域指定了处理方法。在区域没有被划分的情况下，即使有在某个区域中需要但在其他区域中不需要的处理方法，也需要在全部的区域中执行该处理方法。在实施方式1中，不需要在执行这样的无用的处理方法上花费时间。区域的划分在减轻处理负荷这一点上是有效的。在实施方式1中，能够在在线检查中以适当的处理速度进行异物检查。
[0190]
(实施方式1的实施例)
[0191]
以下，参照图8a至图9c说明实施方式1的实施例。实施例中的对象物是工业制品中的包含多个颜色及/或图案的衣物。图8a是表示输入装置20将对象物的图像划分为多个区域的结果的图。如图8a所示，对象物被划分为6个区域，对于6个区域，如“蓝
·
图案a”、“白
·
图案a”、“深藏蓝”、“深藏蓝”、“蓝
·
图案b”以及“白
·
图案b”那样指定了颜色及/或图案。存在两个被划分为“深藏蓝”的区域。这两个区域是衣物中包含的深藏蓝布料的区域。
[0192]
图8b是示意地表示实施例中的参照数据的图。图8b所示的参照数据具有第3格式。在图8b所示的参照数据中，为了简单而表示了关于“深藏蓝”的信息。对于主表的两个区域，指定了相同的光谱模式005。对于左方的副表中的光谱模式005，指定了500nm、550nm、650nm、700nm及750nm的使用波段。对于右方的副表中的处理模式005－1，指定了提取500nm、550nm、650nm、750nm的图像数据的处理方法。对于右方的副表中的处理模式005－2，指定了提取500nm、550nm及650nm的图像数据的处理方法、以及生成从650nm的图像数据的像素值中减去700nm的图像数据的像素值后的加工图像数据的处理方法。
[0193]
图8c是表示被划分为“深藏蓝”的区域中的深藏蓝布料及设想的异物的反射光谱的曲线图。设想的异物是缝纫针、绷针、透明树脂夹子、安全别针及绷针头树脂。图8c所示的粗纵线表示使用波段。图8c所示的反射光谱成为图8b所示的参照数据的依据。
[0194]
在处理模式500－1中，提取500nm、550nm及650nm的图像数据。在这些波段中，有光泽的异物或者具有黑色或深蓝以外的色调的异物的反射强度比深藏蓝布料的反射强度高。如果这样的异物存在于深藏蓝布料上，则在这些波段的图像中，异物呈现得较白，异物以外
的深藏蓝布料呈现得较黑。处理电路40例如如以下这样检测异物。处理电路40对图像数据的像素值为一定值以上的白色或灰色的像素的数量进行计数。如果计数得到的像素数、或者用计数得到的像素数除以“深藏蓝”的区域中的全部像素数而得到的比率是一定值以上，则处理电路40能够决定为检测到异物。或者，处理电路40也可以利用机器学习等算法来检测异物。将不存在异物的对象物的高光谱图像作为预先学习过的教师数据，在作为检查对象的对象物的高光谱图像与教师数据不同的情况下，处理电路40能够决定为检测出异物。
[0195]
在处理模式500－1中，还提取750nm的图像数据。在750nm的图像中，该波段的深藏蓝布料的反射率高，所以“安全别针”及“缝纫针”呈现得较黑，其以外的深藏蓝布料呈现得较白。在750nm的图像中，能够识别在500nm、550nm、650nm的图像中不容易识别的“安全别针”及“缝纫针”。
[0196]
处理模式500－2包括与处理模式500－1相同的处理方法以及与处理模式500－1不同的处理方法。与处理模式500－1相同的处理方法是提取500nm、550nm及650nm的图像数据。与处理模式500－1不同的处理方法是生成从650nm的图像数据的像素值中减去700nm的图像数据的像素值后的加工图像数据。在该加工图像中，“安全别针”呈现得较白，其以外的深藏蓝布料呈现得较黑。
[0197]
处理模式500－1在使用卤素灯作为用来照射对象物的光源的情况下采用。从卤素灯射出的光包含近红外区域的光。因而，在异物检查中，能够使用750nm的图像数据。相对于此，处理模式500－2在使用led作为用来照射对象物的光源的情况下采用。从led射出的光几乎不包含比700nm长的波长的光。因而，上述的加工图像数据被使用。
[0198]
图8c所示的反射光谱对于在使用单色相机或rbg相机的异物检查中不容易识别的深藏蓝布料与异物的组合的存在给出了启示。相对于此，在使用高光谱相机的异物检查中，可知能够更正确地检测出这样的不容易识别的异物。
[0199]
图9a是表示在被划分为“深藏蓝”的区域中混入了缝纫针的情况下的750nm的图像的图。在图9a所示的图像中，缝纫针呈现得较黑，深藏蓝布料呈现得较白。图9b是表示图9a的黑白反转图像的图。在图9b所示的图像中，缝纫针呈现得较白，深藏蓝布料呈现得较黑。如果使用750nm的黑白反转图像，则与500nm、550nm、650nm的图像同样，处理电路40能够基于计数出的白色或灰色的像素的数量而决定为检测到异物。
[0200]
图9c是表示在被划分为“深藏蓝”的区域中混入了安全别针的情况下的上述的加工图像的图。在图9c所示的图像中，安全别针呈现得较白，深藏蓝布料呈现得较黑。因而，处理电路40能够如上述那样基于计数出的白色或灰色的像素的数量而决定为检测到异物。
[0201]
(实施方式2)
[0202]
在实施方式2的检查系统中，使用利用了压缩感知技术的高光谱相机来检测对象物的异物。实施方式2的异物检测方法的概要是以下这样的。取得关于作为检查对象的对象物的压缩图像数据。将压缩图像数据所表示的图像划分为多个区域。根据压缩图像数据，关于多个区域的每个，将与对象波长范围所包含的4个以上波段中的至少1个波段对应的局部图像数据复原。基于复原后的局部图像数据，按每个区域检测对象物的异物。
[0203]
以下，参照图10说明实施方式2的检查系统。图10是示意地表示本公开的例示性的实施方式2的检查系统的框图。图10所示的检查系统100b具备摄像装置10、输入装置20、存储装置30、处理电路40、存储器42、输出装置50和工作装置60。以下，以实施方式2的检查系
统100b与实施方式1的检查系统100a的不同点为中心进行说明。
[0204]
摄像装置10作为通过使用压缩感知技术的摄像而生成并输出对象物的压缩图像数据的高光谱相机发挥功能。摄像装置10例如可以依次具备位于来自对象物的反射光或透射光的光路上的光学系统、滤波器阵列及图像传感器。光学系统在图像传感器的光检测面上形成像。滤波器阵列将入射的光的强度按每个滤波器进行调制并射出。图像传感器检测穿过滤波器阵列后的光。
[0205]
输入装置20取得从摄像装置10输出的压缩图像数据，基于压缩图像数据生成区域划分数据并输出。图11a至图11c是示意地表示图10所示的输入装置20的例子的框图。图11a至图11c所示的输入装置20与图4a至图4c所示的输入装置20的不同点是，输入装置20不具备前置相机21。输入装置20不是基于由前置相机21生成的图像数据而是基于从摄像装置10输出的压缩图像数据来生成并输出区域划分数据。关于图11a至图11c所示的输入装置20中的区域划分数据的生成，是在说明图4a至图4c所示的输入装置20的部分中记载的那样。
[0206]
另外，也可以是，输入装置20具备图4a至图4c所示的结构，基于由前置相机21生成的图像数据生成并输出区域划分数据。
[0207]
存储装置30存储从输入装置20输出的区域划分数据、在压缩感知技术中使用的滤波器阵列的复原表、在异物检查中使用的参照数据、以及表示每个区域的异物检查的结果的数据。复原表是全部区域的复原表或划分出的每个区域的复原表。在以下的说明中，将全部区域的复原表称作“完全复原表”，将划分出的每个区域的复原表称作“分区域复原表”。参照数据包含表示每个区域的复原波段及处理方法的关系的表。
[0208]
图12a是示意地表示完全复原表的例子的图。图12a所示的“p
ij”表示像素的位置。图12a所示的“a
kij”表示第k个波段的像素p
ij
中的光透射率。k＝1、2、
····
、n。图12b是示意地表示分区域复原表的例子的图。如图12b所示，对划分出的多个区域分别赋予了多个区域id。图12b所示的“p
ij”表示每个区域的像素的位置。图12b所示的“b
kij”表示每个区域的第k个波段的像素p
ij
中的光透射率。k＝1、2、
····
、n。
[0209]
通过使用与使用波段对应的分区域复原表，能够根据压缩图像数据，按每个区域将使用波段的局部图像数据有选择地复原。因而，能够降低处理电路40的运算负荷。在wo2021/192891a1中公开了该选择性的复原方法的详细情况。在使用分区域复原表将使用波段的局部图像数据有选择地复原之后，处理电路40能够基于图6b所示的右方的副表或图6c所示的右方的副表进行异物检查。图6b所示的右方的副表表示第2格式下的光谱模式id与处理方法的关系。图6c所示的右方的副表表示第3格式下的每个光谱模式id的处理模式id与处理方法的关系。
[0210]
接着，参照图13a说明使用完全复原表的异物检查中的处理电路40的动作的例子。在异物检查之前处理电路40使存储装置30存储从输入装置20输出的区域划分数据的动作以及处理电路40基于区域划分数据从存储装置30取得参照数据的动作是在实施方式1中说明的那样。
[0211]
图13a是表示使用完全复原表的异物检查中的处理电路40的动作的例子的流程图。处理电路40执行图13a所示的步骤s201到s212的动作。
[0212]
《步骤s201》
[0213]
处理电路40使摄像装置10将对象物摄像。摄像装置10生成对象物的压缩图像数据
并输出。
[0214]
《步骤s202》
[0215]
处理电路40从摄像装置10取得压缩图像数据，从存储装置30取得完全复原表。处理电路40使用完全复原表，从压缩图像数据将高光谱图像数据复原。
[0216]
《步骤s203》
[0217]
处理电路40从存储装置30取得区域划分数据。处理电路40基于区域划分数据，决定高光谱图像数据所表示的图像中的多个区域。
[0218]
《步骤s204至s212》
[0219]
步骤s204至s212的动作与图7a所示的步骤s103至s111的动作相同。
[0220]
接着，参照图13b说明使用分区域复原表的异物检查中的处理电路40的动作的例子。在异物检查之前处理电路40使存储装置30存储从输入装置20输出的区域划分数据的动作以及处理电路40基于区域划分数据从存储装置30取得参照数据的动作是在实施方式1中说明的那样。除此以外，在异物检查之前，处理电路40基于从存储装置30取得的区域划分数据及完全复原表，生成分区域复原表。
[0221]
图13b是表示使用分区域复原表的异物检查中的处理电路40的动作的例子的流程图。处理电路40执行图13b所示的步骤s301至s311的动作。
[0222]
《步骤s301》
[0223]
处理电路40使摄像装置10将对象物摄像。摄像装置10生成对象物的压缩图像数据并输出。
[0224]
《步骤s302》
[0225]
处理电路40从摄像装置10取得压缩图像数据，从存储装置30取得区域划分数据。处理电路40基于区域划分数据，决定压缩图像数据所表示的图像中的多个区域。
[0226]
《步骤s303》
[0227]
处理电路40从在步骤s302中决定的多个区域中选择进行处理的区域。
[0228]
《步骤s304》
[0229]
处理电路40从存储装置30取得分区域复原数据。处理电路40使用分区域复原表，从压缩图像数据有选择地复原在步骤s303中选择的区域的使用波段的局部图像数据。
[0230]
另外，处理电路40也可以使用分区域复原表，从压缩图像数据将在步骤s303中选择的区域的全部波段的局部图像数据复原。处理电路40从全部波段的局部图像数据中，提取使用波段的局部图像数据。
[0231]
《步骤s305至s311》
[0232]
步骤s305至s311的动作与图7a所示的步骤s105至s111的动作相同。
[0233]
在实施方式2中，通过取得用户对于压缩图像数据的区域指定输入，能够将图像划分为多个区域，并且，能够从压缩图像数据按每个区域将使用波段的局部图像数据有选择地复原。在实施方式2中，与不使用压缩图像数据并且不进行区域的划分的结构相比，能够大幅削减处理的次数及暂时存储的数据量。在实施方式2中，能够在在线检查中以适当的处理速度进行异物检查。
[0234]
(实施方式2的实施例)
[0235]
以下，参照图14a至图17c说明实施方式2的实施例。实施例中的对象物是食品加工
物中的在容器内包含多个配菜及食材的盒饭。在实施例中，使用分区域复原表进行异物检查。
[0236]
图14a至图14e是用来说明使用图11b所示的输入装置20将盒饭的压缩图像划分为多个区域并指定区域内容的次序的图。
[0237]
如图14a所示，显示装置24所显示的gui显示摄像装置10摄像得到的压缩图像以及划分按钮。用户选择划分按钮，开始对压缩图像的区域的划分。gui还显示取消按钮及结束按钮。用户既可以选择取消按钮而将之前的选择取消，也可以选择结束按钮而结束输入动作。图14b至图14e所示的gui也显示取消按钮及结束按钮。所显示的按钮也可以是划分按钮、取消按钮、结束按钮以外的按钮。除此以外，也可以具备用来指定所显示的图像中的区域的功能。
[0238]
如图14b所示，gui显示被划分为多个区域的压缩图像及区域指定的按钮。用户选择区域指定的按钮。
[0239]
上述多个区域可以预先作为盒饭内容物的划分模式(division pattern)而存储。此外，各区域也可以是按照压缩图像的像素值或亮度而被进行区域分割的区域。基于像素值或亮度的区域分割例如通过聚类(clustering)进行。此外，例如基于压缩图像的边缘提取结果制作封闭区域，通过主动轮廓法等决定分割区域。压缩图像的区域分割也可以使用这以外的方法来进行。
[0240]
如图14c所示，gui在被划分为多个区域的压缩图像上显示由中空箭头表示的光标作为指示机构。用户使用光标指定区域。
[0241]
如图14d所示，gui对于所指定的区域显示食材及配菜的列表。用户从列表中选择所指定的区域中的食材或配菜。这样，用户按每个区域指定食材或配菜。
[0242]
如图14e所示，gui显示按每个区域指定了食材或配菜的压缩图像、决定按钮及再设定按钮。用户选择决定按钮而决定每个区域的食材或配菜的指定。用户也可以选择再设定按钮而重新进行每个区域的食材或配菜的指定。另外，也可以将预先设定的作为盒饭内容物的配置的划分模式应用于通过图像处理得到的多个区域，从而生成图14e所示那样的按每个区域指定了食材或配菜的压缩图像。
[0243]
使用gui按每个区域指定食材或配菜对于在食品加工工厂中新检查种类相同但食材及配菜的位置调换了的盒饭的情况下是有效的。该情况下，在异物检查前，处理电路40基于新生成的区域划分数据将分区域复原表更新。
[0244]
接着，参照图15a至图15e，说明图14e所示的多个区域中的被划分为“白饭”的区域中的异物检查。图15a是表示被划分为“白饭”的区域中的“白饭”及设想的异物的反射光谱的曲线图。异物是毛发(黑)、毛发(白发)、毛发(茶色发中度漂白)、毛发(茶色发高度漂白)、蛋壳、橡皮圈(无着色)、订书针及白色发泡苯乙烯。“白饭”的反射光谱不怎么取决于波长，反射强度是0.5左右。蛋壳的反射强度在对象波长范围的全部波段中比“白饭”的反射强度高。因而，蛋壳在哪个波段的图像中都比“白饭”呈现得白。一部分异物的反射强度在对象波长范围的全部波段中比“白饭”的反射强度低。这样的异物在哪个波段的图像中都比“白饭”呈现得黑。在异物的反射光谱中，毛发(白发)的反射光谱接近于“白饭”的反射光谱。因而，在单一的波段的图像中，毛发(白发)与“白饭”的差别不明确，毛发(白发)的检测是不容易的。
[0245]
图15b示意地表示了示出被划分为“白饭”的区域的复原波段及处理方法的关系的表。复原波段是520nm、620nm及800nm。图15a所示的粗纵线表示这些复原波段。在图15b所示的表中，指定了提取520nm及620nm的图像数据的处理方法、以及生成从800nm的图像数据的像素值中减去了520nm的图像数据的像素值的加工图像数据的处理方法。
[0246]
620nm的图像数据用于如蛋壳那样呈现得比“白饭”白的异物的检测。520nm的图像数据用于呈现得比“白饭”黑的异物的检测。上述的加工图像数据用于毛发(白发)的检测。
[0247]
图15c是表示在被划分为“白饭”的区域中混入了毛发(黑发)的情况下的520nm的图像的图。在图15c所示的图像中，毛发(黑发)呈现为黑线，“白饭”呈现得较白。图15d是表示图15c的黑白反转图像的图。在图15d所示的图像中，毛发(黑发)呈现为白线，“白饭”呈现得较黑。处理电路40如上述那样能够基于计数出的白色或灰色的像素的数量决定为检测到了异物。处理电路40考虑异物是毛发而对白色或灰色的像素中的形成线的像素进行计数。或者，处理电路40也可以利用机器学习等的算法来检测异物。
[0248]
图15e是表示在被划分为“白饭”的区域中混入了毛发(白发)的情况下的加工图像的图。在图15e所示的图像中，毛发(白发)呈现为白线，“白饭”呈现得较黑。处理电路40如上述那样能够基于计数出的白色或灰色的像素的数量来决定为检测到了异物。由于“白饭”及毛发(白发)的光谱类似，所以在哪个单一的波段的图像中毛发(白发)的识别都不容易。相对于此，在加工图像中能够进行毛发(白发)的识别。
[0249]
接着，参照图16a至图16d，说明图14e所示的多个区域中的被划分为“海苔”的区域中的异物检查。被划分为“海苔”的区域位于被划分为“白饭”的两个区域之间。图16a是表示被划分为“海苔”的区域中的“海苔”及设想的异物的反射光谱的曲线图。关于“海苔”的反射光谱，在450nm以上700nm以下的可视光范围中反射强度较低。在可视光范围所包含的波段的图像中，“海苔”呈现得较黑。相对于此，如果波长超过700nm则反射强度增加，在800nm的波长下反射强度成为与“白饭”同等的反射强度。在800nm的图像中“海苔”呈现得较白。因而，可以将800nm的图像用于黑色或深色的异物的检测。可以将可视光范围所包含的某个波段的图像用于具有黑色或深色以外的色调的异物的检测。
[0250]
图16b示意地表示了示出被划分为“海苔”的区域的复原波段及处理方法的关系的表。复原波段是500nm、660nm及800nm。图16a所示的粗纵线表示这些复原波段。在图16b所示的表中，指定了提取500nm、660nm及800nm的图像数据的处理方法。将这些波段的图像数据用于黑色或深色的异物的检测。
[0251]
500nm的图像数据如图16a所示，对于毛发(白发)的检测是有利的。660nm的图像数据如图16a所示，对于毛发(茶色发高度漂白)及橡皮圈的检测是有利的。800nm的图像数据如图16a所示，对于毛发(黑发)的检测是有利的。
[0252]
图16c是表示在被划分为“海苔”的区域中混入了毛发(黑发)的情况下的800nm的图像的图。在图16c所示的图像中，毛发(黑发)呈现为黑线，“海苔”呈现为灰色。图16d是表示图16c的黑白反转图像的图。在图16d所示的图像中，毛发(黑发)呈现为白线。处理电路40如上述那样，能够基于计数出的白色或灰色的像素的数量决定为检测到了异物。
[0253]
接着，参照图17a至图17c，说明图14e所示的多个区域中的被划分为“油炸食物”的区域中的异物检查。图17a是表示被划分为“油炸食物”的区域中的“油炸食物”及设想的异物的反射光谱的曲线图。关于“油炸食物”的反射光谱，反射强度随着从短波长侧朝向长波
长侧而增加。即，“油炸食物”在短波长侧的波段的图像中呈现得较黑，在长波长侧的波段的图像中呈现得较白或呈现为灰色。短波长侧的波段的图像用于白色或与其接近的颜色的异物的检测。长波长侧的波段的图像用于黑色或深色的异物的检测。异物的反射光谱中的毛发(茶色发高度漂白)的反射光谱大致等于“油炸食物”的反射光谱。因而，在单一的波段的图像中，毛发(茶色发高度漂白)与“白饭”的差别不明确，毛发(茶色发高度漂白)的检测是不容易的。
[0254]
图17b示意地表示了示出被划分为“油炸食物”的区域的复原波段及处理方法的关系的表。复原波段是480nm、500nm、520nm及760nm。图17a所示的粗纵线表示这些复原波段。在图17b所示的表中，指定了提取500nm及760nm的图像数据的处理方法、以及生成将480nm、500nm及520nm的图像数据的像素值相加后的加工图像数据的处理方法。
[0255]
500nm的图像数据用于白色或与其接近的颜色的异物的检测。760nm的图像数据用于黑色或深色的异物的检测。上述的加工图像数据用于毛发(茶色发高度漂白)的检测。
[0256]
图17c是表示在被划分为“油炸食物”的区域中混入了毛发(茶色发高度漂白)的情况下的上述的加工图像的图。在图17c所示的图像中，毛发(茶色发高度漂白)呈现为白线。处理电路40如上述那样，能够基于计数出的白色或灰色的像素的数量决定为检测到了异物。
[0257]
(其他1)
[0258]
本公开的一技术方案的方法可以是如下方法。
[0259]
(a)接受图像，
[0260]
摄像装置将被摄体摄像，生成上述图像；
[0261]
在上述被摄体与上述摄像装置之间配置有包含二维地配置的多个滤波器的滤波器阵列，上述多个滤波器的多个光的透射特性相互不同；
[0262]
(b)基于上述图像，
[0263]
计算来自上述被摄体的与第1波长段的光对应的第1图像中包含的第1区域所包含的多个第1像素的多个第1像素值，
[0264]
计算来自上述被摄体的与第2波长段的光对应的第2图像中包含的第2区域所包含的多个第2像素的多个第2像素值，
[0265]
计算来自上述被摄体的与第3波长段的光对应的第3图像中包含的第3区域所包含的多个第3像素的多个第3像素值，
[0266]
计算来自上述被摄体的与第4波长段的光对应的第4图像中包含的第4区域所包含的多个第4像素的多个第4像素值；
[0267]
上述第1区域和上述第2区域对应于上述被摄体的第1部分，
[0268]
上述第3区域和上述第4区域对应于上述被摄体的第2部分；
[0269]
不计算上述第1图像中包含的上述第1区域以外的区域所包含的多个像素的多个像素值，
[0270]
不计算上述第2图像中包含的上述第2区域以外的区域所包含的多个像素的多个像素值，
[0271]
不计算上述第3图像中包含的上述第3区域以外的区域所包含的多个像素的多个像素值，
[0272]
不计算上述第4图像中包含的上述第4区域以外的区域所包含的多个像素的多个像素值；
[0273]
(c)基于上述多个第1像素值、上述多个第2像素值，决定上述第1部分是否包含1个或多个第1异物；
[0274]
(d)基于上述多个第3像素值、上述多个第4像素值，决定上述第2部分是否包含1个或多个第2异物。
[0275]
以下说明上述的方法。
[0276]
该方法可以在制造线中使用。例如，该方法可以在制造出的盒饭(即对象物70)中是否存在异物的检查工序中使用(参照图3b)。
[0277]
制造出的盒饭包含容器和多种食材。在到检查工序为止的制造工序中，多种食材分别配置在容器的预先设定的区域中。
[0278]
处理电路40接受从摄像装置10所包含的图像传感器输出的图像即压缩图像(参照图10)。另外，图像传感器将被摄体(例如制造出的盒饭)摄像而生成图像。在被摄体与图像传感器之间，配置有包含二维地配置的多个滤波器的滤波器阵列80。多个滤波器的多个光的透射特性相互不同(参照图2a～图2c)。
[0279]
压缩图像中包含的多个像素的多个像素值可以表现为
[0280]
[数式3]
[0281][0282]
p(g
rs
)是压缩图像中包含的像素g
rs
的像素值。r＝1～m，s＝1～n。像素g
rs
在压缩图像中位于坐标(r，s)。图18表示坐标轴、坐标的例子。
[0283]
压缩图像的数据g可以表现为
[0284]
g＝(p(g
11
)
…
p(g
1n
)
…
p(g
m1
)
…
p(g
mn
))
t
。
[0285]
可以认为与波长段wk对应的图像12wk(k＝1～i)具有图像数据fk。图像12wk中包含的多个像素的多个像素值可以表现为
[0286]
[数式4]
[0287][0288]
p(f
k rs
)是图像12wk中包含的像素f
k rs
的像素值(r＝1～m，s＝1～n)。像素f
k rs
在图像12wk中位于坐标(r，s)。
[0289]
图像12wk的图像数据fk可以表现为
[0290]fk
＝(p(f
k 11
)
…
p(f
k 1n
)
…
p(f
k m1
)
…
p(f
k mn
))
t
。
[0291]
图像数据f
p
中包含的像素值p(f
p rs
)和图像数据fq中包含的像素值p(f
q rs
)是被摄体的同一处的像素值。
[0292]
式(1)能够如下述那样表现。
[0293]
[数式5]
[0294][0295]
g是m
×
n行1列的矩阵，f是m
×n×
i行1列的矩阵，h是m
×
n行m
×n×
i列的矩阵。
[0296]
处理电路40基于接受到的压缩图像进行以下处理。以下，假设m＝5，n＝8，i＝4，多个食材的数量是2，多个食材是白饭、海藻而进行说明。作为多个食材的白饭、海藻配置在容器的规定位置。在制造线的检查部位，摄像装置10将制造出的盒饭摄像。由于多个食材分别配置在容器的预先设定的区域，所以处理电路40能够确定从摄像装置10输出的压缩图像中的多个食材的位置。
[0297]
图19表示压缩图像中的多个像素的多个位置、压缩图像中包含的多个像素的多个像素值、压缩图像的数据g、与波长段wk对应的图像ik中的多个像素的多个位置、图像ik中包含的多个像素的多个像素值、图像ik的数据fk(k＝1、2、3、4)。
[0298]
在压缩图像中，白饭位于由坐标(1，1)、～、坐标(1，8)、坐标(2，1)、～、坐标(2，8)所确定的区域，海藻位于由坐标(3，1)、～、坐标(3，8)、～、坐标(5，1)、～、坐标(5，8)所确定的区域。
[0299]
压缩图像中包含的多个像素的多个像素值能够表现为
[0300]
[数式6]
[0301][0302]
压缩图像的数据g可以表现为
[0303]
[数式7]
[0304][0305]
图像ik、图像数据fk对应于波长段wk(k＝1、2、3、4)。
[0306]
在图像ik中，白饭位于由坐标(1，1)、～、坐标(1，8)、坐标(2，1)、～、坐标(2，8)确定的区域，海藻位于由坐标(3，1)、～、坐标(3，8)、～、坐标(5，1)、～、坐标(5，8)确定的区域。
[0307]
图像ik中包含的多个像素的多个像素值能够表现为
[0308]
[数式8]
[0309][0310]
图像ik的数据fk可以表现为
[0311]
[数式9]
[0312][0313]
处理电路40基于下述所示的式(10)，计算f1′
、f2′
、f3′
、f4′
。
[0314]
[数式10]
[0315][0316]
另外，
[0317]
[数式11]
[0318][0319]
[0320][0321][0322][0323][0324]
上述的处理电路40基于式(10)计算f1′
、f2′
、f3′
、f4′
的处理的详细情况是下述这样的。
[0325]
图20表示处理电路40计算的像素值和不计算的像素值、将不计算的像素值省去后的图像数据fk′
。应注意，处理电路不是计算fk而是计算fk′
。
[0326]
处理电路40计算来自被摄体(例如制造出的盒饭)的与第1波长段w1(例如520
±
5nm)的光对应的图像i1中包含的第1区域(图像i1中，由坐标(1，1)、～、坐标(1，8)、坐标(2，1)、～、坐标(2，8)确定的区域)所包含的多个第1像素的多个第1像素值(p(f
1 11
)、
…
、p(f
1 18
)、p(f
1 21
)、
…
、p(f
1 28
))(参照图15a、图15b中的白饭、520nm)。
[0327]
处理电路40计算来自该盒饭的与第2波长段w2(例如620
±
5nm)的光对应的图像i2中包含的第2区域(图像i2中，由坐标(1，1)、～、坐标(1，8)、坐标(2，1)、～、坐标(2，8)确定的区域)所包含的多个第2像素的多个第2像素值(p(f
2 11
)、
…
、p(f
2 18
)、p(f
2 21
)、
…
、p(f
2 28
))(参照图15a、图15b中的白饭、620nm)。
[0328]
处理电路40计算来自该盒饭的与第3波长段w3(例如500
±
5nm)的光对应的图像i3中包含的第3区域(图像i3中，由坐标(3，1)、～、坐标(3，8)、坐标(4，1)、～、坐标(4，8)、坐标(5，1)、～、坐标(5，8)确定的区域)所包含的多个第3像素的多个第3像素值(p(f
3 31
)、
…
、p(f
3 38
)、p(f
3 41
)、
…
、p(f
3 48
)、p(f
3 51
)、
…
、p(f
3 58
))(参照图16a、图16b中的海苔、500nm)。
[0329]
处理电路40计算来自该盒饭的与第4波长段w4(例如660
±
5nm)的光对应的图像i4中包含的第4区域(图像i4中，由坐标(3，1)、～、坐标(3，8)、坐标(4，1)、～、坐标(4，8)、坐标(5，1)、～、坐标(5，8)确定的区域)所包含的多个第4像素的多个第4像素值(p(f
4 31
)、
…
、p(f
4 38
)、p(f
4 41
)、
…
、p(f
4 48
)、p(f
4 51
)、
…
、p(f
4 58
))(参照图16a、图16b中的海苔、660nm)。
[0330]
第1区域和第2区域对应于该盒饭中包含的配置有白饭的区域。
[0331]
第3区域和第4区域对应于该盒饭中包含的配置有海藻的区域。
[0332]
处理电路40不计算图像i1中包含的第1区域以外的区域(图像i1中，由坐标(3，1)、～、坐标(3，8)、坐标(4，1)、～、坐标(4，8)、坐标(5，1)、～、坐标(5，8)确定的区域)所包含的多个像素的多个像素值(p(f
1 31
)、
…
、p(f
1 38
)、p(f
1 41
)、
…
、p(f
1 48
)、p(f
1 51
)、
…
、p(f
158
))。
[0333]
处理电路40不计算图像i2中包含的第2区域以外的区域(图像i2中，由坐标(3，1)、～、坐标(3，8)、坐标(4，1)、～、坐标(4，8)、坐标(5，1)、～、坐标(5，8)确定的区域)所包含的多个像素的多个像素值(p(f
2 31
)、
…
、p(f
2 38
)、p(f
2 41
)、
…
、p(f
2 48
)、p(f
2 51
)、
…
、p(f
258
))。
41
)、
…
、p(f
4 48
)、p(f
4 51
)、
…
、p(f
4 58
))，计算来自盒饭的与第4波长段w4(例如660
±
5nm)的光对应的图像i4中包含的第4区域(图像i4中，由坐标(3，1)、～、坐标(3，8)、坐标(4，1)、～、坐标(4，8)、坐标(5，1)、～、坐标(5，8)确定的区域)是否包含1个或多个异物(参照图16a、图16b及其关联说明)。
[0347]
可以是，如果多个第4像素值(p(f
4 11
)、
…
、p(f
4 18
)、p(f
4 21
)、
…
、p(f
4 28
))分别包含在规定范围中，则处理电路40判断为第4区域不包含异物。在其以外的情况下，处理电路40判断为第4区域包含异物。规定范围基于图16a的数据决定即可。
[0348]
在第3区域不包含异物并且第4区域不包含异物的情况下，处理电路40决定为在作为检查对象的盒饭中包含的海藻(即，配置有海藻的区域)不包含异物。在第3区域包含异物、或第4区域包含异物、或第3区域包含异物并且第4区域包含异物的情况下，处理电路40决定为在作为检查对象的盒饭中包含的海藻(即，配置有海藻的区域)包含异物(参照图16a、图16b及其关联说明)。
[0349]
(其他2)
[0350]
只要不脱离本公开的主旨，对各实施方式施以本领域技术人员想到的各种变形后的形态、将不同实施方式的构成要素组合而构建的形态也可以也包含在本公开的一个或多个技术方案的范围内。
[0351]
工业实用性
[0352]
本公开的技术例如对于工业制品及食品加工物的异物检查是有用的。本公开的技术例如能够用于不依赖于目视的在线检查。
[0353]
标号说明
[0354]
10摄像装置
[0355]
12高光谱图像
[0356]
20输入装置
[0357]
21前置相机
[0358]
22图像识别装置
[0359]
23处理电路
[0360]
24显示装置
[0361]
25存储装置
[0362]
30存储装置
[0363]
40处理电路
[0364]
50输出装置
[0365]
60工作装置
[0366]
70对象物
[0367]
80滤波器阵列
[0368]
100a、100b检查系统

技术特征：
1.一种方法，是由计算机执行的检测对象物的异物的方法，其特征在于，包括：取得包含4个以上波段的信息的上述对象物的图像数据；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据；基于上述局部图像数据，按每个区域检测上述对象物的异物；以及将表示检测结果的数据输出；上述至少1个波段对应于上述多个区域的每个而被选择。2.如权利要求1所述的方法，其特征在于，取得上述图像数据包括取得高光谱图像数据，该高光谱图像数据表示上述4个以上波段的上述对象物的图像。3.如权利要求1所述的方法，其特征在于，取得上述图像数据包括取得压缩图像数据，该压缩图像数据是将上述4个以上波段的上述对象物的图像信息压缩为1个图像的压缩图像数据。4.如权利要求3所述的方法，其特征在于，提取上述局部图像数据包括从上述压缩图像数据将与上述至少1个波段对应的上述局部图像数据复原。5.如权利要求4所述的方法，其特征在于，上述压缩图像数据通过经由滤波器阵列将上述对象物摄像而取得；上述滤波器阵列具备二维地排列的多个滤波器；上述多个滤波器中的至少两个以上滤波器的透射光谱相互不同；将上述局部图像数据复原包括使用与上述至少1个波段对应的至少1个复原表进行复原；上述复原表表示上述多个区域各自的与上述滤波器阵列有关的每个波段的光透射率的空间分布。6.如权利要求1～5中任一项所述的方法，其特征在于，还包括取得与上述对象物的种类对应的区域划分数据；上述多个区域基于上述图像数据及上述区域划分数据而被决定。7.如权利要求6所述的方法，其特征在于，上述至少1个波段基于上述区域划分数据而被选择。8.如权利要求6或7所述的方法，其特征在于，上述区域划分数据包含用来决定上述多个区域的区域信息；上述方法还包括基于上述区域划分数据取得参照数据，该参照数据包含与上述区域信息对应的波段的信息；上述至少1个波段基于上述参照数据而被选择。9.如权利要求6～8中任一项所述的方法，其特征在于，还包括：将上述区域划分数据更新；以及将上述多个区域更新。
10.如权利要求9所述的方法，其特征在于，还包括将上述至少1个波段更新。11.如权利要求6～10中任一项所述的方法，其特征在于，上述对象物是工业制品；上述区域划分数据包含表示上述工业制品的零件配置图的数据。12.如权利要求6～10中任一项所述的方法，其特征在于，上述对象物是食品加工物；上述区域划分数据包含表示上述食品加工物的内容物的配置图的数据。13.如权利要求6～11中任一项所述的方法，其特征在于，上述区域划分数据通过对不存在异物的上述对象物的图像进行图像识别处理而生成。14.一种处理装置，具备：处理器；以及存储器，保存有由上述处理器执行的计算机程序；其特征在于，上述计算机程序为了进行对象物的异物的检测而使上述处理器执行：取得包含4个以上波段的信息的上述对象物的图像数据；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据；基于上述局部图像数据，按每个区域检测上述对象物的异物；以及将表示检测结果的数据输出；上述至少1个波段对应于上述多个区域的每个而被选择。

技术总结
由计算机执行的检测对象物的异物的方法包括：取得包含4个以上波段的信息的上述对象物的图像数据(S101、S201、S301)；从上述图像数据中，关于上述对象物的多个区域的每个，提取与上述4个以上波段之内的至少1个波段对应的局部图像数据(S104、S205、S304)；基于上述局部图像数据，按每个区域检测上述对象物的异物(S106、S207、S306)；将表示检测结果的数据输出(S107、S208、S307)；上述至少1个波段对应于上述多个区域的每个而被选择。述多个区域的每个而被选择。述多个区域的每个而被选择。


技术研发人员：狩集庆文 加藤弓子 石川笃
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：2022.02.08
技术公布日：2023/10/7