图像信息处理装置及方法

1.本技术属于图像识别、图像处理技术领域，尤其涉及一种图像信息处理装置及方法。


背景技术：

2.目前，机器视觉在工业检测、智能家居以及各种智能终端上都有着广泛的应用。
3.随着现代图形处理单元的处理能力和并行计算能力的提升，基于卷积神经网络的深度学习得到迅速发展，在人工智能的多种应用如对于彩色图像的图像分类、图像检测等方面表现优异。然而，现有的对于彩色图像的处理方式，通常是将彩色图像输入到卷积神经网络，由卷积神经网络来实现对彩色图像的处理。而卷积神经网络均是以计算机、处理器作为载体。如此，对于计算机、处理器等设备的硬件资源要求较高，因而提高了硬件成本。另外，由于数据处理量较大，运算较为复杂，降低了运算效率。
4.因此，如何降低处理彩色图像的硬件成本，提高对彩色图像的处理效率，成为一个有待解决的问题。


技术实现要素：

5.本技术实施例提供一种图像信息处理装置及方法，能够减少硬件设备的数据处理量，降低了处理彩色图像的硬件成本，有效提高了卷积处理效率。
6.第一方面，本技术实施例提供一种图像信息处理装置，包括：
7.多颜色通道掩膜版，所述多颜色通道掩膜版包括透明基板以及设置在所述透明基板上的滤光膜，所述滤光膜设置有预设图案，所述预设图案根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，所述单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核，所述多颜色通道掩膜版用于通过所述滤光膜对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；
8.光学感应芯片，用于接收所述过滤后的多个单颜色通道信息，将所述过滤后的多个单颜色通道信息转化为电信号；
9.处理器，用于接收所述光学感应芯片传输来的电信号，并利用目标卷积神经网络的全连接层对所述电信号进行处理，得到所述目标彩色图像的目标视觉任务的处理结果。
10.根据本技术的实施例所述的图像信息处理装置，还包括：
11.光产生部件，用于产生携带有所述目标彩色图像的光信号，其中，所述光信号为非相干光信号。
12.根据本技术的实施例，所述光产生部件为多个点光源，所述光信号包括由所述多个点光源产生的信号；或者
13.所述光产生部件为显示器，所述光信号包括由所述显示器产生的多像素图像信号。
14.根据本技术的实施例，两个相邻的点光源或两个相邻的像素之间的距离通过以下公式计算得到：
[0015][0016]
其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为所述光产生部件与所述多颜色通道掩膜版之间的距离，d
ms
为所述多颜色通道掩膜版与所述光学感应芯片之间的距离，δ为所述光学感应芯片上单个像素的尺寸；所述光学感应芯片上的单个像素等效于所述卷积网络层的卷积计算后产生的单个像素。
[0017]
根据本技术的实施例，所述光学感应芯片上单个像素的空间尺寸是根据所述光信号传输过程中的几何模糊与所述光信号通过所述多颜色通道掩膜版产生的衍射模糊之间的关系所确定的。
[0018]
根据本技术的实施例，所述几何模糊d1＝δ，所述衍射模糊d2＝2.44λd
ms
/δ；所述光学感应芯片上单个像素的空间尺寸
[0019]
第二方面，本技术实施例提供一种图像信息处理方法，应用于第一方面中任意一项所述的一种图像信息处理装置，所述方法包括：
[0020]
通过所述多颜色通道掩膜版的滤光膜对其接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；其中，所述多颜色通道掩膜版包括透明基板以及设置在所述透明基板上的所述滤光膜，所述滤光膜设置有预设图案，所述预设图案根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，所述单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核；
[0021]
通过所述光学感应芯片接收所述过滤后的多个单颜色通道信息，将所述过滤后的多个单颜色通道信息转化为电信号；
[0022]
通过所述处理器接收所述光学感应芯片传输来的电信号，并利用目标卷积神经网络的全连接层对所述电信号进行处理，得到所述目标彩色图像的目标视觉任务的处理结果。
[0023]
根据本技术实施例，所述图像信息处理方法还包括：通过所述光产生部件产生携带有所述目标彩色图像的光信号，其中，所述光信号为非相干光信号。
[0024]
本技术提供了一种图像信息处理方法：其中，所述光产生部件为多个点光源，所述光信号是由所述多个点光源产生的信号；或者
[0025]
所述光产生部件为显示器，所述光信号包括由所述显示器产生的多像素图像信号。
[0026]
本技术提供了一种图像信息处理方法：其中，两个相邻的点光源或两个相邻的像素之间的距离通过以下公式计算得到：
[0027][0028]
其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为所述光产生部件与所述多颜色通道掩膜版之间的距离，d
ms
为所述多颜色通道掩膜版与所述光学感应芯片
之间的距离，δ为所述光学感应芯片上单个像素的尺寸；所述光学感应芯片上的单个像素等效于所述卷积网络层的卷积计算后产生的单个像素。
[0029]
本技术实施例的图像信息处理装置及方法，能够通过在多颜色通道掩膜版的透明基板上设置滤光膜，在滤光膜上设置预设图案，以使滤光膜对彩色图像的光信号进行过滤处理，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，从而实现了对彩色图像在光域上进行预先处理，减少了后端数据处理设备的数据处理量，进而有效提高了卷积处理效率，降低了处理彩色图像的硬件成本。
附图说明
[0030]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1是本技术一个实施例提供的图像信息处理装置的示意图；
[0032]
图2是本技术中提出的掩膜版对图像信息过滤处理的原理示意图；
[0033]
图3是本技术中提出的图像信息的示意图；
[0034]
图4是本技术中提出的图像信息经掩膜版处理后得到的结果的示意图；
[0035]
图5是本技术中提出的光上多颜色通道卷积原理示意图；
[0036]
图6是本技术中提出的多颜色通道掩膜版的彩色膜层透射谱示意图；
[0037]
图7是本技术中提出的目标对象、多颜色通道掩膜版、光学感应芯片之间距离的关系的示意图；
[0038]
图8是本技术一个实施例提供的图像信息处理方法的流程示意图；
[0039]
图9是本技术实施例提供的图像信息处理装置的应用场景实施例对应的架构示意图。
[0040]
附图标记
[0041]
1-多颜色通道掩膜版；2-目标彩色图像；3-光学感应芯片；4-处理器；5-光产生部件。
具体实施方式
[0042]
下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
[0043]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0044]
图像处理技术是用计算机对图像信息进行处理的技术。主要包括：图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。目前图像处理技术主要基于计算机来实现。人工神经网络(artificial neural networks，ann)是一种模拟生物神经系统的结构和行为，进行分布式并行信息处理的算法数学模型。ann通过调整内部神经元与神经元之间的权重关系，从而达到处理信息的目的。在处理图像时，计算机把原始图像或经过适当预处理的图像作为神经网络输入信号，在神经网络的输出端得到处理后的图像信号或分类结果。
[0045]
卷积神经网络(convolutional neural networks，cnn)是一种前馈神经网络，其在图像处理方面的表现十分出色。cnn的基本结构由输入层、卷积层(convolutional layer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。卷积层中输出特征图的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程类似于卷积的计算过程。
[0046]
目前，机器视觉在工业检测、智能家居以及各种智能终端上都有着广泛的应用。
[0047]
随着现代图形处理单元的处理能力和并行计算能力的提升，基于卷积神经网络的深度学习得到迅速发展，在人工智能的多种应用如对于彩色图像的图像分类、图像检测等方面表现优异。然而，现有的对于彩色图像的处理方式，通常是将彩色图像输入到卷积神经网络，由卷积神经网络来实现对彩色图像的处理。而卷积神经网络均是以计算机、处理器作为载体。如此，对于计算机、处理器等设备的硬件资源要求较高，因而提高了硬件成本。另外，由于数据处理量较大，运算较为复杂，再加上设备的计算延时，降低了运算效率。
[0048]
为了提高运算效率，光学计算被认为可以突破电子计算的瓶颈限制，光的并行性、高速度和低损耗可以极大提高计算速度、降低能耗与延迟。然而，目前绝大部分光神经网络架构都需要使用单色的相干激光作为光源，因此无法应用于自然光场景中，并且主要针对灰度信息，无法完成对彩色图像信息的处理，实用性较低。为了进一步提升实用性，光电混合神经网络结构被提出，但是主要基于透镜组和滤光片的硬件系统(如4f系统)，其具有庞大的尺寸外形，难以部署在如自动驾驶、机器人或其他物联网外围设备中。
[0049]
基于上述问题，本技术提出一种图像信息处理方法、装置、设备及计算机存储介质，能够通过在多颜色通道掩膜版的透明基板上设置滤光膜，在滤光膜上设置预设图案，以使滤光膜对彩色图像的光信号进行过滤处理，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，从而实现了对彩色图像在光域上进行预先处理，减少了后端数据处理设备的数据处理量，进而有效提高了卷积处理效率，降低了处理彩色图像的硬件成本。
[0050]
为了解决现有技术问题，本技术实施例提供了一种图像信息处理装置及方法。下
面首先对本技术实施例所提供的图像信息处理装置及方法进行介绍。
[0051]
图1示出了本技术一个实施例提供的图像信息处理装置的示意图。如图1所示，图像信息处理装置，包括：
[0052]
多颜色通道掩膜版1，多颜色通道掩膜版1包括透明基板以及设置在透明基板上的滤光膜，滤光膜设置有预设图案，预设图案根据目标彩色图像2的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核，多颜色通道掩膜版1用于通过滤光膜对接收到的目标彩色图像2的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；
[0053]
光学感应芯片3，用于接收过滤后的多个单颜色通道信息，将过滤后的多个单颜色通道信息转化为电信号；
[0054]
处理器4，用于接收光学感应芯片3传输来的电信号，并利用目标卷积神经网络的全连接层对电信号进行处理，得到目标彩色图像2的目标视觉任务的处理结果。
[0055]
本技术实施例的图像信息处理装置，通过采用多颜色通道掩膜版对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，也就是说，能够将达到与将目标彩色图像进行卷积处理相同的效果，因此光学感应芯片不需要对彩色图像的颜色信息进行探测，降低了芯片的制作成本。此外，由于已经通过多颜色通道掩膜版对彩色图像在光域上预先进行了过滤处理，因此减少了后端数据处理设备的数据处理量，进而降低了处理彩色图像的硬件成本。
[0056]
可以理解的是，本技术中描述的目标彩色图像2的载体可以直接来自目标对象，例如目标对象可以是人或物，目标对象通过反射光线，使得携带有目标彩色图像2的光信号作为入射光射入多颜色通道掩膜版1。本技术中描述的目标彩色图像2可以来自光产生部件5，例如光产生部件5可以是用于呈现目标彩色图像2的显示器，或者，还可以是一个点光源或多个点光源的组合。任何能够发出光线和/或反射光线到多颜色通道掩膜版1的应用场景下，都可以使用本技术的图像信息处理装置来进行卷积处理操作。应当理解，本技术中所描述的光线可以指漫反射光、单色光、复色光等各种形式的可见光或不可见光。
[0057]
作为一种可能实施方式的实例，多颜色通道掩膜版1包括透明基板以及设置在透明基板上的滤光膜，滤光膜设置有预设图案。目标彩色图像2的光信号作为入射光穿过多颜色通道掩膜版1，多颜色通道掩膜版1对上述光信号进行了过滤处理，从而得到了过滤后的多个单颜色通道信息。
[0058]
作为一种示例，上述透明基板可以是透明玻璃基板，还可以是透明树脂基板，其中，透明玻璃基板可以是石英玻璃，还可以是苏打玻璃，还可以是低膨胀玻璃；上述滤光膜不透光的区域可以是硬质遮光膜，还可以是乳胶遮光膜，滤光膜透过部分颜色的光信号的区域可以是表面涂覆有光学薄膜的基材材料，例如pet(聚酯，polyester)薄膜、pc(聚碳酸酯，polycarbonate)薄膜、pmma(聚甲基丙烯酸甲酯，polymethyl methacrylate)薄膜等。
[0059]
本技术中描述的预设图案是根据目标彩色图像2的颜色信息以及目标卷积神经网
络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核。
[0060]
作为一种示例，上述具有预设图案的滤光膜可以通过以下步骤进行确定：
[0061]
步骤1：根据目标视觉任务，确定目标卷积神经网络结构模型。
[0062]
需要说明的是，上述目标视觉任务可以是针对彩色图像的分类任务、定位任务、检测任务、任务分割，例如cifar、fruit360等分类任务；上述目标卷积神经网络可以是vgg16、resnet18等常用的分类网络结构。
[0063]
步骤2：将目标卷积神经网络中的第一层卷积层中的浮点卷积核调整为二值卷积核，以得到调整后的第一层卷积层；或者，在第一层卷积层上添加与第一层卷积层对应的二值卷积层，将二值卷积层确定为调整后的第一层卷积层。
[0064]
需要说明的是，通过第一层卷积层获取到的数据，可以根据第一层卷积层中每个卷积核中的每个像素所对应的值，确定掩膜版上是否透过对应颜色通道的光。因此，直接根据第一层卷积层中的浮点卷积核所得到的结果并不准确，可以将其调整为二值卷积核，进而根据二值卷积核更加准确的确定多个不同单颜色通道卷积核各自的颜色通道透过情况。
[0065]
步骤3：对目标彩色图像2的颜色信息对目标卷积神经网络的卷积网络层上的多个不同单颜色通道卷积核进行反向优化处理。
[0066]
作为一种可能实施方式的示例，可以根据预设的损失函数，计算目标卷积神经网络基于目标彩色图像2进行预测得到的结果与真实结果的损失值，基于损失值对目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化处理。
[0067]
作为一种示例，在步骤3中，还可以加载模型在其他数据集上的网络参数作为预训练权重(如resnet18网络可加载其在image net数据集上的网络参数)，以此参数作为初始值对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化处理。
[0068]
步骤4：获取反向优化处理后多个不同的单颜色通道卷积核；其中，多个不同的单颜色通道卷积核可以是卷积网络层上的第一层卷积层中的卷积核。
[0069]
步骤5：基于多个不同的单颜色通道卷积核各自不同像素位置的取值，确定多个不同的单颜色通道卷积核各自不同像素位置的颜色通道透过情况。
[0070]
可以理解的是，每种颜色通道均对应有各自的卷积核。针对每种颜色通道，若该颜色通道对应的卷积核的其中一个像素位置取值为0，则该卷积核像素位置对应的滤光膜区域不透过该颜色的光；若卷积核的其中一个像素位置取值为1，则该卷积核像素位置对应的滤光膜区域透过该颜色的光。
[0071]
步骤6：基于第一层卷积层中多个不同的单颜色通道卷积核的图案确定上述预设图案。
[0072]
作为一种可能实施方式的实例，预设图案中不同区域的颜色可以根据第一层卷积层中多个不同的单颜色通道卷积核各自的颜色通道得到。例如，可以将所属同一卷积核的同一像素位置区域的颜色通道进行叠加，以得到叠加后的多颜色通道；确定该像素位置区域的多颜色通道对应的光的波段，根据上述光的波段确定多颜色通道掩膜版1上不同区域所允许透过的光的波段，进而确定上述滤光膜的种类。
[0073]
需要说明的是，点扩散函数(psf，point spread function)描述了一个光学系统
对物体的反射光(点光源)的响应，或者成为一个系统的脉冲响应。它是成像系统光学传递函数的空间域形式，一个非相干光的光学成像系统可以理解为一个线性系统，一个复杂物体经过光学系统成的像可以被看作是真实物体和系统psf的卷积，多个物体的像等于各个物体独立成像的总和。
[0074]
根据上述定义，一个光学系统的psf的测量一般是通过将一个点光源作为物体，此时系统的像就是系统的psf。我们以灰度的掩膜版为例，从图2中可以得知，若目标对象为如图2(a)所示的单个点光源，掩膜版上刻蚀的图案如图2(b)所示，系统的psf即为掩膜版上刻蚀的图案，即系统的psf的效果如图2(c)所示。若目标对象由单个点光源改变为如图2(c)所示的由多个点光源所组成的图像，该图像的光信号穿过如图2(e)所示的掩膜版后，光学感应芯片3探测到的图像就是由掩膜版对物体图像的信号光进行过滤后得到的信息，其效果如图2(f)所示。也就是说，当掩膜版上的图案为设定的卷积核的图案时，光学感应芯片3探测到的信息可以等效为对上述物体图像进行卷积运算处理所得到的信息。
[0075]
举例来说，如图3所示，有两个光源，即位于平面坐标系中(1,1)处的第一光源和位于平面坐标系中(4,4)处的第二光源。第一光源的中心和第二光源的中心之间的横向间距和纵向间距都为3个单位距离。
[0076]
对于图3中的图像信息，其经掩膜版处理后得到的结果如图4所示。
[0077]
假设掩膜版上的掩膜孔呈01二值分布，其中，0代表不透光，1代表全透光，那么掩膜版上的掩膜孔对应的卷积核为：
[0078][0079]
由于对于第一光源的中心和第二光源的中心之间的横向间距和纵向间距都为3，因此在理想情况下，第一光源经过卷积后的第一卷积结果的中心和第二光源经过卷积后的第二卷积结果的中心之间的横向间距和纵向间距都为3δ，其中，光学感应芯片3上单个像素的尺寸为δ，也称为特征尺寸。
[0080]
相关技术中，光学感应芯片3采用彩色相机芯片，其感光面前存在彩色滤光片阵列(cfa，color filter array)，cfa上面排布有拜耳阵列，分别对多个颜色通道进行滤波(例如r、g、b三个颜色通道)，彩色相机芯片捕捉到的图像通过插值法得到每一个像素点的rgb三通道的光强值。然而，由于是通过插值法得到的每一个像素点的光强值，因而上述光强值与实际的光强值之间存在误差，并且上述插值法需要计算机、处理器4等设备来完成，降低了运算效率。
[0081]
在本技术实施例中，通过在多颜色通道掩膜版1的滤光膜上设置与卷积核对应的图案，使得多颜色通道掩膜版1的不同区域能够透过与卷积核颜色对应的光，并且多颜色通道掩膜版1的同一区域可以同时透过多种颜色的光，从而使目标彩色图像2的光信号经过多颜色通道掩膜版1的过滤处理后，所得到的第一信息等效为对目标彩色图像2各通道的分量分别进行卷积处理后叠加求和所得到的第二信息。由此，光学感应芯片3直接探测对应像素的光强信息即可，不需要光学感应芯片3包括彩色滤光片阵列，也不需要对捕捉到的图像进行插值处理，降低了芯片的成本和制作难度，同时也节省了芯片数字信号处理(isp，image signal processor)过程的计算量和能耗。
[0082]
为便于理解，以r、g、b三通道的卷积核为例对上述第一信息与第二信息等效的原理进行说明。如图5所示，分别将r、g、b三通道的卷积核在其对应空间位置的透过光谱进行叠加，并通过公式(1)将对应目标彩色图像2的rgb各通道的分量(ir、ig、ib)分别与各自对应通道的psf进行卷积后叠加求和：
[0083][0084]
通过上述公式可以得出，一个包括rgb三通道的彩色图像的光信号经过多颜色通道掩膜版1的过滤处理后所得到的处理结果，可以等效于该彩色图像的rgb各通道的分量(ir、ig、ib)分别与各自对应通道的psf分别卷积后叠加求和所得到的结果。
[0085]
可以理解的是，本技术提出的多颜色通道掩膜版1的滤光膜可以面向rgb三个通道进行设计，还可以面向cmyk模式的五个通道进行设计。
[0086]
以面向rgb三个通道进行设计的多颜色通道掩膜版为例，如图6所示，多颜色通道掩膜版可以包括以下种类中的任意一种：rgb三个通道可见光均不透过的滤光膜、只透过r通道可见光的滤光膜、只透过g通道可见光的滤光膜、只透过b通道可见光的滤光膜、透过rg通道可见光的滤光膜、透过gb通道可见光的滤光膜、透过rb通道可见光的滤光膜。还可以在多颜色通道掩膜版的透明基板的某些位置不设置滤光膜，以使rgb三个通道可见光都可以透过多颜色通道掩膜版。
[0087]
作为一种可能实施方式的实例，透明基板上的滤光膜可以是经过在掩膜版的透明基板上镀彩色通道掩膜得到的；还可以是经过在对设置在透明基板上的彩色通道掩膜进行刻蚀得到的；还可以是经过在掩膜版的透明基板上粘贴彩色通道掩膜得到的。
[0088]
在本技术一些实施例中，光学感应芯片3用于接收过滤后的多个单颜色通道信息，将过滤后的多个单颜色通道信息转化为电信号。光学感应芯片3可以是金属氧化物半导体元件(cmos，complementary metal oxide semiconductor)。cmos中的每一个感光元件都直接整合了放大器和模数转换逻辑，当感光二极管接受光照、产生模拟的电信号之后，电信号首先被该感光元件中的放大器放大，然后直接转换成对应的数字信号。cmos型的光学感应芯片的主要目的是将采集到的光信号转换为后续电路或计算机能够处理的电信号，所有能将光信号转换为处理设备能够利用的信号的设备都可以属于本技术所描述的光学感应芯片3。
[0089]
需要注意的是，由于目标彩色图像2的光信号是通过多颜色通道掩膜版1过滤处理，以达到将目标彩色图像2进行卷积处理相同的效果，因此本技术中描述的光学感应芯片3不需要通过彩色相机芯片对彩色图像的光信号进行探测，降低了芯片的制作成本。此外，本技术采用无透镜的图像信息处理装置，有效减少了图像信息处理装置的尺寸、重量和成本。
[0090]
处理器4，用于接收光学感应芯片3传输来的电信号，并利用目标卷积神经网络的全连接层对电信号进行处理，得到目标彩色图像2的目标视觉任务的处理结果。
[0091]
作为一种可能的实例，处理器4可以将光学感应芯片3传输来的电信号输入至目标卷积神经网络的池化层和全连接层对电信号进行处理，得到目标彩色图像2的目标视觉任务的处理结果，以完成物体分类、识别、检测等多种任务。例如，可以实现对图像的分类，还可以完成人脸或其他物体的识别，还可以针对特定任务检测图像中是否存在某一类或某几
类特定物体。
[0092]
作为又一种可能的示例，在处理器4利用目标卷积神经网络的全连接层对电信号进行处理之前，还可以利用池化层对信号进行池化处理。
[0093]
本技术实施例的图像信息处理装置，通过采用多颜色通道掩膜版对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，也就是说，能够将达到与将目标彩色图像进行卷积处理相同的效果，因此光学感应芯片不需要对彩色图像的颜色信息进行探测，降低了芯片的制作成本。此外，由于已经通过多颜色通道掩膜版对彩色图像在光域上预先进行了过滤处理，因此减少了后端数据处理设备的数据处理量，进而降低了处理彩色图像的硬件成本。
[0094]
为了能够提高图像信息处理装置中各个部件安装位置的准确性，减小由于安装位置不准确所导致的图像信息处理结果存在误差，如图1所示，在本技术一些实施例中，图像信息处理装置还可以包括：
[0095]
光产生部件5，用于产生携带有目标彩色图像的光信号，其中，光信号为非相干光信号。
[0096]
在使用光产生部件5来产生目标彩色图像的光信号的情况下，目标彩色图像的光信号为非相干光信号，其中，光产生部件5可以为多个点光源，并且目标彩色图像的光信号是由多个点光源产生的光信号；或者光产生部件5为显示器，并且目标彩色图像的光信号是由显示器产生的多像素图像信号。多颜色通道掩膜版接收目标彩色图像的光信号，并对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息。
[0097]
在本技术一些实施例中，两个相邻的点光源或两个相邻的像素之间的距离通过公式(2)计算得到：
[0098][0099]
其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为光产生部件与多颜色通道掩膜版之间的距离，d
ms
为多颜色通道掩膜版与光学感应芯片之间的距离，δ为光学感应芯片上单个像素的尺寸；光学感应芯片上的单个像素等效于卷积网络层的卷积计算后产生的单个像素。
[0100]
在本技术一些实施例中，光学感应芯片上单个像素的空间尺寸是根据光信号传输过程中的几何模糊与光信号通过多颜色通道掩膜版产生的衍射模糊之间的关系所确定的。
[0101]
其中，在本技术一些实施例中，几何模糊d1＝δ(3)，衍射模糊d2通过公式(4)计算得到：
[0102]
d2＝2.44λd
ms
/δ
ꢀꢀ
(4)
[0103]
其中，在本技术一些实施例中，光学感应芯片上单个像素的空间尺寸δ通过公式(5)确定：
[0104]
[0105]
本技术实施例的图像信息处理装置，通过两个相邻的点光源或两个相邻的像素之间的距离以及光学感应芯片上单个像素的尺寸，确定光产生部件与所述多颜色通道掩膜版之间的距离以及多颜色通道掩膜版与所述光学感应芯片之间的距离之间的对应关系，从而实现对图像信息处理装置中各个部件安装位置的确定，进而提高图像信息处理装置中各个部件安装位置的准确性，减小由于安装位置不准确所导致的图像信息处理结果存在误差。另外，由于目标彩色图像尺寸越大，整个光域处理系统体积越大，因此可以通过光学感应芯片上单个像素的空间尺寸的计算公式(5)，δ的取值在可行的前确定为一个最小值，以实现在考虑整个系统应尽量小巧。
[0106]
图7是示出根据本技术的实施例的目标对象(或者光产生部件)、多颜色通道掩膜版、光学感应芯片之间距离的关系的示意图。
[0107]
假设两个相邻的点光源或两个相邻的像素之间的距离为d
l
(单位距离)、光产生部件与多颜色通道掩膜版之间的距离为d
lm
、多颜色通道掩膜版与光学感应芯片之间的距离为d
ms
、卷积核等效单个像素的空间尺寸为δ(即，特征尺寸)。由于光线沿直线传播，因此，根据三角形相似理论(即，δabc～δfec)可以计算得出对应的光源间距d
l
：
[0108][0109]
对于非相干光系统，光学系统受衍射模糊和几何模糊的影响。
[0110]
其中，光传输过程中的几何模糊d1和光通过掩膜版产生的衍射模糊的d2可以通过下面的公式来计算：
[0111]
d1＝δ
ꢀꢀ
(3)
[0112]
d2＝2.44λd
ms
/δ
ꢀꢀ
(4)
[0113]
其中，λ为光的波长，d
ms
为掩膜版与光学感应芯片之间的距离。
[0114]
对于非相干光学系统，衍射现象不明显，光学影像信号传输过程中的几何模糊的影响大于或等于光学影像信号通过掩膜版产生的衍射模糊，即d1≥d2，经整理可以得到特征尺寸即，光学感应芯片上单个像素的空间尺寸δ可以根据光学影像信号传输过程中的几何模糊d1与光学影像信号通过掩膜版产生的衍射模糊d2之间的关系来确定。同时，根据公式(2)可以看出，特征尺寸越大，整个光域处理系统体积越大。在考虑整个系统应尽量小巧的情况下，δ的取值在可行的前提下应尽量小。
[0115]
例如，对于d
ms
＝1.02mm，且可见光的波长取λ＝550nm的示例，按照公式(5)计算可以得到δ≥37μm。在实际应用中，为了使计算和处理更为简便，也可以对特征尺寸δ向上取整，即取特征尺寸为40μm。
[0116]
在考虑整个系统应尽量小巧的情况下，掩膜版与光学感应芯片之间的距离d
ms
在结构允许的情况下应尽量小，在将掩膜版与光学感应芯片尽量接近地布置后，可以通过测量获得它们之间的距离。可选地，距离测量可以采用高精度量尺、电学测距、光学测距等各种高精度的测距方法来实现。
[0117]
因此，在固定的光域卷积系统下(δ、d
ms
已根据上述公式确定或测量确定)，根据实际目标对象或光产生部件的尺寸和具体应用情况，可以根据公式(2)确定d
lm
及目标对象或光产生部件的具体位置分布。
[0118]
在本技术一些实施例中，由于图像信息处理装置在安装时可能具有安装误差，δ
和d
ms
的计算和测量可能也会引入误差，为了保证图像信息处理装置的精度，可以根据卷积的结果，对图像信息处理装置进行微调。
[0119]
例如，对于图3和图4中的示例，对于位于平面坐标系中(1,1)处的第一光源和位于平面坐标系中(4,4)处的第二光源，理论上，第一光源经过卷积后的第一卷积结果的中心和第二光源经过卷积后的第二卷积结果的中心之间的横向间距和纵向间距都应该为3δ。如果由于系统误差，发现经过卷积处理后，第一卷积结果的中心和第二卷积结果的中心之间的横向间距和纵向间距不符合3δ，则对系统进行微调，使得最终实际结果与理论结果相符合，从而验证图像信息处理装置的处理精度能够满足使用要求。
[0120]
应当理解，这里的系统微调过程是为了验证系统初次安装时，其处理结果是否与理论值有误差，如果存在误差，则通过微调来降低误差。对于已经过调试验证后的系统，这里的微调过程并不是必需的。
[0121]
根据本技术实施例的图像信息处理装置，能够通过在多颜色通道掩膜版的透明基板上设置滤光膜，在滤光膜上设置预设图案，以使滤光膜对彩色图像的光信号进行过滤处理，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，从而实现了对彩色图像在光域上进行预先处理，减少了后端数据处理设备的数据处理量，进而有效提高了卷积处理效率，降低了处理彩色图像的硬件成本。
[0122]
基于上述实施例提供的图像信息处理装置，本技术还提供了图像信息处理方法。图8示出了本技术一个实施例提供的图像信息处理方法的示意图。
[0123]
如图8所示，应用于本技术任意实施例中提出的一种图像信息处理装置的一种图像信息处理方法，包括：
[0124]
步骤801，通过多颜色通道掩膜版的滤光膜对其接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息。
[0125]
其中，在本技术实施例中，多颜色通道掩膜版包括透明基板以及设置在透明基板上的滤光膜，滤光膜设置有预设图案，预设图案根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核。
[0126]
步骤802，通过光学感应芯片接收过滤后的多个单颜色通道信息，将过滤后的多个单颜色通道信息转化为电信号。
[0127]
步骤803，通过处理器接收光学感应芯片传输来的电信号，并利用目标卷积神经网络的池化层和全连接层对电信号进行处理，得到目标彩色图像的目标视觉任务的处理结果。
[0128]
在本技术一些实施例中，该图像信息处理方法还可以包括：通过光产生部件产生携带有目标彩色图像的光信号，其中，光信号为非相干光信号。
[0129]
在本技术一些实施例中，光产生部件为多个点光源，光信号是由多个点光源产生的信号；或者光产生部件为显示器，光信号包括由显示器产生的多像素图像信号。
[0130]
在本技术一些实施例中，两个相邻的点光源或两个相邻的像素之间的距离通过以
下公式计算得到：
[0131][0132]
其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为光产生部件与多颜色通道掩膜版之间的距离，d
ms
为多颜色通道掩膜版与光学感应芯片之间的距离，δ为光学感应芯片上单个像素的尺寸；光学感应芯片上的单个像素等效于卷积网络层的卷积计算后产生的单个像素。
[0133]
根据本技术实施例的图像信息处理方法，能够通过在多颜色通道掩膜版的透明基板上设置滤光膜，在滤光膜上设置预设图案，以使滤光膜对彩色图像的光信号进行过滤处理，由于预设图案是根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到的，因此过滤后的多个单颜色通道信息等效于卷积网络层对目标彩色图像进行卷积处理得到的多个单颜色通道信息，从而实现了对彩色图像在光域上进行预先处理，减少了后端数据处理设备的数据处理量，进而有效提高了卷积处理效率，降低了处理彩色图像的硬件成本。
[0134]
图9是本技术实施例提供的图像信息处理装置的应用场景实施例对应的架构示意图。
[0135]
如图9所示，在制作多颜色通道掩膜版之前，可以根据目标视觉任务确定用于对目标卷积神经网络进行训练的数据集，基于数据集对目标卷积神经网络进行训练，基于预设损失函数确定目标卷积神经网络的输出的预测类别与真实类别之间的损失值，基于损失值对目标卷积神经网络进行反向优化，从而得到目标卷积神经网络中卷积网络层的多个不同的单颜色通道卷积核，进而确定多颜色通道掩膜版的图案，从而根据图案制作多颜色通道掩膜版。
[0136]
在完成多颜色通道掩膜版的制作后，多颜色通道掩膜版对目标彩色图像的光信号进行过滤处理，光学感应芯片接收过滤后的目标彩色图像的光信号，将该光信号转换为电信号，从而得到特征图，处理器获取特征图，将特征图输入至卷积神经网络的池化层和全连接层对电信号进行处理，从而得到对目标彩色图像的分类结果。
[0137]
本技术使用了特定词语来描述本技术的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0138]
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
[0139]
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特
定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

技术特征：
1.一种图像信息处理装置，其特征在于，包括：多颜色通道掩膜版，所述多颜色通道掩膜版包括透明基板以及设置在所述透明基板上的滤光膜，所述滤光膜设置有预设图案，所述预设图案根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，所述单颜色通道卷积核是根据目标视觉任务对目标卷积神经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核，所述多颜色通道掩膜版用于通过所述滤光膜对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；光学感应芯片，用于接收所述过滤后的多个单颜色通道信息，将所述过滤后的多个单颜色通道信息转化为电信号；处理器，用于接收所述光学感应芯片传输来的电信号，并利用目标卷积神经网络的全连接层对所述电信号进行处理，得到所述目标彩色图像的目标视觉任务的处理结果。2.根据权利要求1所述的图像信息处理装置，其特征在于，还包括：光产生部件，用于产生携带有所述目标彩色图像的光信号，其中，所述光信号为非相干光信号。3.根据权利要求2所述的图像信息处理装置，其特征在于，所述光产生部件为多个点光源，所述光信号包括由所述多个点光源产生的信号；或者所述光产生部件为显示器，所述光信号包括由所述显示器产生的多像素图像信号。4.根据权利要求3所述的图像信息处理装置，其特征在于，两个相邻的点光源或两个相邻的像素之间的距离通过以下公式计算得到：其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为所述光产生部件与所述多颜色通道掩膜版之间的距离，d
ms
为所述多颜色通道掩膜版与所述光学感应芯片之间的距离，δ为所述光学感应芯片上单个像素的尺寸；所述光学感应芯片上的单个像素等效于所述卷积网络层的卷积计算后产生的单个像素。5.根据权利要求4所述的图像信息处理装置，其特征在于，所述光学感应芯片上单个像素的空间尺寸是根据所述光信号传输过程中的几何模糊与所述光信号通过所述多颜色通道掩膜版产生的衍射模糊之间的关系所确定的。6.根据权利要求5所述的图像信息处理装置，其特征在于，所述几何模糊d1＝δ，所述衍射模糊d2＝2.44λd
ms
/δ；所述光学感应芯片上单个像素的空间尺寸7.一种图像信息处理方法，应用于所述权利要求1-6中任意一项所述的一种图像信息处理装置，其特征在于，所述方法包括：通过所述多颜色通道掩膜版的滤光膜对其接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；其中，所述多颜色通道掩膜版包括透明基板以及设置在所述透明基板上的所述滤光膜，所述滤光膜设置有预设图案，所述预设图案根据目标彩色图像的颜色信息以及目标卷积神经网络的卷积网络层上的多个不同的单颜色通道卷积核进行反向优化设计得到，所述单颜色通道卷积核是根据目标视觉任务对目标卷积神
经网络结构的卷积层中的单颜色通道卷积核进行优化得到的卷积核；通过所述光学感应芯片接收所述过滤后的多个单颜色通道信息，将所述过滤后的多个单颜色通道信息转化为电信号；通过所述处理器接收所述光学感应芯片传输来的电信号，并利用目标卷积神经网络的全连接层对所述电信号进行处理，得到所述目标彩色图像的目标视觉任务的处理结果。8.根据权利要求7所述的图像信息处理方法，其特征在于，还包括：通过所述光产生部件产生携带有所述目标彩色图像的光信号，其中，所述光信号为非相干光信号。9.根据权利要求8所述的图像信息处理方法，其特征在于，所述光产生部件为多个点光源，所述光信号是由所述多个点光源产生的信号；或者所述光产生部件为显示器，所述光信号包括由所述显示器产生的多像素图像信号。10.根据权利要求9所述的图像信息处理方法，其特征在于，两个相邻的点光源或两个相邻的像素之间的距离通过以下公式计算得到：其中，d
l
为两个相邻的点光源或两个相邻的像素之间的距离，d
lm
为所述光产生部件与所述多颜色通道掩膜版之间的距离，d
ms
为所述多颜色通道掩膜版与所述光学感应芯片之间的距离，δ为所述光学感应芯片上单个像素的尺寸；所述光学感应芯片上的单个像素等效于所述卷积网络层的卷积计算后产生的单个像素。

技术总结
本申请公开了一种图像信息处理装置及方法。本申请的图像信息处理装置包括：多颜色通道掩膜版，多颜色通道掩膜版包括透明基板以及设置在透明基板上的滤光膜，滤光膜设置有预设图案，多颜色通道掩膜版用于通过滤光膜对接收到的目标彩色图像的光信号进行过滤处理，得到过滤后的多个单颜色通道信息；光学感应芯片，用于接收过滤后的多个单颜色通道信息，将过滤后的多个单颜色通道信息转化为电信号；处理器，用于接收光学感应芯片传输来的电信号，并利用目标卷积神经网络的全连接层对电信号进行处理，得到目标彩色图像的目标视觉任务的处理结果。根据本申请实施例，提高了卷积处理效率，降低了处理彩色图像的硬件成本。降低了处理彩色图像的硬件成本。降低了处理彩色图像的硬件成本。


技术研发人员：陈宏伟 史宛鑫 黄铮
受保护的技术使用者：清华大学
技术研发日：2023.04.27
技术公布日：2023/8/6