一种基于光波导结构的图像边缘检测方法与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于光波导结构的图像边缘检测方法。


背景技术：

2.人工智能技术的进步正以前所未有的广度和深度改变社会。从技术层面来说，这些进步极大地依赖人工神经网络的发展。然而，基于硅基电子芯片的冯诺依曼计算机越来越不能满足人工智能技术日益增长的大规模数据的处理需求，如多线程、多任务、快速图像处理的要求。此外，硅基电子芯片还存在电子信号相互干扰的问题，大大阻碍了从技术实现具有高密度连接的人工神经网络。
3.光是一种优异的信息传播和处理媒介，具有高速并行的能力，而且光波可以在三维空间中进行无干扰的传播，特别是光传播的速度高达108m/s，在信息处理时几乎没有时间延迟，这些优点使得基于集成光子学的光学神经网络极有可能以其大数据的传输与处理能力取代冯诺依曼电子器件。
4.在集成光子学中加入光学性质可主动调控的材料，使芯片上光学计算不可或缺的编程和内存计算能力成为可能。
5.在传统图像处理领域，roberts算子自1963年被提出以来就在图像边缘检测领域得到了广泛使用，该算子结构简单，可以很好的检测到图像的水平和竖直边缘。但其作为一种电学算子，在检测速度方面有其固有瓶颈，因此结合光学波导结构构造robert算子应用到图像检测领域是一个可行的方向。(l.roberts machine perception of 3-d solids,optical and electro-optical information processing,mit press 1965.)


技术实现要素：

6.本发明基于光学波导结构，提供一种图像边缘检测方法。通过对相变材料晶态的控制，实现对像素点光强的调控，实现对应像素点像素值的“卷积运算”，速度快，效率高。
7.本发明基于光学波导结构，搭建了一套边缘检测装置并提供检测方法，以相变材料ge2se2te5为例，利用电压激励、热激发或激光脉冲泵浦等方式，调控相变材料ge2se2te5的结晶度，使其呈现出不同程度的结晶状态，从而使得相变材料集成片上波导结构呈现出不同状态的光学输出特性，进而实现了对光学输入的等价运算，集成ge2se2te5的片上光波导结构等效于数字形式的光学微分算子。本发明在该算子基础上，通过编码图像的像素值为光学输入并建立数据收集和处理系统，形成一套完整的图像信息产生、运算和处理的流程，实现了光子计算在图像领域的简单应用，为光子计算的可行性提供了一种验证。
8.为实现上述目的，本发明所采取的技术方案是：
9.一种基于光波导结构的图像边缘检测装置，包括：
10.提供脉冲激光的激光器；
11.对激光器出射的激光进行光强调整的光强调整元件；
12.多个光学波导算子结构，对输入的脉冲激光的光强进行调控；
13.探测器，用于探测光学波导算子结构输出的调控后的光强；
14.处理器，收集探测器采集的光强信息，并将光强信息转化为对应的像素信息，完成对图像边缘的检测，并将光强信息输入
15.所述激光器为用于提供激光输入的可调谐脉冲激光器，其波长可以在可见波段、近红外波段或中红外波段。
16.所述光强调整元件可采用电控可变光衰减器(evoa)，利用光强调整元件能够控制输入激光强度，将图像的像素值编码为激光功率强度。作为优选，所述电控可变光衰减器能够以0.5ghz以上频率工作并且提供30db以上衰减。
17.所述多个光学波导算子结构用于实现对像素块实现卷积运算。在进行设计时，需要考虑理论采用的边缘检测算子(即边缘检测卷积核)的结构，比如常见的边缘检测算子为2*2或3*3结构的卷积核结构。所述光学波导算子结构的数量以及状态与对应的理论边缘检测算子中元素数量以及元素值对应。比如当采用2*2的边缘检测算子时，其中的元素假设为(a一般为1)，对应的像素块为时；上面两个元素对应的学波导算子结构调控状态为-a对应的状态(比如对于采用相变材料实现调控的，相变材料可以为晶态)；下面两个元素对应的学波导算子结构调控状态为a对应的状态(比如对于采用相变材料实现调控的，相变材料可以为非晶态)等。同样，在连接时，边缘检测算子中元素对应的光学波导算子结构与待处理图像对应像素块中像素点对应的激光器和光强调整元件相连，以实现对光强信号的调整。例如上端的像素点“左上”对应的激光器和光强调整元件与边缘检测算子的左上-a对应的学波导算子结构相连，以此类推。
18.作为优选，所述激光器、光强调整元件和探测器设置的数量与光学波导算子结构设置的数量一一对应。
19.作为优选，所述光学波导算子结构包括：
20.衬底；
21.平行设置在衬底上的直波导i和直波导ii；
22.设置在衬底上且位于直波导i和直波导ii之间的微环结构；
23.设置在微环结构上的光学性质可调谐材料，通过对该材料折射率的调控实现对对应微环结构光场的动态调控；
24.所述直波导i一端通过探测器与光强调整元件的输出端相连，用于光强输入，另一端口与处理器的一个输入端相连，用于光强信号i输出；所述微环结构利用谐振腔结构对光场谐振增强，实现对输入宽谱激光的波长选择；所述直波导ii通过近场耦合接收微环结构中传输的电磁波，其对应的一端端口通过探测器与所述处理器的另外一个端口相连，用于将接收的光强信号ii输出。
25.所述衬底，作为光波导结构的底部支撑部分。
26.所述直波导i，一端用于激光输入，作为算子的输入源；另一端口用于输出，作为算子的输出源之一。
27.所述微环结构，利用谐振腔结构对光场谐振增强，实现对输入宽谱激光的波长选
择。
28.直波导ii，将微环结构中传输的电磁波通过近场耦合至直波导ii，并通过一端口输出，作为算子的另一输出源。
29.所述探测器用于探测光学波导算子的输出光强。在一些实施方式中，每个光学波导算子结构对应两个探测器，一个设置在直波导i输出端口处，用于检测光强信号i的检测，一个设置在直波导ii输出端口用于光强信号ii的检测。
30.所述处理器用于实时处理探测器的输出数据，同时对接收的光强信号数据进行简单的加和和归一化处理，得到对应的像素信息，并进一步生成边缘检测图像。
31.在一些实施方案中，直波导和微环波导的结构可以是硅、氮化硅、硫系玻璃等材料；直波导所在的衬底的材料的折射率小于波导材料的折射率。
32.在一些实施方案中，所述光学性质可调谐材料，该材料可以为相变材料(如ge2se2te5、sb2te3、vo2等)、低维材料(如石墨烯、黑磷、二硫化铼等)，该类材料可通过电压、加热、或者光学的方法，其折射率能实现可逆的调控，将其与光学微环结构集成，可实现对微环结构光场的动态调控。
33.在一些实施方案中，输入激光波段为近红外波段时，所述直波导i和直波导ii的宽度为300-700纳米，高度为100-400纳米；所述微环结构的直径为10-50微米，环宽为300-700纳米，高度为100-400纳米；所述微环结构距离直波导的距离为100-200纳米。
34.所述光学波导算子结构的数量为4组，分别对应2*2结构的边缘检测算子中的四个元素。
35.一种基于光波导结构的图像边缘检测方法，采用上述任一项所述的检测装置进行检测，包括如下步骤：
36.(1)将待检测图像中的每个像素块中的每个像素点的像素值信息转化为光强信息；
37.(2)通过激光器和光强调整元件逐个将每个像素块对应的光强信息输入至对应的光学波导算子结构；
38.(3)光学波导算子结构对输入的光强信息进行调控；
39.(4)收集光学波导算子结构输出的光强信息，并将对应的光强信息转化为对应的像素信息，完成对图像边缘的检测。
40.可以在步骤(1)开始前，或者步骤(1)中，或者在步骤(2)中同时对光学波导算子结构的光场状态进行调控，以满足对应像素块的光强调整需要。
41.在实际进行检测时，首先对图像进行像素块的拆分，拆分后的像素块包含图像的所有信息，且形式与所采用的微分算子保持一致，进而根据像素块的结构，确定检测算子的结构，进而确定对应光学波导算子结构的数量和状态。
42.作为一种实施方案，可以将待检测图像分解为四像素组成的正方形像素块，相邻像素块之间有两个像素的重叠；对应的理论采用的光学波导算子结构的数量为四个。
43.进一步讲，所述边缘检测算子包括水平检测算子和竖直检测算子，其中水平检测算子数学形式为竖直检测算子形式为其中
“‑
1”对应的光学波导算子结构的光学性质可调谐材料的状态为晶态；“1”对应的光学波导算子结构的光学性质可
调谐材料的状态为非晶态。
44.进一步讲：
45.(1)以相变材料为例，利用电压激励、热激发或激光脉冲泵浦等方式，切换相变材料的初始状态为晶态，此时入射光通过微环集成光波导结构，收集两个直波导端口输出的信号，并对信号进行处理，对应于图像处理中的检测算子
“‑
1”单元；
46.(2)利用电压激励、热激发或激光脉冲泵浦等方式，使相变材料的状态转换为到非晶态，此时入射光通过微环集成光波导结构，收集两个直波导端口输出的信号，并对信号进行处理，对应于图像处理中的检测算子“1”单元；
47.实际检测时，搭建四套相同的光波导算子结构，形成阵列检测结构，利用电压激励、热激发或激光脉冲泵浦等方式，控制相变材料结晶状态，按照需求建立竖直检测算子或水平检测算子。
48.为了避免频繁改变相变材料结晶状态，在进行水平边缘检测/竖直边缘检测后，可以手动调整一次光学波导算子结构端口连接方式，使得当前光波导算子结构连接方式对应的状态从水平边缘检测/竖直边缘检测调整为竖直边缘检测/水平边缘检测状态，然后再进行竖直边缘检测/水平边缘检测。
49.通过仿真实验发现，分别采用波长为1555-1565纳米和1580-1590纳米的脉冲激光进行检测，所述光波导算子结构具有相同的谐振特性，可以利用上述两个波长对同一个待检测图像进行边缘检测，得到该图像对应的两个边缘检测图片，进而可以实现对图像的双通道边缘检测。
50.本发明可以实现图像水平和竖直边缘的检测。另外在mnist手写数字的识别等方面有很好的表现，在光计算等领域有着很大的应用前景,可用于数据中心的数据快速处理工作。
51.本发明利用激光器和电控可变光衰减器实现图像的光学编码输入，一束激光脉冲编码一个图像像素值，根据像素值来编码调节输入光的功率。
52.本发明利用相变材料的光学可调特性，结合光学波导结构构建边缘检测算子。利用电压激励、热激发或激光脉冲泵浦等方式，来控制相变材料相态的在晶态和非晶态之间的切换，相变材料处于晶态时，激光经过波导结构输出的光学信息等同于数字
“‑
1”，相变材料处于非晶态时，激光经过波导结构输出的光学信息等同于数字“1”，当相变材料处于晶态和非晶态之间时，激光经过波导结构输出的光学信息处于-1到1之间，微环结构的引入，极大的增强了输出光学信息的分辨能力，目前该集成结构在-1到1状态之间，可实现64个级别的分立的、可分辨的状态；
53.本发明利用光电探测器，利用端面耦合或者光栅耦合的方式，分别接收直波导i输出端口和直波导ii输出端口的光束，并将收集到光强数据进行处理。比如，一般进行如下数学运算：d和t分别代表探测器d和探测t接收到的光强。
54.本发明的提供的方案有包括以下有益效果：
55.(1)相较于传统的电子图像边缘检测，本发明为光学手段检测图像边缘提供了一种新的示例。
56.(2)本发明利用波导结构实现了光子计算，提高了运算速度。
57.(3)利用相变材料在不同相态之间的切换来控制波导的输出，实现了一种快速和非易失性的光学控制操作。
58.(4)器件制备工艺可与cmos工艺兼容，可以快速融入现有的电子体系并更新迭代。
59.利用该方法，目前可以实现双通道的图像边缘检测，与传统电学检测方法相比，速度有很大提升，对目标图像轮廓有很好的检出效果，轮廓清晰、细节更加丰富。对图片进行两个波段进行输入检测，均能够识别出图像轮廓；
60.利用该结构实现了[-1,1]之间的数字调节，由于微环结构的谐振作用，利用电压激励、热激发或激光脉冲泵浦等方式，可以实现6bit精度，共64级的数字调控，相较于传统直波导有较大精度上的提高。
附图说明
[0061]
图1为实施例确定的像素块结构以及选取图像的灰度数值；
[0062]
图1中标号：101-左上像素值；102-右上像素值；103-左下像素值；104-右下像素值；
[0063]
图2为边缘检测的卷积过程；
[0064]
图3为光学波导结构的整体示意图；
[0065]
图3中标号：1-激光器；2-处理器；3-evoa；4-直波导ii；5-直波导i；6-微环；7-衬底；8-相变材料；a-直波导i输入口；b-直波导i输出口；c-直波导2输出口；d-直波导2输入口；d-探测器1；t-探测器2；
[0066]
图4为波导光栅耦合方式；
[0067]
图5为波导边耦合方式；
[0068]
图6为图像边缘检测光学过程示意图；
[0069]
图6中：i1-像素101激光脉冲；i2-像素102激光脉冲；i3-像素103激光脉冲；i4-像素104激光脉冲；s1-光学波导算子结构1；s2-光学波导算子结构2；s3-光学波导算子结构3；s4-光学波导算子结构4；d1-探测器；d2-探测器；d3-探测器；d4-探测器；d5-探测器；d6-探测器；d7-探测器；d8-探测器
[0070]
图7为两个波段的边缘检测结果图。
具体实施方式
[0071]
下面结合附图和具体实施实例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0072]
如图3所示，一种基于光波导结构的图像边缘检测装置，包括激光器1、电控可变光衰减器(evoa)3、衬底7、直波导i 5、微环结构6、直波导ii 4、探测器d、探测器t和处理器2；微环结构6上集成有相变材料8(实施例中采用ge2se2te5)。激光器和电可变光衰减器(evoa)作为光学输入，衬底、直波导i、微环结构集成相变材料和直波导ii构成一个光学波导算子结构。探测器和处理器组成系统的信息处理部分。所述的激光器和电控可变光衰减器出射的激光通过适配器耦合到波导上。直波导i中的激光根据相变材料ge2se2te5的结晶状态按照不同耦合强度耦合到谐振环(即微环结构)中。不同的耦合强度使得直波导i和直波导ii的输出端口的光强具有不同对比度，通过调节ge2se2te5的从晶体转变为非晶体，耦合状态
从欠耦合状态切换到临界耦合。上述对比度从
“‑
1”调整到“1”。通过选取晶态和非晶态这两个极端的状态，使得光学波导等效于微分算子，利用编码后的激光输入通过该光学结构并通过数据处理可以得到边缘图像。
[0073]
如图1所示，一幅图像由众多像素组成，按照前面所述，将图像分为2*2像素组成的像素块，相邻像素块之间通过水平或竖直位移一个像素得到。一个像素块内的像素位置分别是左上为像素101，右上为像素102，左下为像素103，右下为像素104。
[0074]
如图2所示，根据传统的电子图像边缘检测原理，图像的每个像素块与卷积核进行卷积，即对应像素值相乘并累加。得到的值作为新图像的一位像素值，将新得到的像素值按照卷积块的对应位置排列可以得到边缘图像。而本发明正是基于上述成熟的边缘检测原理，通过光学方式实现上述“卷积”。本发明将像素值转换为光强值，通过对光强的调控，最终实现对像素值的“卷积运算”。
[0075]
如图3所示，一种基于光波导的图像边缘检测装置，图中仅显示了一个光学波导算子结构。其中，一对直波导分别是直波导ii 4和直波导i 5置于衬底7上，共振微环6位于上述直波导ii 4和直波导i 5之间，微环结构与两个直波导外边缘之间的间距、直波导、微环结构的尺寸与输入激光波长相匹配，如在近红外波段，微环结构距离直波导的距离在100-200纳米之间，直波导的宽度在300-700纳米之间，高度在100-400纳米之间，微环结构的直径在10-50微米之间，环宽在300-700纳米之间，高度在100-400纳米之间。宽光谱激光器1通过端面耦合或者光栅耦合的方式，耦合入直波导i 5中。
[0076]
通过控制脉冲强度可以编码不同像素值的输入。在直波导i 5的b端口附近和直波导ii 4的c端口附近放置一对探测器分别是探测器2t和探测器1d。探测器可配合使用转接口(usb转接口)将数据上传到处理器处理并生成图片。
[0077]
如图4所示，本发明是一套基于2*2大小检测算子的图像检测系统，通过集成四套图1所示的波导算子形成一套完整系统。一个像素块包含像素101、像素102、像素103和像素104共四个像素块。调整光学波导算子结构中相变材料的状态，使得光学波导算子结构保持在对应的状态。s1和光学波导算子结构s2中相变材料处于晶态，等效替代数字
“‑
1”，光学波导算子结构s3和光学波导算子结构s4中相变材料处于非晶态，等效替代“1”。水平检测时，像素101、102、103、104对应的激光器输入分别从光学波导算子结构s1、s2、s3、s4中通过，竖直检测时，像素1、3、2、4对应的激光器输入分别从s1、s2、s3、s4中通过。八个输出端口各有一个探测器分别是探测器d1，探测器d2,探测器d3,探测器d4,探测器d5,探测器d6，探测器d7，探测器d8。
[0078]
一种基于波导结构的图像边缘检测方法，步骤如下：
[0079]
(1)将激光器、衬底和探测器放置在同一水平面，并将对应的接口按照图3进行连接。
[0080]
(2)将图像分成2*2的像素块，并记录像素值，通过像素值控制激光器的输出强度；i
(i，j)
＝(p
(i，j)
/255)*(i
max-i
min
)，其中：p
(i，j)
为像素点(i，j)的像素值，i
(i，j)
为该点转化后的激光光强；i
max
、i
min
分别是选择的激光的最大光强值和最小光强值，一般i
min
＝0,i
max
可选择激光器的最大功率，一般大于50mw。
[0081]
(3)将其中的两个波导结构中的相变材料通过热激发或激光脉冲方式切换为晶态，另外两个波导结构通过电压激励、热激发或激光脉冲泵浦等方式切换为非晶态。
[0082]
(4)控制激光器输入激光从不同的波导端口进入，将像素块上端两个数据的激光输出与晶态光学卷积核相连，即实现了图像与算子卷积，将像素块左端两个数据的激光输出与晶态光学卷积核相连，即实现了图像与算子卷积；每张图片调整一次端口，就可实现图像竖直和水平边缘的检测。
[0083]
(5)通过仿真发现谐振环在1558纳米和1585纳米附近具有相同的谐振特性，1558纳米处构建的垂直边缘算子相较于1585纳米处可以等效为利用这两个波段下对应的算子得到图片的边缘检测图片。
[0084]
图7为采用本发明的方法进行边缘检测得到边缘图像，由此可知采用本发明的方法能够实现图像的边缘精确检测，同时可以实现图像双通道边缘检测。

技术特征：
1.一种基于光波导结构的图像边缘检测装置，其特征在于，包括：提供脉冲激光的激光器；对激光器出射的激光进行光强调整的光强调整元件；多个光学波导算子结构，对输入的脉冲激光的光强进行调控；探测器，用于探测光学波导算子结构输出的调控后的光强；处理器，收集探测器采集的光强信息，并将光强信息转化为对应的像素信息，完成对图像边缘的检测，并将光强信息输入。2.根据权利要求1所述的基于光波导结构的图像边缘检测装置，其特征在于，所述激光器、光强调整元件和探测器设置的数量与光学波导算子结构设置的数量一一对应。3.根据权利要求1所述的基于光波导结构的图像边缘检测装置，其特征在于，所述光学波导算子结构包括：衬底；平行设置在衬底上的直波导i和直波导ii；设置在衬底上且位于直波导i和直波导ii之间的微环结构；设置在微环结构上的光学性质可调谐材料，通过对该材料折射率的调控实现对对应微环结构光场的动态调控；所述直波导i一端与光强调整元件的输出端相连，用于光强输入，另一端口通过探测器与处理器的一个输入端相连，用于光强信号i输出；所述微环结构利用谐振腔结构对光场谐振增强，实现对输入宽谱激光的波长选择；所述直波导ii通过近场耦合接收微环结构中传输的电磁波，其对应的一端端口通过探测器与所述处理器的另外一个端口相连，用于将接收的光强信号ii输出。4.根据权利要求3所述的基于光波导结构的图像边缘检测装置，其特征在于，所述光学性质可调谐材料为ge2se2te5、sb2te3、vo2、石墨烯、黑磷、二硫化铼中的一种或多种；输入激光波段为近红外波段时，所述直波导i和直波导ii的宽度为300-700纳米，高度为100-400纳米；所述微环结构的直径为10-50微米，环宽为300-700纳米，高度为100-400纳米；所述微环结构距离直波导的距离为100-200纳米。5.根据权利要求3所述的基于光波导结构的图像边缘检测装置，其特征在于，所述光学波导算子结构的数量为4组。6.一种基于光波导结构的图像边缘检测方法，其特征在于，采用权利要求1～5任一项所述的检测装置进行检测，包括如下步骤：(1)将待检测图像中的每个像素块中的每个像素点的像素值信息转化为光强信息；(2)通过激光器和光强调整元件逐个将每个像素块对应的光强信息输入至对应的光学波导算子结构；(3)光学波导算子结构对输入的光强信息进行调控；(4)收集光学波导算子结构输出的光强信息，并将对应的光强信息转化为对应的像素信息，完成对图像边缘的检测。7.根据权利要求6所述的基于光波导结构的图像边缘检测方法，其特征在于，采用的光学波导算子结构的数量为四个，像素块中的像素数量为4个。8.根据权利要求7所述的基于光波导结构的图像边缘检测方法，其特征在于，进行水平
边缘检测时，四个光学波导算子结构的对应的数学形式为竖直边缘检测时，四个光学波导算子结构的对应的数学形式为其中
“‑
1”对应的光学波导算子结构中的ge2se2te5为晶态；“1”对应的光学波导算子结构中的ge2se2te5为非晶态。9.根据权利要求8所述的基于光波导结构的图像边缘检测方法，其特征在于，同时进行水平边缘检测和竖直边缘检测，在进行水平边缘检测/竖直边缘检测后，调整一次光学波导算子结构端口连接方式，然后再进行竖直边缘检测/水平边缘检测。10.根据权利要求6所述的基于光波导结构的图像边缘检测方法，其特征在于，分别采用波长为1555-1565纳米和1580-1590纳米的脉冲激光进行检测，输出两通道边缘检测图像。

技术总结
本发明公开了一种基于光波导结构的图像边缘检测装置和方法，包括：(1)将待检测图像中的每个像素点的像素值信息转化为激光强度信息；(2)通过激光器和光强调整元件逐个将每个像素块对应的激光强度信息输入至对应的光学波导算子结构；(3)光学波导算子结构对输入的光强信息进行调控；(4)收集光学波导算子结构输出的像素点对应的光强信息，并将对应的光强信息转化为像素信息，完成对图像边缘的检测。利用该方法，目前可以实现双通道的图像边缘检测，与传统电学检测方法相比，速度有很大提升，对目标图像轮廓有很好的检出效果，轮廓清晰、细节更加丰富。对图片进行两个波段进行输入检测，均能够识别出图像轮廓。均能够识别出图像轮廓。


技术研发人员：章郑扬 唐伟伟 何家乐 李冠海 陈效双
受保护的技术使用者：国科大杭州高等研究院
技术研发日：2023.03.23
技术公布日：2023/7/26