一种大规模光电蓄水池计算系统的实现方法

1.本发明属于蓄水池计算技术领域，具体涉及大规模光电蓄水池计算系统的实现方法。


背景技术：

2.蓄水池计算作为一种特殊的深度学习方法，因其独特的动态储备池结构和简单的学习算法，在时间序列预测、非线性系统建模、语音识别等诸多领域得到了成功应用。蓄水池计算系统是包含大量相互连接的非线性节点的网络，考虑到其物理复杂性，用光计算硬件系统模拟大量节点十分困难。但可以将多个虚拟的网络节点分布在延时反馈线上，并通过复用单个非线性节点加延迟反馈的形式模拟多节点网络，输入信号通过时分复用的方式输入到蓄水池中，从而大大简化蓄水池的硬件实现。
3.另外，面向复杂时间序列数据处理应用场景对运算速度、计算精度的需求，迫切需要开发大规模高并行度的光学蓄水池计算系统。现有的光电蓄水池系统往往依赖于单节点时延系统实现，在节点数量与计算速度上存在瓶颈，更重要的是难以实现芯片集成化。
4.因此，研究基于硅基光互连矩阵的大规模互连模型，空间复用的输入矩阵与稀疏连接的蓄水池光网络的实现，以及匹配数百输入输出与中间节点的大规模并行计算网络成为亟需解决的问题。


技术实现要素：

5.本发明的目的在于提供一种计算速度快、识别差错率低的大规模光电蓄水池计算系统的实现方法。
6.在光电蓄水池计算系统中，由于蓄水池网络的输入信号与输入矩阵的乘法、中间节点与状态空间矩阵的乘法均可建模为矩阵乘的问题，因此可以通过光矩阵芯片单元实现。然而，对于多节点数的大规模光电蓄水池计算系统，当连接矩阵超出了单个光矩阵芯片单元计算能力时，需研究时分复用的计算逻辑，进行大规模矩阵的拆分计算。基于此情况，本发明提供的大规模光电蓄水池计算系统的实现方法，具体步骤为：
7.步骤1，本发明采用矩阵降秩方案，首先进行矩阵稀疏化连接，参见图1；包括两种方式：矩阵稀疏连接方式1，将随机矩阵a分布在n
×
n维矩阵的对角线上，其余全部置零，形成一个稀疏度相对较大的类似于对角矩阵的稀疏连接矩阵。矩阵稀疏连接方式2，是在方式1形成的类似于对角矩阵的下方，增加一个与随机矩阵a同维度的随机矩阵b，其它位置同样置零，形成一个稀疏度更小的类似下三角矩阵的稀疏连接矩阵。这两种稀疏连接方式中，随机矩阵a和随机矩阵b均为被复用的基本矩阵计算单元。
8.步骤2，进行降秩操作；即对获得的上述稀疏连接矩阵，根据矩阵拆分原理进行拆分，其原理参见图2所示；先将维度为n
×
n的稀疏矩阵均匀的分为4块，依次记为a，b，c，d，组成一个2*2为分块矩阵：a、b为第一行，c、d为第二行；此时a,b,c,d的维度可大于芯片规模。由于矩阵相乘要求两个相乘矩阵的维度必须一致，因此需对输入信号进行同样的拆分操
作，即拆分为a和b两块；a和b的维度与2*2为块矩阵的维度相对应，能够进形乘法操作；根据分块矩阵乘法规则，原始稀疏矩阵与输入信号的乘积转换为拆分后的各个基本矩阵单元与拆分后输入信号的乘积形式，且此时每个子单元的维度降秩至n/2；若维度n/2仍然大于芯片规模，则重复上述拆分操作，直到拆分至光芯片单元所支持的规模。
9.步骤3，蓄水池的训练；参见图3中长虚线框训练阶段所示，在电脑端首先将输入训练信号经激活函数作用、并经e/o转换后输入光矩阵芯片单元(光芯片实现的稀疏矩阵即为步骤1中的两种连接方式)做乘法运算，运行结果经o/e转换后由寄存器记录节点更新状态；第一节点状态被记录后，读出此状态并与下一时刻输入数据相加，将相加后的数据作为激活函数的自变量，激活函数因变量经e/o转换后作为新输入与光矩阵芯片单元做乘法运算获取节点状态；经过多次循环，记录下所有节点状态，并在电脑端利用回归算法计算权重矩阵。
10.步骤4，蓄水池的训练，参见图3短虚线框测试阶段所示，采用与训练阶段同样的方式对新的输入测试信号经激活函数作用后通过e/o转换输入光矩阵芯片单元做乘法运算，运行结果经o/e转换由寄存器记录节点更新状态，不同的地方在于在测试阶段电脑端需根据训练阶段获取的权重矩阵计算预测值。
11.训练阶段和测试阶段共用相同的硬件；由于矩阵的乘法运算实际上为矩阵内基本元素的乘积累加运算，其中乘法运算可共用同一块芯片，通过这种复用基本规模的光计算芯片可以完成任意规模矩阵的乘积累加运算。
12.本发明提供的大规模光电蓄水池计算系统的实现方法，在通信信号的后均衡、信号识别、等应用上均达到理想效果：
13.(1)经过上述讨论的蓄水池对方波-三角波信号的识别差错率达：0.008；
14.(2)经过上述讨论的蓄水池将ook信号后均衡的ser(误码率)最优值为0。
15.具体实现过程见实施例1、2。
附图说明
16.图1为矩阵降秩方法图示。
17.图2为基于经典蓄水池网络结构提出的矩阵拆分过程图示。
18.图3为本发明光电联合蓄水池网路计算流程图示。
19.图4为多输入光电蓄水池节点更新流程图示。
20.图5为待识别方波-三角波信号。
21.图6为方波-三角波信号经光电联合蓄水池网络计算后的识别结果。
22.图7为原始通信ook(on off keying)信号。
23.图8为原始通信ook信号经过光通信信道后的非线性失真。
24.图9为非线性失真通信ook信号经光电联合蓄水池网络计算后的恢复信号。
具体实施方式
25.实施例1：方波-三角波信号的识别
26.不同于传统的蓄水池网络默认将输入时序信号作为一维数组，其单次循环只更新一个数据点状态，本发明将一维输入数据预处理为n
×
k维数组，如图4所示，将此n
×
k维原
始数据u(1～nk)的第k(k∈1～u/n代表蓄水池循环次数，其中u为数据点总数，n为多输入通道数)列信号u(1),u(k+1)
…
u((n-1)k+1)作为蓄水池多输入。
27.将输入信号通过与输入端连接矩阵win做乘法运算，可将此多输入信号每一个数据点对称性打破后获得masked(k)编码后矩阵，其中虚拟节点数即稀疏矩阵维度，再将稀疏互连矩阵作用到此编码信号，并通过激活函数tanh获得第一组状态矩阵xi(k)，并记录，而状态方程满足以下关系式：
28.x(t)＝(1-a)x(t-1)+a*tanh(win*u(k))+θ+wres*x(t-1)
29.其中，x(t)代表当前时刻蓄水池节点状态，x(t-1)代表前一时刻节点状态，a代表泄露率，正弦双曲函数tanh为激活函数，win表示输入端连接矩阵,wres即稀疏连接矩阵，如图1所示的两种稀疏连接方式,θ表示偏移量。
30.随后将第二列n
×
k维输入信号u(2),u(k+2)
…
u((n-1)k+2)进行同样编码处理，同时读取第一组状态矩阵与其相加后乘激活函数，依次获得第二组状态矩阵，并记录，经过k次循环后，获得所有信号的状态矩阵(此计算过程遵循图3所示的光电联合蓄水池网路计算流程)，这种处理方式保证每个通道当前输入信号与前一时刻节点状态的和作为下一时刻输入。对于方波-三角波信号的识别实施例中的u(k)所表示的输入信号如图5所示，这两种波形由1500个点组成且幅值在0-5之间：
31.经过光电联合蓄水池计算过程获得所有节点状态x(t)后可通过岭回归算法计算出权重矩阵w
out
：
[0032][0033]
其中，λ表示正则化系数，i表示与稀疏连接矩阵具有相同维度的单位阵，为稀疏互连矩阵的转置，y
target
代表方波-三角波的标签(当波形为方波时y
target
＝0，为三角波时y
target
＝1)预测值可由下式表示：
[0034]y*
(k)＝w
outwres
[0035]
图6为经过使用本发明提出的稀疏互连矩阵作为蓄水池网络的w
res
后系统预测结果，可看出系统将输入为方波信号的波形以接近0的幅值输出而三角波的输出则为1这符合y
target
代表的标签值。且均方根误差达到了一个理想值0.008，此误差远小于现有的其他模型，均方根误差可由下式计算：
[0036][0037]
实施例2：ook信号后均衡
[0038]
对于通信ook(on off keying)信号后均衡实施例中的原始信号如图7所示：此信号由2500个通信ook信号组成，其幅度分布为{-1，1}：
[0039]
在特定光通信系统中，由于信道的非线性作用使上述ook信号失真,非线性函数为：
[0040]
u(k)＝(1.259*x-0.4373*x2)/0.8165
[0041]
其中，x表示原始ook信号，u(k)所表示的失真后的信号，作为光电联合蓄水池输入信号，其幅值如图8所示：可看出失真后的信号幅值发生严重的变化。
[0042]
同样经过光电联合蓄水池计算过程获得所有节点状态x(t)，
[0043]
x(t)＝(1-a)x(t-1)+a*tanh(win*u(k))+θ+wres*x(t-1)
[0044]
岭回归算法计算出权重矩阵w
out
的方式再计算预测值。预测值如图9所示：可看出失真信号被完全恢复成失真前的ook信号，误码率为0。
[0045]
对于时序信号而言，研究其光计算蓄水池计算系统的稀疏互连矩阵的模型优化与时空复用的光网络架构设计等关键科学问题非常重要，如何更高效的利用矩阵计算单元实现大规模互联网络是亟需解决的问题，针对蓄水池连接矩阵的稀疏特性，本发明研究了降秩矩阵设计，通过矩阵拆分及稀疏矩阵互联的方式大大提升了矩阵乘计算速度且对方波-三角波信号识别，ook通信信号的后均衡均有良好的计算准确度。

技术特征：
1.一种大规模光电蓄水池计算系统的实现方法，其特征在于，具体步骤为：步骤1，首先进行矩阵稀疏化连接，包括两种方式：矩阵稀疏连接方式1，将随机矩阵a分布在n
×
n维矩阵的对角线上，其余全部置零，形成一个稀疏度相对较大的类似于对角矩阵的稀疏连接矩阵；矩阵稀疏连接方式2，是在方式1形成的类似于对角矩阵的下方，增加一个与随机矩阵a同维度的随机矩阵b，其它位置同样置零，形成一个稀疏度更小的类似下三角矩阵的稀疏连接矩阵；这两种稀疏连接方式中，随机矩阵a和随机矩阵b均为被复用的基本矩阵计算单元；步骤2，进行降秩操作；即对获得的上述稀疏连接矩阵，根据矩阵拆分原理进行拆分；先将维度为n
×
n的稀疏矩阵均匀的分为4块，依次记为a，b，c，d，组成一个2*2为分块矩阵：a、b为第一行，c、d为第二行；此时a,b,c,d的维度可大于芯片规模；由于矩阵相乘要求两个相乘矩阵的维度必须一致，因此对输入信号进行同样的拆分操作，即拆分为a和b两块；a和b的维度与2*2块矩阵的维度相对应，能够进形乘法操作；根据分块矩阵乘法规则，原始稀疏矩阵与输入信号的乘积转换为拆分后的各个基本矩阵单元与拆分后输入信号的乘积形式，且此时每个子单元的维度降秩至n/2；若维度n/2仍然大于光芯片单元的规模，则重复上述拆分操作，直到拆分至光芯片单元所支持的规模；步骤3，蓄水池的训练；在电脑端首先将输入训练信号经激活函数作用、并经e/o转换后输入光矩阵芯片单元做乘法运算，运行结果经o/e转换后由寄存器记录节点更新状态；第一节点状态被记录后，读出此状态并与下一时刻输入数据相加，将相加后的数据作为激活函数的自变量，激活函数的因变量经e/o转换后作为新输入，与光矩阵芯片单元做乘法运算获取节点状态；经过多次循环，记录下所有节点状态，并在电脑端利用回归算法计算权重矩阵；步骤4，蓄水池的训练，采用与训练阶段同样的方式对新的输入测试信号经激活函数作用后通过e/o转换输入光矩阵芯片单元做乘法运算，运行结果经o/e转换由寄存器记录节点更新状态，不同的地方在于，在测试阶段电脑端需根据训练阶段获取的权重矩阵计算预测值；训练阶段和测试阶段共用相同的硬件；由于矩阵的乘法运算实际上为矩阵内基本元素的乘积累加运算，其中乘法运算可共用同一块芯片，通过这种复用基本规模的光计算芯片可以完成任意规模矩阵的乘积累加运算。

技术总结
本发明属于蓄水池计算技术领域，具体为大规模光电蓄水池计算系统的实现方法。本发明方法包括：进行矩阵稀疏化连接，形成基本矩阵计算单元A和B组成的下三角阵形式的稀疏连接矩阵；然后对稀疏连接矩阵进行降秩操作，使原始稀疏矩阵与输入信号的乘积转换为拆分后的各个基本矩阵单元与拆分后输入信号的乘积形式，每个子单元的维度降秩至原来的1/2；重复上述拆分操作，直到拆分至光芯片单元所支持的规模。然后进行蓄水池的训练和测试，获取权重矩阵计算预测值。其中乘法运算共用同一块芯片，通过复用基本规模的光计算芯片可以完成任意规模矩阵的乘积累加运算。本发明在通信信号的后均衡、信号识别、等应用上均达到理想效果。等应用上均达到理想效果。等应用上均达到理想效果。


技术研发人员：李子薇
受保护的技术使用者：复旦大学
技术研发日：2023.05.10
技术公布日：2023/8/14