集成感存算一体目标检测识别系统及方法与流程

1.本发明涉及智能感知及图像识别技术领域，具体涉及集成感存算一体目标检测识别系统及方法。


背景技术：

2.随着深度学习技术的发展，网络结构越来越复杂，神经网络的参数数量和浮点运算量不断增大，例如常用的resnet18参数数量为11.7m，resnet50参数数量为25m，resnet101参数数量为44m，在网络乘加计算量方面则更为庞大，当前最新的轻量化网络如mobilenet v3在人体关键点检测任务中madds为747.9m，micronet的madds为77.7m。然而，当前忆阻器阵列受加工工艺的限制，大部分尺寸《10m，例如清华大学吴华强团队2020年发表于nature的忆阻器阵列包含2048个神经元，南京大学缪峰团队2021年发表于nature nanotechnology的忆阻器阵列尺寸为32
×
32,韩国三星电子2022年发表于nature的忆阻器阵列尺寸为64
×
64，韩国化学技术研究院发表于nature communication的忆阻器阵列尺寸为320
×
320。
3.公布号为cn114358146a的现有发明专利申请文献《基于忆阻器的图像特征选择方法及模块、神经网络模型》，其方法包括：获取包含多张图像的数据集，每张图像包含m个特征，每个特征的特征值为0或1；统计数据集中图像第i个特征的特征值为1的图像数量ni，设定图像数量阈值nth；构建包含1行
×
m列的忆阻器阵列，每个忆阻器具有相同的脉冲数量阈值pth，忆阻器的初始状态呈易失性并当接收到大于或等于脉冲数量阈值pth的脉冲后转变为非易失性；向第i列的忆阻器ri施加pi个脉冲以调制对应忆阻器ri的电导态，其中，pi＝(pth/nth)
×
ni。以及公布号为cn115862708a的现有发明专利申请文献《忆阻器阵列的操作方法、数据处理装置》，该方法包括：该忆阻器阵列的操作方法包括矩阵向量乘法操作，该矩阵向量乘法操作包括：将忆阻器阵列中各行的输入数据分别对应的输入电压施加在忆阻器阵列中各行的字线上；对忆阻器阵列中各列的源线分别施加源线电压，以使得忆阻器阵列中各行的各个忆阻器单元中的晶体管导通并工作在饱和区；对忆阻器阵列中各行的位线施加第一固定电压；检测忆阻器阵列中各列的源线上的输出电流以得到输出结果。
4.前述现有技术中的感存算一体化芯片内忆阻器阵列尺寸仍然远远小于神经网络所需的神经元数量，当前忆阻器阵列的规模导致当前大部分的主流神经网络框架都无法直接部署到忆阻器阵列。因此，解决上述问题，需要有更加轻量化的卷积单元，以降低神经元数量，同时，为保持原有检测精度，这就要求计算机上离线训练的神经网络部署到感存算一体化芯片内时，能够冗余忆阻器阻态不稳定性带来的网络权重扰动，保持网络原有检测精度。
5.综上，现有技术存在网络权重扰动导致识别精度较低，忆阻器数量要求较高导致设备功耗较高、尺寸较大以及集成化程度低的技术问题。


技术实现要素：

6.本发明所要解决的技术问题在于：如何解决现有技术中，网络权重扰动导致识别精度较低，忆阻器数量要求较高导致设备功耗较高、尺寸较大以及集成化程度低的技术问题。
7.本发明是采用以下技术方案解决上述技术问题的：集成感存算一体目标检测识别系统包括：
8.轻量化目标检测网络结构模块包括：特征编码单元、特征解码单元以及目标预测单元；特征编码单元包括：轻量化卷积单元以及不少于2个下采样池化函数；特征解码单元包括：轻量化卷积单元以及不少于2个上采样函数，特征解码单元与特征编码单元连接；目标预测单元包括：目标位置预测模块以及目标类别预测模块，目标预测单元与特征解码单元连接，轻量化目标检测网络结构模块，用以设计卷积核尺寸、特征图谱的生成方式，并结合忆阻器的特性参数设计卷积方式，据以得到轻量化目标检测网络，轻量化目标检测网络结构模块从输入的图像信号中检测目标所在位置坐标及类别概率，据以通过卷积操作获取非冗余特征与冗余特征级联，据以输出待检测目标位置类别信息；
9.权重训练模块，用以获取忆阻器的阻态不稳定性参数，以建模得到高斯噪声模型，据以训练轻量化目标检测网络的网络神经元权重，权重训练模块与轻量化目标检测网络结构模块连接；
10.权重部署模块，用以将网络神经元权重，映射部署至感存算一体化芯片的忆阻器阵列，据以得到适用轻量化目标检测网络，利用适用轻量化卷积网络，据以获取适用的待检测目标位置类别信息，以识别获取集成感存算一体目标，权重部署模块与权重训练模块及轻量化目标检测网络结构模块连接。
11.本发明从网络轻量化设计这一解决思路出发，围绕轻量化卷积单元设计、轻量化网络结构设计、网络权重训练和部署，从算法角度解决感存算一体化芯片内忆阻器数量受限带来的网络结构无法适配及网络检测精度下降的问题。本发明利用轻量化卷积单元模块进行卷积核尺寸的设计，特征图谱的生成方式，卷积方式结合忆阻器特性设计，解决现有感存算一体化芯片中忆阻器阵列中忆阻器规模无法满足常规目标检测网络所需神经元数量的问题。本发明通过将忆阻器阻态的不稳定性建模为高斯噪声模型，提高轻量化网络克服因忆阻器阻态不稳定性带来权重扰动的容错能力，提高了目标识别精度，使得系统更加紧凑。
12.在更具体的技术方案中，集成感存算一体目标检测识别系统还包括：光电忆阻器感算一体感知模块电路、存算一体阻态忆阻器计算模块电路以及预测结果采集模块电路：
13.光电忆阻器感算一体感知模块电路，包括：可调光响应度感光阵列；
14.存算一体阻态忆阻器计算模块电路，包括：轻量化目标检测网络，轻量化目标检测网络包括：阻态忆阻器阵列，用以计算轻量化目标检测网络的除第一层之外的网络神经元权重，光电忆阻器感算一体感知模块电路与存算一体阻态忆阻器计算模块电路连接；
15.预测结果采集模块电路，包括：外围运放以及滤波电路，预测结果采集模块电路与存算一体阻态忆阻器计算模块电路连接。
16.本发明在目标检测识别的过程中具有低功耗、高速计算的特点。通过将神经网络权重部署在感存算一体化芯片内，卷积过程的乘累加操作转化为基尔霍夫原理的硬件电路
实现方式，卷积过程几乎是瞬时完成，相比于传统计算机上基于冯诺依曼架构的神经网络计算过程具有更低的功耗和更快地计算速度。
17.在更具体的技术方案中，轻量化卷积单元包括：不少于2个微型卷积、卷积核尺寸设计组件、卷积核分解组件、跳跃连接设置组件以及冗余特征生成方式组件。
18.卷积核尺寸设计组件，用以设计卷积神经网络的预置尺寸卷积核；
19.卷积核分解组件，用以分解预置尺寸卷积核，以得到不少于2个的正交卷积，据以进行顺序卷积得到邻域信息，卷积核分解组件与卷积核尺寸设计组件连接；
20.跳跃连接设置组件，用以降低顺序卷积的通道数，增加轻量化卷积单元的宽度以及子网络的数量，跳跃连接设置组件与卷积核分解组件连接；
21.冗余特征生成方式组件，用以在轻量化卷积单元中，以正交卷积生成非冗余特征，利用微型卷积生成冗余特征intrinsic_features，以得到并输出非冗余特征redundant_features与冗余特征级联features：
22.features＝concat(intrinsic_features,redundant_features)。
23.本发明从神经网络轻量化设计和提高轻量化网络表达能力两个方面进行解决，通过卷积核尺寸设计、卷积核正交分解、跳跃连接(skip connection)设置和冗余特征生成方式等操作，使得网络所需的参数数量相比于传统卷积有了成倍的降低，部署过程需要更少的忆阻器数量，解决了当前感存算一体化芯片内忆阻器数量有限无法满足当前大部分主流神经网络所需神经元数量的问题，能够更好地适配当前感存算芯片内忆阻器数量受限的情况。
24.本发明针对对于忆阻器阵列，跳跃连接skip connection只需要在忆阻器行列间增加连接的导线，在不增加忆阻器数量的前提下，加强了忆阻器网络的表征能力，因此，所述轻量化卷积单元模块中，降低了通道(channels)数量，同时增加卷积之间的跳跃连接。
25.在更具体的技术方案中，轻量化卷积单元还包括：不少于2个微型卷积mconvblock，每个微型卷积mconvblock包括但不限于：卷积核尺寸为1
×
1的conv2d以及激活层relu。
26.在更具体的技术方案中，权重训练模块包括：忆阻器非理想特性噪声生成模块、轻量化目标检测网络权重值与噪声融合模块以及权重更新模块；
27.忆阻器非理想特性噪声生成模块，用以将忆阻器的非理想特性参数转化为高斯噪声；
28.轻量化目标检测网络权重值与噪声融合模块，用以模拟网络权重映射至忆阻器阻值的阻态不稳定性，处理网络权重与高斯噪声pg(z)，据以得到并输出轻量化目标检测网络的新权重值weights
new
，轻量化目标检测网络权重值与噪声融合模块与忆阻器非理想特性噪声生成模块连接；
29.权重更新模块，用以获取训练数据预测误差，据以计算梯度信息，利用梯度信息更新新权重值weights
new
，权重更新模块与轻量化目标检测网络权重值与噪声融合模块连接。
30.本发明在轻量化设计降低对忆阻器数量需求的同时，仍具有较高的检测精度。针对忆阻器组态的不稳定性，为保证计算机上离线训练的神经网络部署到感存算一体化芯片内时保持网络原有检测精度，本系统将忆阻器阻态不稳定性建模为噪声模型，在离线训练过程中融入权重生成过程，从而使得该轻量化网络部署到感存算一体化芯片后，能够冗余
忆阻器阻态不稳定性带来的网络权重扰动。本发明解决了忆阻器组态的不稳定性问题。
31.在更具体的技术方案中，忆阻器非理想特性噪声生成模块，利用下述逻辑，将忆阻器的非理想特性参数转化为高斯噪声pg(z)：
[0032][0033]
其中，σ表示标准差，μ表示均值，x表示所述网络的权重。
[0034]
在更具体的技术方案中，轻量化目标检测网络权重值与噪声融合模块利用下述逻辑，模拟网络权重映射至忆阻器阻值的阻态不稳定性，处理网络权重与高斯噪声pg(z)，weights表示原轻量化目标检测网络权重，据以得到并输出轻量化目标检测网络的新权重值weights
new
：
[0035]
weights
new
＝weights+pg(z)。
[0036]
在更具体的技术方案中，权重部署模块包括：权重映射模块、阻值写入模块以及预测电流转电压数字化模块：
[0037]
权重映射模块，用以将网络神经元权重映射为感存算一体化芯片内的忆阻器电导值；
[0038]
阻值写入模块，用以将忆阻器阻值ri写入至感存算一体化芯片内对应位置的忆阻器，阻值写入模块与权重映射模块连接；
[0039]
预测电流转电压数字化模块，用以根据忆阻器阻值ri，将忆阻器交叉阵列输出的预测电流转为电压值，并通过ad采样返回预测结果，预测电流转电压数字化模块与阻值写入模块连接：
[0040][0041]
式中，i1,i2,
…
,in为神经网络乘累加运算得到的预测电流，v
in1
,
…
,v
imm
为加载在忆阻器阵列输入端的信号电压值，g
11
,
…gmn
为神经网络权重映射到忆阻器阵列的电导值。
[0042]
在更具体的技术方案中，权重映射模块利用下述逻辑，将网络神经元权重weight_i映射到忆阻器电导值g：
[0043][0044]
式中，diff_g为忆阻器电导最大可调制范围，weight_max为所述神经网络权重的最大值，网络神经元权重weight_i对应的忆阻器阻值ri为：
[0045][0046]
在更具体的技术方案中，集成感存算一体目标检测识别方法包括：
[0047]
s1、设计卷积核尺寸、特征图谱的生成方式，并结合忆阻器的特性参数设计卷积方式，据以得到轻量化目标检测网络，轻量化目标检测网络结构模块从输入的图像信号中检测目标所在位置坐标及类别概率，据以通过卷积操作获取非冗余特征与冗余特征级联，据以输出待检测目标位置类别信息；
[0048]
s2、获取忆阻器的阻态不稳定性参数，以建模得到高斯噪声模型，据以训练轻量化
目标检测网络的网络神经元权重；
[0049]
s3、将网络神经元权重，映射部署至感存算一体化芯片的忆阻器阵列，据以得到适用轻量化目标检测网络，利用适用轻量化卷积网络，据以获取适用的待检测目标位置类别信息，以识别获取集成感存算一体目标。
[0050]
本发明相比现有技术具有以下优点：本发明从网络轻量化设计这一解决思路出发，围绕轻量化卷积单元设计、轻量化网络结构设计、网络权重训练和部署，从算法角度解决感存算一体化芯片内忆阻器数量受限带来的网络结构无法适配及网络检测精度下降的问题。本发明利用轻量化卷积单元模块进行卷积核尺寸的设计，特征图谱的生成方式，卷积方式结合忆阻器特性设计，解决现有感存算一体化芯片中忆阻器阵列中忆阻器规模无法满足常规目标检测网络所需神经元数量的问题。本发明通过将忆阻器阻态的不稳定性建模为高斯噪声模型，提高轻量化网络克服因忆阻器阻态不稳定性带来权重扰动的容错能力，提高了目标识别精度，使得系统更加紧凑。
[0051]
本发明在目标检测识别的过程中具有低功耗、高速计算的特点。通过将神经网络权重部署在感存算一体化芯片内，卷积过程的乘累加操作转化为基尔霍夫原理的硬件电路实现方式，卷积过程几乎是瞬时完成，相比于传统计算机上基于冯诺依曼架构的神经网络计算过程具有更低的功耗和更快地计算速度。
[0052]
本发明从神经网络轻量化设计和提高轻量化网络表达能力两个方面进行解决，通过卷积核尺寸设计、卷积核正交分解、跳跃连接(skip connection)设置和冗余特征生成方式等操作，使得网络所需的参数数量相比于传统卷积有了成倍的降低，部署过程需要更少的忆阻器数量，解决了当前感存算一体化芯片内忆阻器数量有限无法满足当前大部分主流神经网络所需神经元数量的问题，能够更好地适配当前感存算芯片内忆阻器数量受限的情况。
[0053]
本发明针对对于忆阻器阵列，跳跃连接skip connection只需要在忆阻器行列间增加连接的导线，在不增加忆阻器数量的前提下，加强了忆阻器网络的表征能力，因此，所述轻量化卷积单元模块中，降低了通道(channels)数量，同时增加卷积之间的跳跃连接。
[0054]
本发明在轻量化设计降低对忆阻器数量需求的同时，仍具有较高的检测精度。针对忆阻器组态的不稳定性，为保证计算机上离线训练的神经网络部署到感存算一体化芯片内时保持网络原有检测精度，本系统将忆阻器阻态不稳定性建模为噪声模型，在离线训练过程中融入权重生成过程，从而使得该轻量化网络部署到感存算一体化芯片后，能够冗余忆阻器阻态不稳定性带来的网络权重扰动。本发明解决了忆阻器组态的不稳定性问题。
[0055]
本发明解决了现有技术中存在的网络权重扰动导致识别精度较低，忆阻器数量要求较高导致设备功耗较高、尺寸较大、尺寸较大以及集成化程度低的技术问题。
附图说明
[0056]
图1为本发明实施例1的集成感存算一体目标检测识别系统数据流处理示意图；
[0057]
图2为本发明实施例1的集成感存算一体目标检测识别系统基本模块连接示意图；
[0058]
图3为本发明实施例1的轻量化卷积单元的构造示意图；
[0059]
图4为本发明实施例1的卷积正交分解的组成示意图；
[0060]
图5为本发明实施例1的权重部署模块数据流处理示意图；
[0061]
图6为本发明实施例2的集成感存算一体目标检测识别方法基本步骤示意图。
具体实施方式
[0062]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
实施例1
[0064]
如图1及图2所示，本发明提供的集成感存算一体目标检测识别系统，包括：轻量化目标检测网络结构模块1、权重训练模块2以及权重部署模块3。
[0065]
在本实施例中，轻量化目标检测网络结构模块1包括：特征编码单元11、特征解码单元12以及目标预测单元13。
[0066]
在本实施例中，特征编码单元11包括但不限于：轻量化卷积单元(lightconvblock)以及4个下采样池化函数(maxpooling)；
[0067]
在本实施例中，特征解码单元12包括但不限于：轻量化卷积单元(lightconvblock)以及4个上采样函数(upsampling)，特征解码单元12与特征编码单元11连接；
[0068]
在本实施例中，目标预测单元13包括但不限于：目标位置预测模块131以及目标类别预测模块132，目标预测单元13与特征解码单元12连接。
[0069]
在本实施例中，利用轻量化卷积单元设计卷积核尺寸、特征图谱的生成方式以及卷积方式结合忆阻器特性。轻量化目标检测网络结构模块1从输入的图像信号中检测目标所在位置，输出待检测目标的位置和类别信息。
[0070]
如图3所示，在本实施例中，轻量化卷积单元(lightconvblock)，包括但不限于：卷积核尺寸设计、卷积正交分解、跳跃连接(skip connection)和冗余特征生成方式组件。在本实施例中，卷积核尺寸设计组件常用的卷积神经网络可采用包括：尺寸不小于3
×
3的卷积核，卷积核尺寸与忆阻器的数量相适配，故在轻量化卷积单元中包括但不限于：m个微型卷积mconvblock。在本实施例中，每个微型卷积mconvblock包括但不限于：一个卷积核尺寸为1
×
1的conv2d以及一个激活层relu；
[0071]
如图4所示，在本实施例中，利用卷积核分解组件进行卷积核分解操作，轻量化卷积单元中的尺寸为k
×
k的卷积核将分解为2个正交方向的一维卷积colconvblock和rowconvblock，一维卷积colconvblock和rowconvblock包括：1个正交方向的一维卷积(k
×
1，1
×
k)和一个激活层relu，通过一维卷积colconvblock和rowconvblock的顺序卷积获取邻域信息。
[0072]
在本实施例中，利用跳跃连接设置组件增加卷积过程的通道数(channels)，增加卷积单元的宽度(width)，一定范围内有助于提高卷积单元的特征表征能力，提高检测精度，但通道数的增加意味着单个忆阻器阵列内忆阻器的数量也要相应增加。跳跃连接(skip connection)可以看成是增加了卷积单元的宽度，增加了子网络的数量。对于忆阻器阵列，skip connection只需要在忆阻器行列间增加连接的导线，在不增加忆阻器数量的前提下，加强了忆阻器网络的表征能力，因此，轻量化卷积单元中，将降低通道(channels)数量，同
时增加卷积之间的跳跃连接。
[0073]
在本实施例中，冗余特征生成方式组件中，轻量化卷积单元内使用前述正交卷积colconvblock和rowconvblock生成一部分非冗余特征intrinsic_features，剩余的冗余特征redundant_features则通过前述卷积核尺寸为1
×
1的微型卷积mconvblock得到，轻量化卷积单元输出的特征图谱features为非冗余特征和冗余特征的级联：
[0074]
features＝concat(intrinsic_features,redundant_features)。
[0075]
在本实施例中，特征解码单元的输出特征图谱f
decoder
将同时作为目标位置预测模块131和目标类别预测模块132的输入。在本实施例中，目标位置预测模块131的输出为待检测目标所在位置的xy坐标，目标类别预测模块132的输出为待检测目标所属类别的概率。
[0076]
在本实施例中，利用权重训练模块2对轻量化目标检测网络权重进行训练，将忆阻器阻态的不稳定性建模为高斯噪声模型，在本实施例中，权重训练模块2包括：忆阻器非理想特性噪声生成模块21、轻量化目标检测网络权重值与噪声融合模块22以及权重更新模块23；
[0077]
在本实施例中，利用忆阻器非理想特性噪声生成模块21将忆阻器的非理想特性建模为噪声模型，将忆阻器非理想特性通过忆阻器非理想特性噪声生成模块21转化为高斯噪声：
[0078][0079]
在本实施例中，利用轻量化目标检测网络权重值(weights)与噪声pg(z)融合模块22，模拟权重映射到忆阻器阻值过程中叠加的阻态不稳定性，轻量化目标检测网络权重值与噪声融合模块22以网络权重值weights和高斯噪声pg(z)作为输入，输出为轻量化目标检测网络的新权重值，轻量化目标检测网络权重值与噪声融合模块22与忆阻器非理想特性噪声生成模块21连接：
[0080]
weights
new
＝weights+pg(z)。
[0081]
在本实施例中，利用权重更新模块23根据训练数据预测误差计算的梯度信息，对上述权重值weights
new
进行更新。
[0082]
在本实施例中，权重部署模块3，将前述轻量化目标检测网络训练好的神经元权重，映射部署到感存算一体化芯片的忆阻器阵列上。在本实施例中，轻量化神经网络中的每一个神经元对应忆阻器阵列中的一个忆阻器器件。在本实施例中，将神经元的权重映射为对应忆阻器器件的电导值。
[0083]
在本实施例中，权重部署模块3包括但不限于：权重映射模块31、阻值写入模块32以及预测电流转电压数字化模块33：
[0084]
如图5所示，在本实施例中，利用权重映射模块31将上述目标检测网络的权重值映射为感存算一体化芯片内忆阻器的阻值，目标检测网络的权重的最大值为weight_max，忆阻器可调最小阻值r
min
，最大阻值r
max
，其电导最小值电导最大值电导变化区间diff_g＝g
max-g
min
，上述目标检测网络的权重weight_i映射到电导值权重weight_i对应的忆阻器阻值
[0085]
在本实施例中，利用阻值写入模块32将上述计算的权重weight_i对应的忆阻器阻
值ri写入到感存算一体化芯片内对应位置的忆阻器上，阻值写入模块32与权重映射模块31连接；
[0086]
在本实施例中，利用预测电流转电压数字化模块33将感存算一体化芯片内忆阻器交叉阵列输出的预测电流([i1,i2,
…
,in])转为电压值，并通过ad采样，返回预测结果，预测电流转电压数字化模块33与阻值写入模块32连接：
[0087][0088]
在本实施例中，感存算一体目标检测识别系统还包括下述硬件组件：光电忆阻器感算一体感知模块电路，存算一体阻态忆阻器计算模块电路，预测结果采集模块电路：
[0089]
在本实施例中，光电忆阻器感算一体感知模块电路，包括光响应度可调制的光电忆阻器阵列，作为感光阵列，每个光电忆阻器作为感光阵列的一个像素。在本实施例中，光电忆阻器光响应度可调光态不少于10个，光响应态数值由轻量化目标检测网络第一层网络的权重映射得到。
[0090]
在本实施例中，存算一体阻态忆阻器计算模块电路，包括轻量化目标检测网络，轻量化目标检测网络包括：阻态忆阻器阵列。在本实施例中，利用存算一体阻态忆阻器计算模块电路计算轻量化目标检测网络的除第一层之外的网络权重，利用权重映射模块将轻量化目标检测网络的权重值映射成忆阻器的阻值；
[0091]
在本实施例中，预测结果采集模块电路，包括预测电流转电压数字化模块、外围运放以及滤波电路。
[0092]
实施例2
[0093]
如图6所示，在本实施例中，本发明提供的集成感存算一体目标检测识别方法，包括以下基本步骤：
[0094]
步骤s1、制作训练数据集，采集包含待检测目标的训练图像，手动标记目标所在位置；
[0095]
步骤s2、利用上述训练数据对轻量化神经网络进行训练；
[0096]
步骤s3、将基于组态不稳定性构造的噪声叠加到轻量化神经网络权重，根据预测误差计算梯度信息，更新轻量化神经网络的权重值；
[0097]
步骤s4、重复步骤s2以及s3，直至训练过程中的损失值不再降低，训练结束；
[0098]
步骤s5、将上述训练完成的轻量化神经网络权重部署到感存算一体化芯片内。
[0099]
综上，本发明从网络轻量化设计这一解决思路出发，围绕轻量化卷积单元设计、轻量化网络结构设计、网络权重训练和部署，从算法角度解决感存算一体化芯片内忆阻器数量受限带来的网络结构无法适配及网络检测精度下降的问题。本发明利用轻量化卷积单元模块进行卷积核尺寸的设计，特征图谱的生成方式，卷积方式结合忆阻器特性设计，解决现有感存算一体化芯片中忆阻器阵列中忆阻器规模无法满足常规目标检测网络所需神经元数量的问题。本发明通过将忆阻器阻态的不稳定性建模为高斯噪声模型，提高轻量化网络克服因忆阻器阻态不稳定性带来权重扰动的容错能力，提高了目标识别精度，使得系统更加紧凑。
[0100]
本发明在目标检测识别的过程中具有低功耗、高速计算的特点。通过将神经网络权重部署在感存算一体化芯片内，卷积过程的乘累加操作转化为基尔霍夫原理的硬件电路实现方式，卷积过程几乎是瞬时完成，相比于传统计算机上基于冯诺依曼架构的神经网络计算过程具有更低的功耗和更快地计算速度。
[0101]
本发明从神经网络轻量化设计和提高轻量化网络表达能力两个方面进行解决，通过卷积核尺寸设计、卷积核正交分解、跳跃连接(skip connection)设置和冗余特征生成方式等操作，使得网络所需的参数数量相比于传统卷积有了成倍的降低，部署过程需要更少的忆阻器数量，解决了当前感存算一体化芯片内忆阻器数量有限无法满足当前大部分主流神经网络所需神经元数量的问题，能够更好地适配当前感存算芯片内忆阻器数量受限的情况。
[0102]
本发明针对对于忆阻器阵列，跳跃连接skip connection只需要在忆阻器行列间增加连接的导线，在不增加忆阻器数量的前提下，加强了忆阻器网络的表征能力，因此，所述轻量化卷积单元模块中，降低了通道(channels)数量，同时增加卷积之间的跳跃连接。
[0103]
本发明在轻量化设计降低对忆阻器数量需求的同时，仍具有较高的检测精度。针对忆阻器组态的不稳定性，为保证计算机上离线训练的神经网络部署到感存算一体化芯片内时保持网络原有检测精度，本系统将忆阻器阻态不稳定性建模为噪声模型，在离线训练过程中融入权重生成过程，从而使得该轻量化网络部署到感存算一体化芯片后，能够冗余忆阻器阻态不稳定性带来的网络权重扰动。本发明解决了忆阻器组态的不稳定性问题。
[0104]
本发明解决了现有技术中存在的网络权重扰动导致识别精度较低，忆阻器数量要求较高导致设备功耗较高、尺寸较大、尺寸较大以及集成化程度低的技术问题。
[0105]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.集成感存算一体目标检测识别系统，其特征在于，所述系统包括：轻量化目标检测网络结构模块包括：特征编码单元、特征解码单元以及目标预测单元；所述特征编码单元包括：轻量化卷积单元以及不少于2个下采样池化函数；所述特征解码单元包括：轻量化卷积单元以及不少于2个上采样函数，所述特征解码单元与所述特征编码单元连接；所述目标预测单元包括：目标位置预测模块以及目标类别预测模块，所述目标预测单元与所述特征解码单元连接，所述轻量化目标检测网络结构模块，用以设计卷积核尺寸、特征图谱的生成方式，并结合忆阻器的特性参数设计卷积方式，据以得到轻量化目标检测网络，所述轻量化目标检测网络结构模块从输入的图像信号中检测目标所在位置坐标及类别概率，据以通过卷积操作获取非冗余特征与冗余特征级联，据以输出待检测目标位置类别信息；权重训练模块，用以获取所述忆阻器的阻态不稳定性参数，以建模得到高斯噪声模型，据以训练所述轻量化目标检测网络的网络神经元权重，所述权重训练模块与所述轻量化目标检测网络结构模块连接；权重部署模块，用以将所述网络神经元权重，映射部署至感存算一体化芯片的忆阻器阵列，据以得到适用轻量化目标检测网络，利用所述适用轻量化卷积网络，据以获取适用的所述待检测目标位置类别信息，以识别获取集成感存算一体目标，所述权重部署模块与所述权重训练模块及所述轻量化目标检测网络结构模块连接。2.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述集成感存算一体目标检测识别系统还包括：光电忆阻器感算一体感知模块电路、存算一体阻态忆阻器计算模块电路以及预测结果采集模块电路：所述光电忆阻器感算一体感知模块电路，包括：可调光响应度感光阵列；所述存算一体阻态忆阻器计算模块电路，包括：所述轻量化目标检测网络，所述轻量化目标检测网络包括：阻态忆阻器阵列，用以计算轻量化目标检测网络的除第一层之外的所述网络神经元权重，所述光电忆阻器感算一体感知模块电路与所述存算一体阻态忆阻器计算模块电路连接；所述预测结果采集模块电路，包括：外围运放以及滤波电路，所述预测结果采集模块电路与所述存算一体阻态忆阻器计算模块电路连接。3.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述轻量化卷积单元包括：不少于2个微型卷积、卷积核尺寸设计组件、卷积核分解组件、跳跃连接设置组件以及冗余特征生成方式组件。所述卷积核尺寸设计组件，用以设计卷积神经网络的预置尺寸卷积核；所述卷积核分解组件，用以分解所述预置尺寸卷积核，以得到不少于2个的正交卷积，据以进行顺序卷积得到邻域信息，所述卷积核分解组件与所述卷积核尺寸设计组件连接；所述跳跃连接设置组件，用以降低所述顺序卷积的通道数，增加所述轻量化卷积单元的宽度以及子网络的数量，所述跳跃连接设置组件与所述卷积核分解组件连接；所述冗余特征生成方式组件，用以在所述轻量化卷积单元中，以所述正交卷积生成非冗余特征，利用所述微型卷积生成冗余特征，以得到并输出所述非冗余特征与冗余特征级联：features＝concat(intrinsic_features,redundant_features)。
4.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述轻量化卷积单元还包括：不少于2个微型卷积mconvblock，每个所述微型卷积mconvblock包括但不限于：卷积核尺寸为1
×
1的conv2d以及激活层relu。5.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述权重训练模块包括：忆阻器非理想特性噪声生成模块、轻量化目标检测网络权重值与噪声融合模块以及权重更新模块；所述忆阻器非理想特性噪声生成模块，用以将所述忆阻器的非理想特性参数转化为高斯噪声；所述轻量化目标检测网络权重值与噪声融合模块，用以模拟所述网络权重映射至忆阻器阻值的阻态不稳定性，处理所述网络权重与高斯噪声p
g
(z)，据以得到并输出轻量化目标检测网络的新权重值weigh
new
，所述轻量化目标检测网络权重值与噪声融合模块与所述忆阻器非理想特性噪声生成模块连接；所述权重更新模块，用以获取训练数据预测误差，据以计算梯度信息，利用所述梯度信息更新所述新权重值weigh
new
，所述权重更新模块与所述轻量化目标检测网络权重值与噪声融合模块连接。6.根据权利要求5所述的集成感存算一体目标检测识别系统，其特征在于，所述忆阻器非理想特性噪声生成模块，利用下述逻辑，将所述忆阻器的非理想特性参数转化为高斯噪声p
g
(z)：7.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述轻量化目标检测网络权重值与噪声融合模块利用下述逻辑，模拟所述网络权重映射至忆阻器阻值的阻态不稳定性，处理所述网络权重与高斯噪声p
g
(z)，据以得到并输出轻量化目标检测网络的新权重值weights
new
：weights
new
＝weights+p
g
(z)式中，weights表示原轻量化目标检测网络权重。8.根据权利要求1所述的集成感存算一体目标检测识别系统，其特征在于，所述权重部署模块包括：权重映射模块、阻值写入模块以及预测电流转电压数字化模块：所述权重映射模块，用以将所述网络神经元权重映射为所述感存算一体化芯片内的忆阻器电导值；所述阻值写入模块，用以将所述忆阻器阻值r
i
写入至所述感存算一体化芯片内对应位置的所述忆阻器，所述阻值写入模块与所述权重映射模块连接；所述预测电流转电压数字化模块，用以根据所述忆阻器阻值r
i
，将所述忆阻器交叉阵列输出的预测电流转为电压值，并通过ad采样返回预测结果，所述预测电流转电压数字化模块与所述阻值写入模块连接：
式中，i1,i2,
…
,i
n
为神经网络乘累加运算得到的预测电流，v
in1
,
…
,v
inm
为加载在忆阻器阵列输入端的信号电压值，g
11
,
…
g
mn
为神经网络权重映射到忆阻器阵列的电导值。9.根据权利要求8所述的集成感存算一体目标检测识别系统，其特征在于，所述权重映射模块利用下述逻辑，将所述网络神经元权重weight_i映射到所述忆阻器电导值：式中，diff_g为忆阻器电导最大可调制范围，weight_max为所述神经网络权重的最大值，所述网络神经元权重weight_i对应的忆阻器阻值为：10.集成感存算一体目标检测识别方法，其特征在于，所述方法包括：s1、设计卷积核尺寸、特征图谱的生成方式，并结合忆阻器的特性参数设计卷积方式，据以得到轻量化目标检测网络，所述轻量化目标检测网络结构模块从输入的图像信号中检测目标所在位置坐标及类别概率，据以通过卷积操作获取非冗余特征与冗余特征级联，据以输出待检测目标位置类别信息；s2、获取所述忆阻器的阻态不稳定性参数，以建模得到高斯噪声模型，据以训练所述轻量化目标检测网络的网络神经元权重；s3、将所述网络神经元权重，映射部署至感存算一体化芯片的忆阻器阵列，据以得到适用轻量化目标检测网络，利用所述适用轻量化卷积网络，据以获取适用的所述待检测目标位置类别信息，以识别获取集成感存算一体目标。

技术总结
本发明提供集成感存算一体目标检测识别系统及方法，系统包括：轻量化目标检测网络结构模块，用以设计轻量化目标检测网络，轻量化目标检测网络结构模块通过卷积操作获取非冗余特征与冗余特征级联，输出待检测目标位置类别信息；权重训练模块，用以获取忆阻器的阻态不稳定性参数，以建模得到高斯噪声模型，训练轻量化目标检测网络的网络神经元权重；权重部署模块，将网络神经元权重映射部署至忆阻器阵列，据以得到适用轻量化目标检测网络，以获取适用的待检测目标位置类别信息，以识别获取集成感存算一体目标。本发明解决了网络权重扰动导致识别精度较低，忆阻器数量要求较高导致设备功耗较高、尺寸较大以及集成化程度低的技术问题。问题。问题。


技术研发人员：宋博 蔡斌 苗金水 张强 孙智涌
受保护的技术使用者：江淮前沿技术协同创新中心
技术研发日：2023.06.25
技术公布日：2023/10/15