高通滤波方法及装置、芯片及电子设备与流程

1.本发明涉及一种高通滤波方法及装置、芯片及电子设备，具体涉及一种利用类脑芯片卷积和lif神经元实现高通滤波的方法及装置、芯片及电子设备。


背景技术：

2.高通滤波，是信号处理领域中一种常见的信息处理方法，其仅让高于某个频率的信号通过。带通滤波，则只允许某个特定频带内的信号通过。
3.脉冲神经网络(snn)是第三代神经网络，其通过模拟大脑神经网络脉冲激发的形式，通过脉冲事件来传递信息。通常脉冲神经网络被用来完成推理工作，申请人面对如何高效提取视觉信息(比如目标点)技术挑战时，独立发现基于snn的高通/带通滤波是可行技术路径之一。但对于输入的高频脉冲，如何通过snn实现高通/带通滤波，仍是未知的。


技术实现要素：

4.为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：
5.一种高通滤波方法，用于仅在输入脉冲事件频率高于截止频率时输出脉冲事件，向第一脉冲神经元投射输入脉冲事件，并至少通过配置如下参数，使其满足w
×
fc+b
×fleak
＝0，其中：w为投射所述输入脉冲事件至所述第一脉冲神经元的突触权重，fc为高通滤波的所述截止频率，b为第一脉冲神经元的泄漏量，f
leak
为第一脉冲神经元的泄漏频率。
6.在某类实施例中，所述输入脉冲事件，是由神经形态传感器像素输出的脉冲事件。
7.在某类实施例中，在实现所述高通滤波时，还满足t
min
×
(w
×
fe+b
×fleak
)＝θ，其中t
min
为最小停留时间，fe为外部刺激频率，θ为第一脉冲神经元的点火阈值。
8.在某类实施例中，在最小停留时间内，第一脉冲神经元至少泄露一次，即t
min
》1/f
leak
。
9.在某类实施例中，以截止频率fc闪烁的光源，在最小停留时间内，第一脉冲神经元的膜电压累积至少2次：t
min
×
fc》2。
10.在某类实施例中，所述突触权重w≤θ
×fleak
/fc。
11.一种高通滤波装置，用于仅在输入脉冲事件频率高于截止频率时输出脉冲事件，向第一脉冲神经元投射输入脉冲事件，并至少通过配置如下参数，使其满足w
×
fc+b
×fleak
＝0，其中：w为投射所述输入脉冲事件至所述第一脉冲神经元的突触权重，fc为高通滤波的所述截止频率，b为第一脉冲神经元的泄漏量，f
leak
为第一脉冲神经元的泄漏频率。
12.在某类实施例中，所述输入脉冲事件，是由神经形态传感器像素输出的脉冲事件。
13.在某类实施例中，在实现所述高通滤波时，还满足t
min
×
(w
×
fe+b
×fleak
)＝θ，其中t
min
为最小停留时间，fe为外部刺激频率，θ为第一脉冲神经元的点火阈值。
14.在某类实施例中，在最小停留时间内，第一脉冲神经元至少泄露一次，即t
min
》1/f
leak
。
15.在某类实施例中，以截止频率fc闪烁的光源，在最小停留时间内，第一脉冲神经元
的膜电压累积至少2次：t
min
×
fc》2。
16.在某类实施例中，所述突触权重w≤θ
×fleak
/fc。
17.一种芯片，所述芯片包括如前任意一项所述的高通滤波装置。
18.在某类实施例中，所述芯片还包括神经形态传感器。
19.在某类实施例中，所述神经形态传感器是事件相机。
20.一种电子设备，所述电子设备包括权利要求如前任意一项所述的高通滤波装置；或，所述电子设备包括权利要求如前任意一项所述的芯片。
21.在某类实施例中，所述电子设备包括第一部件，其中第一部件包括发光体，且所述发光体被设置为以第一频率闪烁发光；所述电子设备还包括第二部件，其中第二部件包括神经形态传感器，用于捕捉所述发光体；并且，根据如前任意一项所述的高通滤波装置，对所述神经形态传感器像素输出的脉冲事件进行过滤。
22.在某类实施例中，所述第一频率在所述高通滤波装置的截止频率之上。
23.在某类实施例中，所述发光体包括顿挫发光模式或/和持续闪烁发光模式。
24.在某类实施例中，所述电子设备是空气架子鼓，且所述第一部件是鼓槌。
25.本发明的部分或全部实施例，具有如下有益技术效果：
26.1)可以实现目标点的低延迟、低数据量、低计算量、低功耗、低成本的智能视觉信息处理。
27.2)仅使用神经形态硬件，不需要其它复杂、多余处理部件和流程。
28.更多的有益效果将在优选实施例中作进一步的介绍。
29.以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
30.本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
31.图1是事件相机与目标神经元的关系示意图。
具体实施方式
32.由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
33.除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
34.本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被
组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
35.本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
36.事件相机，也称动态视觉传感器(dvs)，其是一种全新的视觉传感器，通过捕捉光强变化，异步地向后级系统发送脉冲事件(简称脉冲或事件)。光强变强则发送on时间，变弱则发送off事件。比如，对于50hz交流电驱动的光源，鉴于光强变化不区分相位，因此其实际等效于100hz的光强变化频率，而一个周期内光强变强和变弱各一次，基于一次变强和变弱各产生一个脉冲的假设，因此事件生成量为200个事件/秒。在本发明某类场景中，对于光强变化频率为fe的外部光源，由于on/off极性的原因，事件相机的(包含on事件和off事件)事件生成频率为2fe。
37.如图1所示，对于脉冲神经网络snn，可以接收事件相机(或其它类型神经形态传感器，本发明仅以事件相机为例)输出的脉冲事件，在本发明某类实施例中，snn被设计为高通滤波器，用于仅仅放行高于设定截止频率fc的脉冲事件。此外，本发明的高通滤波器可以仅作为snn的一部分或某几层，或用于任意其他可使用的地方，本发明对此不作限制。
38.在本发明某类实施例中，神经元被实施为具有泄露的脉冲神经元。优选地，该泄露为膜电位线性泄露，单次泄漏量为b，泄露(时钟)频率为f
leak
。
39.对于神经形态传感器，其坐标为(x，y)的像素接收频率为fe的输入刺激，其会输出脉冲事件并投射给目标神经元(对于目标神经元而言，这里神经形态传感器的输出脉冲事件就是目标神经元的输入脉冲事件)，目标神经元为特征图上(x，y)位置对应的第一脉冲神经元u
x,y
，设其膜电压为v
x,y
。
40.那么该目标神经元的膜电压在t0至t
t
时间内的变化(增量)为：
[0041][0042]
如果某个时刻t，模电压v
x,y
(t)大于点火阈值θ，那么目标神经元u
x,y
发放一个脉冲事件，记为u
x,y
(t)＝1，且重置膜电压为静息电位，比如v
x,y
(t)＝0；其中w为突触权重。
[0043]
刺激源，比如是一个以特定频率模式闪烁的发光体，如果希望仅在其频率大于截止频率fc时，才在事件相机中成像，那么应满足：w
×
fc+b
×fleak
＝0。换言之，在无论多么长的时间内，如果刺激的频率不高于截止频率fc，那么就不会存在膜电压累积，也就不可能激发目标神经元发放脉冲。
[0044]
如果实际接收到刺激的频率fe》fc时，wfe+bf
leak
》0，再经过时间的正向累积，目标神经元的膜电压v
x,y
(初始膜电压与膜电压增量之和)必然会在某个时刻超过点火阈值θ，接收这种fe频率刺激的目标神经元就会发放脉冲，这就体现了“高通”特点。
[0045]
进一步地，对于像素及频率为fe的输入刺激而言，存在一个对应的最小停留时间t
min
：若光线在事件相机上的某个像素成像停留时间小于该最小停留时间，则意味着该刺激源无法在事件相机的该像素上成像，也就不会激发该像素发放脉冲事件。
[0046]
换言之，在最小停留时间t
min
内，受频率为fe的输入刺激，膜电压的增量等于点火阈值θ：
[0047][0048]
也即：t
min
×
(w
×
fe+b
×fleak
)＝θ。这对实际应用的启示是，作为刺激源的发光体的频率fe越高，事件相机所允许的最小停留时间可以越短。比如，可以设计用于标记目标点的发光体的频率为250hz、270hz或300hz，一方面可以与常见交流电频率相规避，另一方面降低最小可停留时间长度，允许目标点或发光体更快速地移动。
[0049]
对于一些常见场景，比如视场范围内的人体活动、手势、背景噪声等，对于单个像素而言是低频信号。如果设计一个截止频率fc，使得仅高于该截止频率的刺激才能使得目标神经元发放脉冲事件，那么这就实现了脉冲域的高通滤波。
[0050]
作为一些实际应用上的限制，优选地，还可以进一步限定：在最小停留时间内，至少泄露一次：t
min
》1/f
leak
。以截止频率fc闪烁的光源，在最小停留时间内膜电压累积至少2次：t
min
×
fc》2。以及，突触权重w≤θ
×fleak
/fc。
[0051]
优选地，可以设置f
leak
＝fc。换言之，在外部刺激的频率为截止频率情况下，膜电压每累积一次，对应地也泄露一次，此时突触权重w和泄露量b之和w+b＝0。
[0052]
由此，通过设定满足上面条件的高通滤波参数(比如突触权重、泄漏量、泄露频率等)，即可实现基于snn的高通滤波，其截止频率为fc。值得一提的是，往往这些参数不是唯一的，而是存在多种组合。
[0053]
前述神经形态传感器和snn可以被设计在同一个芯片中，构成一颗感算一体的边缘ai芯片，并应用于各种各样的电子设备(比如交互设备)中，以实现目标点的低延迟、低数据量、低计算量、低功耗、低成本的智能视觉信息处理。
[0054]
通过前述高通设计方案，可以使得神经形态传感器仅仅输出(感受的到)特定频率的发光体刺激，这可以高效地捕捉动态信息。比如，在各种各样的交互设备上，比如空气架子鼓的鼓槌顶端、智能教鞭的顶端、智能沙盘的指挥棒顶端，设计至少一个以特定频率模式发光的发光体，通过前述神经形态传感器和snn的设计，可以屏蔽掉静态视觉、除了发光体之外的动态视觉信息，最终实现以极为稀疏的数据形态捕捉目标点，这种信息处理方案可以广泛应用于ar/vr的体感交互设备之中。
[0055]
发光体可以被设计为顿挫发光(检测到发光体/目标点处于顿挫运动状态，尤其是特定方向的顿挫)模式或/和持续闪烁发光模式，前者可以更为极简信息传输和处理模式，二者搭配可以实现更为丰富的交互模式。所述的顿挫包括运动骤止(突然停止)、骤转(突然转向)、骤回(突然反向)中的一种或多种。
[0056]
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
[0057]
因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。
[0058]
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。
[0059]
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。
[0060]
结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

技术特征：
1.一种高通滤波方法，用于仅在输入脉冲事件频率高于截止频率时输出脉冲事件，其特征在于：向第一脉冲神经元投射输入脉冲事件，并至少通过配置如下参数，使其满足w
×
f
c
+b
×
f
leak
＝0，其中：w为投射所述输入脉冲事件至所述第一脉冲神经元的突触权重，f
c
为高通滤波的所述截止频率，b为第一脉冲神经元的泄漏量，f
leak
为第一脉冲神经元的泄漏频率。2.根据权利要求1所述的高通滤波方法，其特征在于：所述输入脉冲事件，是由神经形态传感器像素输出的脉冲事件。3.根据权利要求1或2所述的高通滤波方法，其特征在于：在实现所述高通滤波时，还满足t
min
×
(w
×
f
e
+b
×
f
leak
)＝θ，其中t
min
为最小停留时间，f
e
为外部刺激频率，θ为第一脉冲神经元的点火阈值。4.根据权利要求3所述的高通滤波方法，其特征在于：在最小停留时间内，第一脉冲神经元至少泄露一次，即t
min
>1/f
leak
。5.根据权利要求4所述的高通滤波方法，其特征在于：以截止频率f
c
闪烁的光源，在最小停留时间内，第一脉冲神经元的膜电压累积至少2次：t
min
×
f
c
>2。6.根据权利要求5所述的高通滤波方法，其特征在于：所述突触权重w≤θ
×
f
leak
/f
c
。7.一种高通滤波装置，用于仅在输入脉冲事件频率高于截止频率时输出脉冲事件，其特征在于：向第一脉冲神经元投射输入脉冲事件，并至少通过配置如下参数，使其满足w
×
f
c
+b
×
f
leak
＝0，其中：w为投射所述输入脉冲事件至所述第一脉冲神经元的突触权重，f
c
为高通滤波的所述截止频率，b为第一脉冲神经元的泄漏量，f
leak
为第一脉冲神经元的泄漏频率。8.一种芯片，其特征在于：所述芯片包括权利要求7所述的高通滤波装置。9.一种电子设备，其特征在于：所述电子设备包括权利要求7所述的高通滤波装置；或，所述电子设备包括权利要求8所述的芯片。10.根据权利要求9所述的电子设备，其特征在于：所述电子设备包括第一部件，其中第一部件包括发光体，且所述发光体被设置为以第一频率闪烁发光；所述电子设备还包括第二部件，其中第二部件包括神经形态传感器，用于捕捉所述发光体；并且，根据权利要求7所述的高通滤波装置，对所述神经形态传感器像素输出的脉冲事件进行过滤。

技术总结
本发明公开了一种高通滤波方法及装置、芯片及电子设备。为解决现有技术缺乏基于脉冲神经元的高通滤波方案，本发明通过具有泄露功能的第一脉冲神经元相关的的参数：投射输入脉冲事件至第一脉冲神经元的突触权重、高通滤波的所述截止频率、第一脉冲神经元的泄漏量，第一脉冲神经元的泄漏频率等参数的特殊配置，实现仅在输入脉冲事件频率高于截止频率时输出脉冲事件的技术效果，该方案在基于神经形态传感器的目标点高效捕捉时极为高效，本发明获得了低功耗、低延迟、低计算量的技术效果。本发明适于神经形态计算领域。于神经形态计算领域。于神经形态计算领域。


技术研发人员：邢雁南 陈宏民 王建中 范育銜 柯炜杰 杨怡宁
受保护的技术使用者：深圳时识科技有限公司
技术研发日：2023.06.06
技术公布日：2023/8/14