针对图像超分辨率的神经网络加速器系统及其实现方法

1.本发明涉及神经网络技术领域，尤其涉及一种针对图像超分辨率的神经网络加速器系统及其实现方法。


背景技术：

2.超分辨率任务旨在从相应的低分辨率版本的图像中恢复其一个高分辨率版本的图像，这个任务是计算机视觉和图像信号处理中一个典型和具有挑战的领域，并且超分辨率在现实世界中也存在广泛的应用，如图像分割、遥感和监控等。随着高清和超高清显示设备的普及，超分辨率也引起了越来越多的关注。同时，在大多数场景下，图像超分辨率算法运行的速度至关重要。
3.随着深度学习在各个领域取得了巨大的成功，基于深度学习的超分辨率算法也被广泛地研究，如卷积神经网络、生成对抗网络和循环神经网络。特别地，针对视频进行超分辨率时，它们采用大量的低分辨率和高分辨率视频序列来输入神经网络，并进行帧间对齐、特征提取、特征融合和超分辨率重建。由于神经网络强大的非线性学习能力，基于深度学习的超分辨方法通常能在诸多公共标准的图像数据集上取得良好的性能，但是因为其计算量大、特征图缓存大和带宽需求大，因此其难以在诸多嵌入式设备上进行实时计算。
4.现有的硬件加速器大多数未能充分、有效地利用卷积运算中的并行性，导致计算效率降低、硬件资源消耗增加。同时，为了提高加速器的有效带宽，采用如霍夫曼编码等可变长编码的网络压缩方式会导致硬件端数据无法对齐，使得计算模式失去原本的规整性。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于：提供一种高效率的针对图像超分辨率的神经网络加速器系统及其实现方法。
6.本发明所采用的第一技术方案是：
7.一种针对图像超分辨率的神经网络加速器系统，包括传输引擎、逻辑控制模块、数据缓存模块、计算复合体、片外数据总线、片外控制总线、片内数据总线以及片内控制总线，所述传输引擎和所述计算复合体均通过所述片内数据总线与所述数据缓存模块连接，所述传输引擎、所述数据缓存模块以及所述计算复合体均通过所述片内控制总线与所述逻辑控制模块连接，所述传输引擎还与所述片外数据总线连接，所述传输引擎用于进行片内缓存与片外缓存之间的数据传输，所述逻辑控制模块还与所述片外控制总线连接，所述逻辑控制模块用于根据接收到的控制指令进行全局控制，所述数据缓存模块用于缓存特征图数据和权重数据，所述计算复合体用于执行卷积计算任务，所述计算复合体包括数据路由单元、数据压缩处理器、矩阵单元、卷积单元以及激活单元，所述数据压缩处理器用于对所述特征图数据进行压缩/解压处理。
8.进一步，所述数据路由单元用于对所述数据缓存模块存储的所述特征图数据进行数据重排后传输至所述数据压缩处理器进行解压处理，所述矩阵单元用于根据解压后的所
述特征图数据生成多个并行卷积输出，所述卷积单元用于根据所述并行卷积输出和所述权重数据进行乘累加得到卷积计算结果，所述激活单元用于通过预设的激活函数对所述卷积计算结果进行拟合处理得到卷积计算后的所述特征图数据，并通过所述数据压缩处理器进行压缩处理后传输至所述数据缓存模块进行存储。
9.进一步，所述数据压缩处理器包括压缩单元和解压缩单元，所述压缩单元包括比较器树、第一缓存单元、并行减法单元以及并行除法单元，所述比较器树用于找出一个压缩分块中的最大值和最小值并传输至所述第一缓存单元，所述并行减法单元和所述并行除法单元用于根据所述第一缓存单元缓存的数据进行压缩处理，所述解压缩单元包括第二缓存单元、减法单元、并行乘法单元以及并行加法单元，所述第二缓存单元用于存储一个压缩分块中的最大值和最小值，所述减法单元、所述并行乘法单元以及所述并行加法单元用于根据所述第二缓存单元缓存的数据进行解压处理。
10.进一步，所述数据压缩处理器采用dxt-5算法进行压缩/解压处理。
11.进一步，所述矩阵单元包括移位寄存器组、跨组缓存电路以及时序控制电路，所述跨组缓存电路包括多个fifo缓存，所述时序控制电路用于对所述移位寄存器组和所述跨组缓存电路进行控制，使得所述移位寄存器组进行移位操作或从其对应的所述跨组缓存电路中置位。
12.进一步，所述卷积单元包括多个乘累加单元，所述乘累加单元包括控制电路、动态移位器、寄存器以及乘法器，所述动态移位器用于对输入的所述权重数据和所述特征图数据进行移位对齐，所述寄存器和所述乘法器用于对移位对齐后的所述权重数据和所述特征图数据进行乘累加计算。
13.进一步，所述传输引擎包括读dma引擎和写dma引擎。
14.进一步，所述逻辑控制模块包括指令缓存单元、指令译码单元、输入fsm、卷积fsm以及输出fsm。
15.进一步，所述数据缓存模块包括输入缓存单元、输出缓存单元以及权重缓存单元。
16.本发明所采用的第二技术方案是：
17.一种针对图像超分辨率的神经网络加速器系统的实现方法，用于通过上述针对图像超分辨率的神经网络加速器系统实现，包括以下步骤：
18.通过所述传输引擎将特征图数据和权重数据传输至所述数据缓存模块；
19.通过所述逻辑控制单元获取控制指令并进行解码，进而根据解码结果进行全局控制；
20.通过所述数据路由单元对所述数据缓存模块存储的所述特征图数据进行数据重排后传输至所述数据压缩处理器；
21.通过所述数据压缩处理器对数据重排后的所述特征图数据进行解压处理后传输至所述矩阵单元；
22.通过所述矩阵单元根据解压后的所述特征图数据生成多个并行卷积输出并传输至所述卷积单元；
23.通过所述卷积单元根据所述并行卷积输出和所述数据缓存模块存储的所述权重数据进行乘累加得到卷积计算结果并传输至所述激活单元；
24.通过所述激活单元通过预设的激活函数对所述卷积计算结果进行拟合处理得到
卷积计算后的所述特征图数据并传输至所述数据压缩处理器；
25.通过所述数据压缩处理器对卷积计算后的所述特征图数据进行压缩处理后传输至所述数据缓存模块。
26.本发明的有益效果是：本发明提供了一种针对图像超分辨率的神经网络加速器系统及其实现方法，通过可定制的计算复合体提高了加速器内的数据复用程度，实现了卷积计算的并行加速计算，提高了硬件加速器的计算效率，降低了硬件资源消耗。
附图说明
27.图1为本发明实施例提供的一种针对图像超分辨率的神经网络加速器系统的结构示意图；
28.图2为本发明实施例提供的计算复合体的结构示意图；
29.图3为本发明实施例提供的矩阵单元的结构示意图；
30.图4为本发明实施例提供的乘累加单元的结构示意图；
31.图5为本发明实施例提供的一种针对图像超分辨率的神经网络加速器系统的实现方法的步骤流程图。
具体实施方式
32.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
33.在本发明的描述中，多个的含义是两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。
34.参照图1，本发明实施例提供了一种针对图像超分辨率的神经网络加速器系统，包括传输引擎、逻辑控制模块、数据缓存模块、计算复合体、片外数据总线、片外控制总线、片内数据总线以及片内控制总线，传输引擎和计算复合体均通过片内数据总线与数据缓存模块连接，传输引擎、数据缓存模块以及计算复合体均通过片内控制总线与逻辑控制模块连接，传输引擎还与片外数据总线连接，传输引擎用于进行片内缓存与片外缓存之间的数据传输，逻辑控制模块还与片外控制总线连接，逻辑控制模块用于根据接收到的控制指令进行全局控制，数据缓存模块用于缓存特征图数据和权重数据，计算复合体用于执行卷积计算任务，计算复合体包括数据路由单元、数据压缩处理器、矩阵单元、卷积单元以及激活单元，数据压缩处理器用于对特征图数据进行压缩/解压处理。
35.具体地，传输引擎，用于加速器的片内缓存与片外缓存之间的数据传输；可配置的逻辑控制模块，用于对输入的控制指令进行解码，并进行全局控制；数据缓存模块，用于存储特征图数据、权重数据等；计算复合体，用于承担加速器的绝大部分计算任务。计算复合体包括数据路由单元、数据压缩处理器、矩阵单元、激活单元以及卷积单元。在数据压缩处理器中，实现了改进型dxt-5压缩算法，在硬件端实现特征图数据的压缩与解压缩，提高加
速器的有效带宽，其余部分则负责进行卷积计算中剩余步骤。
36.进一步作为可选的实施方式，数据路由单元用于对数据缓存模块存储的特征图数据进行数据重排后传输至数据压缩处理器进行解压处理，矩阵单元用于根据解压后的特征图数据生成多个并行卷积输出，卷积单元用于根据并行卷积输出和权重数据进行乘累加得到卷积计算结果，激活单元用于通过预设的激活函数对卷积计算结果进行拟合处理得到卷积计算后的特征图数据，并通过数据压缩处理器进行压缩处理后传输至数据缓存模块进行存储。
37.具体地，首先数据缓存模块中的特征图数据被送往数据路由单元进行数据重排，以满足不同卷积核大小下的补零情况；数据重排完成后，被送往数据压缩处理器中进行数据解压缩；之后，主要由移位寄存器组组成的矩阵单元负责生成一定数量的并行的卷积窗口的输出，并送往卷积单元中与权重进行乘累加；紧接其后的激活单元则负责对特征图施加激活函数；最后，由数据压缩处理器中的数据压缩单元负责对特征图数据进行压缩，并送回数据缓存模块中。
38.进一步作为可选的实施方式，数据压缩处理器包括压缩单元和解压缩单元，压缩单元包括比较器树、第一缓存单元、并行减法单元以及并行除法单元，比较器树用于找出一个压缩分块中的最大值和最小值并传输至第一缓存单元，并行减法单元和并行除法单元用于根据第一缓存单元缓存的数据进行压缩处理，解压缩单元包括第二缓存单元、减法单元、并行乘法单元以及并行加法单元，第二缓存单元用于存储一个压缩分块中的最大值和最小值，减法单元、并行乘法单元以及并行加法单元用于根据第二缓存单元缓存的数据进行解压处理。
39.具体地，数据压缩处理器包括解压缩单元和压缩单元。在解压缩单元中，为了实现dxt-5图像压缩算法中的解压缩操作，设计了第二缓存单元、减法单元、并行乘法单元以及并行加法单元，其中，第二缓存单元用于储存一个压缩分块中的最大值与最小值，减法单元、并行乘法单元以及并行加法单元用于实现解压缩算法，将数据从压缩后的索引值中恢复。在压缩单元中，为了实现了压缩操作，设计了比较器树、第一缓存单元、并行减法单元和并行除法单元，比较器数用于找出一个压缩分块中的最大值与最小值，并送入第一缓存单元中，并行减法单元与并行除法单元用于实现压缩算法，将数据从原始数据压缩成为索引值。
40.进一步作为可选的实施方式，数据压缩处理器采用dxt-5算法进行压缩/解压处理。
41.参照图2，进一步作为可选的实施方式，矩阵单元包括移位寄存器组、跨组缓存电路以及时序控制电路，跨组缓存电路包括多个fifo缓存，时序控制电路用于对移位寄存器组和跨组缓存电路进行控制，使得移位寄存器组进行移位操作或从其对应的跨组缓存电路中置位。
42.具体地，矩阵单元包含移位寄存器组、跨组缓存电路以及时序控制电路。在每个独立的时钟周期，矩阵单元负责生成np个并行的卷积窗口的特征图数据输出。时序控制电路用于矩阵单元内移位寄存器组和跨组缓存的控制，使移位寄存器组进行移位操作或从其对应的跨组缓存中置位。移位寄存器组由深度为nc、长度为nx、宽度为ny的移位寄存器组成，nc、nx、ny的乘积与np相同，即np＝nc*nx*ny。其中，nc并行度为输入特征图数据复用，nx与
ny并行度为权重数据复用。跨组缓存电路由诸多fifo缓存组成，其负责使能移位寄存器组之间的通信，以生成时序正确的数据流。
43.参照图3，进一步作为可选的实施方式，卷积单元包括多个乘累加单元，乘累加单元包括控制电路、动态移位器、寄存器以及乘法器，动态移位器用于对输入的权重数据和特征图数据进行移位对齐，寄存器和乘法器用于对移位对齐后的权重数据和特征图数据进行乘累加计算。
44.具体地，卷积单元由多个乘累加单元组成，乘累加单元包括控制电路、动态移位器、寄存器以及乘法器。动态移位器用于实现对输入该单元的权重以及特征图数据进行移位对齐，以满足神经网络不同层计算时存在的量化位宽区别。寄存器和乘法器用于实现输入的权重和特征图数据的相乘和部分和累加。控制电路用于实现其余部分的控制。
45.进一步作为可选的实施方式，传输引擎包括读dma引擎和写dma引擎。
46.进一步作为可选的实施方式，逻辑控制模块包括指令缓存单元、指令译码单元、输入fsm、卷积fsm以及输出fsm。
47.进一步作为可选的实施方式，数据缓存模块包括输入缓存单元、输出缓存单元以及权重缓存单元。
48.以上是对本发明实施例的数字转换器的结构和工作原理进行了说明，可以认识到，本发明实施例具有以下优点：
49.(1)本发明提出的神经网络加速器架构得益于定制化的计算复合体，可以提高加速器内的数据复用程度，包括权重复用和数据复用，进而实现对卷积计算的并行加速计算；并行度做到完全可配置，同时可适应任意尺寸的卷积层。
50.(2)在硬件端实现了用于图像压缩的dxt-5压缩方法，并对其进行优化来满足大多数硬件加速器所采用的行为主的突发传输模式。
51.(3)针对图像超分辨率任务进行优化，设计了一个数据流规整的计算复合体，以满足实时图像超分辨率任务的需求。
52.参照图5，本发明实施例提供了一种针对图像超分辨率的神经网络加速器系统的实现方法，用于通过上述针对图像超分辨率的神经网络加速器系统实现，包括以下步骤：
53.s101、通过传输引擎将特征图数据和权重数据传输至数据缓存模块；
54.s102、通过逻辑控制单元获取控制指令并进行解码，进而根据解码结果进行全局控制；
55.s103、通过数据路由单元对数据缓存模块存储的特征图数据进行数据重排后传输至数据压缩处理器；
56.s104、通过数据压缩处理器对数据重排后的特征图数据进行解压处理后传输至矩阵单元；
57.s105、通过矩阵单元根据解压后的特征图数据生成多个并行卷积输出并传输至卷积单元；
58.s106、通过卷积单元根据并行卷积输出和数据缓存模块存储的权重数据进行乘累加得到卷积计算结果并传输至激活单元；
59.s107、通过激活单元通过预设的激活函数对卷积计算结果进行拟合处理得到卷积计算后的特征图数据并传输至数据压缩处理器；
60.s108、通过数据压缩处理器对卷积计算后的特征图数据进行压缩处理后传输至数据缓存模块。
61.可以理解的是，上述系统实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统实施例所达到的有益效果也相同。
62.应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。上述方法可以使用标准编程技术—包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
63.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。上述计算机程序包括可由一个或多个处理器执行的多个指令。
64.进一步，上述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所描述步骤的指令或程序时，本文所描述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所描述的方法和技术编程时，本发明还包括计算机本身。
65.计算机程序能够应用于输入数据以执行本文所描述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
66.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

技术特征：
1.一种针对图像超分辨率的神经网络加速器系统，其特征在于：包括传输引擎、逻辑控制模块、数据缓存模块、计算复合体、片外数据总线、片外控制总线、片内数据总线以及片内控制总线，所述传输引擎和所述计算复合体均通过所述片内数据总线与所述数据缓存模块连接，所述传输引擎、所述数据缓存模块以及所述计算复合体均通过所述片内控制总线与所述逻辑控制模块连接，所述传输引擎还与所述片外数据总线连接，所述传输引擎用于进行片内缓存与片外缓存之间的数据传输，所述逻辑控制模块还与所述片外控制总线连接，所述逻辑控制模块用于根据接收到的控制指令进行全局控制，所述数据缓存模块用于缓存特征图数据和权重数据，所述计算复合体用于执行卷积计算任务，所述计算复合体包括数据路由单元、数据压缩处理器、矩阵单元、卷积单元以及激活单元，所述数据压缩处理器用于对所述特征图数据进行压缩/解压处理。2.根据权利要求1所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述数据路由单元用于对所述数据缓存模块存储的所述特征图数据进行数据重排后传输至所述数据压缩处理器进行解压处理，所述矩阵单元用于根据解压后的所述特征图数据生成多个并行卷积输出，所述卷积单元用于根据所述并行卷积输出和所述权重数据进行乘累加得到卷积计算结果，所述激活单元用于通过预设的激活函数对所述卷积计算结果进行拟合处理得到卷积计算后的所述特征图数据，并通过所述数据压缩处理器进行压缩处理后传输至所述数据缓存模块进行存储。3.根据权利要求2所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述数据压缩处理器包括压缩单元和解压缩单元，所述压缩单元包括比较器树、第一缓存单元、并行减法单元以及并行除法单元，所述比较器树用于找出一个压缩分块中的最大值和最小值并传输至所述第一缓存单元，所述并行减法单元和所述并行除法单元用于根据所述第一缓存单元缓存的数据进行压缩处理，所述解压缩单元包括第二缓存单元、减法单元、并行乘法单元以及并行加法单元，所述第二缓存单元用于存储一个压缩分块中的最大值和最小值，所述减法单元、所述并行乘法单元以及所述并行加法单元用于根据所述第二缓存单元缓存的数据进行解压处理。4.根据权利要求3所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述数据压缩处理器采用dxt-5算法进行压缩/解压处理。5.根据权利要求2所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述矩阵单元包括移位寄存器组、跨组缓存电路以及时序控制电路，所述跨组缓存电路包括多个fifo缓存，所述时序控制电路用于对所述移位寄存器组和所述跨组缓存电路进行控制，使得所述移位寄存器组进行移位操作或从其对应的所述跨组缓存电路中置位。6.根据权利要求2所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述卷积单元包括多个乘累加单元，所述乘累加单元包括控制电路、动态移位器、寄存器以及乘法器，所述动态移位器用于对输入的所述权重数据和所述特征图数据进行移位对齐，所述寄存器和所述乘法器用于对移位对齐后的所述权重数据和所述特征图数据进行乘累加计算。7.根据权利要求1所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述传输引擎包括读dma引擎和写dma引擎。8.根据权利要求1所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：
所述逻辑控制模块包括指令缓存单元、指令译码单元、输入fsm、卷积fsm以及输出fsm。9.根据权利要求1至8中任一项所述的一种针对图像超分辨率的神经网络加速器系统，其特征在于：所述数据缓存模块包括输入缓存单元、输出缓存单元以及权重缓存单元。10.一种针对图像超分辨率的神经网络加速器系统的实现方法，用于通过如权利要求1至9中任一项所述的针对图像超分辨率的神经网络加速器系统实现，其特征在于，包括以下步骤：通过所述传输引擎将特征图数据和权重数据传输至所述数据缓存模块；通过所述逻辑控制单元获取控制指令并进行解码，进而根据解码结果进行全局控制；通过所述数据路由单元对所述数据缓存模块存储的所述特征图数据进行数据重排后传输至所述数据压缩处理器；通过所述数据压缩处理器对数据重排后的所述特征图数据进行解压处理后传输至所述矩阵单元；通过所述矩阵单元根据解压后的所述特征图数据生成多个并行卷积输出并传输至所述卷积单元；通过所述卷积单元根据所述并行卷积输出和所述数据缓存模块存储的所述权重数据进行乘累加得到卷积计算结果并传输至所述激活单元；通过所述激活单元通过预设的激活函数对所述卷积计算结果进行拟合处理得到卷积计算后的所述特征图数据并传输至所述数据压缩处理器；通过所述数据压缩处理器对卷积计算后的所述特征图数据进行压缩处理后传输至所述数据缓存模块。

技术总结
本发明公开了一种针对图像超分辨率的神经网络加速器系统及其实现方法，包括传输引擎、逻辑控制模块、数据缓存模块、计算复合体、片外数据总线、片外控制总线、片内数据总线以及片内控制总线，传输引擎和计算复合体均通过片内数据总线与数据缓存模块连接，传输引擎、数据缓存模块以及计算复合体均通过片内控制总线与逻辑控制模块连接，传输引擎还与片外数据总线连接，逻辑控制模块还与片外控制总线连接，计算复合体包括数据路由单元、数据压缩处理器、矩阵单元、卷积单元以及激活单元。本发明实施例实现了卷积计算的并行加速计算，提高了硬件加速器的计算效率，降低了硬件资源消耗，可广泛应用于神经网络技术领域。可广泛应用于神经网络技术领域。可广泛应用于神经网络技术领域。


技术研发人员：陈弟虎 粟涛 莫燕南
受保护的技术使用者：中山大学
技术研发日：2023.02.10
技术公布日：2023/7/25