一种高性能数据存取装置的制作方法

1.本发明属于数据通信以及数据存取技术领域，具体涉及一种高性能数据存取装置。


背景技术：

2.随着模拟电路、数字电路和信号处理技术的快速发展，宽带射频信号采集、分析、处理和产生的需求正越来越多，很多行业和应用，都会涉及到宽带射频信号的采集、分析、处理和生成；如无线通信、卫星通信、导航、电子对抗、智能驾驶、气象预测等领域，且这些领域的应用都需要经常进行大量的试验和验证；同时，这些应用需要采集和分析的信号数据量也都非常大，以瞬时带宽1ghz的宽带射频信号为例，其产生的数据率为5gb/s(每个采样样本为2字节)，特别是在mimo或相控阵射频系统的试验中，其往往需要多个通道同时采集、存储和产生信号，其数据率还会在5gb/s的基础上，再乘以对应通道的数量，如典型的8收8发的1ghz瞬时带宽的mimo系统，将产生每秒40gb的数据量，而如果信号的瞬时带宽进一步增加，则单通道信号采集所产生数据率也将进一步增加；如此，应用中的高数据率则对数据存取设备提出了极高的要求，而市面上却少有设备可以完成这样的工作。
3.另外，宽带射频信号长时间采集存储会积累海量数据，一个存储设备的存储容量无法满足要求时，需要能够组合多个存储设备获得更多存储空间，不仅如此，由于常见的高性能存储设备最多仅能达到5～10gb/s的数据存取能力，其对应瞬时带宽1ghz的宽带射频信号而言，仅能满足1～2个信号通道的存取要求，所以，较复杂的宽带射频信号采集任务需要每个信号通道对应一个独立的数据存取设备，并进行一对一的数据存取；同时，这些需求并没有标准化的产品满足要求，所以，用户通常不得不选用昂贵的专用定制系统来满足要求，这就大大提高了试验成本。
4.综上所述，在实际应用中，一款具有数据高速存取能力、接口容量扩展能力、连接拓扑可变特性、数据高速存取能力，且能够兼容商用货架化平台以降低系统总体成本的高速数据存取设备对此类应用有非常大的帮助。
5.目前，市场上具有商用货架化平台支持、数据高速传输接口、高速数据存取性能、可扩展模块化结构等特性的数据存取设备主要是总线式的定制设备，主要是基于总线进行数据传输，采用的主流总线协议主要是pcie、pxie、cpcie和vpx等，而后三者也是基于pcie总线的扩展，其主要数据传输技术仍是以pcie总线为核心。
6.在现有技术中，基于pcie总线的系统总带宽受限于cpu和系统机箱背板支持的pcie连接数和单连接数据通信带宽，以市场上较先进的pxie系统为例，其支持最高24条pcie连接，每条连接最高支持1gb/s的理论带宽，其系统理论带宽最高为24gb/s；因此，无论系统中配置多少个数据存取模块，系统每秒可存取的数据量不会超过24gb，且因为系统还有其他数据通信开销，实际可以达到的性能会小于这个数值；而如果用户需要每秒存储或读取24gb以上的数据，则必须要构建多个pxie系统才能实现；同时，单个pxie模块的理论数据带宽为8gb/s，意味着其无法通过背板的总线持续传输1.6ghz瞬时带宽以上的信号。
7.另外，基于pcie总线的系统进行数据读写时，磁盘i/o操作均需要cpu调度，这使得cpu成为数据读写能力的瓶颈，同时，cpu完成其他处理任务的优先级和时间分配也受到限制，在进行大数据量数据存取时尤其如此；所以，现有技术中的数据存取模块在总数据存取速率和单模块数量吞吐率受系统pcie带宽限制，并需要cpu的高优先级i/o任务处理的前提下，则难以满足高带宽信号数据存取和较多通道同时进行高速数据存取的需求，基于此，如何提供一种同时满足高速数据存取、pcie总线系统支持、可模块化扩展、拓扑连接可变以及无需cpu介入调度的高性能数据存取装置，已成为一个亟待解决的问题。


技术实现要素：

8.本发明的目的是提供一种高性能数据存取装置，用以解决现有技术难以满足高带宽信号数据存取和较多通道同时进行高速数据存取的需求的问题。
9.为了实现上述目的，本发明采用以下技术方案：
10.第一方面，提供了一种高性能数据存取装置，包括：
11.fpga模块和通信与控制总线接口，其中，所述fpga模块通过所述通信与控制总线接口通信连接系统控制器，以基于所述通信与控制总线接口与所述系统控制器进行数据通信，且所述通信与控制总线接口包括pcie总线接口或基于pcie的仪器扩展总线接口；
12.所述高性能数据存取装置还包括：
13.多个基于fpga模块的高速数据传输接口以及多个存储模块，且所述fpga模块分别电连接各个存储模块以及各个高速数据传输接口；
14.多个高速数据传输接口包括上行数据传输接口和下行数据传输接口；
15.所述上行数据传输接口，用于通信连接信号收发设备或与所述高性能数据存取装置具有级联关系的前一级高性能数据存取装置的下行数据传输接口，所述下行数据传输接口用于通信连接所述信号收发设备或与所述高性能数据存取装置具有级联关系的后一级高性能数据存取装置的上行数据传输接口，以使所述高性能数据存取装置基于本机的上行数据传输接口和/或下行数据传输接口，与所述信号收发设备以及其余高性能数据存取装置之间形成级联连接方式、并行连接方式、点对点连接方式、星形连接方式或以上任意连接方式相结合的复合连接方式。
16.基于上述公开的内容，本发明所提供的高性能数据存取装置，以pcie总线接口或基于pcie的仪器扩展总线接口来作为系统控制器对高性能数据存取装置的管理控制接口，如此，可以利用该总线平台的成熟硬件和软件生态体系，来组合构建出完整的信号采集、存储、读取和生成系统，使得本装置的兼容性好；同时，采用以pcie为基础的控制接口，可具有8gb/s模块接口带宽，且高性能数据存取装置采用自身的高速数据传输接口与外部数据设备连接，一个数据存取装置就可提供24gb/s以上的数据传输带宽，因此，可以满足绝大多数高速数据存取应用的需求。
17.更进一步，本装置以一套基于fpga的高速数据传输接口作为高性能数据存取装置与其他i/o模块(即外部数据设备、各信号收发设备)之间，或多个级联或并联的高性能数据存取装置之间的高速数据传输通道，基于此，可实现与其他i/o模块以及其余高性能数据存取装置之间的级联、对连、并联、星形连接或星形与级联相结合的复合连接方式，如此，多个高性能数据存取装置相互之间，以及高性能数据存取装置与其他i/o模块之间可以实现非
常灵活的拓扑连接结构，且每个高性能数据存取装置都能够提供24gb/s数据传输带宽，基于此，使得本装置在扩展后，得到了远远高于传统系统的高性能的数据传输能力，由此，则可满足高速数据传输的多通道宽带射频应用的数据存取需求。
18.另外，本装置自带有fpga模块，如此，使得本装置可直接使用自身的fpga处理单元来进行数据读写时磁盘的i/o操作；所以，本装置无需外部系统的cpu介入进行数据读写调度，可避免cpu成为数据读写能力的瓶颈限制的问题。
19.通过上述设计，本发明以pcie总线接口或基于pcie的仪器扩展总线接口来作为高性能数据存取装置的管理控制接口，并以一套基于fpga的高速数据传输接口作为高性能数据存取装置与其他i/o模块之间，或多个级联或并联的高性能数据存取装置之间的高速数据传输通道，基于此，能够在兼顾模块的易用性、兼容性的同时，加强模块的数据传输能力、数据存取能力，以及与其他i/o模块的拓展配合能力，基于此，则可使得本发明在无需cpu介入调度的同时，具有高速数据存取、pcie总线系统支持、可模块化扩展以及拓扑连接可变特性，适应于在高速数据存取领域的大规模应用与推广。
20.在一个可能的设计中，所述高性能数据存取装置还包括：接口ip模块，其中，所述接口ip模块包含有至少一个mgt收发器，且所述fpga模块通过所述接口ip模块电连接各个所述上行数据传输接口和所述下行数据传输接口，以通过所述接口ip模块控制所述至少一个mgt收发器实现所述上行数据传输接口和所述下行数据传输接口的数据传输功能。
21.在一个可能的设计中，所述高性能数据存取装置还包括：至少一个dram模块，其中，所述fpga模块分别电连接各个dram模块；
22.所述fpga模块，用于在接收到从本机的上行数据传输接口或下行数据传输接口传输的高速数据流时，对所述高速数据流进行拆分处理以及编码处理，得到处理后的数据，并基于各个dram模块将处理后的数据并行写入各个存储模块；
23.所述fpga模块，还用于基于各个dram模块从各个存储模块中读取数据，并将读取的数据进行数据解码以及合并处理，得到解码合并后的数据，以便将解码合并后的数据通过本机的上行数据传输接口或下行数据传输接口发送至外部数据设备和/或所述信号收发设备。
24.在一个可能的设计中，所述上行数据传输接口和所述下行数据传输接口均采用多路全双工串行链路实现数据传输，且所述上行数据传输接口和所述下行数据传输接口采用的数据通信协议包括aurora协议。
25.在一个可能的设计中，所述上行数据传输接口和所述下行数据传输接口均采用nano-pitch接插件。
26.在一个可能的设计中，所述高性能数据存取装置还包括：控制总线接口连接器，其中，所述高性能数据存取装置通过所述控制总线接口连接器与基于pcie总线的数据传输设备的背板总线接口相连接，以实现所述高性能数据存取装置与基于pcie总线的数据传输设备之间的数据通信。
27.在一个可能的设计中，所述多个存储模块中的任一存储模块采用具有sata或nvme接口的固态硬盘。
28.在一个可能的设计中，所述基于pcie的仪器扩展总线接口包括：pxie总线接口、cpcie总线接口或vpx总线接口。
29.在一个可能的设计中，所述高性能数据存取装置采用如下方式与外部数据设备、所述信号收发设备或目标高性能数据存取装置进行数据传输；
30.高性能数据存取装置获取数据传输模式，其中，所述数据传输模式包括级联数据传输模式、点对点数据传输模式、并行数据传输模式、星形数据传输模式或以上任意传输模式相结合的复合数据传输模式；
31.若所述数据传输模式为级联数据传输模式，则所述高性能数据存取装置获取目标高性能数据存取装置的目的设备地址；
32.所述高性能数据存取装置从外部数据设备、所述信号收发设备或从其对应的各个存储模块中获取待传输的数据，并基于所述待传输的数据以及所述目的设备地址，生成数据包；
33.所述高性能数据存取装置利用对应的上行数据传输接口或下行数据传输接口，将所述数据包传输至所述高性能数据存取装置所连接的上一级高性能数据存取装置或下一级高性能数据存取装置中，以使所述上一级高性能数据存取装置或下一级高性能数据存取装置，判断所述数据包中的目的设备地址与本机设备地址是否一致，并在不一致时，将所述数据包再次进行传输，直至传输至所述目标高性能数据存取装置时为止；
34.若所述数据传输模式为点对点数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口或下行数据传输接口，将所述待传输的数据直接传输至所述外部数据设备或所述信号收发设备；或
35.所述高性能数据存取装置通过对应的上行数据传输接口或下行数据传输接口，从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中；
36.若所述数据传输模式为并行数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口和下行数据传输接口，将所述待传输的数据以多通道数据传输方式直接传输至所述外部数据设备或所述信号收发设备；或
37.所述高性能数据存取装置通过对应的上行数据传输接口和下行数据传输接口，以多通道数据传输方式从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中。
38.在一个可能的设计中，所述高性能数据存取装置采用如下方式确定数据传输模式；
39.所述高性能数据存取装置接收系统控制器发送的设备地址寻址指令，并通过对应的上行数据传输接口或下行数据传输接口向指定高性能数据存取装置发送设备地址询问信息，以接收所述指定高性能数据存取装置发送的目标设备地址，其中，所述指定高性能数据存取装置为与所述高性能数据存取装置具有连接关系的所有高性能数据存取装置；
40.所述高性能数据存取装置通过通信与控制总线接口，将自身设备地址和目标设备地址发送至系统控制器，以使所述系统控制器根据所述指定高性能数据存取装置所连接的上行数据传输接口和下行数据传输接口、所述目标设备地址和所述自身设备地址，确定出所述高性能数据存取装置与所述指定高性能数据存取装置之间的连接关系以及数据传输模式。
41.有益效果：
42.(1)本发明以pcie总线接口或基于pcie的仪器扩展总线接口来作为高性能数据存取装置的管理控制接口，并以一套基于fpga的高速数据传输接口作为高性能数据存取装置与其他i/o模块之间，或多个级联或并联的高性能数据存取装置之间的高速数据传输通道，基于此，能够在兼顾模块的易用性、兼容性的同时，加强模块的数据传输能力、数据存取能力，以及与其他i/o模块的拓展配合能力，基于此，则可使得本发明在无需cpu介入调度的同时，具有高速数据存取、pcie总线系统支持、可模块化扩展、拓扑连接可变以及高集成度的特性，适应于在高速数据存取领域的大规模应用与推广。
附图说明
43.图1为本发明实施例提供的高性能数据存取装置的架构示意图；
44.图2为本发明实施例提供的fpga模块的第一部分的电路图；
45.图3为本发明实施例提供的fpga模块的第二部分的电路图；
46.图4为本发明实施例提供的高速数据传输接口的电路图；
47.图5为本发明实施例提供的高性能数据存取装置的第一种应用结构示意图；
48.图6为本发明实施例提供的高性能数据存取装置的第二种应用结构示意图；
49.图7为本发明实施例提供的高性能数据存取装置的第三种应用结构示意图；
50.图8为本发明实施例提供的高性能数据存取装置的第四种应用结构示意图；
51.图9为本发明实施例提供的通信与控制总线接口的具体电路图。
具体实施方式
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
53.应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
54.应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
55.实施例：
56.参见图1～9所示，本实施例所提供的高性能数据存取装置，可以但不限于包括：fpga模块、通信与控制总线接口、多个基于fpga模块的高速数据传输接口以及多个存储模块，其中，所述fpga模块通过所述通信与控制总线接口通信连接系统控制器，以基于所述通
信与控制总线接口与所述系统控制器进行数据通信；基于此，使得本装置不仅可接受系统控制器的控制与管理，且pcie总线接口和基于pcie的仪器扩展总线接口具有成熟完善的硬件和软件生态系统，使得用户可以容易以此类总线平台为基础，添置多种i/o模块，并利用成熟的系统和数据管理软件对本装置进行控制和管理；另外，此类总线平台也提供模块化的架构，使得用户可以容易的利用不同种类和数量的模块对系统进行功能和能力的扩展；由此，则可大大提高本装置的兼容性以及扩展性。
57.在具体实施时，本装置是以fpag为核心而构建的，即包括有fpga模块以及多个基于fpga模块的高速数据传输接口，其中，fpga(field programmable gate array)器件属于专用集成电路中的一种半定制电路，是可编程的逻辑阵列，具有高速数据吞吐能力，以及高速逻辑和时序控制能力，适合用来作为高速串行总线、实时信号处理、时序逻辑、触发定时等功能的实现；同时，高性能的fpga芯片上通常具有多路mgt(multi-gigabit transceiver)，意即高速串行收发器，多路pcie资源，以及大量数字i/o通道，这些mgt、pcie资源和数字i/o通道可以实现fpga和外部数据设备的高速通信协议(如aurora、pcie、nvme、sata、serial rapidio、jesd204、usb协议等)；如此，高性能数据存取装置采用基于fpga的高速数据传输接口来进行数据传输，可大幅提高传输效率；在本实施例中，fpga处理单元的电路图可参见图2和图3所示，而高速数据传输接口的具体电路图则参见图4所示。
58.在具体应用时，所述fpga模块分别电连接各个存储模块以及各个高速数据传输接口，以便基于各个高速数据传输接口将一个或多个存储模块中存储的数据，传输至外部数据设备和/后信号收发设备；以及通过接收各个高速数据传输接口传输的数据(即外部数据设备和/或信号收发设备传输向本装置传输的数据)，并将接收的数据存储至一个或多个存储模块中。
59.更进一步的，举例多个高速数据传输接口包括上行数据传输接口和下行数据传输接口，如此，基于该种数据传输结构，即可实现高性能数据存取装置，与其他i/o设备(如外部数据设备或信号收发设备)以及其余各个高性能数据存取装置之间不同的连接方式。
60.在本实施例中，所述上行数据传输接口，用于通信连接信号收发设备或与所述高性能数据存取装置具有级联关系的前一级高性能数据存取装置的下行数据传输接口，所述下行数据传输接口用于通信连接所述信号收发设备或与所述高性能数据存取装置具有级联关系的后一级高性能数据存取装置的上行数据传输接口；如高性能数据存取装置可通过所述上行数据传输接口通信连接信号收发设备或与本机具有级联关系的前一级高性能数据存取装置的下行数据传输接口，并通过本机的下行数据传输接口通信连接与本机具有级联关系的后一级高性能数据存取装置的上行数据传输接口；如此，则可实现本机与信号收发设备及其余各个高性能数据存取装置之间的级联连接；又如，高性能数据存取装置，还可用于通过本机的上行数据传输接口和下行数据传输接口，通信连接所述信号收发设备的信号传输接口，即本机的一个高速数据传输接口，对应连接信号收发设备的一个信号传输接口，如此，则可使所述高性能数据存取装置基于本机的上行数据传输接口和下行数据传输接口，与信号收发设备实现并行连接；更进一步的，除了前述两种连接结构，还可基于前述连接结构，来进行连接扩展，从而使本机基于其对应的上行数据传输接口和/或下行数据传输接口，来与各信号收发设备以及其余高性能数据存取装置之间形成点对点连接方式、星形连接方式或以上任意连接方式相结合的复合连接方式。
61.在具体实施时，下述分别阐述前述更多的连接方式，即在存在多个高性能数据存取装置的情形下，若要形成点对点的连接方式，则每个高性能数据存取装置则通过自身的高速数据传输接口(即上行或下行数据传输接口)分别连接所述信号收发设备，从而使每个高性能数据存取装置与对应的信号收发设备之间以一对一的连接方式实现通信连接。
62.同时，若要形成星形连接方式，则可使用一个信号收发设备的每个信号传输接口，来连接多个高性能数据存取装置(即一个信号传输接口连接一个高性能数据存取装置)；同理，还在前述星形连接的基础上，进行级联连接，即一个信号收发设备使用其对应的信号传输接口，连接多个高性能数据存取装置，而每个高性能数据存取装置则通过各自对应的上行或下行数据传输接口，来级联连接下一级高性能数据存取装置，如此，则可使多个高性能数据存取装置与信号收发设备之间以星形与级联连接的复合连接方式来实现通信连接；当然，其余复合连接方式则不再一一赘述。
63.另外，在本实施例中，若存在多个信号收发设备，那么多个信号收发设备之间可级联连接，且级联连接的最后一个信号收发设备或第一个信号收发设备可通信连接高性能数据存取装置的高速数据传输接口，如此，可基于高性能存取装置，来实现多个信号收发设备之间的级联数据传输；当然，还可根据实际使用，来基于本装置实现不同的连接方式，以满足不同使用场景下的数据存取需求。
64.由此基于前述硬件结构，本装置可实现与其他i/o模块以及其余高性能数据存取装置之间的级联、对连、并联、星形连接或以上任意连接方式相结合的复合连接方式(如星形与级联相结合的复合连接方式)，如此，多个高性能数据存取装置相互之间，以及高性能数据存取装置与其他i/o模块之间可以实现非常灵活的拓扑连接结构，且每个高性能数据存取装置都能够提供24gb/s数据传输带宽，由此，使得本装置在扩展后，得到了远远高于传统系统的高性能的数据传输能力。
65.在本实施例中，举例基于pcie的仪器扩展总线接口可以但不限于包括：pxie总线接口、cpcie总线接口或vpx总线接口，且在具体应用时，优选采用pxie总线接口，其电路图可参见图9所示。
66.可选的，举例所述上行数据传输接口和所述下行数据传输接口均采用多路全双工串行链路实现数据传输，如可以但不限于设置为4-6路全双工串行链路；同时，举例所述上行数据传输接口和所述下行数据传输接口采用的数据通信协议包括aurora协议来实现数据通信，当然，可为其它协议，在此不限定于前述举例；更进一步的，所述上行数据传输接口和所述下行数据传输接口可以但不限于采用nano-pitch标准42针(不限于此标准)接插件作为紧凑且高速率的连接接口，其中，每个nano-pitch接口可提供至多6条速率高达16gbps的全双工aurora链路；如此通过前述设计，一方面，nano-pitch接插件具有5.0x 15.0x 9.0mm的紧凑尺寸和12.0mm连接器至电缆的装配高度，可以控制设备尺寸在非常紧凑的大小，从而降低设备体积，提高便携性；另一方面，其还具有极高的数据传输性能和方便的接插方式，如在前述6条全双工aurora链路的基础上，其可提供每方向96gbps或12gb/s的双向数据传输能力；而如果两个高性能数据存取装置之间以两个nano-pitch接口进行并联连接，则可以建立每方向192gbps或24gb/s的双向数据传输通道，从而实现高速率的数据传输；当然，前述数据仅是示意，不限于此链路条数和总速率。
67.由此通过前述设计，本装置以pcie总线接口或基于pcie的仪器扩展总线接口来作
为高性能数据存取装置的管理控制接口，并以一套基于fpga的高速数据传输接口作为高性能数据存取装置与其他i/o模块之间，或多个级联或并联的高性能数据存取装置之间的高速数据传输通道，基于此，可使得本发明在无需cpu介入调度的同时，具有高速数据存取、pcie总线系统支持、可模块化扩展以及拓扑连接可变的特性，从而满足高带宽信号数据存取和较多通道同时进行高速数据存取的需求。
68.为进一步的阐述本实施例所提供的高性能数据存取装置，下述提供前述高性能数据存取装置更为详细的电路结构：
69.一方面，参见图1所示，在本实施例中，举例所述高性能数据存取装置还可以但不限于包括：接口ip模块，其中，所述接口ip模块(图1中的mgt ip则表示接口ip模块)包含有至少一个mgt收发器，且所述fpga模块通过所述接口ip模块电连接各个所述上行数据传输接口和所述下行数据传输接口，以通过所述接口ip模块控制所述至少一个mgt收发器实现所述上行数据传输接口和所述下行数据传输接口的数据传输功能；基于此，即可基于前述mgt收发器来实现前述高速数据传输接口的高速传输特性，进而使fpga模块能够负责提供多端口的高速数据传输接口，并以高速数据传输特性来进行数据传输。
70.另一方面，举例所述高性能数据存取装置还可以但不限于包括：至少一个dram模块，其中，所述fpga模块分别电连接各个dram模块，其中，以高性能数据存取装置和信号收发设备与外部数据设备进行数据通信为例，来具体阐述其传输过程。
71.在本实施例中，在进行数据存储时，所述fpga模块，用于在接收到从本机的上行数据传输接口或下行数据传输接口传输的高速数据流时，对所述高速数据流进行拆分处理以及编码处理，得到处理后的数据，并基于各个dram模块将处理后的数据并行写入各个存储模块；同理，进行数据发送时，所述fpga模块，则用于基于各个dram模块从各个存储模块中读取数据，并将读取的数据进行数据解码以及合并处理，得到解码合并后的数据，以便将解码合并后的数据通过本机的上行数据传输接口或下行数据传输接口发送至外部数据设备和/或所述信号收发设备。
72.在具体实施时，举例任一存储模块(可以但不限于采用具有sata或nvme接口的固态硬盘)用于数据的存储，dram(动态随机存取内存)单元主要用于数据的缓冲，多个存储模块和dram单元协同工作，可以实现并行的数据存储和读取；参见图1所示，在本实施例中，fpga处理欧快上用于sata/nvme ssd控制和通信的ip以ip3标识，fpga模块上用于dram(图3中的dram则表示dram处理单元)的控制和通信的ip以ip4标识，其中，fpga模块则通过mgt ip(即前述接口ip模块)获得高速数据流，并将数据流拆分和编码，并行写入多组sata/nvme ssd，其写入过程利用dram单元进行数据缓冲，实现平稳数据写入；同理，读取的过程也是一样，fpga模块从多组sata/nvme ssd读取数据，且在读取过程中利用dram单元进行数据缓冲，然后解码恢复原始数据流，并通过mgt ip将数据流发送出去；由此，基于前述设计，高性能数据存取装置利用fpga的pcie资源、数字i/o通道以及对应的通信与控制总线接口，可直接由外部的系统控制器通过来进行fpga的管理调度，即向fpga模块发送相应的调度指令，从而使fpga模块基于指令进行数据读取与方式，并按照标准磁盘对象实现对于多组sata/nvme ssd的方便数据访问和管理；同时，在进行数据访问与管理时，依据其本身的fpga则可实现数据的调度，而无需系统控制器的cpu接入；基于此，可避免cpu成为数据读写能力的瓶颈限制的问题。
73.另外，在本实施例中，举例所述高性能数据存取装置还包括：控制总线接口连接器(如pxie连接器)，其中，所述高性能数据存取装置通过所述控制总线接口连接器与基于pcie总线的数据传输设备的背板总线接口相连接，以实现所述高性能数据存取装置与基于pcie总线的数据传输设备之间的数据通信；且在本实施例中，fpga模块(即fpga芯片)也连接板载flash，用于存放fpga固件程序，实现相应的控制功能。
74.综上所述，前述高性能数据存取装置则可在不同的数据模式下进行工作，分别为级联数据传输模式、点对点数据传输模式、并行数据传输模式、星形数据传输模式或以上任意传输模式相结合的复合数据传输模式(如星形与级联相结合的复合数据传输模式)，且其工作过程为：
75.首先，先进行地址的分配，以及数据传输关系的确定；在本实施例中，举例所述高性能数据存取装置采用如下方式确定数据传输模式；
76.所述高性能数据存取装置接收系统控制器发送的设备地址寻址指令，并通过对应的上行数据传输接口或下行数据传输接口向指定高性能数据存取装置发送设备地址询问信息，以接收所述指定高性能数据存取装置发送的目标设备地址，其中，所述指定高性能数据存取装置为与所述高性能数据存取装置具有连接关系的所有高性能数据存取装置；而后，所述高性能数据存取装置通过通信与控制总线接口，将自身设备地址和目标设备地址发送至系统控制器，以使所述系统控制器根据所述指定高性能数据存取装置所连接的上行数据传输接口和下行数据传输接口、所述目标设备地址和所述自身设备地址，确定出所述高性能数据存取装置与所述指定高性能数据存取装置之间的连接关系以及数据传输模式。
77.如此，前述确定过程则解释为：系统控制器通过通信与控制总线接口为每个高性能数据存取装置分配唯一的设备地址，然后控制每个高性能数据存取装置分别通过上行数据传输接口和下行数据传输接口(以及其他所有接口)对所连接的前一个和后一个高性能数据存取装置(以及其他所有连接的高性能数据存取装置)进行设备地址询问，并将询问到的上行和下行高性能数据存取装置(以及其他所有连接的高性能数据存取装置)的设备地址(即目标设备地址)通过总线控制器电路回传至系统控制器；而系统控制器则通过获取每个高性能数据存取装置自身设备地址、所连接的上行设备的地址、所连接的下行设备的地址，来得到所有高速数据存取设备的连接关系，从而根据连接关系，并通过通信与控制总线接口设置高速数据传输接口的具体工作模式。
78.基于此，在得到高性能数据存取装置所对应的连接关系后，则可进行数据传输：
79.在本实施例中，所述高性能数据存取装置采用如下方式与外部数据设备、信号收发设备或目标高性能数据存取装置进行数据传输。
80.首先，高性能数据存取装置获取数据传输模式，其中，所述数据传输模式包括级联数据传输模式、点对点数据传输模式、并行数据传输模式、星形数据传输模式以及以上任意传输模式相结合的复合数据传输模式；而后，高性能数据存取装置则可根据数据传输模式，来采用不同的方式进行数据传输，如下述所示。
81.若所述数据传输模式为级联数据传输模式，则所述高性能数据存取装置先获取目标高性能数据存取装置的目的设备地址；而后，所述高性能数据存取装置从外部数据设备、所述信号收发设备或从其对应的各个存储模块中获取待传输的数据，并基于所述待传输的数据以及所述目的设备地址，生成数据包；接着，所述高性能数据存取装置利用对应的上行
数据传输接口或下行数据传输接口，将所述数据包传输至所述高性能数据存取装置所连接的上一级高性能数据存取装置或下一级高性能数据存取装置中，以使所述上一级高性能数据存取装置或下一级高性能数据存取装置，判断所述数据包中的目的设备地址与本机设备地址是否一致，并在不一致时，将所述数据包再次进行传输，直至传输至所述目标高性能数据存取装置时为止。
82.如此，当高性能数据存取装置处于级联数据传输模式时，若某一个高性能数据存取装置需要通过高速数据传输接口与另一个高性能数据存取装置进行数据通信时，其通过设备连接关系和目标高速数据存取设备的设备地址，可确定是从上行数据传输接口还是下行数据传输接口进行数据通信；同时，在进行通信时，所有的数据均通过统一的帧结构进行组包，且每帧数据均包含设备地址和数据；如此，当高性能数据存取装置通过上行或下行数据传输接口接收到一帧数据，通过判断其中包含的设备地址是否与自身地址相同，来进行数据的接收与转发，即若相同则予以接收，若不相同则通过下行或上行接口进行数据转发，直至数据被目标高速数据存取设备接收；由此通过前述设计，所有级联高性能数据存取装置之间可通过最高96gbps或12gb/s数据率进行数据通信。
83.其次，若数据传输模式为点对点数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口或下行数据传输接口，将所述待传输的数据直接传输至所述外部数据设备或所述信号收发设备；或所述高性能数据存取装置通过对应的上行数据传输接口或下行数据传输接口，从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中。
84.基于此，当两个高性能数据存取装置处于点对点连接关系时(即装置处于点对点数据传输模式)，每个高性能数据存取装置的上行数据传输接口和下行数据传输接口(以及其他所有接口)可唯一与外部数据设备，所述信号收发设备，以及另一个高性能数据存取装置的上行数据传输接口和下行数据传输接口(以及其他所有接口)对连并行连接，此时，数据通信可无需通过帧结构组包而直接完成，且通过并联的高速数据传输接口可实现192gbps或24gb/s或更高的数据通信速率。
85.同理，若所述数据传输模式为并行数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口和下行数据传输接口，将所述待传输的数据以多通道数据传输方式直接传输至所述外部数据设备或所述信号收发设备；或所述高性能数据存取装置通过对应的上行数据传输接口和下行数据传输接口，以多通道数据传输方式从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中；如，假设高性能数据存取装置具有两个高速数据传输接口，那么，其与外部数据设备则可通过两条通道来实现数据的并行传输；当然，高速数据传输接口为其余数量时，数据传输过程与前述举例相同，于此不再赘述。
86.最后，当所有高性能数据存取装置处于星形连接关系，或星形和级联复合连接关系时，则可根据具体应用需求，采取帧结构数据组包或者直接对连数据传输的复合数据传输模式实现高性能数据存取装置之间的高速数据通信。
87.在一个可能的设计中，参见图5所示，本实施例第二方面提供前述实施例第一方面
中高性能数据存取装置的第一种应用结构，以通信与控制总线接口采用pxie总线接口为例，来进行具体阐述，如下述所示。
88.参见图5所示，pxie系统控制器通过pxie总线连接pxie信号收发设备和多个pxie高性能数据存取装置，以实现对所有pxie信号收发设备和高性能数据存取装置的控制和管理。
89.pxie信号收发设备是基于pxie总线的一种i/o模块，其同样具有一套多端口的高速数据传输接口，其作用是从外界接收并采集信号后，可利用其高速数据传输接口向高性能数据存取装置以高速率传输其采集到的数据。
90.pxie信号收发设备与其中一个高性能数据存取装置之间，通过pxie信号收发设备的下行数据传输接口连接高性能数据存取装置的上行数据传输接口，该高性能数据存取装置的下行数据传输接口进一步地级联连接下一个高性能数据存取装置的上行数据传输接口；如此一来，pxie信号收发设备可将采集到的信号数据以级联传输的方式向每个高性能数据存取装置传输和存储，而对于数据读取并做相应信号生成的工作流程，也是类似原理，只是信号的传输方向是相反的，于此不再赘述。
91.基于此，这种连接方式可完成原pxie系统无法做到的任务：1、以比pxie总线更高的单模块传输速率(＞8gb/s)在pxie模块之间实现数据传输；2、一个高性能数据存取装置存储容量用满之后，可利用级联连接的高速数据传输接口向下一级高性能数据存取装置传输数据，并继续存储，达到容量扩展的目的。
92.在一个可能的设计中，参见图6所示，本实施例第三方面提供前述实施例第一方面中高性能数据存取装置的第三种应用结构，同样以通信与控制总线接口采用pxie总线接口为例，来进行具体阐述，如下述所示。
93.参见图6所示，多个pxie信号收发设备分别与多个高性能数据存取装置一对一地通过pxie信号收发设备的下行数据传输接口连接相对应的高性能数据存取装置的上行数据传输接口；如此一来，每个pxie信号收发设备将具有独立的与之配合工作的高性能数据存取装置。
94.基于此，这种连接方式可完成原pxie系统无法做到的任务：1、以比pxie总线更高的单模块传输速率(＞8gb/s)在pxie模块之间实现数据传输；2、多通道信号采集存储和读取生成的数据率总和可大大超过pxie总线系统的总带宽(24gb/s)。
95.在一个可能的设计中，参见图7所示，本实施例第四方面提供前述实施例第一方面中高性能数据存取装置的第三种应用结构，同样以通信与控制总线接口采用pxie总线接口为例，来进行具体阐述，如下述所示。
96.参见图7所示，一个pxie信号收发设备与一个高性能数据存取装置以多对高速数据传输接口并行连接，如此一来，每个pxie信号收发设备将同时利用多组并行的高速数据传输接口与该高性能数据存取装置进行数据传输，达到数据传输速率成倍提升的效果。
97.如此，这种连接方式可完成原pxie系统无法做到的任务：1、实现特别高带宽(如≥4ghz瞬时带宽，≥20gb/s数据率)的信号的持续数据传输；2、实现单个信号收发设备上的多个高带宽信号通道(如4通道1ghz瞬时带宽，总计20gb/s数据率)同时与高性能数据存取装置之间进行持续数据传输。
98.在一个可能的设计中，参见图8所示，本实施例第五方面提供前述实施例第一方面
中中高性能数据存取装置的第四种应用结构，同样以通信与控制总线接口采用pxie总线接口为例，来进行具体阐述，如下述所示。
99.参见图8所示，一个pxie信号收发设备以其多个高速数据传输接口以星形连接方式分别连接多个高性能数据存取装置的上行数据传输接口，每个高性能数据存取装置的下行数据传输接口还可以进一步地级联连接下一个高性能数据存取装置的上行数据传输接口，如此一来，则可形成星形与级联相结合的复合连接方式，从而实每个pxie信号收发设备可将数据同时传输至多个高性能数据存取装置。
100.基于此，这种连接方式可完成原pxie系统无法做到的任务：1、以比pxie总线更高的单模块传输速率(＞8gb/s)在pxie模块之间实现数据传输；2、实现单个信号收发设备上的多个高带宽信号通道(如4通道1ghz瞬时带宽，总计20gb/s数据率)同时与多个高性能数据存取装置之间进行持续数据传输，从而使系统总计数据持续存储和读取速率不受限于单个高性能数据存取装置的持续读写速率；3、高性能数据存取装置可通过级联连接方式增加存储容量。
101.当然，前述应用结构仅是示例，在具体应用过程中，可根据本实施例所提供的高性能数据存取装置为基础，来基于不同的应用场景，构建出不同的数据扩展存取系统。
102.综上所述，本发明所提供的高性能数据存取装置具有如下有益效果：
103.(1)兼容性好。本发明可以以商用的pcie、cpcie、pxie或vpx标准实现高性能数据存取装置，从而可以利用这些总线平台的成熟硬件和软件生态体系，组合构建完整的信号采集、存储、读取、生成系统。
104.(2)高性能。高性能数据存取装置至系统控制器之间可采用pcie总线接口或基于pcie的仪器扩展总线接口连接，具有8gb/s模块接口带宽；高性能数据存取装置采用自身的高速数据传输接口与外部数据设备连接，总计可提供24gb/s数据传输带宽；如此，无论背板总线接口还是前面板高速数据传输接口，均可以满足绝大多数高速数据存取应用的需求。
105.(3)灵活拓扑连接。通过高速数据传输接口级联、对连、并联、星形连接等多种拓扑连接模式，以及不同拓扑连接组合的连接模式，多个高性能数据存取装置相互之间，以及高性能数据存取装置与系统中其他i/o模块之间可以实现非常灵活且高性能的数据传输能力，尤其对于依赖高速数据传输的多通道宽带射频应用帮助很大。
106.(4)方便易用。定制的高速数据存储系统通常采用专用高速数据接口总线如aurora、rapidio、lvds等，其定制专用性强，所以存储设备驱动和应用程序管理能力都相对较弱；而本发明在定制的高速数据传输接口基础上，同步实现了标准的pcie协议，从而可以利用操作系统标准的磁盘设备管理驱动和应用软件，使得系统控制器可以利用标准磁盘设备的管理软件对本系统进行方便有效的管理。
107.(5)集成度高。为实现本发明中高性能数据存取装置的功能，市面上常见的现有数据存取产品需要一个另行定制的数据传输模块以高速数据传输接口与信号收发设备连接，并通常以高速光纤接口再与单独的含有高速光纤接口模块的磁盘阵列存储设备连接；本发明将数据传输模块、高速光纤接口模块、磁盘阵列存储设备集成为一个装置，以便利用其内部的fpga、基于接口ip模块的fpga mgt接口和高速数据传输接口来代替传统的磁盘阵列存储设备和高速光纤接口模块，从而实现相应的高速数据存取功能。基于此，不再需要定制数据传输模块和高速光纤接口模块，不仅可大幅减小装置体积，也可大幅降低装置成本。
108.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种高性能数据存取装置，其特征在于，包括：fpga模块和通信与控制总线接口，其中，所述fpga模块通过所述通信与控制总线接口通信连接系统控制器，以基于所述通信与控制总线接口与所述系统控制器进行数据通信，且所述通信与控制总线接口包括pcie总线接口或基于pcie的仪器扩展总线接口；所述高性能数据存取装置还包括：多个基于fpga模块的高速数据传输接口以及多个存储模块，且所述fpga模块分别电连接各个存储模块以及各个高速数据传输接口；多个高速数据传输接口包括上行数据传输接口和下行数据传输接口；所述上行数据传输接口，用于通信连接信号收发设备或与所述高性能数据存取装置具有级联关系的前一级高性能数据存取装置的下行数据传输接口，所述下行数据传输接口用于通信连接所述信号收发设备或与所述高性能数据存取装置具有级联关系的后一级高性能数据存取装置的上行数据传输接口，以使所述高性能数据存取装置基于本机的上行数据传输接口和/或下行数据传输接口，与所述信号收发设备以及其余高性能数据存取装置之间形成级联连接方式、并行连接方式、点对点连接方式、星形连接方式或以上任意连接方式相结合的复合连接方式。2.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述高性能数据存取装置还包括：接口ip模块，其中，所述接口ip模块包含有至少一个mgt收发器，且所述fpga模块通过所述接口ip模块电连接各个所述上行数据传输接口和所述下行数据传输接口，以通过所述接口ip模块控制所述至少一个mgt收发器实现所述上行数据传输接口和所述下行数据传输接口的数据传输功能。3.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述高性能数据存取装置还包括：至少一个dram模块，其中，所述fpga模块分别电连接各个dram模块；所述fpga模块，用于在接收到从本机的上行数据传输接口或下行数据传输接口传输的高速数据流时，对所述高速数据流进行拆分处理以及编码处理，得到处理后的数据，并基于各个dram模块将处理后的数据并行写入各个存储模块；所述fpga模块，还用于基于各个dram模块从各个存储模块中读取数据，并将读取的数据进行数据解码以及合并处理，得到解码合并后的数据，以便将解码合并后的数据通过本机的上行数据传输接口或下行数据传输接口发送至外部数据设备和/或所述信号收发设备。4.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述上行数据传输接口和所述下行数据传输接口均采用多路全双工串行链路实现数据传输，且所述上行数据传输接口和所述下行数据传输接口采用的数据通信协议包括aurora协议。5.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述上行数据传输接口和所述下行数据传输接口均采用nano-pitch接插件。6.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述高性能数据存取装置还包括：控制总线接口连接器，其中，所述高性能数据存取装置通过所述控制总线接口连接器与基于pcie总线的数据传输设备的背板总线接口相连接，以实现所述高性能数据存取装置与基于pcie总线的数据传输设备之间的数据通信。7.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述多个存储模块中
的任一存储模块采用具有sata或nvme接口的固态硬盘。8.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述基于pcie的仪器扩展总线接口包括：pxie总线接口、cpcie总线接口或vpx总线接口。9.根据权利要求1所述的一种高性能数据存取装置，其特征在于，高性能数据存取装置采用如下方式与外部数据设备、所述信号收发设备或目标高性能数据存取装置进行数据传输；高性能数据存取装置获取数据传输模式，其中，所述数据传输模式包括级联数据传输模式、点对点数据传输模式、并行数据传输模式、星形数据传输模式或以上任意传输模式相结合的复合数据传输模式；若所述数据传输模式为级联数据传输模式，则所述高性能数据存取装置获取目标高性能数据存取装置的目的设备地址；所述高性能数据存取装置从外部数据设备、所述信号收发设备或从其对应的各个存储模块中获取待传输的数据，并基于所述待传输的数据以及所述目的设备地址，生成数据包；所述高性能数据存取装置利用对应的上行数据传输接口或下行数据传输接口，将所述数据包传输至所述高性能数据存取装置所连接的上一级高性能数据存取装置或下一级高性能数据存取装置中，以使所述上一级高性能数据存取装置或下一级高性能数据存取装置，判断所述数据包中的目的设备地址与本机设备地址是否一致，并在不一致时，将所述数据包再次进行传输，直至传输至所述目标高性能数据存取装置时为止；若所述数据传输模式为点对点数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口或下行数据传输接口，将所述待传输的数据直接传输至所述外部数据设备或所述信号收发设备；或所述高性能数据存取装置通过对应的上行数据传输接口或下行数据传输接口，从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中；若所述数据传输模式为并行数据传输模式，则所述高性能数据存取装置从其对应的各个存储模块中读取待传输的数据，并通过对应的上行数据传输接口和下行数据传输接口，将所述待传输的数据以多通道数据传输方式直接传输至所述外部数据设备或所述信号收发设备；或所述高性能数据存取装置通过对应的上行数据传输接口和下行数据传输接口，以多通道数据传输方式从外部数据设备或所述信号收发设备获取待存储的数据，并将待存储的数据存储至该高性能数据存取装置对应的各个存储模块中。10.根据权利要求1所述的一种高性能数据存取装置，其特征在于，所述高性能数据存取装置采用如下方式确定数据传输模式；所述高性能数据存取装置接收系统控制器发送的设备地址寻址指令，并通过对应的上行数据传输接口或下行数据传输接口向指定高性能数据存取装置发送设备地址询问信息，以接收所述指定高性能数据存取装置发送的目标设备地址，其中，所述指定高性能数据存取装置为与所述高性能数据存取装置具有连接关系的所有高性能数据存取装置；所述高性能数据存取装置通过通信与控制总线接口，将自身设备地址和目标设备地址发送至系统控制器，以使所述系统控制器根据所述指定高性能数据存取装置所连接的上行
数据传输接口和下行数据传输接口、所述目标设备地址和所述自身设备地址，确定出所述高性能数据存取装置与所述指定高性能数据存取装置之间的连接关系以及数据传输模式。

技术总结
本发明公开了一种高性能数据存取装置，本发明以PCIe总线接口或基于PCIe的仪器扩展总线接口来作为高性能数据存取装置的管理控制接口，并以一套基于FPGA的高速数据传输接口作为高性能数据存取装置与其他I/O模块之间，或多个级联或并联的高性能数据存取装置之间的高速数据传输通道，基于此，能够在兼顾模块的易用性、兼容性的同时，加强模块的数据传输能力、数据存取能力，以及与其他I/O模块的拓展配合能力，基于此，则可使得本发明在无需CPU介入调度的同时，具有高速数据存取、PCIe总线系统支持、可模块化扩展以及拓扑连接可变的特性，适应于在高速数据存取领域的大规模应用与推广。广。广。


技术研发人员：刘岑炜 杨健熙 黄俊翔
受保护的技术使用者：成都立思方信息技术有限公司
技术研发日：2023.06.06
技术公布日：2023/9/12