一种智能网卡、云服务器和流量转发的方法与流程
未命名
07-23
阅读:107
评论:0
1.本发明涉及网络技术领域,特别涉及一种智能网卡、云服务器和流量转发的方法。
背景技术:
2.虚拟交换机(vswitch)是通过软件实现的用于转发vm到vm之间流量的虚拟交换机,为云上虚拟机提供网络虚拟化的核心组件,负责虚拟机之间的网络流量转发。
3.参照图1所示的数据流转发示意图,vswitch一方面需要把虚拟机虚拟网卡队列发出的数据流量根据转发规则转发到物理网卡,另一方面需要从物理网卡接收数据流量再从虚拟机的虚拟网卡发给虚拟机。
4.为了提升转发性能一般采用vswitch进程的每个cpu和对应的虚拟网卡和物理网卡队列绑定,每个cpu只处理特定的虚拟网卡和物理网卡队列。但这样的处理机制就会导致vm的同一个数据流(即源、目的端口,源、目的ip,协议号五元组相同的flow)的正向数据包和反向数据包可能由不同的cpu处理。所以就导致不同的cpu需要共享同一个会话(session)信息。这样session的创建和删除就不可避免的需要加锁来避免并发,会带来性能损失。
5.为了解决上述加锁带来性能损失的问题,当前一些实现将session限制在单一cpu去处理,其流程流转发过程可参照图2所示,每个flow从相应队列到达该队列对应的cpu后,由该cpu通过核间通信转发给被选中处理该session的cpu,反向的数据流(flow)同理,也通过核间通信的方式,被转发至该选中的cpu进行处理,这样,可保证将正反两个数据流都集中于一个cpu上处理,解决了加锁带来性能损失的问题,但核间通信同样消耗了系统资源,拉低整体性能。
6.随着云计算的发展,云厂商为云主机(虚拟机)提供计算虚拟化,网络虚拟机和存储虚拟化的开销越来越大,为了解决这些虚拟化开销带来的各种问题,当前云厂商普遍采用了智能网卡方案。与使用非智能网卡场景情况(例如前述图1和图2的情况)类似,在使用智能网卡的场景下,同样存在加锁降低系统资源或者核间通信带来的系统资源损耗的问题。
技术实现要素:
7.鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种智能网卡、云服务器和流量转发的方法。
8.第一方面,本发明实施例提供一种智能网卡,包括:网络虚拟化组件和物理网卡,对称哈希模块和与所述对称哈希模块连接的多组数据流转发队列;网络虚拟化组件侧运行有多个软件cpu;
9.所述数据流转发队列被设置为与唯一的软件cpu对应;
10.所述对称哈希模块用于分别与物理网卡和虚拟机通信连接,对虚拟机发送的正向数据流的五元组信息和物理网卡发送的反向数据流的五元组信息分别进行对称哈希运算,
并根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,以使得所述属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。
11.在一个实施例中,每组数据流转发队列包括:第一转发队列和第二转发队列;其中:
12.所述对称哈希模块,具体用于对所述正向数据流的五元组信息进行对称哈希运算,根据所述对称哈希运算得到的哈希值,将所述正向数据流发送至所述哈希值对应的第一转发队列中;以及对所述反向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将反向数据流发送至所述哈希值对应的第二转发队列中。
13.在一个实施例中,所述网络虚拟化组件,进一步用于通过所述第一转发队列对应的软件cpu,将所述正向数据流转发至第二转发队列,以使得与第二转发队列连接的物理网卡从所述第二转发队列中获取所述正向数据流并向外发送。
14.在一个实施例中,所述网络虚拟化组件,进一步用于通过所述第二转发队列对应的软件cpu,将所述反向数据流转发至第一转发队列,以使得与所述第二转发队列连接的虚拟机的虚拟网卡,从所述第一转发队列中获取所述反向数据流并发送至所述虚拟机。
15.在一个实施例中,智能网卡还包括:虚拟网卡队列和物理网卡队列;
16.所述对称哈希模块,具体用于从所述虚拟网卡队列中获取虚拟机发送的所述正向数据流,以及从所述物理网卡队列中获取物理网卡发送的所述反向数据流。
17.在一个实施例中,所述对称哈希模块通过智能网卡上的硬件模块实现。
18.在一个实施例中,数据流转发队列为硬件转发队列,通过硬件通路与所述对称哈希模块通信连接。
19.第二方面,本发明实施例提供一种云服务器,所述云服务器上运行的至少一个虚拟机;以及与所述至少一个虚拟机通信连接的如前述的智能网卡;
20.所述智能网卡与所述至少一个虚拟机通信连接。
21.第三方面,本发明实施例提供一种采用如前述的智能网卡进行流量转发的方法,包括:
22.对虚拟机发送的正向数据流和物理网卡发送的反向数据流分别进行对称哈希运算;
23.根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,以使得所述属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。
24.在一个实施例中,所述根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,包括:
25.对所述正向数据流的五元组信息进行对称哈希运算,根据所述对称哈希运算得到的哈希值,将所述正向数据流发送至所述哈希值对应的第一转发队列中;以及对所述反向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将反向数据流发送至所述哈希值对应的第二转发队列中。
26.本发明实施例提供的上述技术方案的有益效果至少包括:
27.本发明实施例中,从虚拟机出来的正向数据流,或者从物理网卡进入的反向数据
流,先进入对称哈希模块进行对称哈希的处理,再根据哈希值进入对应的数据流转发队列,由于数据流转发队列与vswitch侧软件cpu具有唯一对应关系,一方面,经由对称哈希模块处理过的属于同一会话的正向数据流和反向数据流会根据对称哈希的hash结果,发送至同一组数据流转发队列,同一个session不会跨cpu处理,可以实现session的新建、删除无锁化,大大提升了网络虚拟化组件的新建链接性能,可以很好地解决现有技术加锁带来的系统性能损失的问题;另一方面,由于先由对称哈希模块处理,再将正向数据流或反向数据流转交给软件cpu处理的方式,也可以在保证正确转发的基础上,避免核间通信所带来的系统开销问题。
28.进一步地,上述对称哈希模块和数据流转发队列采用硬件模块而非软件实现,一方面,硬件转发的可靠性较高,另一方面,硬件实现的方式,也可以避免对cpu资源的占用导致系统性能降低的问题。
29.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
30.下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
31.附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
32.图1、2和图3为现有技术中流量转发例子的示意图;
33.图4和5为智能网卡的常见架构示意图;
34.图6为本发明实施例中智能网卡的结构示意图;
35.图7为本发明实施例中智能网卡进行流量转发的例子的示意图;
36.图8为本发明实施例中云服务器的结构示意图;
37.图9为采用本发明实施例提供的智能网卡进行流量转发的方法的流程图。
具体实施方式
38.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
39.为了方便理解,在现有技术和本发明实施例之前,首先对涉及到的几个专业术语进行简单说明:
40.宿主机(host):即物理服务器。
41.虚拟机(vm,virtual machine):在物理服务器上通过虚拟化技术创建的虚拟服务器。
42.智能网卡(smartnic/dpu):能够将host由cpu执行的一些操作,如流量转发,网络处理等卸载到网卡硬件完成的硬件可编程网卡。
43.虚拟交换机(vswitch):通过软件实现的用于转发vm到vm之间流量的虚拟交换机。
integrated circuit)或网络处理器(np,network processor)实现,用来加速或卸载软件cpu上的相关组件逻辑。
55.对于网络虚拟化中的典型的应用程序vswitch,无论哪种实现,总需要cpu部分参与转发。为了提升cpu部分的转发性能,现有技术中,通常vswitch可采用基于dpdk的用户态实现,并且采用轮询(polling)的方式从网卡队列轮训收发报文。
56.如图3所示,宿主机上的虚拟机的虚拟网卡通过多个硬件队列将报文传递到智能网卡上,智能网卡上的vswitch进程通过polling的方式依次对每个队列的报文进行收取,然后从物理网卡的mac队列发出。不过这和非智能网卡下的场景情况类似,仍然存在一个会话(session)的两个flow在不同cpu上处理,导致session的新建删除需要加锁或核间通信开销。
57.为了解决现有技术的上述问题,本发明实施例提供了一种智能网卡,参照图6所示,该智能网卡包括:网络虚拟化组件和物理网卡,对称哈希模块和与所述对称哈希模块连接的多组数据流转发队列;网络虚拟化组件侧运行有多个软件cpu;
58.每个数据流转发队列被设置为与唯一的软件cpu对应;
59.对称哈希模块用于分别与物理网卡和虚拟机通信连接,对虚拟机发送的正向数据流和物理网卡发送的反向数据流分别进行对称哈希运算,并根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的数据流转发队列,以使得属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。
60.本发明实施例中,任何一组数据流转发队列不能对应多个软件cpu,但一个cpu可以对应多个不同的数据流转发队列,具体来说,每组数据流转发队列被设置为与唯一的软件cpu对应,可包括多种情形:
61.1、数据流转发队列与软件cpu被设置为一一对应的关系;
62.2、两个以上的数据流转发队列与同一个cpu具有对应关系的情况;
63.3、上述情形1和情形2同时存在的混合情形。
64.上述智能网卡中的网络虚拟组件,例如可以为虚拟交换机(vswitch),网络虚拟组件侧运行多个软件cpu(vswitch cpu),多组数据流转发队列的数量,可以根据实际需求设置,例如可预先设置与vswitch cpu的数量一致,并且存在唯一的绑定的关系。
65.智能网卡中有多个软件cpu,vswitch只使用了其中一部分,在本发明实施例中,将这部分的软件cpu的资源称为vswitch cpu。
66.为了方便说明,在本发明实施例中,将host上的虚拟机向外发送的数据流称为正向数据流,将返回给虚拟机的数据流称为反向数据流,正向和反向表示数据流的相对方向而已,并不对于其含义构成限制。
67.与现有技术(例如图2或图3中)每个flow从虚拟网卡相应队列到达cpu后再进行对称哈希的运算再将flow转交给哈希值选中的cpu不同,本发明实施例中,从虚拟机(例如从虚拟网卡)出来的flow,或者从物理网卡进入的flow,直接先进入对称哈希模块进行对称哈希的处理,再根据哈希值进入对应的数据流转发队列,由于一组数据流转发队列对应唯一的vswitch侧软件cpu,一方面,经由对称哈希模块处理过的属于同一会话的正向数据流和反向数据流会根据对称哈希的hash结果,发送至同一组数据流转发队列,继而被同一个软
件cpu处理,可以很好地解决加锁带来的系统性能损失的问题,另一方面,由于先由对称哈希模块处理,再将正向数据流或反向数据流转交给软件cpu处理的方式,也可以在保证正确转发的基础上,避免核间通信所带来的系统开销问题。
68.在一个实施例中,上述对称哈希模块例如可通过智能网卡上的硬件模块实现。例如智能网卡的fpga、asic、np等硬件上的模块实现。
69.在一个实施例中,数据流转发队列为硬件转发队列,通过硬件通路与对称哈希模块通信连接。
70.对称哈希模块、数据流转发队列采用硬件模块而非软件实现,一方面,硬件转发的可靠性较高,另一方面,硬件实现的方式,也可以避免对cpu资源的占用所带来的系统性能降低。
71.在一个实施例中,上述智能网卡中,参照图6所示,每组数据流转发队列包括:第一转发队列和第二转发队列;
72.相对应地,上述对称哈希模块,具体用于对正向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将正向数据流发送至哈希值对应的第一转发队列中;以及对反向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将反向数据流发送至哈希值对应的第二转发队列中。
73.对称哈希的计算可保证五元组信息中发送方和接收方信息正好相反的数据流所计算出来的哈希值保持一致,具体对称哈希计算的过程在此不再赘述。
74.在本发明实施例中,第一转发队列如图6中白色方框所示,第二转发队列如图6的灰色方框所示,一个第一转发队列和一个第二转发队列可构成一组数据流转发队列,如图6所示例如可以有多组,组的数量与vswitch侧软件cpu的数量相同,并且通过预先绑定的方式,将每组数据流转发队列,与一个软件cpu进行绑定。
75.进一步地,上述网络虚拟化组件,进一步用于通过第一转发队列对应的软件cpu,将从正向数据流转发至第二转发队列,以使得与第二转发队列连接的物理网卡从第二转发队列中获取正向数据流并向外发送。
76.软件cpu将从正向数据流进行转发处理时,由于正向数据流最终的目的地可能是其他宿主机,此时,需要将其转发至第二转发队列,此时不再经过对称哈希模块,而直接由物理网卡从第二队列中获取并继续向外发送。
77.进一步地,上述网络虚拟化组件,进一步用于通过第二转发队列对应的软件cpu,将反向数据流转发至第一转发队列,以使得与第二转发队列连接的虚拟机的虚拟网卡,从第一转发队列中获取反向数据流并发送至虚拟机。
78.对于反向数据流,因为其最终的目的地是vm,因此,需要经过软件cpu转发至第一转发队列,使得虚拟网卡可以从第一转发队列中获取反向数据流并发送至虚拟机。此时,也不需要再经过对称哈希模块进行进一步的处理。
79.在一个实施例中,上述智能网卡,参照图6所示,还可以包括:虚拟网卡队列和物理网卡队列;
80.上述对称哈希模块,具体用于从虚拟网卡队列中获取虚拟机发送的正向数据流,以及从物理网卡队列中获取物理网卡发送的反向数据流。
81.以一个实际的网络通信的例子来说明本发明实施例提供的上述智能网卡的结构
和工作过程;
82.参照图7所示,物理服务器(host)上设置有vm1和vm2,vm1和vm2分别通过虚拟网卡队列与智能网卡的对称hash模块通信连接,对称hash模块连接两类队列,一类为汇聚队列,另一类为来自物理网卡经过对称哈希运算后的队列,所有vm侧的虚拟网卡队列不再和智能网卡cpu侧的队列一一对应,而是接入对称hash模块,从vm虚拟网卡队列发出的正向数据流通过对称hash模块进行对称hash运算后,根据所得到hash值从不同汇聚队列上送给智能网卡侧的cpu;
83.来自物理网卡的反向数据流也直接接入对称hash模块,通过对报文信息中五元组信息进行对称hash计算,根据hash值发送到不同的cpu侧队列,cpu侧的队列数和vswitch使用的cpu个数相同;
84.这样,vswitch侧每个cpu接管处理两个队列,一个是来自vm方向的汇聚队列,一个是来自物理网卡经过hash后的队列;
85.由于无论是vm的发送方向,还是物理网卡的接收(vm的接收)方向,同一个会话session的两个flow经过对称hash会得到相同的hash值,因此会分配至同一组(一个汇聚队列和一个物理网卡侧队列构成一组)队列处理。
86.例如,图7中虚线所示,从vm1发送出去的正向数据流经过对称hash模块进行对称哈希计算后,根据哈希值,被送入汇聚队列1,经过汇聚队列1到达vswitch侧的cpu2,cpu2处理后,再经由队列1’(与汇聚队列1为同一组)到达物理网卡,并由物理网卡发送出去。
87.对于属于同一会话,源和目的端口、源和目的ip正好与前述正向数据流相反的反向数据流,经由物理网卡接收后,经过对称hash模块到队列1’中,并同样被队列1’侧的cpu1处理,然后由cpu2转发至汇聚队列1,以便反向数据流最终到达vm1。
88.上述数据流转发过程中,由于一组队列是同一个cpu即cpu2处理的,也就实现了出入方向在同一个vswitch cpu上处理,进而保证了同一个session不会跨cpu处理,可以实现session的新建、删除等无锁化,大大提升了vswitch的新建链接性能。
89.本发明实施例还提供了一种云服务器,参照图8所示,该云服务器上运行的至少一个虚拟机;以及与所述至少一个虚拟机通信连接的如前述的智能网卡;
90.智能网卡与至少一个虚拟机通信连接。
91.基于同一发明构思,本发明实施例还提供了一种采用如前述的智能网卡进行流量转发的方法,由于这些方法所解决问题的原理与前述装置相似,因此该方法的实施可以参见前述智能网卡的实施,重复之处不再赘述。
92.本发明实施例提供的一种采用如前述实施例提供的智能网卡进行流量转发的方法,参照图9所示,包括:
93.s91、对虚拟机发送的正向数据流和物理网卡发送的反向数据流分别进行对称哈希运算;
94.s92、根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,以使得所述属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。
95.本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
96.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
97.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
98.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
99.显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
技术特征:
1.一种智能网卡,包括:网络虚拟化组件和物理网卡,其特征在于,还包括:对称哈希模块和与所述对称哈希模块连接的多组数据流转发队列;网络虚拟化组件侧运行有多个软件cpu;所述数据流转发队列被设置为与唯一的软件cpu对应;所述对称哈希模块用于分别与物理网卡和虚拟机通信连接,对虚拟机发送的正向数据流的五元组信息和物理网卡发送的反向数据流的五元组信息分别进行对称哈希运算,并根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,以使得所述属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。2.如权利要求1所述的智能网卡,其特征在于,每组数据流转发队列包括:第一转发队列和第二转发队列;其中:所述对称哈希模块,具体用于对所述正向数据流的五元组信息进行对称哈希运算,根据所述对称哈希运算得到的哈希值,将所述正向数据流发送至所述哈希值对应的第一转发队列中;以及对所述反向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将反向数据流发送至所述哈希值对应的第二转发队列中。3.如权利要求2所述的智能网卡,其特征在于,所述网络虚拟化组件,进一步用于通过所述第一转发队列对应的软件cpu,将所述正向数据流转发至第二转发队列,以使得与第二转发队列连接的物理网卡从所述第二转发队列中获取所述正向数据流并向外发送。4.如权利要求2所述的智能网卡,其特征在于,所述网络虚拟化组件,进一步用于通过所述第二转发队列对应的软件cpu,将所述反向数据流转发至第一转发队列,以使得与所述第二转发队列连接的虚拟机的虚拟网卡,从所述第一转发队列中获取所述反向数据流并发送至所述虚拟机。5.如权利要求2所述的智能网卡,其特征在于,还包括:虚拟网卡队列和物理网卡队列;所述对称哈希模块,具体用于从所述虚拟网卡队列中获取虚拟机发送的所述正向数据流,以及从所述物理网卡队列中获取物理网卡发送的所述反向数据流。6.如权利要求1-4任一项所述的智能网卡,其特征在于,所述对称哈希模块通过智能网卡上的硬件模块实现。7.如权利要求6所述的智能网卡,其特征在于,数据流转发队列为硬件转发队列,通过硬件通路与所述对称哈希模块通信连接。8.一种云服务器,其特征在于,所述云服务器上运行的至少一个虚拟机;以及与所述至少一个虚拟机通信连接的如权利要求1-7任一项所述的智能网卡;所述智能网卡与所述至少一个虚拟机通信连接。9.一种采用如权利要求1-7任一项所述的智能网卡进行流量转发的方法,其特征在于,包括:对虚拟机发送的正向数据流和物理网卡发送的反向数据流分别进行对称哈希运算;根据对称哈希运算结果,将属于同一个会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,以使得所述属于同一会话的正向数据流和反向数据流通过与所述数据流转发队列对应的软件cpu进行转发。10.如权利要求9所述的方法,其特征在于,所述根据对称哈希运算结果,将属于同一个
会话的正向数据流和反向数据流发送至所述对称哈希运算结果对应的所述数据流转发队列,包括:对所述正向数据流的五元组信息进行对称哈希运算,根据所述对称哈希运算得到的哈希值,将所述正向数据流发送至所述哈希值对应的第一转发队列中;以及对所述反向数据流的五元组信息进行对称哈希运算,根据对称哈希运算得到的哈希值,将反向数据流发送至所述哈希值对应的第二转发队列中。
技术总结
本发明公开了一种智能网卡、云服务器和流量转发的方法。智能网卡包括:网络虚拟化组件和物理网卡,对称哈希模块和与对称哈希模块连接的多组数据流转发队列;网络虚拟化组件侧运行有多个软件CPU;数据流转发队列被设置为与唯一的软件CPU对应;对称哈希模块用于分别与物理网卡和虚拟机通信连接,对虚拟机发送的正向数据流的五元组信息和物理网卡发送的反向数据流的五元组信息分别进行对称哈希运算,将属于同一个会话的正反向数据流发送至运算结果对应的数据流转发队列,使得属于同一会话的正向数据流和反向数据流通过与数据流转发队列对应的软件CPU进行转发。本发明去除了会话跨CPU的锁开销和核间通信开销,大大提升了新建连接性能。建连接性能。建连接性能。
技术研发人员:吕怡龙 肖龙彪 陈子康
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2023.03.20
技术公布日:2023/7/21
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
