HCI系统中的加速生命周期管理的制作方法

未命名 10-18 阅读:106 评论:0

hci系统中的加速生命周期管理
技术领域
1.本公开总体上涉及信息处理系统,并且更具体地,涉及用于在诸如超融合基础架构(hci)集群的集群环境中加速生命周期管理事件的技术。


背景技术:

2.随着信息的价值和使用不断增加,个体和企业寻求另外的方式来处理和存储信息。用户可用的一个选项是信息处理系统。信息处理系统通常处理、编译、存储和/或传达用于企业、个人或其他目的的信息或数据,从而允许用户利用信息的价值。由于技术和信息处理需要和要求在不同的用户或应用之间有所不同,因此信息处理系统也可能在以下方面有所不同:处理什么信息,如何处理信息,处理、存储或传达多少信息,以及可多快速且多高效地处理、存储或传达信息。信息处理系统的变化允许信息处理系统是通用的或者针对特定用户或特定用途(诸如财务事务处理、航班预定、企业数据存储或全球通信) 进行配置。另外,信息处理系统可包括可被配置为处理、存储和传达信息的多种硬件和软件部件,并且可包括一个或多个计算机系统、数据存储系统和联网系统。
3.超融合基础架构(hci)是将存储、计算和联网组合到单个系统中以试图降低数据中心复杂性并提高可扩展性的it框架。超融合平台可包括用于虚拟化计算、软件定义存储和虚拟化联网的管理程序,并且它们通常在标准的现成服务器上运行。一种类型的hci解决方案是dell emc vxrail
tm
系统。hci系统的一些示例可在各种环境(例如,hci管理系统,诸如esxi
tm
环境或任何其他hci 管理系统)中操作。hci系统的一些示例可作为软件定义存储(sds)集群系统(例如,sds集群系统,诸如vsan
tm
或任何其他sds 集群系统)操作。
4.在hci背景(以及其他背景)下,出于各种目的,信息处理系统可执行虚拟机(vm)。vm一般可包括可执行指令的任何程序或可执行指令的程序集合,该程序或程序集合被配置为在管理程序或主机操作系统上执行客户操作系统,以便通过或结合管理程序/主机操作系统起作用来管理和/或控制诸如存储器、中央处理单元时间、磁盘空间以及输入和输出装置的硬件资源的分配和使用,并且提供此类硬件资源和由客户操作系统托管的应用程序之间的接口。
5.hci系统通常定期升级以利用新版本的软件和固件的改进和附加特征,这被称为执行生命周期管理(lcm)升级。如本文所使用,术语lcm是指用于升级信息处理系统的集群内的部件(例如,软件和/ 或固件部件)的过程。
6.当升级hci系统时,可能暂时无法访问一些资源,包括计算、存储和联网资源。因此,期望减少升级所花费的时间。
7.此外,期望能够在无需任何停机或服务中断的情况下进行lcm 升级。在一个实施方案中,hci集群的每个主机可以循环方式进入维护模式和退出维护模式,使得仍可经由集群中的其他主机来访问数据。当主机进入维护模式时,现有的vm可迁移到其他主机,并且直到维护模式结束才能创建新的vm。在主机升级并且退出维护模式之后,由于在主机的维护
模式期间持续进行的集群输入/输出(i/o),可能需要数据再同步。这个再同步会延长整体lcm时间。
8.因此,本公开的实施方案可提供用于减少lcm事件所需的时间的技术。
9.应当注意,在本公开的背景技术部分中对技术的讨论不构成对现有技术状况的承认。除非清楚且明白地表明,否则本文中不作出这种承认。


技术实现要素:

10.根据本公开的教导,可减少或消除与生命周期管理相关联的缺点和问题。
11.根据本公开的实施方案,一种信息处理系统可包括至少一个处理器和存储器。所述信息处理系统可被配置为通过以下操作来执行信息处理系统集群的多个主机的升级:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。
12.根据本公开的这些和其他实施方案,一种用于执行信息处理系统集群的多个主机的升级的计算机实现的方法可包括:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。
13.根据本公开的这些和其他实施方案,一种制品可包括非暂时性计算机可读介质,所述非暂时性计算机可读介质上具有计算机可执行指令,所述计算机可执行指令可由信息处理系统的处理器执行以通过以下操作来执行信息处理系统集群的多个主机的升级:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。
14.从本文所包括的附图、描述和权利要求中,本公开的技术优点对本领域技术人员来说可显而易见。实施方案的目的和优点将至少通过权利要求中特别地指出的要素、特征和组合来达成和实现。
15.将理解,以上大体描述和以下详细描述都是示例并且是解释性的,而不是对本公开中阐述的权利要求的限制。
附图说明
16.通过参考结合附图进行的以下描述,可获得对本发明实施方案及其优点的更全面理解,在附图中,相同的附图标记指示相同的特征,并且其中:
17.图1示出了根据本公开的实施方案的示例信息处理系统的框图;
18.图2示出了根据本公开的实施方案的示例集群升级事件的框图;并且
19.图3示出了根据本公开的实施方案的示例过程流程。
具体实施方式
20.通过参考图1至图3最佳地理解优选实施方案及其优点,其中相同的附图标记用于指示相同和对应的部分。
21.出于本公开的目的,术语“信息处理系统”可包括可操作来计算、分类、处理、传输、接收、检索、产生、切换、存储、显示、表明、检测、记录、再现、处理或利用任何形式的信息、情报或数据以用于商业、科学、控制、娱乐或其他目的的任何工具或工具集合。例如,信息处理系统可以是个人计算机、个人数字助理(pda)、消费型电子装置、网络存储装置或任何其他合适的装置,并且可在大小、形状、性能、功能性和价格方面有所不同。信息处理系统可包括存储器、一个或多个处理资源(诸如中央处理单元(“cpu”)或者硬件或软件控制逻辑)。信息处理系统的附加部件可包括一个或多个存储装置、用于与外部装置进行通信的一个或多个通信端口以及各种输入/输出(“i/o”)装置(诸如键盘、鼠标和视频显示器)。信息处理系统还可包括可操作来在各种硬件部件之间传输通信的一条或多条总线。
22.出于本公开的目的,当两个或更多个元件被称为彼此“耦合”时,该术语指示此类两个或更多个元件在适用的情况下处于电子通信或机械连通,无论是直接还是间接连接、是具有还是不具有中间元件都是如此。
23.当两个或更多个元件被称为彼此“可耦合”时,该术语指示它们能够耦合在一起。
24.出于本公开的目的,术语“计算机可读介质”(例如,暂时性或非暂时性计算机可读介质)可包括可在一段时间内保留数据和/或指令的任何工具或工具集合。计算机可读介质可包括但不限于:存储介质,诸如直接存取存储装置(例如,硬盘驱动器或软盘)、顺序存取存储装置(例如,磁带磁盘驱动器)、光盘、cd-rom、dvd、随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom) 和/或快闪存储器;通信介质,诸如电线、光纤、微波、无线电波和其他电磁和/或光学载波;和/或前述项的任何组合。
25.出于本公开的目的,术语“信息处理资源”可广义地指信息处理系统的任何部件系统、装置或设备,包括但不限于处理器、服务处理器、基本输入/输出系统、总线、存储器、i/o装置和/或接口、存储资源、网络接口、主板和/或信息处理系统的任何其他部件和/或元件。
26.出于本公开的目的,术语“管理控制器”可广义地指向一个或多个其他信息处理系统提供管理功能性(通常是带外管理功能性)的信息处理系统。在一些实施方案中,管理控制器可以是服务处理器、基板管理控制器(bmc)、机箱管理控制器(cmc)或远程访问控制器(例如,戴尔远程访问控制器(drac)或集成戴尔远程访问控制器(idrac))(或可以是它们的整体部分)。
27.图1示出了根据本公开的实施方案的示例信息处理系统102的框图。在一些实施方案中,信息处理系统102可包括被配置为容纳多个服务器或“刀片”的服务器机箱。在其他实施方案中,信息处理系统102 可包括个人计算机(例如,台式计算机、膝上型计算机、移动计算机和/或笔记本计算机)。在另外的其他实施方案中,信息处理系统102 可包括被配置为容纳多个物理磁盘驱动器和/或用于存储数据的其他计算机可读介质(其一般可被称为“物理存储资源”)的存储外壳。如图 1所示,信息处理系统102可包括处理器103、通信地耦合到处理器 103的存储器104、通信地耦合到处理器103的bios 105(例如,uefibios)、通信地耦合到处理器103的网络接口108,以及通信地耦合到处理器103的管理控制器112。
28.在操作中,处理器103、存储器104、bios 105和网络接口108 可包括信息处理系统102的主机系统98的至少一部分。除了明确地示出和描述的元件之外,信息处理系统102可包括一个或多个其他信息处理资源。
29.处理器103可包括被配置为解译和/或执行程序指令和/或处理数据的任何系统、
装置或设备,并且可包括但不限于微处理器、微控制器、数字信号处理器(dsp)、专用集成电路(asic)或被配置为解译和/ 或执行程序指令和/或处理数据的任何其他数字或模拟电路。在一些实施方案中,处理器103可解译和/或执行程序指令和/或处理存储在存储器104和/或信息处理系统102的另一个部件中的数据。
30.存储器104可通信地耦合到处理器103,并且可包括被配置为在一段时间内保留程序指令和/或数据的任何系统、装置或设备(例如,计算机可读介质)。存储器104可包括ram、eeprom、pcmcia卡、快闪存储器、磁存储设备、光磁存储设备或在对信息处理系统102的供电被切断之后保留数据的任何合适的一群和/或一组易失性或非易失性存储器。
31.如图1所示,存储器104上可存储有操作系统106。操作系统106 可包括可执行指令的任何程序(或可执行指令的程序集合),该程序(或程序集合)被配置为管理和/或控制诸如存储器、处理器时间、磁盘空间以及输入和输出装置的硬件资源的分配和使用,并且提供此类硬件资源和由操作系统106托管的应用程序之间的接口。另外,操作系统 106可包括用于经由网络接口(例如,用于通过数据网络进行通信的网络接口108)进行网络通信的网络堆栈的全部或一部分。尽管操作系统 106在图1中被示出为存储在存储器104中,但是在一些实施方案中,操作系统106可存储在处理器103可访问的存储介质中,并且操作系统106的活动部分可从此类存储介质传送到存储器104以供处理器 103执行。
32.网络接口108可包括可操作以经由带内网络来用作信息处理系统102与一个或多个其他信息处理系统之间的接口的一个或多个合适的系统、设备或装置。网络接口108可使得信息处理系统102能够使用任何合适的传输协议和/或标准进行通信。在这些和其他实施方案中,网络接口108可包括网络接口卡或“nic”。在这些和其他实施方案中,网络接口108可被启用为主板上的局域网(lan)(lom)卡。
33.管理控制器112可被配置为提供管理功能性以用于管理信息处理系统102。此类管理可由管理控制器112进行,即使信息处理系统 102和/或主机系统98被断电或加电为待命状态也是如此。管理控制器112可包括处理器113、存储器以及与网络接口108分开且物理地隔离的网络接口118。
34.如图1所示,管理控制器112的处理器113可通信地耦合到处理器103。此类耦合可经由通用串行总线(usb)、系统管理总线(smbus) 和/或一个或多个其他通信通道。
35.网络接口118可耦合到管理网络,该管理网络可以与数据网络分开且物理地隔离,如图所示。管理控制器112的网络接口118可包括可操作以经由带外管理网络来用作管理控制器112与一个或多个其他信息处理系统之间的接口的任何合适的系统、设备或装置。网络接口118可使得管理控制器112能够使用任何合适的传输协议和/或标准进行通信。在这些和其他实施方案中,网络接口118可包括网络接口卡或“nic”。网络接口118可以是与网络接口108相同类型的装置,或者在其他实施方案中,它可以是不同类型的装置。
36.如上所讨论,将期望减少在比如信息处理系统102的主机信息处理系统的集群中执行lcm事件所要求的时间量。在hci集群中的每个主机进入维护模式以执行lcm之前,在该主机上执行的所有vm 首先迁移到该集群中的某一其他主机。vm迁移可造成数据迁移和之后的数据再同步,并且因此包括更少vm迁移的过程可大大减少lcm 所要求的总时间。
37.当一个主机在进入维护模式时,该主机的所有vm都将迁移到另一个主机,该主机可以是已升级的主机或未升级的主机。因此,根据主机进入维护循环的次序及其vm迁移的
目的地,给定的vm在一个lcm操作期间可能会迁移多次。
38.因此,本公开的实施方案可在hci系统升级期间减少vm迁移次数并缩短总迁移时间,从而加速lcm过程。
39.现在转到图2,示出了示例集群200。集群200包括n个主机,并且正在进行lcm事件。已升级组202由已经进入维护模式、接受升级、退出维护模式并恢复服务的主机1至i-1组成。未升级组204 由尚未升级的主机i+2至n组成。
40.升级可按以下步骤进行,如图2所示。
41.步骤1:可通过节点选择器服务来选择主机i进行升级。主机i 的所有vm迁移到已升级组202内的主机。这被称为迁移时间窗口 (mt)。
42.步骤2:在主机i上进行os和/或固件升级。这被称为升级时间窗口(ut)。
43.步骤3:在该时间期间,选择要升级的下一主机(主机i+1)并将其移出未升级组204。
44.步骤4:主机i+1的所有vm开始迁移到已升级组202内的主机,并且其升级以与主机i相同的方式进行。
45.当选择未升级组204内的主机中的一个进行升级时,该主机上的所有vm可迁移到已升级组202内的主机。在理想情况下,每个vm 将最多迁移一次(除了第一个要升级的主机上的vm可迁移两次,因为起初没有可接收这些vm的现有已升级主机)。实施方案尝试避免在lcm升级期间使vm迁移“颠簸”(将vm迁移超过必要的次数),从而减少总lcm时间。
46.现在转到图3,示出了根据一些实施方案的用于迁移vm的示例方法300的流程图。
47.在步骤304处,该方法确定主机上是否有任何vm。如果是的话,那么选择vm,并且在步骤306处,根据除了进入维护模式的主机以外的所有主机的资格和可用资源来对这些主机进行分类。例如,具有大量空闲处理资源、存储器等的主机可排名较高。资格是指主机是否能够接受vm迁移。例如,处于维护模式的主机就没有资格。
48.在步骤308处,该方法确定已经升级的任何主机是否有资格。如果是的话,那么在步骤310处,将排名最高的有资格的已升级主机选择为目标主机。如果否的话,那么在步骤312处,将排名最高的有资格的主机选择为目标主机。
49.在步骤314处,将vm迁移到目标主机。该方法可如图所示那样循环,直到迁移了所有vm。一旦迁移了所有vm,该方法就在步骤 316处结束。
50.受益于本公开的本领域的普通技术人员将理解,图3所描绘的方法的优选初始化点和构成该方法的步骤的次序可取决于所选择的实现方式。在这些和其他实施方案中,该方法可被实现为硬件、固件、软件、应用程序、函数、库或其他指令。此外,尽管图3公开了关于所公开的方法要进行的特定数量的步骤,但是该方法可用比所描绘的步骤更多或更少的步骤来执行。该方法可使用本文所公开的各种部件 (诸如图1的部件)中的任一种和/或可操作以实现该方法的任何其他系统来实现。
51.为了表示预期的vm迁移次数,可定义集群迁移次数(cmn),如下。如果主机按随机次序升级,那么:
[0052][0053]
其中n是主机的总数量,vmi是主机i上的vm的数量,c是第一主机上的vm的数量,并且ri是大于1的随机数,其表示第i个 vm需要迁移的次数。
[0054]
根据本公开的实施方案,可获得cmn的改进值,该改进值小于或等于前一个表达式:
[0055][0056]
此外,根据一些实施方案,上述步骤2至4可在同一时间窗口中同时地执行。因此,升级过程可以流水线方式执行,从而进一步减少总集群升级时间。
[0057]
也就是说,在一个主机执行vm迁移和os/固件升级两者以在下一个主机开始之前完成的现有实现方式中,总集群升级时间(cut)可由下式给出:
[0058][0059]
其中m是集群中的主机的总数量,并且如上所述,mt和ut是集群中的第i主机的迁移时间和升级时间。
[0060]
根据一些实施方案,升级过程可流水线化,使得当一个主机完成迁移其vm时(例如,当它开始os/固件升级过程时),下一主机可开始迁移其vm。因此,前一集群的升级时间可与下一集群的迁移时间重叠,并且总cut可减少为:
[0061][0062]
其中c是mt值的最大值。
[0063]
根据一个实施方案,节点选择服务(例如,在集群上的vm中运行)可确定要升级的节点的次序。可通过计算每个节点的得分(例如,根据下面讨论的因子)来作出该确定。然后,在每个步骤处,可将具有最高得分(或在一些实施方案中是最低得分)的节点升级,以便优化总升级时间。每次在选择节点进行升级时,节点选择服务可评估所有未升级的节点。
[0064]
下表1提供了在一些实施方案中可用于确定节点的得分的一组示例因子和权重。一般而言,任何期望的硬件和/或软件和/或固件度量都可结合到在给定的实现方式中采用的评分系统中。
[0065]
[0066][0067]
表1.
[0068]
下表2提供了根据表1中列出的因子对8个节点的集群的示例计算。
[0069]
[0070][0071]
表2.
[0072]
在该示例中,节点3具有最高得分,并且因此它将是第一个要升级的节点。它的vm可迁移到其他节点,并且当该节点进入os/固件升级阶段时,节点选择服务将重新计算其他节点的得分并且选择下一个节点。然后,下一个节点的vm将在节点3正升级时开始迁移。在节点3升级后,它可被放入已升级组,并且未来升级的节点上的vm 可迁移到节点3。
[0073]
因此,本公开的实施方案可减少vm迁移的总次数,从而减少集群升级的总时间。如本文所述的流水线化可进一步减少集群升级的总时间。
[0074]
受益于本公开的本领域普通技术人员将理解,用于图3中描绘的方法的优选初始化点和构成那些方法的步骤的顺序可取决于所选择的实现方式。在这些和其他实施方案中,该方法可被实现为硬件、固件、软件、应用程序、函数、库或其他指令。此外,尽管图3 公开了关于所公开的方法要进行的特定数量的步骤,但是所述方法可用比所描绘的步骤更多或更少的步骤来执行。所述方法可使用本文所公开的各种部件(诸如图1的部件)中的任一种和/或可操作以实现所述方法的任何其他系统来实现。
[0075]
本公开涵盖本领域普通技术人员将设想的对本文的示例性实施方案的所有改变、替换、变化、变更和修改。类似地,在适当的情况下,所附权利要求涵盖本领域普通技术人员将设想的对本文的示例性实施方案的所有改变、替换、变化、变更和修改。此外,在所附权利要求中对被适配成、被布置成、能够、被配置为、被启用以、可操作以或操作以执行特定功能的设备或系统或者设备或系统的部件的引用涵盖所述设备、系统或部件,无论是否激活、开启或解锁所述设备、系统或部件或者所述特定功能,只要所述设备、系统或部件被适配成、被布置成、能够、被配置为、被启用以、可操作以或操作以执行特定功能即可。
[0076]
此外,在所附权利要求中对结构“被配置为”或“可操作以”执行一项或多项任务的叙述明确地意图不对该权利要求要素援引35 u.s.c.
§
112(f)。因此,所提交的本技术中的权利要求不意图被解释为具有手段加功能要素。如果申请人希望在诉讼期间援引
§
112(f),则申请人将使用“用于[执行功能]的手段”结构来列举权利要求要素。
[0077]
本文叙述的所有示例和条件语言都意图用于教学目的,以帮助读者理解发明人为了推进本技术而促成的本发明和构思,并且被解释为不限于此类具体地叙述的示例和条件。尽管已经详细地描述本发明的实施方案,但是应理解,在不脱离本公开的精神和范围的
情况下,可对本公开进行各种变化、替换和变更。

技术特征:
1.一种信息处理系统,所述信息处理系统包括:至少一个处理器;以及存储器;其中所述信息处理系统被配置为通过以下操作来执行信息处理系统集群的多个主机的升级:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。2.如权利要求1所述的信息处理系统,其中所述集群是超融合基础架构(hci)集群。3.如权利要求1所述的信息处理系统,其中所述信息处理系统是所述集群的特定主机。4.如权利要求3所述的信息处理系统,其中所述确定和所述选择由在所述特定主机上执行的虚拟机执行。5.如权利要求1所述的信息处理系统,所述信息处理系统还被配置为:基于所述硬件度量来确定多个未升级主机中的每一者的修改的得分;基于所述修改的得分,选择第二主机以进行升级;以及在所述第一主机执行所述升级时,将虚拟机从所述第二主机迁移到一个或多个其他主机。6.如权利要求1所述的信息处理系统,其中所述升级包括操作系统和至少一个固件部件的升级。7.一种用于执行信息处理系统集群的多个主机的升级的计算机实现的方法,所述方法包括:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。8.如权利要求7所述的方法,其中确定所述得分,使得在所述升级期间发生的虚拟机迁移的总次数最小化。9.如权利要求7所述的方法,其中所述信息处理系统是所述集群的特定主机。10.如权利要求9所述的方法,其中所述确定和所述选择由在所述特定主机上执行的虚拟机执行。11.如权利要求7所述的方法,所述方法还包括:基于所述硬件度量来确定多个未升级主机中的每一者的修改的得分;基于所述修改的得分,选择第二主机以进行升级;以及在所述第一主机执行所述升级时,将虚拟机从所述第二主机迁移到一个或多个其他主机。12.如权利要求7所述的方法,其中所述升级包括操作系统和至少一个固件部件的升级。13.一种制品,所述制品包括非暂时性计算机可读介质,所述非暂时性计算机可读介质
上具有计算机可执行指令,所述计算机可执行指令可由信息处理系统的处理器执行以通过以下操作来执行信息处理系统集群的多个主机的升级:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。14.如权利要求13所述的制品,其中所述集群是超融合基础架构(hci)集群。15.如权利要求13所述的制品,其中所述信息处理系统是所述集群的特定主机。16.如权利要求15所述的制品,其中所述确定和所述选择由在所述特定主机上执行的虚拟机执行。17.如权利要求13所述的制品,所述指令还可执行以用于:基于所述硬件度量来确定多个未升级主机中的每一者的修改的得分;基于所述修改的得分,选择第二主机以进行升级;以及在所述第一主机执行所述升级时,将虚拟机从所述第二主机迁移到一个或多个其他主机。18.如权利要求13所述的制品,其中所述升级包括操作系统和至少一个固件部件的升级。

技术总结
本发明实施例提供一种HCI系统中的加速生命周期管理,其中,一种信息处理系统可包括至少一个处理器和存储器。所述信息处理系统可被配置为通过以下操作来执行信息处理系统集群的多个主机的升级:基于每个主机的硬件度量来确定每个主机的得分;基于所述确定的得分,选择第一主机以进行升级;将虚拟机从所述第一主机迁移到一个或多个其他主机;以及致使所述第一主机执行所述升级。一主机执行所述升级。一主机执行所述升级。


技术研发人员:顾涵章 陈军 陈超
受保护的技术使用者:戴尔产品有限公司
技术研发日:2022.03.28
技术公布日:2023/10/11
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐