一种内存扩展的管理系统和方法与流程

1.本发明属于服务器技术领域，特别是涉及一种内存扩展的管理系统和方法。


背景技术：

2.在大数据、人工智能等新型应用场景中，计算设备中内存的容量大小影响着应用的性能。通常情况下，计算设备中内存的容量越大，该内存中所能存储的数据量越多，从而计算设备上的应用从内存中访问到数据的概率较高，计算设备的性能就越高。
3.越来越多的场景需要处理大量的数据，对实时性要求比较强的场合更需要对大数据进行快速处理，而服务器的物理内存往往无法满足这些应用的需求。通常情况下，可以使大容量的存储设备和相关内存映射技术来为内存扩容，但内存映射技术只适用于访问较小的文件，且受到操作系统兼容性的限制，局限性比较大。
4.目前服务器最大内存容量取决于服务器的硬件配置和操作系统。服务器的硬件配置包括处理器、内存、硬盘等，而操作系统则决定了最大内存容量的支持情况。一般来说，服务器所能支持的最大内存容量是由主板上内存插槽的数量和每个插槽的最大容量决定的。同时，操作系统内部为了实现内存管理的安全性和稳定性，通常会采用一些机制来限制内存的使用。内存的扩展受到硬件配置和操作系统内存管理软件的限制。


技术实现要素：

5.本发明的目的是提供一种内存扩展的管理系统和方法，以解决上述现有技术存在的问题。
6.一方面为实现上述目的，本发明提供了一种内存扩展的管理系统，包括服务器主板、交换机模块、电源模块、内存管理模块以及若干个内存板卡；
7.所述服务器主板用于接收并传输计算任务；
8.若干个所述内存板卡用于执行所述计算任务；
9.所述电源模块用于提供系统电能；
10.所述交换机模块包括若干个高速交换设备，所述服务器主板通过所述高速交换设备与若干个内存板卡连接；
11.所述内存管理模块用于对若干个内存板卡进行管理。
12.可选地，所述内存板卡包括cpu、若干个内存条、高速网卡、数据硬盘、系统硬盘和备用电源；
13.所述cpu与所述内存条连接，所述高速网卡、所述数据硬盘、所述系统硬盘分别与所述cpu连接；
14.所述cpu用于对若干个内存条进行管理，所述高速网卡用于保障带宽，提升数据传输率，所述数据硬盘用于在发生故障时进行数据备份，所述系统硬盘用于存储支持板卡运行的操作系统以及板卡管理软件，所述备用电源用于在突发事件情况下对板卡紧急供电。
15.可选地，所述内存管理模块对各个内存板卡的状态信息进行信息汇总，对内存板
卡进行资源管理、资源监测、资源调度、资源分析。
16.可选地，所述资源监测为对内存板卡的运行状态进行实时监测，对异常状况生成报警信号；所述资源调度为根据调度策略进行内存板卡资源调度、调配；所述资源分析功能为根据记录的资源以及汇总信息，实施统计分析。
17.另一方面为实现上述目的，本发明提供了一种内存扩展的管理方法，包括以下步骤：
18.基于内存管理模块对若干个内存板卡进行状态监测；
19.当所述内存板卡出现故障时，对故障的内存板卡进行处理并进行资源分配调度；
20.当内存板卡完成计算任务时，基于内存管理模块对所述内存板卡进行状态分析。
21.可选地，基于内存管理模块对若干个内存板卡进行状态监测的过程包括：
22.基于内存管理模块构建监测机制，基于心跳信号对内存板卡进行工作监测；基于内存管理模块对内存板卡的利用率、运行状态及资源利用率进行实时监测，并设置监测时间，每间隔一次所述监测时间记录一次资源利用率状态。
23.可选地，对故障的内存板卡进行处理的过程包括：
24.启动出现故障内存板卡的休眠功能；
25.基于故障内存板卡中的备用电源进行短暂供电，将故障内存板卡正在运行的内存数据保存到数据硬盘中，同时，在内存管理模块中将出现故障的内存板块的状态设置于“故障”状态。
26.可选地，所述资源分配调度的过程包括：
27.基于内存管理模块获取服务器中正常工作的内存板卡的资源利用率情况，以及空闲资源情况；
28.基于所述资源利用率情况以及所述空闲资源情况重新制定内存分配调度策略，收回故障内存板卡的使用权，重新调整并将计算任务分配至正常工作的内存板卡。
29.可选地，重新调整并将计算任务分配至正常工作的内存板卡的过程包括：
30.根据内存管理模块的调度和管理，通过高速网卡将故障内存板卡的数据硬盘中的数据以及相关设置传递给分配任务的正常的内存板卡；
31.基于内存管理模块对接收分配任务的内存板卡进行监测、记录和调度。
32.可选地，基于内存管理模块对所述内存板卡进行状态分析的过程包括：
33.将完成计算任务的内存板卡状态同步到内存管理模块，更新内存分配记录和指引关系，将所有记录的内存板卡状态用于统计、分析；同时，在内存管理模块内将完成计算任务的内存板卡设置为“空闲”状态；
34.所述内存板卡状态包括服务器对内存使用情况，状态变化情况。
35.本发明的技术效果为：
36.本发明所提供的扩展内存可以提高计算机性能和效率，解决内存板卡稳定性和可用性问题，每个内存板卡中的系统硬盘安装操作系统，可以管理内存条，一台服务器可以安装若干个内存板卡，可以突破制约物理内存扩展的硬件配置和操作系统的限制，在实际应用中，可以使用低成本的内存条扩展内存，实现低成本的内存扩展工作，当出现故障时，可以启用备用电源工作，将内存中数据和配置信息保存在数据硬盘，通过本发明能够应用大量内存来处理图像、视频或其他大型数据集的大型软件、科学计算、复杂图像和虚拟现实场
景。
附图说明
37.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
38.图1为本发明实施例中的内存扩展服务器结构示意图；
39.图2为本发明实施例中的内存板卡结构图。
具体实施方式
40.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
41.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
42.实施例一
43.如图1-2所示，本实施例中提供一种基于ipv6的分布式内存资源的定位与自动发现的方法，包括服务器主板、交换机模块、电源模块、内存管理模块、内存板卡，如图1所示。
44.服务器主板用于接收并传输计算任务；通过若干个内存板卡执行计算任务；电源模块用于提供系统电能；交换机模块包括若干个高速交换设备，服务器主板通过所述高速交换设备与若干个内存板卡连接；内存管理模块用于对若干个内存板卡进行管理。
45.其中，内存板卡包括cpu、可扩展的内存条、高速网卡、数据硬盘、系统硬盘和备用电源，如图2所示。
46.内存板卡中可以插入多个内存条，cpu通过pci-e或其他总线与内存条连接并交换数据，内存条的管理方式由主板总线决定，因此，内存条扩展的数量受到带宽、延迟、内存容量等因素的制约。
47.为保障内存板卡系统的性能、稳定性和可靠性的措施有：
48.(1)采用了高速网卡保障带宽，提升数据传输率、降低延迟。
49.(2)备用电源用于保证在突发事件情况下，对板卡紧急供电；
50.(3)数据硬盘是当故障发生时，用来备份内存中数据。
51.(4)系统硬盘用来存储必要的支持板卡运行的操作系统以及板卡管理软件。每个内存板卡有系统硬盘，可以安装必要的操作系统，支持内存板卡的内存工作，同时也可以与内存扩展服务器中的内存管理模块交互，实施内存板卡的管理工作。
52.内存扩展服务器中内存管理模块可以管理内存板卡，n个内存板卡共同构成服务器的内存，内存扩展服务器通过高速交换设备与内存板卡的高速网卡进行连接，并通过内存管理模块控制各个内存板卡，从而与其交互。
53.内存管理模块的功能是对插入到服务器中内存板卡进行管理，监测内存板卡状态，对各个内存板卡的各类状态信息进行汇总，具有资源管理、资源监测、资源调度、资源分析等功能。其中，资源管理，支持内存板卡资源登记、分配、查询等功能；资源监测为监测内存板卡运行状态进行实时监测，对异常状况产生告警信号；资源调度功能为根据调度策略
进行内存板卡资源调度、调配；资源分析功能是根据记录的资源利用信息，实施统计分析。
54.内存扩展的管理方法如下：
55.(1)内存管理模块周期性检测每个内存服务板块的状态
56.内存管理模块建立监测机制，通过心跳信号监测内存板块的工作，实现动态扩展内存板块的状态监管。内存管理模块，对内存板卡利用率、运行状态及资源利用率进行实时监测，每隔一段时间，记录一次资源利用率状态。
57.(2)内存板卡出现故障后处理模式
58.当内存管理模块监测到内存板块运行状态故障情况下，快速启动该板卡的休眠功能，通过内存板块的备用电池进行短暂供电，将该内存板卡正在运行的内存数据保存到该内存板卡的数据硬盘中。同时，在内存管理模块中将该内存板块的状态置于“故障”态。
59.(3)内存管理模块的内存板卡分配调度工作
60.内存管理模块根据服务器中“正常”内存板卡的资源利用率情况，以及内存板卡空闲资源情况重新制定内存分配调度策略，收回“故障”内存板卡的使用权，重新调整并将计算任务分配“有效”板卡。
61.该阶段可以设备停止，修复内存板卡故障，重新组建系统；也可以动态收回“故障”内存板卡服务，将计算工作分配给空闲且“有效”的内存板卡。
62.(4)重新分配的内存板卡恢复工作
63.当被调整的内存板卡恢复正常工作时，根据内存管理模的调度和管理，通过高速网卡将存储在“故障”内存板卡的数据硬盘中的数据以及相关的设置传递给分配任务的“有效”内存板卡，内存板卡的操作状态将被内存管理模块监测、记录和调度。
64.(5)当内存板卡完成计算任务时
65.当内存板卡完成计算任务时，内存板卡的状态包括服务器对内存使用情况，状态变化情况等同步到内存管理模块，更新内存分配记录和指引关系，所有记录的状态用于统计、分析。同时，内存管理模块将当前内存板卡的置为“空闲”状态。
66.实现上述通过内存板卡扩展服务器内存的系统，可以组成刀片服务器，刀片服务器是一种高密度、低功耗的服务器。采用“刀片”为内存板卡的基本单位，将处理器、内存、硬件和网络等组件集成在一起，形成一个纤薄的物理单元。多个“刀片”内存板卡可以插在同一个机架中，形成一个大规模的计算系统，实现高性能的计算、存储和网络功能。
67.本实施例利用高速网络技术，使得通过网络存取非本地内存的延迟和带宽达到了一个可以接受的范围，这成为本专利的技术基础，也是与其他类似系统的不同之处。
68.本实施例的特点是内存板卡配置系统硬盘，每个内存板卡中的系统硬盘安装操作系统，可以管理内存条。因此，一台服务器可以安装若干个内存板卡，就可以突破制约物理内存扩展的硬件配置和操作系统的限制，在实际应用中，可以使用低成本的内存条扩展内存，实现低成本的内存扩展工作。
69.本实施例的另一个特点是内存板卡配置数据硬盘和备用电源，解决内存板卡稳定性和可用性问题，当出现故障时，可以启用备用电源工作，将内存中数据和配置信息保存在数据硬盘。
70.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种内存扩展的管理系统，其特征在于，包括服务器主板、交换机模块、电源模块、内存管理模块以及若干个内存板卡；所述服务器主板用于接收并传输计算任务；若干个所述内存板卡用于执行所述计算任务；所述电源模块用于提供系统电能；所述交换机模块包括若干个高速交换设备，所述服务器主板通过所述高速交换设备与若干个内存板卡连接；所述内存管理模块用于对若干个内存板卡进行管理。2.根据权利要求1所述的内存扩展的管理系统，其特征在于，所述内存板卡包括cpu、若干个内存条、高速网卡、数据硬盘、系统硬盘和备用电源；所述cpu与所述内存条连接，所述高速网卡、所述数据硬盘、所述系统硬盘分别与所述cpu连接；所述cpu用于对若干个内存条进行管理，所述高速网卡用于保障带宽，提升数据传输率，所述数据硬盘用于在发生故障时进行数据备份，所述系统硬盘用于存储支持板卡运行的操作系统以及板卡管理软件，所述备用电源用于在突发事件情况下对板卡紧急供电。3.根据权利要求1所述的内存扩展的管理系统，其特征在于，所述内存管理模块对各个内存板卡的状态信息进行信息汇总，对内存板卡进行资源管理、资源监测、资源调度、资源分析。4.根据权利要求3所述的内存扩展的管理系统，其特征在于，所述资源监测为对内存板卡的运行状态进行实时监测，对异常状况生成报警信号；所述资源调度为根据调度策略进行内存板卡资源调度、调配；所述资源分析功能为根据记录的资源以及汇总信息，实施统计分析。5.一种基于权利要求1-4所述系统的内存扩展的管理方法，其特征在于，包括以下步骤：基于内存管理模块对若干个内存板卡进行状态监测；当所述内存板卡出现故障时，对故障的内存板卡进行处理并进行资源分配调度；当内存板卡完成计算任务时，基于内存管理模块对所述内存板卡进行状态分析。6.根据权利要求5所述的内存扩展的管理方法，其特征在于，基于内存管理模块对若干个内存板卡进行状态监测的过程包括：基于内存管理模块构建监测机制，基于心跳信号对内存板卡进行工作监测；基于内存管理模块对内存板卡的利用率、运行状态及资源利用率进行实时监测，并设置监测时间，每间隔一次所述监测时间记录一次资源利用率状态。7.根据权利要求5所述的内存扩展的管理方法，其特征在于，对故障的内存板卡进行处理的过程包括：启动出现故障内存板卡的休眠功能；基于故障内存板卡中的备用电源进行短暂供电，将故障内存板卡正在运行的内存数据保存到数据硬盘中，同时，在内存管理模块中将出现故障的内存板块的状态设置于“故障”状态。8.根据权利要求5所述的内存扩展的管理方法，其特征在于，所述资源分配调度的过程
包括：基于内存管理模块获取服务器中正常工作的内存板卡的资源利用率情况，以及空闲资源情况；基于所述资源利用率情况以及所述空闲资源情况重新制定内存分配调度策略，收回故障内存板卡的使用权，重新调整并将计算任务分配至正常工作的内存板卡。9.根据权利要求8所述的内存扩展的管理方法，其特征在于，重新调整并将计算任务分配至正常工作的内存板卡的过程包括：根据内存管理模块的调度和管理，通过高速网卡将故障内存板卡的数据硬盘中的数据以及相关设置传递给分配任务的正常的内存板卡；基于内存管理模块对接收分配任务的内存板卡进行监测、记录和调度。10.根据权利要求5所述的内存扩展的管理方法，其特征在于，基于内存管理模块对所述内存板卡进行状态分析的过程包括：将完成计算任务的内存板卡状态同步到内存管理模块，更新内存分配记录和指引关系，将所有记录的内存板卡状态用于统计、分析；同时，在内存管理模块内将完成计算任务的内存板卡设置为“空闲”状态；所述内存板卡状态包括服务器对内存使用情况，状态变化情况。

技术总结
本发明公开了一种内存扩展的管理系统和方法，系统包括：服务器主板，用于接收并传输计算任务；内存板卡，用于执行所述计算任务；电源模块，用于提供系统电能；交换机模块，包括若干个高速交换设备，服务器主板通过高速交换设备与若干个内存板卡连接；内存管理模块，用于对若干个内存板卡进行管理。方法包括：基于内存管理模块对若干个内存板卡进行状态监测；当内存板卡出现故障时，对故障的内存板卡进行处理并进行资源分配调度；当内存板卡完成计算任务时，基于内存管理模块对内存板卡进行状态分析。通过本发明可以突破制约物理内存扩展的硬件配置和操作系统的限制，在实际应用中，可以使用低成本的内存条扩展内存，实现低成本的内存扩展工作。存扩展工作。存扩展工作。


技术研发人员：赵晓亮 刘克龙 刘韧 刘航
受保护的技术使用者：杭州森格算力技术有限公司
技术研发日：2023.06.14
技术公布日：2023/9/6