基于IDC设备监测数据的机房评价指标配置方法和系统与流程
未命名
09-22
阅读:127
评论:0
基于idc设备监测数据的机房评价指标配置方法和系统
技术领域
1.本发明涉及评价指标配置技术领域,尤其涉及基于idc设备监测数据的机房评价指标配置方法和系统。
背景技术:
2.在过去的机房评价指标配置过程中,一般需要经历需求提出、开发、测试和发布等多个步骤,首先,需求人员提出对应性能评价的新需求,然后由开发人员进行开发,测试人员进行测试,最后才能发布;这样的流程周期较长,容易出错,无法快速和准确地响应新的性能评价指标需求。
3.例如,当需求人员提出新的评价指标需求后,需要开发人员进行开发,这个过程可能需要几天甚至几周的时间;然后,测试人员需要对新开发的功能进行测试,这又需要一定的时间;最后,经过测试无误后,才能发布新的评价指标;这样的流程不仅耗时长,而且在开发和测试过程中,由于沟通不畅或理解不准确,往往会出现错误,需要反复修改,进一步延长了流程周期。
4.此外,这样的流程还需要消耗大量的人力成本,需求人员、开发人员、测试人员和运维人员都需要参与其中,而且需要进行多次的沟通会议,这无疑增加了人力成本和时间成本;
5.当前的机房评价指标配置方法存在着响应速度慢、容易出错、人力成本和时间成本高等问题,因此,急需一种基于idc设备监测数据的机房评价指标配置方法和系统。
技术实现要素:
6.本发明提供了一种基于idc设备监测数据的机房评价指标配置方法和系统,以解决现有技术中存在的当需求人员提出新的评价指标需求后,需要开发人员进行开发,这个过程可能需要几天甚至几周的时间;然后,测试人员需要对新开发的功能进行测试,这又需要一定的时间;最后,经过测试无误后,才能发布新的评价指标;这样的流程不仅耗时长,而且在开发和测试过程中,由于沟通不畅或理解不准确,往往会出现错误,需要反复修改,进一步延长了流程周期。此外,这样的流程还需要消耗大量的人力成本,需求人员、开发人员、测试人员和运维人员都需要参与其中,而且需要进行多次的沟通会议,这无疑增加了人力成本和时间成本的上述问题。
7.为了达到上述目的,本发明提供如下技术方案:
8.基于idc设备监测数据的机房评价指标配置方法,包括:
9.s101:对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;
10.s102:获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;
11.s103:对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配
置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。
12.其中,s101步骤包括:
13.s1011:定义idc设备对象数据,对象数据包括对应属性和指标信息,根据定义的属性和指标信息,创建idc设备对象模板;
14.s1012:在系统中录入管理范围内的设备对象,并根据设备对象数据的属性和指标信息,与对应的idc设备对象模板进行关联操作;
15.s1013:根据idc设备对象数据的定义,为每个设备对象分配唯一的对象id,通过对象id对全量设备对象进行管理和查询。
16.其中,s102步骤包括:
17.s1021:提供网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将全量数据转换为json格式后经过python的数据进行数据清洗操作,将经过清洗后的数据分类,并按照设定的规则和逻辑进行数据预处理,数据预处理包括去除异常值和填充缺失值,将预处理后的数据作为原始数据存储至mysql数据库中;
18.s1022:基于编程语言技术,提取mysql数据库中的原始数据,并按照数据的属性、时间和相关性进行标签化处理,其中,编程语言技术包括python、sql、java和shell脚本;
19.s1023:将每条原始数据与对应的标签组合在一起,形成带有标签的设备监测数据,通过sql插入操作,将带有标签的设备监测数据存储到设备监测数据组库中。
20.其中,s103步骤包括:
21.s1031:系统提供可视化配置界面,通过系统数据字典对评价指标名称及备注信息进行定义,用户通过界面操作,对可视化的设备监测数据标签进行拖拽,形成当前指标的计算数据项组;
22.s1032:用户通过界面操作,对数据组内数据排列顺序进行调整,以确定数据项之间的计算顺序,在数据项之间插入加减乘除、平方开方、求最大最小值、排序、求导、求定积分的算法公式库的计算符,形成可视化的计算公式,系统根据用户的配置,生成评价指标配置模型;
23.s1033:系统通过界面脚本语言对评价指标配置模型中的数据进行约束校验操作,利用微服务节点沙盒环境来运行生产数据,并对照历史数据评估资源消耗量,以判断配置指标是否超出生产系统的承载范围,获取校验结果;
24.s1034:当系统根据校验结果识别指标配置存在缺陷时,根据缺陷提供对应的建议,当系统根据校验结果识别指标配置不存在缺陷时,根据计算公式对数据进行调用与计算操作,并实时给出配置指标的预览值,用户根据预览值对指标设置进行综合考量,针对符合管理预期的指标值,对评价指标配置模型进行发布操作。
25.其中,s1011步骤包括:
26.定义idc设备对象的属性,属性包括设备名称、设备类型和设备厂商,定义idc设备对象的指标信息,指标信息包括设备温度、cpu使用率和内存利用率;
27.根据定义的属性信息,创建idc设备对象模板,并将属性定义在idc设备对象模板中,根据定义的指标信息,将指标信息定义在idc设备对象模板中,并与对应的属性进行关联;
28.创建idc设备对象模板时,根据定义的属性信息,为每个属性分配唯一的属性id,
根据定义的指标信息,为每个指标分配唯一的指标id,将属性id和指标id与属性和指标信息的定义进行关联,形成完整的idc设备对象模板。
29.其中,s1021步骤包括:
30.基于网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将采集到的全量数据转换为json格式,使用python对格式转换后的全量数据进行数据清洗操作,数据清洗包括去除重复数据、去除无效数据和校验数据格式;
31.根据设备对象的属性,将清洗后的数据按照属性进行分类,对于每个属性,将对应的数据进行分组,形成分类数据;根据预处理规则和逻辑,对分类数据进行数据预处理操作,针对异常值,进行剔除或替换处理,针对缺失值,进行填充处理,填充处理包括使用均值或中位数进行填充。
32.其中,s1031步骤包括:
33.系统提供可视化配置界面,用户通过界面操作在系统数据字典中添加评价指标的名称和备注信息;可视化配置界面展示设备监测数据的标签列表,用户通过界面操作,将所需的设备监测数据标签从列表中拖拽到指标配置区域,拖拽完成后,系统将所选的设备监测数据标签显示为当前指标的计算数据项组。
34.其中,s1032步骤包括:
35.用户通过界面操作,选择需要调整顺序的数据组,用户通过拖拽数据项改变对应数据在数据组中的位置,以确定数据项之间的计算顺序;用户通过界面操作,选中需要插入计算符的数据项,从算法公式库中选择加减乘除、平方开方、求最大最小值、排序、求导以及求定积分的计算符,将选中的计算符拖拽到数据项之间,形成可视化的计算公式;系统根据用户的操作,记录用户对数据组内数据排列顺序的调整和计算公式的配置,根据用户的配置,生成评价指标配置模型,评价指标配置模型包括数据项的排列顺序和计算公式。
36.其中,s1033步骤包括:
37.系统通过界面脚本语言,对评价指标配置模型中的数据进行约束校验,界面脚本语言通过编写脚本来定义数据的类型、范围以及格式的约束条件,并对评价指标配置模型中的数据进行验证;系统利用微服务节点沙盒环境,模拟生产系统的运行环境,通过微服务节点沙盒环境提供一个隔离的环境,该隔离的环境用于运行生产数据,并模拟生产系统的资源消耗;
38.系统根据评价指标配置模型和生产数据,在微服务节点沙盒环境中运行指标计算,并评估资源消耗量,获取评估结果,系统根据评估结果,判断配置的指标是否超出生产系统的承载范围,获取校验结果,系统将校验结果返回给用户。
39.基于idc设备监测数据的机房评价指标配置系统,包括:
40.定义设备对象数据单元,用于对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;
41.构建设备监测数据组库单元,用于获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;
42.获取评价指标配置模型单元,用于对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。
43.与现有技术相比,本发明具有以下优点:
44.基于idc设备监测数据的机房评价指标配置方法,包括:对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。可以对设备的运行效果进行量化评价,提供决策依据,提高设备的使用效率。
45.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
46.下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
47.附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
48.图1为本发明实施例中基于idc设备监测数据的机房评价指标配置方法的流程图;
49.图2为本发明实施例中定义idc设备对象数据的流程图;
50.图3为本发明实施例中形成设备监测数据组库的流程图。
具体实施方式
51.以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
52.本发明实施例提供了一种基于idc设备监测数据的机房评价指标配置方法,包括:
53.s101:对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;
54.s102:获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;
55.s103:对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。
56.上述技术方案的工作原理为:对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,所谓的对象数据,是指包括对应属性和指标信息的数据,这一步的目的是为了将设备管理的各个环节进行统一和规范化,使得设备管理更加高效和准确;例如,可以将idc设备的属性定义为设备类型、设备状态、设备位置等,指标信息则可以定义为设备的cpu使用率、内存使用率等。通过这样的定义,可以清晰地了解设备的基本信息和运行状态;其中,idc设备指internet数据中心设备,是用于提供互联网服务和托管企业数据的设备,idc设备包括服务器、网络设备、存储设备、防火墙和负载均衡器;
57.获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库,全量数据是指包括设备的所有信息的数据,包括设备的属性和指标信息;例如,可以通过api接口或者数据库查询等方式,获取设备的全量数据,然后,通过解析转换、数据清洗、数分类的预处理操作,得到原始数据,再将原始数据进行标
签化处理,例如,将设备类型标记为“服务器”,设备状态标记为“运行中”等,形成设备监测数据组库;
58.对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作,这一步的目的是为了根据设备的运行状态和性能,给出设备的评价指标,便于对设备进行评估和管理;例如,可以将设备的cpu使用率、内存使用率等指标定义为评价指标,然后通过配置处理,例如设置阈值,获取评价指标配置模型,最后,对配置模型进行校验、预览和自动发布操作,确保配置模型的正确性和有效性。
59.上述技术方案的有益效果为:可以实现对idc设备的全量管理,提高设备管理的效率和准确性,通过设备的全量数据,可以全面了解设备的运行状态和性能,便于对设备进行评估和管理;通过评价指标的定义和配置,可以对设备的运行效果进行量化评价,提供决策依据,提高设备的使用效率。
60.在另一实施例中,s101步骤包括:
61.s1011:定义idc设备对象数据,对象数据包括对应属性和指标信息,根据定义的属性和指标信息,创建idc设备对象模板;
62.s1012:在系统中录入管理范围内的设备对象,并根据设备对象数据的属性和指标信息,与对应的idc设备对象模板进行关联操作;
63.s1013:根据idc设备对象数据的定义,为每个设备对象分配唯一的对象id,通过对象id对全量设备对象进行管理和查询。
64.上述技术方案的工作原理为:定义idc设备对象数据,包括属性和指标信息,并创建idc设备对象模板,这一步的目的是为了明确设备对象的属性和指标,以便后续的设备管理和评价指标配置;具体操作过程中,需求人员根据实际需求和业务场景,定义idc设备对象的属性和指标信息,例如,属性包括设备名称、设备类型和设备厂商;指标信息包括设备温度、cpu使用率和内存利用率等,然后,根据定义的属性和指标信息,创建idc设备对象模板,将属性和指标定义在模板中;
65.录入设备对象并与idc设备对象模板关联,在系统中录入管理范围内的设备对象,并根据设备对象的属性和指标信息,与对应的idc设备对象模板进行关联操作;具体操作过程中,需求人员在系统中录入设备对象的相关信息,包括设备名称、设备类型、设备厂商,然后,根据设备对象的属性和指标信息,选择对应的idc设备对象模板进行关联,这样,设备对象就与模板建立了关联关系,可以根据模板定义的属性和指标进行管理和评价;
66.为每个设备对象分配唯一的对象id,并通过对象id对全量设备对象进行管理和查询,这一步的目的是实现对全量设备对象的唯一标识和管理;具体操作过程中,系统根据设备对象的属性和指标信息,为每个设备对象分配唯一的对象id,这样,每个设备对象都有了唯一的标识符,可以通过对象id进行管理和查询,例如,可以通过对象id查询设备对象的状态、性能指标等信息。
67.上述技术方案的有益效果为:通过定义idc设备对象数据和创建对象模板,可以明确设备的属性和指标,减少了对设备的误解和不一致性,同时,通过对象id对设备对象进行管理,确保了每个设备对象的唯一性;通过定义属性和指标信息,并与设备对象模板关联,可以实现对评价指标的灵活配置,例如,可以根据实际需求选择不同的设备对象模板,配置
不同的指标,以满足不同的评价需求;通过为每个设备对象分配唯一的对象id,并通过对象id进行管理和查询,可以快速准确地定位和操作设备对象;这样可以节省人力和时间成本,提高设备管理和查询的效率;
68.实现了对idc设备对象数据的定义和全量设备管理,通过对象id对设备对象进行唯一标识和管理,提高了设备管理的准确性、评价指标配置的灵活性以及设备管理和查询的效率。
69.在另一实施例中,s102步骤包括:
70.s1021:提供网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将全量数据转换为json格式后经过python的数据清洗,将经过清洗后的数据分类,并按照设定的规则和逻辑进行数据预处理,数据预处理包括去除异常值和填充缺失值,将预处理后的数据作为原始数据存储至mysql数据库中;
71.s1022:基于编程语言技术,提取mysql数据库中的原始数据,并按照数据的属性、时间和相关性进行标签化处理,其中,编程语言技术包括python、sql、java和shell脚本;
72.s1023:将每条原始数据与对应的标签组合在一起,形成带有标签的设备监测数据,通过sql插入操作,将带有标签的设备监测数据存储到设备监测数据组库中。
73.上述技术方案的工作原理为:为了获取idc设备对象的全量数据并进行预处理;首先,通过提供网络和适配的数据协议,可以实时动态采集idc设备对象的全量数据,这里的网络是指连接idc设备和数据采集系统的通信网络,数据协议则是设备与系统间通信的规则,如http、tcp/ip等,动态采集是指系统能够实时获取设备的最新数据,保证数据的时效性,全量数据是指设备的所有可采集数据,包括设备的状态、性能、故障等信息;
74.全量数据采集后,会转换为json格式,json格式是一种轻量级的数据交换格式,易于人阅读和编写,也易于机器解析和生成,然后,利用python(python表示编程语言)的数据清洗功能,对数据进行清洗,数据清洗主要包括去除异常值和填充缺失值,确保数据的质量和完整性,例如,如果某个设备的性能数据突然出现非常大的波动,可能是设备故障或者采集错误导致的异常值,需要去除;如果某个设备的某个时间点的数据没有采集到,就会出现缺失值,需要填充;
75.清洗后的数据按照设定的规则和逻辑进行分类和预处理,然后存储到mysql(mysql表示开源的关系型数据库管理系统)数据库中,这样,就得到了预处理后的原始数据,为后续的标签化处理和评价指标配置提供了基础;
76.为了对原始数据进行标签化处理,通过编程语言技术,如python、sql、java和shell脚本,可以提取mysql数据库中的原始数据,并按照数据的属性、时间和相关性进行标签化处理,标签化处理是指给数据添加标签,以便于对数据进行分类和检索,例如,可以根据设备的类型、品牌、位置等属性给数据添加属性标签;根据数据的采集时间给数据添加时间标签;根据数据间的相关性给数据添加相关性标签;
77.为了将标签化处理后的数据存储到设备监测数据组库中,每条原始数据与其对应的标签组合在一起,形成带有标签的设备监测数据,然后,通过sql插入操作,将这些数据存储到设备监测数据组库中,这样,就形成了一个包括各种设备监测数据和对应标签的数据库,为后续的评价指标配置提供了丰富的数据源。
78.上述技术方案的有益效果为:可以实时动态采集idc设备的全量数据,确保数据的
时效性;通过数据清洗和预处理,可以提高数据的质量和完整性;通过标签化处理,可以方便对数据进行分类和检索;通过将处理后的数据存储到设备监测数据组库中,为后续的评价指标配置提供了丰富的数据源;这样,就能够更快更准确地响应新的性能评价指标需求,提高机房评价指标配置的效率和准确性,减少人力成本和时间成本。
79.在另一实施例中,s103步骤包括:
80.s1031:系统提供可视化配置界面,通过系统数据字典对评价指标名称及备注信息进行定义,用户通过界面操作,对可视化的设备监测数据标签进行拖拽,形成当前指标的计算数据项组;
81.s1032:用户通过界面操作,对数据组内数据排列顺序进行调整,以确定数据项之间的计算顺序,在数据项之间插入加减乘除、平方开方、求最大最小值、排序、求导、求定积分的算法公式库的计算符,形成可视化的计算公式,系统根据用户的配置,生成评价指标配置模型;
82.s1033:系统通过界面脚本语言对评价指标配置模型中的数据进行约束校验操作,利用微服务节点沙盒环境(微服务节点沙盒环境是指在微服务架构中,为每个微服务节点或服务实例提供的独立、隔离的运行环境)来运行生产数据,并对照历史数据评估资源消耗量,以判断配置指标是否超出生产系统的承载范围,获取校验结果;
83.s1034:当系统根据校验结果识别指标配置存在缺陷时,根据缺陷提供对应的建议,当系统根据校验结果识别指标配置不存在缺陷时,根据计算公式对数据进行调用与计算操作,并实时给出配置指标的预览值,用户根据预览值对指标设置进行综合考量,针对符合管理预期的指标值,对评价指标配置模型进行发布操作。
84.上述技术方案的工作原理为:s1031步骤主要是为了定义评价指标并形成计算数据项组,系统提供了可视化配置界面,用户可以通过界面操作,对设备监测数据标签进行拖拽,形成当前指标的计算数据项组,数据字典是一个用于定义数据元素的集合,它包含了每个数据元素的名称、含义、来源、格式和使用规则,在这个步骤中,用户可以通过系统数据字典对评价指标名称及备注信息进行定义,以便于后续的管理和使用;
85.s1032步骤是为了确定数据项之间的计算顺序并生成评价指标配置模型;用户可以通过界面操作,对数据组内数据排列顺序进行调整,以确定数据项之间的计算顺序,然后,用户可以在数据项之间插入加减乘除、平方开方、求最大最小值、排序、求导、求定积分等算法公式库的计算符,形成可视化的计算公式。系统根据用户的配置,生成评价指标配置模型;
86.s1033步骤是为了对评价指标配置模型进行约束校验,系统通过界面脚本语言对评价指标配置模型中的数据进行约束校验操作,约束校验是为了确保数据的正确性和一致性;然后,系统利用微服务节点沙盒环境来运行生产数据,并对照历史数据评估资源消耗量,以判断配置指标是否超出生产系统的承载范围,获取校验结果;
87.s1034步骤是为了对指标配置进行优化并发布,当系统根据校验结果识别指标配置存在缺陷时,系统会根据缺陷提供对应的建议,帮助用户优化指标配置;当系统根据校验结果识别指标配置不存在缺陷时,系统会根据计算公式对数据进行调用与计算操作,并实时给出配置指标的预览值,用户可以根据预览值对指标设置进行综合考量,针对符合管理预期的指标值,对评价指标配置模型进行发布操作。
88.上述技术方案的有益效果为:用户可以方便地定义和配置评价指标,系统可以准确地计算评价指标,并对配置进行有效的校验和优化;这样,可以提高评价指标配置的效率和准确性,减少配置错误,提高管理效果;同时,用户可以根据预览值对指标设置进行综合考量,更好地满足管理需求;此外,系统提供的建议可以帮助用户优化指标配置,提高配置的质量。
89.在另一实施例中,s1011步骤包括:
90.定义idc设备对象的属性,属性包括设备名称、设备类型和设备厂商,定义idc设备对象的指标信息,指标信息包括设备温度、cpu使用率和内存利用率;
91.根据定义的属性信息,创建idc设备对象模板,并将属性定义在idc设备对象模板中,根据定义的指标信息,将指标信息定义在idc设备对象模板中,并与对应的属性进行关联;
92.创建idc设备对象模板时,根据定义的属性信息,为每个属性分配唯一的属性id,以便后续的属性管理和查询,根据定义的指标信息,为每个指标分配唯一的指标id,以便后续的指标管理和查询,将属性id和指标id与属性和指标信息的定义进行关联,形成完整的idc设备对象模板。
93.上述技术方案的工作原理为:首先,定义idc设备对象的属性,这些属性包括设备名称、设备类型和设备厂商,idc设备对象的属性是描述设备基本信息的关键因素,比如设备名称可以帮助我们快速识别设备,设备类型和设备厂商可以帮助我们了解设备的功能和性能;其次,定义idc设备对象的指标信息,这些指标信息包括设备温度、cpu使用率和内存利用率,这些指标是衡量设备运行状态的重要参数,通过这些指标,我们可以了解设备的运行情况,及时发现问题并进行处理;
94.然后,根据定义的属性信息和指标信息,创建idc设备对象模板,并将属性和指标信息定义在模板中,并与对应的属性进行关联,这样做的目的是为了方便后续的设备管理,通过模板,我们可以快速创建新的设备对象,同时,通过属性和指标的关联,我们可以更好地理解和使用这些信息;
95.最后,创建idc设备对象模板时,为每个属性和指标分配唯一的id,并将这些id与属性和指标信息的定义进行关联,形成完整的idc设备对象模板,这样做的目的是为了确保每个属性和指标的唯一性,避免混淆和错误。
96.上述技术方案的有益效果为:有效地管理idc设备,准确地获取设备的运行信息,及时发现和处理问题;此外,通过idc设备对象模板,我们可以快速创建新的设备对象,提高工作效率;同时,通过属性和指标的唯一id,我们可以确保信息的准确性和一致性,避免混淆和错误。
97.在另一实施例中,s1021步骤包括:
98.基于网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将采集到的全量数据转换为json格式,使用python对格式转换后的全量数据进行数据清洗操作,数据清洗包括去除重复数据、去除无效数据和校验数据格式;
99.根据设备对象的属性,将清洗后的数据按照属性进行分类,对于每个属性,将对应的数据进行分组,形成分类数据;根据预处理规则和逻辑,对分类数据进行数据预处理操作,针对异常值,进行剔除或替换处理,针对缺失值,进行填充处理,填充处理包括使用均值
或中位数进行填充。
100.上述技术方案的工作原理为:首先,基于网络和适配的数据协议,实时动态采集idc设备对象的全量数据,全量数据包括设备的所有属性和指标信息,是设备运行状态的全面反映,动态采集的目的是为了获取设备的实时信息,以便及时发现并处理设备的问题;然后,将采集到的全量数据转换为json格式,这样做的目的是为了方便后续的数据处理,json是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成;接着,使用python对格式转换后的全量数据进行数据清洗操作,包括去除重复数据、去除无效数据和校验数据格式,数据清洗是数据预处理的重要步骤,其目的是确保数据的质量,提高数据的可用性;然后,根据设备对象的属性,将清洗后的数据按照属性进行分类,对于每个属性,将对应的数据进行分组,形成分类数据,这样做的目的是为了方便后续的数据分析和处理;最后,根据预处理规则和逻辑,对分类数据进行数据预处理操作,包括处理异常值和缺失值,这样做的目的是为了进一步提高数据的质量,提升数据分析的准确性。
101.上述技术方案的有益效果为:可以有效地获取和处理idc设备的全量数据,及时发现并处理设备的问题,提高设备的运行效率和稳定性。同时,通过数据清洗和预处理,我们可以提高数据的质量和可用性,为后续的数据分析和决策提供准确的数据支持。
102.在另一实施例中,s1031步骤包括:
103.系统提供可视化配置界面,用户通过界面操作在系统数据字典中添加评价指标的名称和备注信息;可视化配置界面展示设备监测数据的标签列表,用户通过界面操作,将所需的设备监测数据标签从列表中拖拽到指标配置区域,拖拽完成后,系统将所选的设备监测数据标签显示为当前指标的计算数据项组。
104.上述技术方案的工作原理为:采用系统数据字典对评价指标名称及备注信息进行定义,是为了统一管理和维护评价指标的信息,通过在系统数据字典中添加评价指标的名称和备注信息,可以方便用户查找和使用指标;采用可视化配置界面展示设备监测数据的标签列表,是为了让用户能够直观地选择需要的监测数据,通过界面操作,用户可以从标签列表中选择所需的设备监测数据标签,便于后续的指标配置和计算;通过将所选的设备监测数据标签拖拽到指标配置区域,形成当前指标的计算数据项组,可以实现指标的灵活组合和计算,用户可以根据需求,将不同的数据项进行排序和组合,形成自定义的指标计算方式;
105.用户进入系统可视化配置界面,点击添加指标按钮,进入指标配置页面,在指标配置页面,用户可以看到系统数据字典中已有的评价指标名称和备注信息;用户可以通过界面操作,在系统数据字典中添加新的评价指标名称和备注信息,以便后续使用;在指标配置页面,用户可以看到设备监测数据的标签列表,包括各种监测数据的名称和单位;用户可以通过界面操作,将需要的设备监测数据标签从列表中拖拽到指标配置区域;拖拽完成后,系统将所选的设备监测数据标签显示为当前指标的计算数据项组,用户可以调整数据项的顺序和组合方式;用户可以使用加减乘除等算法公式库的计算符,对计算数据项组进行计算,形成最终的指标计算结果;
106.假设系统数据字典中已有评价指标名称为"温度"和"湿度",用户可以通过界面操作,在系统数据字典中添加新的评价指标名称和备注信息,如"功率"和"电流",在指标配置页面,用户可以从设备监测数据的标签列表中拖拽"温度"和"湿度"标签到指标配置区域,
形成计算数据项组;然后,用户可以调整数据项的顺序,如将"湿度"放在"温度"之前;最后,用户可以使用加法运算符,对"温度"和"湿度"进行相加计算,得到"温湿度"指标的计算结果;这样,用户通过可视化配置界面完成了指标的定义、数据项的选择和组合,实现了指标的计算和展示。
107.上述技术方案的有益效果为:用户可以方便地定义评价指标的名称和备注信息,并根据需要选择和组合设备监测数据标签,形成自定义的指标计算数据项组。这样的可视化配置界面可以提高用户的操作效率和灵活性,同时保证指标的准确性和一致性。
108.在另一实施例中,s1032步骤包括:
109.用户通过界面操作,选择需要调整顺序的数据组,用户通过拖拽数据项改变对应数据在数据组中的位置,以确定数据项之间的计算顺序;用户通过界面操作,选中需要插入计算符的数据项,从算法公式库中选择加减乘除、平方开方、求最大最小值、排序、求导以及求定积分的计算符,将选中的计算符拖拽到数据项之间,形成可视化的计算公式;系统根据用户的操作,记录用户对数据组内数据排列顺序的调整和计算公式的配置,根据用户的配置,生成评价指标配置模型,评价指标配置模型包括数据项的排列顺序和计算公式。
110.上述技术方案的工作原理为:采用界面操作来调整数据组内数据的顺序和插入算法公式库的计算符,是为了让用户能够直观地配置评价指标的计算方式,通过拖拽数据项和选择计算符,用户可以确定数据项之间的计算顺序和具体的计算公式;系统记录用户的操作,包括数据项的排列顺序和计算公式的配置,用于生成评价指标配置模型,评价指标配置模型包括了数据项的排列顺序和计算公式,可以作为后续指标计算的依据;
111.用户进入系统的界面操作界面,选择需要调整顺序的数据组,用户通过拖拽数据项的方式,改变数据项在数据组中的位置,以确定数据项之间的计算顺序,例如,用户可以将数据项a拖拽到数据项b的前面,表示数据项a应该在数据项b之前进行计算;用户选中需要插入计算符的数据项,用户可以从算法公式库中选择加减乘除、平方开方、求最大最小值、排序、求导以及求定积分等计算符;用户将选中的计算符拖拽到数据项之间,形成可视化的计算公式,例如,用户可以将加法符号拖拽到数据项a和数据项b之间,表示需要对数据项a和数据项b进行加法运算;系统记录用户的操作,包括数据项的排列顺序和计算公式的配置;根据用户的配置,系统生成评价指标配置模型,评价指标配置模型包括数据项的排列顺序和计算公式,用于后续的指标计算和分析。
112.假设用户有一个数据组,包括数据项a、数据项b和数据项c,用户想要先对数据项a进行平方开方,然后将结果与数据项b进行乘法运算,最后再与数据项c进行加法运算,用户可以通过拖拽数据项的方式,将数据项a放在数据项b之前,然后,用户从算法公式库中选择平方开方和乘法符号,将它们拖拽到数据项a和数据项b之间,最后,用户再选择加法符号,将它拖拽到之前形成的计算公式和数据项c之间,系统记录用户的操作,并生成评价指标配置模型,包括数据项的排列顺序和计算公式,这样,用户通过界面操作完成了评价指标的配置,系统根据用户的配置生成了评价指标配置模型,为后续的指标计算提供了准确的计算方式。
113.上述技术方案的有益效果为:用户可以灵活地调整数据组内数据的排列顺序和插入算法公式库的计算符,形成可视化的计算公式,系统记录用户的操作,并根据用户的配置生成评价指标配置模型,为后续的指标计算提供准确的计算方式。
114.在另一实施例中,s1033步骤包括:
115.系统通过界面脚本语言,对评价指标配置模型中的数据进行约束校验,界面脚本语言通过编写脚本来定义数据的类型、范围以及格式的约束条件,并对评价指标配置模型中的数据进行验证;系统利用微服务节点沙盒环境,模拟生产系统的运行环境,通过微服务节点沙盒环境提供一个隔离的环境,该隔离的环境用于运行生产数据,并模拟生产系统的资源消耗;
116.系统根据评价指标配置模型和生产数据,在微服务节点沙盒环境中运行指标计算,并评估资源消耗量,获取评估结果,系统根据评估结果,判断配置的指标是否超出生产系统的承载范围,获取校验结果,系统将校验结果返回给用户。
117.上述技术方案的工作原理为:采用界面脚本语言对评价指标配置模型中的数据进行约束校验,是为了确保配置的指标符合系统的规范和要求,通过编写脚本来定义数据的类型、范围、格式等约束条件,对评价指标配置模型中的数据进行验证;利用微服务节点沙盒环境来运行生产数据,是为了模拟生产系统的运行环境,微服务节点沙盒环境提供一个隔离的环境,用于运行生产数据,并模拟生产系统的资源消耗,以评估配置指标对系统资源的影响;
118.用户在界面上配置评价指标,系统通过界面脚本语言对配置的指标数据进行约束校验,例如,用户配置了一个指标的取值范围为0-100,系统通过脚本语言验证用户输入的值是否在指定范围内;系统利用微服务节点沙盒环境,模拟生产系统的运行环境,微服务节点沙盒环境提供一个隔离的环境,可以运行生产数据,并模拟系统的资源消耗;系统根据评价指标配置模型和生产数据,在微服务节点沙盒环境中运行指标计算,并评估资源消耗量,例如,系统根据配置的指标计算公式和给定的生产数据,进行指标计算,并记录计算过程中消耗的cpu、内存等资源;根据评估结果,系统判断配置的指标是否超出生产系统的承载范围,例如,系统根据评估结果发现某个指标计算过程中消耗的cpu资源超过了系统的限制,系统将判断该指标配置不符合系统的要求;系统将校验结果返回给用户,以便用户了解配置指标是否符合生产系统的要求,用户可以根据校验结果进行调整和优化,以确保指标配置符合系统的承载能力;
119.假设用户配置了一个评价指标,需要对一组数据进行排序,并计算排序后的前三个数据的平均值,系统通过界面脚本语言对该指标的数据进行约束校验,例如,数据的类型必须为数值型,并且数据组的长度不能超过1000,接下来,系统利用微服务节点沙盒环境模拟生产系统的运行环境,在沙盒环境中运行指标计算,包括对数据进行排序和计算平均值;系统评估计算过程中消耗的资源量,例如,cpu的使用率和内存的占用量,根据评估结果,系统判断配置的指标是否超出了系统的承载范围,如果资源消耗过高,则系统将返回校验结果给用户,提示用户调整指标配置以符合系统要求,这样,用户可以根据校验结果进行调整和优化,确保指标配置符合生产系统的要求。
120.上述技术方案的有益效果为:可以对评价指标配置模型中的数据进行约束校验,确保配置的指标符合系统的规范和要求;同时,利用微服务节点沙盒环境运行生产数据,并评估资源消耗量,以判断配置指标是否超出生产系统的承载范围;这样可以提高系统的稳定性和可靠性,确保配置的指标对系统资源的消耗在可接受范围内。
121.在另一实施例中,基于idc设备监测数据的机房评价指标配置系统,包括:
122.定义设备对象数据单元,用于对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;
123.构建设备监测数据组库单元,用于获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;
124.获取评价指标配置模型单元,用于对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。
125.上述技术方案的工作原理为:定义设备对象数据单元包括:
126.创建idc设备对象模板模块,用于定义idc设备对象数据,对象数据包括对应属性和指标信息,根据定义的属性和指标信息,创建idc设备对象模板;
127.关联操作模块,用于在系统中录入管理范围内的设备对象,并根据设备对象数据的属性和指标信息,与对应的idc设备对象模板进行关联操作;
128.分配对象id模块,用于根据idc设备对象数据的定义,为每个设备对象分配唯一的对象id,通过对象id对全量设备对象进行管理和查询;
129.构建设备监测数据组库单元包括:
130.构建第一设备监测数据组库模块,用于提供网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将全量数据转换为json格式后经过python的数据进行数据清洗操作,将经过清洗后的数据分类,并按照设定的规则和逻辑进行数据预处理,数据预处理包括去除异常值和填充缺失值,将预处理后的数据作为原始数据存储至mysql数据库中;
131.构建第二设备监测数据组库模块,用于基于编程语言技术,提取mysql数据库中的原始数据,并按照数据的属性、时间和相关性进行标签化处理,其中,编程语言技术包括python、sql、java和shell脚本;
132.构建第三设备监测数据组库模块,用于将每条原始数据与对应的标签组合在一起,形成带有标签的设备监测数据,通过sql插入操作,将带有标签的设备监测数据存储到设备监测数据组库中;
133.获取评价指标配置模型单元包括:
134.第一获取评价指标配置模型模块,用于系统提供可视化配置界面,通过系统数据字典对评价指标名称及备注信息进行定义,用户通过界面操作,对可视化的设备监测数据标签进行拖拽,形成当前指标的计算数据项组;
135.第二获取评价指标配置模型模块,用于用户通过界面操作,对数据组内数据排列顺序进行调整,以确定数据项之间的计算顺序,在数据项之间插入加减乘除、平方开方、求最大最小值、排序、求导、求定积分的算法公式库的计算符,形成可视化的计算公式,系统根据用户的配置,生成评价指标配置模型;
136.第三获取评价指标配置模型模块,用于系统通过界面脚本语言对评价指标配置模型中的数据进行约束校验操作,利用微服务节点沙盒环境来运行生产数据,并对照历史数据评估资源消耗量,以判断配置指标是否超出生产系统的承载范围,获取校验结果;
137.第四获取评价指标配置模型模块,用于当系统根据校验结果识别指标配置存在缺陷时,根据缺陷提供对应的建议,当系统根据校验结果识别指标配置不存在缺陷时,根据计算公式对数据进行调用与计算操作,并实时给出配置指标的预览值,用户根据预览值对指
标设置进行综合考量,针对符合管理预期的指标值,对评价指标配置模型进行发布操作。
138.上述技术方案的有益效果为:通过定义对象数据的属性和指标信息,实现对全量设备的管理,这样可以方便对设备数据进行分类、查询和分析,提高数据的可管理性和可用性;构建了设备监测数据组库,通过获取idc设备的全量数据并进行预处理,将原始数据进行标签化处理,形成了可供后续分析和评估的数据组库,提高数据的准确性和一致性,为后续的评价指标定义和配置提供基础;提供了一种获取评价指标配置模型的方法,通过对设备监测数据组库进行评价指标定义,并对定义后的评价指标进行配置处理,生成评价指标配置模型,这样可以根据实际需求灵活配置评价指标,满足不同场景下的监测和评估需求;实现了对评价指标配置模型的校验、预览和自动发布操作,通过对评价指标配置模型进行校验,确保配置的指标符合系统的规范和要求,通过预览功能,用户可以了解配置的效果和结果,通过自动发布操作,评价指标配置模型可以在生产环境中自动生效,为idc设备的监测和评估提供支持。
139.显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
技术特征:
1.基于idc设备监测数据的机房评价指标配置方法,其特征在于,包括:s101:对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;s102:获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;s103:对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。2.根据权利要求1所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s101步骤包括:s1011:定义idc设备对象数据,对象数据包括对应属性和指标信息,根据定义的属性和指标信息,创建idc设备对象模板;s1012:在系统中录入管理范围内的设备对象,并根据设备对象数据的属性和指标信息,与对应的idc设备对象模板进行关联操作;s1013:根据idc设备对象数据的定义,为每个设备对象分配唯一的对象id,通过对象id对全量设备对象进行管理和查询。3.根据权利要求1所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s102步骤包括:s1021:提供网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将全量数据转换为json格式后经过python的数据进行数据清洗操作,将经过清洗后的数据分类,并按照设定的规则和逻辑进行数据预处理,数据预处理包括去除异常值和填充缺失值,将预处理后的数据作为原始数据存储至mysql数据库中;s1022:基于编程语言技术,提取mysql数据库中的原始数据,并按照数据的属性、时间和相关性进行标签化处理,其中,编程语言技术包括python、sql、java和shell脚本;s1023:将每条原始数据与对应的标签组合在一起,形成带有标签的设备监测数据,通过sql插入操作,将带有标签的设备监测数据存储到设备监测数据组库中。4.根据权利要求1所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s103步骤包括:s1031:系统提供可视化配置界面,通过系统数据字典对评价指标名称及备注信息进行定义,用户通过界面操作,对可视化的设备监测数据标签进行拖拽,形成当前指标的计算数据项组;s1032:用户通过界面操作,对数据组内数据排列顺序进行调整,以确定数据项之间的计算顺序,在数据项之间插入加减乘除、平方开方、求最大最小值、排序、求导、求定积分的算法公式库的计算符,形成可视化的计算公式,系统根据用户的配置,生成评价指标配置模型;s1033:系统通过界面脚本语言对评价指标配置模型中的数据进行约束校验操作,利用微服务节点沙盒环境来运行生产数据,并对照历史数据评估资源消耗量,以判断配置指标是否超出生产系统的承载范围,获取校验结果;s1034:当系统根据校验结果识别指标配置存在缺陷时,根据缺陷提供对应的建议,当系统根据校验结果识别指标配置不存在缺陷时,根据计算公式对数据进行调用与计算操
作,并实时给出配置指标的预览值,用户根据预览值对指标设置进行综合评估,针对符合管理预期的指标值,对评价指标配置模型进行发布操作。5.根据权利要求2所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s1011步骤包括:定义idc设备对象的属性,属性包括设备名称、设备类型和设备厂商,定义idc设备对象的指标信息,指标信息包括设备温度、cpu使用率和内存利用率;根据定义的属性信息,创建idc设备对象模板,并将属性定义在idc设备对象模板中,根据定义的指标信息,将指标信息定义在idc设备对象模板中,并与对应的属性进行关联;创建idc设备对象模板时,根据定义的属性信息,为每个属性分配唯一的属性id,根据定义的指标信息,为每个指标分配唯一的指标id,将属性id和指标id与属性和指标信息的定义进行关联,形成完整的idc设备对象模板。6.根据权利要求3所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s1021步骤包括:基于网络和适配的数据协议,实时动态采集idc设备对象的全量数据,将采集到的全量数据转换为json格式,使用python对格式转换后的全量数据进行数据清洗操作,数据清洗包括去除重复数据、去除无效数据和校验数据格式;根据设备对象的属性,将清洗后的数据按照属性进行分类,对于每个属性,将对应的数据进行分组,形成分类数据;根据预处理规则和逻辑,对分类数据进行数据预处理操作,针对异常值,进行剔除或替换处理,针对缺失值,进行填充处理,填充处理包括使用均值或中位数进行填充。7.根据权利要求4所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s1031步骤包括:系统提供可视化配置界面,用户通过界面操作在系统数据字典中添加评价指标的名称和备注信息;可视化配置界面展示设备监测数据的标签列表,用户通过界面操作,将所需的设备监测数据标签从列表中拖拽到指标配置区域,拖拽完成后,系统将所选的设备监测数据标签显示为当前指标的计算数据项组。8.根据权利要求4所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s1032步骤包括:用户通过界面操作,选择需要调整顺序的数据组,用户通过拖拽数据项改变对应数据在数据组中的位置,以确定数据项之间的计算顺序;用户通过界面操作,选中需要插入计算符的数据项,从算法公式库中选择加减乘除、平方开方、求最大最小值、排序、求导以及求定积分的计算符,将选中的计算符拖拽到数据项之间,形成可视化的计算公式;系统根据用户的操作,记录用户对数据组内数据排列顺序的调整和计算公式的配置,根据用户的配置,生成评价指标配置模型,评价指标配置模型包括数据项的排列顺序和计算公式。9.根据权利要求4所述的基于idc设备监测数据的机房评价指标配置方法,其特征在于,s1033步骤包括:系统通过界面脚本语言,对评价指标配置模型中的数据进行约束校验,界面脚本语言通过编写脚本来定义数据的类型、范围以及格式的约束条件,并对评价指标配置模型中的数据进行验证;系统利用微服务节点沙盒环境,模拟生产系统的运行环境,通过微服务节点
沙盒环境提供一个隔离的环境,该隔离的环境用于运行生产数据,并模拟生产系统的资源消耗;系统根据评价指标配置模型和生产数据,在微服务节点沙盒环境中运行指标计算,并评估资源消耗量,获取评估结果,系统根据评估结果,判断配置的指标是否超出生产系统的承载范围,获取校验结果,系统将校验结果返回给用户。10.基于idc设备监测数据的机房评价指标配置系统,其特征在于,包括:定义设备对象数据单元,用于对idc设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;构建设备监测数据组库单元,用于获取idc设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;获取评价指标配置模型单元,用于对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。
技术总结
本发明公开了一种基于IDC设备监测数据的机房评价指标配置方法,包括:对IDC设备对象数据进行定义,基于定义对象数据,对全量设备进行管理,其中,对象数据包括对应属性和指标信息;获取IDC设备的全量数据,对全量数据进行预处理获取原始数据,将原始数据进行标签化处理,形成设备监测数据组库;对设备监测数据组库进行评价指标定义,通过对定义后的评价指标进行配置处理,获取评价指标配置模型,对评价指标配置模型进行校验、预览和自动发布操作。可以对设备的运行效果进行量化评价,提供决策依据,提高设备的使用效率。提高设备的使用效率。提高设备的使用效率。
技术研发人员:聂道翔 胡飞扬 陈娣 杜炜 郑黎明 柳颖 韩梅霞 舒鹏成 吴启山 吴肖 陈有智
受保护的技术使用者:三峡长电大数据科技(宜昌)有限公司 三峡高科信息技术有限责任公司
技术研发日:2023.07.10
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
