一种用于IDC数据中心的网络数据监控方法及系统与流程

一种用于idc数据中心的网络数据监控方法及系统
技术领域
1.本发明涉及大数据处理技术领域，尤其涉及一种用于idc数据中心的网络数据监控方法及系统。


背景技术：

2.互联网数据中心（internet data center）简称idc，为集中式收集、存储、处理和发送数据的设备提供运行维护的设施基地。idc中一般包括多个服务器，例如，提供应用服务的应用服务节点和存储数据的数据存储节点等等。
3.数据在传输过程中有可能存在数据丢失、数据传输错误等影响到数据质量的问题，而数据质量的好坏对数据计算结果的正确性有着关键性作用，错误的数据计算结果可能导致根据数据计算结果产生失败的决策。若在将数据从应用服务节点传输到数据存储节点的过程中产生数据传输问题，那么进一步将已经发生错误的数据传输到数据仓库，不但会浪费网络带宽资源，更会导致产生错误的计算结果。
4.此外，大量网络数据需要存储在数据存储节点方便应用服务节点调用，但是由于数据存储节点内部存储的网络数据量过于庞大，目前针对idc数据中心的网络数据监控难方法以及时发现数据存储节点异常。


技术实现要素：

5.本发明实施例提供一种用于idc数据中心的网络数据监控方法及系统，截取节点之间的实时数据包计算偏度，及时选用合适的检测算法检测数据存储节点异常性。
6.本技术实施例的第一方面提供了一种用于idc数据中心的网络数据监控方法，包括：对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点；截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向传来的应用接收数据包；对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度；根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性；分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的时间
戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
7.在第一方面的一种可能的实现方式中，所述对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度，具体为：对所述第二存储发送数据包进行漂移性变化分析；若所述第二存储发送数据包存在漂移，根据检测获得的漂移点切割所述第二存储发送数据包；若所述第二存储发送数据包存在漂移，使所述第二存储发送数据包保持不变；对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析；若所述第二存储发送数据包不存在周期性或者所述第二存储发送数据包满足平稳性检验，计算所述第二存储发送数据包的偏度。
8.在第一方面的一种可能的实现方式中，所述对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析之后，还包括：若所述第二存储发送数据包存在周期性，按照周期跨度对所述第二存储发送数据进行切割，得到多段等长的第二存储发送数据段；计算所述第一存储发送数据段的偏度，并将所述第二存储发送数据段的偏度作为所述第二存储发送数据包的偏度。
9.在第一方面的一种可能的实现方式中，所述对所述第二存储发送数据包进行漂移性变化分析，具体包括：根据给定窗口的大小，提取所述给定窗口内的中位数来获取第二存储发送数据包的第一趋势成分；根据所述第一趋势成分对所述第二存储发送数据包进行平滑处理；平滑处理后的所述第二存储发送数据包为递增数据包或者递减数据包，判断所述第二存储发送数据包不存在漂移；若当前样本点左边数据包的最大值小于当前样本点右边数据包的最小值，判断所述第二存储发送数据包存在突增漂移；若当前样本点左边数据包的最小值大于当前样本点右边数据包的最大值，判断所述第二存储发送数据包存在突降漂移。
10.在第一方面的一种可能的实现方式中，所述对所述第二存储发送数据包进行周期性变化分析，具体包括：提取所述第二存储发送数据包中的第二趋势成分；根据所述第二趋势成分分离出残差数据包；计算所述残差数据包的循环自相关序列，并根据所述循环自相关序列的峰值坐标来确定周期性和对应周期跨度。
11.在第一方面的一种可能的实现方式中，所述对所述第二存储发送数据包进行时序平稳性分析，具体包括：通过单位根检验对所述第二存储发送数据包进行检验；在单位根检验中，若第一预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈值，且第二预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈
值，所述第二存储发送数据包满足平稳性检验。
12.在第一方面的一种可能的实现方式中，所述计算所述第二存储发送数据包的偏度，具体包括：将所述第二存储发送数据包的表现形式转化为概率分布形式，并根据所述概率分布形式计算分布的偏度作为所述第二存储发送数据包的偏度。
13.在第一方面的一种可能的实现方式中，所述根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性，具体包括：若所述偏度的值大于0且小于或等于第一偏度阈值，选用绝对中位差方法检测所述数据存储节点的异常性；若所述偏度的值大于第一偏度阈值且小于或等于第二偏度阈值，选用箱型图方法检测所述数据存储节点的异常性；所述偏度的值大于第二偏度阈值且小于或等于第三偏度阈值，选用极值理论方法检测所述数据存储节点的异常性。
14.在第一方面的一种可能的实现方式中，还包括：通过所述业务服务节点统计预设统计时间段内所述第一业务接收数据包中相同的数据段出现的次数，根据次数大小得到所述数据存储节点的常用数据段；通过所述业务服务节点提取预设统计时间段内所述第二业务接收数据包中参数数据段并分析，得到所述应用服务节点的监控指标。
15.本技术实施例的第二方面提供了一种用于idc数据中心的网络数据监控系统，包括：虚拟化模块，用于对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点；截取模块，用于截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向传来的应用接收数据包；偏度计算模块，用于对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度；检测模块，用于根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性；比较模块，用于分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的时间戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
16.相比于现有技术，本发明实施例提供了一种用于idc数据中心的网络数据监控方法及系统，对idc数据中心虚拟化后，实时截取三种节点之间的数据包。其中，对数据存储节
点往应用服务节点发送的第二存储发送数据包进行三种时序上的分析，分别是漂移性变化分析、周期性变化分析、时序平稳性分析，然后将时序分析结果从时序表现转换为概率分布表现形式，根据概率分布形式得到偏度作为检测算法的选择依据，选出合适且高效的检测算法从网络大数据存储层面对数据存储节点进行检测。由于第二存储发送数据包是实时获取的，实时反映了数据存储节点的存储情况，而且检测算法是根据第二存储发送数据包的不同同步调整，保证检测运算的高效和准确性。
17.另一方面，从网络大数据传输层面上考虑，通过对三种节点之间的数据包传输前后状态的分析，从时间以及结构方面对数据包进行比较，实时得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
18.综上所述，本实施例从网络大数据存储层面和网络大数据传输层面对idc数据中心的网络数据进行高效且实时的监控。
附图说明
19.图1是本发明一实施例提供一种用于idc数据中心的网络数据监控方法的流程示意图；图2是本发明一实施例提供一种用于idc数据中心的网络数据监控系统的结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.请参照图1，本发明实施例提供用于idc数据中心的网络数据监控方法，包括：s10、对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点。
22.s11、截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向传来的应用接收数据包。
23.s12、对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度。
24.s13、根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性。
25.s14、分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的
时间戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
26.本实施例中，将虚拟化后idc数据中心节点分为三种节点：数据存储节点、应用服务节点和业务服务节点，数据存储节点用于储存idc数据中心运行所需要的网络大数据集合；应用服务节点用于回应用户的各种应用申请；业务服务节点用于从数据上监控数据存储节点、应用服务节点的业务目标是否达成。
27.s12-s13从网络大数据存储层面idc数据中心的网络数据进行高效且实时的监控，依据第二存储发送数据包的偏度选出合适的检测算法；s14从网络大数据传输层面对idc数据中心的网络数据进行高效且实时的监控，依据是数据包之间时间戳和数据差异性。
28.s14中，以所述数据存储节点与所述业务服务节点之间的数据传输速度与质量为例，举例说明数据包之间的比较方式：从所述第一存储发送数据包获取发送时间戳、从所述第一业务接收数据包获取接收时间戳，根据发送时间戳与接收时间戳的差值得到数据传输延迟。
29.比较所述第一存储发送数据包和所述第一业务接收数据包的一致性，若一致，则传输效率为100%。若不一致，可以进一步根据将数据包切割成数据块，比较各个对应数据块对之间数据块的结构差异与内容差异。
30.基于检测算法库异常发现能力，可以基于数据存储节点，截取第二存储发送数据包对关键指标（漂移性变化分析、周期性变化分析、时序平稳性）进行7*24小时巡检，能够在异常萌芽状态就发现风险，更早地将异常暴露，辅助研发人员在问题恶化前进行定位和止损。
31.下面将第二存储发送数据包随着时间的变化出现均值的显著变化或是存在全局突变点的情况，统称为漂移的场景。为了能够准确地捕捉第二存储发送数据包的最新走势，需要在结合历史数据判断是否存在漂移的现象。
32.示例性地，s12具体为：对所述第二存储发送数据包进行漂移性变化分析。
33.若所述第二存储发送数据包存在漂移，根据检测获得的漂移点切割所述第二存储发送数据包；若所述第二存储发送数据包存在漂移，使所述第二存储发送数据包保持不变。
34.对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析；若所述第二存储发送数据包不存在周期性或者所述第二存储发送数据包满足平稳性检验，计算所述第二存储发送数据包的偏度。
35.示例性地，所述对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析之后，还包括：若所述第二存储发送数据包存在周期性，按照周期跨度对所述第二存储发送数据进行切割，得到多段等长的第二存储发送数据段；计算所述第一存储发送数据段的偏度，并将所述第二存储发送数据段的偏度作为所述第二存储发送数据包的偏度。
36.示例性地，所述对所述第二存储发送数据包进行漂移性变化分析，具体包括：根据给定窗口的大小，提取所述给定窗口内的中位数来获取第二存储发送数据包
的第一趋势成分；根据所述第一趋势成分对所述第二存储发送数据包进行平滑处理；平滑处理后的所述第二存储发送数据包为递增数据包或者递减数据包，判断所述第二存储发送数据包不存在漂移；若当前样本点左边数据包的最大值小于当前样本点右边数据包的最小值，判断所述第二存储发送数据包存在突增漂移；若当前样本点左边数据包的最小值大于当前样本点右边数据包的最大值，判断所述第二存储发送数据包存在突降漂移。
37.本实施例使用了基于中位数滤波的漂移检测方法，主要的流程包含以下几个环节：中位数平滑环节：根据给定窗口的大小，提取窗口内的中位数来获取第二存储发送数据包的趋势成分。本环节的窗口需要足够大，以避免周期因素影响，并进行滤波延迟矫正。使用中位数而非均值平滑的原因在于为了规避异常样本的影响。
38.判断平滑后的第二存储发送数据包是否存在长期趋势：若每个点都大于（小于）前一个点，则序列为递增（递减）数据包。如果第二存储发送数据包存在严格递增或是严格递减的性质，则指标明显存在长期趋势，此时可提前终止。
39.遍历平滑后的第二存储发送数据包，利用如下两个规则来判断是否存在漂移的现象：a.当前样本点左边数据包的最大值小于当前样本点右边数据包的最小值，则存在突增漂移（上涨趋势）。
40.b.当前样本点左边数据包的最小值大于当前样本点右边数据包的最大值，则存在突降漂移（下跌趋势）。
41.示例性地，s12中对所述第二存储发送数据包进行周期性变化分析，具体包括：提取所述第二存储发送数据包中的第二趋势成分；根据所述第二趋势成分分离出残差数据包；计算所述残差数据包的循环自相关序列，并根据所述循环自相关序列的峰值坐标来确定周期性和对应周期跨度。
42.作为一个举例，可以使用移动平均法从第二存储发送数据包提取出长期趋势项，跟第二存储发送数据包作差得到残差数据包。
43.通过循环移动残差序列后，与残差序列进行向量点乘运算来计算自相关序列（循环自相关可以避免延迟衰减）。
44.最后提取自相关序列的一系列局部最高峰，取横坐标的间隔为周期。如果该周期点对应的自相关值小于给定阈值，则认为无显著周期性。
45.示例性地，s12中对所述第二存储发送数据包进行时序平稳性分析，具体包括：通过单位根检验对所述第二存储发送数据包进行检验；在单位根检验中，若第一预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈值，且第二预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈值，所述第二存储发送数据包满足平稳性检验。
46.对于一个数据包，如果其在任意时刻，它的性质不随观测时间的变化而变化，可以认为数据包是具备平稳性的。因此，对于具有长期趋势成分亦或是周期性成分的第二存储
发送数据包而言，它们都是不平稳的。
47.本实施例通过单位根检验（augmented dickey-fuller test）来判断数据包是否平稳。具体地说，对于一条给定时间范围指标的历史数据而言，认为在同时满足如下条件的情况下，时序是平稳的。
48.1、最近7天的时序数据通过adfuller检验获得的p值小于0.08。
49.2、最近24天的时序数据通过adfuller检验获得的p值小于0.08。
50.示例性地，s12中所述计算所述第二存储发送数据包的偏度，具体包括：将所述第二存储发送数据包的表现形式转化为概率分布形式，并根据所述概率分布形式计算分布的偏度作为所述第二存储发送数据包的偏度。
51.本实施例实质上将时序指标转化为概率分布图，进而计算分布的偏度，若偏度的绝对值超过阈值，则通过极值理论进行输出阈值。若偏度的绝对值小于阈值，则通过箱形图或是绝对中位差的方式进行输出阈值。
52.示例性地，s13具体包括：若所述偏度的值大于0且小于或等于第一偏度阈值，选用绝对中位差方法检测所述数据存储节点的异常性；若所述偏度的值大于第一偏度阈值且小于或等于第二偏度阈值，选用箱型图方法检测所述数据存储节点的异常性；所述偏度的值大于第二偏度阈值且小于或等于第三偏度阈值，选用极值理论方法检测所述数据存储节点的异常性。
53.本实施例重点在在于判断偏度属于三个区间中哪一个区间——低偏度区间：（0,第一偏度阈值]、中偏度区间：（第一偏度阈值,第二偏度阈值]、高偏度区间：（第二偏度阈值,第三偏度阈值]，若处于低偏度区间，使用绝对中位差（mad）检测算法；若处于中偏度区间，使用箱形图（boxplot）检测算法；若处于高偏度区间，使用极值理论（evt）检测算法。
54.用于idc数据中心的网络数据监控方法还包括：通过所述业务服务节点统计预设统计时间段内所述第一业务接收数据包中相同的数据段出现的次数，根据次数大小得到所述数据存储节点的常用数据段；通过所述业务服务节点提取预设统计时间段内所述第二业务接收数据包中参数数据段并分析，得到所述应用服务节点的监控指标。
55.所述第一业务接收数据包中相同的数据段出现的次数大于预设常用阈值，将该数据段作为所述数据存储节点的常用数据段。后续可以对全部常用数据段按照出现的次数的大小排序，更清晰展示出哪些数据段属于需要重点保护的数据。
56.第二业务接收数据包的参数数据段包括jvm堆内存参数段、gc参数段、cpu使用率参数段、线程数参数段、吞吐量参数段。
57.相比于现有技术，本发明实施例提供了一种用于idc数据中心的网络数据监控方法及系统，对idc数据中心虚拟化后，实时截取三种节点之间的数据包。其中，对数据存储节点往应用服务节点发送的第二存储发送数据包进行三种时序上的分析，分别是漂移性变化分析、周期性变化分析、时序平稳性分析，然后将时序分析结果从时序表现转换为概率分布表现形式，根据概率分布形式得到偏度作为检测算法的选择依据，选出合适且高效的检测算法从网络大数据存储层面对数据存储节点进行检测。由于第二存储发送数据包是实时获
取的，实时反映了数据存储节点的存储情况，而且检测算法是根据第二存储发送数据包的不同同步调整，保证检测运算的高效和准确性。
58.另一方面，从网络大数据传输层面上考虑，通过对三种节点之间的数据包传输前后状态的分析，从时间以及结构方面对数据包进行比较，实时得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
59.综上所述，本实施例从网络大数据存储层面和网络大数据传输层面对idc数据中心的网络数据进行高效且实时的监控。
60.本技术一实施例提供一种用于idc数据中心的网络数据监控系统，包括：虚拟化模块20、截取模块21、偏度计算模块22、检测模块23和比较模块24。
61.虚拟化模块20，用于对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点。
62.截取模块21，用于截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向传来的应用接收数据包。
63.偏度计算模块22，用于对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度。
64.检测模块23，用于根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性。
65.比较模块24，用于分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的时间戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
66.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的识别系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
67.相比于现有技术，本发明实施例提供了一种用于idc数据中心的网络数据监控系统，对idc数据中心虚拟化后，实时截取三种节点之间的数据包。其中，对数据存储节点往应用服务节点发送的第二存储发送数据包进行三种时序上的分析，分别是漂移性变化分析、周期性变化分析、时序平稳性分析，然后将时序分析结果从时序表现转换为概率分布表现形式，根据概率分布形式得到偏度作为检测算法的选择依据，选出合适且高效的检测算法从网络大数据存储层面对数据存储节点进行检测。由于第二存储发送数据包是实时获取的，实时反映了数据存储节点的存储情况，而且检测算法是根据第二存储发送数据包的不同同步调整，保证检测运算的高效和准确性。
68.另一方面，从网络大数据传输层面上考虑，通过对三种节点之间的数据包传输前后状态的分析，从时间以及结构方面对数据包进行比较，实时得到所述数据存储节点与所
述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。
69.综上所述，本实施例从网络大数据存储层面和网络大数据传输层面对idc数据中心的网络数据进行高效且实时的监控。
70.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种用于idc数据中心的网络数据监控方法，其特征在于，包括：对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点；截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向传来的应用接收数据包；对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度；根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性；分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的时间戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。2.如权利要求1所述用于idc数据中心的网络数据监控方法，其特征在于，所述对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度，具体为：对所述第二存储发送数据包进行漂移性变化分析；若所述第二存储发送数据包存在漂移，根据检测获得的漂移点切割所述第二存储发送数据包；若所述第二存储发送数据包存在漂移，使所述第二存储发送数据包保持不变；对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析；若所述第二存储发送数据包不存在周期性或者所述第二存储发送数据包满足平稳性检验，计算所述第二存储发送数据包的偏度。3.如权利要求2所述用于idc数据中心的网络数据监控方法，其特征在于，所述对所述第二存储发送数据包进行周期性变化分析和时序平稳性分析之后，还包括：若所述第二存储发送数据包存在周期性，按照周期跨度对所述第二存储发送数据进行切割，得到多段等长的第二存储发送数据段；计算所述第一存储发送数据段的偏度，并将所述第二存储发送数据段的偏度作为所述第二存储发送数据包的偏度。4.如权利要求2所述用于idc数据中心的网络数据监控方法，其特征在于，所述对所述第二存储发送数据包进行漂移性变化分析，具体包括：根据给定窗口的大小，提取所述给定窗口内的中位数来获取第二存储发送数据包的第一趋势成分；根据所述第一趋势成分对所述第二存储发送数据包进行平滑处理；平滑处理后的所述第二存储发送数据包为递增数据包或者递减数据包，判断所述第二存储发送数据包不存在漂移；若当前样本点左边数据包的最大值小于当前样本点右边数据包的最小值，判断所述第
二存储发送数据包存在突增漂移；若当前样本点左边数据包的最小值大于当前样本点右边数据包的最大值，判断所述第二存储发送数据包存在突降漂移。5.如权利要求2所述用于idc数据中心的网络数据监控方法，其特征在于，所述对所述第二存储发送数据包进行周期性变化分析，具体包括：提取所述第二存储发送数据包中的第二趋势成分；根据所述第二趋势成分分离出残差数据包；计算所述残差数据包的循环自相关序列，并根据所述循环自相关序列的峰值坐标来确定周期性和对应周期跨度。6.如权利要求2所述用于idc数据中心的网络数据监控方法，其特征在于，所述对所述第二存储发送数据包进行时序平稳性分析，具体包括：通过单位根检验对所述第二存储发送数据包进行检验；在单位根检验中，若第一预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈值，且第二预设时间段内所述第二存储发送数据包检验获得的p值小于检验阈值，所述第二存储发送数据包满足平稳性检验。7.如权利要求2所述用于idc数据中心的网络数据监控方法，其特征在于，所述计算所述第二存储发送数据包的偏度，具体包括：将所述第二存储发送数据包的表现形式转化为概率分布形式，并根据所述概率分布形式计算分布的偏度作为所述第二存储发送数据包的偏度。8.如权利要求1所述用于idc数据中心的网络数据监控方法，其特征在于，所述根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性，具体包括：若所述偏度的值大于0且小于或等于第一偏度阈值，选用绝对中位差方法检测所述数据存储节点的异常性；若所述偏度的值大于第一偏度阈值且小于或等于第二偏度阈值，选用箱型图方法检测所述数据存储节点的异常性；所述偏度的值大于第二偏度阈值且小于或等于第三偏度阈值，选用极值理论方法检测所述数据存储节点的异常性。9.如权利要求1所述用于idc数据中心的网络数据监控方法，其特征在于，还包括：通过所述业务服务节点统计预设统计时间段内所述第一业务接收数据包中相同的数据段出现的次数，根据次数大小得到所述数据存储节点的常用数据段；通过所述业务服务节点提取预设统计时间段内所述第二业务接收数据包中参数数据段并分析，得到所述应用服务节点的监控指标。10.一种用于idc数据中心的网络数据监控系统，其特征在于，包括：虚拟化模块，用于对idc数据中心中所有服务器进行虚拟化，得到数据存储节点、应用服务节点和业务服务节点；截取模块，用于截取所述数据存储节点往所述业务服务节点方向发送的第一存储发送数据包、所述业务服务节点接收从所述数据存储节点方向传来的第一业务接收数据包、所述应用服务节点往所述业务服务节点方向发送的应用发送数据包、所述业务服务节点接收从所述应用服务节点方向传来的第二业务接收数据包、所述数据存储节点往所述应用服务节点方向发送的第二存储发送数据包和所述应用服务节点接收从所述数据存储节点方向
传来的应用接收数据包；偏度计算模块，用于对所述第二存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到所述第二存储发送数据包的偏度；检测模块，用于根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性；比较模块，用于分别比较所述第一存储发送数据包和所述第一业务接收数据包、所述应用发送数据包和所述第二业务接收数据包、所述第二存储发送数据包和所述应用接收数据包的时间戳和数据一致性，得到所述数据存储节点与所述业务服务节点之间、所述应用服务节点与所述业务服务节点之间、所述数据存储节点与所述应用服务节点之间的数据传输速度与质量。

技术总结
本发明公开一种用于IDC数据中心的网络数据监控方法及系统，包括：对存储发送数据包进行漂移性变化分析、周期性变化分析、时序平稳性分析，得到存储发送数据包的偏度；根据所述偏度的大小选用异常检测算法确认所述数据存储节点中网络数据的异常性；分别比较节点之间数据包传输前后的时间戳和数据一致性，得到节点之间的数据传输速度与质量。采用本发明，从网络大数据存储层面和网络大数据传输层面对IDC数据中心的网络数据进行高效且实时的监控，能及时选出合适的检测算法检测出数据存储节点中网络数据的异常性。节点中网络数据的异常性。节点中网络数据的异常性。


技术研发人员：兰满桔 吴俊刚 赵伟锋 张宇文
受保护的技术使用者：广州尚航信息科技股份有限公司
技术研发日：2023.08.31
技术公布日：2023/10/11