一种异常数据识别方法、系统、计算机及可读存储介质与流程
未命名
07-14
阅读:98
评论:0
1.本发明属于数据识别的技术领域,具体地涉及一种异常数据识别方法、系统、设备及可读存储介质。
背景技术:
2.随着经济的发展,监测设备已经广泛应用于各领域,而现在为了便于监测设备的监测数据的统一管理,在后台或者云端通常会采用一套监测设备管理系统以实现监测数据的统一管理,但在监测数据由于环境因素、设备因素可能会导致监测数据中会存在一些异常数据,因此需要识别出异常数据以便于对监测设备或者监测环境进行分析,但现有技术中识别异常数据通常通过人工跟踪监测数据并识别异常数据,但人工识别的方式效率较为低下,且不具智能化,时效性较低。
技术实现要素:
3.为了解决上述技术问题,本发明提供了一种异常数据识别方法、系统、设备及可读存储介质,用于解决现有技术中存在的技术问题。
4.第一方面,该发明提供以下技术方案,一种异常数据识别方法,所述方法包括:按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。
5.相比现有技术,本技术的有益效果为:本技术通过获取到监测设备上传的监测数据,并对其进行中断判断,依次可以便在后续进行异常趋势识别时,由于数据中断而导致趋势识别误差较大,在中断判断之后对其进行窗口中值矫正,通过窗口选取的中值矫正中断监测数据,以此可保证矫正之后的第二非中断监测数据更加趋近与中断的原本监测数据,且矫正之后的第二非中断监测数据的真实性较高,之后对第一非中断监测数据与第二非中断监测数据进行异常趋势识别,在识别出的异常趋势之后,根据异常趋势反推监测数据,并将该监测数据作为异常数据,因此本发明可实现监测数据的自动化诊断识别,能够快速且准确地识别监测数据中存在的异常数据,配置简单,适用性强,且时效性得到巨大提升。
6.较佳的,所述按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中的步骤包括:按照预设采集间隔采集监测数据以及当前监测时间;将各所述监测数据按照其对应的当前监测时间进行排列;将排列好的所述监测数据按照预设分组时间阈值进行划分并依次存入各监测数
据组中。
7.较佳的,所述对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据的步骤包括:确定各所述监测数据在对应的所述监测数据组中的采集时间点;以每个所述监测数据对应的采集时间点为起点、预设中断时间阈值为搜索长度确定若干搜寻范围,并在各所述搜寻范围内搜寻中断检验监测数据,其中,所述预设中断时间阈值大于所述预设采集间隔;若各所述搜寻范围内搜寻到中断检验监测数据,则将与该搜寻范围对应的监测数据作为第一非中断监测数据,若各所述搜寻范围内未搜寻到所述中断检验监测数据,则将与该搜寻范围对应的监测数据作为中断监测数据。
8.较佳的,所述对所述中断监测数据进行窗口中值矫正,以得到所述第二非中断监测数据的步骤包括:在所述中断监测数据对应的采集时间点前后分别选取若干矫正窗口,各所述矫正窗口的窗口长度依次递增;确定所有所述矫正窗口内监测数据的数量,并选取所有所述矫正窗口内的监测数据的中值;计算所有所述中值的均值,并通过所有所述中值的均值矫正所述中断监测数据,以得到所述第二非中断监测数据。
9.较佳的,所述对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别的步骤包括:对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;在所述趋势识别数组中选取若干窗口,每次选取所述窗口均下滑一个数据,以得到若干滑动窗口;选取并计算所述滑动窗口内所述第一非中断监测数据、所述第二非中断监测数据的滑动中值与滑动均值,并将所述滑动中值、所述滑动均值分别存入中值数组与均值数组中;根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别。
10.较佳的,所述根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别的步骤包括:判断所述中值数组、所述均值数组中的相邻两滑动中值、相邻两滑动均值的差值是否大于预设值以及所述中值数组、所述均值数组的极差值是否大于预设极差值;若所述中值数组、所述均值数组中的相邻两所述滑动中值、相邻两所述滑动均值的差值大于预设值以及所述中值数组、所述均值数组的极差值大于预设极差值,则所述趋势识别数组存在异常趋势;根据所述趋势识别数组,确定所述异常趋势的起始点与终止点;根据所述起始点与所述终止点,定位与之对应的监测数据组的位置,并在该监测数据中将所述起始点与所述终止点之间的监测数据识别为异常数据。
11.较佳的,所述对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过
滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中的步骤包括:确定所述第一非中断监测数据与所述第二非中断监测数据的采集节点,并将所述第一非中断监测数据与所述第二非中断监测数据按其采集节点进行排列;判断任意一个所述采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值是否大于预设过滤阈值;若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值大于预设过滤阈值,则对该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据进行过滤处理,并将过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中。
12.第二方面,该发明提供以下技术方案,一种异常数据识别系统,所述系统包括:采集模块,用于按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;中断判断模块,用于对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;矫正模块,用于对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;识别模块,用于对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。
13.第三方面,该发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的异常数据识别方法。
14.第四方面,该发明提供以下技术方案,一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的异常数据识别方法。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
16.图1为本发明第一实施例提供的异常数据识别方法的流程图;图2为本发明第一实施例提供的异常数据识别方法中步骤s1的详细流程图;图3为本发明第一实施例提供的异常数据识别方法中步骤s2的详细流程图;图4为本发明第一实施例提供的异常数据识别方法中步骤s3的详细流程图;图5为本发明第一实施例提供的异常数据识别方法中步骤s4的详细流程图;图6为本发明第一实施例提供的异常数据识别方法中步骤s41的详细流程图;图7为本发明第一实施例提供的异常数据识别方法中步骤s44的详细流程图;
图8为本发明第二实施例提供的异常数据识别系统的结构框图;图9为本发明另一实施例提供的计算机的硬件结构框图。
17.以下将结合附图对本发明实施例作进一步说明。
具体实施方式
18.下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
19.在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
20.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
21.在本发明实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
22.实施例一如图1所示,在本发明的第一个实施例中,该发明提供以下技术方案,一种异常数据识别方法,所述方法包括:s1、按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;具体的,在此步骤中,监测设备所监测到的监测数据会按照预设的采集间隙发送至云端或者平台上,以便于得到一系列等时间间隔采集到的监测数据,其中采集间隙即为时间间隔,一般为0.5s、1s、10s、1min等,在获取到监测数据之后,将其存入对应的监测数据组中,以便于后续步骤对监测数据组中的若干监测数据进行分析处理。
23.如图2所示,其中,所述步骤s1包括:s11、按照预设采集间隔采集监测数据以及当前监测时间;具体的,在获取对应的监测数据之后,由于监测数据为监测设备在不同的时间所监测到的数据,因而在采集监测数据的同时,会对应获取到与该监测数据所对应的当前监测时间;s12、将各所述监测数据按照其对应的当前监测时间进行排列;具体的,如果直接采集监测数据的话,会在平台上直接将监测数据呈现出来,但如
不对监测数据进行排列的话,会导致所获取的监测数据杂乱,而杂乱的监测数据较难分析处监测数据的异常,即识别处异常数据,因此根据预设采集间隔以及挡墙的监测时间,即可得出一个以时间为排列顺序的数据集合;s13、将排列好的所述监测数据按照预设分组时间阈值进行划分并依次存入各监测数据组中;具体的,在具体存入监测数据组中,可按照预设分组时间阈值来划分,例如以0.5h或者1h或者2h为预设分组时间阈值,将对应在该预设分组时间阈值内的监测数据对应存入监测数据组中,而对应的监测数据组也根据预设分组时间阈值进行排列,以便于后续的查看以及分析处理。
24.s2、对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;具体的,在外界各种因素的影响,例如设备损坏、环境突变等原因,可能会导致监测设备在某个时间点或者在某个时间段内,无法得到监测数据,即表示监测数据在该处出现了数据中断,因此在此步骤中,需要识别处监测数据的中断位置处,并对应识别出现中断的数据即为中断监测数据以及未出现中断的数据即为第一非中断数据。
25.如图3所示,其中,所述步骤s2包括:s21、确定各所述监测数据在对应的所述监测数据组中的采集时间点;具体的,此步骤的目的为了获取到监测设备的监测数据的采集的时间,以便于后续识别中断的位置;s22、以每个所述监测数据对应的采集时间点为起点、预设中断时间阈值为搜索长度确定若干搜寻范围,并在各所述搜寻范围内搜寻中断检验监测数据,其中,所述预设中断时间阈值大于所述预设采集间隔;具体的,在此步骤中,为了便于识别出中断的位置,因此设定一个搜寻范围,以每个检测数据的采集时间点为起点,并以预设中断时间阈值为搜索长度,并以此确定一个一维的搜索范围,以此便可确定监测数据的中断位置;值得一提的是,在确定搜索范围时,需保证预设中断时间阈值大于所述预设采集间隔,如果监测数据出现了中断的情况,那其中断持续时间一定大于预设采集间隔,如此才能够确定中断的位置以及中断的数据;s23、若各所述搜寻范围内搜寻到中断检验监测数据,则将与该搜寻范围对应的监测数据作为第一非中断监测数据,若各所述搜寻范围内未搜寻到所述中断检验监测数据,则将与该搜寻范围对应的监测数据作为中断监测数据;其中,如果在搜寻范围内搜寻到了中断检验监测数据,则意味着在该监测数据之前的数据为正常数据,并未出现数据中断的情况,此时将基于监测数据所建立的搜寻范围所对应的监测数据作为非中断监测数据,而一旦搜寻范围内未搜寻到中断检验监测数据,则意味着该中断检验监测数据与该监测数据之间的采集间隔大于预设采集间隔,即出现了数据中断的情况,此时将基于监测数据所建立的搜寻范围所对应的监测数据作为中断监测数据;值得一提的是,所述中断检验监测数据即为该监测数据的前一个监测数据,因此在搜寻范围内搜寻数据的过程中,也可以每个所述监测数据的采集时间点为起点、预设中
断时间阈值为搜索长度确定搜寻范围,在每个所述监测数据的采集时间点之后按照所述搜寻范围搜寻中断检验监测数据,其中中断检验监测数据即为该监测数据的后一个监测数据,同理,也可在以该监测数据为起点,在其前后分别以预设中断时间阈值为搜索长度确定搜寻范围,在搜寻范围搜索其余的监测数据即可。
26.s3、对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;具体的,由于在监测数据出现了数据中断的情况,导致其中端期间所在的时间点内,无任何监测数据,如此会导致在后续进行异常值识别的过程中,可能会把出现数据中断的位置前后的监测数据作为异常数据,因此需要对中断监测数据进行窗口中值矫正,替换掉原来的中断监测数据,如此才能够保证监测数据的真实性较高。
27.如图4所示,其中,所述步骤s3包括:步骤s31、在所述中断监测数据对应的采集时间点前后分别选取若干矫正窗口,各所述矫正窗口的窗口长度依次递增;具体的,即在中断监测数据的前后分若干次选取矫正窗口,而若干次选取的矫正窗口的窗口长度依次递增,以此才能够确保数据的真实性,同时在选取矫正窗口时,需保证后一个选取的矫正窗口应包括前一个选取的矫正窗口,且选取的窗口长度最小的矫正窗口的窗口长度应大于预设窗口长度,而预设窗口长度应至少为10个监测数据,如此通过增加样本数量,以体现数据的真实性;步骤s32、确定所有所述矫正窗口内监测数据的数量,并选取所有所述矫正窗口内的监测数据的中值;其中,通过选取的矫正窗口的监测数据的中值在数学意义上可在一定程度上表示该矫正窗口内的平均数据值,因此通过选取中值可在一定程度上减少数据的计算难度以及复杂度;步骤s33、计算所有所述中值的均值,并通过所有所述中值的均值矫正所述中断监测数据,以得到所述第二非中断监测数据;具体的,通过计算所有中值的均值,即可得到出现中断处的本应该获取到的监测数据以及中断监测数据的均值,因此所有中值的均值即可代表数据中断处的监测数据,并将该均值矫正替换掉对应的中断监测数据,以此得到新的监测数据组,而该监测数据组与未出现中断的监测数据组内的监测数据基本相同。
28.s4、对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别;具体的,通过识别数据的异常趋势,便可判断该异常趋势对应的监测数据为异常。
29.如图5所示,其中,所述步骤s4包括:s41、对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;具体的,对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,可将其内部明显异常的数据进行初步过滤剔除,以免导致后续的异常趋势识别过程中存在干扰;如图6所示,其中,所述步骤s41包括:s411、确定所述第一非中断监测数据与所述第二非中断监测数据的采集节点,并
将所述第一非中断监测数据与所述第二非中断监测数据按其采集节点进行排列;具体的,将所述第一非中断监测数据与所述第二非中断监测数据按其采集节点进行排列,以便于后续对其去毛刺处理;s412、判断任意一个所述采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值是否大于预设过滤阈值;具体的,本步骤用于确定相邻两采集节点所采集的所述第一非中断监测数据或所述第二非中断监测数据之间的差值是否超出了预设过滤阀值;s413、若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值大于预设过滤阈值,则对该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据进行过滤处理,并将过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;其中,只有当若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值大于预设过滤阈值,则需要对该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据进行过滤处理,过滤掉其中差值较大的数据,而当若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值不大于预设过滤阈值,则表示所述第一非中断监测数据或所述第二非中断监测数据之间数据较为准确,无需进行数据过滤的过程;对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;s42、在所述趋势识别数组中选取若干窗口,每次选取所述窗口均下滑一个数据,以得到若干滑动窗口;具体的,在此步骤中,在趋势识别数据中,以其中一个第一非中断监测数据或者第二非中断监测数据为起点,以预设长度为窗口长度,往后或者往前确定一个滑动窗口,并以该滑动窗口为起点,依次往前或者往后下滑一个第一非中断监测数据或者第二非中断监测数据,并得到另一个滑动窗口,重复该步骤,便可得到若干的滑动窗口,而滑动窗口的数量根据预设长度与趋势识别数据中的数据个数确定;s43、选取并计算所述滑动窗口内所述第一非中断监测数据、所述第二非中断监测数据的滑动中值与滑动均值,并将所述滑动中值、所述滑动均值分别存入中值数组与均值数组中;通过计算所有的滑动窗口的滑动中值与滑动均值,并通过滑动中值与滑动均值代表与之对应的滑动窗口,以此减少计算量的同时也保证了数据的准确率;s44、根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别如图7所示,进一步的,所述步骤s44还包括:s441、判断所述中值数组、所述均值数组中的相邻两滑动中值、相邻两滑动均值的
差值是否大于预设值以及所述中值数组、所述均值数组的极差值是否大于预设极差值;s442、若所述中值数组、所述均值数组中的相邻两所述滑动中值、相邻两所述滑动均值的差值大于预设值以及所述中值数组、所述均值数组的极差值大于预设极差值,则所述趋势识别数组存在异常趋势;具体的,所述中值数组、所述均值数组中的相邻两所述滑动中值、相邻两所述滑动均值的差值与预设值进行对比,如此反映该监测数据所绘制曲线的斜率,当其斜率大于预设值,即可代表对应的第一非中断监测数据、第二非中断监测数据发生了突变,因此便可将突变的数据作为异常的数据;s443、根据所述趋势识别数组,确定所述异常趋势的起始点与终止点;s444、根据所述起始点与所述终止点,定位与之对应的监测数据组的位置,并在该监测数据中将所述起始点与所述终止点之间的监测数据识别为异常数据;具体的,异常趋势也反映为监测数据所绘曲线的斜率,而该斜率作用在监测数据所绘曲线上会存在一个趋势起始点与趋势终止点,只有处于趋势起始点与趋势终止点之间所有监测数据才能够作为异常数据,并将该趋势起始点与趋势终止点代入至监测数据组中,定位与之对应的监测数据组的位置,便可确定对应的监测数据组以及对应的监测数据,即为异常数据。
30.本实施例一的好处在于:本技术通过获取到监测设备上传的监测数据,并对其进行中断判断,依次可以便在后续进行异常趋势识别时,由于数据中断而导致趋势识别误差较大,在中断判断之后对其进行窗口中值矫正,通过窗口选取的中值矫正中断监测数据,以此可保证矫正之后的第二非中断监测数据更加趋近与中断的原本监测数据,且矫正之后的第二非中断监测数据的真实性较高,之后对第一非中断监测数据与第二非中断监测数据进行异常趋势识别,在识别出的异常趋势之后,根据异常趋势反推监测数据,并将该监测数据作为异常数据,因此本发明可实现监测数据的自动化诊断识别,能够快速且准确地识别监测数据中存在的异常数据,配置简单,适用性强,且时效性得到巨大提升。
31.实施例二如图8所示,在本发明的第二个实施例提供了一种异常数据识别系统,所述系统包括:采集模块1,用于按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;中断判断模块2,用于对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;矫正模块3,用于对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;识别模块4,用于对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。
32.其中,所述采集模块1包括:采集子模块,用于按照预设采集间隔采集监测数据以及当前监测时间;排列子模块,用于将各所述监测数据按照其对应的当前监测时间进行排列;数据存储模块,用于将排列好的所述监测数据按照预设分组时间阈值进行划分并
依次存入各监测数据组中。
33.所述中断判断模块2包括:确定子模块,用于确定每个所述监测数据在对应的所述监测数据组中的采集时间点;搜寻子模块,用于以每个所述监测数据对应的采集时间点为起点、预设中断时间阈值为搜索长度确定若干搜寻范围,并在各所述搜寻范围内搜寻中断检验监测数据,其中,所述预设中断时间阈值大于所述预设采集间隔;数据划分子模块,用于若各所述搜寻范围内搜寻到中断检验监测数据,则将与该搜寻范围对应的监测数据作为第一非中断监测数据,若各所述搜寻范围内未搜寻到所述中断检验监测数据,则将与该搜寻范围对应的监测数据作为中断监测数据。
34.所述矫正模块3包括:矫正窗口建立子模块,用于在所述中断监测数据对应的采集时间点前后分别选取若干矫正窗口,各所述矫正窗口的窗口长度依次递增;中值确定模块,用于确定所有所述矫正窗口内监测数据的数量,并选取所有所述矫正窗口内的监测数据的中值;均值计算模块,用于计算所有所述中值的均值,并通过所有所述中值的均值矫正所述中断监测数据,以得到所述第二非中断监测数据。
35.所述识别模块4包括:毛刺过滤子模块,用于对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;滑动窗口建立子模块,用于在所述趋势识别数组中选取若干窗口,每次选取所述窗口均下滑一个数据,以得到若干滑动窗口;滑动中值与均值确定子模块,用于选取并计算所述滑动窗口内所述第一非中断监测数据、所述第二非中断监测数据的滑动中值与滑动均值,并将所述滑动中值、所述滑动均值分别存入中值数组与均值数组中;识别子模块,用于根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别。
36.其中,所述识别子模块还包括:差值判断单元,用于判断所述中值数组、所述均值数组中的相邻两滑动中值、相邻两滑动均值的差值是否大于预设值以及所述中值数组、所述均值数组的极差值是否大于预设极差值;异常趋势确定单元,用于若所述中值数组、所述均值数组中的相邻两所述滑动中值、相邻两所述滑动均值的差值大于预设值以及所述中值数组、所述均值数组的极差值大于预设极差值,则所述趋势识别数组存在异常趋势;起始与终止点确定单元,用于根据所述趋势识别数组,确定所述异常趋势的起始点与终止点;异常数据识别单元,用于根据所述起始点与所述终止点,定位与之对应的监测数据组的位置,并在该监测数据中将所述起始点与所述终止点之间的监测数据识别为异常数
据。
37.其中,所述毛刺过滤子模块包括:节点确定单元,用于确定所述第一非中断监测数据与所述第二非中断监测数据的采集节点,并将所述第一非中断监测数据与所述第二非中断监测数据按其采集节点进行排列;判断单元,用于判断任意一个所述采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值是否大于预设过滤阈值;数据过滤单元,用于若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值大于预设过滤阈值,则对该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据进行过滤处理,并将过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中。
38.在本发明的另一些实施例中,本发明实施例提供以下技术方案,一种计算机,包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序,所述处理器101执行所述计算机程序时实现上所述的异常数据识别方法。
39.具体的,上述处理器101可以包括中央处理器(cpu),或者特定集成电路(application specificintegrated circuit,简称为asic),或者可以被配置成实施本技术实施例的一个或多个集成电路。
40.其中,存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器102可包括硬盘驱动器(hard disk drive,简称为hdd)、软盘驱动器、固态驱动器(solid state drive,简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器102可在数据处理装置的内部或外部。在特定实施例中,存储器102是非易失性(non-volatile)存储器。在特定实施例中,存储器102包括只读存储器(read-only memory,简称为rom)和随机存取存储器(random access memory,简称为ram)。在合适的情况下,该rom可以是掩模编程的rom、可编程rom(programmable read-onlymemory,简称为prom)、可擦除prom(erasable programmableread-only memory,简称为eprom)、电可擦除prom(electrically erasableprogrammable read-only memory,简称为eeprom)、电可改写rom(electrically alterable read-only memory,简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下,该ram可以是静态随机存取存储器(static random-accessmemory,简称为sram)或动态随机存取存储器(dynamic random accessmemory,简称为dram),其中,dram可以是快速页模式动态随机存取存储器(fast page mode dynamicrandom access memory,简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory,简称为edodram)、同步动态随机存取内存(synchronous dynamicrandom-access memory,简称sdram)等。
41.存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器101所执行的可能的计算机程序指令。
42.处理器101通过读取并执行存储器102中存储的计算机程序指令,以实现上述异常数据识别方法。
43.在其中一些实施例中,计算机还可包括通信接口103和总线100。其中,如图9所示,处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
44.通信接口103用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
45.总线100包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一:数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制,总线100可包括图形加速接口(accelerated graphics port,简称为agp)或其他图形总线、增强工业标准架构(extended industry standardarchitecture,简称为eisa)总线、前端总线(front side bus,简称为fsb)、超传输(hyper transport,简称为ht)互连、工业标准架构(industry standardarchitecture,简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count,简称为lpc)总线、存储器总线、微信道架构(micro channel architecture,简称为mca)总线、外围组件互连(peripheral componentinterconnect,简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technologyattachment,简称为sata)总线、视频电子标准协会局部(video electronicsstandards association local bus,简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线100可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
46.该计算机可以基于获取到异常数据识别系统,执行本技术的异常数据识别方法,从而实现异常数据的识别。
47.在本发明的再一些实施例中,结合上述的异常数据识别方法,本发明实施例提供以下技术方案,一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的异常数据识别方法。
48.本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
49.可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
50.应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
51.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
52.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
技术特征:
1.一种异常数据识别方法,其特征在于,所述方法包括:按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。2.根据权利要求1所述的异常数据识别方法,其特征在于,所述按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中的步骤包括:按照预设采集间隔采集监测数据以及当前监测时间;将各所述监测数据按照其对应的当前监测时间进行排列;将排列好的所述监测数据按照预设分组时间阈值进行划分并依次存入各监测数据组中。3.根据权利要求1所述的异常数据识别方法,其特征在于,所述对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据的步骤包括:确定各所述监测数据在对应的所述监测数据组中的采集时间点;以每个所述监测数据对应的采集时间点为起点、预设中断时间阈值为搜索长度确定若干搜寻范围,并在各所述搜寻范围内搜寻中断检验监测数据,其中,所述预设中断时间阈值大于所述预设采集间隔;若各所述搜寻范围内搜寻到中断检验监测数据,则将与该搜寻范围对应的监测数据作为第一非中断监测数据,若各所述搜寻范围内未搜寻到所述中断检验监测数据,则将与该搜寻范围对应的监测数据作为中断监测数据。4.根据权利要求3所述的异常数据识别方法,其特征在于,所述对所述中断监测数据进行窗口中值矫正,以得到所述第二非中断监测数据的步骤包括:在所述中断监测数据对应的采集时间点前后分别选取若干矫正窗口,各所述矫正窗口的窗口长度依次递增;确定所有所述矫正窗口内监测数据的数量,并选取所有所述矫正窗口内的监测数据的中值;计算所有所述中值的均值,并通过所有所述中值的均值矫正所述中断监测数据,以得到所述第二非中断监测数据。5.根据权利要求1所述的异常数据识别方法,其特征在于,所述对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别的步骤包括:对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中;在所述趋势识别数组中选取若干窗口,每次选取所述窗口均下滑一个数据,以得到若干滑动窗口;选取并计算所述滑动窗口内所述第一非中断监测数据、所述第二非中断监测数据的滑
动中值与滑动均值,并将所述滑动中值、所述滑动均值分别存入中值数组与均值数组中;根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别。6.根据权利要求5所述的异常数据识别方法,其特征在于,所述根据所述中值数组与所述均值数组进行异常趋势识别,以完成异常数据的识别的步骤包括:判断所述中值数组、所述均值数组中的相邻两滑动中值、相邻两滑动均值的差值是否大于预设值以及所述中值数组、所述均值数组的极差值是否大于预设极差值;若所述中值数组、所述均值数组中的相邻两所述滑动中值、相邻两所述滑动均值的差值大于预设值以及所述中值数组、所述均值数组的极差值大于预设极差值,则所述趋势识别数组存在异常趋势;根据所述趋势识别数组,确定所述异常趋势的起始点与终止点;根据所述起始点与所述终止点,定位与之对应的监测数据组的位置,并在该监测数据中将所述起始点与所述终止点之间的监测数据识别为异常数据。7.根据权利要求5所述的异常数据识别方法,其特征在于,所述对所述第一非中断监测数据与所述第二非中断监测数据进行毛刺过滤,并将毛刺过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中的步骤包括:确定所述第一非中断监测数据与所述第二非中断监测数据的采集节点,并将所述第一非中断监测数据与所述第二非中断监测数据按其采集节点进行排列;判断任意一个所述采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值是否大于预设过滤阈值;若该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据和与该采集节点相邻的上一个采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据之间的差值大于预设过滤阈值,则对该采集节点对应的所述第一非中断监测数据或所述第二非中断监测数据进行过滤处理,并将过滤后的第一非中断监测数据与第二非中断监测数据存入趋势识别数组中。8.一种异常数据识别系统,其特征在于,所述系统包括:采集模块,用于按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;中断判断模块,用于对各所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;矫正模块,用于对所述中断监测数据进行窗口中值矫正,以得到第二非中断监测数据;识别模块,用于对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。9.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的异常数据识别方法。10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的异常数据识别方法。
技术总结
本发明提供了一种异常数据识别方法、系统、计算机及可读存储介质,所述方法包括按预设采集间隔采集监测数据,将所述监测数据按照预设分组时间阈值存入若干监测数据组中;对各个所述监测数据组中的监测数据按照预设中断时间阈值进行中断判断,以得到中断监测数据与第一非中断监测数据;对所述中断监测数据进行窗口中值矫正,以得到所述第二非中断监测数据;对所述第一非中断监测数据与所述第二非中断监测数据进行异常趋势识别,以完成异常数据的识别。本发明实现了自动化诊断识别数据异常,配置简单,适用性强,且时效性得到巨大提升。升。升。
技术研发人员:兰帮福 喻志涛 吴龙彪
受保护的技术使用者:江西飞尚科技有限公司
技术研发日:2023.02.21
技术公布日:2023/7/13
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
