物联网异构数据级联传输方法、装置、设备及介质与流程

未命名 07-27 阅读:209 评论:0


1.本发明涉及运维管理技术领域,具体而言,涉及一种物联网异构数据级联传输方法、装置、设备及介质。


背景技术:

2.在近年来,物联网设备在实时数据收集和处理方面扮演着越来越重要的角色。这些设备产生的数据具有高度的异构性,包括各种类型的设备状态、环境参数、设备运行日志和设备故障日志等,这些数据的准确传输和处理对于物联网系统的稳定运行至关重要。然而,由于设备之间的数据类型和格式的差异性,以及数据的大规模和复杂性,现有的物联网数据传输方法面临着严峻的挑战。目前,传统的物联网数据传输主要依赖于一些简单的编码和传输策略,例如,将数据编码为一种统一的格式然后通过网络进行传输。然而,这种方法无法解决异构数据的级联传输问题,无法对各种类型的数据进行有效的整合和优化,也无法保证数据在传输过程中的鲁棒性和完整性。
3.基于上述现有技术的缺点,现亟需一种物联网异构数据级联传输方法。


技术实现要素:

4.本发明的目的在于提供一种物联网异构数据级联传输方法、装置、设备及介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:第一方面,本技术提供了一种物联网异构数据级联传输方法,包括:获取第一信息和第二信息,所述第一信息包括物联网设备产生的当前异构数据,所述第二信息包括物联网设备产生的历史异构数据;对所述第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,所述第三信息包括每种类型物联网设备的最佳数据分析的时间窗口;根据所述第三信息中的时间窗口信息对所述第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息;根据所述第四信息和第二信息进行时间序列分析处理得到第五信息,所述第五信息包括数据趋势预测结果;根据预设的深度学习数学模型对所述第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息;将所述第六信息进行传输,并根据所述深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,所述第七信息为解码后还原的原始异构数据。
5.第二方面,本技术还提供了物联网异构数据级联传输装置,包括:获取模块,用于获取第一信息和第二信息,所述第一信息包括物联网设备产生的当前异构数据,所述第二信息包括物联网设备产生的历史异构数据;聚类模块,用于对所述第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,所述第三信息包括每种类型物联网设备的最佳数据分析的时间窗
口;分割模块,用于根据所述第三信息中的时间窗口信息对所述第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息;分析模块,用于根据所述第四信息和第二信息进行时间序列分析处理得到第五信息,所述第五信息包括数据趋势预测结果;编码模块,用于根据预设的深度学习数学模型对所述第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息;解码模块,用于将所述第六信息进行传输,并根据所述深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,所述第六信息为解码后还原的原始异构数据。
6.第三方面,本技术还提供了一种物联网异构数据级联传输设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现所述物联网异构数据级联传输方法的步骤。
7.第四方面,本技术还提供了一种介质,所述介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述物联网异构数据级联传输方法的步骤。
8.本发明的有益效果为:本发明通过深度学习和时间序列分析等技术的应用,可以提取出数据的重要特征,并对其进行优化编码,使得数据在传输过程中的体积显著减小,从而提高了数据的传输效率;通过对数据的聚类处理和数据分割处理,本发明能够对来自不同设备、不同格式的异构数据进行有效的整合,使得数据在传输和处理过程中的一致性得到了保证。
9.本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
10.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
11.图1为本发明实施例中所述的物联网异构数据级联传输方法流程示意图;图2为本发明实施例中所述的物联网异构数据级联传输装置结构示意图;图3为本发明实施例中所述的物联网异构数据级联传输设备结构示意图。
12.图中标记:1、获取模块;2、聚类模块;21、第一处理单元;22、第一提取单元;23、第一聚类单元;24、第一计算单元;3、分割模块;31、第一分配单元;32、第一排序单元;33、第一分割单元;34、第一整合单元;4、分析模块;41、第一检测单元;42、第二处理单元;43、第一拟合单元;44、第三处理单元;5、编码模块;51、第二提取单元;52、第一映射单元;53、第一编码单元;54、第一转换单元;6、解码模块;61、第一增强单元;62、第一调度单元;63、第二增强单元;64、第一解码单元;800、物联网异构数据级联传输设备;801、处理器;802、存储器;803、
多媒体组件;804、i/o接口;805、通信组件。
具体实施方式
13.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
14.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
15.本实施例提供了一种物联网异构数据级联传输方法。
16.参见图1,图中示出了本方法包括步骤s100、步骤s200、步骤s300、步骤s400、步骤s500和步骤s600。
17.步骤s100、获取第一信息和第二信息,第一信息包括物联网设备产生的当前异构数据,第二信息包括物联网设备产生的历史异构数据。
18.可以理解的是,本步骤中第一信息和第二信息通过物联网设备的通信接口从设备中读取数据,或者从设备的数据存储中心获取数据。当前异构数据指的是物联网设备在当前时间点或者近期时间内产生的数据,这些数据包含了设备的最新状态和运行情况,对于理解设备的当前工作状况和即时情况有重要作用。历史异构数据指的是设备在过去一段时间内产生的数据,这些数据记录了设备的历史运行情况和状态变化,对于分析设备的运行规律和趋势,预测设备的未来状态等方面有着重要的参考价值。
19.步骤s200、对第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,第三信息包括每种类型物联网设备的最佳数据分析的时间窗口。
20.可以理解的是,本步骤中,对历史异构数据的聚类处理,即将具有相似特性的设备数据聚集到一起,这样不仅有助于从数据中发现设备的内在规律,也可以优化后续的数据处理和分析流程。例如,我们可以将相同类型的设备数据聚类到一起,对于这一类设备的维护策略可以进行统一调整和优化。最佳数据分析时间窗口是对每种类型物联网设备进行数据分析的最优时间长度。选择合适的时间窗口,可以确保数据的完整性和分析的准确性,同时也能提高数据处理的效率。需要说明的是步骤s200包括步骤s210、步骤s220、步骤s230和步骤s240。
21.步骤s210、根据第二信息,对每种类型的物联网设备的历史异构数据进行数据预处理,得到预处理数据,预处理包括数据清洗、数据标准化和数据缺失值处理。
22.可以理解的是,本步骤中,数据清洗是为了去除数据中的无关信息,比如噪声数据、异常数据等,这样可以确保在分析数据时,不会被这些无关信息所干扰。数据标准化是
为了消除不同设备、不同数据类型之间的量纲影响,使得数据能在同一尺度上进行比较。例如,比较温度数据和湿度数据时,这两种数据的量纲是不同的,直接比较会导致结果失真,通过数据标准化,可以将它们转化到同一尺度上进行比较。数据缺失值处理是为了处理数据中的缺失情况,确保数据的完整性。在物联网设备的运行过程中,由于各种原因,可能会产生数据缺失的情况,比如网络传输故障、设备故障等。这时,我们需要对这些缺失值进行适当的处理,以免影响后续的数据分析。数据预处理是为了提高数据的质量,使得能从准确、可靠的数据中提取有用信息,为后续的设备运维管理提供支持。
23.步骤s220、根据预设的自编码器数学模型对预处理数据进行特征提取和自然语言处理得到特征向量集,特征向量集包括设备状态特征、环境参数体征、时间特征和设备日志特征,设备状态特征包括设备的运行状态、设备的使用频率和设备的故障频率,环境参数特征包括设备所处环境的温度、湿度、气压等参数的平均值、最大值、最小值和波动范围等,时间特征包括设备数据产生的时间、设备的使用时间和设备的使用周期,设备日志特征包括关键词、主题和情感特征。
24.可以理解的是,本步骤中,利用预设的自编码器数学模型对预处理的设备数据进行特征提取和自然语言处理。这个步骤将设备的运行信息,包括状态、使用频率、故障频率等,环境参数,时间特征和设备日志等信息转化为可供分析的特征向量。这个过程为我们理解设备运行的各个方面,提供了一个全面的视角。其中,设备状态特征可以反映设备的运行健康状况,使运维人员能预测并及时发现可能的问题;环境参数特征则可以让运维人员知道设备的运行环境是否理想,因为环境因素可能会影响设备的性能和寿命;时间特征可以帮助运维人员了解设备的使用模式,包括使用高峰时段、最频繁的使用周期等,有助于更有效地进行设备调度和维护计划;而设备日志特征,则可以反映设备运行过程中的详细信息,例如故障发生的具体情况,这对于故障的诊断和预防同样重要。本实施例中,通过对设备数据的深度分析,使运维人员能更深入地理解设备的运行状况,更准确地预测设备的未来状态,从而更有效地制定运维策略和措施,提高设备的运行效率,减少故障发生,降低运维成本。
25.步骤s230、根据预设的谱聚类数学模型对特征向量集中的每种类型的物联网设备进行聚类分析得到聚类结果,聚类结果包括物联网设备的聚类标签、特性描述和设备状态的统计信息。
26.可以理解的是,本步骤中聚类分析可以帮助理解各种设备的行为模式和相互关系。例如,通过设备的聚类标签,可以识别出哪些设备有相似的使用模式,哪些设备的故障率相似,甚至可以找出可能影响设备性能的环境因素,如温度、湿度等。这种信息可以让我们更好地理解设备的行为,并据此制定更有效的运维策略。谱聚类是一种基于图论的聚类方法,通过寻找数据的最优分割,把数据集划分为不同的子集或者类。这个方法的优势在于能够发现数据的复杂结构和模式,不受数据形状和大小的限制,因此适合处理物联网设备产生的高维、复杂和异构数据。进一步地,谱聚类方法通过引入相似度矩阵和拉普拉斯矩阵,将原本的高维数据转化为低维的数据,以此降低了数据处理的复杂度,使得聚类结果更具有解释性。这对于理解物联网设备的行为模式,找出设备状态的统计信息,确定最佳的数据分析时间窗口都是非常有帮助的。
27.步骤s240、根据聚类结果计算每个聚类中的物联网设备数据的平均时间窗口。
28.可以理解的是,在物联网设备的运维管理中,及时地对设备状态进行监测、分析并作出适应的响应是极其重要的。对于异构设备数据的处理,如果每个设备或者每类设备都采用相同的时间窗口进行分析,可能会忽视掉设备间和设备内的差异性,从而影响数据分析的精准性和效率。因此,本步骤通过计算每个聚类中的物联网设备数据的平均时间窗口,实现了对不同设备、不同类型设备的个性化处理。这个平均时间窗口并非固定不变的,而是根据聚类结果动态调整的,以便更好地适应设备状态的变化,提高数据分析的准确性和效率。计算公式如下:;其中,表示第k个聚类的平均时间窗口;表示第k个聚类中物联网设备的数量;和分别表示设备i在聚类k中的特征向量在复平面上的实部和虚部,它们决定了复指数函数的频率和相位;t表示物联网设备数据采集的时刻;物联网设备i在聚类k中的数据采集的平均时间。表示在时间t时,物联网设备i在聚类k中的数据值。
29.步骤s300、根据第三信息中的时间窗口信息对第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息。
30.可以理解的是,本步骤中,将原始的异构数据根据时间窗口进行划分,使得每个时间窗口内的数据具备相似的特征和统计特性,方便后续的时间序列分析和数据处理操作。这样的数据分割处理有助于提取数据的时序信息和探索数据的变化趋势。需要说明的是步骤s300包括步骤s310、步骤s320、步骤s330和步骤s340。
31.步骤s310、根据第一信息和第三信息识别每种物联网设备类型及其对应的时间窗口信息,并进行数据分配处理得到设备数据集,设备数据集包括具有相同设备类型标签的所有设备数据。
32.可以理解的是,本步骤中通过按设备类型和时间窗口划分设备数据集,运维人员可以更精细地监控和管理不同类型设备的状态和性能变化,有助于发现设备之间的差异,比较和分析设备性能,以及识别问题和优化方向。同时,时间窗口的划分也为时间序列分析提供了基础,揭示了设备的周期性变化、趋势和异常行为,有助于进行设备故障预测和维护计划制定。此外,不同类型的物联网设备数据具有不同的特征和统计特性。通过按设备类型和时间窗口划分数据集,可以更好地组织和管理这些异构数据。这样做可以为后续的特征提取、时间序列分析和数据挖掘等处理方法提供更准确和可靠的输入,从而提高数据处理的效率和准确性。
33.步骤s320、根据第三信息中的时间窗口信息对设备数据集进行排序,得到有序的设备数据。
34.可以理解的是,本步骤中通过对设备数据集进行时间窗口排序,可以将设备数据按照时间顺序进行组织,使得运维人员能够更好地了解设备的状态演变、性能变化和故障情况。进一步地,有序的设备数据可以揭示设备之间的关联性和相互影响,帮助构建设备间的关联模型,从而支持智能决策和优化运维策略。
35.步骤s330、根据时间窗口信息将设备数据进行切割处理,得到数据块,每个数据块包括一段连续时间内的设备数据。
36.可以理解的是,本步骤中,将原始数据按照时间窗口进行切割处理,可以将数据整理成一段段连续时间内的数据块,使得数据的时间顺序更加清晰和可管理。这有助于运维人员对设备数据进行更精细的观察和分析,把握设备工作状态的变化和趋势。
37.步骤s340、根据数据块按照设备类型进行数据整合处理,得到第四信息。
38.可以理解的是,本步骤中对同一设备类型的数据进行整合处理,可以更好地挖掘出该类型设备的共性特征和统计特性。通过对整合后的数据进行特征提取和分析,可以揭示该类型设备的特定行为模式、性能指标以及异常情况。这有助于运维人员快速了解设备类型之间的差异和共性,为制定相应的维护和管理策略提供依据。
39.步骤s400、根据第四信息和第二信息进行时间序列分析处理得到第五信息,第五信息包括数据趋势预测结果。
40.可以理解的是,本步骤中,通过分析和预测设备数据的趋势,运维人员可以及时发现潜在的问题和异常情况,并采取相应的措施进行干预。此外,数据趋势预测结果还可以帮助运维团队制定合理的维护计划,优化资源的分配和利用,提高设备的可靠性和性能。需要说明的是步骤s400包括步骤s410、步骤s420、步骤s430和步骤s440。
41.步骤s410、根据预设的孤立森林数学模型对第二信息进行异常值检测,得到正常数据。
42.可以理解的是,孤立森林是一种用于检测异常值的无监督学习算法。在本步骤中,预设的孤立森林数学模型会基于第二信息中的特征和统计特性,对设备数据进行评估和分析,识别出那些与正常数据具有相似特征的样本,将其视为正常数据。通过孤立森林模型对第二信息进行异常值检测,可以得到正常的设备数据,这些正常数据具有与其他数据样本明显不同的特征和统计特性,因此被认为是正常的设备行为。正常数据的筛选对于后续的数据处理和分析非常重要,可以提高数据分析的准确性和结果的可信度。
43.步骤s420、根据正常数据进行去趋势处理,通过差分和移动平均计算消除数据的季节性和趋势得到去趋势数据。
44.可以理解的是,在时间序列数据分析中,趋势是指数据随时间变化的总体趋势或规律性变化。趋势分析是了解数据的长期发展和趋势变化的重要方法,可以揭示出设备数据的长期变化趋势、周期性波动以及季节性变化。然而,在本发明的应用场景中,趋势的存在可能会干扰数据的分析和预测。长期趋势和季节性变化等因素可能掩盖设备的短期变化和异常行为,使数据分析和预测变得困难。差分是一种常用的去趋势方法,通过计算数据点之间的差异,来消除数据的趋势和季节性变化。通过对正常数据进行一阶差分或高阶差分操作,可以减少数据的趋势影响,使得数据更加平稳。另外,移动平均计算是一种平滑时间序列数据的方法,通过计算数据的滑动窗口平均值来减小数据的噪声和随机波动,使得数据更加稳定。因此通过结合差分和移动平均计算的方法,对正常数据进行去趋势处理,以消除数据的季节性和趋势。
45.步骤s430、根据预设的状态空间数学模型对去趋势数据进行时间序列模型拟合处理,得到用于描述设备数据变化规律的模型拟合结果。
46.可以理解的是,本步骤中通过拟合时间序列模型,可以建立设备数据变化的数学
描述,并获取模型的参数和状态信息。这样做的好处是可以更好地理解设备数据的特征、趋势和周期性变化,为后续的数据分析、预测和决策提供依据。利用拟合结果,能够对设备的未来状态变化进行预测和模拟,进一步优化运维管理和资源分配,提高设备的稳定性和性能。
47.步骤s440、根据模型拟合结果对第四信息进行数据预测处理得到数据趋势预测结果,数据趋势预测结果包括设备在未来预设时间内的状态变化情况。
48.可以理解的是,本步骤中通过利用已建立的时间序列模型,可以根据过去的数据趋势和模型参数,推断设备在未来的运行状态、性能指标或其他关键指标的变化趋势。这样的数据预测结果对于运维管理至关重要,可以帮助运维人员预先识别设备的可能问题、故障或变化,采取相应的措施,提前做好维护计划和资源调度。通过数据趋势预测,运维团队可以更加高效地管理设备,减少停机时间,提高设备的可靠性和性能,优化维护成本,提升运维效率。
49.步骤s500、根据预设的深度学习数学模型对第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息。
50.可以理解的是,本步骤中通过深度学习模型的特征提取,可以捕捉到数据中的高级抽象特征,有助于更好地理解和分析物联网设备数据的内在模式和关联关系。此外,通过对提取后的数据特征进行分层编码处理,可以进一步提高数据的传输效率和安全性。分层编码可以将数据特征进行压缩和转换,使得数据更加紧凑和易于传输。同时,分层编码还可以提供一定程度的数据保护和隐私保密,增强数据传输的安全性。需要说明的是步骤s500包括步骤s510、步骤s520、步骤s530和步骤s540。
51.步骤s510、将第五信息中的物联网设备状态变化的趋势数据进行主成分提取,得到主成分向量。
52.可以理解的是,主成分分析是一种常用的降维技术,通过线性变换将原始数据投影到一个新的坐标系中,使得投影后的变量之间彼此不相关。在本发明中,运用主成分分析方法对第五信息中的物联网设备状态变化趋势数据进行降维,提取出最能够代表原始数据变化模式的主成分向量。通过主成分提取,能够捕捉到物联网设备状态变化的主要模式和特征,而不受次要因素的干扰。这有助于减少数据的维度,简化数据的表达和传输,提高数据处理和分析的效率。
53.步骤s520、将主成分向量通过预设的核函数数学模型映射到高维空间,得到映射后的设备状态特征向量。
54.可以理解的是,核函数能够将低维数据映射到高维空间,并通过非线性变换捕捉数据中的复杂关系。在本实施例中,通过预设的核函数数学模型,对主成分向量进行映射,将其转化为高维特征空间中的向量提升了特征的表达能力和区分度,能够更好地理解和分析物联网设备的状态变化,为后续的数据处理和分析提供了更准确和全面的设备状态信息。
55.步骤s530、根据设备状态特征向量利用预设的哈夫曼编码数学模型进行特征向量层次划编码,得到设备状态的编码特征向量。
56.可以理解的是,本步骤中,通过哈夫曼编码可以将设备状态特征向量按照其重要性和频率进行编码,使得常见的特征向量可以用较短的编码表示,而不常见的特征向量则
用较长的编码表示。这种编码方式能够有效减少特征向量的存储空间和传输带宽,同时保持数据的完整性和可还原性。通过利用预设的哈夫曼编码数学模型对设备状态特征向量进行编码,可以在物联网数据传输和存储过程中降低数据量,提高数据传输的效率和响应速度。同时,编码特征向量的传输和存储也更节约资源,适应了物联网环境下对带宽和存储容量的要求。
57.步骤s540、将编码特征向量进行格式转换处理得到设备状态的编码后数据序列。
58.可以理解的是,本步骤中,对设备状态的编码特征向量进行格式转换,将其从向量形式转换为序列形式,以便于在物联网传输过程中进行数据的有效传递和存储。优选地,将数据序列转换为二进制格式。这一步骤的执行使得设备状态数据可以更有效地进行传输、存储和后续处理,为实现物联网异构数据的级联传输提供了基础。
59.步骤s600、将第六信息进行传输,并根据深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,第七信息为解码后还原的原始异构数据。
60.可以理解的是,本步骤涉及到网络传输、数据包发送等通信方式,以确保数据能够从发送端传输到接收端。利用预设的深度学习数学模型对传输后的数据序列进行逐层解码处理。这个解码过程是对之前的编码操作的逆过程,旨在还原原始的异构数据。通过逐层解码,可以逐步恢复数据的原始特征和结构得到第七信息,即解码后还原的原始异构数据。这些数据包含了原始的物联网设备生成的异构数据,其中包括设备状态、环境参数、设备日志等信息。需要说明的是步骤s600包括步骤s610、步骤s620、步骤s630和步骤s640。
61.步骤s610、根据预设的wavenet数学模型对第六信息进行信号增强,得到第一数据序列。
62.可以理解的是,wavenet是一种深度学习模型,主要用于语音合成和音频处理领域。它基于生成模型的思想,能够模拟出高质量的音频信号。在本步骤中借鉴了wavenet模型的特性,将其应用于物联网异构数据的信号增强过程。通过wavenet模型,我们能够对第六信息中的数据序列进行建模,并利用模型生成高质量的数据序列。这种信号增强的过程有助于提升数据的准确性、完整性和可靠性。它可以消除传输过程中可能引入的噪声、失真或其他干扰,使得数据序列更加清晰和可靠。
63.步骤s620、根据第一数据序列,按照设备状态、环境参数等异构数据的特性和预设的调度策略进行动态调度得到第二数据序列,第二数据序列包括数据传输参数,数据传输参数包括数据的优先级和传输速率。
64.可以理解的是,在物联网环境中,异构数据的特性和重要性可能各不相同。某些数据可能具有更高的优先级,需要在传输过程中优先处理和传输。而某些数据可能具有更高的传输速率要求,需要保证数据的及时性和实时性。进一步地,在本步骤中根据设备状态的实时变化、环境参数的变化等因素,动态地调整数据的传输顺序和传输速率,以满足数据的优先级和传输需求。通过动态调度,能够根据不同数据的特性和重要性,合理安排数据的传输顺序和传输速率,以提高数据的传输效率和实时性。这样可以确保重要数据的及时传输,减少数据传输延迟,提升整体系统的性能和响应能力。
65.步骤s630、根据第二数据序列进行冗余信息增强,并将冗余信息增强后的数据进行冗余传输得到第三数据序列。
66.可以理解的是,冗余信息增强是指在数据传输过程中添加冗余信息以提高数据的
可靠性和容错能力。在物联网中,由于网络不稳定、数据传输可能存在丢失或损坏等问题,为了确保数据的完整性和可靠性,需要采用冗余信息技术。在本步骤中,根据预设的冗余信息生成算法,对第二数据序列进行冗余编码,通过添加冗余位或使用冗余校验码等方式,在数据中引入冗余信息。这样做可以提高数据的冗余度,增加数据的冗余度可以提高数据的可靠性,使其更具容错能力。接着将经过冗余信息增强后的数据进行冗余传输。冗余传输是指在数据传输过程中,将冗余信息与原始数据一同传输。这样即使在传输过程中发生了部分数据的丢失或损坏,仍然可以通过冗余信息进行恢复和修正,保证接收端能够正确地重建原始数据。通过冗余信息增强和冗余传输,能够提高数据的可靠性和容错能力,减少数据传输中的错误和丢失。这对于物联网中对数据完整性和可靠性要求较高的场景非常重要,例如远程监测、设备控制等应用。
67.步骤s640、根据第三数据序列,利用深度学习数学模型进行解码和冗余信息的去除恢复出原始的异构数据,得到解码后还原的原始异构数据。
68.可以理解的是,本步骤中,首先通过将第三数据序列输入到深度学习模型中,模型将学习到序列中的模式和规律,并通过网络层的计算和映射过程对数据进行解码,逐步恢复出原始的异构数据的形式和内容。然后利用模型对原始数据和冗余数据之间的关系进行分析和处理,通过适当的计算和处理,可以将冗余信息从解码后的数据中去除,以还原出原始的异构数据。
实施例2:
69.如图2所示,本实施例提供了一种物联网异构数据级联传输装置,装置包括:获取模块1,用于获取第一信息和第二信息,第一信息包括物联网设备产生的当前异构数据,第二信息包括物联网设备产生的历史异构数据。
70.聚类模块2,用于对第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,第三信息包括每种类型物联网设备的最佳数据分析的时间窗口。
71.分割模块3,用于根据第三信息中的时间窗口信息对第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息。
72.分析模块4,用于根据第四信息和第二信息进行时间序列分析处理得到第五信息,第五信息包括数据趋势预测结果。
73.编码模块5,用于根据预设的深度学习数学模型对第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息。
74.解码模块6,用于将第六信息进行传输,并根据深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,第七信息为解码后还原的原始异构数据。
75.在本公开的一种具体实施方式中,聚类模块2包括:第一处理单元21,用于根据第二信息,对每种类型的物联网设备的历史异构数据进行数据预处理,得到预处理数据,预处理包括数据清洗、数据标准化和数据缺失值处理。
76.第一提取单元22,用于根据预设的自编码器数学模型对预处理数据进行特征提取和自然语言处理得到特征向量集,特征向量集包括设备状态特征、环境参数体征、时间特征和设备日志特征,设备状态特征包括设备的运行状态、设备的使用频率和设备的故障频率,环境参数特征包括设备所处环境的温度、湿度、气压等参数的平均值、最大值、最小值和波
动范围等,时间特征包括设备数据产生的时间、设备的使用时间和设备的使用周期,设备日志特征包括关键词、主题和情感特征。
77.第一聚类单元23,用于根据预设的谱聚类数学模型对特征向量集中的每种类型的物联网设备进行聚类分析得到聚类结果,聚类结果包括物联网设备的聚类标签、特性描述和设备状态的统计信息。
78.第一计算单元24,用于根据聚类结果计算每个聚类中的物联网设备数据的平均时间窗口。
79.在本公开的一种具体实施方式中,分割模块3包括:第一分配单元31,用于根据第一信息和第三信息识别每种物联网设备类型及其对应的时间窗口信息,并进行数据分配处理得到设备数据集,设备数据集包括具有相同设备类型标签的所有设备数据。
80.第一排序单元32,用于根据第三信息中的时间窗口信息对设备数据集进行排序,得到有序的设备数据。
81.第一分割单元33,用于根据时间窗口信息将设备数据进行切割处理,得到数据块,每个数据块包括一段连续时间内的设备数据。
82.第一整合单元34,用于根据数据块按照设备类型进行数据整合处理,得到第四信息。
83.在本公开的一种具体实施方式中,分析模块4包括:第一检测单元41,用于根据预设的孤立森林数学模型对第二信息进行异常值检测,得到正常数据。
84.第二处理单元42,用于根据正常数据进行去趋势处理,通过差分和移动平均计算消除数据的季节性和趋势得到去趋势数据。
85.第一拟合单元43,用于根据预设的状态空间数学模型对去趋势数据进行时间序列模型拟合处理,得到用于描述设备数据变化规律的模型拟合结果。
86.第三处理单元44,用于根据模型拟合结果对第四信息进行数据预测处理得到数据趋势预测结果,数据趋势预测结果包括设备在未来预设时间内的状态变化情况。
87.在本公开的一种具体实施方式中,编码模块5包括:第二提取单元51,用于将第五信息中的物联网设备状态变化的趋势数据进行主成分提取,得到主成分向量。
88.第一映射单元52,用于将主成分向量通过预设的核函数数学模型映射到高维空间,得到映射后的设备状态特征向量。
89.第一编码单元53,用于根据设备状态特征向量利用预设的哈夫曼编码数学模型进行特征向量层次划编码,得到设备状态的编码特征向量。
90.第一转换单元54,用于将编码特征向量进行格式转换处理得到设备状态的编码后数据序列。
91.在本公开的一种具体实施方式中,解码模块6包括:第一增强单元61,用于根据预设的wavenet数学模型对第六信息进行信号增强,得到第一数据序列。
92.第一调度单元62,用于根据第一数据序列,按照设备状态、环境参数等异构数据的
特性和预设的调度策略进行动态调度得到第二数据序列,第二数据序列包括数据传输参数,数据传输参数包括数据的优先级和传输速率。
93.第二增强单元63,用于根据第二数据序列进行冗余信息增强,并将冗余信息增强后的数据进行冗余传输得到第三数据序列。
94.第一解码单元64,用于根据第三数据序列,利用深度学习数学模型进行解码和冗余信息的去除恢复出原始的异构数据,得到解码后还原的原始异构数据。
实施例3:
95.图3是根据示例性实施例示出的一种物联网异构数据级联传输设备800的框图。如图3所示,该物联网异构数据级联传输设备800可以包括:处理器801,存储器802。该物联网异构数据级联传输设备800还可以包括多媒体组件803, i/o接口804,以及通信组件805中的一者或多者。
96.其中,处理器801用于控制该物联网异构数据级联传输设备800的整体操作,以完成上述的物联网异构数据级联传输方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该物联网异构数据级联传输设备800的操作,这些数据例如可以包括用于在该物联网异构数据级联传输设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(static random access memory,简称sram),电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom),可擦除可编程只读存储器(erasable programmable read-only memory,简称eprom),可编程只读存储器(programmable read-only memory,简称prom),只读存储器(read-only memory,简称rom),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该物联网异构数据级联传输设备800与其他设备之间进行有线或无线通信。无线通信,例如wi-fi,蓝牙,近场通信(near fieldcommunication,简称nfc),2g、3g或4g,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:wi-fi模块,蓝牙模块,nfc模块。
97.在一示例性实施例中,物联网异构数据级联传输设备800可以被一个或多个应用专用集成电路(application specific integrated circuit,简称asic)、数字信号处理器(digitalsignal processor,简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device,简称pld)、现场可编程门阵列(field programmable gate array,简称fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的物联网异构数据级联传输方法。
98.在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的物联网异构数据级联传输方法的步骤。例如,该计算
机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由物联网异构数据级联传输设备800的处理器801执行以完成上述的物联网异构数据级联传输方法。
实施例4:
99.相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种物联网异构数据级联传输方法可相互对应参照。
100.一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的物联网异构数据级联传输方法的步骤。
101.该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
102.以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
103.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

技术特征:
1.一种物联网异构数据级联传输方法,其特征在于,包括:获取第一信息和第二信息,所述第一信息包括物联网设备产生的当前异构数据,所述第二信息包括物联网设备产生的历史异构数据;对所述第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,所述第三信息包括每种类型物联网设备的最佳数据分析的时间窗口;根据所述第三信息中的时间窗口信息对所述第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息;根据所述第四信息和第二信息进行时间序列分析处理得到第五信息,所述第五信息包括数据趋势预测结果;根据预设的深度学习数学模型对所述第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息;将所述第六信息进行传输,并根据所述深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,所述第七信息为解码后还原的原始异构数据。2.根据权利要求1所述的物联网异构数据级联传输方法,其特征在于,对所述第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,包括:根据所述第二信息,对每种类型的物联网设备的历史异构数据进行数据预处理,得到预处理数据,所述预处理包括数据清洗、数据标准化和数据缺失值处理;根据预设的自编码器数学模型对所述预处理数据进行特征提取和自然语言处理得到特征向量集,所述特征向量集包括设备状态特征、环境参数体征、时间特征和设备日志特征,所述设备状态特征包括设备的运行状态、设备的使用频率和设备的故障频率,所述环境参数特征包括设备所处环境的温度、湿度、气压等参数的平均值、最大值、最小值和波动范围等,所述时间特征包括设备数据产生的时间、设备的使用时间和设备的使用周期,所述设备日志特征包括关键词、主题和情感特征;根据预设的谱聚类数学模型对所述特征向量集中的每种类型的物联网设备进行聚类分析得到聚类结果,所述聚类结果包括物联网设备的聚类标签、特性描述和设备状态的统计信息;根据所述聚类结果计算每个聚类中的物联网设备数据的平均时间窗口。3.根据权利要求1所述的物联网异构数据级联传输方法,其特征在于,根据所述第三信息中的时间窗口信息对所述第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息,包括:根据所述第一信息和第三信息识别每种物联网设备类型及其对应的时间窗口信息,并进行数据分配处理得到设备数据集,所述设备数据集包括具有相同设备类型标签的所有设备数据;根据所述第三信息中的时间窗口信息对所述设备数据集进行排序,得到有序的设备数据;根据所述时间窗口信息将所述设备数据进行切割处理,得到数据块,每个所述数据块包括一段连续时间内的设备数据;根据所述数据块按照设备类型进行数据整合处理,得到第四信息。4.根据权利要求1所述的物联网异构数据级联传输方法,其特征在于,根据所述第四信
息和第二信息进行时间序列分析处理得到第五信息,包括:根据预设的孤立森林数学模型对所述第二信息进行异常值检测,得到正常数据;根据所述正常数据进行去趋势处理,通过差分和移动平均计算消除数据的季节性和趋势得到去趋势数据;根据预设的状态空间数学模型对所述去趋势数据进行时间序列模型拟合处理,得到用于描述设备数据变化规律的模型拟合结果;根据所述模型拟合结果对所述第四信息进行数据预测处理得到数据趋势预测结果,所述数据趋势预测结果包括设备在未来预设时间内的状态变化情况。5.一种物联网异构数据级联传输装置,其特征在于,包括:获取模块,用于获取第一信息和第二信息,所述第一信息包括物联网设备产生的当前异构数据,所述第二信息包括物联网设备产生的历史异构数据;聚类模块,用于对所述第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息,所述第三信息包括每种类型物联网设备的最佳数据分析的时间窗口;分割模块,用于根据所述第三信息中的时间窗口信息对所述第一信息中对应类型的物联网设备数据进行数据分割处理得到第四信息;分析模块,用于根据所述第四信息和第二信息进行时间序列分析处理得到第五信息,所述第五信息包括数据趋势预测结果;编码模块,用于根据预设的深度学习数学模型对所述第五信息进行特征提取,并将提取后的数据特征进行分层编码处理得到第六信息;解码模块,用于将所述第六信息进行传输,并根据所述深度学习数学模型将传输后的数据序列进行逐层解码处理得到第七信息,所述第七信息为解码后还原的原始异构数据。6.根据权利要求5所述的物联网异构数据级联传输装置,其特征在于,所述聚类模块包括:第一处理单元,用于根据所述第二信息,对每种类型的物联网设备的历史异构数据进行数据预处理,得到预处理数据,所述预处理包括数据清洗、数据标准化和数据缺失值处理;第一提取单元,用于根据预设的自编码器数学模型对所述预处理数据进行特征提取和自然语言处理得到特征向量集,所述特征向量集包括设备状态特征、环境参数体征、时间特征和设备日志特征,所述设备状态特征包括设备的运行状态、设备的使用频率和设备的故障频率,所述环境参数特征包括设备所处环境的温度、湿度、气压等参数的平均值、最大值、最小值和波动范围等,所述时间特征包括设备数据产生的时间、设备的使用时间和设备的使用周期,所述设备日志特征包括关键词、主题和情感特征;第一聚类单元,用于根据预设的谱聚类数学模型对所述特征向量集中的每种类型的物联网设备进行聚类分析得到聚类结果,所述聚类结果包括物联网设备的聚类标签、特性描述和设备状态的统计信息;第一计算单元,用于根据所述聚类结果计算每个聚类中的物联网设备数据的平均时间窗口。7.根据权利要求5所述的物联网异构数据级联传输装置,其特征在于,所述分割模块包括:
第一分配单元,用于根据所述第一信息和第三信息识别每种物联网设备类型及其对应的时间窗口信息,并进行数据分配处理得到设备数据集,所述设备数据集包括具有相同设备类型标签的所有设备数据;第一排序单元,用于根据所述第三信息中的时间窗口信息对所述设备数据集进行排序,得到有序的设备数据;第一分割单元,用于根据所述时间窗口信息将所述设备数据进行切割处理,得到数据块,每个所述数据块包括一段连续时间内的设备数据;第一整合单元,用于根据所述数据块按照设备类型进行数据整合处理,得到第四信息。8.根据权利要求5所述的物联网异构数据级联传输装置,其特征在于,所述分析模块包括:第一检测单元,用于根据预设的孤立森林数学模型对所述第二信息进行异常值检测,得到正常数据;第二处理单元,用于根据所述正常数据进行去趋势处理,通过差分和移动平均计算消除数据的季节性和趋势得到去趋势数据;第一拟合单元,用于根据预设的状态空间数学模型对所述去趋势数据进行时间序列模型拟合处理,得到用于描述设备数据变化规律的模型拟合结果;第三处理单元,用于根据所述模型拟合结果对所述第四信息进行数据预测处理得到数据趋势预测结果,所述数据趋势预测结果包括设备在未来预设时间内的状态变化情况。9.一种物联网异构数据级联传输设备,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述物联网异构数据级联传输方法的步骤。10.一种介质,其特征在于:所述介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述物联网异构数据级联传输方法的步骤。

技术总结
本发明提供了一种物联网异构数据级联传输方法、装置、设备及介质,涉及运维管理技术领域,包括:获取第一信息和第二信息;对第二信息中的每一种类型的物联网设备的数据情况进行聚类处理得到第三信息;根据第三信息中的时间窗口信息对第一信息进行数据分割处理得到第四信息;根据第四信息和第二信息进行时间序列分析处理得到第五信息;根据预设的深度学习数学模型对第五信息进行特征提取得到第六信息;将第六信息进行传输并逐层解码处理得到第七信息。本发明通过深度学习和时间序列分析等技术的应用,可以提取出数据的重要特征,并对其进行优化编码,使得数据在传输过程中的体积显著减小,从而提高了数据的传输效率。从而提高了数据的传输效率。从而提高了数据的传输效率。


技术研发人员:陈浩 张渊 刘明扬
受保护的技术使用者:北京中科朗易科技有限责任公司
技术研发日:2023.06.20
技术公布日:2023/7/25
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐