一种基于云平台的准实时数据校验汇聚系统的制作方法

1.本发明涉及云平台领域的数据汇聚校验领域，尤其涉及一种基于云平台的准实时数据校验汇聚系统。


背景技术：

2.目前已有的数据汇聚主要采用物理机实现，校验大多处于字段级校验。存在的问题包含两个方面：一方面，首先物理机无法做到随需扩展，无法满足大数据量快速增长的需求，其次物理机稳定性不够，一旦出现故障会影响整体数据汇聚。另一方面，字段级校验满足不了复杂业务数据的校验需求，校验逻辑的简单化会导致大量无效数据的汇聚，对于数据价值会产生较为负面的影响。


技术实现要素：

3.为了解决以上技术问题，本发明提供了一种基于云平台的准实时数据校验汇聚系统。采用云平台技术进行数据汇聚，满足汇聚数据量持续增大的情况下，按需扩展，灵活满足数据量变化需求，云平台提供的ha技术可确保单节点物理机出现故障的情况下，不影响整体数据汇聚体系。校验体系分层级进行验证，包含事前标准、事中验证、事后预警阶段，校验附带后续修正路径，提供数据考核及数据重报功能，提高数据质量，体现数据价值。
4.本发明的技术方案是：
5.本发明提供了一种基于云平台的准实时数据校验汇聚系统，基于云平台的准实时数据校验汇聚系统，通过云平台技术，将数据库分为待校验库、正式库、错误库，每个数据库由多节点采用负载均衡进行支持。数据汇聚以后首先进入待校验库，通过相关的机制进行校验，若校验通过，数据转移至正式库，满足后续的数据分析挖掘，若校验失败，数据转移至错误库，满足后续的数据重报参考。
6.进一步的，
7.数据汇聚系统，采用多维度校验，包含事前标准制定、事中数据验证、事后预警提醒。
8.再进一步的，
9.事前标准制定，凡事预则立，标准规范是汇聚数据的基础，针对要收集的数据格式及数据的应用目的，约定好标准规范，有利于后续的统一验证及应用。
10.事中字段级验证，数据汇聚过程中，需要验证数据提供方身份，确保数据来源可靠。另外数据汇聚过程中需要进行字段级校验，包括数据完整性、数据准确性、数据一致性、数据时效性规则。对于验证不通过的数据，数据由待校验库转移至错误库，提供相关验证查询功能，确保数据提供方及时查询到验证结果并进行修复。
11.事中逻辑性验证，汇聚上来的数据存在一定的内部逻辑关系，通过挖掘数据之间的逻辑关系并转化为验证计算公式，从数据整体上进行验证。对于验证不通过的数据，数据由待校验库转移至错误库，提供相关验证查询功能，确保数据提供方及时查询到验证结果
并进行修复。
12.事中逻辑性验证通过以后，数据基本上已经属于规范数据，由待校验数据库迁移到正式数据库，当前的数据已经基本可用。
13.事后预警，收集到的正式数据，非同类数据之间，不同维度的同类数据之间需要符合一定的规则。制定预警机制，通过后台算法进行预警，预警结果提供反馈功能，确保数据提供方能够查询并修正。
14.为切实保障数据的客观准确性，提供数据重报功能，存在问题的区间数据，允许数据提供方重新提供数据。此外，针对数据质量的高低，对于数据提供方提供数据考核功能，约束数据提供方采取措施保证数据的准确性。
15.本发明通过采用云平台技术，提高系统稳定性及健壮性。通过数据校验反馈体系，提高数据汇聚效率及数据质量。
16.数据汇聚不可避免会随着时间的累计导致数据量越来越大，传统方式不适合扩展且稳定性不够，云平台技术可实现按需扩展及高可用性(ha)。
17.提供数据校验反馈体系，通过事前、事中、事后校验体系及数据重报、数据考核反馈功能，提高数据提供方上报数据积极性及数据质量。
18.本发明的有益效果是
19.本发明采用云平台技术将汇聚数据库区分为待校验数据库、正式数据库、错误数据库，多节点负载均衡技术，既解决了数据汇聚过程中扩展不易问题，也加强了整个数据汇聚系统的稳定性及可靠性。数据汇聚过程采用事前、事中、事后校验体系及数据重报、数据考核等后续功能，切实提高了汇聚数据的质量。
附图说明
20.图1是云平台拓扑结构示意图；
21.图2是本发明的工作流程示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.某公司需要收集下级门店进销存数据用于分析决策，门店进销存数据包含入库数据、调拨数据、破损数据、销售数据、库存数据，门店需要每日定时上报昨日进销存数据。
24.汇聚数据前首先需要制定相关标准规范，方便门店进行数据汇总上报。此外，对于门店下发唯一身份标识，身份标识码需加密，确保门店身份真实可靠。
25.数据汇聚系统收到门店上报的进销存数据，首先进行身份标识的验证，验证通过以后，按照已设置的字段级校验规则对数据进行字段级校验，校验规则主要包括数据完整性、数据准确性、数据一致性、数据时效性。字段级校验通过以后，数据存入待校验库，校验失败，汇聚系统反馈相关校验结果信息并提供相关查询功能。通过定时器，针对待校验库的数据进行逻辑校验，校验规则主要是进销存数据需要持平。校验成功，数据由待校验库转移
到正式库，校验失败，数据由待校验库转移到错误库，汇聚系统反馈相关校验结果信息并提供相关查询功能。
26.针对正式库收集到的数据，汇聚系统按照已设置的预警规则，预警规则包含单次购买超量、月度购买超量、超频购买、负库存等。对数据进行后台计算，异常数据将会检测出来并进行统计汇总，提供相关预警查询功能，展示相关异常数据。
27.数据汇聚系统提供已校验通过数据重报功能，门店发现数据上报错误且已通过校验，数据已转移至正式库，可通过重报功能进行申请，重新上报相关数据并进行验证。
28.数据汇聚系统提供门店考核功能，针对门店上报数据进行考核，评分规则包含上报及时性、校验次数、数据完整性、异常数据条数等。通过考核门店，提高门店上报数据积极性及数据质量。
29.通过云平台技术及校验反馈体系，数据汇聚系统可以有效的收集到客观真实的数据，发挥数据价值，提供客户决策依据。
30.以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。


技术特征：
1.一种基于云平台的准实时数据校验汇聚系统，其特征在于，通过云平台技术，将数据库分为待校验库、正式库、错误库，每个数据库由多节点采用负载均衡进行支持；数据汇聚以后首先进入待校验库进行校验，若校验通过，数据转移至正式库，满足后续的数据分析挖掘，若校验失败，数据转移至错误库，满足后续的数据重报参考。2.根据权利要求1所述的系统，其特征在于，系统采用多维度校验，包含事前标准制定、事中数据验证、事后预警提醒。3.根据权利要求2所述的系统，其特征在于，事前标准制定，针对要收集的数据格式及数据的应用目的，约定好标准规范，便于后续统一验证及应用。4.根据权利要求2所述的系统，其特征在于，事中字段级验证，数据汇聚过程中，需要验证数据提供方身份；另外数据汇聚过程中需要进行字段级校验，包括数据完整性、数据准确性、数据一致性、数据时效性规则。5.根据权利要求4所述的系统，其特征在于，对于验证不通过的数据，数据由待校验库转移至错误库，提供相关验证查询功能，确保数据提供方及时查询到验证结果并进行修复。6.根据权利要求2所述的系统，其特征在于，事中逻辑性验证，汇聚上来的数据存在内部逻辑关系，通过挖掘数据之间的逻辑关系并转化为验证计算公式，从数据整体上进行验证。7.根据权利要求6所述的系统，其特征在于，对于验证不通过的数据，数据由待校验库转移至错误库，提供相关验证查询功能，确保数据提供方及时查询到验证结果并进行修复。8.根据权利要求6所述的系统，其特征在于，事中逻辑性验证通过以后，数据属于规范数据，由待校验数据库迁移到正式数据库，当前的数据已经可用。9.根据权利要求1所述的系统，其特征在于，制定预警机制，将收集到的正式数据，非同类数据之间，不同维度的同类数据，通过后台算法进行预警，预警结果提供反馈功能，确保数据提供方能够查询并修正。

技术总结
本发明提供一种基于云平台的准实时数据校验汇聚系统，属于云平台领域的数据汇聚校验领域，本发明通过云平台技术，将数据库分为待校验库、正式库、错误库，每个数据库由多节点采用负载均衡进行支持；数据汇聚以后首先进入待校验库进行校验，若校验通过，数据转移至正式库，满足后续的数据分析挖掘，若校验失败，数据转移至错误库，满足后续的数据重报参考。满足后续的数据重报参考。满足后续的数据重报参考。


技术研发人员：高冉 王小鹏 张永刚 唐立宝
受保护的技术使用者：山东浪潮数字商业科技有限公司
技术研发日：2023.04.11
技术公布日：2023/7/20