一种基于大数据进行政策测算的方法、装置及存储介质与流程

1.本发明涉及物流快递技术领域，具体涉及一种基于大数据进行政策测算的方法、装置及存储介质。


背景技术：

2.随着快递行业蓬勃发展，日均业务量的激增，数据量也成倍增长，中转费等报价逻辑复杂，原单靠人工进行政策测算的方案已力不从心，存在耗时周期长，数据不完整以及不准确等问题，而且针对不同区域提报的政策，政策频繁的改动，不能及时响应反馈出结果。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于大数据进行政策测算的方法、装置及存储介质，以解决现有技术中，通过人工进行政策测算，耗时周期长，数据不准确，不同区域的政策不一样，计算难度大的问题。
4.根据本发明实施例的第一方面，提供一种基于大数据进行政策测算的方法，所述方法包括：
5.在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；
6.使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；
7.通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；
8.所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb。
9.优选地，还包括：
10.所述业务基础数据包括每一个运单的明细数据，所述运单的明细数据根据所述政策补贴公式需要使用的计算数据决定。
11.优选地，还包括：
12.将所述业务基础数据存储在所述数据库的数据仓库层后，对所述每一个运单打上产品类型标签，所述产品类型标签包括运单类型、运单业务员、运单目的地以及运单重量段。
13.优选地，
14.所述使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果包括：
15.通过所述剔除因子对所述每一个运单的产品类型标签进行筛选，将筛选后的运单的明细数据代入到所述政策补贴公式中进行计算，获取到政策补贴金额。
16.优选地，
17.所述各网点的政策补贴公式包括多个，通过多个政策补贴公式计算多个政策补贴金额，通过对多个政策补贴金额进行比较，筛选最优政策补贴公式作为后续该网点的政策补贴公式。
18.优选地，还包括：
19.通过bi分析系统，将所述业务库tidb的政策测算结果通过报表或图形化进行呈现，通过对历史政策的政策测算结果与新政策的政策测算结果进行对比分析，为领导层决策提供数据支撑。
20.根据本发明实施例的第二方面，提供一种基于大数据进行政策测算的装置，所述装置包括：
21.数据获取模块：用于在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；
22.dm运单明细模型构建模块：用于使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；
23.数据同步模块：用于通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；
24.数据平台测算模块：用于通过所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb。
25.根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的上述方法中的各个步骤。
26.本发明的实施例提供的技术方案可以包括以下有益效果：
27.本技术通过融合大数据计算与业务系统，利用大数据超强的计算能力，数据仓库的建模理论，增量获取运单基础数据，抽象成dm模型宽表(运单粒度)，同时将对应区域的政策与dm模型宽表进行关联，在需要进行政策计算时，通过调取对应网点的dm模型宽表以及关联的政策，数据源准确，大数据计算平台就可以实现不同网点的政策测算，测算结果准确，测算速度快，同时还可实现不同网点的政策测算，不需人工参与计算，降低人工成本，测算周期相比于现有技术有明显的进步。
28.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
29.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
30.图1是根据一示例性实施例示出的一种基于大数据进行政策测算的方法的流程示意图；
31.图2是根据一示例性实施例示出的一种基于大数据进行政策测算的装置的系统示意图；
32.附图中：1-数据获取模块，2-dm运单明细模型构建模块，3-数据同步模块，4-数据平台测算模块。
具体实施方式
33.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
34.实施例一
35.图1是根据一示例性实施例示出的一种基于大数据进行政策测算的方法的流程示意图，如图1所示，该方法包括：
36.s1，在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；
37.s2，使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；
38.s3，通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；
39.s4，所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb；
40.可以理解的是，本技术根据管区实际业务情况录入所需执行的政策内容，比如网点名称，剔除因子，以及政策补贴公式等信息，录入的数据信息按需存于oracle数据库，同时通过hadoop基础组件以及大数据平台，同步业务系统产生的各网点的业务基础数据，并每天增量存储于hdfs，使用数仓hive工具进行清洗并把业务基础数据存储于dw层，基于运单基础数据及业务报价和政策配置数据，使用数据仓库经典建模理论-维度建模，提炼并抽象业务逻辑，形成财金主题域的费用运单粒度明细dm宽表，并关联对应网点的政策数据和业务报价等配置数据，从而在后续政策测算时，针对复杂的政策内容可以更方便关联使用，基于大数据实时计算平台-乐高，进行前后端交互，http接口请求实现配置参数化，用户配置以及测算触发动作的启动，并可以对任务进行项目化管理，通过血缘管理进行编排，提供了任务的可复用能力，基于dag算法的调度器可提供对同一层级任务的并发调度，构建数据抽取任务，把业务配置的复杂政策配置实时同步过来，使用大数据计算引擎spark计算，sql语言解析政策配置数据，关联dm运单明细模型进行逻辑计算，把最终测算结果存储于数仓st输出层，最后推送到业务库tidb；本技术通过融合大数据计算与业务系统，利用大数据超
强的计算能力，数据仓库的建模理论，增量获取运单基础数据，抽象成dm模型宽表(运单粒度)，同时将对应区域的政策与dm模型宽表进行关联，在需要进行政策计算时，通过调取对应网点的dm模型宽表以及关联的政策，数据源准确，大数据计算平台就可以实现不同网点的政策测算，测算结果准确，测算速度快，同时还可实现不同网点的政策测算，不需人工参与计算，降低人工成本，测算周期相比于现有技术有明显的进步。
41.优选地，还包括：
42.所述业务基础数据包括每一个运单的明细数据，所述运单的明细数据根据所述政策补贴公式需要使用的计算数据决定；
43.可以理解的是，本技术中，业务基础数据包含每一个运单的明细数据，而具体的明细数据由政策补贴公式中的计算因子所决定，具体来说，如果政策计算公式需要通过该网点的运单重量来计算政策补贴金额，那么运单的明细数据中就应当包含该运单的重量，其他同理，政策计算公式所需要的计算因子可以不包括一个，那么运单的明细数据也同样包含多个数据。
44.优选地，还包括：
45.将所述业务基础数据存储在所述数据库的数据仓库层后，对所述每一个运单打上产品类型标签，所述产品类型标签包括运单类型、运单业务员、运单目的地以及运单重量段；
46.可以理解的是，把运单明细数据同步到大数据数据仓库，使用hive工具整理落仓dw，数据清洗，根据政策考核指标，给单号明细的数据，打上各类产品类型标签：运单类型，业务员，目的地、重量段等，其中，运单类型包括：时效件、裹件、散件、国际件、标快件，用于后续政策因子筛选使用。
47.优选地，
48.所述使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果包括：
49.通过所述剔除因子对所述每一个运单的产品类型标签进行筛选，将筛选后的运单的明细数据代入到所述政策补贴公式中进行计算，获取到政策补贴金额；
50.可以理解的是，在上述为每一个运单打上产品类型标签后，通过剔除因子对不同产品类型的运单进行筛选，比如：运单类型的重量段为20-30kg，而剔除因子为5-10kg，那么由于该运单的重量段不符合条件，则该运单被剔除，同理，剔除因子还可以是运单类型或业务员，也可以多个剔除因子一起参与筛选，将筛选之后的运单的明细数据代入到政策补贴公式中，进行政策补贴金额的计算，如(政策量-基数量)*单票补贴金额*返款比例，其中基数量为系统中设定的数量，而政策量为该网点筛选之后的运单数量，这是通过运单数量进行的政策测算，还可以是通过运单重量进行政策测算，测算的方式可以是多种，但是其原理与上述公式相同，均是通过与基数比较，作为判断是进行补贴还是罚款的依据。
51.优选地，
52.所述各网点的政策补贴公式包括多个，通过多个政策补贴公式计算多个政策补贴金额，通过对多个政策补贴金额进行比较，筛选最优政策补贴公式作为后续该网点的政策补贴公式；
53.可以理解的是，上述已经描述过，可以通过多个政策补贴计算方式(如重量、运单
数量等)该网点的政策补贴金额，通过调整政策内容参数，对比政策补贴最终金额，从而决定是否优化调整政策。
54.优选地，还包括：
55.通过bi分析系统，将所述业务库tidb的政策测算结果通过报表或图形化进行呈现，通过对历史政策的政策测算结果与新政策的政策测算结果进行对比分析，为领导层决策提供数据支撑；
56.可以理解的是，通过bi报表系统呈现出前后政策调整后测算数据差异，可以通过智能分析报表展示不同维度数据差异，从而给领导层进行决策与政策落地提供合理数据支撑。
57.实施例二
58.图2是根据一示例性实施例示出的一种基于大数据进行政策测算的装置的系统示意图，包括：
59.数据获取模块1：用于在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；
60.dm运单明细模型构建模块2：用于使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；
61.数据同步模块3：用于通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；
62.数据平台测算模块4：用于通过所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb；
63.可以理解的是，本技术通过数据获取模块1用于在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；通过dm运单明细模型构建模块2用于使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；通过数据同步模块3用于通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；通过数据平台测算模块4用于通过所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb；本技术通过融合大数据计算与业务系统，利用大数据超强的计算能力，数据仓库的建模理论，增量获取运单基础数据，抽象成dm模型宽表(运单粒度)，同时将对应区域的政策与dm模型宽表进行关联，在需要进行政策计算时，通过调取对应网点的dm模型宽表以及关联的政策，数据源准确，大数据计算平台就可以实现不同网点的政策测算，测算结果准确，测算速度快，同时还可实现不同网点的政策测算，不需人工参与计算，降低人工成本，
测算周期相比于现有技术有明显的进步。
64.实施例三：
65.本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；
66.可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
67.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
68.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
69.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
70.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
71.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
72.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
73.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
74.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
75.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于大数据进行政策测算的方法，其特征在于，所述方法包括：在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；通过大数据实时计算平台同步需要进行政策测算的网点的运单粒度明细dm宽表、关联的政策补贴公式以及剔除因子；所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb。2.根据权利要求1所述的方法，其特征在于，还包括：所述业务基础数据包括每一个运单的明细数据，所述运单的明细数据根据所述政策补贴公式需要使用的计算数据决定。3.根据权利要求2所述的方法，其特征在于，还包括：将所述业务基础数据存储在所述数据库的数据仓库层后，对所述每一个运单打上产品类型标签，所述产品类型标签包括运单类型、运单业务员、运单目的地以及运单重量段。4.根据权利要求3所述的方法，其特征在于，所述使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果包括：通过所述剔除因子对所述每一个运单的产品类型标签进行筛选，将筛选后的运单的明细数据代入到所述政策补贴公式中进行计算，获取到政策补贴金额。5.根据权利要求4所述的方法，其特征在于，所述各网点的政策补贴公式包括多个，通过多个政策补贴公式计算多个政策补贴金额，通过对多个政策补贴金额进行比较，筛选最优政策补贴公式作为后续该网点的政策补贴公式。6.根据权利要求5所述的方法，其特征在于，还包括：通过bi分析系统，将所述业务库tidb的政策测算结果通过报表或图形化进行呈现，通过对历史政策的政策测算结果与新政策的政策测算结果进行对比分析，为领导层决策提供数据支撑。7.一种基于大数据进行政策测算的装置，其特征在于，所述装置包括：数据获取模块：用于在数据库中录入各网点的政策补贴公式以及剔除因子，通过大数据计算平台hadoop同步业务系统产生的各网点的业务基础数据，将所述业务基础数据存储在所述数据库的数据仓库层；dm运单明细模型构建模块：用于使用维度建模方法将各网点的业务基础数据变换成各网点运单粒度明细dm宽表，将所述各网点运单粒度明细dm宽表关联该网点的政策补贴公式以及剔除因子；数据同步模块：用于通过大数据实时计算平台同步需要进行政策测算的网点的运单粒
度明细dm宽表、关联的政策补贴公式以及剔除因子；数据平台测算模块：用于通过所述大数据实时计算平台通过sql语言解析政策补贴公式以及剔除因子，并使用大数据计算引擎spark基于运单粒度明细dm宽表、解析后的政策补贴公式以及剔除因子获取政策测算结果，并将所述政策测算结果存储于所述数据库st输出层，所述数据库st输出层将所述政策测算结果推送到业务库tidb。8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-6任一项所述的一种基于大数据进行政策测算的方法中的各个步骤。

技术总结
本发明涉及一种基于大数据进行政策测算的方法、装置及存储介质，应用于物流快递技术领域，包括：通过融合大数据计算与业务系统，利用大数据超强的计算能力，数据仓库的建模理论，增量获取运单基础数据，抽象成dm模型宽表(运单粒度)，同时将对应区域的政策与dm模型宽表进行关联，在需要进行政策计算时，通过调取对应网点的dm模型宽表以及关联的政策，数据源准确，大数据计算平台就可以实现不同网点的政策测算，测算结果准确，测算速度快，同时还可实现不同网点的政策测算，不需人工参与计算，降低人工成本，测算周期相比于现有技术有明显的进步。进步。进步。


技术研发人员：石海洋
受保护的技术使用者：上海中通吉网络技术有限公司
技术研发日：2023.05.18
技术公布日：2023/9/14