一种基于区块链和混合数据库的大数据分布式存储激励方法及系统与流程

1.本发明涉及区块链技术及大数据领域，尤其是涉及一种基于区块链和混合数据库的大数据分布式存储激励方法及系统。


背景技术：

2.近年来，随着物联网设备硬件的提升与5g网络的飞速发展，数以亿计的物联网设备通过互联网相互连接与通信，在交互的过程中产生了大量的数据。物联网用户将自己所产生与收集的数据进行共享正是搭建智慧城市、智能电网与智能交通系统等多个物联网实际应用的基石。在这样的大环境下，鼓励物联网用户的数据共享成为推动物联网发展的有效途径。然而，大多数用户并不会自愿地将自己的数据进行共享。另外，中心化网络的单点故障问题也为用户所顾虑。
3.此外，在大数据时代，数据量的爆炸性增长和实时查询服务需求的出现都给大数据技术的发展带来了新的挑战。
4.专利文献cn112199425a公开了一种基于混合数据库结构的医疗大数据中心及其建设方法，该方案提出了一种基于混合数据库的医疗大数据中心及其建设方法，包括了数据收集、数据整合、数据清洗与数据结构化等多个步骤。同时，该方案通过深度学习算法对混合数据库中存储的数据进行再处理，实现智能分析以赋能智慧医疗。然而，在该方案中，混合数据库仅作为数据的存储介质，没有将深度学习与混合数据库的分布式架构进行结合，未能充分发挥混合数据库集群的高性能优势。
5.专利文献cn113342807a公开了一种基于混合数据库的知识图谱及其构建方法，该发明提供一种基于混合数据库的知识图谱及其构建方法，属于知识图谱构建技术领域。该发明构建的知识图谱集合了关系数据库的特点，方便结构化数据的增删查改，同时数据转化为图数据的形式，将知识的关联形式化的存储起来，由于其数据关联以图的形式实现，知识间的关联传递查找效率均比表的索引要快，因而极大地提高了算法的处理效率，实现知识快速推理。然而，该发明只有获取数据后的处理过程，没有考虑到数据获取的问题，以及只面向知识图谱的构建，过于专一因此没有普遍适用性。
6.综上所述，现有技术中多存在以下缺点：大多数方案没有思考如何从广泛的用户手中获取数据，也没有解决数据中心化存储，以及服务器的单点故障问题等，目前仍需要一个覆盖数据获取，数据查询流程并满足高可用要求且提供实时分析查询的方案。


技术实现要素：

7.综合考虑大数据背景下数据的获取与数据的实时查询过程，本发明提出一种基于区块链和混合数据库的大数据分布式存储激励方法及系统来提高交易吞吐量，并且使用分布式混合数据库将数据进行分布式存储并提供高效的实时分析型查询能力，结合拍卖算法设计激励众多用户采集数据并共享的激励系统。
8.本发明能够同时提供交易型查询服务与分析型查询服务的分布式混合数据库，不仅可以为大数据提供分布式存储降低硬件要求以及提供高可用以外，其自身的列式存储特性可以减少实时分析型查询的硬盘读取总字节数，并且减少cpu的消耗，更为快速和高效地满足大数据时代的实时查询需求。
9.同时，区块链技术使用将交易信息分布式存储的方式解决了用户之间的信任问题，另外分片技术的兴起也进一步打破了区块链的交易瓶颈。区块链技术本身的去中心化特点解决了激励机制系统的单点故障问题，并且分片技术提高了整个激励系统的处理效率。
10.综上所述，本发明是为了在大数据开发中提供更安全以及高效的数据存储和数据查询服务，用以支撑大数据系统的构建，进而引入区块链分片技术和分布式混合数据库，并设计相应的基于拍卖算法的激励机制，为大数据系统设计高可用且提供实时分析查询服务的激励系统。
11.本发明提供了一种基于区块链和混合数据库的大数据分布式存储激励方法，包括：
12.步骤s1，大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求；
13.步骤s2，基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖；
14.步骤s3，所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户；
15.步骤s4，所述成为赢家的用户向运营方上传数据；
16.步骤s5，所述运营方向所述成为赢家的用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库；
17.步骤s6，大数据系统根据所述分布式数据库中的数据进行业务处理与分析。
18.本发明还提供了一种基于区块链和混合数据库的大数据分布式存储激励系统，包括区块链服务节点、分布式数据库、大数据运营方、用户，其特征在于，
19.所述大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求；
20.基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖；
21.所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户；
22.所述赢家用户向运营方上传数据；
23.所述运营方向所述赢家用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库；
24.大数据系统根据所述分布式数据库中的数据进行业务处理与分析。
25.本发明还提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
26.所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行上述的基于区块链和混合数据库的大数据分布式存储激励方法对应的操作。
27.本发明还提供了一种计算机存储介质，所述存储介质中存储有至少一可执行程
序，所述可执行程序使处理器执行上述的基于区块链和混合数据库的大数据分布式存储激励方法对应的操作。
28.本发明通过区块链来记录用户与大数据运营方之间的交易，虽然通过区块链保证了交易的不可篡改及追溯性，但是参与的用户增多后，区块链上的交易验证与上链过程将大大延迟。本发明引入了区块链的分片技术来提高交易的吞吐量。在分片技术中，当仅涉及该分片的交易发生时，只由该分片进行交易的验证与新区块的生成。当有跨分片的交易产生时，涉及相关分片则会协同验证这些交易，共同生成一个新区块。通过分片技术，可以实现多个区域中的交易并行验证，大大提高区块链中的交易吞吐量。
29.另外，本发明通过分布式混合数据库来达到数据的分布式存储，并提供实时分析型数据的查询能力。
30.分布式混合数据库主要由管理节点集群，计算节点集群，存储节点集群组成，其中存储节点分为行存节点与列存节点。当用户需要查询分布式混合数据库中的数据时，连接到其中一个计算节点，并由计算节点询问管理节点获得数据的分布，然后从具体的存储节点上查询数据，并进行相应的聚合后返回给用户。管理节点能够实时感知存储节点中的数据分布，并由存储节点管理数据的分布式存储，当某个存储节点的负载较大时，管理节点可以对该负载大的数据副本进行调度，以均衡负载提高吞吐量。存储节点中的行存节点中的数据是以关系型数据库中的一行数据为单位进行存储，提供的是事务型的查询。列存节点中的数据是以关系型数据库中的一列为单位进行存储，由于在分析型查询的场景下，通常只需要读取某几列的数据而不是一整行数据，列存节点可以减少磁盘的i/0与需要处理的数据，进而达到加快查询的目的。通过引入上述分布式混合数据库，大数据系统获得了数据的分布式存储与实时分析型查询的能力。
附图说明
31.为了更清楚地说明本发明或现有技术中的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1本发明实施例提供的一种系统架构图；
33.图2本发明实施例提供的一种区块链分片示意图。
具体实施方式
34.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
35.实施例一
36.本发明实施例提供一种基于区块链和混合数据库的大数据分布式存储激励方法，包括：
37.步骤s1，大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求；
38.步骤s2，基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖；
39.步骤s3，所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户；
40.步骤s4，所述成为赢家的用户向运营方上传数据；
41.步骤s5，所述运营方向所述成为赢家的用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库；
42.步骤s6，大数据系统根据所述分布式数据库中的数据进行业务处理与分析。
43.可选的，所述在参与拍卖的用户中至少选择一位用户成为拍卖赢家，包括：运营方从每一种数据类型中单独选择参与用户成为拍卖赢家。
44.可选的，所述区块链节点采用分片技术处理交易信息，当仅涉及该分片的交易发生时，只由该分片进行交易的验证与新区块的生成；当有跨分片交易产生时，涉及相关分片协同验证所述跨分片交易，共同生成一个新区块。
45.本实施例提供的基于区块链和混合数据库的大数据分布式存储激励方法，其中大数据运营方中集成了前面提到的分布式混合数据库，用户所提供的数据将存储在分布式混合数据库中，并由相应的业务分析员进行处理并分析。如图1所示，一次激励机制的过程一共分成以下几个个步骤。首先，由大数据运营方向用户发起数据采集的拍卖，本系统中的运营方可以在一次拍卖中提供多种类型数据的需求；接下来用户根据运营方的要求提供相应数据的质量及数据的拍卖价格，本系统中的用户可以在一次拍卖中尽可能多的提供满足运营方需求的数据；然后运营方根据拍卖算法，从每一种数据类型中单独选择参与用户成为赢家；成为赢家的用户向运营方提供自己的数据；最后运营方向用户支付报酬并将交易写入区块链，数据则写入分布式混合数据库中。
46.需要注意的是，这里的拍卖是反向拍卖，即多个卖家单个买家的情况，运营方作为买家根据多个用户的数据质量及其拍卖价格，同时考虑数据的种类与拍卖价格来选择成为拍卖赢家的用户。由于用户对自己的数据的采集方式及设备是清晰明了的，因此这里认为用户是可以较为容易获得所采集数据的质量。
47.本系统中设计的拍卖算法的设计目标为最大化社会福利，社会福利的定义为买家(大数据运营方)收益与赢家收益的总和，是整个系统的收益。接下来将在定义1、2和3中给出了买家收益、用户收益和系统社会福利的定义。
48.定义一运营方的收益：定义运营方的收益为赢家的全部数据创造的价值减去支付给赢家的总报酬，具体如下：
[0049][0050]
在式(1)中，j(d
ij
)为用户i所提供的数据类型j的质量，p
ij
为用户i通过数据类型j所获得的报酬，d
i*
为用户i在本次拍卖中被选择为赢家的数据类型集合。而vq(
·
)为价值函数，计算不同的数据可为运营方带来的不同的价值。vq(
·
)具有以下函数性质：vq(0)＝0，v
′q(x)＞0，v
″q(x)＜0。这是因为当有价值的数据被运营方接收时，总能为运营方创造更多价值，即vq(x)一阶导数大于0。当越来越多有价值的数据被加入进来后，新加入的数据所带来的边际价值会减少，因此运营方所能获得的边际价值使不断减小，即vq(x)二阶导数小于0。
[0051]
定义二用户的收益：对于每一个用户si，个人收益定义如下：
[0052][0053]
其中c
ij
为用户i采集数据j所需要的成本，u
ij
为用户i通过数据类型j所获得的收益。
[0054]
定义三社会福利：本系统的目标为最大化社会福利，社会福利的定义为：
[0055][0056]
其中w为被运营方选为赢家的用户集合。
[0057]
实施例二
[0058]
本发明还提供一种基于区块链和混合数据库的大数据分布式存储激励系统，架构图如图1所示，其中大数据运营方中集成了前面提到的分布式混合数据库，用户所提供的数据将存储在分布式混合数据库中，并由相应的业务分析员进行处理并分析。一次激励机制的过程一共分成以下几个个步骤。首先，由大数据运营方向用户发起数据采集的拍卖，本系统中的运营方可以在一次拍卖中提供多种类型数据的需求；接下来用户根据运营方的要求提供相应数据的质量及数据的拍卖价格，本系统中的用户可以在一次拍卖中尽可能多的提供满足运营方需求的数据；然后运营方根据拍卖算法，从每一种数据类型中单独选择参与用户成为赢家；成为赢家的用户向运营方提供自己的数据；最后运营方向用户支付报酬并将交易写入区块链，数据则写入分布式混合数据库中。
[0059]
本发明实施例所提供的基于区块链和混合数据库的大数据分布式存储激励系统包括区块链服务节点、分布式数据库、大数据运营方、用户，所述大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求，基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖，所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户，所述赢家用户向运营方上传数据，所述运营方向所述赢家用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库，大数据系统根据所述分布式数据库中的数据进行业务处理与分析。
[0060]
更进一步的，本发明实施例所提供的基于区块链和混合数据库的大数据分布式存储激励系统还可用于实现本发明其他实施例所提供的基于区块链和混合数据库的大数据分布式存储激励方法。
[0061]
本发明还提供一种计算机设备。计算机设备以通用计算设备的形式表现。计算机设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，系统存储器，连接不同系统组件的总线。
[0062]
计算机设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0063]
系统存储器可以包括易失性存储器形式的计算机系统可读介质，存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0064]
处理单元通过运行存储在系统存储器中的程序，从而执行各种功能应用以及数据处理，例如实现本发明其他实施例所提供的一种基于区块链和混合数据库的大数据分布式存储激励方法。
[0065]
本发明还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明其他实施例所提供的一种基于区块链和混合数据库的大数据分布式存储激励方法。
[0066]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种基于区块链和混合数据库的大数据分布式存储激励方法，其特征在于，步骤s1，大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求；步骤s2，基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖；步骤s3，所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户；步骤s4，所述成为赢家的用户向运营方上传数据；步骤s5，所述运营方向所述成为赢家的用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库；步骤s6，大数据系统根据所述分布式数据库中的数据进行业务处理与分析。2.根据权利要求1所述的方法，其特征在于，所述在参与拍卖的用户中至少选择一位用户成为拍卖赢家，包括：运营方从每一种数据类型中单独选择参与用户成为拍卖赢家。3.根据权利要求1所述的方法，其特征在于，所述将交易上传至区块链服务节点进行交易上链处理，包括：所述区块链节点采用分片技术处理交易信息，当仅涉及该分片的交易发生时，只由该分片进行交易的验证与新区块的生成；当有跨分片交易产生时，涉及相关分片协同验证所述跨分片交易，共同生成一个新区块。4.根据权利要求1所述的方法，其特征在于，所述将数据写入分布式数据库，包括：所述分布式数据库为分布式混合数据库，所述分布式混合数据库的存储节点由行存节点与列存节点构成；所述行存节点中的数据以关系型数据库中的一行数据为单位进行存储；所述列存节点中的数据以关系型数据库中的一列数据为单位进行存储。5.根据权利要求1所述的方法，其特征在于，所述利用拍卖算法在参与拍卖的用户中选择拍卖赢家，包括：基于所述数据质量与拍卖价格计算运营方收益，所述运营方的收益为赢家的全部数据创造的价值减去支付给赢家的总报酬，计算方式如下：其中，j(d
ij
)为用户i所提供的数据类型j的质量，p
ij
为用户i通过数据类型j所获得的报酬，为用户i在本次拍卖中被选择为赢家的数据类型集合；v
q
(
·
)为价值函数，计算不同的数据可为运营方带来的不同的价值；w为被运营方选为赢家的用户集合。6.根据权利要求2所述的方法，其特征在于，所述利用拍卖算法在参与拍卖的用户中选择拍卖赢家，包括：基于所述数据质量与拍卖价格计算用户收益，对于每一个用户s
i
，个人收益定义如下：其中c
ij
为用户i采集数据j所需要的成本，u
ij
为用户i通过数据类型j所获得的收益。7.根据权利要求3所述的方法，其特征在于，所述利用拍卖算法在参与拍卖的用户中选
择拍卖赢家，包括：基于所述数据质量与拍卖价格分别计算每个用户所创造的系统社会福利，选择能够创造最大系统社会福利的用户集合为拍卖赢家集合，所述社会福利为所述运营方收益与所述拍卖赢家收益的总和：8.一种基于区块链和混合数据库的大数据分布式存储激励系统，包括区块链服务节点、分布式数据库、大数据运营方、用户，其特征在于，所述大数据运营方向用户发布至少一种数据类型的数据收集拍卖请求；基于接收到所述拍卖请求，用户提交至少一种数据类型所对应数据的数据质量与拍卖价格参与拍卖；所述运营方利用拍卖算法在参与拍卖的用户中至少选择一位用户成为拍卖赢家并通知成为赢家的用户；所述赢家用户向运营方上传数据；所述运营方向所述赢家用户支付报酬后将交易上传至区块链服务节点进行交易上链处理，并将数据写入分布式数据库；大数据系统根据所述分布式数据库中的数据进行业务处理与分析。9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行程序，所述可执行程序使所述处理器执行如权利要求1-7任一项所述的基于区块链和混合数据库的大数据分布式存储激励方法对应的操作。10.一种计算机存储介质，所述存储介质中存储有至少一可执行程序，所述可执行程序使处理器执行如权利要求1-7任一项所述的基于区块链和混合数据库的大数据分布式存储激励方法对应的操作。

技术总结
本发明提出一种基于区块链和混合数据库的大数据分布式存储激励方法及系统来提高交易吞吐量，并且使用分布式混合数据库将数据进行分布式存储并提供高效的实时分析型查询能力，结合拍卖算法设计激励众多用户采集数据并共享的激励系统。本申请可以同时兼顾用户的数据质量与价格，获得性价比更高的数据用以大数据分析。据分析。据分析。


技术研发人员：陈羽飞 温文鎏 李振达 吕图 姬永飞 邓祺
受保护的技术使用者：天翼云科技有限公司
技术研发日：2022.11.16
技术公布日：2023/8/9