一种跨数据结构的数据分类关联方法、装置及存储介质与流程

1.本发明公开一种方法、装置及存储介质，涉及数据关联
技术领域：
：，具体地说是一种跨数据结构的数据分类关联方法、装置及存储介质。
背景技术：
：：2.在网络资源日益丰富，数据规模指数上涨的背景下，对网络资源的管理建设和分析优化在同步发展，数据实体扩展属性已经发展为不同数据结构承载和关联描述的阶段。通过oltp模式实现数据规范化、事务性的处理，但遇到比一对一、一对多、多对多更复杂的实体扩展属性描述和扩展属性描述变更后的数据实时同步的场景，就需要通过olap模型进行实时性、网状化的识别、编码、压缩、关联和输出关系结果。然而目前单实体数据冗余信息太多，不易保障建设实体和关系时sql和nosql模型的灵活关联以及不易对分析场景进行支撑。技术实现要素：3.本发明针对现有技术的问题，提供一种跨数据结构的数据分类关联方法、装置及存储介质。本发明提出的具体方案是：4.本发明提供一种跨数据结构的数据分类关联方法，具体包括：5.步骤1：针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，6.步骤2：根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，7.步骤3：根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，8.步骤4：压缩优化生成的非关系型数据信息，9.步骤5：存储压缩后非关系型数据信息，完成数据关联。10.进一步，所述的一种跨数据结构的数据分类关联方法中所述步骤2中根据变更目标为列式，则识别非关系数据库类型为hbase数据库、cassandra数据库和clickhouse数据库；11.根据变更目标为键值，则识别非关系数据库类型为redis数据库和memcached数据库；12.根据变更目标为文档，则识别非关系数据库类型为mongodb数据库；13.根据变更目标为时序，则识别非关系数据库类型为influxdb数据库和prometheus数据库；14.根据变更目标为搜索，则识别非关系数据库类型为elasticsearch数据库。15.进一步，所述的一种跨数据结构的数据分类关联方法中步骤3中选取的非关系型数据库的处理对象为列式，则对列式的长数组加工；16.选取的非关系型数据库的处理对象为键值，则分开实体中的id和键值中的key，将id关联key对应的value中扫描匹配数据，生成key_id；17.选取的非关系型数据库的处理对象为文档，则编码加工文档并更新文档的相应文件，18.选取的非关系型数据库的处理对象为时序，则按时间序列的顺序位置加工生成时间。19.进一步，所述的一种跨数据结构的数据分类关联方法中步骤3中编码加工文档并更新文档的相应文件时，解析生成part、relationship和contenttypes，20.更新文档的相应文件：更新document.xml文件，用于记录word文档的正文内容；更新footer*.xml文件，用于记录word文档的页脚；更新header*.xml文件，用于记录word文档的页眉；更新comments.xml文件，用于记录word文档的批注；更新footnotes.xml文件，用于记录word文档的脚注；更新endnotes.xml文件，用于记录word文档的尾注。21.本发明还提供一种跨数据结构的数据分类关联装置，包括变更分析模块、类型识别模块、信息生成模块、编码压缩模块和关联存储模块，22.变更分析模块针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，23.类型识别模块根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，24.信息生成模块根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，25.编码压缩模块压缩优化生成的非关系型数据信息，26.关联存储模块存储压缩后非关系型数据信息，完成数据关联。27.进一步，所述的一种跨数据结构的数据分类关联装置中所述类型识别模块中根据变更目标为列式，则识别非关系数据库类型为hbase数据库、cassandra数据库和clickhouse数据库；28.根据变更目标为键值，则识别非关系数据库类型为redis数据库和memcached数据库；29.根据变更目标为文档，则识别非关系数据库类型为mongodb数据库；30.根据变更目标为时序，则识别非关系数据库类型为influxdb数据库和prometheus数据库；31.根据变更目标为搜索，则识别非关系数据库类型为elasticsearch数据库。32.进一步，所述的一种跨数据结构的数据分类关联装置中信息生成模块选取的非关系型数据库的处理对象为列式，则对列式的长数组加工；33.信息生成模块选取的非关系型数据库的处理对象为键值，则分开实体中的id和键值中的key，将id关联key对应的value中扫描匹配数据，生成key_id；34.信息生成模块选取的非关系型数据库的处理对象为文档，则编码加工文档并更新文档的相应文件；35.信息生成模块选取的非关系型数据库的处理对象为时序，则按时间序列的顺序位置加工生成时间。36.进一步，所述的一种跨数据结构的数据分类关联装置中信息生成模块编码加工文档并更新文档的相应文件时，解析生成part、relationship和contenttypes，37.更新文档的相应文件：更新document.xml文件，用于记录word文档的正文内容；更新footer*.xml文件，用于记录word文档的页脚；更新header*.xml文件，用于记录word文档的页眉；更新comments.xml文件，用于记录word文档的批注；更新footnotes.xml文件，用于记录word文档的脚注；更新endnotes.xml文件，用于记录word文档的尾注。38.本发明还提供一种存储介质，所述存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种跨数据结构的数据分类关联方法。39.本发明的有益之处是：40.本发明提供一种跨数据结构的数据分类关联方法，在oltp实体对应的非关系数据变更时，记录识别数据类型，正确的选取非关系型数据库的处理对象，实现不同非关系型数据库的信息存储加工，对生成的非关系型数据信息进行压缩优化，不仅能节省空间，也能减少io提高读取性能。在oltp关系型数据库中关联和存储信息，完成数据关联翻译。附图说明41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。42.图1是本发明多级关联翻译容器应用框架示意图。43.图2是本发明关联功能应用框架示意图。44.图3是本发明涉及的长数组结构示意图。具体实施方式45.olap(onlineanalyticalprocessing)是一种数据处理技术，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。46.oltp(on-linetransactionprocessing)特性：主要做实时事务处理，比如处理用户基本信息、处理订单合同、处理银行转账业务、企业的erp系统和oa系统，等等；47.对少量数据，甚至是单条数据，做实时的增删改查；48.数据库经常更新；49.通常对规范化、实时性、稳定性、事务性、一致性、完整性等有要求；50.操作较为固定，比如订单业务，可能永远就那几个固定的操作；51.数据库主要模型是3nf或bcnf模型。52.oltp(onlinetransactionprocesssing联机事务处理)是与功能、业务强相关的事务查询系统，要保证高并发场景下低时延的查询和处理效率，因此对cpu的性能要求较高。53.olap(on-lineanalyticalprocessing)特性：数据仓库，主要做历史数据分析，为商业决策提供支持，比如对大量的用户行为做分析，对设备的状态、使用率、性能做分析；54.对大量数据，做读取、聚合、计算、分析，实时性要求不高，对吞吐能力要求较高；55.通常列的数量比较多，但每次分析的时候只取少部分列的数据；56.通常是批量导入数据；57.通常数据导入后不会修改，主要是读取操作，写少读多；58.通常对规范化、事务性、一致性、完整性等要求较低，甚至一个查询操作失败了也不会有什么影响；59.操作较为灵活，比如一个海量用户行为数据表，可以想出许多不同的方法，从不同的角度对用户做分析；60.数据库主要是星型、雪花模型。61.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。62.本发明提供一种跨数据结构的数据分类关联方法，具体包括：63.步骤1：针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，64.步骤2：根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，65.步骤3：根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，66.步骤4：压缩优化生成的非关系型数据信息，67.步骤5：存储压缩后非关系型数据信息，完成数据关联。68.本发明适用场景在于多种数据结构并存的数据仓库体系中应用实现oltp关系型数据关联olap对非关系型海量数据的汇聚，关联，分析等同步实时性要求高的数据分析应用。可以解决实体多扩展不同结构数据的关联问题。具体应用中，在本发明方法的一些实施例中，过程可参考如下：69.步骤1：针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索。其中可以由实体发起扩展属性变更，也可以是扩展属性变更同步回实体，通过olap机制对变更属性进行数据结构分类查找分析，区分不同数据结构数据的变更请求。70.步骤2：根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象。71.进一步，所述步骤2中根据变更目标为列式，则识别非关系数据库类型为hbase数据库、cassandra数据库和clickhouse数据库；72.根据变更目标为键值，则识别非关系数据库类型为redis数据库和memcached数据库；73.根据变更目标为文档，则识别非关系数据库类型为mongodb数据库；74.根据变更目标为时序，则识别非关系数据库类型为influxdb数据库和prometheus数据库；75.根据变更目标为搜索，则识别非关系数据库类型为elasticsearch数据库。76.步骤3：根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息。77.进一步，步骤3中选取的非关系型数据库的处理对象为列式，则对列式的长数组加工，其中根据列式存储的同步编码请求，提取同一列的数据相邻存放，表的每列构成一个长数组，如图3所示，所有的列依次排列构成一行，以行为单位存储，再配合以b+树或ss-table作为索引，就能快速通过主键找到相应的行数据；78.选取的非关系型数据库的处理对象为键值，则分开实体中的id和键值中的key，将id关联key对应的value中扫描匹配数据，生成key_id，value类型可以包含string、哈希表(hash)、列表和集合；79.选取的非关系型数据库的处理对象为文档，则编码加工文档并更新文档的相应文件，提取ole编码，将变更前后的编码进行对比，其中编码加工文档并更新文档的相应文件时，解析生成part、relationship和contenttypes，80.更新文档的相应文件：更新document.xml文件，用于记录word文档的正文内容；更新footer*.xml文件，用于记录word文档的页脚；更新header*.xml文件，用于记录word文档的页眉；更新comments.xml文件，用于记录word文档的批注；更新footnotes.xml文件，用于记录word文档的脚注；更新endnotes.xml文件，用于记录word文档的尾注；81.选取的非关系型数据库的处理对象为时序，则按时间序列的顺序位置加工生成时间，其中提取时间序列数据是同一指标按时间顺序记录的数据列。82.步骤4：压缩优化生成的非关系型数据信息，其中列式存储压缩手段不仅能节省空间，也能减少io提高读取性能。利用列式存储数据编码和压缩方式，可以实现数据本身按顺序排列(self-order)，以及数据有不同的取值(distinctvalues)。83.实现列式编码之后，还可以对数据进行压缩。由于一列的数据本身具有相似性，即使不做特殊编码，也能取得相对较好的压缩效果。通常采用snappy等支持流式处理、吞吐量高的压缩算法。84.步骤5：存储压缩后非关系型数据信息，完成数据关联。其中在oltp关系型数据库中关联和存储信息，完成数据关联翻译，实体调用时关联的拓展数据结构就可以通过外健实时查询到变化结果。85.本发明还提供一种跨数据结构的数据分类关联装置，包括变更分析模块、类型识别模块、信息生成模块、编码压缩模块和关联存储模块，86.变更分析模块针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，87.类型识别模块根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，88.信息生成模块根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，89.编码压缩模块压缩优化生成的非关系型数据信息，90.关联存储模块存储压缩后非关系型数据信息，完成数据关联。91.上述装置内的各模块的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。92.同样地本发明装置可以在oltp实体对应的非关系数据变更时，记录识别数据类型，正确的选取非关系型数据库的处理对象，实现不同非关系型数据库的信息存储加工，对生成的非关系型数据信息进行压缩优化，不仅能节省空间，也能减少io提高读取性能。在oltp关系型数据库中关联和存储信息，完成数据关联翻译。93.以及本发明提供存储介质，所述存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种跨数据结构的数据分类关联方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。94.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。95.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。96.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。97.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。98.需要说明的是，上述各流程和各装置结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。99.以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本
技术领域：
：的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。当前第1页12当前第1页12
技术特征：
1.一种跨数据结构的数据分类关联方法，其特征是具体包括：步骤1：针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，步骤2：根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，步骤3：根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，步骤4：压缩优化生成的非关系型数据信息，步骤5：存储压缩后非关系型数据信息，完成数据关联。2.根据权利要求1所述的一种跨数据结构的数据分类关联方法，其特征是所述步骤2中根据变更目标为列式，则识别非关系数据库类型为hbase数据库、cassandra数据库和clickhouse数据库；根据变更目标为键值，则识别非关系数据库类型为redis数据库和memcached数据库；根据变更目标为文档，则识别非关系数据库类型为mongodb数据库；根据变更目标为时序，则识别非关系数据库类型为influxdb数据库和prometheus数据库；根据变更目标为搜索，则识别非关系数据库类型为elasticsearch数据库。3.根据权利要求1所述的一种跨数据结构的数据分类关联方法，其特征是所述步骤3中选取的非关系型数据库的处理对象为列式，则对列式的长数组加工；选取的非关系型数据库的处理对象为键值，则分开实体中的id和键值中的key，将id关联key对应的value中扫描匹配数据，生成key_id；选取的非关系型数据库的处理对象为文档，则编码加工文档并更新文档的相应文件，选取的非关系型数据库的处理对象为时序，则按时间序列的顺序位置加工生成时间。4.根据权利要求3所述的一种跨数据结构的数据分类关联方法，其特征是所述步骤3中编码加工文档并更新文档的相应文件时，解析生成part、relationship和contenttypes，更新文档的相应文件：更新document.xml文件，用于记录word文档的正文内容；更新footer*.xml文件，用于记录word文档的页脚；更新header*.xml文件，用于记录word文档的页眉；更新comments.xml文件，用于记录word文档的批注；更新footnotes.xml文件，用于记录word文档的脚注；更新endnotes.xml文件，用于记录word文档的尾注。5.一种跨数据结构的数据分类关联装置，其特征是包括变更分析模块、类型识别模块、信息生成模块、编码压缩模块和关联存储模块，变更分析模块针对oltp中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索，类型识别模块根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象，信息生成模块根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息，
编码压缩模块压缩优化生成的非关系型数据信息，关联存储模块存储压缩后非关系型数据信息，完成数据关联。6.根据权利要求5所述的一种跨数据结构的数据分类关联装置，其特征是所述类型识别模块中根据变更目标为列式，则识别非关系数据库类型为hbase数据库、cassandra数据库和clickhouse数据库；根据变更目标为键值，则识别非关系数据库类型为redis数据库和memcached数据库；根据变更目标为文档，则识别非关系数据库类型为mongodb数据库；根据变更目标为时序，则识别非关系数据库类型为influxdb数据库和prometheus数据库；根据变更目标为搜索，则识别非关系数据库类型为elasticsearch数据库。7.根据权利要求5所述的一种跨数据结构的数据分类关联装置，其特征是信息生成模块选取的非关系型数据库的处理对象为列式，则对列式的长数组加工；信息生成模块选取的非关系型数据库的处理对象为键值，则分开实体中的id和键值中的key，将id关联key对应的value中扫描匹配数据，生成key_id；信息生成模块选取的非关系型数据库的处理对象为文档，则编码加工文档并更新文档的相应文件；信息生成模块选取的非关系型数据库的处理对象为时序，则按时间序列的顺序位置加工生成时间。8.根据权利要求7所述的一种跨数据结构的数据分类关联装置，其特征是信息生成模块编码加工文档并更新文档的相应文件时，解析生成part、relationship和contenttypes，更新文档的相应文件：更新document.xml文件，用于记录word文档的正文内容；更新footer*.xml文件，用于记录word文档的页脚；更新header*.xml文件，用于记录word文档的页眉；更新comments.xml文件，用于记录word文档的批注；更新footnotes.xml文件，用于记录word文档的脚注；更新endnotes.xml文件，用于记录word文档的尾注。9.一种存储介质，其特征是所述存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4任一项所述的一种跨数据结构的数据分类关联方法。

技术总结
本发明公开一种跨数据结构的数据分类关联方法、装置及存储介质，涉及数据关联技术领域；具体包括：针对OLTP中实体的非关系数据扩展属性变更，提取变更数据，进行数据结构分类，区分不同数据结构的变更数据的变更请求及变更目标，所述变更目标包括列式、键值、文档、时序和搜索；根据变更请求和变更目标识别相应非关系数据库类型，对应变更目标选取非关系型数据库的处理对象；根据选取的非关系型数据库的处理对象，对需要关联的变更数据进行加工，生成相应的非关系型数据信息；压缩优化生成的非关系型数据信息；存储压缩后非关系型数据信息，完成数据关联。完成数据关联。完成数据关联。


技术研发人员：张南岳
受保护的技术使用者：浪潮通信信息系统有限公司
技术研发日：2023.05.04
技术公布日：2023/8/13