一种数据处理方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及数据处理领域，特别是涉及一种数据处理方法，本发明还涉及一种数据处理装置、设备及计算机可读存储介质。


背景技术：

2.内容展示大屏(通常称之为大屏)可以通过多个数据展示模块分别展示不同的内容，而每个数据展示模块均具有自己的数据源，不同的数据展示模块的数据源所提供数据的内容以及格式各不相同，这就导致数据展示模块在接收到数据源提供的数据时，需要通过大量的工作对数据进行解析，以便将数据展示在大屏上，导致数据解析效率较差，从而影响了用户体验。
3.因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。


技术实现要素：

4.本发明的目的是提供一种数据处理方法，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验；本发明的另一目的是提供一种数据处理装置、设备及计算机可读存储介质，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验。
5.为解决上述技术问题，本发明提供了一种数据处理方法，包括：
6.确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；
7.从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据；
8.将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预设内容类型组合集中的内容类型组合进行打包；
9.将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示。
10.优选地，每个所述目标数据展示模块具备多个数据源；
11.所述从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据具体为：
12.确定出每个所述目标数据展示模块当前使用的目标数据源；
13.从每个所述目标数据展示模块的目标数据源中，提取所述预设内容类型组合集中所有内容类型的数据。
14.优选地，所述确定出每个所述目标数据展示模块当前使用的目标数据源具体为：
15.通过配置项字段，判断所述目标数据展示模块是否已开启系统计算；
16.若未开启，所述目标展示模块的目标数据源为自定义配置数据源；
17.若已开启，所述目标展示模块的目标数据源为真实数据源。
18.优选地，所述将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预设内容类型组合集中的内容类型组合进行打包之后，所述将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示之前，该数据处理方法还包括：
19.将每个所述目标数据展示模块的打包好的数据中的所有实例化对象，按照指定内容类型数据的数值大小进行排序。
20.优选地，所述真实数据源包括关系型数据库管理系统mysql以及弹性搜索elasticsearch。
21.优选地，所述预设内容类型组合集包括名称与数量的内容类型组合以及名称与百分比的内容类型组合。
22.优选地，该数据处理方法还包括：
23.响应于修改指令，对所述预设内容类型组合集中指定的内容类型组合进行修改。
24.为解决上述技术问题，本发明还提供了一种数据处理装置，包括：
25.确定模块，用于确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；
26.提取模块，用于从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据；
27.处理模块，用于将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预设内容类型组合集中的内容类型组合进行打包；
28.发送模块，用于将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示。
29.为解决上述技术问题，本发明还提供了一种数据处理设备，包括：
30.存储器，用于存储计算机程序；
31.处理器，用于执行所述计算机程序时实现如上所述数据处理方法的步骤。
32.为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述数据处理方法的步骤。
33.本发明提供了一种数据处理模块，考虑到数据源提供数据的内容和格式复杂所带来的数据解析效率低的问题，又结合考虑到大屏中很多数据展示模块所展示数据的内容类型组合近似，因此本技术中可以预先设定内容类型组合的集合，然后确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块，然后便可以从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据，接着按照预设内容类型组合集中的内容类型组合进行打包后发送至对应的目标数据展示模块即可，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验。
34.本发明还提供了一种数据处理装置、设备及计算机可读存储介质，具有如上数据处理方法相同的有益效果。
附图说明
35.为了更清楚地说明本技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明提供的一种数据处理方法的流程示意图；
37.图2为本发明提供的一种数据处理装置的结构示意图；
38.图3为本发明提供的一种数据处理设备的结构示意图。
具体实施方式
39.本发明的核心是提供一种数据处理方法，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验；本发明的另一核心是提供一种数据处理装置、设备及计算机可读存储介质，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验。
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.请参考图1，图1为本发明提供的一种数据处理方法的流程示意图，该数据处理方法包括：
42.s101：确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；
43.具体的，考虑到如上背景技术中的技术问题，又结合考虑到数据源提供数据的内容和格式复杂所带来的数据解析效率低的问题，又结合考虑到大屏中很多数据展示模块所展示数据的内容类型组合近似，因此本技术欲对这些“展示数据的内容类型组合”近似的数据展示模块的数据源数据进行统一的预处理，以便通过统一流程高效地实现多个数据源数据的预处理，并使得各个数据展示模块能够根据预处理后的数据进行更加高效的数据展示，因此本发明实施例中首先可以预先设置内容类型组合集，该内容类型组合集中包含多个内容类型组合，而每个内容类型组合则由至少两项内容类型的数据组成，内容类型可以为多种类型，例如可以为名称、数值以及百分比等内容类型等，本发明实施例在此不做限定。
44.具体的，预设内容类型组合集的设置过程可以为：预先分析大屏中各个数据展示模块共同涉及的内容类型组合，然后将内容类型组合近似的多个数据展示模块所涉及的所有内容类型组合设置为内容类型组合集。
45.其中，在有了预设内容组合集后，由于本技术需要对数据展示模块的数据源数据做预处理，因此可以根据预设内容组合集确定出目标数据展示模块，也即：确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块，以便将其作为后续步骤的数据基础。
46.s102：从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据；
47.具体的，由于每个目标数据展示模块所展示数据的内容类型组合均归属于预设内容类型组合集，因此为了达到操作的统一性，本发明实施例中可以从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据，有利于提高工作效率。
48.其中，在提取数据的过程中，也即筛选掉了预设内容类型组合集之外的内容类型的数据，从而也减少了后续数据处理步骤的数据处理量，有利于提升数据处理效率。
49.当然，除了本发明实施例外，在从每个目标数据展示模块的数据源中提取数据时，还可以仅提取该目标数据展示模块所展示的内容类型组合中的内容类型的数据，有利于进一步减小数据处理量并提升数据处理效率。
50.s103：将从每个目标数据展示模块的数据源提取出的数据，按照预设内容类型组合集中的内容类型组合进行打包；
51.具体的，考虑到目标数据展示模块在展示数据时，会按照自身涉及的内容类型组合对数据进行处理然后进行展示，例如目标数据展示模块涉及的内容类型组合为a+b数据组成的内容类型组合，那么其在接收到数据源数据的时候，便可以同时针对其中的a+b数据进行处理，因此为了进一步提升数据处理效率，本发明实施例中还可以将从每个目标数据展示模块的数据源提取出的数据，按照预设内容类型组合集中的内容类型组合进行打包，例如将其中的a+b数据进行打包，以便目标数据展示模块可以更高效的进行数据解析并展示，有利于提升用户体验。
52.s104：将打包好的数据发送至对应的目标数据展示模块，以便将数据在大屏中展示。
53.具体的，在打包好数据后，便可以将其发送至对应的目标数据展示模块，这里的对应指的是数据源与数据展示模块的对应，也即将打包好的数据发送至其数据源所对应的目标数据展示模块，以便进行数据解析及展示。
54.本发明提供了一种数据处理模块，考虑到数据源提供数据的内容和格式复杂所带来的数据解析效率低的问题，又结合考虑到大屏中很多数据展示模块所展示数据的内容类型组合近似，因此本技术中可以预先设定内容类型组合的集合，然后确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块，然后便可以从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据，接着按照预设内容类型组合集中的内容类型组合进行打包后发送至对应的目标数据展示模块即可，由于本技术中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验。
55.在上述实施例的基础上：
56.作为一种优选的实施例，每个目标数据展示模块具备多个数据源；
57.从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据具体为：
58.确定出每个目标数据展示模块当前使用的目标数据源；
59.从每个目标数据展示模块的目标数据源中，提取预设内容类型组合集中所有内容类型的数据。
60.具体的，考虑到每个目标数据展示模块可能具有多个数据源，并且其当前使用的数据源并不固定，因此本发明实施例中可以首先确定出每个目标数据展示模块当前使用的目标数据源，然后再从每个目标数据展示模块的目标数据源中，提取预设内容类型组合集中所有内容类型的数据。
61.作为一种优选的实施例，确定出每个目标数据展示模块当前使用的目标数据源具体为：
62.通过配置项字段，判断目标数据展示模块是否已开启系统计算；
63.若未开启，目标展示模块的目标数据源为自定义配置数据源；
64.若已开启，目标展示模块的目标数据源为真实数据源。
65.具体的，系统计算属于数据展示模块的一个可配置项，开启系统计算时，该数据展示模块则可以从真实的数据源中获取数据，未开启系统计算时，数据展示模块则需要从自定义配置数据源中获取数据，因此本发明实施例中可以通过配置项字段，判断目标数据展示模块是否已开启系统计算，若未开启，目标展示模块的目标数据源为自定义配置数据源；若已开启，目标展示模块的目标数据源为真实数据源，可以高效准确地确定出目标数据展示模块的目标数据源。
66.当然，除了该种方式外，确定目标数据源还可以采用其他方式实现，本发明实施例在此不做限定。
67.作为一种优选的实施例，将从每个目标数据展示模块的数据源提取出的数据，按照预设内容类型组合集中的内容类型组合进行打包之后，将打包好的数据发送至对应的目标数据展示模块，以便将数据在大屏中展示之前，该数据处理方法还包括：
68.将每个目标数据展示模块的打包好的数据中的所有实例化对象，按照指定内容类型数据的数值大小进行排序。
69.具体的，考虑到对于展示统计类内容的数据展示模块来说，其在展示时通常存在对数据按数值大小进行排序的需求，而考虑到大屏前端的数据处理能力有限，因此为了提升数据处理效率，本发明实施例中可以在服务端将每个目标数据展示模块的打包好的数据中的所有实例化对象，按照指定内容类型数据的数值大小进行排序，然后再发送给目标数据展示模块，有利于更高效的进行数据展示。
70.作为一种优选的实施例，真实数据源包括关系型数据库管理系统mysql以及弹性搜索elasticsearch。
71.具体的，mysql是一个轻量级关系型数据库管理系统，目前mysql被广泛地应用在internet上的中小型网站中，由于体积小、速度快、总体拥有成本低，开放源码、免费，一般中小型网站的开发都选择linux+mysql作为网站数据库；elasticsearch，基于lucene的搜索引擎，是高度可伸缩的开源全文搜索和分析引擎。它允许我们快速实时地存储、搜索、分析大数据。
72.其中，值得一提的是，针对elasticsearch数据源在进行数据提取前，我们可以首先进行数据聚合，有利于进一步提升数据处理效率，具体过程为：
73.1)根据参数中传入的索引名称、聚合函数名称、搜索条件、聚合函数等构建聚合条件；
74.2)使用聚合父类兼容所有子聚合，查询聚合结果；
75.3)解析父类聚合共性结果。
76.当然，除了这两种真实数据源外，真实数据源还可以为其他多种类型，本发明实施例在此不做限定。
77.作为一种优选的实施例，预设内容类型组合集包括名称与数量的内容类型组合以及名称与百分比的内容类型组合。
78.具体的，经过统计分析发现，大屏中大量的数据展示模块所展示的内容类型组合包括名称与数量的内容类型组合、名称与百分比的内容类型组合以及名称、数量与百分比的内容类型组合，以上三种内容类型组合完全适配折线图、条形图、柱状图、漏斗图、饼图等。因此我抽象出了两个通用的数据格式类型nameandvalue(名称与数量的内容类型组合)以及nameandpercent(名称与百分比的内容类型组合)，并将其作为预设内容类型组合集中的元素，便可以涵盖如上三种内容类型组合的数据，例如在需要名称、数量与百分比的内容类型组合时，可以由组合集中的两种内容类型组合的数据合并出名称、数量与百分比的内容类型组合；选用如上的预设内容类型组合可以选取大量的目标数据展示模块进行统一的数据源数据预处理，有利于进一步提升工作效率。
79.其中，上述的预设内容类型组合集中涉及的内容类型有三个，分别为名称、数量与百分比，因此为了进一步提升工作效率，本发明实施例中可以规范自定义配置数据源的内容格式，分别以key1、key2、key3命名名称、数量、百分比三个值，然后以json字符串的格式保存在配置表中，如果发现系统计算未启用，则解析自定义配置数据源。
80.当然，除了上述的预设内容类型组合外，预设内容类型组合还可以为其他多种类型，本发明实施例在此不做限定。
81.作为一种优选的实施例，该数据处理方法还包括：
82.响应于修改指令，对预设内容类型组合集中指定的内容类型组合进行修改。
83.具体的，考虑到随着大屏需要展示数据的变更或者大屏技术的发展，工作人员存在更改预设内容类型组合集的需求，因此本发明实施例中提供了修改接口，工作人员可以通过该接口发送修改指令，因此本发明实施例中可以响应于修改指令，对预设内容类型组合集中指定的内容类型组合进行修改。
84.请参考图2，图2为本发明提供的一种数据处理装置的结构示意图，该数据处理装置包括：
85.确定模块21，用于确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；
86.提取模块22，用于从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据；
87.处理模块23，用于将从每个目标数据展示模块的数据源提取出的数据，按照预设内容类型组合集中的内容类型组合进行打包；
88.发送模块24，用于将打包好的数据发送至对应的目标数据展示模块，以便将数据在大屏中展示。
89.对于本发明实施例提供的数据处理装置的介绍请参照前述的数据处理方法的实施例，本发明实施例在此不再赘述。
90.请参考图3，图3为本发明提供的一种数据处理设备的结构示意图，该数据处理设
备包括：
91.存储器31，用于存储计算机程序；
92.处理器32，用于执行计算机程序时实现如前述实施例中数据处理方法的步骤。
93.对于本发明实施例提供的数据处理设备的介绍请参照前述的数据处理方法的实施例，本发明实施例在此不再赘述。
94.本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上数据处理方法的步骤。
95.对于本发明实施例提供的计算机可读存储介质的介绍请参照前述的数据处理方法的实施例，本发明实施例在此不再赘述。
96.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。还需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
97.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种数据处理方法，其特征在于，包括：确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据；将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预设内容类型组合集中的内容类型组合进行打包；将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示。2.根据权利要求1所述的数据处理方法，其特征在于，每个所述目标数据展示模块具备多个数据源；所述从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据具体为：确定出每个所述目标数据展示模块当前使用的目标数据源；从每个所述目标数据展示模块的所述目标数据源中，提取所述预设内容类型组合集中所有内容类型的数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述确定出每个所述目标数据展示模块当前使用的目标数据源具体为：通过配置项字段，判断所述目标数据展示模块是否已开启系统计算；若未开启，所述目标展示模块的目标数据源为自定义配置数据源；若已开启，所述目标展示模块的目标数据源为真实数据源。4.根据权利要求3所述的数据处理方法，其特征在于，所述将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预设内容类型组合集中的内容类型组合进行打包之后，所述将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示之前，该数据处理方法还包括：将每个所述目标数据展示模块的打包好的数据中的所有实例化对象，按照指定内容类型数据的数值大小进行排序。5.根据权利要求3所述的数据处理方法，其特征在于，所述真实数据源包括关系型数据库管理系统mysql以及弹性搜索elasticsearch。6.根据权利要求1所述的数据处理方法，其特征在于，所述预设内容类型组合集包括名称与数量的内容类型组合以及名称与百分比的内容类型组合。7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，该数据处理方法还包括：响应于修改指令，对所述预设内容类型组合集中指定的内容类型组合进行修改。8.一种数据处理装置，其特征在于，包括：确定模块，用于确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块；提取模块，用于从每个所述目标数据展示模块的数据源中，提取所述预设内容类型组合集中所有内容类型的数据；处理模块，用于将从每个所述目标数据展示模块的数据源提取出的数据，按照所述预
设内容类型组合集中的内容类型组合进行打包；发送模块，用于将打包好的数据发送至对应的所述目标数据展示模块，以便将数据在大屏中展示。9.一种数据处理设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理方法的步骤。

技术总结
本发明公开了一种数据处理方法、装置、设备及计算机可读存储介质，属于数据处理领域，用于对大屏数据进行处理。考虑到大屏中很多数据展示模块所展示数据的内容类型组合近似，本申请可以预先设定内容类型组合的集合，然后确定出大屏中被展示数据的内容类型组合，属于预设内容类型组合集的目标数据展示模块，然后便可以从每个目标数据展示模块的数据源中，提取预设内容类型组合集中所有内容类型的数据，接着按照预设内容类型组合集中的内容类型组合进行打包后发送至对应的目标数据展示模块即可，由于本申请中对于近似的目标数据展示模块进行了数据的提取以及打包，从而减少了目标数据展示模块的数据解析工作量，提升了数据解析效率以及用户体验。效率以及用户体验。效率以及用户体验。


技术研发人员：龙文洁 王晛
受保护的技术使用者：杭州安恒信息安全技术有限公司
技术研发日：2023.05.04
技术公布日：2023/9/14