日志处理方法、装置、电子设备及介质与流程

1.本技术涉及云计算技术，尤其涉及一种日志处理方法、装置、电子设备及介质。


背景技术：

2.随着云计算产品的发展，对云中数据的访问和修改记录日志具有重要的意义，通过对日志进行数据挖掘，充分利用日志，可以为客户资源提供问题定位、资源跟踪、行为分析等方面的支撑。
3.目前，亟需一种可以缓解日志数据存储负担的日志收集系统，来应用于操作日志的收集。


技术实现要素：

4.本技术提供一种日志处理方法、装置、电子设备及介质，用以缓解操作日志数据的存储压力。
5.一方面，本技术提供一种日志处理方法，应用于云平台的日志收集系统，所述方法包括：
6.接收日志信息，并将所述日志信息发送到消息队列；其中，所述消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；
7.从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息；
8.根据所述关联日志信息，对所述目标日志信息进行填充操作，并存储填充后的目标日志信息。
9.在另一种可能实现的方式中，具有异步标识的日志信息还具有顺序标识，用于表示所述日志信息在同一所述系统操作产生的至少两个日志信息中的顺序；所述从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息，包括：
10.从所述消息队列获取待消费的目标日志信息，判断所述目标日志信息是否存在异步标识；
11.若所述目标日志信息存在异步标识，则根据所述目标日志信息的顺序标识，确定所述目标日志信息是否为所述系统操作产生的第一个日志信息；
12.若所述目标日志信息不是所述系统操作产生的第一个日志信息，则根据所述异步标识，查找所述目标日志信息的关联日志信息。
13.在另一种可能实现的方式中，所述若所述目标日志信息不是所述系统操作产生的第一个日志信息，则根据所述异步标识，查找所述目标日志信息的关联日志信息，包括：
14.根据所述异步标识，查找所述系统操作产生的第一个日志信息，作为所述关联日志信息；
15.所述根据所述关联日志信息，对所述目标日志信息进行填充操作，包括：根据所述第一个日志信息包含的属性信息，对所述目标日志信息进行填充操作；其中，所述属性信息包括：操作来源、操作者、操作时间。
16.在另一种可能实现的方式中，所述接收日志信息，并将所述日志信息发送到消息队列，包括：
17.获取所述日志信息，根据所述日志信息的顺序标识，判断所述日志信息是否属于所述系统操作的第一个日志信息；
18.若属于所述第一个日志信息，则校验所述日志信息是否包含所述系统操作的属性信息；若不属于所述第一个日志信息，则校验所述日志信息是否具有所述异步标识；
19.在校验成功后，根据用户操作的主标识设置所述日志信息的子标识，并将所述日志信息发送到消息队列，每一个用户操作对应至少一个系统操作，每一个系统操作对应至少一个日志信息；同一用户操作对应的至少一个日志信息的主标识相同、子标识不同。
20.在另一种可能实现的方式中，所述日志收集系统提供日志收集接口，用于收集云平台中各个云计算模块的日志信息；
21.所述接收日志信息，并将所述日志信息发送到消息队列，包括：
22.获取各个云计算模块通过调用所述日志收集接口推送的日志信息，并判断所述日志信息是否属于预设操作事件对应的日志信息；
23.若属于，则将所述日志信息发送到消息队列。
24.在另一种可能实现的方式中，所述将所述日志信息发送至消息队列之前，所述方法还包括：
25.根据所述系统操作确定所述日志信息的异步信息，所述异步信息用于指示所述日志信息是否存在所述异步标识和所述顺序标识；
26.判断所述日志信息是否存在所述异步标识，并根据判断结果将所述日志信息发送至所述消息队列。
27.在另一种可能实现的方式中，所述根据判断结果将所述日志信息发送至所述消息队列，包括：
28.若所述日志信息存在所述异步标识，则根据所述异步标识确定目标分区，并将所述日志信息发送至所述消息队列的第一目标分区；所述第一目标分区用于存储异步标识相同的日志信息；
29.若所述日志信息不存在所述异步标识，则采用预设算法将所述日志信息发送至所述消息队列。
30.第二方面，本技术提供一种日志处理装置，包括：
31.接收模块，用于接收日志信息，并将所述日志信息发送到消息队列；其中，所述消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；
32.查找模块，用于从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息；
33.填充模块，用于根据所述关联日志信息，对所述目标日志信息进行填充操作，并存储填充后的目标日志信息。
34.在另一种可能实现的方式中，所述查找模块具体用于：
35.从所述消息队列获取待消费的目标日志信息，判断所述目标日志信息是否存在异步标识；具有异步标识的日志信息还具有顺序标识，用于表示所述日志信息在同一所述系统操作产生的至少两个日志信息中的顺序；
36.若所述目标日志信息存在异步标识，则根据所述目标日志信息的顺序标识，确定所述目标日志信息是否为所述系统操作产生的第一个日志信息；
37.若所述目标日志信息不是所述系统操作产生的第一个日志信息，则根据所述异步标识，查找所述目标日志信息的关联日志信息。
38.在另一种可能实现的方式中，所述查找模块具体用于：
39.若所述目标日志信息不是所述系统操作产生的第一个日志信息，根据所述异步标识，查找所述系统操作产生的第一个日志信息，作为所述关联日志信息；
40.所述根据所述关联日志信息，对所述目标日志信息进行填充操作，包括：根据所述第一个日志信息包含的属性信息，对所述目标日志信息进行填充操作；其中，所述属性信息包括：操作来源、操作者、操作时间。
41.在另一种可能实现的方式中，所述接收模块具体用于：
42.获取所述日志信息，根据所述日志信息的顺序标识，判断所述日志信息是否属于所述系统操作的第一个日志信息；
43.若属于所述第一个日志信息，则校验所述日志信息是否包含所述系统操作的属性信息；若不属于所述第一个日志信息，则校验所述日志信息是否具有所述异步标识；
44.在校验成功后，根据用户操作的主标识设置所述日志信息的子标识，并将所述日志信息发送到消息队列，每一个用户操作对应至少一个系统操作，每一个系统操作对应至少一个日志信息；同一用户操作对应的至少一个日志信息的主标识相同、子标识不同。
45.在另一种可能实现的方式中，所述接收模块具体用于：
46.获取各个云计算模块通过调用日志收集接口推送的日志信息，并判断所述日志信息是否属于预设操作事件对应的日志信息；所述日志收集系统提供日志收集接口，用于收集云平台中各个云计算模块的日志信息；
47.若属于，则将所述日志信息发送到消息队列。
48.在另一种可能实现的方式中，所述接收模块还用于：
49.根据所述系统操作确定所述日志信息的异步信息，所述异步信息用于指示所述日志信息是否存在所述异步标识和所述顺序标识；
50.判断所述日志信息是否存在所述异步标识，并根据判断结果将所述日志信息发送至所述消息队列。
51.在另一种可能实现的方式中，所述接收模块具体用于：
52.若所述日志信息存在所述异步标识，则根据所述异步标识确定目标分区，并将所述日志信息发送至所述消息队列的第一目标分区；所述第一目标分区用于存储异步标识相同的日志信息；
53.若所述日志信息不存在所述异步标识，则采用预设算法将所述日志信息发送至所述消息队列。
54.第三方面，本技术提供一种电子设备，包括存储器和处理器，其中，所述存储器用
于存储计算机执行指令；
55.所述处理器用于调用所述计算机执行指令，以使得所述电子设备执行第一方面中任一项所述的方法。
56.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
57.本技术提供一种日志处理方法、装置、电子设备及介质，其中，本技术的方法，在从消息队列中获取待消费的目标日志信息时，通过查找与目标日志信息的异步标识相同的关联日志信息，来对目标日志信息进行填充操作，以获取相应的数据，使得消息队列中一些目标日志信息无需包含对应操作的属性信息，从而有效减轻了消息队列的数据存储压力。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
59.图1为本技术实施例提供的一种日志处理方法的场景示意图；
60.图2为本技术实施例提供的一种日志处理方法的流程示意图；
61.图3为本技术实施例提供的一种将日志信息发送至消息队列的方法流程框图；
62.图4为本技术实施例提供的一种从消息队列中获取日志信息的方法流程框图；
63.图5为本技术实施例提供的一种日志处理装置的结构示意图；
64.图6为本技术实施例提供的一种电子设备的结构示意图。
65.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
66.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
67.随着云计算产品的发展，云计算的操作日志也作为一种潜在资源逐渐受到重视。对云计算产品的操作日志进行数据挖掘，可以为客户资源提供问题定位、资源跟踪，为开发人员提供行为分析等方面的支撑。
68.云计算产品的日志分为系统日志和操作日志，目前，对于系统日志的搜集，多使用elk日志分析平台来记性搜集。对于操作日志，多为直接展示云计算的操作日志。其中，elk是elasticsearch+logstash+kibana这种架构的简写，elk日志分析平台是一种开源日志分析平台，通过logstash收集日志，elasticsearch分析日志，然后在kibana(web界面)中展示。
69.上述对于云计算操作日志的收集，不利于云计算产品简洁的接入操作日志，因此，本技术提供一种日志处理方法，应用于日志收集系统，以api的方式对接各个云计算产品，
无需直接继承消息队列或者部署采集工具来进行操作日志采集。进一步的，本技术的日志收集系统在进行日志收集时，对于属于同一系统操作的至少两个异步操作，再将其推送至消息队列时，仅使其中一条异步操作的日志信息中包含属性信息。在该至少两个异步操作的日志信息被消费时，通过查找到的至少两个异步操作的日志信息中包含属性信息的日志信息，对不包含属性信息的日志信息进行数据填充，以得到完整的日志信息。通过本技术的方法，减少了将不必要的日志数据重复发送至消息队列的情况，从而有利于减缓日志数据的存储压力。
70.图1为本技术实施例提供的一种日志处理方法的应用场景示意图，如图1所示，本技术实施例的应用场景包括操作日志推送方和日志收集系统，日志收集系统提供日志收集接口，采用api接口方式进行日志收集。具体的，操作日志推送方直接调用日志收集系统的api接口进行推送，日志收集系统接收来自操作日志推送方推送的操作日志，并对操作日志的日志数据进行存储。
71.如图1所示，操作日志推送方可以为任一云主机、云硬盘、云桌面等会产生操作日志的云计算产品。在本技术中，日志收集系统负责接收这些操作日志推送方的操作日志，并按照本技术的日志处理方法对操作日志进行处理。下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
72.图2为本技术实施例提供的一种日志处理方法的流程示意图，如图2所示，本技术实施例的方法包括：
73.s201，接收日志信息，并将日志信息发送至消息队列。
74.其中，消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识。
75.在本实施例中，消息队列具体为kafka消息队列，用于接收操作日志推送方推送的操作日志，并供日志消费方消费。本实施例中，日志收集系统提供日志收集接口，用于收集操作日志推送方各个云计算模块的日志信息。
76.在本实施例中，当同一个系统操作先后产生了至少两个日志信息时，为至少两个日志信息设置异步标识，以指示该至少两个日志信息为同一系统操作产生的异步操作。示例性的，对于云主机来说，用户在控制台点击购买云主机后，会经过订单模块、实例系统，并不会立即创建成功，此时会生成一条创建云主机的操作日志，待云主机实际创建成功后，再生成一条操作日志，这两条操作日志即为购买云主机这一系统操作产生的两个异步操作。
77.在本实施例中，每个操作日志的日志信息对应一个主标识、一个子标识，若该操作日志为同一系统操作的异步操作，则该操作日志的日志信息还包括该操作日志对应的异步标识。其中，主标识唯一对应一个用户操作，用户操作对应至少一个系统操作，每个系统操作对应至少一个日志信息。每个日志信息唯一对应一个子标识，属于同一用户操作的日志信息对应的主标识相同。若日志信息为系统操作的一个异步操作产生的，则日志信息还对应一个异步标识。
78.示例性的，若一个日志信息的主标识为1，子标识为11，不具备异步标识；另一个日志信息的主标识为1，子标识为12，具备异步标识，且异步标识为1；另一个日志信息的主标
识为1，子标识为13，具备异步标识，且异步标识为1。则说明第一个日志信息、第二个日志信息和第三个日志信息均对应同一个用户操作，且是不同操作产生的三条日志信息。其中，第二个日志信息和第三条日志信息对应同一系统操作的不同异步操作。
79.s202，从消息队列获取待消费的目标日志信息，并查找与目标日志信息的异步标识相同的关联日志信息。
80.在本实施例中，日志消费方在需求消费消息队列中的日志信息时，日志收集系统从消息队列中获取待消费的目标日志信息。进一步的，若目标日志信息对应一个系统操作的异步操作，则日志收集系统会首先查找与目标日志信息的异步标识相同的关联日志信息。
81.可以理解的是，日志收集系统首先查找具备异步标识的日志信息，其次，在具备异步标识的日志信息中查找与待消费的目标日志信息的异步标识相同的日志信息，并将该日志信息作为关联日志信息。
82.s203，根据关联日志信息，对目标日志信息进行填充操作，并存储填充后的目标日志信息。
83.在本实施例中，日志收集系统确定目标日志信息存在关联日志信息，且确定关联日志信息后，根据关联日志信息对目标日志信息进行填充操作。
84.可以理解的是，对于存在异步标识的日志信息，日志收集系统在将对应同一异步标识的日志信息发送至消息队列中时，只在发送其中一条日志信息时，使日志信息包含系统操作的属性信息。具体的，属性信息包括操作来源、操作者、操作时间等。
85.基于此，关联日志信息即为对应同一异步标识的日志信息中，包含属性信息的日志信息。日志收集系统在获取待消费的目标日志信息时，通过关联日志信息包含的属性信息对目标日志信息进行填充操作，使目标日志信息包含属性信息，并存储包含属性信息的目标日志信息。
86.可以理解的是，本实施例中存在目标日志信息即为关联日志信息的情况，因此，日志收集系统在查找关联日志信息前，首先确定目标日志信息是否包含属性信息。
87.本实施例提供的方法，对于至少两个对应同一异步标识的日志信息，日志收集系统在将接收到的该日志信息发送至消息队列时，可以只使其中一条日志信息作为关联日志信息，使其包含对应系统操作的属性信息。基于此，在对该日志信息中的目标日志信息进行存储时，首先从消息队列中获取目标日志信息，并查找与目标日志信息的异步标识相同的关联日志信息，即包含属性信息、且与目标日志信息对应同一异步标识的日志信息。最后根据该关联日志信息对目标日志信息进行填充操作，并存储填充后的目标日志信息。
88.通过本实施例的方法，日志收集系统在收到的日志信息发送至消息队列时，对于对应同一异步标识的至少两条日志信息，可以仅使其中一条日志信息包含对应系统操作的属性信息，从而减缓了消息队列的数据存储压力。在从消息队列中获取待消费的目标日志信息时，日志收集系统通过查找其对应的关联日志信息，根据关联日志信息来对目标日志信息进行填充操作，从而实现减缓消息队列数据存储压力的效果。
89.图3为本技术实施例提供的一种将日志信息发送至消息队列的方法流程框图，本实施例在前述实施例的基础上，对本技术的方法进行进一步详细说明。具体的，本实施例着重对日志收集系统在接收到日志信息，将日志信息发送至消息队列的过程进行详细说明。
如图3所示，本实施例的方法包括：
90.s301，获取日志信息，根据系统操作确定日志信息的异步信息。
91.其中，异步信息用于指示日志信息是否存在异步标识和顺序标识。
92.在本实施例中，日志收集系统通过判断日志信息对应的操作日志是否是同一系统操作对应的其中一个异步操作产生的，来确定是否为日志信息设置异步标识。对于对应异步操作的日志信息，进一步为其设置顺序标识，以标识该日志信息是同一系统操作对应的第几步异步操作产生的日志信息。
93.在本实施例中，以q表示异步标识，以t表示顺序标识。具体的，q＝q，t＝t，q、t均为大于等于0的整数，在至少两个日志信息不是同一系统操作的不同异步操作产生的时，将q、t设置为0。在至少两个日志信息是同一个系统操作的不同异步操作产生的时，将q设置为非零的整数，以标识是哪一个系统操作的不同异步操作产生的日志信息。按照日志信息对应的异步操作是同一系统操作的第几步异步操作，来设置t的值。
94.基于此，若至少两个日志信息的q值不为零，且取值相等，则说明该至少两个日志信息对应同一系统操作的不同异步操作，此时，通过t的取值，可以获知至少两个日志信息对应的异步操作的执行顺序。
95.s302，根据异步信息判断日志信息是否存在异步标识；若存在，则执行s303，否则，执行s307。
96.在本实施例中，日志收集系统通过查看q的取值是否为零，来确定日志信息是否存在异步标识。
97.s303，根据顺序标识，判断日志信息是否属于系统操作的第一个日志信息；若是，则执行s304，否则，执行s305。
98.可以理解的是，若日志信息存在异步标识，则说明其一定存在顺序标识，用来表征其属于系统操作的第几个日志信息。具体的，本实施例中，日志收集系统通过查看t的取值，来确定日志信息是系统操作的第几个日志信息。t为1时，说明相应的日志信息为第一个日志信息，若t不为1，则说明相应的日志信息不是第一个日志信息。
99.s304，校验日志信息是否包含系统操作的属性信息，并判断日志信息是否属于预设操作事件对应的日志信息，若是，则执行s306，否则，返回错误。
100.在本实施例中，预设操作事件为与操作日志推送方约定的日志动作。
101.s305，校验日志信息是否具备异步标识，若是，则执行s306，否则，返回错误。
102.s306，根据用户操作的主标识设置日志信息的子标识，并根据异步标识确定第一目标分区，将日志信息发送至消息队列的第一目标分区。
103.其中，每一个用户操作对应至少一个系统操作，每一个系统操作对应至少一个日志信息；同一用户操作对应的至少一个日志信息的主标识相同、子标识不同；第一目标分区用于存储异步标识相同的日志信息。
104.在本实施例中，以n表示主标识，以m表示子标识，n＝n，m＝m，n、m均为大于0的正整数，n取值不同的日志信息对应不同的用户操作，m取值不同的对应不同日志信息对应的操作。若至少两个日志信息的n取值一致，则说明该至少两个日志信息对应同一个用户操作。
105.日志收集系统获取到日志信息后，首先根据日志信息的所属用户操作设置日志信息的主标识，使同一用户操作对应的至少一个日志信息的主标识相同。其次，根据日志信息
对应用户操作的第几个操作日志，来设置日志信息的子标识。
106.在本实施例中，对于顺序标识指示其不是第一条日志信息的日志信息，日志收集系统只需校验该日志信息是否包含必须传送的异步标识即可，若包含，则会对其进行传送，不会校验其是否包含属性信息。若不包含异步标识，则返回错误。
107.在本实施例中，将异步标识作为第一目标分区的区域名称，以便接收异步标识相同的各个日志信息。
108.s307，根据用户操作的主标识设置日志信息的子标识，并根据预设算法将日志信息发送至消息队列的第二目标分区。
109.在本实施例中，日志收集系统在接收到日志信息时，首先根据其所属的系统操作，设置日志信息对应的异步信息。具体的，若日志信息属于同一系统操作的异步操作，则设置其异步信息指示其包含异步标识和顺序标识，并根据系统操作设置异步标识，根据该异步操作的执行顺序，来确定顺序标识。
110.其次，在将日志信息传送值消息队列时，首先根据日志信息的顺序标识，判断日志信息是否属于同一系统操作的第一个异步操作对应的第一个日志信息，若是，则校验该日志信息是否包含属性信息，且是否属于预设操作事件对应的日志信息。若日志信息不包含属性信息，或者，不属于预设操作事件对应的日志信息，则返回错误。若日志信息包含属性信息，且属于预设操作事件对应的日志信息，则进一步根据日志信息的所属用户操作设置主标识和子标识。
111.最后，日志收集系统按照日志信息的异步标识，将日志信息发送至消息队列的第一目标分区中。
112.若日志信息不是同一系统操作的异步操作产生的，不存在异步标识，则根据预设算法将日志信息发送至消息队列的第二目标分区中。
113.通过本实施例的方法，日志收集系统对于接收到的存在异步标识的日志信息，只在其是系统操作的第一个日志信息时，才校验并传送属性信息，对于不是第一个日志信息的日志信息，不要求传送属性信息，从而有效降低了数据存储压力。同时，对于不是第一个日志信息的日志信息，要求其必须传送相应的异步标识，为后续消息队列的消费提供了有效支持。
114.图4为本技术实施例提供的一种从消息队列中获取日志信息的方法流程框图，本实施例在前述实施例的基础上，对本技术的方法进行进一步详细说明。具体的，本实施例着重对从消息队列中获取日志信息的过程进行详细说明。如图4所示，本实施例的方法包括：
115.s401，从消息队列中获取待消费的目标日志信息。
116.s402，判断目标日志信息是否存在异步标识；若是，则执行s403，否则，执行s405。
117.具体的，在本实施例中，日志收集系统通过目标日志信息的所属目标分区的区域名称，来判断目标日志信息是否存在异步标识。
118.s403，判断目标日志信息是否不是系统操作产生的第一个日志信息；若是，则执行s404，否则，执行s405。
119.在本实施例中，日志收集系统根据目标日志信息的顺序标识，来判断目标日志信息是否是系统操作产生的第一个日志信息。具体的，日志收集系统通过查看t的取值是否为1，来确定目标日志信息是否是系统操作产生的第一个日志信息。
120.s404，根据异步标识，查找相应系统操作产生的第一个日志信息，作为关联日志信息；根据第一个日志信息包含的属性信息，对目标日志信息进行填充操作，并存储填充后的目标日志信息。
121.其中，属性信息包括操作来源、操作者、操作时间。
122.s405，直接存储目标日志信息。
123.在本实施例中，日志收集系统首先查找异步标识q取值一样的日志信息，其次，在这些日志信息中，查找顺序标识t取值为1的日志信息，即相应系统操作产生的第一个日志信息，作为关联日志信息。由前述实施例可知，日志收集系统在将该日志信息发送至消息队列时，要求该日志信息必须包含属性信息。因此，对于目标日志信息，日志收集系统可以根据第一个日志信息包含的属性信息，进行填充操作。
124.可选的，在本实施例中，对于具备异步标识的目标日志信息，按照异步标识将具备相同异步标识的目标日志信息存入相同的异步表中。对于不具备异步标识的目标日志信息，将其存入日志表中，可以理解的是，异步表为日志表的一部分，用于存储存在异步标识的目标日志信息。
125.可选的，在将目标日志信息存入日志表后，通过手动ack告知消息队列，以使消息队列将相应的目标日志信息删除。
126.本实施例提供的方法，对于每个待消费的目标日志信息，日志收集系统根据其所属目标分区，来判断其是否存在异步标识，对于存在异步标识的目标日志信息，进一步根据其顺序标识，来确定是否需要对其进行填充，以使日志消费方获取到完整的日志数据。
127.本技术还提供一种日志处理装置，图5为本技术实施例提供的一种日志处理装置，如图5所示，本实施例的装置包括接收模块51、查找模块52和填充模块53。
128.其中，接收模块51，用于接收日志信息，并将日志信息发送到消息队列；其中，消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；
129.查找模块52，用于从消息队列获取待消费的目标日志信息，并查找与目标日志信息的异步标识相同的关联日志信息；
130.填充模块53，用于根据关联日志信息，对目标日志信息进行填充操作，并存储填充后的目标日志信息。
131.本技术实施例的另一种可能的实现方式，查找模块52具体用于：
132.从消息队列获取待消费的目标日志信息，判断目标日志信息是否存在异步标识；具有异步标识的日志信息还具有顺序标识，用于表示日志信息在同一系统操作产生的至少两个日志信息中的顺序；
133.若目标日志信息存在异步标识，则根据目标日志信息的顺序标识，确定目标日志信息是否为系统操作产生的第一个日志信息；
134.若目标日志信息不是系统操作产生的第一个日志信息，则根据异步标识，查找目标日志信息的关联日志信息。
135.本技术实施例的另一种可能的实现方式，查找模块52具体用于：
136.若目标日志信息不是系统操作产生的第一个日志信息，根据异步标识，查找系统操作产生的第一个日志信息，作为关联日志信息；
137.根据关联日志信息，对目标日志信息进行填充操作，包括：根据第一个日志信息包含的属性信息，对目标日志信息进行填充操作；其中，属性信息包括：操作来源、操作者、操作时间。
138.本技术实施例的另一种可能的实现方式，接收模块51具体用于：
139.获取日志信息，根据日志信息的顺序标识，判断日志信息是否属于系统操作的第一个日志信息；
140.若属于第一个日志信息，则校验日志信息是否包含系统操作的属性信息；若不属于第一个日志信息，则校验日志信息是否具有异步标识；
141.在校验成功后，根据用户操作的主标识设置日志信息的子标识，并将日志信息发送到消息队列，每一个用户操作对应至少一个系统操作，每一个系统操作对应至少一个日志信息；同一用户操作对应的至少一个日志信息的主标识相同、子标识不同。
142.本技术实施例的另一种可能的实现方式，接收模块51具体用于：
143.获取各个云计算模块通过调用日志收集接口推送的日志信息，并判断日志信息是否属于预设操作事件对应的日志信息；日志收集系统提供日志收集接口，用于收集云平台中各个云计算模块的日志信息；
144.若属于，则将日志信息发送到消息队列。
145.本技术实施例的另一种可能的实现方式，接收模块51还用于：
146.根据系统操作确定日志信息的异步信息，异步信息用于指示日志信息是否存在异步标识和顺序标识；
147.判断日志信息是否存在异步标识，并根据判断结果将日志信息发送至消息队列。
148.本技术实施例的另一种可能的实现方式，接收模块51具体用于：
149.若日志信息存在异步标识，则根据异步标识确定目标分区，并将日志信息发送至消息队列的第一目标分区；第一目标分区用于存储异步标识相同的日志信息；
150.若日志信息不存在异步标识，则采用预设算法将日志信息发送至消息队列。
151.图6为本技术实施例提供的一种电子设备的结构示意图，如图6所示，图6所示的电子设备包括：处理器61和存储器62。其中，处理器61和存储器62相连，如通过总线63相连。可选地，电子设备还可以包括收发器64。需要说明的是，实际应用中收发器64不限于一个，该电子设备的结构并不构成对本技术实施例的限定。
152.处理器61可以是中央处理器(central processing unit，cpu)，通用处理器，数据信号处理器(digital signal processor，dsp)，专用集成电路(application specific integrated circuit，asic)，现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器61也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
153.总线63可包括一通路，在上述组件之间传送信息。总线63可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线63可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线63或一种类型的总线63。
154.存储器62可以是只读存储器(read only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read only memory，eeprom)、只读光盘(compact disc read only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
155.存储器62用于存储执行本技术方案的应用程序代码，并由处理器61来控制执行。处理器61用于执行存储器62中存储的应用程序代码，以实现前述方法实施例所示的内容。
156.本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁盘或者光盘等各种可以存储程序代码的介质，具体地，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述各实施例中的方法。
157.本技术实施例中还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
158.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
159.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种日志处理方法，其特征在于，应用于云平台的日志收集系统；所述方法包括：接收日志信息，并将所述日志信息发送到消息队列；其中，所述消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息；根据所述关联日志信息，对所述目标日志信息进行填充操作，并存储填充后的目标日志信息。2.根据权利要求1所述的方法，其特征在于，具有异步标识的日志信息还具有顺序标识，用于表示所述日志信息在同一所述系统操作产生的至少两个日志信息中的顺序；所述从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息，包括：从所述消息队列获取待消费的目标日志信息，判断所述目标日志信息是否存在异步标识；若所述目标日志信息存在异步标识，则根据所述目标日志信息的顺序标识，确定所述目标日志信息是否为所述系统操作产生的第一个日志信息；若所述目标日志信息不是所述系统操作产生的第一个日志信息，则根据所述异步标识，查找所述目标日志信息的关联日志信息。3.根据权利要求2所述的方法，其特征在于，所述若所述目标日志信息不是所述系统操作产生的第一个日志信息，则根据所述异步标识，查找所述目标日志信息的关联日志信息，包括：根据所述异步标识，查找所述系统操作产生的第一个日志信息，作为所述关联日志信息；所述根据所述关联日志信息，对所述目标日志信息进行填充操作，包括：根据所述第一个日志信息包含的属性信息，对所述目标日志信息进行填充操作；其中，所述属性信息包括：操作来源、操作者、操作时间。4.根据权利要求3所述的方法，其特征在于，所述接收日志信息，并将所述日志信息发送到消息队列，包括：获取所述日志信息，根据所述日志信息的顺序标识，判断所述日志信息是否属于所述系统操作的第一个日志信息；若属于所述第一个日志信息，则校验所述日志信息是否包含所述系统操作的属性信息；若不属于所述第一个日志信息，则校验所述日志信息是否具有所述异步标识；在校验成功后，根据用户操作的主标识设置所述日志信息的子标识，并将所述日志信息发送到消息队列，每一个用户操作对应至少一个系统操作，每一个系统操作对应至少一个日志信息；同一用户操作对应的至少一个日志信息的主标识相同、子标识不同。5.根据权利要求1-4任一项所述的方法，其特征在于，所述日志收集系统提供日志收集接口，用于收集云平台中各个云计算模块的日志信息；所述接收日志信息，并将所述日志信息发送到消息队列，包括：获取各个云计算模块通过调用所述日志收集接口推送的日志信息，并判断所述日志信息是否属于预设操作事件对应的日志信息；
若属于，则将所述日志信息发送到消息队列。6.根据权利要求2-4任一项所述的方法，其特征在于，所述将所述日志信息发送至消息队列之前，所述方法还包括：根据所述系统操作确定所述日志信息的异步信息，所述异步信息用于指示所述日志信息是否存在所述异步标识和所述顺序标识；判断所述日志信息是否存在所述异步标识，并根据判断结果将所述日志信息发送至所述消息队列。7.根据权利要求6所述的方法，其特征在于，所述根据判断结果将所述日志信息发送至所述消息队列，包括：若所述日志信息存在所述异步标识，则根据所述异步标识确定目标分区，并将所述日志信息发送至所述消息队列的第一目标分区；所述第一目标分区用于存储异步标识相同的日志信息；若所述日志信息不存在所述异步标识，则采用预设算法将所述日志信息发送至所述消息队列。8.一种日志处理装置，其特征在于，所述装置包括：接收模块，用于接收日志信息，并将所述日志信息发送到消息队列；其中，所述消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；查找模块，用于从所述消息队列获取待消费的目标日志信息，并查找与所述目标日志信息的异步标识相同的关联日志信息；填充模块，用于根据所述关联日志信息，对所述目标日志信息进行填充操作，并存储填充后的目标日志信息。9.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器用于存储计算机执行指令；所述处理器用于调用所述计算机执行指令，以使得所述电子设备执行权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种日志处理方法、装置、电子设备及介质。该方法包括：接收日志信息，并将日志信息发送到消息队列；其中，消息队列汇集有多个日志信息用于进行消费；同一系统操作先后产生的至少两个日志信息对应同一异步标识；从消息队列获取待消费的目标日志信息，并查找与目标日志信息的异步标识相同的关联日志信息；根据关联日志信息，对目标日志信息进行填充操作，并存储填充后的目标日志信息。本申请的方法，有效缓解了日志数据的存储压力。有效缓解了日志数据的存储压力。有效缓解了日志数据的存储压力。


技术研发人员：樊媛媛 温源 姜辉 乔新亚 张青 陈腾腾 张兵兵 张凯 吴文杰
受保护的技术使用者：联通数字科技有限公司 联通云数据有限公司
技术研发日：2023.07.27
技术公布日：2023/10/11