一种日志快速分析方法、设备、存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种日志快速分析方法、设备、存储介质。


背景技术：

2.一台工控机运行产生近百m纯文本日志，人工阅读需要若干天。除了节假日，工厂内部的工控机基本24小时运行。所有客户加起来，几千台电脑，每天产生天量的数据。
3.且不同的软件存在不同格式的日志，包括且不限于：和plc通讯的用时、整个流程用时、接受的消息等。但绝大部分日志的数据，就变成电子垃圾进入回收站。工控机日志的处理存在于以下问题：日志数据是手动收集、汇总，无法确认数据是否遗失、损坏；收集过程中，日志数据没有初步处理，100m的数据，往往有效数据不超过1k，影响收集和传输效率；由于日志数据阅读量太大，只能等问题产生，再从众多日志中寻找相关的日志，无法进行预警和预防，给工控机问题的处理、日常运行维护造成了不便。


技术实现要素：

4.为了解决上述的问题，本技术的实施例中提供了一种日志快速分析方法、设备、存储介质，快速发现运行日志中存在的问题，便于工控机问题的处理、日常运维。
5.本技术提供一种日志快速分析方法，本方法包括以下步骤：一种日志快速分析方法，应用于工控机，本方法包括以下步骤：步骤s1、获取运行过程中产生的运行日志，对所述运行日志进行预处理；步骤s2、判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志；步骤s3、显示解析后运行日志的解析结果。
6.可选地，结合上述任一方面，在本方面的另一种实现方式中，还包括：步骤s4、获取所需运行日志的特征信息，在所述解析结果中匹配符合特征信息的运行日志。
7.可选地，结合上述任一方面，在本方面的另一种实现方式中，所述步骤s1中对所述运行日志进行预处理，具体为，步骤s11、统一处理所有运行日志，判断所述运行日志中是否为合法日志；若所述运行日志为合法日志，则执行步骤s2；若所述运行日志中为非法日志，则记录为0。
8.可选地，结合上述任一方面，在本方面的另一种实现方式中，所述步骤s2中，判断所述运行日志的类型，按照预设规则解析所述运行日志，具体为，根据所述运行日志中的内容得到所述运行日志的类型；所述运行日志的类型包括复杂类型与简单类型，所述复杂类型的运行日志通过正则表达式解析；所述简单类型的运行日志通过程序代码解析。
9.可选地，结合上述任一方面，在本方面的另一种实现方式中，所述按照预设规则解
析所述运行日志，还包括：获取所述运行日志的数据行，判断该数据行是否为第一条记录，若是，则判断所述第一条记录是否包括结束特征串，当包括结束特征串时，则加入非法日志列表；当该数据行不是第一条记录时，则判断该数据行是否包括开始特征串，若包括开始特征串，则将统计用时并添加至用时列表中。
10.可选地，结合上述任一方面，在本方面的另一种实现方式中，所述用时列表包括平均用时、中位数用时、连续最大超过阈值用时，所述用时列表精确至毫秒或者微秒。
11.可选地，结合上述任一方面，在本方面的另一种实现方式中，还包括以下步骤：步骤s5、将所述解析结果上传至日志服务端，通过日志服务端对解析结果进行分析。
12.可选地，结合上述任一方面，在本方面的另一种实现方式中，所述步骤s11中，根据所述运行日志中存在线程id与运行时间判断所述运行日志是否为合法日志。
13.本技术的另一方面，提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述的一种日志快速分析方法。
14.本技术的另一方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上任一所述的一种日志快速分析方法。
15.如上所述，本技术提供了一种日志快速分析方法、设备、存储介质，获取运行过程中产生的运行日志，对所述运行日志进行预处理，判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志，显示解析后运行日志的解析结果，通过解析结果可快速发现运行日志中存在的问题，便于工作人员进行工控机数据正确性验证，提前发现工控机运行过程的问题及日常运维。
16.提供上述发明内容以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步详细描述。上述发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。本技术所要求保护的主题不限于解决背景技术中指出的任何或所有缺点的实施方式。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
18.图1为本技术所提供的一种日志快速分析方法流程示意图；图2为本技术所提供的一种日志快速分析方法中解析匹配接口示意图；图3为本技术所提供的一种日志快速分析方法中解析运行日志流程示意图；图4为本技术所提供的一种日志快速分析方法中显示界面示意图。
具体实施方式
19.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
20.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
21.应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在
……
时"或"当
……
时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
22.应该理解的是，虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
23.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
24.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
25.请参阅图1，本技术提供了一种日志快速分析方法、设备、存储介质，快速发现运行日志中存在的问题，便于工控机问题的处理、日常运维。
26.具体的，本方法包括以下步骤：步骤s1、获取运行过程中产生的运行日志，对所述运行日志进行预处理。在获取运行日志后，首先对所有运行日志进行预处理，具体为，步骤s11、统一处理所有运行日志，判断所述运行日志中是否为合法日志；若所述
运行日志为合法日志，则执行步骤s2；若所述运行日志中为非法日志，则记录为0。在本技术中，根据所述运行日志中存在线程id与运行时间判断所述运行日志是否为合法日志。当存在运行日志中线程id和运行时间时，则认为该运行日志为合法日志，当不存在线程id时，则认定为非法日志，将其记录为0。
27.步骤s2、判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志。按行读取所述运行日志的内容，根据内容判断运行日志的类型，以便于根据不同运行日志进行解析，提高解析的效率。
28.获取到运行日志后，通过imatch匹配结构匹配对应的预设规则，通过imatchfactory匹配工厂接口，且由匹配工厂根据需要创建匹配对象。在通过cmathallthread匹配入口类，匹配处理线程，以同时处理多线程，根据运行日志中线程id，将经过预处理后的运行日志分配至不同的匹配对象中。通过匹配入口类间接调用所有类。
29.所述步骤s2中，判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志，具体为，根据所述运行日志中的内容得到所述运行日志的类型；所述运行日志的类型包括复杂类型与简单类型，所述复杂类型的运行日志通过正则表达式匹配解析；正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。所述简单类型的运行日志通过程序代码匹配解析。主要是通过运行日志中的特征确定运行日志的类型，当存在单特征时，则为简单类型，而存在开始特征与结束特征等，则为复杂类型。更多的，复杂类型的运行日志可通过数学类进行匹配解析。数学类封装了一些系统没提供的数学运算，比如：最大子串和，以满足运行日志的解析需求。
30.在运行日志中，cmatchpreendnotsame：开始特征和结束特征不同的匹配对象。比如某次匹配，开始特征是“chikcamera::datacallback:begin”，结束特征是“chikcamera::datacallback:end”。
31.cmatchpreendsame：单特征匹配。特征为“zf11108”，第二条包括zf11108的日志和第一条包括zf11108日志的用时差，第三条包括zf11108的日志和第二条包括zf11108日志的用时差。
32.解析过程如图2、3所示，所述按照预设规则解析所述运行日志，还包括：获取所述运行日志的数据行，判断该数据行是否为第一条记录，若是，则判断所述第一条记录是否包括结束特征串，当包括结束特征串时，则加入非法日志列表；当该数据行不是第一条记录时，则判断该数据行是否包括开始特征串，若包括开始特征串，则将统计用时并添加至用时列表中。所述用时列表包括平均用时、中位数用时、连续最大超过阈值用时，所述用时列表精确至毫秒或者微秒。
33.步骤s3、显示解析后运行日志的解析结果。如图4所示，通过解析后，可以直接显示运行日志的内容，以便于工作人员快速查看运行日志的有效内容，无需读取运行日志中的格式文件，提高运维的效率。
34.步骤s4、获取所需运行日志的特征信息，在所述解析结果中匹配符合特征信息的运行日志。工作人员在需要查询某个时间段或者某台工控机的运行日志时，则可以输入查询运行日志所需的特征信息，如具体的某个时间段、工控机的编号、开始特征或结束特征
等。在获取到上述特征信息后，直接在所述解析结果中匹配符合特征信息的运行日志。在解析结果中匹配，也就是从已经快速分析后的运行日志中匹配符合条件的运行日志，无需对所有日志进行分析，可精准快速确定所需的日志，便于工作人员查找。
35.步骤s5、将所述解析结果上传至日志服务端，通过日志服务端对解析结果进行分析。当工控机或者网络满足传输要求时，将所述运行日志的解析结果上传至日志服务端中。工作人员可通过日志服务端中上传多个运行日志的解析结果，进行工控机的运行分析或者多个工控机的大数据联合分析，便于及时、快速的了解工控机的运行情况，进行预警与预防。
36.本技术提供了一种日志快速分析方法、设备、存储介质，获取运行过程中产生的运行日志，对所述运行日志进行预处理，判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志，显示解析后运行日志的解析结果，通过解析结果可快速发现运行日志中存在的问题，便于工作人员进行工控机数据正确性验证，提前发现工控机运行过程的问题及日常运维。
37.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
38.在本技术中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本技术技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。
39.在本技术中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
40.本技术技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本技术记载的范围。
41.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是用电设备或者网络设备等）执行本技术每个实施例的方法。
42.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种日志快速分析方法，其特征在于，应用于工控机，本方法包括以下步骤：步骤s1、获取运行过程中产生的运行日志，对所述运行日志进行预处理；步骤s2、判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志；步骤s3、显示解析后运行日志的解析结果。2.如权利要求1所述的一种日志快速分析方法，其特征在于：还包括：步骤s4、获取所需运行日志的特征信息，在所述解析结果中匹配符合特征信息的运行日志。3.如权利要求2所述的一种日志快速分析方法，其特征在于：所述步骤s1中对所述运行日志进行预处理，具体为，步骤s11、统一处理所有运行日志，判断所述运行日志中是否为合法日志；若所述运行日志为合法日志，则执行步骤s2；若所述运行日志中为非法日志，则记录为0。4.如权利要求3所述的一种日志快速分析方法，其特征在于：所述步骤s2中，判断所述运行日志的类型，按照预设规则解析所述运行日志，具体为，根据所述运行日志中的内容得到所述运行日志的类型；所述运行日志的类型包括复杂类型与简单类型，所述复杂类型的运行日志通过正则表达式解析；所述简单类型的运行日志通过程序代码解析。5.如权利要求4所述的一种日志快速分析方法，其特征在于：所述按照预设规则解析所述运行日志，还包括：获取所述运行日志的数据行，判断该数据行是否为第一条记录，若是，则判断所述第一条记录是否包括结束特征串，当包括结束特征串时，则加入非法日志列表；当该数据行不是第一条记录时，则判断该数据行是否包括开始特征串，若包括开始特征串，则将统计用时并添加至用时列表中。6.如权利要求5所述的一种日志快速分析方法，其特征在于：所述用时列表包括平均用时、中位数用时、连续最大超过阈值用时，所述用时列表精确至毫秒或者微秒。7.如权利要求2所述的一种日志快速分析方法，其特征在于：还包括以下步骤：步骤s5、将所述解析结果上传至日志服务端，通过日志服务端对解析结果进行分析。8.如权利要求3所述的一种日志快速分析方法，其特征在于：所述步骤s11中，根据所述运行日志中存在线程id与运行时间判断所述运行日志是否为合法日志。9.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1~8任一所述的一种日志快速分析方法。10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1~8任一所述的一种日志快速分析方法。

技术总结
本申请提供一种日志快速分析方法、设备、存储介质，一种日志快速分析方法，应用于工控机，本方法包括以下步骤：步骤S1、获取运行过程中产生的运行日志，对所述运行日志进行预处理；步骤S2、判断所述运行日志的类型，按照运行日志的类型对应的预设规则解析所述运行日志；步骤S3、显示解析后运行日志的解析结果。本申请通过解析结果可快速发现运行日志中存在的问题，便于工作人员进行工控机数据正确性验证，提前发现工控机运行过程的问题及日常运维。维。维。


技术研发人员：赵大兵 何志丹
受保护的技术使用者：超音速人工智能科技股份有限公司
技术研发日：2023.03.28
技术公布日：2023/8/9