数据采集传输方法及系统与流程

1.本发明涉及数据采集技术领域，具体地涉及一种数据采集传输方法及一种数据采集传输系统。


背景技术：

2.电厂安全区划分为控制区(安全生产ⅰ区)、非控制区(安全ⅱ区)和管理信息大区。其中，dcs系统主要分布于控制区，即安全生产ⅰ区，dcs系统内的生产控制指令数据等内容均在安全生产ⅰ区，是相对独立的局域网环境，与安全ⅱ区通过单向隔离进行数据交互，不与互联网直接相连，安全生产ⅰ区的数据需单独向外发送，外送至厂级分析平台，才能实现厂级分析平台建设。安全ⅱ区主要是sis系统，负责数据搜集处理，实现生产实时信息与管理信息的共享；而管理信息大区结合了生产数据及企业办公信息等数据。在智能电厂的建设过程中，传统日志采集及流量采集，需要使用两套独立的采集装置，完成数据收集工作，并汇入对应的分析平台进行分析处理，再经由分析平台向安全生产ⅰ区外的厂级分析平台发送数据，完成智能电厂态势感知平台的总体建设工作，在该方案中，增加了dcs系统网络外组网结构负担，同时给安全生产ⅰ区带来了较多网络出入口，引进网络安全风险点，不利于安全生产ⅰ区的网络安全管理。
3.图1是本技术提供的一种传统日志采集及流量采集网络结构图，如图1所示，传统日志采集及流量采集装置互相独立，分析平台相对独立，且向安全生产ⅰ区外厂级分析平台汇总时，需要独立出口，不仅造成工程师维护及威胁响应不及时，而且增加了相对独立的安全生产ⅰ区对外连接风险点。


技术实现要素：

4.本发明实施方式的目的是提供一种数据采集传输方法及系统，以至少解决上述的现有技术增加了dcs系统网络外组网结构负担，同时给安全生产ⅰ区带来了较多网络出入口，引进网络安全风险点，不利于安全生产ⅰ区的网络安全管理的问题。
5.为了实现上述目的，本发明第一方面提供一种数据采集传输方法，包括：
6.建立智能采集器与dcs系统的通信连接；
7.通过智能采集器采集dcs系统的日志数据和全流量数据；
8.汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；
9.通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果。
10.可选的，上述dcs系统包括交换机；
11.上述通过智能采集器采集dcs系统的全流量数据，包括：
12.通过智能采集器接收交换机镜像口传输的全流量数据。
13.可选的，上述通过智能采集器采集dcs系统的日志数据，包括：
14.智能采集器以syslog形式接收部署于dcs系统的设备的设备代理采集的日志数
据。
15.可选的，上述汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台，包括：
16.对全流量数据进行压缩处理后，发送至厂级分析平台；
17.以syslog形式将日志数据发送至厂级分析平台。
18.可选的，上述通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果，包括：
19.挖掘日志数据和全流量数据的网络特征；
20.基于网络特征和预设白名单规则，结合预设威胁库进行关联分析，以判断是否存在异常数据流量；
21.若存在异常数据流量，则根据异常数据流量，生成报警信息；
22.根据报警信息，识别发出异常数据流量的资产；
23.基于发出异常数据流量的资产，进行溯源分析，得到第一分析结果，第一分析结果用于表征是否存在异常数据以及异常数据发生原因。
24.可选的，上述数据采集传输方法还包括：
25.通过厂级分析平台对日志数据进行可视化展示。
26.可选的，上述智能采集器通信连接有局域网内分析平台，该方法还包括：
27.智能采集器将日志数据和全流量数据发送至局域网内分析平台；
28.通过局域网内分析平台对日志数据和全流量数据进行分析，得到第二分析结果。
29.本发明第二方面提供一种数据采集传输系统，包括：
30.连接建立模块，用于建立智能采集器与dcs系统的通信连接；
31.数据采集模块，用于通过智能采集器采集dcs系统的日志数据和全流量数据；
32.数据传输模块，用于汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；
33.数据分析模块，用于通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果。
34.本发明第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得上述处理器被配置成执行上述的数据采集传输方法。
35.本发明第四方面提供一种电子设备，电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述的数据采集传输方法。
36.通过上述技术方案，一种数据采集传输方法及系统仅通过智能采集器进行dcs系统全流量数据采集及dcs系统设备的日志数据采集工作，从而减少了dcs系统网络外组网结构负担，也就减轻了dcs系统信息安全网络复杂程度，进而高度集成dcs系统网络内的威胁告警及设备状态信息。经由智能采集器向位于dcs系统所属局域网即安全生产ⅰ区之外的厂级分析平台进行数据外发，为构建安全生产ⅰ区网络安全环境提供精准的数据支撑，在完成智能化建设的同时，提高了工程师的工作响应效率、降低了维护成本，并且有效减少了安全生产ⅰ区的网络出入口，从而减少了安全生产ⅰ区的网络安全风险点，有利于安全生产ⅰ区的网络安全管理。
37.发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
38.附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
39.图1是本技术提供的一种传统日志采集及流量采集网络结构图；
40.图2是本发明一种实施方式提供的一种数据采集传输方法的流程图；
41.图3是本发明一种实施方式提供的智能采集器日志及流量采集网络结构图；
42.图4是本发明一种实施方式提供的一种数据采集传输系统的结构框图；
43.图5是本发明优选实施方式提供的一种电子设备结构示意图。
44.附图标记说明
45.10-电子设备，100-处理器，101-存储器，102-计算机程序。
具体实施方式
46.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
47.请参照图2和图3，图2是本发明一种实施方式提供的一种数据采集传输方法的流程图，图3是本发明一种实施方式提供的智能采集器日志及流量采集网络结构图。本发明实施方式提供一种数据采集传输方法，包括：
48.s110：建立智能采集器与dcs系统的通信连接；
49.具体的，将智能采集器接入dcs系统中，以实现智能采集器与dcs系统的通信连接建立。
50.s120：通过智能采集器采集dcs系统的日志数据和全流量数据；
51.s130：汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；
52.其中，dcs系统所属局域网为安全生产ⅰ区。
53.具体的，通过智能采集器接收全流量数据及日志数据，完成安全生产ⅰ区的信息数据汇聚，并转发至安全生产ⅰ区外厂级分析平台进行分析，为构建安全生产ⅰ区网络安全环境提供精准的数据支撑。有效避免了现有技术中由于不能实现全流量转发，仅能通过局域网内分析平台转发出分析结果，导致厂级分析平台数据不完整，仅能展示分析后的结果，无法实现网络威胁溯源的问题。
54.s140：通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果。
55.具体的，该方法仅通过智能采集器进行dcs系统全流量数据采集及dcs系统设备的日志数据采集工作，从而减少了dcs系统网络外组网结构负担，也就减轻了dcs系统信息安全网络复杂程度，进而高度集成dcs系统网络内的威胁告警及设备状态信息。经由智能采集器向位于dcs系统所属局域网即安全生产ⅰ区之外的厂级分析平台进行数据外发，为构建安全生产ⅰ区网络安全环境提供精准的数据支撑，在完成智能化建设的同时，提高了工程师的工作响应效率、降低了维护成本，并且有效减少了安全生产ⅰ区的网络出入口，从而减少了
安全生产ⅰ区的网络安全风险点，有利于安全生产ⅰ区的网络安全管理。
56.需要说明的是，上述厂级分析平台能够同时接收安全生产ⅰ区、安全ⅱ区和管理信息大区的数据。
57.可选的，上述dcs系统包括交换机；
58.上述通过智能采集器采集dcs系统的全流量数据，包括：
59.通过智能采集器接收交换机镜像口传输的全流量数据。从而完成dcs系统全流量数据采集工作。其中，图3中的镜像数据即交换机镜像口传输的全流量数据。
60.可选的，上述通过智能采集器采集dcs系统的日志数据，包括：
61.智能采集器以syslog形式接收部署于dcs系统的设备的设备代理采集的日志数据。
62.具体的，部署于dcs系统的设备都设置有设备代理(agent)，该agent可以是软件或者硬件实体，主要用于周期性采集对应设备的日志数据。该agent将采集的日志数据以syslog形式传输至智能采集器，从而实现通过智能采集器进行日志数据采集工作的目的。
63.示例性的，上述日志数据可以包括设备告警信息、设备资源使用情况。
64.可选的，上述汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台，包括：
65.对全流量数据进行压缩处理后，发送至厂级分析平台；
66.以syslog形式将日志数据发送至厂级分析平台。
67.具体的，智能采集器采集dcs系统网络内的全流量数据，经压缩处理后转发至厂级分析平台，由厂级分析平台对全流量数据进行解析，同时通过syslog形式将采集到的日志数据转发至厂级分析平台，由厂级分析平台进行设备日志分析、资源使用情况等内容展示。
68.可选的，上述通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果，包括：
69.挖掘日志数据和全流量数据的网络特征；
70.基于网络特征和预设白名单规则，结合预设威胁库进行关联分析，以判断是否存在异常数据流量；
71.若存在异常数据流量，则根据异常数据流量，生成报警信息；
72.根据报警信息，识别发出异常数据流量的资产；
73.基于发出异常数据流量的资产，进行溯源分析，得到第一分析结果，第一分析结果用于表征是否存在异常数据以及异常数据发生原因。
74.具体的，挖掘出日志数据和全流量数据的高细粒度的网络特征，手动配置预设白名单规则或基于挖掘出的网络特征，结合预设威胁库进行多维度关联分析，判别汇聚的日志数据和全流量数据是否存在风险特征，若出现异常数据流量，即产生异常数据报警，则生成报警信息，通过报警信息识别发出异常数据流量的资产，并进行溯源分析，进行取证，判断是否真实存在异常数据，以及具体异常，并加以处置。
75.例如，调查出发生异常的原因后，根据具体问题进行具体的处理，如果是机器坏了造成的，就更换机器，如果是人为，那就可能是处理人的原因。
76.在本实施例的一些实施方式中，可以利用深度学习算法处理日志数据和全流量数据，挖掘出高细粒度网络特征。
77.可选的，上述数据采集传输方法还包括：
78.通过厂级分析平台对日志数据进行可视化展示。
79.可选的，上述智能采集器通信连接有局域网内分析平台，该方法还包括：
80.智能采集器将日志数据和全流量数据发送至局域网内分析平台；
81.通过局域网内分析平台对日志数据和全流量数据进行分析，得到第二分析结果。
82.具体的，在dcs系统所属的局域网内设置局域网内分析平台，智能采集器将日志数据和全流量数据发送至局域网内分析平台进行分析，从而通过局域网内分析平台可单独显示dcs系统的数据分析结果。
83.图4是本发明一种实施方式提供的一种数据采集传输系统的结构框图，如图4所示，本发明实施方式提供一种数据采集传输系统，包括：
84.连接建立模块，用于建立智能采集器与dcs系统的通信连接；
85.数据采集模块，用于通过智能采集器采集dcs系统的日志数据和全流量数据；
86.数据传输模块，用于汇聚日志数据和全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；
87.数据分析模块，用于通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果。
88.具体的，该系统仅通过智能采集器进行dcs系统全流量数据采集及dcs系统设备的日志数据采集工作，从而减少了dcs系统网络外组网结构负担，也就减轻了dcs系统信息安全网络复杂程度，进而高度集成dcs系统网络内的威胁告警及设备状态信息。经由智能采集器向位于dcs系统所属局域网即安全生产ⅰ区之外的厂级分析平台进行数据外发，为构建安全生产ⅰ区网络安全环境提供精准的数据支撑，在完成智能化建设的同时，提高了工程师的工作响应效率、降低了维护成本，并且有效减少了安全生产ⅰ区的网络出入口，从而减少了安全生产ⅰ区的网络安全风险点，有利于安全生产ⅰ区的网络安全管理。
89.本发明实施方式提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的数据采集传输方法。
90.机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
91.本发明实施方式提供一种电子设备，电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的数据采集传输方法。
92.如图5所示是本发明一实施例提供的电子设备的示意图。如图5所示，该实施例的电子设备10包括：处理器100、存储器101以及存储在存储器101中并可在处理器100上运行
的计算机程序102。处理器100执行计算机程序102时实现上述方法实施例中的步骤。或者，处理器100执行计算机程序102时实现上述装置实施例中各模块/单元的功能。
93.示例性的，计算机程序102可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器101中，并由处理器100执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序102在终端设备10中的执行过程。例如，计算机程序102可以被分割成连接建立模块、数据采集模块、数据传输模块及数据分析模块。
94.电子设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图5仅仅是电子设备10的示例，并不构成对电子设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
95.处理器100可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
96.存储器101可以是电子设备10的内部存储单元，例如电子设备10的硬盘或内存。存储器101也可以是电子设备10的外部存储设备，例如电子设备10上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器101还可以既包括电子设备10的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及电子设备10所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
97.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
98.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
99.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
100.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
101.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
102.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
103.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种数据采集传输方法，其特征在于，包括：建立智能采集器与dcs系统的通信连接；通过所述智能采集器采集所述dcs系统的日志数据和全流量数据；汇聚所述日志数据和所述全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；通过所述厂级分析平台对所述日志数据和所述全流量数据进行分析，得到第一分析结果。2.根据权利要求1所述的数据采集传输方法，其特征在于，所述dcs系统包括交换机；所述通过所述智能采集器采集所述dcs系统的全流量数据，包括：通过所述智能采集器接收交换机镜像口传输的全流量数据。3.根据权利要求1所述的数据采集传输方法，其特征在于，所述通过所述智能采集器采集所述dcs系统的日志数据，包括：智能采集器以syslog形式接收部署于dcs系统的设备的设备代理采集的日志数据。4.根据权利要求1所述的数据采集传输方法，其特征在于，所述汇聚所述日志数据和所述全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台，包括：对所述全流量数据进行压缩处理后，发送至厂级分析平台；以syslog形式将所述日志数据发送至厂级分析平台。5.根据权利要求1所述的数据采集传输方法，其特征在于，所述通过所述厂级分析平台对所述日志数据和所述全流量数据进行分析，得到第一分析结果，包括：挖掘所述日志数据和所述全流量数据的网络特征；基于所述网络特征和预设白名单规则，结合预设威胁库进行关联分析，以判断是否存在异常数据流量；若存在异常数据流量，则根据所述异常数据流量，生成报警信息；根据所述报警信息，识别发出异常数据流量的资产；基于发出异常数据流量的资产，进行溯源分析，得到第一分析结果，所述第一分析结果用于表征是否存在异常数据以及异常数据发生原因。6.根据权利要求1所述的数据采集传输方法，其特征在于，所述方法还包括：通过厂级分析平台对所述日志数据进行可视化展示。7.根据权利要求1所述的数据采集传输方法，其特征在于，所述智能采集器通信连接有局域网内分析平台，所述方法还包括：所述智能采集器将所述日志数据和所述全流量数据发送至所述局域网内分析平台；通过所述局域网内分析平台对所述日志数据和所述全流量数据进行分析，得到第二分析结果。8.一种数据采集传输系统，其特征在于，包括：连接建立模块，用于建立智能采集器与dcs系统的通信连接；数据采集模块，用于通过所述智能采集器采集所述dcs系统的日志数据和全流量数据；数据传输模块，用于汇聚所述日志数据和所述全流量数据后，发送至位于dcs系统所属局域网之外的厂级分析平台；数据分析模块，用于通过所述厂级分析平台对所述日志数据和所述全流量数据进行分
析，得到第一分析结果。9.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行权利要求1至7中任一项权利要求所述的数据采集传输方法。10.一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项权利要求所述的数据采集传输方法。

技术总结
本发明提供一种数据采集传输方法及系统，属于数据采集技术领域。该方法包括：建立智能采集器与DCS系统的通信连接。通过智能采集器采集DCS系统的日志数据和全流量数据。从而减少了DCS系统网络外组网结构负担，也就减轻了DCS系统信息安全网络复杂程度。汇聚日志数据和全流量数据后，发送至位于DCS系统所属局域网之外的厂级分析平台。通过厂级分析平台对日志数据和全流量数据进行分析，得到第一分析结果。为构建局域网网络安全环境提供精准的数据支撑，在完成智能化建设的同时，提高了工程师的工作响应效率、降低了维护成本，并且有效减少了局域网的网络出入口，从而减少了局域网的网络安全风险点，有利于局域网的网络安全管理。理。理。


技术研发人员：常伟 王朝辉 翟婉波 姚慧卿 袁富 梁华林 杨立业 白伟明 梁一凡
受保护的技术使用者：国能智深控制技术有限公司
技术研发日：2023.05.16
技术公布日：2023/9/5