EDR告警数据处理方法、装置、设备及存储介质与流程

edr告警数据处理方法、装置、设备及存储介质
技术领域
1.本发明涉及计算机技术领域，尤其涉及一种edr告警数据处理方法、装置、设备及存储介质。


背景技术：

2.端点检测与响应(endpoint detection response，edr)是一种主动的安全检测方法，可以实时监控端点，并搜索渗透到公司防御系统中的威胁。edr技术可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。edr过程会产生大规模的告警数据，随着时间推移必然会产生存储空间不够，存取变慢等问题。因此，如何对edr告警数据进行存储是本领域技术人员需要解决的问题。


技术实现要素：

3.本发明提供一种edr告警数据处理方法、装置、设备及存储介质，用以解决现有技术中如何对edr告警数据进行存储的缺陷，实现如何对edr告警数据进行存储和迁移的方案。
4.本发明提供一种edr告警数据处理方法，包括：
5.确定第一数据库中存储的edr告警数据是否满足迁移条件；
6.在确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据，并将所述待迁移的edr告警数据迁移到第二数据库中。
7.可选地，所述迁移条件包括以下至少一项：数据量对应的迁移条件、创建时间对应的迁移条件、使用频率对应的迁移条件，所述确定第一数据库中存储的edr告警数据是否满足迁移条件，包括：
8.在所述迁移条件包括数据量对应的迁移条件的情况下，若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件；
9.在所述迁移条件包括所述创建时间对应的迁移条件的情况下，若所述edr告警数据的最早创建时间早于或等于预设的时间点阈值，确定所述edr告警数据满足所述迁移条件；
10.在所述迁移条件包括所述使用频率对应的迁移条件的情况下，若存在edr告警数据的使用频率小于或等于预设频率，确定所述edr告警数据满足所述迁移条件。
11.可选地，所述数据量包括以下至少一项：数据条目数量、占用存储空间容量，所述若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件，包括：
12.若所述edr告警数据的数据条目数量和/或占用存储空间容量，大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件。
13.可选地，所述获取所述第一数据库中待迁移的edr告警数据，包括：
14.基于所述第一数据库中存储的edr告警数据的最早创建时间以及最晚创建时间，
确定所述第一数据库中edr告警数据的分界点；或，从所述最早创建时间为起始，基于所述第一数据库中存储的edr告警数据的数据量，确定所述第一数据库中edr告警数据的分界点；
15.将创建时间早于所述分界点处edr告警数据的创建时间的edr告警数据，作为所述待迁移的edr告警数据。
16.可选地，所述将所述待迁移的edr告警数据迁移到第二数据库中之后，还包括：
17.更新所述第一数据库中剩余存储的edr告警数据的最早创建时间。
18.可选地，所述方法还包括：
19.响应于检测到数据操作，确定所述数据操作对应的edr告警数据的标识id和操作类型；
20.在所述数据操作的操作类型为数据创建操作的情况下，基于所述edr告警数据的标识id将所述数据操作对应的edr告警数据插入所述第一数据库中；
21.在所述数据操作的操作类型为数据查询操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id从所述第二数据库中查询所述数据操作对应的edr告警数据；
22.在所述数据操作的操作类型为批量数据查询操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中存在所述数据操作对应的部分edr告警数据，则从所述第二数据库中查询所述数据操作对应的剩余edr告警数据；
23.在所述数据操作的操作类型为数据更新操作或数据删除操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据；
24.若所述第一数据库中存在所述数据操作对应的edr告警数据，则对所述数据操作对应的edr告警数据进行更新或删除；
25.若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id，从所述第二数据库中查询所述数据操作对应的edr告警数据，并对查询到的edr告警数据进行更新或删除。
26.可选地，所述方法还包括：
27.在对所述edr告警数据进行分类统计的情况下，对所述第一数据库中存储的edr告警数据和所述第二数据库中存储的edr告警数据，分别进行统计。
28.可选地，所述第一数据库为mongo数据库；和/或，所述第二数据库为可扩展规模的数据库。
29.本发明还提供一种告警数据处理装置，包括：
30.处理模块，用于确定第一数据库中存储的edr告警数据是否满足迁移条件；
31.获取模块，用于在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据；
32.所述处理模块，还用于将所述待迁移的edr告警数据迁移到第二数据库中。
33.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述edr告警数据
处理方法。
34.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述edr告警数据处理方法。
35.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述edr告警数据处理方法。
36.本发明提供的edr告警数据处理方法、装置、设备及存储介质，确定第一数据库中存储的告警数据是否满足迁移条件；在确定第一数据库中存储的edr告警数据满足迁移条件的情况下，获取第一数据库中待迁移的edr告警数据，并将待迁移的edr告警数据迁移到第二数据库中；上述方案中确定满足迁移条件之后将第一数据库中部分edr告警数据迁移到第二数据库中，由于第一数据库中迁移出部分数据，使得第一数据库中存取效率更高。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的edr告警数据处理方法的流程示意图之一；
39.图2是本发明提供的edr告警数据处理方法的流程示意图之二；
40.图3是本发明提供的edr告警数据处理方法的流程示意图之三；
41.图4是本发明提供的edr告警数据处理方法的流程示意图之四；
42.图5是本发明提供的edr告警数据处理装置的结构示意图；
43.图6是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.为了便于更加清晰地理解本技术各实施例，首先对一些相关的技术内容进行介绍。
46.端点检测与响应edr：用于检测和调查主机和端点上的可疑活动，包括实时监控和使用自动威胁响应机制收集端点安全数据。
47.告警数据：终端收集的日志经过edr检测器而产生的数据，标识原始日志对应的终端行为是否具有威胁，以及威胁程度。
48.冷热分离：是指高频使用的数据和不经常使用的数据分离存储。
49.目前很多应用场景中没有对告警数据存储，或者进行了存储，但很难应对大规模数据的情景。如果不存储告警数据很多后续业务很难开展(例如：针对告警数据的统计)。在实现本发明方案的过程中，发明人研究发现：在存储时如果使用单一数据库存储，且数据库是可水平扩展规模的存储(例如：elasticsearch)，则针对告警数据的修改和删除的速度不
理想。但是如果采用方便增删改查的事务型数据库(例如mysql,postgresql，mongodb),则不方便做水平扩展，规模无法很好提升，或者需要大规模的固态硬盘(solid state drives，ssd)，因此，综合上述多种因素，本发明实施例中提出一种针对告警数据的处理方案。
50.下面结合图1-图6以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
51.图1是本发明实施例提供的告警数据处理方法的流程示意图之一，如图1所示，该告警数据处理方法包括：
52.步骤101、确定第一数据库中存储的edr告警数据是否满足迁移条件；
53.步骤102、在确定edr告警数据满足迁移条件的情况下，获取第一数据库中待迁移的告警数据，并将待迁移的告警数据迁移到第二数据库中。
54.具体的，在创建告警数据后首先存储至第一数据库中，第一数据库例如为事务型数据库，方便对告警数据的增删改查。可选地，告警数据为端点检测与响应edr过程生成的告警数据；
55.例如，使用mongo数据库作为近期生成的告警数据的第一数据库(满足近期高频查询的需求)。
56.确定第一数据库中存储的edr告警数据是否满足迁移条件，例如存储数据量较多，部分数据较长时间没有使用或更新、或使用频率极少等。
57.进一步，在确定需要对第一数据库中存储的edr告警数据进行迁移时，例如第一数据库中存储的告警数据的数据量较大时，对部分edr告警数据迁移至第二数据库，例如将80％数据量的edr告警数据进行迁移，即冷热分离，避免第一数据库中存储空间不够、存取变慢等问题，例如对较早创建的告警数据进行迁移，由于老旧的告警数据一般不会被频繁使用，即待迁移的告警数据的创建时间早于第一数据库中除待迁移的告警数据之外剩余的告警数据的创建时间。
58.例如，使用elasticsearch作为老旧告警数据的存储器。
59.本实施例的方法，确定满足迁移条件之后将第一数据库中部分edr告警数据迁移到第二数据库中，由于第一数据库中迁移出部分数据，使得第一数据库中存取效率更高。
60.可选地，第一数据库为mongo数据库，存取效率较高；和/或，第二数据库为可扩展规模的数据库，可以提高数据存储量，便于扩展存储容量。
61.可选地，步骤101具体可以通过如下几种方式实现：
62.迁移条件包括以下至少一项：数据量对应的迁移条件、创建时间对应的迁移条件、使用频率对应的迁移条件，所述确定第一数据库中存储的edr告警数据是否满足迁移条件，包括：
63.在所述迁移条件包括数据量对应的迁移条件的情况下，若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定edr告警数据满足迁移条件；
64.在所述迁移条件包括所述创建时间对应的迁移条件的情况下，若所述edr告警数据的最早创建时间早于或等于预设的时间点阈值，确定所述edr告警数据满足所述迁移条件；
65.在所述迁移条件包括所述使用频率对应的迁移条件的情况下，若存在edr告警数据的使用频率小于或等于预设频率，确定所述edr告警数据满足所述迁移条件。
66.具体的，可以定期检测第一数据库中存储的数据量，若告警数据量大于或等于预设的数据量阈值，则确定edr告警数据满足迁移条件，需要进行数据迁移；
67.或，还可以检测第一数据库中的最早创建时间，确定是否满足迁移条件，例如最早创建时间早于设定的预设的时间阈值，如最早创建时间早于当前时间的二个月，则说明有大量历史告警数据，而且这些历史告警数据一般不经常使用，确定满足迁移条件，说明需要进行数据迁移。
68.或，还可以检测第一数据库中的告警数据的使用频率，若存在某些edr告警数据使用频率较低，如小于或等于预设频率，例如一年使用一次，则确定满足迁移条件，说明需要进行数据迁移。
69.可选地，数据量包括以下至少一项：数据条目数量或占用存储空间容量；所述若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件，包括：
70.若所述edr告警数据的数据条目数量和/或占用存储空间容量，大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件。
71.例如，可以定期检测第一数据库中存储的数据量，若edr告警数据的数据条目大于或等于设定的预设的数据量阈值，或，存储的edr告警数据占用的存储空间的容量大于或等于预设的数据量阈值，则确定满足迁移条件，需要进行数据迁移；
72.上述实施方式中，通过edr告警数据的创建时间、数据量或使用频率等，可以确定迁移数据的触发时机，实现方案简单。
73.可选地，获取第一数据库中待迁移的edr告警数据，包括：
74.基于所述第一数据库中存储的edr告警数据的最早创建时间以及最晚创建时间，确定第一数据库中edr告警数据的分界点；或，从所述最早创建时间为起始，基于所述第一数据库中存储的edr告警数据的数据量，确定第一数据库中edr告警数据的分界点；
75.将创建时间早于分界点处edr告警数据的创建时间，作为待迁移的edr告警数据。
76.具体的，分界点可以是一个时间分界点，例如为最早创建时间和最晚创建时间之间时间间隔的80％处，以最早创建时间为起始，作为该分界点；或，
77.分界点可以是一个数据量分界点，例如，从最早创建时间为起始，将第一数据库中存储的edr告警数据的数据量的80％处，作为该分界点。
78.假设在同时包括时间分界点和数据量分界点的情况下，可以基于其中任意一个获取待迁移的edr告警数据，或，基于该两个分界点获取待迁移的edr告警数据，例如将该两个分界点对应的创建时间较早的分界点，作为最终的分界点。
79.进一步，将在该分界点对应的创建时间之前的告警数据进行迁移。
80.例如该分界点是一个时间分界点，则可以将edr告警数据中创建时间早于该时间分界点的edr告警数据，作为待迁移的edr告警数据；或，
81.例如该分界点是一个数据量分界点，从第一数据库中的最早创建时间为起始，将占用存储空间容量等于分界点对应的存储容量的告警数据，作为待迁移的edr告警数据；或，
82.从所述第一数据库中的最早创建时间为起始，将数据条目等于分界点对应的数据条目数量的告警数据，作为待迁移的edr告警数据；或，
83.将第一数据库中创建时间早于时间分界点，且数据量小于或等于数据量分界点的edr告警数据，作为待迁移的edr告警数据。
84.上述实施方式中，通过确定数据迁移的分界点，便于获取到待迁移的edr告警数据，方案简单，效率较高。
85.示例性地，如图2所示，该方法包括如下步骤：
86.首先，确定第一数据库中存储的edr告警数据是否需要进行迁移，例如数据量是否超过预设规模的数据量；
87.其次，利用二分搜索算法确定edr告警数据中迁移的分界点，例如时间分界点或数据量分界点；例如第一数据库中存储的edr告警数据可能不是完全基于时间顺序的升序或降序排列的，则可以利用二分搜索算法确定时间分界点对应的edr告警数据。
88.然后，将迁移任务划分为多个小任务进行处理：
89.(1)查找创建时间早于分界点的所有id对应的edr告警数据；
90.(2)将查找到的edr告警数据批量写入到第二数据库中；
91.(3)更新已存储的最早创建时间；
92.(4)更新第一数据库中已迁移的edr告警数据的信息，以及edr告警数据的最早创建时间。
93.例如，使用elasticsearch作为老旧edr告警数据的存储器，使用一个存储于redis(也可以使用etcd)的变量oldest_alert_create_time_in_last标识在第一数据库中edr告警数据的最早创建时间，例如create_time》＝oldest_alert_create_time_in_last的edr告警数据都是在第一数据库中可以查询得到的，即数据迁移之后可以对该变量oldest_alert_create_time_in_last进行更新，保证数据迁移操作的准确性。
94.可选地，第二数据库中可以按天去划分索引数据。
95.在一实施例中，如图3所示，该方法还包括：
96.响应于检测到数据操作，确定所述数据操作对应的edr告警数据的标识id和操作类型；
97.在所述数据操作的操作类型为数据创建操作的情况下，基于edr告警数据的标识id将所述数据操作对应的edr告警数据插入所述第一数据库中；
98.在所述数据操作的操作类型为数据查询操作的情况下，基于edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于edr告警数据的标识id从所述第二数据库中查询所述数据操作对应的edr告警数据；
99.在所述数据操作的操作类型为批量数据查询操作的情况下，基于edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中存在所述数据操作对应的部分edr告警数据，则从所述第二数据库中查询所述数据操作对应的剩余edr告警数据；
100.在所述数据操作的操作类型为数据更新操作或数据删除操作的情况下，基于edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据；
101.若所述第一数据库中存在所述数据操作对应的edr告警数据，则对所述数据操作对应的edr告警数据进行更新或删除；
102.若所述第一数据库中不存在所述数据操作对应的告警数据，则基于edr告警数据的标识id从所述第二数据库中查询所述数据操作对应的edr告警数据，并对查询到的edr告警数据进行更新或删除。
103.具体的，本技术实施例中除了数据移动以外，还要实现多个数据库存储方案的查询、修改、统计等操作。
104.针对基于edr告警数据的标识id的增删改查，大体原则是新增数据都是在第一数据库中创建，其它操作(如更新、删除、查询)是先走第一数据库然后再没有的情况走第二数据库。(由于大规模的情况都是在第一数据库中存在所以很小的比例会走第二数据库)；
105.如图3所示，对于数据创建操作，将该数据创建操作对应的edr告警数据插入第一数据库中；
106.对于数据查询操作，从第一数据库中查询该数据查询操作对应的edr告警数据，如查询id对应的edr告警数据，若第一数据库中不存在要查询的edr告警数据，则从第二数据库中查询对应的edr告警数据；
107.对于批量数据查询操作，从第一数据库中查询该数据查询操作对应的edr告警数据，如查询多个id对应的edr告警数据，若第一数据库中只存在部分要查询的edr告警数据，则从第二数据库中查询剩余的edr告警数据；
108.对于数据更新操作或数据删除操作，首先从第一数据库中查询对应的edr告警数据，若第一数据库中存在对应的edr告警数据，则直接进行更新或删除；
109.若第一数据库中不存在对应的edr告警数据，则从第二数据库中查询对应的edr告警数据，并对查询到的edr告警数据进行更新或删除。
110.上述实施方式中，实现了针对多个数据库存储edr告警数据的查询、修改等操作，实现方案简单。
111.可选地，该方法还包括：
112.在对所述edr告警数据进行分类统计的情况下，对所述第一数据库中存储的edr告警数据和所述第二数据库中存储的edr告警数据，分别进行统计。
113.具体的，对于edr告警数据的分类统计，可以考虑第一数据库和第二数据库分别统计然后汇总。
114.分类统计，即按照不同类型对edr告警数据进行统计，例如统计某一种类型edr告警数据的数目等信息，类型例如可以包括以下至少一项：访问类型、攻击类型、终端类型等。
115.如图4所示，分类统计的时候一般会输入统计条件，例如可以将该统计条件内部的与edr告警数据创建时间相关的create_time条件分离出来作为数据过滤器date_filter,将其它条件作为其它过滤器other_filter处理，划分为两个请求分别输入到第一数据库和第二数据库，最后在服务端汇总。
116.上述实施方式中，实现了针对多个数据库存储edr告警数据的分类统计操作，实现方案简单，可以复用一个数据库存储的实现逻辑。
117.下面对本发明提供的edr告警数据处理装置进行描述，下文描述的edr告警数据处理装置与上文描述的edr告警数据处理方法可相互对应参照。
118.图5是本发明提供的edr告警数据处理装置的结构示意图。如图5所示，本实施例提供的edr告警数据处理装置，包括：
119.处理模块120，用于确定第一数据库中存储的edr告警数据是否满足迁移条件；
120.获取模块110，用于在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据；
121.所述处理模块120，还用于将所述待迁移的edr告警数据迁移到第二数据库中。
122.可选地，迁移条件包括以下至少一项：数据量对应的迁移条件、创建时间对应的迁移条件、使用频率对应的迁移条件，所述处理模块120具体用于：
123.在所述迁移条件包括数据量对应的迁移条件的情况下，若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件；
124.在所述迁移条件包括所述创建时间对应的迁移条件的情况下，若所述edr告警数据的最早创建时间早于或等于预设的时间点阈值，确定所述edr告警数据满足所述迁移条件；
125.在所述迁移条件包括所述使用频率对应的迁移条件的情况下，若存在edr告警数据的使用频率小于或等于预设频率，确定所述edr告警数据满足所述迁移条件。
126.可选地，所述数据量包括以下至少一项：数据条目数量、占用存储空间容量，所述处理模块120具体用于：
127.若所述edr告警数据的数据条目数量和/或占用存储空间容量，大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件。
128.可选地，所述获取模块110具体用于：
129.基于所述第一数据库中存储的edr告警数据的最早创建时间以及最晚创建时间，确定所述第一数据库中edr告警数据的分界点；或，从所述最早创建时间为起始，基于所述第一数据库中存储的edr告警数据的数据量，确定所述第一数据库中edr告警数据的分界点；
130.将创建时间早于所述分界点处edr告警数据的创建时间的edr告警数据，作为所述待迁移的edr告警数据。
131.可选地，所述处理模块120还用于：
132.在将所述待迁移的edr告警数据迁移到第二数据库中之后，更新所述第一数据库中剩余存储的edr告警数据的最早创建时间。
133.可选地，所述处理模块120还用于：
134.响应于检测到数据操作，确定所述数据操作对应的edr告警数据的标识id和操作类型；
135.在所述数据操作的操作类型为数据创建操作的情况下，基于所述edr告警数据的标识id将所述数据操作对应的edr告警数据插入所述第一数据库中；
136.在所述数据操作的操作类型为数据查询操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id从所述第二数据库中查询所述数据操作对应的edr告警数据；
137.在所述数据操作的操作类型为批量数据查询操作的情况下，基于所述edr告警数
据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中存在所述数据操作对应的部分edr告警数据，则从所述第二数据库中查询所述数据操作对应的剩余edr告警数据；
138.在所述数据操作的操作类型为数据更新操作或数据删除操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据；
139.若所述第一数据库中存在所述数据操作对应的edr告警数据，则对所述数据操作对应的edr告警数据进行更新或删除；
140.若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id，从所述第二数据库中查询所述数据操作对应的edr告警数据，并对查询到的edr告警数据进行更新或删除。
141.可选地，所述处理模块120还用于：
142.在对所述edr告警数据进行分类统计的情况下，对所述第一数据库中存储的edr告警数据和所述第二数据库中存储的edr告警数据，分别进行统计。
143.可选地，所述第一数据库为mongo数据库；和/或，所述第二数据库为可扩展规模的数据库。
144.本发明实施例的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。
145.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行edr告警数据处理方法，该方法包括：
146.确定第一数据库中存储的edr告警数据是否满足迁移条件；
147.在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据；
148.将所述待迁移的edr告警数据迁移到第二数据库中。
149.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
150.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的edr告警数据处理方法，该方法包括：
151.确定第一数据库中存储的edr告警数据是否满足迁移条件；
152.在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第
一数据库中待迁移的edr告警数据；
153.将所述待迁移的edr告警数据迁移到第二数据库中。
154.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的edr告警数据处理方法，该方法包括：
155.确定第一数据库中存储的edr告警数据是否满足迁移条件；
156.在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据；
157.将所述待迁移的edr告警数据迁移到第二数据库中。
158.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
159.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
160.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种端点检测与响应edr告警数据处理方法，其特征在于，包括：确定第一数据库中存储的edr告警数据是否满足迁移条件；在确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据，并将所述待迁移的edr告警数据迁移到第二数据库中。2.根据权利要求1所述的edr告警数据处理方法，其特征在于，所述迁移条件包括以下至少一项：数据量对应的迁移条件、创建时间对应的迁移条件、使用频率对应的迁移条件，所述确定第一数据库中存储的edr告警数据是否满足迁移条件，包括：在所述迁移条件包括数据量对应的迁移条件的情况下，若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件；在所述迁移条件包括所述创建时间对应的迁移条件的情况下，若所述edr告警数据的最早创建时间早于或等于预设的时间点阈值，确定所述edr告警数据满足所述迁移条件；在所述迁移条件包括所述使用频率对应的迁移条件的情况下，若存在edr告警数据的使用频率小于或等于预设频率，确定所述edr告警数据满足所述迁移条件。3.根据权利要求2所述的edr告警数据处理方法，其特征在于，所述数据量包括以下至少一项：数据条目数量、占用存储空间容量，所述若所述edr告警数据的数据量大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件，包括：若所述edr告警数据的数据条目数量和/或占用存储空间容量，大于或等于预设的数据量阈值，则确定所述edr告警数据满足所述迁移条件。4.根据权利要求1-3任一项所述的edr告警数据处理方法，其特征在于，所述获取所述第一数据库中待迁移的edr告警数据，包括：基于所述第一数据库中存储的edr告警数据的最早创建时间以及最晚创建时间，确定所述第一数据库中edr告警数据的分界点；或，从所述最早创建时间为起始，基于所述第一数据库中存储的edr告警数据的数据量，确定所述第一数据库中edr告警数据的分界点；将创建时间早于所述分界点处edr告警数据的创建时间的edr告警数据，作为所述待迁移的edr告警数据。5.根据权利要求1-3任一项所述的edr告警数据处理方法，其特征在于，所述将所述待迁移的edr告警数据迁移到第二数据库中之后，还包括：更新所述第一数据库中剩余存储的edr告警数据的最早创建时间。6.根据权利要求1-3任一项所述的edr告警数据处理方法，其特征在于，所述方法还包括：响应于检测到数据操作，确定所述数据操作对应的edr告警数据的标识id和操作类型；在所述数据操作的操作类型为数据创建操作的情况下，基于所述edr告警数据的标识id将所述数据操作对应的edr告警数据插入所述第一数据库中；在所述数据操作的操作类型为数据查询操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id从所述第二数据库中查询所述数据操作对应的edr告警数据；在所述数据操作的操作类型为批量数据查询操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据，若所述第一数据库中
存在所述数据操作对应的部分edr告警数据，则从所述第二数据库中查询所述数据操作对应的剩余edr告警数据；在所述数据操作的操作类型为数据更新操作或数据删除操作的情况下，基于所述edr告警数据的标识id从所述第一数据库中查询所述数据操作对应的edr告警数据；若所述第一数据库中存在所述数据操作对应的edr告警数据，则对所述数据操作对应的edr告警数据进行更新或删除；若所述第一数据库中不存在所述数据操作对应的edr告警数据，则基于所述edr告警数据的标识id，从所述第二数据库中查询所述数据操作对应的edr告警数据，并对查询到的edr告警数据进行更新或删除。7.根据权利要求1-3任一项所述的edr告警数据处理方法，其特征在于，所述方法还包括：在对所述edr告警数据进行分类统计的情况下，对所述第一数据库中存储的edr告警数据和所述第二数据库中存储的edr告警数据，分别进行统计。8.根据权利要求1-3任一项所述的edr告警数据处理方法，其特征在于，所述第一数据库为mongo数据库；和/或，所述第二数据库为可扩展规模的数据库。9.一种edr告警数据处理装置，其特征在于，包括：处理模块，用于确定第一数据库中存储的edr告警数据是否满足迁移条件；获取模块，用于在所述处理模块确定所述edr告警数据满足所述迁移条件的情况下，获取所述第一数据库中待迁移的edr告警数据；所述处理模块，还用于将所述待迁移的edr告警数据迁移到第二数据库中。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述edr告警数据处理方法。11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述edr告警数据处理方法。12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述edr告警数据处理方法。

技术总结
本发明提供一种EDR告警数据处理方法、装置、设备及存储介质，该方法包括：确定基于第一数据库中存储的EDR告警数据是否满足迁移条件；在EDR告警数据满足迁移条件的情况下，获取所述第一数据库中待迁移的告警数据，并将所述待迁移的告警数据迁移到第二数据库中。上述方案中数据迁移之后可以提高EDR告警数据的存取效率。效率。效率。


技术研发人员：朱李全 秦飞虎 蒋易翀
受保护的技术使用者：奇安信科技集团股份有限公司
技术研发日：2023.04.11
技术公布日：2023/8/24