一种基于开源信息的情报分析方法

1.本发明涉及信息分析技术领域，具体为一种基于开源信息的情报分析方法。


背景技术：

2.在当前的信息时代，数据已经成为了一种重要的资源，特别是开源数据，由于其易获取、覆盖广泛的特点，被广泛应用于各种领域，包括情报分析，然而，开源数据通常具有大量、复杂、动态变化等特点，如何有效地从中提取有价值的信息，是一个重要的挑战，传统的情报分析方法主要依赖于人工分析，这种方法在处理大量数据时，不仅效率低下，而且容易出错，因此，如何使用先进的技术手段，提高情报分析的效率和准确性，已经成为了一个研究热点，近年来，随着人工智能、大数据、云计算等技术的发展，基于这些技术的情报分析方法开始得到广泛的关注，特别是机器学习和深度学习技术，由于其在处理复杂数据、发现数据内在规律等方面的优势，被广泛应用于情报分析。
3.现有发展中存在以下问题：
4.问题一，当前的情报分析，数据分析准确性欠佳；
5.问题二，当前的情报分析中，算法的反馈度不够，导致数据的反馈信息不足，在长时间使用的情况下会影响数据准确性。


技术实现要素：

6.解决的技术问题
7.针对现有技术的不足，本发明提供了一种基于开源信息的情报分析方法，解决了以下问题：
8.1、当前的情报分析，数据分析准确性欠佳；
9.2、当前的情报分析中，算法的反馈度不够，导致数据的反馈信息不足，在长时间使用的情况下会影响数据准确性。
10.技术方案
11.为实现以上目的，本发明通过以下技术方案予以实现：一种基于开源信息的情报分析方法，所述方法包括如下步骤：
12.sp1、通过网络爬虫或api接口收集开源数据；
13.sp2、对收集到的数据进行数据清洗、数据转换和文本预处理；
14.sp3、使用as、kas和nll组合法对预处理后的数据进行高维参数空间分析；
15.sp4、根据分析结果生成情报；
16.sp5、对生成的情报进行反馈；
17.所述分析方法内置ai神经算法。
18.优选的，所述数据收集包括新闻网站、社交媒体、公开数据库、开源平台和数据库。
19.优选的，所述数据清洗包括去除重复数据、填充缺失值、去除异常值，所述数据转换包括标准化、归一化、二值化，所述文本预处理包括分词、去停用词、词干提取。
20.优选的，所述as方法通过参数敏感度分析和主要特征识别来降低数据的维度，所述kas方法通过核函数处理和主要结构识别来处理非线性数据，所述nll方法通过参数等级结构学习和参数依赖关系揭示来学习数据的内在结构。
21.优选的，所述数据可视化包括使用图表展示数据的分布、趋势和模式，所述报告生成包括将分析结果和洞见整理成文档，所述预测与推荐包括根据分析结果对趋势进行预测和对用户进行推荐。
22.优选的，所述新数据收集包括定期、实时收集新的开源数据，所述用户反馈与评价包括收集用户对生成的情报的反馈和评价，以便进行持续的改进。
23.优选的，包括以下模块：
24.数据收集模块：所述数据收集模块为使用网络爬虫、api接口从开源平台和数据库中收集数据；
25.数据预处理模块：所述数据预处理模块对收集到的数据进行数据清洗、数据转换和文本预处理；
26.高维参数空间分析模块：所述高维参数空间分析模块为使用active subspaces(as)、kernel-based active subspaces(kas)和nonlinear level-set learning(nll)方法对预处理后的数据进行高维参数空间分析；
27.情报生成模块：所述情报生成模块为根据分析结果生成情报；
28.情报更新与反馈模块：所述情报更新与反馈模块为对生成的情报进行反馈。
29.优选的，所述模块的硬件包括如下部分：
30.数据存储硬件，用于存储通过数据收集模块收集的开源数据；
31.数据处理硬件，用于执行数据预处理模块的数据清洗、数据转换和文本预处理；
32.计算硬件，包括但不限于cpu、gpu或tpu，用于执行高维参数空间分析模块的active subspaces(as)、kernel-based active subspaces(kas)和nonlinear level-set learning(nll)方法；
33.显示硬件，如显示器，用于展示情报生成模块生成的情报；
34.网络接口硬件，用于接收和发送情报更新与反馈模块的反馈信息。
35.优选的，所述数据存储硬件包括但不限于硬盘驱动器、固态硬盘、网络附加存储和分布式文件系统，所述计算硬件和数据处理硬件包括但不限于中央处理器、图形处理器和张量处理器，所述显示硬件包括液晶显示器、led显示器、投影仪。
36.优选的，所述网络接口硬件包括以太网卡、无线网卡、光纤接口中的任意一种。
37.有益效果
38.本发明提供了一种基于开源信息的情报分析方法。具备以下有益效果：
39.本发明通过使用as、kas和nll组合法，有效地处理高维数据，降低数据的复杂性，提高情报分析的效率，同时，这些方法可以揭示数据的内在结构和依赖关系，提高情报分析的准确性。
40.本发明实现自动化和智能化的情报分析，通过融合ai神经算法，可以实现自动化和智能化的情报分析，可以使用ai神经网络进行预测和推荐，提供更加个性化和精准的情报服务，同时可以使用ai神经网络进行反馈学习，不断优化和改进情报分析的效果。
41.本发明提高情报服务的用户体验，通过数据可视化和报告生成，可以将复杂的分
析结果以直观和易理解的方式呈现给用户，提高用户的理解和接受度，同时通过用户反馈和评价，可以及时了解用户的需求和反馈，持续改进情报服务，提高用户的满意度和忠诚度。
附图说明
42.图1为本发明的方案示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.具体实施例一：
45.如图所示，一种基于开源信息的情报分析方法，分析方法内置ai神经算法，方法包括如下步骤：
46.sp1、通过网络爬虫或api接口收集开源数据，数据收集包括新闻网站、社交媒体、公开数据库、开源平台和数据库；
47.sp2、对收集到的数据进行数据清洗、数据转换和文本预处理，数据清洗包括去除重复数据、填充缺失值、去除异常值，数据转换包括标准化、归一化、二值化，文本预处理包括分词、去停用词、词干提取；
48.sp3、使用as、kas和nll组合法对预处理后的数据进行高维参数空间分析，as方法通过参数敏感度分析和主要特征识别来降低数据的维度，kas方法通过核函数处理和主要结构识别来处理非线性数据，nll方法通过参数等级结构学习和参数依赖关系揭示来学习数据的内在结构；
49.sp4、根据分析结果生成情报，数据可视化包括使用图表展示数据的分布、趋势和模式，报告生成包括将分析结果和洞见整理成文档，预测与推荐包括根据分析结果对趋势进行预测和对用户进行推荐；
50.sp5、对生成的情报进行反馈，新数据收集包括定期、实时收集新的开源数据，用户反馈与评价包括收集用户对生成的情报的反馈和评价，以便进行持续的改进。
51.数据收集：我们可以使用python的scrapy库或者beautifulsoup库来编写网络爬虫，收集新闻网站、社交媒体、公开数据库、开源平台和数据库的开源数据。对于api接口，我们可以使用python的requests库来发送get或post请求，获取数据。
52.数据预处理：我们可以使用python的pandas库进行数据清洗和数据转换。例如，我们可以使用drop_duplicates()函数去除重复数据，使用fillna()函数填充缺失值，使用replace()函数去除异常值。数据转换可以使用sklearn.preprocessing库中的standardscaler()、minmaxscaler()和binarizer()函数进行标准化、归一化和二值化。文本预处理可以使用python的jieba库进行分词，使用stopwords库去除停用词，使用snownlp库进行词干提取。
53.高维参数空间分析：我们可以使用python的scikit-learn库中的pca()函数进行
as方法的参数敏感度分析和主要特征识别，使用kernelpca()函数进行kas方法的核函数处理和主要结构识别，使用manifold()函数进行nll方法的参数等级结构学习和参数依赖关系揭示。
54.情报生成：我们可以使用python的matplotlib库进行数据可视化，使用python的reportlab库生成报告，使用python的scikit-learn库中的predict()函数进行预测，使用recommendation()函数进行推荐。
55.情报反馈：我们可以使用python的schedule库进行定期收集新的开源数据，使用python的flask库收集用户反馈和评价。
56.技术流程：
57.使用网络爬虫或api接口收集开源数据。
58.对收集到的数据进行数据清洗、数据转换和文本预处理。
59.使用as、kas和nll组合法对预处理后的数据进行高维参数空间分析。
60.根据分析结果生成情报。
61.对生成的情报进行反馈。
62.具体实施例二：
63.进一步公开的技术方案：
64.一种基于开源信息的情报分析方法包括以下模块：
65.数据收集模块：数据收集模块为使用网络爬虫、api接口从开源平台和数据库中收集数据；
66.数据预处理模块：数据预处理模块对收集到的数据进行数据清洗、数据转换和文本预处理；
67.高维参数空间分析模块：高维参数空间分析模块为使用active subspaces(as)、kernel-based active subspaces(kas)和nonlinear level-set learning(nll)方法对预处理后的数据进行高维参数空间分析；
68.情报生成模块：情报生成模块为根据分析结果生成情报；
69.情报更新与反馈模块：情报更新与反馈模块为对生成的情报进行反馈。
70.数据收集模块：我们可以使用python的scrapy库或者beautifulsoup库来编写网络爬虫，收集新闻网站、社交媒体、公开数据库、开源平台和数据库的开源数据。对于api接口，我们可以使用python的requests库来发送get或post请求，获取数据。
71.数据预处理模块：我们可以使用python的pandas库进行数据清洗和数据转换。例如，我们可以使用drop_duplicates()函数去除重复数据，使用fillna()函数填充缺失值，使用replace()函数去除异常值。数据转换可以使用sklearn.preprocessing库中的standardscaler()、minmaxscaler()和binarizer()函数进行标准化、归一化和二值化。文本预处理可以使用python的jieba库进行分词，使用stopwords库去除停用词，使用snownlp库进行词干提取。
72.高维参数空间分析模块：我们可以使用python的scikit-learn库中的pca()函数进行as方法的参数敏感度分析和主要特征识别，使用kernelpca()函数进行kas方法的核函数处理和主要结构识别，使用manifold()函数进行nll方法的参数等级结构学习和参数依赖关系揭示。
73.情报生成模块：我们可以使用python的matplotlib库进行数据可视化，使用python的reportlab库生成报告，使用python的scikit-learn库中的predict()函数进行预测，使用recommendation()函数进行推荐。
74.情报反馈模块：我们可以使用python的schedule库进行定期收集新的开源数据，使用python的flask库收集用户反馈和评价。
75.技术流程：
76.使用网络爬虫或api接口收集开源数据。
77.对收集到的数据进行数据清洗、数据转换和文本预处理。
78.使用as、kas和nll组合法对预处理后的数据进行高维参数空间分析。
79.根据分析结果生成情报。
80.对生成的情报进行反馈。
81.active subspaces(as)：as方法是一种降维技术，它通过参数敏感度分析和主要特征识别来降低数据的维度。具体来说，as方法首先计算每个参数对输出的敏感度，然后通过主成分分析(pca)识别出影响输出的主要特征，最后将数据投影到这些主要特征上，从而实现降维。
82.kernel-based active subspaces(kas)：kas方法是as方法的扩展，它可以处理非线性数据。kas方法首先使用核函数将数据映射到高维空间，然后在高维空间中进行as方法，最后将数据投影回原始空间。这样，kas方法可以识别出非线性数据的主要结构。
83.nonlinear level-set learning(nll)：nll方法是一种非线性学习方法，它通过参数等级结构学习和参数依赖关系揭示来学习数据的内在结构。具体来说，nll方法首先使用等级结构学习算法将数据分层，然后在每一层中使用依赖关系揭示算法识别出参数之间的依赖关系，最后根据这些依赖关系构建数据的内在结构。
84.具体实施例三：
85.进一步公开的技术方案：
86.一种基于开源信息的情报分析方法模块的硬件包括如下部分：
87.数据存储硬件，用于存储通过数据收集模块收集的开源数据；
88.数据处理硬件，用于执行数据预处理模块的数据清洗、数据转换和文本预处理；
89.计算硬件，包括但不限于cpu、gpu或tpu，用于执行高维参数空间分析模块的active subspaces(as)、kernel-based active subspaces(kas)和nonlinear level-set learning(nll)方法；
90.显示硬件，如显示器，用于展示情报生成模块生成的情报；
91.网络接口硬件，用于接收和发送情报更新与反馈模块的反馈信息。
92.数据存储硬件包括但不限于硬盘驱动器、固态硬盘、网络附加存储和分布式文件系统，计算硬件和数据处理硬件包括但不限于中央处理器、图形处理器和张量处理器，显示硬件包括液晶显示器、led显示器、投影仪,网络接口硬件包括以太网卡、无线网卡、光纤接口中的任意一种。
93.数据收集模块：我们可以使用python的scrapy库或者beautifulsoup库来编写网络爬虫，收集新闻网站、社交媒体、公开数据库、开源平台和数据库的开源数据。对于api接口，我们可以使用python的requests库来发送get或post请求，获取数据。这些数据将被存
储在硬盘驱动器、固态硬盘、网络附加存储或分布式文件系统中。
94.数据预处理模块：我们可以使用python的pandas库进行数据清洗和数据转换。例如，我们可以使用drop_duplicates()函数去除重复数据，使用fillna()函数填充缺失值，使用replace()函数去除异常值。数据转换可以使用sklearn.preprocessing库中的standardscaler()、minmaxscaler()和binarizer()函数进行标准化、归一化和二值化。文本预处理可以使用python的jieba库进行分词，使用stopwords库去除停用词，使用snownlp库进行词干提取。这些操作将在中央处理器、图形处理器或张量处理器上执行。
95.高维参数空间分析模块：我们可以使用python的scikit-learn库中的pca()函数进行as方法的参数敏感度分析和主要特征识别，使用kernelpca()函数进行kas方法的核函数处理和主要结构识别，使用manifold()函数进行nll方法的参数等级结构学习和参数依赖关系揭示。这些计算将在中央处理器、图形处理器或张量处理器上执行。
96.情报生成模块：我们可以使用python的matplotlib库进行数据可视化，使用python的reportlab库生成报告，使用python的scikit-learn库中的predict()函数进行预测，使用recommendation()函数进行推荐。这些结果将在液晶显示器、led显示器或投影仪上展示。
97.情报反馈模块：我们可以使用python的schedule库进行定期收集新的开源数据，使用python的flask库收集用户反馈和评价。这些操作将通过以太网卡、无线网卡或光纤接口进行。
98.技术流程：
99.使用网络爬虫或api接口收集开源数据，并存储在硬盘驱动器、固态硬盘、网络附加存储或分布式文件系统中。
100.对收集到的数据进行数据清洗、数据转换和文本预处理，这些操作在中央处理器、图形处理器或张量处理器上执行。
101.使用as、kas和nll组合法对预处理后的数据进行高维参数空间分析，这些计算在中央处理器、图形处理器或张量处理器上执行。
102.根据分析结果生成情报，并在液晶显示器、led显示器或投影仪上展示。
103.对生成的情报进行反馈，这些操作通过以太网卡、无线网卡或光纤接口进行。
104.具体实施例四：
105.进一步公开核心的技术方案：
[0106][0107][0108]
数据预处理、模型评估、超参数调优等步骤根据需求来修改和扩展代码。
[0109]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个引用结构”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0110]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
learning(nll)方法；显示硬件，如显示器，用于展示情报生成模块生成的情报；网络接口硬件，用于接收和发送情报更新与反馈模块的反馈信息。9.根据权利要求8所述的一种基于开源信息的情报分析方法的模块，其特征在于：所述数据存储硬件包括但不限于硬盘驱动器、固态硬盘、网络附加存储和分布式文件系统，所述计算硬件和数据处理硬件包括但不限于中央处理器、图形处理器和张量处理器，所述显示硬件包括液晶显示器、led显示器、投影仪。10.根据权利要求7所述的一种基于开源信息的情报分析方法的模块，其特征在于：所述网络接口硬件包括以太网卡、无线网卡、光纤接口中的任意一种。

技术总结
本发明提供一种基于开源信息的情报分析方法，涉及信息分析技术领域，包括如下步骤，通过网络爬虫或API接口收集开源数据，对收集到的数据进行数据清洗、数据转换和文本预处理，使用AS、KAS和NLL组合法对预处理后的数据进行高维参数空间分析，根据分析结果生成情报，对生成的情报进行反馈，分析方法内置AI神经算法，通过使用AS、KAS和NLL组合法，有效地处理高维数据，降低数据的复杂性，提高情报分析的效率，同时，这些方法可以揭示数据的内在结构和依赖关系，提高情报分析的准确性。提高情报分析的准确性。提高情报分析的准确性。


技术研发人员：辛松 李冰岩 仇昊 赵彤洲 唐建超 陈小迁
受保护的技术使用者：中国人民解放军军事科学院战争研究院
技术研发日：2023.07.12
技术公布日：2023/9/14