一种面向社交平台的数据采集系统及其方法与流程

1.本发明涉及网络数据采集技术领域，具体为一种面向社交平台的数据采集系统及其方法。


背景技术：

2.社交网站是一种基于互联网的服务。它允许个体在一个封闭系统内建立一个公共或半公共性质的个人主页，与其他用户建立连接，并在个人主页上呈现联系人的列表，以及观看并穿梭于自己和他人在系统内建立的连接列表，这些连接的本质和命名可能会因网站而异，随着互联网技术的发展，网络成为新兴舆论场，加之其价值之大，因而对网络进行数据采集已进入各大小型企业的战略规划，然而现有的网络数据采集手段大多是针对单一端口进行，虽然其采集较为稳定，但在互联快速发展的今日，已跟不上发展的脚步，同时在现有的网络采集系统中，缺少对系统整体的检测，发生故障时，若不能及时发现，则会导致数据信息漏采集的情况发生，因此，我们提出了一种面向社交平台的数据采集系统及其方法。


技术实现要素：

3.针对现有技术的不足，本发明提供了一种面向社交平台的数据采集系统及其方法，解决了现有网络数据采集手段单一以及现有采集系统缺少对系统整体的检测的问题。
4.为实现以上目的，本发明通过以下技术方案予以实现：一种面向社交平台的数据采集系统，包括服务器，所述服务器与用户端模块相连，所述用户端模块分别与网页数据收集模块和app数据收集模块相连，所述网页数据收集模块和app数据收集模块分别用于收集网页和app的数据，并将数据传送至数据整合模块，所述数据整合模块用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块，所述服务器与实时监测模块相连，所述实时监测模块用于对服务器进行实时监测，所述实时监测模块与系统维护模块相连。
5.优选的，所述实时监测模块包括运行信号读取单元，所述运行信号读取单元的输入端与系统信号收发单元的输出端相连，所述系统信号收发单元的输出端与系统数据反馈单元的输入端相连，所述系统数据反馈单元用于对服务器反馈的信号进行收集，所述系统数据反馈单元与定时控制单元相连，所述定时控制单元与运行信号读取单元相连，所述系统数据反馈单元与系统重启单元相连，所述系统重启单元用于对服务器发送重启指令，所述系统重启单元与服务器相连，所述系统重启单元与系统维护模块相连。
6.优选的，所述用户端模块包括用户注册模块，所述用户注册模块用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块，所述用户行为模拟模块用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块，所述用户行为记录模块与用户行为存储模块相连。
7.优选的，所述网页数据收集模块包括网页源代码获取单元和编程模型库，所述网页源代码获取单元与数据处理模块相连，所述编程模型库用于将现有的编程模型库内部的信息传输至数据处理模块，所述数据处理模块与数据缓存单元相连，所述数据缓存单元用
于对数据进行缓存，并将数据发送至数据收发单元，所述数据收发单元与数据整合模块相连。
8.优选的，所述数据处理模块包括网页源代码接收单元，所述网页源代码接收单元的输出端与数据预转换单元的输入端相连，所述数据预转换单元的输出端与数据分析单元的输入端相连，所述数据分析单元用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元，所述数据分析单元与数据缓存单元相连。
9.优选的，所述app数据收集模块包括数据接收单元，所述用户行为信息分析单元与app数据代码采集单元相连，所述app数据代码采集单元用于对app上的数据代码进行收集，并将数据转入至数据转化单元内，所述数据转化单元与数据发送单元相连，所述数据发送单元用于将转化后的数据传送至数据整合模块。
10.优选的，所述数据整合模块包括数据接收单元，所述数据接收单元的输出端与数据查重单元的输入端相连，所述数据查重单元的输出端与数据核实过滤单元的输入端相连，所述数据核实过滤单元用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块；将不真实的数据信息传送至数据核销单元。
11.优选的，所述数据库模块包括数据分类单元，所述数据分类单元用于对数据进行分类，并将分类后的数据输入至数据存储单元内进行存储，所述数据存储单元与数据加密单元相连，所述数据加密单元用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元内，通过云端备份单元进行备份。
12.优选的，所述数据配比转换单元与编程模型库相连，所述数据配比转换单元将收集的网页数据与编程模型库内现有的编程模型进行匹配处理。
13.优选的，一种面向社交平台的数据采集方法，包括以下步骤：
14.步骤一、首先通过服务器对用户端模块进行启动，通过用户端模块进行用户注册以及用户行为模拟记录；
15.步骤二、根据用户端模块中用户在网页的行为，使用网页数据收集模块将信息收集并转换匹配，并将处理后的数据传入数据整合模块内，同时根据用户端模块中用户在app的行为，使用app数据收集模块将信息收集并转换匹配，并将处理后的数据传入数据整合模块内；
16.步骤三、通过数据整合模块对网页数据收集模块和app数据收集模块中得到的数据进行接收、查重以及核实；
17.步骤四、通过数据库模块对整合模块中传输的真实数据进行分类整理，并进行云端备份；
18.步骤五、通过实时监测模块对服务器进行实时监测管理，当服务器发生异常时，通过系统维护模块的提示，告知技术人员需对整体系统进行维护。
19.本发明提供了一种面向社交平台的数据采集系统及其方法。具备以下有益效果：
20.1、本发明通过设置网页数据收集模块和app数据收集模块，通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生，并通过数据整合模块对双端口所收集的数据进行整合、查重、过滤，继而提高了数据采集的质量。
21.2、本发明通过实时监测模块中的运行信号读取单元、系统信号收发单元、系统数据反馈单元、定时控制单元、系统重启单元等单元的相互配合下，实现对整个系统进行实时
监测，当系统信号数据反馈异常时，命令指令重启服务器，若重启失败则会自动将信息传入系统维护模块中，通过系统维护模块告知技术人员需对系统进行维护，继而减少了因系统故障带来的数据信息漏采集的情况发生，保证该系统能够高效稳定地运行。
附图说明
22.图1为本发明的主流程图；
23.图2为本发明的用户端模块流程图；
24.图3为本发明的网页数据收集模块流程图；
25.图4为本发明的数据处理模块流程图；
26.图5为本发明的app数据收集模块流程图；
27.图6为本发明的数据整合模块流程图；
28.图7为本发明的数据库模块流程图；
29.图8为本发明的实时监测模块流程图。
30.其中，1、服务器；2、用户端模块；21、用户注册模块；22、用户行为模拟模块；23、用户行为记录模块；24、用户行为存储模块；3、网页数据收集模块；31、网页源代码获取单元；32、数据处理模块；3201、网页源代码接收单元；3202、数据预转换单元；3203、数据分析单元；3204、数据配比转换单元；33、数据缓存单元；34、数据收发单元；35、编程模型库；4、app数据收集模块；41、用户行为信息分析单元；42、app数据代码采集单元；43、数据转化单元；44、数据发送单元；5、数据整合模块；51、数据接收单元；52、数据查重单元；53、数据核实过滤单元；54、数据核销单元；6、数据库模块；61、数据分类单元；62、数据存储单元；63、数据加密单元；64、云端备份单元；7、实时监测模块；71、运行信号读取单元；72、系统信号收发单元；73、系统数据反馈单元；74、定时控制单元；75、系统重启单元；8、系统维护模块。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.实施例：
33.请参阅附图1，本发明实施例提供一种面向社交平台的数据采集系统，包括服务器1，服务器1与用户端模块2相连，用户端模块2分别与网页数据收集模块3和app数据收集模块4相连，网页数据收集模块3和app数据收集模块4分别用于收集网页和app的数据，并将数据传送至数据整合模块5，数据整合模块5用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块6，服务器1与实时监测模块7相连，实时监测模块7用于对服务器1进行实时监测，实时监测模块7与系统维护模块8相连，通过实时监测模块7，实现对整个系统进行实时监测，当系统信号数据反馈异常时，命令指令重启服务器1，若重启失败则会自动将信息传入系统维护模块8中，通过系统维护模块8告知技术人员需对系统进行维护，继而减少了因系统故障带来的数据信息漏采集的情况发生，保证该系统能够高效稳定地运行。
34.请参阅附图8，实时监测模块7包括运行信号读取单元71，运行信号读取单元71的
输入端与系统信号收发单元72的输出端相连，系统信号收发单元72的输出端与系统数据反馈单元73的输入端相连，系统数据反馈单元73用于对服务器1反馈的信号进行收集，系统数据反馈单元73与定时控制单元74相连，定时控制单元74与运行信号读取单元71相连，系统数据反馈单元73与系统重启单元75相连，系统重启单元75用于对服务器1发送重启指令，系统重启单元75与服务器1相连，系统重启单元75与系统维护模块8相连。
35.请参阅附图2，用户端模块2包括用户注册模块21，用户注册模块21用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块22，用户行为模拟模块22用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块23，用户行为记录模块23与用户行为存储模块24相连。
36.请参阅附图3，网页数据收集模块3包括网页源代码获取单元31和编程模型库35，网页源代码获取单元31与数据处理模块32相连，编程模型库35用于将现有的编程模型库35内部的信息传输至数据处理模块32，数据处理模块32与数据缓存单元33相连，数据缓存单元33用于对数据进行缓存，并将数据发送至数据收发单元34，数据收发单元34与数据整合模块5相连，分别通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生。
37.请参阅附图4，数据处理模块32包括网页源代码接收单元3201，网页源代码接收单元3201的输出端与数据预转换单元3202的输入端相连，数据预转换单元3202的输出端与数据分析单元3203的输入端相连，数据分析单元3203用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元3204，数据分析单元3203与数据缓存单元33相连。
38.请参阅附图5，app数据收集模块4包括数据接收单元51，用户行为信息分析单元41与app数据代码采集单元42相连，app数据代码采集单元42用于对app上的数据代码进行收集，并将数据转入至数据转化单元43内，数据转化单元43与数据发送单元44相连，数据发送单元44用于将转化后的数据传送至数据整合模块5。
39.请参阅附图6，数据整合模块5包括数据接收单元51，数据接收单元51的输出端与数据查重单元52的输入端相连，数据查重单元52的输出端与数据核实过滤单元53的输入端相连，数据核实过滤单元53用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块6；将不真实的数据信息传送至数据核销单元54，通过数据整合模块5对双端口所收集的数据进行整合、查重、过滤，继而提高了数据采集的质量。
40.请参阅附图7，数据库模块6包括数据分类单元61，数据分类单元61用于对数据进行分类，并将分类后的数据输入至数据存储单元62内进行存储，数据存储单元62与数据加密单元63相连，数据加密单元63用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元64内，通过云端备份单元64进行备份。
41.请参阅附图4，数据配比转换单元3204与编程模型库35相连，数据配比转换单元3204将收集的网页数据与编程模型库35内现有的编程模型进行匹配处理。
42.进一步的，本实施例还提供了一种面向社交平台的数据采集方法，包括以下步骤：
43.步骤一、首先通过服务器1对用户端模块2进行启动，通过用户注册模块21用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块22，通过用户行为模拟模块22用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块23，通过用户行为存储模块24对用户行为记录模块23所传输的行为进行存储；
44.步骤二、根据用户行为存储模块24中用户在网页的行为，使用网页源代码获取单元31进行获取，并将网页数据传送至数据处理模块32内，通过网页源代码接收单元3201对数据进行接收，并通过数据预转换单元3202将网页源代码接收单元3201中的数据转换成xml，通过数据分析单元3203对数据预转换单元3202中的xml数据进行收集，并进行分析，通过数据配比转换单元3204接收数据分析单元3203中的数据，并依据编程模型库35内部的数据对接收的数据进行分析转换匹配，匹配后数据传送至数据缓存单元33内进行缓存，由数据缓存单元33将缓存的数据继续传入数据分析单元3203中，并进行再次分析匹配，最后由数据收发单元34将转换匹配后的数据传入数据整合模块5内，根据用户行为存储模块24中用户在app的行为，使用用户行为信息分析单元41进行分析，并通过app数据代码采集单元42对用户行为信息分析单元41数据中的app代码数据进行采集，通过数据转化单元43对app数据代码采集单元42中采集的app信息进行转化，并将转化数据通过数据发送单元44发送至数据整合模块5内；
45.步骤三、通过数据接收单元51对网页数据收集模块3和app数据收集模块4中得到的数据进行接收，并通过数据查重单元52对两方获取的数据进行查重处理，剔除重复数据，通过数据核实过滤单元53对收集的数据进行真实性核实，真实数据发送至数据库模块6，不真实数据发送至数据核销单元54，并通过数据核销单元54进行核销；
46.步骤四、通过数据分类单元61对真实数据进行分类整理，并将整理后的数据传入数据存储单元62进行存储，通过数据加密单元63对数据存储单元62中的数据进行加密，同时将数据发送至云端备份单元64中，进行云端备份；
47.步骤五、通过运行信号读取单元71读取服务器1的运行信息，通过系统信号收发单元72接收并发送系统信号，通过系统数据反馈单元73获取服务器1所反馈的信号，当反馈信号正常时，发送指令到定时控制单元74，通过定时控制单元74对运行信号读取单元71进行间歇定时控制；当反馈信号异常时，发送指令至系统重启单元75中，通过系统重启单元75对服务器1发出指令，使其重启，当重启失败时，系统重启单元75发送信息并传送至系统维护模块8内，通过系统维护模块8的提示，告知技术人员需对整体系统进行维护。
48.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种面向社交平台的数据采集系统，包括服务器(1)，其特征在于，所述服务器(1)与用户端模块(2)相连，所述用户端模块(2)分别与网页数据收集模块(3)和app数据收集模块(4)相连，所述网页数据收集模块(3)和app数据收集模块(4)分别用于收集网页和app的数据，并将数据传送至数据整合模块(5)，所述数据整合模块(5)用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块(6)，所述服务器(1)与实时监测模块(7)相连，所述实时监测模块(7)用于对服务器(1)进行实时监测，所述实时监测模块(7)与系统维护模块(8)相连。2.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述实时监测模块(7)包括运行信号读取单元(71)，所述运行信号读取单元(71)的输入端与系统信号收发单元(72)的输出端相连，所述系统信号收发单元(72)的输出端与系统数据反馈单元(73)的输入端相连，所述系统数据反馈单元(73)用于对服务器(1)反馈的信号进行收集，所述系统数据反馈单元(73)与定时控制单元(74)相连，所述定时控制单元(74)与运行信号读取单元(71)相连，所述系统数据反馈单元(73)与系统重启单元(75)相连，所述系统重启单元(75)用于对服务器(1)发送重启指令，所述系统重启单元(75)与服务器(1)相连，所述系统重启单元(75)与系统维护模块(8)相连。3.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述用户端模块(2)包括用户注册模块(21)，所述用户注册模块(21)用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块(22)，所述用户行为模拟模块(22)用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块(23)，所述用户行为记录模块(23)与用户行为存储模块(24)相连。4.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述网页数据收集模块(3)包括网页源代码获取单元(31)和编程模型库(35)，所述网页源代码获取单元(31)与数据处理模块(32)相连，所述编程模型库(35)用于将现有的编程模型库(35)内部的信息传输至数据处理模块(32)，所述数据处理模块(32)与数据缓存单元(33)相连，所述数据缓存单元(33)用于对数据进行缓存，并将数据发送至数据收发单元(34)，所述数据收发单元(34)与数据整合模块(5)相连。5.根据权利要求4所述的一种面向社交平台的数据采集系统，其特征在于，所述数据处理模块(32)包括网页源代码接收单元(3201)，所述网页源代码接收单元(3201)的输出端与数据预转换单元(3202)的输入端相连，所述数据预转换单元(3202)的输出端与数据分析单元(3203)的输入端相连，所述数据分析单元(3203)用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元(3204)，所述数据分析单元(3203)与数据缓存单元(33)相连。6.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述app数据收集模块(4)包括数据接收单元(51)，所述用户行为信息分析单元(41)与app数据代码采集单元(42)相连，所述app数据代码采集单元(42)用于对app上的数据代码进行收集，并将数据转入至数据转化单元(43)内，所述数据转化单元(43)与数据发送单元(44)相连，所述数据发送单元(44)用于将转化后的数据传送至数据整合模块(5)。7.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述数据整合模块(5)包括数据接收单元(51)，所述数据接收单元(51)的输出端与数据查重单元(52)
的输入端相连，所述数据查重单元(52)的输出端与数据核实过滤单元(53)的输入端相连，所述数据核实过滤单元(53)用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块(6)；将不真实的数据信息传送至数据核销单元(54)。8.根据权利要求1所述的一种面向社交平台的数据采集系统，其特征在于，所述数据库模块(6)包括数据分类单元(61)，所述数据分类单元(61)用于对数据进行分类，并将分类后的数据输入至数据存储单元(62)内进行存储，所述数据存储单元(62)与数据加密单元(63)相连，所述数据加密单元(63)用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元(64)内，通过云端备份单元(64)进行备份。9.根据权利要求5所述的一种面向社交平台的数据采集系统，其特征在于，所述数据配比转换单元(3204)与编程模型库(35)相连，所述数据配比转换单元(3204)将收集的网页数据与编程模型库(35)内现有的编程模型进行匹配处理。10.一种面向社交平台的数据采集方法，其特征在于，使用权利要求1-9任一项所述的一种面向社交平台的数据采集系统，包括以下步骤：步骤一、通过用户端模块(2)进行用户注册以及用户行为模拟记录；步骤二、根据用户在网页的行为，使用网页数据收集模块(3)将信息收集并转换匹配，并将处理后的数据传入数据整合模块(5)内，同时根据用户端模块(2)中用户在app的行为，使用app数据收集模块(4)将信息收集并转换匹配，并将处理后的数据传入数据整合模块(5)内；步骤三、通过数据整合模块(5)对网页数据收集模块(3)和app数据收集模块(4)中得到的数据进行接收、查重以及核实；步骤四、通过数据库模块(6)对整合模块(5)中传输的真实数据进行分类整理，并进行云端备份；步骤五、通过实时监测模块(7)对服务器(1)进行实时监测管理，当服务器(1)发生异常时，通过系统维护模块(8)的提示，告知技术人员需对整体系统进行维护。

技术总结
本发明提供一种面向社交平台的数据采集系统及其方法，涉及网络数据采集技术领域。该面向社交平台的数据采集系统，包括服务器，所述服务器与用户端模块相连，所述用户端模块分别与网页数据收集模块和APP数据收集模块相连，所述网页数据收集模块和APP数据收集模块分别用于收集网页和APP的数据，并将数据传送至数据整合模块，所述数据整合模块用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块。通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生，同时减少了因系统故障带来的数据信息漏采集的情况发生，保证该系统能够高效稳定地运行。效稳定地运行。效稳定地运行。


技术研发人员：沈荣春 文德海
受保护的技术使用者：无锡轻松互联科技有限责任公司
技术研发日：2023.05.27
技术公布日：2023/8/9