抓包系统和方法与流程

1.本发明属于抓包技术领域，尤其涉及一种抓包系统和方法。


背景技术：

2.随着互联网飞速发展，各种社交软件包含着大量的信息，通过对社交软件的数据抓取和监控，再利用大数据的方法能够对目标人物的行为进行有效分析。目前数据抓取主要依靠抓包工具将app发送的数据请求拦截再发送到服务器上。即app发送的请求会发送给抓包工具，然后这个抓包工具再将请求发送给服务器，这过程抓包工具就能拦截到数据请求与响应结果，从而实现数据的拦截。然而，抓包通常都需要面对多数的抓包设备，现有抓包工具面对多台抓包设备时，使用的策略是将抓包工具与抓包设备一对一绑定，当抓包工具出现异常时，与其绑定的抓包设备也无法正常使用，同样的，当抓包设备出现异常时，抓包工具也将失去作用，无法充分利用系统中所有的设备或工具，严重影响抓包效率，同时数据包的拦截与响应会出现延迟的情况，导致抓包效率降低。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够提高抓包效率的抓包系统和方法。
4.本发明提供一种抓包系统，包括：服务器和至少一个与服务器通信的抓包设备；其中，服务器包括设备调度模块、burpsuite调度模块、burpsuite服务集群模块和数据存储模块；设备调度模块，用于调度空闲的抓包设备；抓包设备，用于向burpsuite调度模块申请空闲的burpsuite服务，通过burpsuite调度模块提供的接口查询与burpsuite服务对应的代理并绑定后，利用burpsuite服务拦截数据请求，将成功拦截的数据持久化存储到数据存储模块；burpsuite调度模块，用于从burpsuite服务集群模块中调度空闲的burpsuite服务；数据存储模块，用于持久化存储拦截的数据。
5.在其中一个实施例中，还包括：当数据持久化存储到数据存储模块后，所述抓包设备与所述burpsuite服务的代理解绑、所述burpsuite调度模块释放占有的所述burpsuite服务，以及所述设备调度模块释放所述抓包设备。
6.在其中一个实施例中，所述抓包设备还用于向burpsuite调度模块申请到空闲的burpsuite服务并查询到对应的代理绑定后，设置虚拟专用网络作为所述burpsuite服务对应代理的上游代理。
7.在其中一个实施例中，所述设备调度模块还用于根据各个所述抓包设备的设备使用情况调度空闲的抓包设备。
8.在其中一个实施例中，所述数据存储模块包括mysql、mongodb、kafka和hbase中任
意一个或多个数据库。
9.一种抓包方法，应用于服务器，包括：利用设备调度模块从通信的各个抓包设备中调度空闲的抓包设备；通过burpsuite调度模块接收抓包设备的服务申请请求，并响应服务申请请求从burpsuite服务集群模块中调度空闲的burpsuite服务；由抓包设备通过burpsuite调度模块提供的接口查询与urp suite服务对应的代理并绑定后，利用burpsuite服务拦截数据请求；通过数据存储模块将成功拦截的数据持久化存储。
10.在其中一个实施例中，利用设备调度模块从通信的各个抓包设备中调度空闲的抓包设备，包括：利用设备调度模块，根据各个抓包设备的设备使用情况调度空闲的抓包设备。
11.一种抓包方法，应用于抓包设备，包括：响应服务器中设备调度模块的调度，向服务器的burpsuite调度模块申请空闲的burpsuite服务；通过burpsuite调度模块提供的接口查询与burpsuite服务对应的代理并绑定后，利用burpsuite服务拦截数据请求；将成功拦截的数据持久化存储到服务器的数据存储模块。
12.在其中一个实施例中，利用burpsuite服务拦截数据请求之前，还包括：设置虚拟专用网络作为burpsuite服务对应代理的上游代理。
13.在其中一个实施例中，还包括：在当前的burpsuite服务故障后，重新申请空闲的burpsuite服务；并在数据持久化到数据存储模块后，与burpsuite服务对应的代理解绑。
14.上述抓包系统和方法，通过设备调度中心从抓包设备调度空闲的抓包设备，并通过burpsuite调度模块为抓包设备从burpsuite服务集群模块中调度空闲的burpsuite服务后，由抓包设备与burpsuite服务对应代理绑定，利用burpsuite服务拦截数据请求，并在成功拦截数据后将数据持久化存储到数据存储模块。该系统在抓包过程中为抓包设备动态调配burpsuite服务进行抓包，能够避免一对一绑定方式其中一方异常所导致抓包效率降低的问题。并且，通过部署分布式的burpsuite服务，即使面对多个设备抓包也可以及时拦截和响应，从而提高抓包处理效率。
附图说明
15.图1为一个实施例中抓包系统的结构示意图；图2为一个实施例中抓包方法的流程示意图一；图3为一个实施例中抓包方法的流程示意图二；图4为一个实施例中抓包方法的流程示意图三。
具体实施方式
16.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
17.在一个实施例中，如图1所示，提供一种抓包系统的结构示意图，包括：服务器100和至少一个与服务器100通信的抓包设备200。其中，服务器100包括设备调度模块、burpsuite调度模块，burpsuite服务集群模块以及数据存储模块。
18.具体的，抓包设备是指用于抓包的终端设备，比如手机，可横向扩充抓包设备的数量。burpsuite是一个包含许多工具的集成平台，本技术实施例利用burpsuite作为抓包工具。设备调度模块用于对所有的抓包设备进行统一调度管理，包括申请设备、释放设备、设备绑定代理和设备解绑代理等功能。也就是说，抓包设备200是受服务器100中设备调度模块管理的，可以理解为是抓包设备的调度管理中心。burpsuite调度模块用于对所有已部署的burpsuite服务进行统一调度管理，包括申请burpsuite服务、释放burpsuite服务、查询burpsuite代理、以及还可以包括注册/注销burpsuite服务等。burpsuite服务集群模块则是受burpsuite调度模块管理的，包括若干burpsuite服务的集群，同样可横向在burpsuite服务集群模块中扩展burpsuite服务规模。数据存储模块主要用于持久化经过burpsuite服务拦截的请求数据，数据存储模块可以包括mysql、mongodb、kafka和hbase等中的任意一种或多种数据库。
19.基于此，当抓包流程开始时，设备调度模块先从各个抓包设备中调度空闲的抓包设备。在调度到空闲的抓包设备之后，由该抓包设备向burpsuite调度模块申请burpsuite服务。burpsuite调度模块则从burpsuite服务集群模块中申请调度空闲的burpsuite服务，同时向抓包设备提供接口供其查询所申请到的burpsuite服务对应的代理。然后，抓包设备与burpsuite服务对应的代理进行绑定，从而利用所绑定代理对应的burpsuite服务开始抓包。即抓包设备利用burpsuite服务拦截数据请求，并在成功拦截数据后将数据持久化存储到数据存储模块。
20.另外，burpsuite调度模块还可以通过心跳，对所管理的burpsuite服务和代理进行实时监控。心跳就是以固定的频率向其他节点汇报当前节点状态的方式，若收到心跳一般可以认为一个节点和现在的网络拓扑是良好的。
21.上述抓包系统，在抓包过程中为抓包设备动态调配burpsuite服务进行抓包，能够避免一对一绑定方式其中一方异常所导致抓包效率降低的问题。并且，通过部署分布式的burpsuite服务，即使面对多个设备抓包也可以及时拦截和响应，从而提高抓包处理效率。
22.在一个实施例中，当数据持久化到数据存储模块后，还包括：抓包设备与burpsuite服务的代理解绑、burpsuite调度模块释放占有的burpsuite服务，以及设备调度模块释放抓包设备。
23.具体的，在抓包完成之后，为了便于其他抓包流程或后续抓包流程的顺利执行，需要对本次抓包所调度的设备和所占有的相关服务进行释放。即，抓包设备与绑定的burpsuite服务的代理进行解绑。burpsuite调度模块释放掉本次抓包所申请占用的burpsuite服务，便于该服务可以被再次申请调用。同理，设备调度模块释放本次抓包所申请的抓包设备，使得无需使用的抓包设备重新回到空闲状态，便于其他需求调用该抓包设备。
24.在一个实施例中，抓包设备与burpsuite服务的代理绑定，主要通过预先编写的与绑定操作相关的脚本来自动执行。同时，在完成与burpsuite服务的代理绑定后，抓包设备进一步将设备的虚拟专用网络(vpn， virtual private network)设置为burpsuite服务对
应代理的上游代理，即相当于通过脚本自动设置vpn为burpsuite服务所使用的上游代理。
25.通过为burpsuite服务设置的上游代理，能够确保网速的同时隐藏burpsuite的真实地址，从而保证隐私提高抓包的安全性。也就是说，上游代理是相对于burpsuite服务的代理而言的。burpsuite通过绑定上游代理达到隐藏真实ip(internet protocol,互联网协议)的作用。为了抓包效率和安全，实际应用情况下一个上游代理最好只绑定2-3个burpsuite服务。
26.在一个实施例中，设备调度模块调度空闲的抓包设备时，可以根据各抓包设备的设备使用情况调度空闲的抓包设备。也就是说，若有空闲的抓包设备，则直接分配该空闲的抓包设备。若没有空闲设备，则重复申请直至领取到空闲的抓包设备。
27.在一个实施例中，如图2所示，提供一种抓包方法的流程示意图，该抓包方法应用于图1所示的服务器和抓包设备中。以下，基于图2所示的流程图对本技术实施例的抓包方法进行说明，包括以下步骤：步骤s201，申请抓包设备：设备调度模块申请可用的抓包设备。
28.步骤s202，判断是否有空闲的抓包设备。若抓包设备中有空闲的抓包设备，进入步骤s203。若没有空闲的抓包设备，返回步骤s201，重复向设备调度模块发起设备申请，直到领取到空闲的抓包设备，进入步骤s203。
29.步骤s203，申请burpsuite服务：抓包设备向burpsuite调度模块申请burpsuite服务。
30.步骤s204，判断是否有空闲的burpsuite服务。burpsuite调度模块申请burpsuite使用权限。若burpsuite服务集群模块中有空闲的burpsuite服务，分配该burpsuite服务，进入步骤s205。否则，返回步骤s203，重复申请，直到分配到burpsuite服务的使用权限。
31.步骤s205，查询burpsuite服务的对应的代理。burpsuite调度模块向抓包设备提供接口供其查询burpsuite服务对应的代理。
32.步骤s206，抓包设备自动绑定burpsuite服务对应的代理并通过预先编写的脚本，设置vpn为burpsuite所对应的上游代理，完成代理绑定。
33.步骤s207，抓包设备执行采集脚本。
34.步骤s208，burpsuite服务拦截数据请求并处理。
35.步骤s209，判断是否正常处理数据，若数据处理正常，进入步骤s210。若数据处理不正常，进入步骤s214。
36.步骤s210，将拦截的请求数据持久化存储到数据存储模块。
37.步骤s211，抓包设备解绑burpsuite服务对应的代理。
38.步骤s212，burpsuite调度模块释放占有的burpsuite服务。
39.步骤s213，设备调度模块释放抓包设备。
40.步骤s214，burpsuite调度模块释放占有的burpsuite服务。
41.步骤s215，抓包设备解绑burpsuite服务对应的代理。
42.在一个实施例中，以抓包方法应用于服务器上为例，提供一种抓包方法的流程示意图，如图3所示，包括步骤s301-s303。
43.s301，利用设备调度模块从通信的各个抓包设备中调度空闲的抓包设备。
44.s302，通过burpsuite调度模块接收抓包设备的服务申请请求，并响应服务申请请
求从burpsuite服务集群模块中调度空闲的burpsuite服务；由抓包设备通过burpsuite调度模块提供的接口查询与burpsuite服务对应的代理并绑定后，利用burpsuite服务拦截数据请求。
45.s303，通过数据存储模块将成功拦截的数据持久化存储。
46.具体的，当服务器开始执行抓包流程时，首先利用设备调度模块，基于通信的各个抓包设备的设备使用情况来调度空闲的抓包设备。然后，在burpsuite调度模块接收到抓包设备的服务申请请求时，响应该服务申请请求从burpsuite服务集群模块中申请空闲的burpsuite服务并提供该burpsuite服务对应代理的查询接口给抓包设备。由抓包设备基于接口查询到burpsuite对应代理并绑定后，再为该burpsuite服务设置上游代理后，利用burpsuite服务进行抓包。最后，抓包设备将拦截的数据返回给服务器，由数据存储模块持久化存储该数据。
47.在一个实施例中，以抓包方法应用于抓包设备上为例，提供一种抓包方法的流程示意图，如图4所示，包括步骤s401-s403。
48.s401，响应服务器中设备调度模块的调度，向服务器的burpsuite调度模块申请空闲的burpsuite服务。
49.s402，通过burpsuite调度模块提供的接口查询与burpsuite服务对应的代理并绑定后，利用burpsuite服务拦截数据请求。
50.s403，将成功拦截的数据持久化存储到服务器的数据存储模块。
51.具体的，当服务器开始执行抓包流程时，抓包设备响应服务器中设备调度模块的调度，首先向服务器的burpsuite调度模块申请空闲的burpsuite服务。其中，burpsuite调度模块从burpsuite服务集群模块中为抓包设备申请空闲的burpsuite服务并向抓包设备提供查询该burpsuite服务对应代理的接口。然后，抓包设备根据接口查询到burpsuite服务对应代理后于其绑定，并且为其设置vpn为上游代理后，利用burpsuite服务进行抓包。最后，抓包设备将拦截的数据返回给服务器，由服务器的数据存储模块持久化存储该数据。
52.上述抓包方法，在抓包过程中为抓包设备动态调配burpsuite服务进行抓包，能够避免一对一绑定方式其中一方异常所导致抓包效率降低的问题。并且，通过部署分布式的burpsuite服务，即使面对多个设备抓包也可以及时拦截和响应，从而提高抓包处理效率。同时，通过为burpsuite服务设置上游代理，能够确保网速的同时隐藏burpsuite的真实地址，从而保证隐私提高抓包的安全性。
53.应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
54.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。
55.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
56.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种抓包系统，其特征在于，包括：服务器和至少一个与所述服务器通信的抓包设备；其中，所述服务器包括设备调度模块、burpsuite调度模块、burpsuite服务集群模块和数据存储模块；所述设备调度模块，用于调度空闲的所述抓包设备；所述抓包设备，用于向所述burpsuite调度模块申请空闲的burpsuite服务，通过所述burpsuite调度模块提供的接口查询与所述burpsuite服务对应的代理并绑定后，利用所述burpsuite服务拦截数据请求，将成功拦截的数据持久化存储到所述数据存储模块；所述burpsuite调度模块，用于从所述burpsuite服务集群模块中调度空闲的所述burpsuite服务；所述数据存储模块，用于持久化存储拦截的数据。2.根据权利要求1所述的系统，其特征在于，还包括：当数据持久化存储到所述数据存储模块后，所述抓包设备与所述burpsuite服务的代理解绑、所述burpsuite调度模块释放占有的所述burpsuite服务，以及所述设备调度模块释放所述抓包设备。3.根据权利要求1所述的系统，其特征在于，所述抓包设备还用于向所述burpsuite调度模块申请到空闲的burpsuite服务并查询到对应的代理绑定后，设置虚拟专用网络作为所述burpsuite服务对应代理的上游代理。4.根据权利要求1所述的系统，其特征在于，所述设备调度模块还用于根据各个所述抓包设备的设备使用情况调度空闲的抓包设备。5.根据权利要求1所述的系统，其特征在于，所述数据存储模块包括mysql、mongodb、kafka和hbase中任意一个或多个数据库。6.一种抓包方法，其特征在于，应用于服务器，包括：利用设备调度模块从通信的各个抓包设备中调度空闲的抓包设备；通过burpsuite调度模块接收所述抓包设备的服务申请请求，并响应所述服务申请请求从burpsuite服务集群模块中调度空闲的burpsuite服务；由所述抓包设备通过所述burpsuite调度模块提供的接口查询与所述burpsuite服务对应的代理并绑定后，利用所述burpsuite服务拦截数据请求；通过数据存储模块将成功拦截的数据持久化存储。7.根据权利要求6所述的方法，其特征在于，所述利用设备调度模块从通信的各个抓包设备中调度空闲的抓包设备，包括：利用设备调度模块，根据各个所述抓包设备的设备使用情况调度空闲的抓包设备。8.一种抓包方法，其特征在于，应用于抓包设备，包括：响应服务器中设备调度模块的调度，向所述服务器的burpsuite调度模块申请空闲的burpsuite服务；通过所述burpsuite调度模块提供的接口查询与所述burpsuite服务对应的代理并绑定后，利用所述burpsuite服务拦截数据请求；将成功拦截的数据持久化存储到所述服务器的数据存储模块。9.根据权利要求8所述的方法，其特征在于，所述利用所述burpsuite服务拦截数据请求之前，还包括：设置虚拟专用网络作为所述burpsuite服务对应代理的上游代理。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：在当前的burpsuite服务故障后，重新申请空闲的burpsuite服务；并在数据持久化到数据存储模块后，与所述burpsuite服务对应的代理解绑。

技术总结
本发明涉及抓包技术领域，提供一种抓包系统和方法，包括服务器和至少一个抓包设备；其中，服务器包括设备调度模块、BurpSuite调度模块、BurpSuite服务集群模块和数据存储模块；设备调度模块，用于调度空闲的抓包设备；抓包设备，用于向BurpSuite调度模块申请空闲的BurpSuite服务，通过BurpSuite调度模块提供的接口查询与BurpSuite服务对应的上游代理并绑定后，利用BurpSuite服务拦截数据请求，将成功拦截的数据持久化存储到数据存储模块；BurpSuite调度模块，用于从BurpSuite服务集群模块中调度空闲的BurpSuite服务。本系统能够提高抓包效率。提高抓包效率。提高抓包效率。


技术研发人员：林鹏 曾琰 何子洋 黄九鸣 张圣栋
受保护的技术使用者：湖南星汉数智科技有限公司
技术研发日：2023.07.11
技术公布日：2023/8/9