一种用户信息的关联方法及设备与流程

1.本发明涉及大数据技术领域，尤指一种用户信息的关联方法及设备。


背景技术：

2.移动互联网时代，智能手机是集休闲娱乐、移动办公、社交通信等行为于一体的核心设备，而移动号码作为智能手机的网络接入id(即唯一标识)，其作用不言而喻。
3.互联网公司的数据具有局部性、割裂性、封闭性。具体说来：
4.1、数据的局部性：不能对用户全面画像，知其然不知其所以然。互联网公司只拥有用户完整流程的一部分数据，数据流程在各家公司中是局部的。
5.2、数据的割裂性：任何一家公司都没有用户行为的全流程数据，只拥有用户行为的片段数据。各家公司数据体系的不同，数据融合工作本身就是一个大工程，使得用户数据在互联网公司是割裂的。
6.3、数据的封闭性：互联网公司谈论的数据共享只是建立平台型共享，并不是真正的数据共享。
7.相比于互联网公司，运营商在数据内容和数据融合方面具有天然优势。具体来说：
8.1、全量数据：运营商具备全量的网络和通信数据，并且互联网体量越大，数据量越大。
9.2、数据融合：运营商的数据本身即是融合的，手机号码可作为用户行为的唯一标识，网络行为和通信行为均可通用。
10.3、全面数据：由于在互联网未覆盖的偏远地区建设有基站，所以可拥有全国各地的数据。
11.此外，用户在网络行为中会涉及有多个常用的应用软件，必然拥有多个互联网账号用于搜索、购物、社交等不同的行为。对于运营商而言，确定用户的信息(包括账号信息)，具有重要的意义。


技术实现要素：

12.本发明实施例提供了一种用户信息的关联方法及设备，用于获取用户的账号信息和属性信息，建立用户的唯一标识、账号信息和属性信息之间的关联关系。
13.第一方面，本发明实施例提供了一种用户信息的关联方法，包括：
14.对获取到的dpi数据进行解析，得到任一用户访问的包括url链接地址的地址库；
15.对所述地址库进行解析，获取该用户对应的账号信息；
16.通过网络爬虫，根据所述地址库，获取该用户对应的属性信息；
17.建立该用户的唯一标识、以及该用户对应的所述账号信息和所述属性信息之间的关联关系。
18.可选地，在本发明实施例中，还包括：
19.在所述账号信息为：用户用于登录应用软件的账号的信息，且根据预先设置的应
用软件常用名单，确定出获取到的该用户的所述账号信息存在缺失时，通过所述网络爬虫，根据所述地址库，获取该用户对应的缺失的账号信息；
20.将获取到的所述缺失的账号信息增加至所述关联关系中。
21.可选地，在本发明实施例中，根据预先设置的应用软件常用名单，确定出获取到的该用户的所述账号信息存在缺失，具体包括：
22.确定所述应用软件常用名单中包括的所述应用软件的个数并定义为参考数值；
23.判断获取到的该用户的所述账号信息的数量是否小于所述参考数值；
24.若是，则确定获取到的该用户的所述账号信息存在缺失；
25.若否，则确定获取到的该用户的所述账号信息不存在缺失。
26.可选地，在本发明实施例中，根据所述地址库，获取该用户对应的属性信息，具体包括：
27.根据所述地址库中所述url链接地址对应的网站内容，获取该用户对应的所述属性信息；
28.根据所述地址库，获取该用户对应的缺失的账号信息，具体包括：
29.根据所述地址库中所述url链接地址对应的网站内容，获取该用户对应的缺失的账号信息。
30.可选地，在本发明实施例中，还包括：
31.根据建立的所述关联关系，确定互联网账号数据库；
32.按照第一预设周期，对所述互联网账号数据库中的信息进行检查更新。
33.可选地，在本发明实施例中，按照预设周期，对所述互联网账号数据库中的信息进行检查更新，具体包括：
34.在到达所述第一预设周期时，重新获取该用户对应的账号信息和属性信息；
35.根据重新获取到的账号信息和属性信息，对所述互联网账号数据库中存储的信息进行所述检查更新。
36.可选地，在本发明实施例中，对所述地址库进行解析，具体包括：
37.按照预设规则，对所述地址库进行解析；
38.其中，所述预设规则包括：
39.在预先设置有第一时间段和第二时间段，且所述第一时间段和所述第二时间段交替设置时，在所述第一时间段内，对得到的每个所述地址库进行解析，在所述第二时间段时，按照第二预设周期，对得到的所述地址库进行解析。
40.可选地，在本发明实施例中，对获取到的dpi数据进行解析，具体包括：
41.采用hadoop技术，对获取到的dpi数据进行解析。
42.第二方面，本发明实施例提供了一种用户信息的关联设备，可以包括：
43.存储器，用于存储程序指令；
44.处理器，用于调用所述存储器中存储的所述程序指令，按照获得的程序执行如本发明实施例提供的上述关联方法。
45.第三方面，本发明实施例提供了一种可读性存储介质，所述可读性存储介质存储有用户信息的关联设备可执行指令，所述用户信息的关联设备可执行指令用于使用户信息的关联设备执行如本发明实施例提供的上述关联方法。
46.第四方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例提供的上述关联方法的步骤。
47.本发明有益效果如下：
48.本发明实施例提供的一种用户信息的关联方法及设备，通过对dpi数据的解析，可以得到包括url链接地址的地址库，再对地址库进行解析，即可确定出用户的账号信息，再结合网络爬虫获取到用户的属性信息，从而可以建立用户的唯一标识、账号信息和属性信息之间的关联关系，全面地获悉用户的信息，丰富用户信息的内容维度。并且，在获取到的账号信息存在多个时，可以以用户的唯一标识为中心，建立多个账号信息之间的关联关系，为用户的账号管理提供便捷。
附图说明
49.图1为本发明实施例中提供的一种用户信息的关联过程的示意图；
50.图2为本发明实施例中提供的一种用户信息的关联方法的流程图；
51.图3为本发明实施例中提供的一种用户信息的关联设备的结构示意图。
具体实施方式
52.下面将结合附图，对本发明实施例提供的一种用户信息的关联方法及设备的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.需要说明的是，在本发明实施例提供的技术方案中，对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
54.本发明实施例提出了一种用户多账户的关联方法，利用对dpi数据进行解析，以及对url进行解析，并结合网络爬虫的自主动态爬取机制，实现了用户多账户的识别、动态更新和完善。
55.其中，主要包括三个部分：对dpi数据的解析；网络爬虫的动态服务机制，实现互联网账号数据库的补充和完善；互联网账号数据库的自主更新和完善机制，利用dpi数据和网络爬虫得到的数据，定期更新互联网账号数据库，修改用户已更改的账号和错误账号等。
56.本发明在现有技术的基础上，对dpi数据进行解析，可以得到标准五元组和url链接地址，通过url链接地址可以直接识别到用户的部分账户信息(如账号信息)；通过网络爬虫的动态服务机制，可以获取到用户的属性信息，解决对用户访问的url链接地址对应的网站内容进行分析后账户信息不全面、或者维度有限的问题，从而可以补充和丰富互联网账号数据库。
57.本发明实施例中，网络爬虫的动态服务机制具有动态性和自主性；
58.其中，动态性是指：根据对dpi数据进行分析，对用户访问的url链接地址进行分析挖掘，得到账号信息或者id信息后，如果挖掘得到的账号信息无缺失，则保存账号信息并更新互联网账号数据库；如果挖掘得到的账号信息有缺失，则可以触发网络爬虫，网络爬虫可以根据用户访问的url链接地址对应的网站内容，获取到缺失的账号信息，并补充完善该用
户的互联网账号数据库；
59.自主性是指：网络爬虫在根据用户访问的url链接，访问url链接对应网站内容中的用户信息时，可以自主判别用户在该网站的属性信息，比如年龄、性别、邮箱等其他内容，补充互联网账号数据库的用户账号及次级的属性信息。
60.本发明实施例中，还提出了互联网账号数据库的自主更新机制；由于分析挖掘dpi数据中用户访问的url链接地址时，得到的用户账号信息难免会有所缺失，即使通过网络爬虫进行数据获取，用户账号信息也会需要更新。
61.基于此，提出了互联网账号数据库的自主更新机制，提供了持久的数据补充和完善过程；
62.具体地，按照第一预设周期，对互联网账号数据库进行定期检查，例如但不限于每天、每周或每月检查一次，基于重新获取到的信息，查看一下互联网账号数据库中存储的信息，并进行更新和完善。
63.并且，由于用户的账号信息一般较稳定，并不会时刻都会发生变化，所以对于dpi数据中用户访问的url链接地址的挖掘解析过程，可以采用以下方式执行：
64.实时解析和定期解析相结合。
65.例如，在一段时间(例如但不限于一周)内进行实时解析，在这段时间结束后的一段时间(例如但不限于一个月)内进行定期解析，在定期解析的周期结束后，再进行一段时间的实时解析；也即，实时解析和定期解析间隔执行。
66.下面结合具体实施例进行说明。
67.1、dpi数据的解析。
68.运营商提供的dpi数据为深度包解析数据，即用户网络行为数据，包括移动网数据和固网宽带数据。
69.普通报文检测仅可以分析出数据报文的ip五元组(包括源地址、目的地址、源端口、目的端口、以及协议类型)。
70.对dpi数据的解析过程，可以深入读取ip报文所载荷的内容，以对应用层信息进行重组，从而可以得到整个应用程序的内容，然后可以解析出用户访问的url链接地址。
71.基于此，本发明实施例中，在进行解析时，采用hadoop集群及其组件进行解析，同时为其他应用提供数据接口或api接口。
72.具体地，采用hadoop集群及其组件进行解析的过程，可以包括：
73.采用kafka进行数据消息的同步，利用storm对dpi数据进行二进制流的解析过程，可以得到解析后的数据(即文本文件)；
74.采用hadoop的hdfs，存储解析后的数据；
75.采用hadoop的mapreduce/hive工具，根据解析后的数据，确定出用户访问的url链接地址。
76.2、账号关联识别。
77.在发明实施例中，基于用户的某个互联网动作(包括：登录账号、发表说说、传递图片等)，抓取对应的url；
78.对抓取到的url进行分段解析；
79.定位账号在url中的位置属性，得到用户的账号。
80.并且，对于用户的账户信息有缺失的情况，可以触发网络爬虫，以补充缺失的内容，同时利用网络爬虫的自主获取能力，扩充互联网账号数据库中的用户的属性信息。
81.对利用dpi数据挖掘用户的账号的过程，进行举例说明。
82.例如：针对应用软件i，通过用户登录和发说说两个动作，抓取url并识别账号。
83.第一步：通过手机app登录应用软件i的登录动作，可以抓取到用户登录时产生的一条url，其中还url中包含uid，且通过不同的账号登录时会产生不同的uid；
84.其中，url链接地址可以但不限于为：http://wbapp.mobile.******？uid＝509xxxx673&。
85.第二步：通过固网登录应用软件i的账号，应用软件i的主页url中存在和app登录时产生的url相同的uid；
86.例如：http://eibo.*****/509xxxx673/****。
87.第三步：结合以上两步确认出用户的应用软件i的账号。
88.具体地，第一步中识别出的uid为509xxxx673，第二步中识别出的uid同样为509xxxx673，因此，可以确定用户的应用软件i的账号为：509xxxx673。
89.例如：针对应用软件k，通过用户对应用软件k的行为抓取url，如账号登录、点击应用软件k、接收图片的url等进行账号的识别。
90.第一步：点击应用软件k里的某功能模块时，可以产生用户的登录账号。
91.例如：http://bl.qq.com/cgi-****314xxxx229***。
92.第二步：接受图片时产生的url中也同样能识别出用户的账号。
93.例如：http://******offpic_new/314xxxx229/*******。
94.第三步：结合如上两步可以确认出用户的应用软件k账号。
95.具体地，第一步中识别出的账号为314xxxx229，第二步中识别出的账号同样为314xxxx229，因此，可以确定用户的应用软件k的账号为：314xxxx229。
96.例如：针对某东购物商城，可以通过反向识别的方式可以识别出账号。
97.第一步：通过正则表达式的方式，可以识别出邮箱用户的dpi。
98.第二步：通过找到的dpi规则寻找普通用户的账号信息。
99.http://csc.***.com/log****zhixxxxxk@sxxxx.com％***。
100.其中，基于上述url，找到的用户的账号为邮箱，即：zhixxxxxk@sxxxx.com。
101.之后，基于得到的用户的账号信息，可以建立用户的手机号与对应的不同app中的账号信息之间的关联关系；
102.例如，如表1所示，同一手机号可能登录注册有多个app，如表1中示出的“wb”、“q*”、“tb”、“j*”等这些app，且在每个app中的昵称或账号名称可能存在不同，此时可以建立它们之间的关联关系，通过该关联关系，可以了解到同一手机号对应的不同账号信息。
103.表1
104.手机号wbq*tbj*1336xxxxx87588xxxx950121xxxx28蓝x力00聆xxx开1771xxxxx69562xxxx730392xxxx144tb06xx011tb8xxx82_991730xxxxx20589xxxx533102xxxx1831v0xxx这xxx你w
105.通过互联网账户数据库，可以用于运营商内容的客户服务和感知提升，同时也可
用于外部数据交易，作为移动互联网时代用户数据统一体系的唯一id信息，在数据融合和数据合作交易层面具有重要意义。
106.3、自主爬虫服务和更新机制。
107.结合图1所示，在通过对dpi数据的解析挖掘出url链接地址，再对url链接地址进行解析，可以得到用户的账号信息，补充至互联网账号数据库中时，可以通过网络爬虫获取用户的属性信息，也可以补充至互联网账号数据库中，增加用户的属性维度(例如但不限于表2中示出的性别、年龄、兴趣等)，最后完善互联网账号数据库(如下表2所示)。
108.表2
109.手机号wb
…
性别年龄兴趣1336xxxxx87588xxxx950
…
男26体育、摄影1771xxxxx69562xxxx730
…
女24游戏、看书1730xxxxx20589xxxx533
…
女30旅游
110.综上，本发明实施例提供了一种用户信息的关联方法，如图2所示，可以包括：
111.s201、对获取到的dpi数据进行解析，得到任一用户访问的包括url链接地址的地址库；
112.其中，地址库中包括的url链接地址可能有一条，与可能有多条，在此并不限定，此处只需要找出某个用户对应的全部url链接地址即可。
113.s202、对地址库进行解析，获取该用户对应的账号信息；
114.s203、通过网络爬虫，根据地址库，获取该用户对应的属性信息；
115.s204、建立该用户的唯一标识、以及该用户对应的账号信息和属性信息之间的关联关系。
116.其中，用户的唯一标识，可以但不限于为用户的电话号码(如手机号码)；当然，还可以为其他可以用于表示用户唯一身份的标识，在此并不限定。
117.如此，通过对dpi数据的解析，可以得到包括url链接地址的地址库，再对地址库进行解析，即可确定出用户的账号信息，再结合网络爬虫获取到用户的属性信息，从而可以建立用户的唯一标识、账号信息和属性信息之间的关联关系，全面地获悉用户的信息，丰富用户信息的内容维度。并且，在获取到的账号信息存在多个时，可以以用户的唯一标识为中心，建立多个账号信息之间的关联关系，为用户的账号管理提供便捷。
118.可选地，在本发明实施例中，还包括：
119.在账号信息为：用户用于登录应用软件的账号的信息，且根据预先设置的应用软件常用名单，确定出获取到的该用户的账号信息存在缺失时，通过网络爬虫，根据地址库，获取该用户对应的缺失的账号信息；
120.将获取到的缺失的账号信息增加至关联关系中。
121.如此，在通过url链接地址获取到的账号信息存在缺失时，还可以通过网络爬虫获取缺失的账号信息，从而实现对账号信息进行补全和完善。
122.可选地，在本发明实施例中，根据预先设置的应用软件常用名单，确定出获取到的该用户的账号信息存在缺失，具体包括：
123.确定应用软件常用名单中包括的应用软件的个数并定义为参考数值；
124.判断获取到的该用户的账号信息的数量是否小于参考数值；
125.若是，则确定获取到的该用户的账号信息存在缺失；
126.若否，则确定获取到的该用户的账号信息不存在缺失。
127.其中，在用户通过账号登录某个应用软件时，一般会绑定用户的手机号，所以在一个应用软件中，每个手机号对应一个账号。
128.如此，可以确定出获取到的用户的账号信息是否存在缺失，从而在存在缺失时，再通过网络爬虫去获取缺失的账号信息，实现对账号信息进行补全和完善。
129.可选地，在本发明实施例中，根据地址库，获取该用户对应的属性信息，具体包括：
130.根据地址库中url链接地址对应的网站内容，获取该用户对应的属性信息；
131.根据地址库，获取该用户对应的缺失的账号信息，具体包括：
132.根据地址库中url链接地址对应的网站内容，获取该用户对应的缺失的账号信息。
133.如此，可以通过网络爬虫，获取到用户的属性信息和缺失的账号信息。
134.可选地，在本发明实施例中，还包括：
135.根据建立的关联关系，确定互联网账号数据库；
136.按照第一预设周期，对互联网账号数据库中的信息进行检查更新。
137.如此，可以实现对互联网账号数据库的动态更新，保证建立的互联网账号数据库的准确性和有效性。
138.可选地，在本发明实施例中，按照预设周期，对互联网账号数据库中的信息进行检查更新，具体包括：
139.在到达第一预设周期时，重新获取该用户对应的账号信息和属性信息；
140.根据重新获取到的账号信息和属性信息，对互联网账号数据库中存储的信息进行检查更新。
141.如果，可以实现对互联网账号数据库的动态更新，保证建立的互联网账号数据库的准确性和有效性。
142.可选地，在本发明实施例中，对地址库进行解析，具体包括：
143.按照预设规则，对地址库进行解析；
144.其中，预设规则包括：
145.在预先设置有第一时间段和第二时间段，且第一时间段和第二时间段交替设置时，在第一时间段内，对得到的每个地址库进行解析，在第二时间段时，按照第二预设周期，对得到的地址库进行解析。
146.如此，可以有利于降低关联设备的运算量和功耗，同时还可以实现用户信息的确定，实现用户多账号的关联。
147.可选地，在本发明实施例中，对获取到的dpi数据进行解析，具体包括：
148.采用hadoop技术，对获取到的dpi数据进行解析。
149.当然，在实际情况中，对dpi数据进行解析的方式，并不限于hadoop技术，还可以采用其他可以实现解析功能的方式，在此并不限定。
150.基于同一发明构思，本发明实施例提供了一种用户信息的关联设备，该关联设备的实现原理与前述一种用户信息的关联方法的实现原理类似，该关联设备的具体实施方式可参见前述关联方法的具体实施例，重复之处不再赘述。
151.具体地，本发明实施例提供的一种用户信息的关联设备，如图3所示，可以包括：
152.存储器301，用于存储程序指令；
153.处理器302，用于调用存储器301中存储的程序指令，按照获得的程序执行如本发明实施例提供的上述关联方法。
154.基于同一发明构思，本发明实施例提供了一种可读性存储介质，可读性存储介质存储有用户信息的关联设备可执行指令，用户信息的关联设备可执行指令用于使用户信息的关联设备执行如本发明实施例提供的上述关联方法。
155.基于同一发明构思，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本发明实施例提供的上述关联方法的步骤。
156.需要强调的是，在本发明实施例中，具有以下优势：
157.1、利用dpi数据以用户的唯一标识(即用户的电话号码)为中心，实现用户多账号的关联，并构建互联网账号数据库，通过自主动态爬虫服务，能够根据dpi数据中的url链接地址，自动爬取网页信息，实现用户的账号信息和属性信息的补充完善。
158.2、利用dpi海量数据和实时性，结合自主动态爬虫服务，实时更新完善用户的互联网关账号数据库，对运营商数据价值沉淀和质量提升有重要作用。
159.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种用户信息的关联方法，其特征在于，包括：对获取到的dpi数据进行解析，得到任一用户访问的包括url链接地址的地址库；对所述地址库进行解析，获取该用户对应的账号信息；通过网络爬虫，根据所述地址库，获取该用户对应的属性信息；建立该用户的唯一标识、以及该用户对应的所述账号信息和所述属性信息之间的关联关系。2.如权利要求1所述的关联方法，其特征在于，还包括：在所述账号信息为：用户用于登录应用软件的账号的信息，且根据预先设置的应用软件常用名单，确定出获取到的该用户的所述账号信息存在缺失时，通过所述网络爬虫，根据所述地址库，获取该用户对应的缺失的账号信息；将获取到的所述缺失的账号信息增加至所述关联关系中。3.如权利要求2所述的关联方法，其特征在于，根据预先设置的应用软件常用名单，确定出获取到的该用户的所述账号信息存在缺失，具体包括：确定所述应用软件常用名单中包括的所述应用软件的个数并定义为参考数值；判断获取到的该用户的所述账号信息的数量是否小于所述参考数值；若是，则确定获取到的该用户的所述账号信息存在缺失；若否，则确定获取到的该用户的所述账号信息不存在缺失。4.如权利要求1或2所述的关联方法，其特征在于，根据所述地址库，获取该用户对应的属性信息，具体包括：根据所述地址库中所述url链接地址对应的网站内容，获取该用户对应的所述属性信息；根据所述地址库，获取该用户对应的缺失的账号信息，具体包括：根据所述地址库中所述url链接地址对应的网站内容，获取该用户对应的缺失的账号信息。5.如权利要求1所述的关联方法，其特征在于，还包括：根据建立的所述关联关系，确定互联网账号数据库；按照第一预设周期，对所述互联网账号数据库中的信息进行检查更新。6.如权利要求5所述的关联方法，其特征在于，按照预设周期，对所述互联网账号数据库中的信息进行检查更新，具体包括：在到达所述第一预设周期时，重新获取该用户对应的账号信息和属性信息；根据重新获取到的账号信息和属性信息，对所述互联网账号数据库中存储的信息进行所述检查更新。7.如权利要求1所述的关联方法，其特征在于，对所述地址库进行解析，具体包括：按照预设规则，对所述地址库进行解析；其中，所述预设规则包括：在预先设置有第一时间段和第二时间段，且所述第一时间段和所述第二时间段交替设置时，在所述第一时间段内，对得到的每个所述地址库进行解析，在所述第二时间段时，按照第二预设周期，对得到的所述地址库进行解析。8.如权利要求1所述的关联方法，其特征在于，对获取到的dpi数据进行解析，具体包
括：采用hadoop技术，对获取到的dpi数据进行解析。9.一种用户信息的关联设备，其特征在于，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的所述程序指令，按照获得的程序执行如权利要求1-8任一项所述的关联方法。10.一种可读性存储介质，其特征在于，所述可读性存储介质存储有用户信息的关联设备可执行指令，所述用户信息的关联设备可执行指令用于使用户信息的关联设备执行如权利要求1-8任一项所述的关联方法。11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的关联方法的步骤。

技术总结
本发明公开了一种用户信息的关联方法及设备，通过对DPI数据的解析，可以得到包括URL链接地址的地址库，再对地址库进行解析，即可确定出用户的账号信息，再结合网络爬虫获取到用户的属性信息，从而可以建立用户的唯一标识、账号信息和属性信息之间的关联关系，全面地获悉用户的信息，丰富用户信息的内容维度。并且，在获取到的账号信息存在多个时，可以以用户的唯一标识为中心，建立多个账号信息之间的关联关系，为用户的账号管理提供便捷。为用户的账号管理提供便捷。为用户的账号管理提供便捷。


技术研发人员：贾育 邓超 宋泽宇
受保护的技术使用者：中国电信股份有限公司
技术研发日：2021.12.30
技术公布日：2023/7/13