基于DPI的物联网终端检测方法、系统及存储介质与流程

基于dpi的物联网终端检测方法、系统及存储介质
技术领域
1.本发明涉及物联网技术领域，尤其涉及一种基于dpi的物联网终端检测方法、系统及存储介质。


背景技术：

2.物联网卡采用各自物联网专用号段，通过专用网元设备支持包括短信、无线数据及语音等基础通信服务，面向物联网终端，提供自主的通信连接管理和终端管理等智能连接服务。目前主要基于模组型号判断物联网卡是否用于真实物联网终端，由于外部环境和技术升级变化，存在终端imei篡改和老旧终端场景误判问题，现有检测方法无法对所有物联网卡是否用于真实物联网终端场景进行识别，物联网终端识别不够全面，精准度较低。


技术实现要素：

3.本发明实施例提供了一种基于dpi的物联网终端检测方法、系统及存储介质，旨在提升现有物联网终端识别的全面性和精准性。
4.第一方面，本发明实施例提供了一种基于dpi的物联网终端检测方法，其包括：
5.dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；
6.实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；
7.并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。
8.第二方面，本发明实施例还提供了一种基于dpi的物联网终端检测系统，其包括：配置于dpi数据采集平台中的采集单元，配置于实时数据处理平台中的分块剪枝单元、以及配置于并行分治决策平台中的识别单元，其中，
9.所述采集单元用于dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；
10.所述分块剪枝单元用于实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；
11.所述识别单元用于并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。
12.第三方面，本发明实施例还提供了一种基于dpi的物联网终端检测系统，其包括dpi数据采集平台、实时数据处理平台以及行分治决策平台，所述dpi数据采集平台、实时数据处理平台以及行分治决策平台均包括存储器及处理器，所述存储器上存储有计算机程序，所述dpi数据采集平台、实时数据处理平台以及行分治决策平台的所述处理器执行所述计算机程序时实现上述方法。
13.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储
有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。
14.本发明实施例提供了一种基于dpi的物联网终端检测方法、系统及存储介质。其中，所述方法包括：dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。本发明实施例的技术方案，先通过dpi数据采集平台能够快速采集形成dpi数据文件，再通过实时数据处理平台对dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；最后通过并行分治决策平台对物联网终端进行识别得到识别评价结果，整个识别检测过程不仅避免了从单一终端属性维度进行错误识别，而且还可实现快速解析、高效数据处理以及精准结果分类，进而提升了物联网终端识别的全面性和精准性。
附图说明
15.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的一种基于dpi的物联网终端检测系统的示意图；
17.图2为本发明实施例提供的一种基于dpi的物联网终端检测方法的流程示意图；
18.图3为本发明实施例提供的一种基于dpi的物联网终端检测方法的子流程示意图；
19.图4为本发明实施例提供的一种基于dpi的物联网终端检测方法的子流程示意图；
20.图5为本发明实施例提供的一种基于dpi的物联网终端检测方法的子流程示意图；
21.图6为本发明实施例提供的一种基于dpi的物联网终端检测方法中的访问应用特征工程的示意图；
22.图7为本发明实施例提供的一种基于dpi的物联网终端检测方法中的并行决策树分类的示意图；
23.图8为本发明实施例提供的一种基于dpi的物联网终端检测方法中的子流程示意图；
24.图9为本发明实施例提供的一种基于dpi的物联网终端检测方法中的预测结果输出示意图；
25.图10为本发明实施例提供的一种基于dpi的物联网终端检测系统的示意性框图；
26.图11为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
29.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
30.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
31.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0032]
请参阅图1，图1是本发明实施例提供的基于dpi的物联网终端检测系统的示意图。该基于dpi的物联网终端检测系统包括dpi数据采集平台、实时数据处理平台以及行分治决策平台。需要说明的是，图1中的数据采集系统为dpi数据采集平台，实时数据处理系统为实时数据处理平台。具体地，如图1所示，数据采集系统通过各个省份节点(例如省份节点1、省份节点2、省份节点3以及省份节点4)中的dpi(deep packet inspection，深度数据包检测)采集各个省份节点的日志信息，并经大数据前置节点1、大数据前置节点2、大数据前置节点3以及大数据前置节点4进行处理后得到处理后的日志信息，其中，所述日志信息包括通联日志信息和全量上网日志。可理解地，如图1所示，在本实施例中，各个省份节点还可会向实时数据处理系统发送网络安全事件日志、特征规则指令以及流量筛选指令等信息。还需说明的是，在本实施例中，实时数据处理平台与dpi数据采集平台以及并行分治决策平台进行通信连接，连接之后再进行数据处理，不仅避免了从单一终端属性维度进行错误识别，而且还可实现快速解析、高效数据处理以及精准结果分类，进而提升了物联网终端识别的全面性和精准性。
[0033]
图2是本发明实施例提供的一种基于dpi的物联网终端检测方法的流程示意图。本发明实施例的基于dpi的物联网终端检测方法可应用于基于dpi的物联网终端检测系统中，例如可通过配置于基于dpi的物联网终端检测系统上的软件程序来实现该基于dpi的物联网终端检测方法，以提升物联网终端识别的全面性和精准性。如图2所示，该方法包括以下步骤s100-s120。
[0034]
s100、dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件。
[0035]
本发明实施例中，dpi数据采集平台搭建分光仪、镜像系统、聚集分离等形式的dpi采集设备，需要说明的是，所述dpi数据采集平台包括采集探针、所述dpi数据合成模块、汇聚分流设备以及存储模块。dpi数据采集平台对物联网终端访问网络行为数据进行采集，并进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件，其中，dpi数据文件为xdr(extended detection and response，可拓展威胁检测与响应)通话记录数据。具体地，通过所述采集探针从核心网网元接口处采集物联网终端用户面和信令面的二进制原始码流，并对所述二进制原始码流进行解码和合成后得到合成码流，并所述合成码流发送给所述dpi数据合成模块；所述dpi数据合成模块对所述合成码流进行各协议关联和客户信息回填
形成目标码流；所述汇聚分流设备将所述目标码流发送至所述存储模块进行保存，以生成所述dpi数据文件。
[0036]
s110、实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流。
[0037]
本发明实施例中，如图3所示，所述步骤s110可包括如下步骤s111-s114：s111、实时数据处理平台基于所述文件分块剪枝提取算法构造标签树，并自底向上对所述文件分块剪枝提取算法中的每个块阶段设置权重和分形阈值；s112、所述实时数据处理平台根据设置的所述权重和所述分形阈值对所述dpi数据文件进行分块剪枝直至剔除所有无用信息节点为止，以得到有效内容，其中，在分块剪枝过程中会对所述分形阈值进行不断调整；s113、对所述有效内容进行解析生成多流业务数据流，并对所述多流业务数据流进行整合形成初始数据流；s114、增加内容类的变量以存储解析的算子以对所述初始数据流进行动态解析形成所述数据流。更为具体地，步骤s114如图4所示，具体包括如下步骤s1141-s1145：s1141、在所述初始数据流中配置数据流临时变量，增加内容类的变量以存储解析的流处理算子；s1142、通过解析所述数据流临时变量获取当前数据的解析逻辑以更新所述流处理算子；s1143、根据所述初始数据流所对应的名称生成哈希键值对，并将所述键值对和所述流处理算子存储在哈希列表中；s1144、根据所述流处理算子计算得到流处理结果，并将所述哈希键值对中的键值更新所述流处理结果，直至所有的所述流处理算子均遍历完为止，得到目标哈希键值对；s1145、对所述目标哈希键值对进行解析生成结构化解析数据，将所述结构化解析数据作为所述数据流。
[0038]
为方便理解，现将上述在实时数据处理平台中执行的具体操作步骤介绍如下：
[0039]
步骤1：基于文件分块剪枝提取算法，构造标签树，自底向上给每个块阶段赋予权重；
[0040]
步骤2：若该块节点为叶子节点，则赋其权重ωi＝1，若该节点为非叶子节点，n为该节点的所有子节点结合，则其权重ωi＝∑
j∈n
ωj；
[0041]
步骤3：赋值兄弟节点的最大权重为ω
max
，设置变量q为分形阈值，当r《q时，对i节点进行剪枝；
[0042]
步骤4：不断调用文件分块剪枝提取算法，剔除所有无用信息节点，将文件有效内容解析成数据流datastreami。
[0043]
步骤5：通过分布式流架构的实时数据处理平台，实现多流业务数据流datastreami并发解析，整合形成datastream；
[0044]
步骤6：在datastream中配置空的数据流temp，并且增加内容类的变量用于存储解析的算子β；
[0045]
步骤7：优先解析数据流temp，通过解析temp数据，获取当前数据的解析逻辑，更新解析算子β；
[0046]
步骤8：对每个要处理的数据流的名称通过hashmap存储，生成《key,value》＝《stream,datastream》同时将需求对数据流处理的算子存储中hashlist中；
[0047]
步骤9：按照对datastream的流处理算子计算得到流处理结果；
[0048]
步骤10：更新hashmap中stream的value值为data-set；
[0049]
步骤11：遍历下一个待处理的算子，读取key＝stream的value值，对stream的value值执行相同的解析逻辑得到数据集dataset；
[0050]
步骤12：依次迭代对数据流处理的各个算子，直到完成所有的解析逻辑，最后结果保存在stream中；
[0051]
步骤13：再次解析数据datastream，使用最新的解析逻辑来处理数据，生成结构化dpi解析数据dpi_net_d，实现解析逻辑的实时控制，保证实时解析的连续不间断。
[0052]
需要说明的是，在本实施例中，实时数据处理平台基于文件分块剪枝提取算法，通过对dpi数据文件进行剪枝分块处理，融合物联网流量数据、业务受理数据、radius数据以及实时告警数据，通过综合数据的分析与动态匹配，建立实时、可靠、准确的风险识别与处理过程，经过优化后的数据处理引擎支持tb级风险数据毫秒级处理能力。
[0053]
s120、并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。
[0054]
本发明实施例中，如图5所示，步骤s120具体包括步骤s121-s122：s121、并行分治决策平台基于所述数据流建立访问应用特征工程，其中，所述访问应用特征工程包括访问终端名称、访问终端os、访问终端cpu、访问浏览器、访问应用分类、访问协议、访问时间、访问流量以及访问数据包大小；s122、将所述访问应用特征工程输入所述并行决策树分类算法模型以对物联网终端进行识别得到识别评价结果，其中，所述并行决策树分类算法模型包括建树模块、更新模块、分类模块以及评价模块。具体地，如图6所示，步骤s122具体可包括步骤s1221-s1224：s1221、将训练样本输入所述建树模块，以使所述建树模块通过预设约束规则对所述访问应用特征工程进行分裂新增叶子节点以建立初始树；s1222、将所述访问应用特征工程输入所述更新模块，以使所述更新模块根据所述访问应用特征工程中的节点对所述初始树进行更新得到更新树；s1223、将未分类样本输入所述分类模块以对所述更新树进行分类以得到分类树；s1224、将所述分类树及测试样本输入所述评价模块得到识别评价结果。
[0055]
为方便理解，现将上述在分治决策平台中执行的具体操作步骤介绍如下：
[0056]
步骤1：如图7所示，通过数据流建立访问应用特征工程，访问应用特征工程包括终端名称、访问终端os、访问终端cpu、访问浏览器、访问应用分类、访问协议、访问时间、访问流量以及访问数据包大小，需要说明的是，访问应用特征工程为图7中的dpi特征工程；
[0057]
步骤2：如图8所示，采用并行决策树分类算法，搭建建树模块、更新模块、评价模块和分类模块，需要说明的是，在图8中，待决策树分类样本为访问应用特征工程，建树模块为建hoeffding树模块，分类模块为决策树分类模块，评价模块为算法评价模块；
[0058]
步骤3：建树模块通过hoeffding约束及其它相应的要求则执行分裂，新增叶子节点的数量为该叶子节点决策属性的取值的数量，递归该过程进行建树；
[0059]
步骤4：通过输入的训练样本，调用插入决策树叶子节点的方法将训练样本从根节点开始插入到相应的叶子节点，对该叶子节点的统计信息进行更新；
[0060]
步骤5：更新模块对于每条用于更新的训练样本，将其从当前决策树的根节点开始插入，直至排序到到叶子节点，对叶子节点的统计值进行相应的更新，当统计值达到计算的要求则开始计算叶子节点各个属性的信息增益以及此时的hoeffding边界值；
[0061]
步骤6：根据hoeffding值及其他要求决定叶子节点是否执行分裂，在过程中输出
不断更新的决策树用于分类；
[0062]
步骤7：向分类模块输入未分类样本，调用查找样本对应叶子节点的方法将该样本按一定顺序找到正确的叶子节点；
[0063]
步骤8：用叶子节点为该预测所属的类并将预测结果进行输出，输出结果如图9所示，在图9中，终端包括module、moden、smartphone、mobile等多种设备，可理解地，所述并行分治决策平台使用并行决策树分类算法模型可对物多种终端进行识别；
[0064]
步骤9：调用评价方法，通过查全率、查准率和资源占有率参数为当前的决策树模型进行评价；
[0065]
步骤10：根据模型监测结果对模型进行优化完善，提高监测正确率。
[0066]
需要说明的是，在本实施例中，并行分治决策平台使用并行决策树分类算法模型，实现对物联网终端的识别和校验。并行决策树分类算法模型可以从查准率、查全率和资源占用率三个方面进行评价：模型的查准率越高，则被模型判断为真实物联网终端可能性越高；模型的查全率越高，则越能够全面地检测出待测终端中的非物用终端；资源率占有率越低，则越能体现算法的高效性。
[0067]
还需说明的是，在本实施例中，通过对dpi数据文件进行分块处理，基于树状节点权重的文件提取字段内容，不断地剪枝，剔除无效信息节点字段信息，减少无用信息的解析，全面提升文件解析效率；通过数据解析流处理算子动态自动调节数据解析流程，保证数据的不丢失和完整性，从而大幅提升数据实时处理能力；通过构建实时行为特征工程，从根本上避免从单一维度终端imei信息判断带来的误判，提升后续检测的查准率和查全率，便于生成非物联网真实终端清单；将原有的计算任务分解成若干个子任务来处理，使用每个计算机节点均衡负载，极大的节约了计算资源需求，能够保证识别结果的高速、高质量更新和输出。
[0068]
图10是本发明实施例提供的一种基于dpi的物联网终端检测系统200的示意性框图。如图10所示，对应于以上应用于所述dpi数据采集平台、实时数据处理平台以及行分治决策平台的基于dpi的物联网终端检测方法，该基于dpi的物联网终端检测系统200包括用于执行上述基于dpi的物联网终端检测方法的单元。具体地，请参阅图10，该基于dpi的物联网终端检测系统200包括配置于dpi数据采集平台中的采集单元101，配置于实时数据处理平台中的分块剪枝单元201、以及配置于并行分治决策平台中的识别单元301。
[0069]
其中，所述采集单元101用于dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；所述分块剪枝单元201用于实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；所述识别单元301用于并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。
[0070]
在某些实施例，例如本实施例中，所述采集单元101包括采集子单元、关联回填单元、保存生成单元。
[0071]
其中，所述采集子单元用于通过所述采集探针从核心网网元接口处采集物联网终端用户面和信令面的二进制原始码流，并对所述二进制原始码流进行解码和合成后得到合成码流，并所述合成码流发送给所述dpi数据合成模块；所述关联回填单元用于所述dpi数
据合成模块对所述合成码流进行各协议关联和客户信息回填形成目标码流；所述保存生成单元用于所述汇聚分流设备将所述目标码流发送至所述存储模块进行保存，以生成所述dpi数据文件。
[0072]
在某些实施例，例如本实施例中，所述分块剪枝单元201包括构造设置单元、剔除单元、第一解析单元以及第二解析单元。
[0073]
其中，所述构建设置单元用于所述实时数据处理平台基于所述文件分块剪枝提取算法构造标签树，并自底向上对所述文件分块剪枝提取算法中的每个块阶段设置权重和分形阈值；所述剔除单元用于所述实时数据处理平台根据设置的所述权重和所述分形阈值对所述dpi数据文件进行分块剪枝直至剔除所有无用信息节点为止，以得到有效内容，其中，在分块剪枝过程中会对所述分形阈值进行不断调整；所述第一解析单元用于对所述有效内容进行解析生成多流业务数据流，并对所述多流业务数据流进行整合形成初始数据流；所述第二解析单元用于增加内容类的变量以存储解析的算子以对所述初始数据流进行动态解析形成所述数据流。
[0074]
在某些实施例，例如本实施例中，所述第二解析单元包括增加存储单元、第一更新单元、生成存储单元、第二更新单元以及第三解析单元。
[0075]
其中，所述增加存储单元用于在所述初始数据流中配置数据流临时变量，增加内容类的变量以存储解析的流处理算子；所述第一更新单元用于通过解析所述数据流临时变量获取当前数据的解析逻辑以更新所述流处理算子；所述生成存储单元用于根据所述初始数据流所对应的名称生成哈希键值对，并将所述键值对和所述流处理算子存储在哈希列表中；所述第二更新单元用于根据所述流处理算子计算得到流处理结果，并将所述哈希键值对中的键值更新所述流处理结果，直至所有的所述流处理算子均遍历完为止，得到目标哈希键值对；所述第三解析单元用于对所述目标哈希键值对进行解析生成结构化解析数据，将所述结构化解析数据作为所述数据流。
[0076]
在某些实施例，例如本实施例中，所述识别单元301包括建立单元及输入识别单元。
[0077]
其中，所述建立单元用于并行分治决策平台基于所述数据流建立访问应用特征工程，其中，所述访问应用特征工程包括访问终端名称、访问终端os、访问终端cpu、访问浏览器、访问应用分类、访问协议、访问时间、访问流量以及访问数据包大小；所述输入识别单元用于将所述访问应用特征工程输入所述并行决策树分类算法模型以对物联网终端进行识别得到识别评价结果。
[0078]
在某些实施例，例如本实施例中，所述输入识别单元包括建立子单元、第三更新单元、分类单元以及识别子单元。
[0079]
其中，所述建立子单元用于将训练样本输入所述建树模块，以使所述建树模块通过预设约束规则对所述访问应用特征工程进行分裂新增叶子节点以建立初始树；所述第三更新单元用于将所述访问应用特征工程输入所述更新模块，以使所述更新模块根据所述访问应用特征工程中的节点对所述初始树进行更新得到更新树；所述分类单元用于将未分类样本输入所述分类模块以对所述更新树进行分类以得到分类树；所述识别子单元用于将所述分类树及测试样本输入所述评价模块得到识别评价结果。
[0080]
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于dpi的物联网终
端检测系统200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
[0081]
上述基于dpi的物联网终端检测系统可以实现为一种计算机程序的形式，该计算机程序可以在如图11所示的计算机设备上运行。
[0082]
请参阅图11，图11是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备900为搭建有基于dpi的物联网终端检测系统的设备。
[0083]
参阅图11，该计算机设备900包括通过系统总线901连接的处理器902、存储器和接口907，其中，存储器可以包括存储介质903和内存储器904。
[0084]
该存储介质903可存储操作系统9031和计算机程序9032。该计算机程序9032被执行时，可使得处理器902执行一种基于dpi的物联网终端检测方法。
[0085]
该处理器902用于提供计算和控制能力，以支撑整个计算机设备900的运行。
[0086]
该内存储器904为存储介质903中的计算机程序9032的运行提供环境，该计算机程序9032被处理器902执行时，可使得处理器902执行一种基于dpi的物联网终端检测方法。
[0087]
该接口905用于与其它设备进行通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备900的限定，具体的计算机设备900可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0088]
其中，所述dpi数据采集平台、实时数据处理平台以及行分治决策平台各自的所述处理器902用于运行存储在存储器中的计算机程序9032，以实现上述基于dpi的物联网终端检测方法的任意实施例。
[0089]
应当理解，在本技术实施例中，处理器902可以是中央处理单元(central processing unit，cpu)，该处理器902还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(终端lication specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0090]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该无线通信系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
[0091]
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于dpi的物联网终端检测方法的任意实施例。
[0092]
所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
[0093]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、无线通信软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0094]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0095]
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例系统中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
[0096]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该无线通信软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人无线通信，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0097]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
[0098]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
[0099]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于dpi的物联网终端检测方法，其特征在于，包括：dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。2.根据权利要求1所述的基于dpi的物联网终端检测方法，其特征在于，所述dpi数据采集平台包括采集探针、所述dpi数据合成模块、汇聚分流设备以及存储模块，所述dpi数据采集平台采集物联网终端访问的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件，包括：通过所述采集探针从核心网网元接口处采集物联网终端用户面和信令面的二进制原始码流，并对所述二进制原始码流进行解码和合成后得到合成码流，并所述合成码流发送给所述dpi数据合成模块；所述dpi数据合成模块对所述合成码流进行各协议关联和客户信息回填形成目标码流；所述汇聚分流设备将所述目标码流发送至所述存储模块进行保存，以生成所述dpi数据文件。3.根据权利要求1所述的基于dpi的物联网终端检测方法，其特征在于，所述实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到数据流，包括：实时数据处理平台基于所述文件分块剪枝提取算法构造标签树，并自底向上对所述文件分块剪枝提取算法中的每个块阶段设置权重和分形阈值；所述实时数据处理平台根据设置的所述权重和所述分形阈值对所述dpi数据文件进行分块剪枝直至剔除所有无用信息节点为止，以得到有效内容，其中，在分块剪枝过程中会对所述分形阈值进行不断调整。4.根据权利要求1所述的基于dpi的物联网终端检测方法，其特征在于，所述对所述有效内容进行解析形成数据流，包括：对所述有效内容进行解析生成多流业务数据流，并对所述多流业务数据流进行整合形成初始数据流；增加内容类的变量以存储解析的算子以对所述初始数据流进行动态解析形成所述数据流。5.根据权利要求4所述的基于dpi的物联网终端检测方法，其特征在于，所述增加内容类的变量以存储解析的算子以对所述初始数据流进行动态解析形成所述数据流，包括：在所述初始数据流中配置数据流临时变量，增加内容类的变量以存储解析的流处理算子；通过解析所述数据流临时变量获取当前数据的解析逻辑以更新所述流处理算子；根据所述初始数据流所对应的名称生成哈希键值对，并将所述键值对和所述流处理算子存储在哈希列表中；根据所述流处理算子计算得到流处理结果，并将所述哈希键值对中的键值更新所述流
处理结果，直至所有的所述流处理算子均遍历完为止，得到目标哈希键值对；对所述目标哈希键值对进行解析生成结构化解析数据，将所述结构化解析数据作为所述数据流。6.根据权利要求1所述的基于dpi的物联网终端检测方法，其特征在于，所述并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果，包括：并行分治决策平台基于所述数据流建立访问应用特征工程，其中，所述访问应用特征工程包括访问终端名称、访问终端os、访问终端cpu、访问浏览器、访问应用分类、访问协议、访问时间、访问流量以及访问数据包大小；将所述访问应用特征工程输入所述并行决策树分类算法模型以对物联网终端进行识别得到识别评价结果。7.根据权利要求6所述的基于dpi的物联网终端检测方法，其特征在于，所述并行决策树分类算法模型包括建树模块、更新模块、分类模块以及评价模块；所述将所述访问应用特征工程输入所述并行决策树分类算法模型以对物联网终端进行识别得到识别评价结果，包括：将训练样本输入所述建树模块，以使所述建树模块通过预设约束规则对所述访问应用特征工程进行分裂新增叶子节点以建立初始树；将所述访问应用特征工程输入所述更新模块，以使所述更新模块根据所述访问应用特征工程中的节点对所述初始树进行更新得到更新树；将未分类样本输入所述分类模块以对所述更新树进行分类以得到分类树；将所述分类树及测试样本输入所述评价模块得到识别评价结果。8.一种基于dpi的物联网终端检测系统，其特征在于，包括：配置于dpi数据采集平台中的采集单元，配置于实时数据处理平台中的分块剪枝单元、以及配置于并行分治决策平台中的识别单元，其中，所述采集单元用于dpi数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成dpi数据文件；所述分块剪枝单元用于实时数据处理平台基于文件分块剪枝提取算法对所述dpi数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；所述识别单元用于并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。9.一种基于dpi的物联网终端检测系统，其特征在于，包括dpi数据采集平台、实时数据处理平台以及行分治决策平台，所述dpi数据采集平台、实时数据处理平台以及行分治决策平台均包括存储器及处理器，所述存储器上存储有计算机程序，所述dpi数据采集平台、实时数据处理平台以及行分治决策平台的所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-7中任一项所述的方法。

技术总结
本发明实施例公开了一种基于DPI的物联网终端检测方法、系统及存储介质。该方法属于物联网技术领域，其包括：DPI数据采集平台采集物联网终端的二进制原始码流，并对所述二进制原始码流进行解码、合成、各协议关联、客户信息回填，形成DPI数据文件；实时数据处理平台基于文件分块剪枝提取算法对所述DPI数据文件进行分块剪枝得到有效内容，并对所述有效内容进行解析形成数据流；并行分治决策平台基于所述数据流使用并行决策树分类算法模型对物联网终端进行识别得到识别评价结果。本申请实施例不仅避免了从单一终端属性维度进行错误识别，而且还可实现快速解析、高效数据处理以及精准结果分类，进而提升了物联网终端识别的全面性和精准性。准性。准性。


技术研发人员：姜辉
受保护的技术使用者：天翼物联科技有限公司
技术研发日：2023.08.11
技术公布日：2023/10/11