一种日活跃栏目热度计算及调度方法和装置与流程

1.本技术涉及热度计算技术领域，具体涉及一种日活跃栏目热度计算及调度方法和装置。


背景技术：

2.随着科技的不断进步、电视技术的不断发展，电视节目能够以电视频道直播节目、点播节目等方式为人们呈现节目内容。在进行电视频道直播节目的过程中，能够从广告的投放中获得收益，所以不同电视频道直播节目的收视热度直接影响了广告的投放量及广告收益的大小。而不同点播节目的热度也会为影响到节目的编排。所以电视节目热度成为衡量一个频道整体质量或节目质量的重要指标，因此对电视节目热度的预测至关重要。
3.现有的栏目热度预测在预测过程中不会使用热度计算，不使用热度计算的方法消耗资源比较大，即使使用热度计算方法，其大部分的热度计算方法衡量维度又比较单一，通用性不好。


技术实现要素：

4.为此，本技术提供一种日活跃栏目热度计算及调度方法和装置，以解决现有技术存在的热度计算消耗资源比较大且衡量维度单一，通用性不好的问题。
5.为了实现上述目的，本技术提供如下技术方案：
6.第一方面，一种日活跃栏目热度计算及调度方法，包括：
7.获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；
8.从数据库中获取所述目标栏目的文章平均发布时间间隔；
9.根据所述目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及所述文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数；
10.根据所述每小时爬虫有效系数、所述文章价值系数和所述发布时间系数得到所述目标栏目的最终得分；
11.计算采集资源；
12.将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。
13.作为优选，所述每小时爬虫有效系数是根据第一公式计算得到的；
14.所述第一公式为：
[0015][0016]
其中，hsec为每小时爬虫有效系数，
[0017]
newarticlecount为目标栏目采集到的新文章总数，
[0018]
articlecount为目标栏目的文章总数，
[0019]
max(newarticlepublictime)为目标栏目中新文章的最晚发布时间，
[0020]
min(newarticlepublictime)为目标栏目中新文章的最早发布时间，
[0021]
max(articlepublictime)为目标栏目中所有文章的最晚发布时间，
[0022]
min(articlepublictime)为目标栏目页中所有文章的最早发布时间。
[0023]
作为优选，所述文章价值系数是根据第二公式计算得到的，所述第二公式为：
[0024][0025]
其中，aricelevalueeffectivecoefficient为文章价值系数，
[0026]
titlelengthfactor为最有价值文章标题长度，
[0027]
sum(newarticletitlelist)为目标栏目的新文章标题集合的文字总长度，count(newarticletitlelist)为目标栏目的新文章标题个数。
[0028]
作为优选，所述最有价值文章标题长度为18。
[0029]
作为优选，所述发布时间系数是根据第三计算得到的，所述第三公式为：
[0030][0031]
其中，ptic为发布时间间隔系数，avg(newarticlepublictimelist)为目标栏目新文章发布时间平均间隔，0.6为目标栏目新文章发布时间平均间隔的权重系数，oldarticlepublictimeavg为目标栏目历史文章发布时间平均间隔，0.4为目标栏目历史文章发布时间平均间隔的权重系数。
[0032]
作为优选，所述目标栏目的最终得分是根据第四公式计算得到的，所述第四公式为：
[0033]
channelvalue＝hsec*40
[0034]
+aricelevalueeffectivecoefficient*20
[0035]
+ptic*30
[0036]
+random(0,1)*10
[0037]
其中，channelvalue为目标栏目的最终得分，random(0，1)为随机干预系数。
[0038]
作为优选，所述采集资源是根据第五公式计算得到的，所述第五公式为：
[0039][0040]
其中，spiderchannelresource为采集资源，spiderresourceshare为总采集资源的分片数。
[0041]
第二方面，一种日活跃栏目热度计算及调度装置，包括：
[0042]
参数获取模块，用于获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；
[0043]
时间间隔获取模块，用于从数据库中获取所述目标栏目的文章平均发布时间间隔；
[0044]
第一计算模块，用于根据所述目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及所述文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数；
[0045]
第二计算模块，用于根据所述每小时爬虫有效系数、所述文章价值系数和所述发布时间系数得到所述目标栏目的最终得分；
[0046]
第三计算模块，用于计算采集资源；
[0047]
调度模块，用于将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。
[0048]
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种日活跃栏目热度计算及调度方法的步骤。
[0049]
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种日活跃栏目热度计算及调度方法的步骤。
[0050]
相比现有技术，本技术至少具有以下有益效果：
[0051]
本技术提供了一种日活跃栏目热度计算及调度方法和装置，通过获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性，从数据库中获取所述目标栏目的文章平均发布时间间隔；根据目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数，根据每小时爬虫有效系数、文章价值系数和发布时间系数得到目标栏目的最终得分；计算采集资源；将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。本技术提供的方法从多个维度对栏目进行了评分，最后汇总为栏目的最终得分，通用性好，并且可以通过配置，动态调整栏目热度分级，无需进行二次请求或额外的请求计算栏目热度，并对栏目进行下发采集，从而达到采集资源利用最优的效果。
附图说明
[0052]
为了更直观地说明现有技术以及本技术，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本技术时的限定条件；例如，本领域技术人员基于本技术揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
[0053]
图1为本技术实施例一提供的一种日活跃栏目热度计算及调度方法流程图；
[0054]
图2为本技术实施例一提供的计算分数逻辑示意图；
[0055]
图3为本技术实施例一提供的调度逻辑示意图；
[0056]
图4为本技术实施例一提供的各个栏目最终分数核算效果展示；
[0057]
图5为本技术实施例一提供的新闻栏目采集日贡献数据量趋势图。
具体实施方式
[0058]
以下结合附图，通过具体实施例对本技术作进一步详述。
[0059]
在本技术的描述中：除非另有说明，“多个”的含义是两个或两个以上。本技术中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时
还意味着“不限于”(某些单元、部件、材料、步骤等)。
[0060]
本技术中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本技术揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本技术表述的范畴。
[0061]
实施例一
[0062]
请参阅图1和图2，本实施例提供了一种日活跃栏目热度计算及调度方法，包括：
[0063]
s1：获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；
[0064]
具体的，首先对已有栏目进行下发采集，抽取栏目页采集结果进行解析，得到当前下发栏目页内详情页个数，记为identificationarticlecount，这里只对文章详情页域名与栏目页域名相同的文章详情url进行统计。
[0065]
将得到的文章详情url与数据库中已有的该栏目历史文章详情url进行去重对比，得到两个集合，一个是新采集的文章详情url集合，记为newarticlecount，另一个是历史的文章详情url集合，记为oldarticlecount，每个历史的文章详情url集合在数据库中都会记录其发布时间和文章标题，作为该历史文章详情url的属性。
[0066]
得到两个集合后，对新采集的文章详情url集合进行下发采集，即可得到新发布的每篇文章详情页的发布时间的集合，记为newarticlepublictimelist，以及新文章标题集合，记为newarticletitlelist，并将得到的文章发布时间和文章标题作为该文章详情url的属性赋值回新采集的文章详情url集合中。至此，就得到了一个栏目本次采集的历史文章url集合及其发布时间属性和标题属性，新发布的文章url集合及其发布时间属性和标题属性。
[0067]
s2：从数据库中获取目标栏目的文章平均发布时间间隔；
[0068]
具体的，从数据库中查询该栏目页的文章平均发布时间间隔，其值为上一次计算的平均发布时间间隔的回传值，即历史文章发布时间平均间隔，标记为oldarticlepublictimeavg。
[0069]
s3：根据目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数。
[0070]
具体的，每小时爬虫有效系数为hourspidereffectivecoefficient(简称：hsec)，则hsec为：
[0071][0072]
其中，
[0073]
newarticlecount为目标栏目采集到的新文章总数，
[0074]
articlecount为目标栏目的文章总数，
[0075]
max(newarticlepublictime)为目标栏目中新文章的最晚发布时间，
[0076]
min(newarticlepublictime)为目标栏目中新文章的最早发布时间，
[0077]
max(articlepublictime)为目标栏目中所有文章的最晚发布时间，
[0078]
min(articlepublictime)为目标栏目页中所有文章的最早发布时间。
[0079]
文章价值系数aricelevalueeffectivecoefficient为：
[0080][0081]
其中，titlelengthfactor为最有价值文章标题长度，经过大量测试得出为18；
[0082]
sum(newarticletitlelist)为目标栏目的新文章标题集合的文字总长度，count(newarticletitlelist)为目标栏目的新文章标题个数；
[0083]
若平均标题小于18时，aricelevalueeffectivecoefficient取倒数。
[0084]
发布时间间隔系数为publictimeintervalcoefficient(简称：ptic)，则ptic为：
[0085][0086]
其中，ptic为发布时间间隔系数，avg(newarticlepublictimelist)为目标栏目新文章发布时间平均间隔，0.6为目标栏目新文章发布时间平均间隔的权重系数，oldarticlepublictimeavg为目标栏目历史文章发布时间平均间隔，0.4为目标栏目历史文章发布时间平均间隔的权重系数。
[0087]
s4：根据每小时爬虫有效系数、文章价值系数和发布时间系数得到目标栏目的最终得分；
[0088]
具体的，目标栏目的最终得分channelvalue为：
[0089]
channelvalue＝hourspidereffectivecoefficient*40
[0090]
+aricelevalueeffectivecoefficient*20
[0091]
+publictimeintervalcoefficient*30
[0092]
+random(0，1)*10
[0093]
其中，channelvalue为目标栏目的最终得分，random(0，1)为随机干预系数，最终得分结果在0～100分区间，将本次采集的目标栏目最终得分与原有的栏目得分取均值即为目标栏目的现得分。
[0094]
每天都没有发布新数据的栏目就会得0分，针对这种栏目将配置参数翻倍采集，即可对非获取栏目栏目进行月发布排序采集。
[0095]
s5：计算采集资源；
[0096]
具体的，对采集总资源进行估算，已知目前设置的采集资源为定值，且可进行横向扩展，故以当前采集资源的定值作为计算依据，此采集资源为24小时内的采集资源，记为spiderchannelresource，为方便动态调整，将采集资源的预分配比例配置在配置服务中进行配置，将采集资源划分为7个等级，分别为每小时采集资源，每2小时采集资源，每4小时采集资源，每8小时采集资源，每16小时采集资源，每24小时采集资源和不采集，即{1h:24,2h:12,4h:6,8h:3,16h:2,24h:1,0h:0}，则有每个等级每小时应得采集资源为：
[0097][0098]
其中，spiderresourceshare为总采集资源的分片数，即当前采集资源被6个等级分成每小时采集的单位份数，spiderchannelresource为采集资源，即每天可发送请求总量。
[0099]
s6：将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。
[0100]
请参阅图3，具体的，调度器将预计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数即levelspiderresource，则有：
[0101]
level1spiderresource＝spiderresourceshare*24/24＝spiderresourceshare*1
[0102]
level2spiderresource＝spiderresourceshare*12/24＝spiderresourceshare*0.5
[0103]
level3spiderresource＝spiderresourceshare*6/24＝spiderresourceshare*0.25
[0104]
level4spiderresource＝spiderresourceshare*3/24＝spiderresourceshare*0.125
[0105]
level5spiderresource＝spiderresourceshare*2/24＝spiderresourceshare*0.84
[0106]
level6spiderresource＝spiderresourceshare*1/24＝spiderresourceshare*0.42
[0107]
至此即可得出每个小时每个等级的采集指标，实现不同分数，采集频率不同，进而达到最优调度。
[0108]
请参阅图4和图5，根据本实施例提供的方法验证分数计算是否符合预期，以163滚动采集为例，按照算法查看最终结果，结果取整，最终得分结果基本与数据库相近。
[0109]
本实施例提供的一种日活跃栏目热度计算及调度方法在已知采集资源的情况下，对栏目热度进行分级下发的最优调度算法，并且可以通过配置，动态调整栏目热度分级，无需进行二次请求或额外的请求计算栏目热度，并对栏目进行下发采集，从而达到采集资源利用最优的效果。
[0110]
实施例二
[0111]
本实施例提供了一种日活跃栏目热度计算及调度装置，包括：
[0112]
参数获取模块，用于获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；
[0113]
时间间隔获取模块，用于从数据库中获取所述目标栏目的文章平均发布时间间隔；
[0114]
第一计算模块，用于根据所述目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及所述文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数；
[0115]
第二计算模块，用于根据所述每小时爬虫有效系数、所述文章价值系数和所述发布时间系数得到所述目标栏目的最终得分；
[0116]
第三计算模块，用于计算采集资源；
[0117]
调度模块，用于将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。
[0118]
关于一种日活跃栏目热度计算及调度装置装置的具体限定可以参见上文中对于一种日活跃栏目热度计算及调度装置方法的限定，在此不再赘述。
[0119]
实施例三
[0120]
本实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种日活跃栏目热度计算及调度装置方法的步骤。
[0121]
实施例四
[0122]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种日活跃栏目热度计算及调度装置方法的步骤。
[0123]
以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。
[0124]
上文中通过一般性说明及具体实施例对本技术作了较为具体和详细的描述。应当理解，基于本技术的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本技术的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本技术的权利要求保护范围。

技术特征：
1.一种日活跃栏目热度计算及调度方法，其特征在于，包括：获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；从数据库中获取所述目标栏目的文章平均发布时间间隔；根据所述目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及所述文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数；根据所述每小时爬虫有效系数、所述文章价值系数和所述发布时间系数得到所述目标栏目的最终得分；计算采集资源；将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。2.根据权利要求1所述的日活跃栏目热度计算及调度方法，其特征在于，所述每小时爬虫有效系数是根据第一公式计算得到的；所述第一公式为：其中，hsec为每小时爬虫有效系数，newarticlecount为目标栏目采集到的新文章总数，articlecount为目标栏目的文章总数，max(newarticlepublictime)为目标栏目中新文章的最晚发布时间，min(newarticlepublictime)为目标栏目中新文章的最早发布时间，max(articlepublictime)为目标栏目中所有文章的最晚发布时间，min(articlepublictime)为目标栏目页中所有文章的最早发布时间。3.根据权利要求2所述的日活跃栏目热度计算及调度方法，其特征在于，所述文章价值系数是根据第二公式计算得到的，所述第二公式为：其中，aricelevalueeffectivecoefficient为文章价值系数，titlelengthfactor为最有价值文章标题长度，sum(newarticletitlelist)为目标栏目的新文章标题集合的文字总长度，count(newarticletitlelist)为目标栏目的新文章标题个数。4.根据权利要求3所述的日活跃栏目热度计算及调度方法，其特征在于，所述最有价值文章标题长度为18。5.根据权利要求3所述的日活跃栏目热度计算及调度方法，其特征在于，所述发布时间系数是根据第三公式计算得到的，所述第三公式为：其中，ptic为发布时间间隔系数，avg(newarticlepublictimelist)为目标栏目新文章发布时间平均间隔，0.6为目标栏目新文章发布时间平均间隔的权重系数，
oldarticlepublictimeavg为目标栏目历史文章发布时间平均间隔，0.4为目标栏目历史文章发布时间平均间隔的权重系数。6.根据权利要求5所述的日活跃栏目热度计算及调度方法，其特征在于，所述目标栏目的最终得分是根据第四公式计算得到的，所述第四公式为：channelvalue＝hsec*40+aricelevalueeffectivecoefficient*20+ptic*30+random(0，1)*10其中，channelvalue为目标栏目的最终得分，random(0，1)为随机干预系数。7.根据权利要求1所述的日活跃栏目热度计算及调度方法，其特征在于，所述采集资源是根据第五公式计算得到的，所述第五公式为：其中，spiderchannelresource为采集资源，spiderresourceshare为总采集资源的分片数。8.一种日活跃栏目热度计算及调度装置，其特征在于，包括：参数获取模块，用于获取目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性；时间间隔获取模块，用于从数据库中获取所述目标栏目的文章平均发布时间间隔；第一计算模块，用于根据所述目标栏目的历史文章url集合、历史文章发布时间属性、历史文章标题属性、新文章url集合、新文章发布时间属性和新文章标题属性以及所述文章平均发布时间间隔计算得到每小时爬虫有效系数、文章价值系数和发布时间系数；第二计算模块，用于根据所述每小时爬虫有效系数、所述文章价值系数和所述发布时间系数得到所述目标栏目的最终得分；第三计算模块，用于计算采集资源；调度模块，用于将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请公开了一种日活跃栏目热度计算及调度方法和装置，通过获取目标栏目的历史文章URL集合、历史文章发布时间属性、历史文章标题属性、新文章URL集合、新文章发布时间属性、新文章标题属性和文章平均发布时间间隔，计算得到每小时爬虫有效系数、文章价值系数和发布时间系数，根据每小时爬虫有效系数、文章价值系数和发布时间系数得到目标栏目的最终得分；计算采集资源；将计算好的采集资源按照栏目等级均分，得到每等级每小时采集份数。本申请提供的日活跃栏目热度计算及调度方法和装置从多个维度对栏目进行了评分，通用性好，能够动态调整栏目热度分级，无需进行二次请求或额外的请求来计算栏目热度，减少了资源浪费。减少了资源浪费。减少了资源浪费。


技术研发人员：田振
受保护的技术使用者：北京麦克斯泰科技有限公司
技术研发日：2023.02.22
技术公布日：2023/7/12