一种面向移动边缘网络的相似缓存内容动态放置方法

1.本发明属于网络优化技术领域，具体涉及一种面向移动边缘网络的相似缓存内容动态放置方法。


背景技术：

2.近年来，随着移动互联网技术的发展，5g网络不断普及，移动设备层出不穷，出现了一系列新兴应用，如物联网(iot)、车联网(iov)、虚拟现实、增强现实等，这些应用对网络吞吐量有更高的要求，对网络延迟要求更严格，并且导致移动流量呈现爆发式增长。为了适应不断增加的移动数据流量，缓解回程流量的压力，许多研究人员致力于研究协作的移动边缘缓存系统，其可以充分利用有限的边缘缓存资源为用户提供服务。其中绝大多数研究都是针对传统的精确缓存，即缓存节点中缓存了用户请求的内容时发生命中，否则发生未命中内容由远程服务器提供。由于边缘缓存节点的资源是昂贵有限的，并且边缘缓存的环境是高度动态变化的，这使得精确缓存经常发生未命中的情况，用户的请求便会通过回程链路发送到核心网络，延长用户获取服务的等待时间，使得用户的qos下降。
3.在许多情况下，可以将与用户请求内容相似的内容作为交付内容，来满足用户的请求。例如，用户对高分辨率视频的请求可以由低分辨率的版本满足。其余情况下，用户的请求查询具有非精确性，即请求是对相似内容的查询。在这些情况下，服务器可以向用户提供一个或者多个近似于用户请求的内容，或者将请求转发到远程服务器，这种缓存方式区别于传统的精确缓存，被称为相似缓存。
4.现有许多基于相似缓存的研究场景为单缓存，即用户的服务由一个缓存节点服务否则将被转发到远程服务器。据了解基于协作移动边缘缓存场景下的相似缓存的研究较少。结合移动边缘缓存中内容流行程度的高度动态性，以及网络环境是高度动态和可变的，需要一种在线学习算法来解决协作边缘缓存下的相似缓存放置问题，可以学习环境，并适应变化。
5.对抗多臂老虎机是传统老虎机问题的一个变种，与传统的随机老虎机具有以下区别，随机老虎机假设手臂的奖励分布是保持不变的，目标是找到随时间推移最高的平均奖励的手臂，而在对抗多臂老虎机中，奖励是对手产生的，可以随时改变奖励的概率，目标是找到即使在适应性对手存在的情况下也能产生高回报的手臂。对抗老虎机其行动奖励是没有统计假设的任意序列。无统计奖励的假设更适合复杂的环境。
6.现有缓存策略的研究都依赖于一些关于用户请求序列的先验假设或者知识。然而在实际应用中，移动边缘缓存中内容的受欢迎程度的统计特征通常是未知的，甚至是随时变、非平稳的，所以假设已知的内容请求速率或可预测的是不切实际的。


技术实现要素：

7.为了克服现有技术的不足，本发明提供了一种面向移动边缘网络的相似缓存内容动态放置方法，解决了相似缓存中面临高度动态的内容流行度与网络连接状态的缓存放置
问题。首先在协作的移动边缘缓存中引入相似缓存，可以将不同于内容请求的相似内容进行交付。然后公开了一种基于对抗多臂老虎机的相似缓存放置算法和相似内容交付算法；将问题建模为对抗多臂老虎机模型；选择拉动一个手臂，调用相似内容交付算法进行请求处理，收集当前阶段的缓存奖励，返回相似缓存放置算法，根据奖励估计手臂的奖励与权重，重复执行直至终止，算法可以得到适应当前环境的优异的缓存放置方案。通过该方式，本发明能够解决现有的技术存在的相似协作缓存放置的问题。
8.本发明解决其技术问题所采用的技术方案包括如下步骤：
9.步骤1：构建基于协作移动边缘缓存的相似缓存系统；
10.步骤2：构建系统中用户请求、延迟成本模型、相似缓存的相异成本模型，得到服务用户请求时延迟成本和相异成本的加权成本；
11.步骤3：使用对抗多臂老虎机对缓存放置问题进行建模，奖励函数设置为与在云服务器获取内容相比节省的成本，从而将最小化延迟成本和相异成本的加权成本问题转化为最大化累计奖励；
12.步骤4：根据基于对抗多臂老虎机相似缓存放置算法，选择拉动一个手臂，即确定缓存放置策略，调用相似内容交付算法进行请求处理，收集当前阶段的缓存奖励，返回相似缓存放置算法，根据奖励估计每个手臂的奖励以及权重；
13.步骤5：通过重复进行步骤4直至终止，即将算法运行时设置的所有用户请求均服务完毕，得到适应当前环境的优异的缓存放置方案。
14.进一步地，所述步骤1具体为：
15.在移动边缘缓存中包含一组协作的基站基站通过回程链路连接到核心网络，访问云服务器获取数据库中的内容；云服务器中缓存所有的内容到核心网络，访问云服务器获取数据库中的内容；云服务器中缓存所有的内容相当于内容存储库，即用户的请求被转发到云服务器都会被满足，并假设每个内容f大小相同且为sf；
16.假设基站的缓存容量相同为cs＝k*sf，即每个基站能够缓存k个内容；基站之间相互通信的最远距离为d
bs
，如果基站i和基站j之间的距离d
ij
《d
bs
，则二者之间能够相互通信共享缓存的内容；用表示时间序列，其中t是有限的时间范围，缓存决策在每个时间段定期更新；
17.在协作区域中引入一个中央控制器ccu，它拥有所有终端和bss的位置信息和缓存信息，为基站部署缓存内容，并根据当前缓存状态为用户的请求做出相应，确定交付内容。
18.进一步地，所述步骤2具体为：
19.步骤2-1：将请求类型分为两类k＝{1，2}：第一类是相异度敏感的请求，第二类是延迟敏感的请求；在两类请求中，相异度成本和延迟成本有不同的占比，引入一个与差异成本相关的权重wk，0≤wk≤1，延迟成本所占权重为1-wk；
20.根据请求类型为每个请求引入可接受的相异程度β，可接受的延迟程度δ，进一步提高用户的qos；如果在协作区域中没有内容的相异成本小于β且传输延迟小于δ，此时，系统将会在云服务器传输请求内容交付给用户；
21.步骤2-2：在t时刻，服务用户请求所产生的延迟成本：
[0022][0023]
其中，为基站pk与p
k+1
之间的传输延迟；
[0024]
步骤2-3：考虑内容的集合f是有限集的情况，相异成本用一个非负值的|f|
×
|f|的矩阵表示：
[0025][0026]
其中，ca(x,y)表示内容x与内容y的差异度成本，对于f中所有的内容x有ca(x,x)＝0；
[0027]
在时刻t根据用户发出的请求r、类型k、可接受的相异度程度β以及可接受的延迟程度δ，选择r
′
作为交付内容所产生的成本函数如下：
[0028]c(r,k,β,δ),r
′
(x
t
)＝wkca(r,r
′
)+(1-wk)d
(r,k,β,δ),r
′
(x
t
)。
[0029]
进一步地，所述步骤3具体为：
[0030]
步骤3-1：中央控制器ccu扮演老虎机玩家的角色，手臂是不同的缓存放置方案，奖励函数设置为reward＝maxcost
–
cost，其中，maxcost表示在云服务器获取服务时所产生的成本；总的时间分为t个时间段；当在时间段t选取缓存策略x
t
时，得到每个基站i的服务成本然后将缓存放置方案节省成本作为对抗多臂老虎机训练的奖励指标；
[0031]
步骤3-2：用户可在本地基站存储中的缓存内容获得服务；在协作的基站环境中，根据内容的获取成本，由协作的基站节点或云服务器满足本地用户的请求；
[0032]
步骤3-2-1：假设用户请求的内容在本地基站i上可用，内容可以立即以低延迟交付，交付内容的延时成本为di，在t时刻通过本地基站i满足用户请求的数量为则在本地基站服务的延迟成本为
[0033]
步骤3-2-2：假设用户所请求的内容在相应的基站i上不可用，而在协作区域中其他基站上可获得内容，则内容通过路径p向用户提供，路径p的传输延迟记为d
p
；在t时刻在协作区域中获得服务的数量标记为则在协作区域中获得服务的延迟成本是
[0034]
步骤3-2-3：假设用户请求在协作区域中没有发生相似命中，则用户的请求将被转发到云服务器，相应的内容将从云服务器获得，此时的传输延迟为d
backhaul
；在t时刻在协作区域中获得服务的数量标记为因此，云服务器服务的成本表示为
[0035]
步骤3-3：在时间t中总的服务延迟成本为：
[0036]
[0037]
考虑相似缓存，将相似的内容交付给用户，如果交付的内容与用户请求的内容不同，则会产生相异度成本，将其作为惩罚成本包含在奖励中，只有在协作区域中交付的内容会产生此项成本，将其表示为：
[0038][0039]
其中，表示在协作区域中发生相似命中的次数；
[0040]
步骤3-4：表示请求ri的服务类型的权重；为每个请求引入可接受的相异程度β，可接受的延迟程度δ，成本函数如下：
[0041][0042]
奖励函数设置为reward＝maxcost
–
cost，表示如下：
[0043][0044]
奖励最大化就是节省的成本最大化，系统的即时奖励定义为：
[0045][0046]
进一步地，所述步骤4具体为
[0047]
基于对抗多臂老虎机相似缓存放置算法考虑时间流为1，2，
…
，t，
…
，t，探索手臂集合为手臂集合中的任一手臂x维持一个权重，并初始化为w
x
(1)＝1，在
[0048]
每个时刻t，计算每个手臂的概率分布每个时刻t，计算每个手臂的概率分布为探索因子,选择一个缓存放置策略，手臂随后调用相似内容交付算法，进行请求处理，根据请求中β与δ，确定协作区域中的相似内容的候选集和；分别计算集合中每个内容作为交付内容所产生的成本，选择成本最小的内容作为交付内容；将交付内容交付给用户，并计算服务用户所带来的奖励r
t
(x
t
)；根据)；根据估计奖励，根据更新手臂的权重。
[0049]
进一步地，所述步骤5具体为：
[0050]
重复执行步骤4直至结束，根据观察到的奖励维持手臂的权重，如果手臂获得的奖励值大，则手臂的权重就会增加，反之，手臂获得的奖励值小，其权重就会下降；通过学习环
境，适应环境的动态变化，随着时间调整以得到适应当前环境的优异的缓存放置方案。
[0051]
本发明的有益效果如下：
[0052]
本发明解决了在允许相似性内容交付的协作移动边缘缓存网络下的缓存放置问题，可以最小化系统中服务用户产生的相异成本与传输延迟的加权成本，即最大化累计手臂的奖励，找到适应当前环境的最佳的缓存放置策略。
附图说明
[0053]
图1为本发明方法流程图。
[0054]
图2为本发明中的基于协作移动边缘缓存的相似缓存系统模型图。
[0055]
图3为本发明中问题示意图。
具体实施方式
[0056]
下面结合附图和实施例对本发明进一步说明。
[0057]
本发明针对现有问题，提出了一种面向移动边缘网络的相似缓存内容动态放置方法，通过将相似协作网络相似缓存放置问题建模为对抗多臂老虎机模型，不对内容流行度做任何平稳性假设，并且考虑协作网络中网络状态的变化，模型可以在多轮迭代中学习并适应环境，并调整模型以得到适应当前环境的优异的缓存放置方案。解决了在允许相似性内容交付的协作移动边缘缓存网络下的缓存放置问题，可以最小化系统中服务用户产生的相异成本与传输延迟的加权成本，即最大化累计手臂的奖励，找到适应当前环境的最佳的缓存放置策略。
[0058]
本发明的目的可以通过采取如下技术方案达到：
[0059]
如图1所示，一种面向移动边缘网络的相似缓存内容动态放置方法，包括以下步骤：
[0060]
步骤一：如图2所示，构建基于协作移动边缘缓存的相似缓存系统；
[0061]
步骤二：构建系统中用户请求、延迟成本模型、相似缓存的相异成本模型，得到服务用户请求时延迟成本和相异成本的加权成本；
[0062]
步骤三：如图3所示，使用对抗多臂老虎机对缓存放置问题进行建模，奖励函数设置为与在云服务器获取内容相比节省的成本，从而将最小化延迟成本和相异成本的加权成本问题转化为最大化累计奖励；
[0063]
步骤四：根据基于对抗多臂老虎机相似缓存放置算法，选择拉动一个手臂，即确定缓存放置策略，调用相似内容交付算法进行请求处理，收集当前阶段的缓存奖励，返回相似缓存放置算法，根据奖励估计每个手臂的奖励以及权重；
[0064]
步骤五：通过重复进行步骤四直至终止，算法可以适应动态的环境，并随着时间调整以得到适应当前环境的优异的缓存放置方案。
[0065]
具体实施例：
[0066]
所述步骤一具体为：构建基于协作移动边缘缓存的相似缓存系统。在移动边缘缓存中包含一组协作的基站基站通过回程链路连接到核心网络，访问云服务器获取数据库中的内容。云服务器中缓存所有的内容相当于内容存储库，即用户的请求被转发到云服务器都会被满足，并假设每个内容f大小相同且为sf。假设
基站的缓存容量相同为cs＝k*sf，即每个基站可以缓存k个内容。基站之间相互通信的最远距离为d
bs
，如果基站i和基站j之间的距离d
ij
《d
bs
，则二者之间可以相互通信共享缓存的内容。将表示时间序列，其中t是有限的时间范围，缓存决策在每个时间段定期更新。
[0067]
为了便于问题的研究，在协作区域中引入一个中央控制器(central control unit,ccu)，它拥有所有终端和bss的位置信息和缓存信息，可以方便地为基站部署缓存内容，并根据当前缓存状态为用户的请求做出相应，确定交付内容。
[0068]
所述步骤二，构建整个缓存系统模型。
[0069]
首先，将请求类型分为两类k＝{1，2}：第一类是相异度敏感的请求，第二类是延迟敏感的请求。在两类请求中，相异度成本和延迟成本有不同的占比，引入一个与差异成本相关的权重wk(0≤wk≤1)，延迟成本所占权重为1-wk。根据请求类型为每个请求引入可以接受的相异程度β，相比于延迟敏感的请求，相异度敏感的请求的β要更小。引入可接受的延迟程度δ，进一步提高用户的qos。如果在协作区域中没有内容的相异成本小于β且传输延迟小于δ，此时，系统将会在云服务器传输请求内容交付给用户。综上，一个请求包括一个内容r、请求类型k、可容忍的相异程度β以及可接受的延迟程度δ。
[0070]
其次，在t时刻，服务用户请求所产生的延迟成本：
[0071][0072]
其中，为基站pk与p
k+1
之间的传输延迟。
[0073]
再次，我们考虑内容的集合f是有限集的情况。相异成本可以用一个非负值的|f|
×
|f|的矩阵来表示。
[0074][0075]
其中，ca(x,y)表示内容x与内容y的差异度成本，对于f中所有的内容x有ca(x,x)＝0。
[0076]
在时刻t根据用户发出的请求r、类型k、可接受的相异度程度β以及可接受的延迟程度v，选择r
‘
作为交付内容所产生的成本函数如下：
[0077]c(r,k,β,δ),r
′
(x
t
)＝wkca(r,r
′
)+(1-wk)d
(r,k,β,δ),r
′
(x
t
)
[0078]
所述步骤三，使用对抗多臂老虎机对相似缓存放置问题进行建模。在该决策模型中，ccu扮演老虎机玩家的角色，手臂是不同的缓存放置方案，奖励函数设置为reward＝maxcost
–
cost，其中，maxcost表示在云服务器获取服务时所产生的成本。总的时间分为t个时间段，每个时隙1≤t≤t足以完成对所选缓存放置方案的动作和评估。当在时间段t选取缓存策略x
t
时，我们得到每个基站i的服务成本然后将使用有效的缓存放置方案节省成本作为对抗多臂老虎机训练的奖励指标。根据这些信息，为了使累积奖励最大化，ccu
决定在一系列试验中选择哪个缓存放置策略。
[0079]
用户可以在本地基站存储中的缓存内容获得服务。在协作的基站环境中，根据内容的获取成本，由协作的基站节点或云服务器满足本地用户的请求。
[0080]
1)假设用户请求的内容在本地基站i上可用。内容可以立即以低延迟交付。交付内容的延时成本为di。在t时刻通过本地基站i满足用户请求的数量为则在本地基站服务的延迟成本为
[0081]
2)假设用户所请求的一些内容在相应的基站i上不可用，而在协作区域中其他基站上可获得内容，则内容通过路径p向用户提供。路径p的传输延迟记为d
p
。在t时刻在协作区域中获得服务的数量标记为则在协作区域中获得服务的延迟成本是
[0082]
3)假设用户请求在协作区域中没有发生相似命中，则用户的请求将被转发到云服务器，相应的内容将从云服务器获得。此时的传输延迟为d
backhaul
。在t时刻在协作区域中获得服务的数量标记为因此，云服务器服务的成本表示为
[0083]
在时间t中总的服务延迟成本为：
[0084][0085]
考虑相似缓存，将相似的内容交付给用户。如果交付的内容与用户请求的内容不同，则会产生相异度成本，我们将其作为惩罚成本包含在奖励中。只有在协作区域中交付的内容会产生此项成本，我们将其表示为：
[0086][0087]
其中，表示在协作区域中发生相似命中的次数。
[0088]
ccu应该针对不同的用户请求类型设计不同的内容交付策略，来最大化用户qos。由于用户有不同的兴趣爱好，用户发出的内容的请求也分为不同的类型，ccu可以交付用户感兴趣的内容。为了实现这个目的，我们将请求类型分为两种类型k＝{1，2}：第一类是相异度敏感的请求，第二类是延迟敏感的请求。在两类请求中，相异度成本和延迟成本有不同的占比。在第一类请求中更关注差异成本带来的影响，因此引入一个与差异成本相关的权重wk。在两种类型的请求中，wk取值不同(如，将类型1的请求差异成本权重w1＝0.8，类型2的请求差异成本权重w2＝0.3)，表示请求ri的服务类型的权重；为每个请求引入可以接受的相异程度β与可接受的延迟程度δ，成本函数如下：
[0089][0090]
需要使用有效的缓存放置方案节省成本。奖励函数设置为reward＝maxcost
–
cost，表示如下：
[0091][0092]
奖励最大化就是节省的成本最大化。系统的即时奖励定义为：
[0093][0094]
所述步骤四，使用基于对抗多臂老虎机相似缓存放置算法和相似内容交付算法，分别进行协作区域中缓存策略的放置与确定请求交付内容的请求处理。
[0095]
基于对抗多臂老虎机相似缓存放置算法考虑时间流为1，2，
…
，t，
…
，t，探索手臂集合为手臂集合中的任一手臂x维持一个权重，并初始化为wk(1)＝1，在每个时刻t，计算每个手臂的概率分布计算每个手臂的概率分布为探索因子,选择一个缓存放置策略(手臂)。随后调用相似内容交付算法，进行请求处理，其可以根据请求中β与δ，确定协作区域中的相似内容的候选集和。分别计算集合中每个内容作为交付内容所产生的成本，选择成本最小的内容作为交付内容。将交付内容交付给用户，并计算服务用户所带来的奖励r
t
(x
t
)。根据)。根据估计奖励，根据更新手臂的权重。
[0096]
所述步骤五，重复执行步骤四，直至将算法运行时设置的用户请求均处理完毕，算法可以根据观察到的奖励维持手臂的权重，如果手臂获得的奖励值大，则手臂的权重就会增加，反之，手臂获得的奖励值小，其权重就会下降。算法通过学习环境，适应环境的动态变化，可以随着时间调整以得到适应当前环境的优异的缓存放置方案。

技术特征：
1.一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，包括如下步骤：步骤1：构建基于协作移动边缘缓存的相似缓存系统；步骤2：构建系统中用户请求、延迟成本模型、相似缓存的相异成本模型，得到服务用户请求时延迟成本和相异成本的加权成本；步骤3：使用对抗多臂老虎机对缓存放置问题进行建模，奖励函数设置为与在云服务器获取内容相比节省的成本，从而将最小化延迟成本和相异成本的加权成本问题转化为最大化累计奖励；步骤4：根据基于对抗多臂老虎机相似缓存放置算法，选择拉动一个手臂，即确定缓存放置策略，调用相似内容交付算法进行请求处理，收集当前阶段的缓存奖励，返回相似缓存放置算法，根据奖励估计每个手臂的奖励以及权重；步骤5：通过重复进行步骤4直至终止，即将算法运行时设置的所有用户请求均服务完毕，得到适应当前环境的优异的缓存放置方案。2.根据权利要求1所述的一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，所述步骤1具体为：在移动边缘缓存中包含一组协作的基站基站通过回程链路连接到核心网络，访问云服务器获取数据库中的内容；云服务器中缓存所有的内容心网络，访问云服务器获取数据库中的内容；云服务器中缓存所有的内容相当于内容存储库，即用户的请求被转发到云服务器都会被满足，并假设每个内容f大小相同且为s
f
；假设基站的缓存容量相同为c
s
＝k*s
f
，即每个基站能够缓存k个内容；基站之间相互通信的最远距离为d
bs
，如果基站i和基站j之间的距离d
ij
<d
bs
，则二者之间能够相互通信共享缓存的内容；用表示时间序列，其中t是有限的时间范围，缓存决策在每个时间段定期更新；在协作区域中引入一个中央控制器ccu，它拥有所有终端和bss的位置信息和缓存信息，为基站部署缓存内容，并根据当前缓存状态为用户的请求做出相应，确定交付内容。3.根据权利要求2所述的一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，所述步骤2具体为：步骤2-1：将请求类型分为两类k＝{1，2}：第一类是相异度敏感的请求，第二类是延迟敏感的请求；在两类请求中，相异度成本和延迟成本有不同的占比，引入一个与差异成本相关的权重w
k
，0≤w
k
≤1，延迟成本所占权重为1-w
k
；根据请求类型为每个请求引入可接受的相异程度β，可接受的延迟程度δ，进一步提高用户的qos；如果在协作区域中没有内容的相异成本小于β且传输延迟小于δ，此时，系统将会在云服务器传输请求内容交付给用户；步骤2-2：在t时刻，服务用户请求所产生的延迟成本：其中，d
p
<δ，为基站p
k
与p
k+1
之间的传输延迟；
步骤2-3：考虑内容的集合f是有限集的情况，相异成本用一个非负值的|f|
×
|f|的矩阵表示：其中，c
a
(x,y)表示内容x与内容y的差异度成本，对于f中所有的内容x有c
a
(x,x)＝0；在时刻t根据用户发出的请求r、类型k、可接受的相异度程度β以及可接受的延迟程度δ，选择r
′
作为交付内容所产生的成本函数如下：c
(r,k,β,δ),r
′
(x
t
)＝w
k
c
a
(r,r
′
)+(1-w
k
)d
(r,k,β,δ),r
′
(x
t
)。4.根据权利要求3所述的一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，所述步骤3具体为：步骤3-1：中央控制器ccu扮演老虎机玩家的角色，手臂是不同的缓存放置方案，奖励函数设置为reward＝maxcost
–
cost，其中，maxcost表示在云服务器获取服务时所产生的成本；总的时间分为t个时间段；当在时间段t选取缓存策略x
t
时，得到每个基站i的服务成本然后将缓存放置方案节省成本作为对抗多臂老虎机训练的奖励指标；步骤3-2：用户可在本地基站存储中的缓存内容获得服务；在协作的基站环境中，根据内容的获取成本，由协作的基站节点或云服务器满足本地用户的请求；步骤3-2-1：假设用户请求的内容在本地基站i上可用，内容可以立即以低延迟交付，交付内容的延时成本为d
i
，在t时刻通过本地基站i满足用户请求的数量为则在本地基站服务的延迟成本为步骤3-2-2：假设用户所请求的内容在相应的基站i上不可用，而在协作区域中其他基站上可获得内容，则内容通过路径p向用户提供，路径p的传输延迟记为d
p
；在t时刻在协作区域中获得服务的数量标记为则在协作区域中获得服务的延迟成本是步骤3-2-3：假设用户请求在协作区域中没有发生相似命中，则用户的请求将被转发到云服务器，相应的内容将从云服务器获得，此时的传输延迟为d
backhaul
；在t时刻在协作区域中获得服务的数量标记为因此，云服务器服务的成本表示为步骤3-3：在时间t中总的服务延迟成本为：考虑相似缓存，将相似的内容交付给用户，如果交付的内容与用户请求的内容不同，则会产生相异度成本，将其作为惩罚成本包含在奖励中，只有在协作区域中交付的内容会产生此项成本，将其表示为：
其中，表示在协作区域中发生相似命中的次数；步骤3-4：表示请求r
i
的服务类型的权重；为每个请求引入可接受的相异程度β，可接受的延迟程度v，成本函数如下：奖励函数设置为reward＝maxcost
–
cost，表示如下：奖励最大化就是节省的成本最大化，系统的即时奖励定义为：5.根据权利要求4所述的一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，所述步骤4具体为基于对抗多臂老虎机相似缓存放置算法考虑时间流为1，2，
…
，t，
…
，t，探索手臂集合为手臂集合中的任一手臂x维持一个权重，并初始化为w
x
(1)＝1，在每个时刻t，计算每个手臂的概率分布γ∈[0,1]为探索因子,选择一个缓存放置策略，手臂随后调用相似内容交付算法，进行请求处理，根据请求中β与δ，确定协作区域中的相似内容的候选集和；分别计算集合中每个内容作为交付内容所产生的成本，选择成本最小的内容作为交付内容；将交付内容交付给用户，并计算服务用户所带来的奖励r
t
(x
t
)；根据)；根据估计奖励，根据更新手臂的权重。6.根据权利要求5所述的一种面向移动边缘网络的相似缓存内容动态放置方法，其特征在于，所述步骤5具体为：重复执行步骤4直至结束，根据观察到的奖励维持手臂的权重，如果手臂获得的奖励值大，则手臂的权重就会增加，反之，手臂获得的奖励值小，其权重就会下降；通过学习环境，适应环境的动态变化，随着时间调整以得到适应当前环境的优异的缓存放置方案。

技术总结
本发明公开了一种面向移动边缘网络的相似缓存内容动态放置方法，解决了相似缓存中面临高度动态的内容流行度与网络连接状态的缓存放置问题。首先在协作的移动边缘缓存中引入相似缓存，可以将不同于内容请求的相似内容进行交付。然后公开了一种基于对抗多臂老虎机的相似缓存放置算法和相似内容交付算法；将问题建模为对抗多臂老虎机模型；选择拉动一个手臂，调用相似内容交付算法进行请求处理，收集当前阶段的缓存奖励，返回相似缓存放置算法，根据奖励估计手臂的奖励与权重，重复执行直至终止，算法可以得到适应当前环境的优异的缓存放置方案。通过该方式，本发明能够解决现有的技术存在的相似协作缓存放置的问题。技术存在的相似协作缓存放置的问题。技术存在的相似协作缓存放置的问题。


技术研发人员：王亮 王雅茹 苏珊 於志文 郭斌
受保护的技术使用者：西北工业大学
技术研发日：2023.05.23
技术公布日：2023/8/6