基于强化学习的通用基站温控方法和系统

1.本发明属于通信系统基站节能
技术领域：
：，具体涉及一种基于强化学习的通用基站温控方法和系统。
背景技术：
：：2.随着数据流量和信息业务的快速增长，移动通信正在进入第五代(5g)。与4g网络相比，5g网络具有更快的速率、更低的延迟、更大的容量、更高的可靠性等技术特点，是未来信息技术的主要发展方向。3.与4g相比，5g网络由于其更大的带宽、更多的信道、复杂的设备结构以及更高的基站站点和天线密度，需要消耗更多的能量。此外，随着5g网络应用场景和配套设备的扩大，能源消耗预计将进一步增加。通信行业正在成为高耗能行业，预计到2025年将消耗全球20％的电力，而电力成本将成为移动网络运营商最高的运营费用，占总运营费用的15％以上。此外，全球电子可持续发展提出到2020年信息和通信行业的温室气体排放量将达到130亿吨。5g基站的能耗占系统总能耗的80％以上，因此，5g基站的节能降耗对通信技术的可持续发展具有重要意义。4.由于基站内的设备向基站机房散热，基站的制冷系统需要消耗大量的能量进行热管理，以控制工作环境在一个可接受的温度范围内，因此基站制冷系统温控能耗带来相当可观的能量消耗与电费开销，占基站总能耗的40％以上。所以，基站温控具有巨大的节能潜力与空间。然而，目前业界基站节能手段主要聚焦于基站电信设备的硬件和主设备关断休眠方面，如优化硬件架构设计、符号关断、载波关断、时隙关断等技术，较少的研究工作关注于基站温控节能。现有的有关基站制冷系统的方法主要是协助或取代空调进行散热，如排风机、相变材料、热泵等，然而，这些方法的节能效果有限，且安装和运维的费用较高，不利于工程上应用与推广。技术实现要素：5.为了解决上述问题，本发明提供了基于强化学习的通用基站温控方法和系统，能够满足设备安全性，提高基站能效并达到最小的运行成本。6.一种基于强化学习的通用基站温控方法，包括以下步骤：7.s1、利用符合要求的基站数据进行本地模型推理，得到本地模型，并利用本地模型的参数进行全局模型聚合得到模型库；8.s2、判断基站是否为符合要求的基站：若该基站符合要求，执行s8和s10；否则跳转至s3；9.s3、获取基站基础信息，将基站的基础信息与模型库进行基于聚类的匹配得到迁移模型；10.s4、获取天气信息、动环监控系统反馈的数据，并构建数据集；11.s5、根据数据集构建训练集进行训练，得到基站站点热环境模型；12.s6、进行本地模型推理：利用数据集和基站站点热环境模型训练q-table，得到本地模型，；13.s7、判断本地模型是否优于迁移模型；若是则执行s8；否则，执行s9；14.s8、根据本地模型推理得到的q-table选择动作；15.s9、根据站点当前状态和迁移模型选择动作；16.s10、得到s8或s9输出的动作，根据设定的空调温度设定点和动作之间的关系输出温度控制策略。17.进一步的，步骤s1中，模型库通过以下步骤构建：18.s1.1、对于每个符合要求的基站：获取站点已有的数据，所述数据包括站点基础信息、外界天气历史数据和动环监控系统历史数据，并构建站点基础信息向量；19.s1.2、将获取的数据进行数据预处理，根据预处理后的数据构建数据集其中，为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,…nb，nb为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,…nbbu，nbbu为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；为空调功率特征；20.s1.3、建立stgcn模型，处理s1.2得到的数据集得到训练集并训练stgcn，得到基站站点热环境模型；21.s1.4、进利用数据集和基站站点热环境模型更新q-table，得到本地模型，本地模型包括q-table和站点基础信息向量；q-table以表格形式存储状态-动作对(s,a)的动作价值函数q(s,a)；22.s1.5、将本地模型上传至云平台进行全局模型聚合得到模型库。23.进一步的，步骤s1.3包括以下步骤：24.s1.3.1、选取蓄电池、bbu、空调、室内、室外五类节点构建图，即vt是一个有限的节点集；空调节点ac由负载率表示；蓄电池节点bi由其表面温度表示，i＝1,…nb；bbu节点bbuj由其入风温度表示，j＝1,…nbbu；室内节点indoor定义为站点的中心点；室外节点outdoor定义为向阳面墙壁的中心；25.s1.3.2、构建邻接矩阵w，满足其中，wij为组成w的元素，表示图中任意两个节点i和j之间的边的权重，di,j表示节点i和j之间的距离，σ2和l是用于控制邻接矩阵w分布和稀疏度的阈值；26.s1.3.3构建stgcn模型m(gt；θ)，其中θ代表待训练的模型参数；27.s1.3.4、构建训练集其中其中分别为在时间段t＝n-1-r,...,n-1整合得到的张量，t代表第t时刻，r代表时间序列的长度，n代表当前时刻，分别为在t＝n时的值前六项代表输入特征，后三项代表标签特征，用训练集训练m(gt；θ)，得到基站站点热环境模型。28.进一步的，步骤s1.4包括以下步骤：29.s1.4.1、设定循环次数epoch,令epoch＝1；s1.4.2、方法的决策时间粒度为δt，对于数据集中，每次取出时间间隔为δt的两条数据和它们为智能体的动作at导致的环境的一次状态转移经过数据处理得到时刻t的状态t+δt的状态和在时刻t的动作at，利用更新公式对价值函数进行更新；30.s1.4.3、将和at作为s1.3得到的基站站点热环境模型的输入，得到输出计算和st+δt的差值若则执行s1.4.4,否则，跳转至s1.4.5；是设定的基站站点热环境模型最低精度要求的阈值；31.s1.4.4、对于a∈a且a≠at的所有动作将和作为s1.3得到的基站站点热环境模型的输入，得到输出利用更新公式对价值函数进行更新；32.s1.4.5、令epoch＝epoch+1,epoch《epoch时跳至转s1.4.1，否则退出循环。33.进一步的，步骤s3包括以下步骤：34.s3.1、取出模型库中的基站基础信息{x1,x2,…,xm-1}，用基站基础信息xm和{x1,x2,…,xm-1}构成样本集x＝{x1,x2,…,xm}；35.s3.2、设定降维后的维度k1、聚类后的维度k2、簇划分后xm所在簇大小的阈值k，进行聚类，得到聚类后的簇划分；36.s3.3、设xm所在簇的样本为x1,…,xn；若n≥k，取出模型库中对应的q表q-table＝{q-table1,…,q-tablen}；否则取出模型库的所有q-table：q-table＝{q-table1,…,q-tablem-1}；得到迁移模型，迁移模型包括和在聚类过程中得到的各xi与xm之间的相似度xi为与q-tablei∈q-table,i＝1,...ntb对应的基站基础信息向量，ntb表示q-table包含的q-table的数量。37.进一步的，步骤s4包括以下步骤：38.s4.1、获取天气信息、动环监控系统反馈的数据，构建当前时刻t的基站状态表示为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,…nb，nb为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,…nbbu，nbbu为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；39.s4.2、构建数据集s4.2、构建数据集为空调功率特征。40.进一步的，步骤s7包括以下步骤：41.s7.1、记录在每个历史时刻t分别根据迁移模型和本地模型选择的动作和42.s7.2、设定评估阈值η，和窗口大小k，对于一段时间ti∈[tstart,tstart+δt,...,tstart+kδt]，计算每个ti过去一天根据迁移模型和本地模型分别获得的累计奖励和其中，为在状态st下根据迁移模型选择的动作，为状态st下根据本地模型选择的动作；当超过η*k的ti满足时，本地模型优于迁移模型；否则迁移模型优于本地模型。[0043]进一步的，步骤s8包括以下步骤：[0044]s8.1、获取当前时刻t的基站状态表示为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,…nb，nb为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,…nbbu，nbbu为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；[0045]s8.2、将st作为本地模型推理得到的q-table的状态输入，设定贪心阈值ε；以ε的概率选择q值最大的动作以1-ε的概率随机选择一个动作at，输出动作at。[0046]进一步的，步骤s9包括以下步骤：[0047]s9.1、获取q-table和xi与xm之间的相似度以及当前时刻t的基站状态表示xi为与q-tablei∈q-table,i＝1,...ntb对应的基站基础信息向量，i＝1,…nb，nb为蓄电池的数量；[0048]s9.2、对每个q-tablei∈q-table，将st作为状态输入选择q值最大的动作，得到[0049]即得到向量中对应的分量为1，其余分量为0；[0050]s9.3、计算则输出动作at。[0051]一种基于强化学习的通用基站温控系统，包括：[0052]信息感知系统，用于收集基站基础信息、室外天气信息、分时电价信息以及由动环监控系统反馈的数据；[0053]动环监控系统，用于监测包括bbu、传输设备、蓄电池等设备的温度和空调的功率数据，将信息感知系统收集到的数据输送到中央处理器；[0054]中央处理器，集成在基带处理单元中，用于将接收的数据进行分析与处理，得到基站状态表示并更新数据集；将数据集作为优化算法的输入进行模型更新，生成实时温控策略，并将实时温控策略发送给智能控制器；[0055]智能控制器，用于根据实时温控策略生成温控指令，以红外信号的形式发送给空调；[0056]空调，用于根据温控指令产生相应的温控运行操作，带来基站机房环境的改变，动环监控系统实时监测、采集数据并输入至中央处理器，用以对优化算法和相关模型进行在线更新与修正。[0057]与现有技术相比，本发明至少具有以下有益的技术效果：[0058]由于站点的围护结构、地理位置、设备结构等具有较大的差异性，不存在一种普适的基站温控策略。现有的基站温控方案要求大量的输入参数和高质量的数据，这对于数据少、数据准备度较差的基站是难以满足的。如何在少量数据甚至没有数据的情况下设定基站站点的空调温控策略，称为冷启动问题。[0059]本发明所述的方法通过集成学习和迁移学习的技术手段，实现在无数据积累和输入少量参数的情况下能够有效地从现有的其他基站站点数据中学习，获得一个初始的控制策略，提升了该方法对于不同基站的可迁移性和泛化能力；通过强化学习的技术手段，利用后续收集的数据进行本地模型推理，进一步优化控制策略，实现算法的智能化。[0060]该方法在数据质量好、数据源丰富的基站进行本地模型推理，得到本地模型，将本地模型参数上传至云平台进行全局模型聚合，构建模型库。对于数据少、数据准备度较差的基站，将基站的基础信息与模型库进行基于聚类的匹配得到迁移模型，利用此迁移模型得到初始温控策略，并构建数据集；利用构建的数据集建立时空图卷积网络站点热环境模型；同时进行本地模型推理：利用数据集和站点热环境模型更新q-table；通过评价本地推理的模型与迁移模型的优劣，当本地推理的模型优于迁移模型时，利用本地模型得到温控策略，实现方法的自适应切换；本地模型推理完毕后，将本地模型参数上传至云平台再次进行全局模型聚合。[0061]进一步的，该方法以站内空调为主要优化对象，具有巨大的节能潜力，可以降低基站的运行成本并保证设备在安全的温度范围内运行。[0062]本发明所述的系统，使用机房环境监控系统提供的数据作为输入，并且可以部署在bbu中，无需过多额外硬件投入来获取输入信息和部署算法。附图说明[0063]图1为基于强化学习的通用基站温控系统示意图；[0064]图2为一种基于强化学习的通用基站温控方法流程图；[0065]图3为广东东莞四个基站基于上述方案优化前后的空调运行费用对比；[0066]图4为广东东莞某基站在连续测试阶段的平均站点总运行成本和平均空调运行成本；具体实施方式[0067]下面结合附图和具体实施方式对本发明进行详细说明。[0068]本发明基于参数共识和迁移学习实现节能方案的可迁移性与通用性，同时保证方案的性能。[0069]参照图1，本发明的实施例提供了该方法的5g基站温控系统，包括中央处理器、智能控制器(以下简称为控制器)、基站空调系统(以下简称为空调)、信息感知系统以及通信电源及机房环境监控系统(以下简称为动环监控系统)，该系统能够基于对基站的状态进行感知，根据当前基站状态设定最优的空调设定温度，使得用电成本最小化。[0070]在本系统中：基于q-learning的优化算法和时空图卷积网络(stgcn)模型的软件及程序被部署在中央处理器，中央处理器集成在基带处理单元(bbu)中；信息感知系统收集基站基础信息、室外天气信息、分时电价信息以及由动环监控系统反馈的数据。其中基站基础信息从基站运营商公司获得或通过实地勘测获得，室外天气信息从网络获取，分时电价信息从当地电力部门官网获取。基站基础信息包括：网络架构(c-ran/d-ran)、室内站点/室外站点、机房的尺寸大小(小/中/大)、围护结构的材料、蓄电池类型(铅酸/锂电)、蓄电池数量、bbu数量、基站所在城市的年平均温度。天气信息包括室外温度与天气状况。动环监控系统是基站机房内的对机房的环境及动力环境进行监控的一套软、硬件，监测包括bbu、传输设备、蓄电池等设备的温度和空调的功率数据。将信息感知系统收集到的数据输送到中央处理器作为优化算法的必要输入参数并收集数据；中央处理器将接收的数据进行分析与处理，得到基站状态表示并更新数据集。将数据集作为优化算法的输入进行模型更新：训练站点热环境模型、基于q-learning训练得到q-table，生成实时温控策略；中央处理器将生成的实时温控策略以串口指令的形式发送给智能控制器，智能控制器自学习基站空调的红外码值并发送温控策略的红外码指令；空调接收到控制器发送的红外码指令继而自动调整空调温度设定点，产生相应的运行操作；空调运行的改变会影响整个基站的环境变化，动环监控系统动态感知这种变化，并实时采集设备温度、功率数据输入至中央处理器作为反馈信息，以在线更新及修正温控策略。[0071]该系统接收云平台下发的模型库，将基站的基础信息与模型库进行基于聚类的匹配得到迁移模型，利用此迁移模型得到初始温控策略；在运行初始温控策略期间积累数据(包括室外天气信息、动环监控系统的反馈数据)并构建数据集，同时进行本地模型推理；自适应评价本地模型与迁移模型的优劣，当本地推理的模型优于迁移模型时，切换到利用本地模型得到温控策略；系统利用室外天气信息和动环监控系统的反馈数据构建基站的状态表示，将其作为模型的输入，在线输出最优温控策略；本地模型推理完毕后，将本地模型参数上传至云平台再次进行全局模型聚合。[0072]中央处理器生成的实时温控策略，以串口形式发送给智能控制器。[0073]智能控制器，用于根据实时温控策略生成温控指令，以红外信号的形式发送给空调。[0074]空调，用于根据温控指令产生相应的温控运行操作，带来基站机房环境的改变，动环监控系统实时监测、采集数据并输入至中央处理器，用以对优化算法和相关模型进行在线更新与修正。[0075]对于数据质量好、数据源丰富的基站，系统直接进行本地模型推理，得到本地模型；对于数据少、数据准备度较差的基站，该系统将基站的基础信息与云平台的模型库进行基于聚类的匹配得到迁移模型，并进行本地模型推理；通过评价本地模型与迁移模型的优劣，实现方法的自适应切换；该系统可通过对基站的运行环境状态进行感知，在保证设备安全与稳定运行的前提下进行空调的优化控制，降低机房温控运行成本并实现节能减排的目标。[0076]图2为根据本发明一个实施例的基站节能方法的流程示意图。具体包括如下步骤：[0077]s1、利用数据质量好、数据源丰富的基站的数据，通过q-learning进行本地模型推理，得到本地模型，并将本地模型参数上传至云平台进行全局模型聚合得到模型库；[0078]s2、判断该基站是否为数据质量好、数据源丰富的基站：若该基站为数据质量好、数据源丰富的基站，执行s8和s10；否则跳转至s3；[0079]s3、获取基站基础信息，将基站的基础信息与模型库进行基于聚类的匹配得到迁移模型；[0080]s4、获取天气信息、动环监控系统反馈的数据，并构建数据集；[0081]s5、根据数据集构建stgcn训练集进行训练，得到基站站点热环境模型,步骤同s1.3；[0082]s6、进行本地模型推理：利用数据集和基站站点热环境模型训练q-table，得到本地模型，步骤同s1.4；[0083]s7、判断本地模型是否优于迁移模型；若是则执行s8；否则，执行s9；[0084]s8、根据本地模型推理得到的q-table选择动作；[0085]s9、根据站点当前状态和迁移模型选择动作；[0086]s10、得到s8或s9输出的动作，根据设定的空调温度设定点和动作a之间的关系setpoint＝f(a,t)输出温度控制策略,其中setpoint空调温度设定点，t表示当前时间。[0087]进一步的，s1中，模型库通过以下步骤构建：[0088]s1.1、从数据完整性、唯一性、有效性、准确性等方面评估数据的质量，对于每个数据质量高、数据源丰富的基站：获取站点已有的数据，所述数据包括站点基础信息、外界天气历史数据和动环监控系统历史数据；站点基础信息包括：网络架构(c-ran/d-ran)、室内站点/室外站点、占地面积(小/中/大)、围护结构、蓄电池类型(铅酸/锂电)、蓄电池数量、bbu数量、站点所在城市年平均气温，并构建站点基础信息向量；[0089]s1.2、将获取的数据进行数据预处理，数据预处理主要包括缺失数据填充、异常值处理；得到蓄电池温度特征其中，为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,…nb，nb为蓄电池的数量；bbu温度特征为蓄电池的数量；bbu温度特征为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,…nbbu，nbbu为bbu的数量；室内温度特征为动环监控系统监测的室内温度；室外温度特征其中为室外空气温度，β为维护结构外表面对太阳辐射的吸收率，αout为维护结构外表面的对流换热系数，i为太阳辐射强度；空调功率特征其中t代表第t时刻。构建数据集[0090]s1.3、建立stgcn模型，处理s1.2得到的数据集得到训练集并训练stgcn，得到基站站点热环境模型；[0091]s1.4、进行本地模型推理：利用数据集和基站站点热环境模型更新q-table，得到本地模型，本地模型包括q-table和站点基础信息向量；q-table以表格形式存储状态-动作对(s,a)的动作价值函数q(s,a)；[0092]s1.5、将本地模型上传至云平台进行全局模型聚合得到模型库。[0093]进一步的，步骤s1.3包括以下步骤：[0094]温度预测是一个典型的时间序列预测问题，即根据之前的测量结果预测下一时间步的温度，将基站室内环境的热过程定义在图上，各个观测点之间的结果不是独立的，而是由具有权重的配对节点在图中连接起来，并在图上视为一个图信号，t时刻的图可以表示为gt＝(vt,e,w)，vt是一个有限的节点集，e是一个有限的边集，w为邻接矩阵。[0095]s1.3.1、选取蓄电池、bbu、空调、室内、室外五类节点构建图，即每个节点由各自的特征表示：空调节点ac由负载率表示,其中和分别代表空在时间阶段t的功耗和空调制冷模式下的额定功率，τ代表每个时间阶段的持续时间；蓄电池节点bi由其表面温度表示，i＝1,…nb；bbu节点bbuj由其入风温度表示，j＝1,…nbbu；室内节点indoor定义为站点的中心点，由表示；室外节点outdoor定义为向阳面墙壁的中心，由表示；[0096]s1.3.2、构建邻接矩阵w，满足其中wij为组成w的元素，表示的是图中任意两个节点i和j之间的边的权重，di,j表示节点i和j之间的距离，σ2和l是用于控制邻接矩阵w分布和稀疏度的阈值；[0097]s1.3.3构建stgcn模型m(gt；θ)，其中θ代表待训练的模型参数；[0098]s1.3.4、构建训练集其中分别为在时间段t＝n-1-r,...,n-1整合得到的张量，t代表第t时刻，r代表时间序列的长度，n代表当前时刻，分别为在t＝n时的值前六项代表输入特征，后三项代表标签特征，用训练集训练m(gt；θ)，得到基站站点热环境模型。[0099]进一步的，步骤s1.4包括以下步骤：[0100]强化学习包括两个主要部分：智能体和环境。rl问题是在马尔科夫决策过程(mdp)上定义的。一个mdp通常由状态空间、行动空间、状态转移概率函数、奖励函数、折扣因子等组成。在每个时刻，环境有一个状态s，状态空间s是所有可能状态的集合；行动a是智能体根据当前状态做出的决定，行动空间a是所有可能行动的集合；奖励r是智能体执行行动后，环境返回给智能体的一个数值；状态转移是智能体从当前t时刻的状态s移动到下一个时刻的状态s′的过程，状态转换概率函数用来描述状态转移，表示为p(s′|s,a)；折扣因子代表对于t时刻状态st而言，当前奖励rt和未来奖励rt+i的重要性。强化学习的目标就是得到一个策略π，在每个时刻根据观测到的状态做出决策，决策的依据是动作价值函数给定当前状态st,智能体应该执行a中动作价值最大的那个动作，即在强化学习中，学习过程通常是通过与environment的直接互动来实现的，动作价值函数需要在每次互动后根据以下公式进行更新：[0101][0102]其中，q(s,a)代表智能体在状态s下采取行动a的价值；s′是下一个状态；rss′是表示智能体采取行动a从状态s过渡到状态s′时的奖励；α是学习参数；γ代表折扣因子。[0103]t时刻的状态表示为动作表示为直接计算状态转移函数是一项非常具有挑战性的任务，所以通过神经网络训练来估计状态转移。基站站点的热过程是一个复杂的物理过程，它受到如太阳辐射、天气条件和网络流量负载等随时间变化的不确定因素的影响，所以它是随时间变化的。此外，基站站点的热过程主要涉及对流热交换，在能源节点之间存在能量和热传递，导致其在空间上的依赖性。因此，利用stgcn来捕捉时空依赖性，建立基站站点热环境模型，用于估计状态转移。奖励函数被定义为[0104]r(st,at)＝-et+f(at)，[0105]其中et和f(at)分别代表空调在时间阶段t的运行成本和惩罚函数。et表示为：其中ct表示t阶段的分时电价。f(at)是一个分段函数：[0106][0107]其中和分别代表电池和bbu的工作温度红线；c和d是可调的斜率和截距。如果所有的电池和bbu都满足各自的温度红线，则f(at)＝0；否则，f(at)被设定为基于动作at的单调增函数。理由是，当至少有一个设备不满足红线温度约束时，智能体(即空调系统)应优先选择高负载率的动作，以提供更多的冷量。只要满足单调性，f(at)可以为一元线性函数外的各种形式。[0108]s1.4.1、设定循环次数epoch,令epoch＝1；[0109]s1.4.2、方法的决策时间粒度为δt，对于数据集中，每次取出时间间隔为δt的两条数据和它们可以视为智能体的动作at导致的环境的一次状态转移经过数据处理得到时刻t的状态t+δt的状态和在时刻t的动作at，利用更新公式对价值函数进行更新；[0110]s1.4.3、将和at作为s1.3得到的基站站点热环境模型的输入，得到输出计算和st+δt的差值若则执行s1.4.4,否则，跳转至s1.4.5。其中是设定的基站站点热环境模型最低精度要求的阈值；[0111]s1.4.4、对于a∈a且a≠at的所有动作将和作为s1.3得到的基站站点热环境模型的输入，得到输出利用更新公式对价值函数进行更新；[0112]s1.4.5、令epoch＝epoch+1,当epoch《epoch时跳转至s1.4.1，否则退出循环。[0113]进一步的，步骤s1和s2中：[0114]数据质量好、数据源丰富的基站的判断标准为：[0115]传感器部署数量多，数据缺失和异常值发生的情况少。具体地，传感器部署点位应包括：各墙壁、各组蓄电池、各bbu、室内外温度，数据缺失和异常值发生的概率应低于1％。[0116]进一步的，步骤s3包括以下步骤：[0117]采用谱聚类算法进行聚类。谱聚类算法的主要思想是把所有的样本看作空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。[0118]s3.1、取出模型库中的基站基础信息{x1,x2,…,xm-1}，用基站基础信息xm和{x1,x2,…,xm-1}构成样本集x＝{x1,x2,…,xm}；[0119]s3.2、设定降维后的维度k1、聚类后的维度k2、簇划分后xm所在簇大小的阈值k，进行聚类，得到聚类后的簇划分。聚类过程如下：[0120]1)采用全连接法构建样本的相似矩阵φ，使用高斯核函数来定义两点之间边的权重，即其中φij表示节点i和节点j之间的相似度，为xi、xj之间l2范数距离，σ2表示方差；[0121]2)根据相似矩阵φ构建邻接矩阵w，满足wij＝φij，其中wij表示节点i和节点j之间边的权重；构建度矩阵d，度矩阵d中的元素di满足di表示节点i的度，即连接到该节点的边的个数；[0122]3)计算拉普拉斯矩阵l＝d-w；[0123]4)构建标准化后的拉普拉斯矩阵d-1/2ld-1/2；[0124]5)计算d-1/2ld-1/2最小的k1个特征值所各自对应的特征向量z；[0125]6)将各自对应的特征向量z组成的矩阵按行标准化，最终组成m×k1维的特征矩阵z；[0126]7)对z中的每一行作为一个k1维的样本，共m个样本，用k-means进行聚类，聚类维数为k2；[0127]8)得到簇划分[0128]s3.3、簇划分后，设xm所在簇的样本为x1,…,xn；若n≥k，取出模型库中对应的q表q-table＝{q-table1,…,q-tablen}；否则取出模型库的所有q-table：q-table＝{q-table1,…,q-tablem-1}；得到迁移模型，迁移模型包括和在聚类过程中得到的各xi与xm之间的相似度xi为与q-tablei∈q-table,i＝1,...ntb对应的基站基础信息向量，ntb表示q-table包含的q-table的数量。[0129]进一步的，步骤s4包括以下步骤：[0130]s4.1、获取天气信息、动环监控系统反馈的数据，构建当前时刻t的基站状态表示[0131]s4.2、构建数据集[0132]进一步的，步骤s7包括以下步骤：[0133]算法通过比较前一天使用迁移模型和本地模型指定空调运行策略产生运行成本来评估迁移模型和本地模型的性能。[0134]s7.1、记录在每个历史时刻t分别根据迁移模型和本地模型选择的动作和[0135]s7.2、设定评估阈值η，和窗口大小k，对于一段时间ti∈[tstart,tstart+δt,...,tstart+kδt]，计算每个ti过去一天根据迁移模型和本地模型分别获得的累计奖励和其中，为在状态st下根据迁移模型选择的动作，为状态st下根据本地模型选择的动作。当超过η*k的ti满足时，认为本地模型优于迁移模型；否则认为迁移模型优于本地模型；[0136]进一步的，步骤s8包括以下步骤：[0137]s8.1、获取步骤s4处理得到的当前时刻t的基站状态表示[0138]s8.2、将st作为本地模型推理得到的q-table的状态输入，设定贪心阈值ε；以ε的概率选择q值最大的动作以1-ε的概率随机选择一个动作at，输出动作at；[0139]进一步的，步骤s9包括以下步骤：[0140]s9.1、获取步骤s3得到的q-table和以及步骤s4处理得到的当前时刻t的基站状态表示[0141]s9.2、对每个q-tablei∈q-table，将st作为状态输入选择q值最大的动作，得到即得到向量中对应的分量为1，其余分量为0；[0142]s9.3、计算则输出动作at。[0143]图3为广东东莞四个差异测试基站基于上述方案的平均运行费用。由图4可以看出，各基站运用上述方案优化后基站的运行费用大幅下降，能够节省20％以上，即本方法在各种类型基站均有明显节电效果。[0144]为了调查该方法演变的有效性，进行了一个为期三周的测试，分为三个为期一周的阶段。图4为广东东莞某基站在每个阶段测得的平均总运行成本和平均空调运行成本。可以看出，在阶段一中，使用迁移模型能够实现约4％的运行费用节省。随着数据的积累，节费效果会越来越好。[0145]本发明的实施例提供一种基于强化学习的通用基站温控的运行优化装置，用于执行上述基于强化学习的通用基站温控优化方法。可以根据上述方法示例对优化计算模块进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。[0146]由于本发明实施例提供的基于强化学习的通用基站温控的运行优化装置可用于执行上述基于强化学习的通用基站温控优化方法，因此其所能获得的技术效果可参考上述方法实施例，本发明实施例在此不再赘述。[0147]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。[0148]尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。[0149]尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页12当前第1页12
技术特征：
1.基于强化学习的通用基站温控方法，其特征在于，包括以下步骤：s1、利用符合要求的基站数据进行本地模型推理，得到本地模型，并利用本地模型的参数进行全局模型聚合得到模型库；s2、判断基站是否为符合要求的基站：若该基站符合要求，执行s8和s10；否则跳转至s3；s3、获取基站基础信息，将基站的基础信息与模型库进行基于聚类的匹配得到迁移模型；s4、获取天气信息、动环监控系统反馈的数据，并构建数据集；s5、根据数据集构建训练集进行训练，得到基站站点热环境模型；s6、进行本地模型推理：利用数据集和基站站点热环境模型训练q-table，得到本地模型，；s7、判断本地模型是否优于迁移模型；若是则执行s8；否则，执行s9；s8、根据本地模型推理得到的q-table选择动作；s9、根据站点当前状态和迁移模型选择动作；s10、得到s8或s9输出的动作，根据设定的空调温度设定点和动作之间的关系输出温度控制策略。2.根据权利要求1所述的基于强化学习的通用基站温控方法，其特征在于，所述步骤s1中，模型库通过以下步骤构建：s1.1、对于每个符合要求的基站：获取站点已有的数据，所述数据包括站点基础信息、外界天气历史数据和动环监控系统历史数据，并构建站点基础信息向量；s1.2、将获取的数据进行数据预处理，根据预处理后的数据构建数据集其中，为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,
…
n
b
，n
b
为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,
…
n
bbu
，n
bbu
为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；为空调功率特征；s1.3、建立stgcn模型，处理s1.2得到的数据集得到训练集并训练stgcn，得到基站站点热环境模型；s1.4、进利用数据集和基站站点热环境模型更新q-table，得到本地模型，本地模型包括q-table和站点基础信息向量；q-table以表格形式存储状态-动作对(s,a)的动作价值函数q(s,a)；s1.5、将本地模型上传至云平台进行全局模型聚合得到模型库。3.根据权利要求2所述的基于强化学习的通用基站温控方法，其特征在于，所述步骤s1.3包括以下步骤：s1.3.1、选取蓄电池、bbu、空调、室内、室外五类节点构建图，即v
t
是一个有限的节点集；空调节点ac由负载率表示；蓄电池节点b
i
由其表面温度表示，i＝1,
…
n
b
；bbu节点bbu
j
由其入风温度表示，j＝1,
…
n
bbu
；室内节点indoor定义为站点的中心点；室外节点outdoor定义为向阳面墙
table
m-1
}；得到迁移模型，迁移模型包括和在聚类过程中得到的各x
i
与x
m
之间的相似度x
i
为与q-table
i
∈q-table,i＝1,...n
tb
对应的基站基础信息向量，n
tb
表示q-table包含的q-table的数量。6.根据权利要求1所述的基于强化学习的通用基站温控方法，其特征在于，所述步骤s4包括以下步骤：s4.1、获取天气信息、动环监控系统反馈的数据，构建当前时刻t的基站状态表示s4.1、获取天气信息、动环监控系统反馈的数据，构建当前时刻t的基站状态表示为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,
…
n
b
，n
b
为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,
…
n
bbu
，n
bbu
为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；s4.2、构建数据集s4.2、构建数据集为空调功率特征。7.根据权利要求1所述的基于强化学习的通用基站温控方法，其特征在于，所述步骤s7包括以下步骤：s7.1、记录在每个历史时刻t分别根据迁移模型和本地模型选择的动作和s7.2、设定评估阈值η，和窗口大小k，对于一段时间t
i
∈[t
start
,t
start
+δt,...,t
start
+kδt]，计算每个t
i
过去一天根据迁移模型和本地模型分别获得的累计奖励和其中，为在状态s
t
下根据迁移模型选择的动作，为状态s
t
下根据本地模型选择的动作；当超过η*k的t
i
满足时，本地模型优于迁移模型；否则迁移模型优于本地模型。8.根据权利要求1所述的基于强化学习的通用基站温控方法，其特征在于，所述步骤s8包括以下步骤：s8.1、获取当前时刻t的基站状态表示s8.1、获取当前时刻t的基站状态表示为所有蓄电池在t时刻的表面温度，为第i组蓄电池在t时刻的温度，i＝1,
…
n
b
，n
b
为蓄电池的数量；为所有bbu在t时刻的入风温度，为第j个bbu在t时刻的入风温度,j＝1,
…
n
bbu
，n
bbu
为bbu的数量；为动环监控系统监测的室内温度；为室外温度特征；s8.2、将s
t
作为本地模型推理得到的q-table的状态输入，设定贪心阈值ε；以ε的概率选择q值最大的动作以1-ε的概率随机选择一个动作a
t
，输出动作a
t
。9.根据权利要求1所述的基于强化学习的通用基站温控系统，其特征在于，所述步骤s9包括以下步骤：s9.1、获取q-table和x
i
与x
m
之间的相似度以及当前时刻t的基站状态表示x
i
为与q-table
i
∈q-table,i＝1,...n
tb
对应的基站基础信息向量，i＝1,
…
n
b
，n
b
为蓄电池的数量；
s9.2、对每个q-table
i
∈q-table，将s
t
作为状态输入选择q值最大的动作，得到即得到向量得到向量中对应的分量为1，其余分量为0；s9.3、计算则输出动作a
t
。10.一种基于强化学习的通用基站温控系统，其特征在于，包括：信息感知系统，用于收集基站基础信息、室外天气信息、分时电价信息以及由动环监控系统反馈的数据；动环监控系统，用于监测包括bbu、传输设备、蓄电池等设备的温度和空调的功率数据，将信息感知系统收集到的数据输送到中央处理器；中央处理器，集成在基带处理单元中，用于将接收的数据进行分析与处理，得到基站状态表示并更新数据集；将数据集作为优化算法的输入进行模型更新，生成实时温控策略，并将实时温控策略发送给智能控制器；智能控制器，用于根据实时温控策略生成温控指令，以红外信号的形式发送给空调；空调，用于根据温控指令产生相应的温控运行操作，带来基站机房环境的改变，动环监控系统实时监测、采集数据并输入至中央处理器，用以对优化算法和相关模型进行在线更新与修正。

技术总结
本发明公开了基于强化学习的通用基站温控方法和系统，该系统由信息感知系统、中央处理器、智能控制器、基站空调系统以及机房动环监控系统组成。该方法使用机房动环监控系统提供的数据作为方法的输入，并且可以部署在BBU中，无需过多额外硬件投入来获取输入信息和部署算法。该方法在数据质量好、数据源丰富的基站进行本地模型推理，构建模型库；对于数据少、数据准备度较差的基站，通过集成学习和迁移学习的技术手段，获得迁移模型和初始控制控制策略，实现在无数据积累和输入少量参数的情况下有效地从现有数据中学习，提升方法对于不同基站的可迁移性和泛化能力；后续通过强化学习的技术手段，利用收集的数据进行本地模型推理，优化控制策略。优化控制策略。优化控制策略。


技术研发人员：徐占伯 刘靓 刘亚萍 周睿璇 吴江
受保护的技术使用者：西安交通大学
技术研发日：2023.06.08
技术公布日：2023/8/13