一种基于多源多模态技术的城市植被固碳能力估算方法

1.本发明涉及机器学习、遥感分析领域，具体涉及一种基于多源多模态技术的城市植被固碳能力的估算方法。


背景技术：

2.碳核算成为衡量碳中和和协助城市管理者做出决策的关键工具。如今城市的快速发展造就了两种结果：一方面，城市直接对碳排放量的贡献可达到全国的85％，加上城市化快速发展，使得城市必须关注自身固碳能力和碳排放之间的平衡；另一方面，城市的绿化环境复杂，植被面积、种类不断变化，固碳能力估算结果受植被季节性特征和气候条件影响较大。
3.目前的植被固碳能力研究最常用的是样地清查法，模型模拟法和通量观测法，以及各方法的结合运用，但是这些方法通常针对大尺度的林地研究，并且大多操作复杂、时间经济成本较高。近年流行的机器学习是一种高效、可靠的技术，然而多个研究指出机器学习并不能识别植被在时序上的变化信息，并且常见的有监督学习方式无法直接适用于标注数据缺乏的遥感影像。因此，目前的固碳能力测算方法很难适应当下的城市环境。


技术实现要素：

4.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种城市植被固碳能力的估算方法，能够在遥感标注数据不足、城市植被季节性变化明显的情况下，仍然能够低成本、精准地估算城市植被固碳能力。
5.为实现上述目的，本发明所采用的技术方案如下：
6.步骤一：获取公开遥感、par数据集，组成初始数据集，获取路网数据；其中，遥感数据集要求包括目标区域的历史真彩色、假彩色组合图像，云量控制在5％以下，par数据集需是目标区域的二维数值矩阵，两个数据集都将最新一年数据划分为测试集，倒数第二年划分为验证集，余下作为训练集。
7.步骤二：将遥感图像划分为若干个224x224像素的块，构建可直接输入模型的数据；
8.步骤三：使用本文提供的mae预训练模型与rnn预训练模型，分别对波段数据和par数据进行训练；其中，mae有两个模型，分别对应真彩色和假彩色组合数据，rnn模型对应par数据。
9.步骤四：将最新一天数据输入训练过后的模型，输出重建数据。
10.步骤五：将重建数据输入npp function模型，估算该研究区域固碳能力。
11.具体而言，步骤一所述真彩色组合图像是指将red、green、blue波段按r、g、b通道组合的tif格式图像；假彩色图像是指将nir(近红外)、red、green波段按r、g、b通道组合的tif格式图像；二维par矩阵是指覆盖目标研究区域范围的par值矩阵，根据数据源分辨率不同对应不同范围的par值；路网数据是指目标研究区域的土地利用、道路、环境设施等地面
数据，用于快捷地获取绿植区域。
12.进一步而言，步骤二具体包括：
13.a0、逐个日期取出n
×
m大小的真彩色图像，其中n和m分别代表当前图像的行列像素点数，对假彩色组合图像执行相同操作。
14.a1、将n
×
m大小的真彩色按224
×
224的像素大小取样，对假彩色组合图像执行相同操作；
15.a2、设余数k1％224，k2＝m％224，若k1非0，则在n方向上取样时舍去最后k1个像素点，若k2非0，则在m方向上取样时舍去最后k2个像素点；
16.a3、每个取样保存为tif文件，命名格式为日期_图片组合格式_列号行号.tif；其中日期为年月日，如20210923，用于保存时间信息；列号行号为该224像素块位于原组合波段图像按224像素划分后的第几列第几行，用于保存该像素块位置信息。
17.具体而言，步骤三包括：
18.b0、将a3所述的tif取样文件的真彩色波段、假彩色组合图像输入mae模型进行训练；其中mae模型是加载了预训练参数的模型。
19.b1、将步骤一所述的par数据输入rnn模型进行训练；其中rnn模型是加载了预训练参数的模型。
20.具体而言，b0所述的mae模型训练的具体步骤如下：
21.c0、加载预训练模型；
22.c1、加载权利要求2所述路网数据；
23.c2、读取步骤一所述训练集，在每次读取b个224
×
224大小的批量数据时，同时返回批次数据的a3所述时间信息、位置信息和路网信息；其中时间信息可以按季节的春夏秋冬分类，也可以按照12个月份分类；路网信息为该研究区域的绿植逐像素掩码矩阵，绿植区域赋值1，非绿植区域赋值0；
24.c3、根据每个224
×
224像素块所述位置信息的列号行号，在对应所述路网矩阵中获取该像素块的掩码矩阵；将掩码矩阵进行16
×
16大小的切片，获得((224/16)*(224/16)＝)196个小块掩码矩阵；
25.c4、对所述224
×
224的批量数据进行16
×
16大小的切片，一一对应c3所述16
×
16小块掩码矩阵；标记所述小块qi、所述小块绿植标志gi，i∈[1，196]，若qi判断为绿植，则gi＝1；
[0026]
c5、设定绿地阈值α，设所述小块中qi数值为1的像素数量为pi，判断pi/256是否大于α，若是，则令gi＝1，反之，令gi＝0。
[0027]
c6、将c2所述时间信息记为ti，i∈[1，196]；
[0028]
c7、将c5、c6所述绿植标记信息g及时间信息t传入模型中；
[0029]
c8、在forward_encoder阶段，将时间信息经[1，embed_dim]形状的linear层后生成timestamp，此时timestamp形状为[64，embed_dim]，随后，将timestamp复制到[64,196,1024]三维形状，与[64,196,1024]的所述批次数据相加；其中embed_dim为模型的encoder维度。
[0030]
c9、执行随机掩码，设随机掩码率k＝0.75，计算所述196个小块中掩码数mk＝k
×
196；
[0031]
c10、判断所述标记信息g中值为1的个数mg是否大于等于mk，若是，则提取g中前mk个值为1的索引号dexi，i∈[1，196]，其中dex的长度为mk；若不是，则提取g中mg个值为1的索引号dexi，i∈[1，196]，其中dex的长度为mg，随机提取g中剩余部分的索引号rd，其中rd的长度等于mk-mg；
[0032]
c11、将所述196个小块索引号dex对应的小块执行掩码操作；
[0033]
c12、执行后续模型训练阶段，得到目标城市mae模型。
[0034]
具体而言，b1所述的rnn模型训练的具体步骤如下：
[0035]
d0、加载预训练模型
[0036]
d1、读取目标研究区域par二维矩阵，其形状为[h，w]；
[0037]
d2、将历史par矩阵在第三维度叠加，得到[h，w，t]的包含时间序列的三维数据；其中历史par数据可根据时间序列长度的不同进行不同程度的采样；
[0038]
d3、将所述par矩阵降维，得到长度为[h
×
w，t]的二维矩阵；
[0039]
d4、将所述二维矩阵输入rnn模型训练，得到目标城市rnn模型。
[0040]
具体而言，步骤四中重建的数据包括真彩色、假彩色波段组合数据和par数据：
[0041]
进一步而言，步骤五具体包括：
[0042]
e0、将权利要求7所述真彩色、假彩色波段组合数据red、green波段取均值并合并，得到nir、red、green、blue四个波段数据；
[0043]
e1、将波段数据的分辨率与par数据分辨率进行匹配，设波段数据的分辨率为f1km，par分辨率为f2km，若f1》f2，设其中代表对x取整，在所述par矩阵中进行v
×
v范围内的取均值操作；若f1《f2，则操作相反，这里不再赘述。具体而言，e1中所述npp function参考的是一种光能利用率模型。
[0044]
e2、根据npp function中公式，计算目标区域的npp数值。
附图说明
[0045]
图1是本发明实施例一的流程示意图；
[0046]
图2是npp光能利用率模型流程示意图；
[0047]
图3是本发明实施例一的npp function示意图。
具体实施方式
[0048]
下面结合附图和实施例对本发明作进一步说明：
[0049]
本实施例以北京市和布达佩斯以内为研究目标区域，利用本发明估算其固碳量。
[0050]
如图1所示，本实施例提供一种北京和布达佩斯植被固碳能力的估算方法，包括如下步骤：
[0051]
步骤一：获取公开遥感、par数据集，组成初始数据集，获取路网数据；其中，遥感数据来自landsat8数据集，时间从2013年～2021年，云量控制在5％以下，par数据集来自http://www.geodata.cn/，是目标区域的二维数值矩阵，两个数据集都将最2021年数据划分为测试集，2020年划分为验证集，余下作为训练集。路网数据来自于openstreetmap(osm)。landsat8数据的真彩色由4、3、2波段组合，假彩色由5、4、3波段组合，值得一提的是，遥感数据的可用量在一个较低的水平。
[0052]
步骤二：将landsat8图像划分为若干个224x224像素的块，构建可直接输入模型的数据。其中，图像划分后因其名称带有相关信息，所以最终同处一个文件夹下。
[0053]
步骤三：使用本文提供的mae预训练模型与rnn预训练模型，分别对landsat8波段数据和par数据进行训练；其中，mae有两个模型，分别对应真彩色和假彩色组合数据，rnn模型对应par数据。
[0054]
步骤四：将最新一天数据输入训练过后的模型，输出重建数据。
[0055]
步骤五：将重建数据输入npp function模型，估算该研究区域固碳能力。
[0056]
具体而言，步骤一所述真彩色组合图像是指将red、green、blue波段按r、g、b通道组合的tif格式图像；假彩色图像是指将nir(近红外)、red、green波段按r、g、b通道组合的tif格式图像；二维par矩阵是指覆盖目标研究区域范围的par值矩阵，根据数据源分辨率不同对应不同范围的par值；路网数据是指目标研究区域的土地利用、道路、环境设施等地面数据，用于快捷地获取绿植区域。
[0057]
进一步而言，步骤二具体包括：
[0058]
a0、逐个日期取出n
×
m大小的真彩色图像，其中n和m分别代表当前图像的行列像素点数，对假彩色组合图像执行相同操作。
[0059]
a1、将n
×
m大小的真彩色按224
×
224的像素大小取样，对假彩色组合图像执行相同操作；
[0060]
a2、设余数k1％224，k2＝m％224，若k1非0，则在n方向上取样时舍去最后k1个像素点，若k2非0，则在m方向上取样时舍去最后k2个像素点；
[0061]
a3、每个取样保存为tif文件，命名格式为日期_图片组合格式_列号行号.tif；其中日期为年月日，如20210923，用于保存时间信息；列号行号为该224像素块位于原组合波段图像按224像素划分后的第几列第几行，用于保存该像素块位置信息。
[0062]
具体而言，步骤三包括：
[0063]
b0、将a3所述的tif取样文件的真彩色波段、假彩色组合图像输入mae模型进行训练；其中mae模型是加载了预训练参数的模型。
[0064]
b1、将步骤一所述的par数据输入rnn模型进行训练；其中rnn模型是加载了预训练参数的模型。
[0065]
具体而言，b0所述的mae模型训练的具体步骤如下：
[0066]
c0、加载预训练模型；
[0067]
c1、加载权利要求2所述路网数据；
[0068]
c2、读取步骤一所述训练集，在每次读取b个224
×
224大小的批量数据时，同时返回批次数据的a3所述时间信息、位置信息和路网信息；其中时间信息按季节的春夏秋冬分类，划分依据为中国传统节气，春天标记为0，夏天标记为1，以此类推；路网信息为该研究区域的绿植逐像素掩码矩阵，绿植区域赋值1，非绿植区域赋值0；
[0069]
c3、根据每个224
×
224像素块所述位置信息的列号行号，在对应所述路网矩阵中获取该像素块的掩码矩阵；将掩码矩阵进行16
×
16大小的切片，获得((224/16)*(224/16)＝)196个小块掩码矩阵；
[0070]
c4、对所述224
×
224的批量数据进行16
×
16大小的切片，一一对应c3所述16
×
16小块掩码矩阵；标记所述小块qi、所述小块绿植标志gi，i∈[1，196]，若qi判断为绿植，则gi＝1；
[0071]
c5、设定绿地阈值α，设所述小块中qi数值为1的像素数量为pi，判断pi/256是否大于α，若是，则令gi＝1，反之，令gi＝0。
[0072]
c6、将c2所述时间信息记为ti，i∈[1，196]；
[0073]
c7、将c5、c6所述绿植标记信息g及时间信息t传入模型中；
[0074]
c8、在forward_encoder阶段，将时间信息经[1，embed_dim]形状的linear层后生成timestamp，此时timestamp形状为[64，embed_dim]，随后，将timestamp复制到[64,196,1024]三维形状，与[64,196,1024]的所述批次数据相加；其中embed_dim为模型的encoder维度。
[0075]
c9、执行随机掩码，设随机掩码率k＝0.75，计算所述196个小块中掩码数mk＝k
×
196；
[0076]
c10、判断所述标记信息g中值为1的个数mg是否大于等于mk，若是，则提取g中前mk个值为1的索引号dexi，i∈[1，196]，其中dex的长度为mk；若不是，则提取g中mg个值为1的索引号dexi，i∈[1，196]，其中dex的长度为mg，随机提取g中剩余部分的索引号rd，其中rd的长度等于mk-mg；
[0077]
c11、将所述196个小块索引号dex对应的小块执行掩码操作；
[0078]
c12、执行后续模型训练阶段，得到目标城市mae模型。
[0079]
具体而言，b1所述的rnn模型训练的具体步骤如下：
[0080]
d0、加载预训练模型
[0081]
d1、读取目标研究区域par二维矩阵，其形状为[h，w]；
[0082]
d2、将历史par矩阵在第三维度叠加，得到[h，w，t]的包含时间序列的三维数据；其中历史par数据可根据时间序列长度的不同进行不同程度的采样；
[0083]
d3、将所述par矩阵降维，得到长度为[h
×
w，t]的二维矩阵；
[0084]
d4、将所述二维矩阵输入rnn模型训练，得到目标城市rnn模型。
[0085]
具体而言，步骤四中重建的数据包括真彩色、假彩色波段组合数据和par数据：
[0086]
进一步而言，步骤五具体包括：
[0087]
e0、将权利要求7所述真彩色、假彩色波段组合数据red、green波段取均值并合并，得到nir、red、green、blue四个波段数据；
[0088]
e1、将波段数据的分辨率与par数据分辨率进行匹配，设波段数据的分辨率为f1km，par分辨率为f2km，若f1》f2，设其中代表对x取整，在所述par矩阵中进行v
×
v范围内的取均值操作；若f1《f2，则操作相反，这里不再赘述。具体而言，e1中所述npp function可采用任意回归模型。例如，采用mngadi m等人提出的归回模型时，可代入以下计算公式。
[0089]
npp＝0.5139(pri
×
apar)-1.9818
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0090]
apar＝ffar
×
σpar
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0091]
fpar＝(1.24
×
ndvi)-0.168
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0092]
e2、根据npp function中公式，计算目标区域的npp数值。
[0093]
综上，本实施例通过直接获取遥感数据和par数据，利用机器学习的模拟能力，估算了未来北京和布达佩斯内的npp值，量化其未来的固碳能力，给与决策者参考。本实施例
虽然是以北京和布达佩斯作为研究区域，但同样适用于其它城市的固碳能力估算，这里不再赘述。
[0094]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
[0095]
有益效果
[0096]
发明的有益效果是，本发明公开了一种基于多源多模态技术的城市植被固碳能力估算方法，与现有技术相比，本发明的改进之处在于：
[0097]
本发明设计了一种基于多源多模态技术的城市植被固碳能力估算方法，本方法基于多数据源和多个计算模型进行，在估算过程中，创新性的引入了时序信息和路网信息，协助无监督模型对城市尺度的植被固碳能力进行精准模拟。以北京和布达佩斯为例，整个过程仅花费2～3个工作日，成本可低于200rmb，与简单机器学习方法相比误差平均下降了70.89％，本方法操作简便，具有低成本、准确地估算城市植被固碳能力的优点。

技术特征：
1.一种基于多源多模态技术的城市植被固碳能力估算方法，其特征在于，包括如下步骤：步骤一、获取公开遥感、par数据集，组成初始数据集，获取路网数据；其中，遥感数据集要求包括目标区域的历史真彩色、假彩色组合图像，云量控制在5％以下，par数据集需是目标区域的二维数值矩阵，两个数据集都将最新一年数据划分为测试集，倒数第二年划分为验证集，余下作为训练集；步骤二、将遥感图像划分为若干个224x224像素的块，构建可直接输入模型的数据；步骤三、使用本文提供的mae预训练模型与rnn预训练模型，分别对波段数据和par数据进行训练。其中，mae有两个模型，分别对应真彩色和假彩色组合数据，rnn模型对应par数据；步骤四、将最新一天数据输入训练过后的模型，输出重建数据；步骤五、将重建数据输入npp function模型，估算该研究区域固碳能力。2.如权利要求1所述的一种基于多源多模态技术的城市植被固碳能力估算方法，其特征在于，步骤一所述真彩色组合图像是指将red、green、blue波段按r、g、b通道组合的tif格式图像；假彩色图像是指将nir(近红外)、red、green波段按r、g、b通道组合的tif格式图像；二维par矩阵是指覆盖目标研究区域范围的par值矩阵，根据数据源分辨率不同对应不同范围的par值；路网数据是指目标研究区域的土地利用、道路、环境设施等地面数据，用于快捷地获取绿植区域。3.如权利要求1所述的一种基于多源多模态技术的城市植被固碳能力估算方法，其特征在于，步骤二具体包括：a0、逐个日期取出n
×
m大小的真彩色图像，其中n和m分别代表当前图像的行列像素点数，对假彩色组合图像执行相同操作。a1、将n
×
m大小的真彩色按224
×
224的像素大小取样，对假彩色组合图像执行相同操作；a2、设余数k1％224，k2＝m％224，若k1非0，则在n方向上取样时舍去最后k1个像素点，若k2非0，则在m方向上取样时舍去最后k2个像素点；a3、每个取样保存为tif文件，命名格式为日期_图片组合格式_列号行号.tif；其中日期为年月日，如20210923，用于保存时间信息；列号行号为该224像素块位于原组合波段图像按224像素划分后的第几列第几行，用于保存该像素块位置信息。具体而言，步骤三包括：b0、将a3所述的tif取样文件的真彩色波段、假彩色组合图像输入mae模型进行训练；其中mae模型是加载了预训练参数的模型。b1、将步骤一所述的par数据输入rnn模型进行训练；其中rnn模型是加载了预训练参数的模型。具体而言，b0所述的mae模型训练的具体步骤如下：c0、加载预训练模型；c1、加载权利要求2所述路网数据；c2、读取步骤一所述训练集，在每次读取b个224
×
224大小的批量数据时，同时返回批次数据的a3所述时间信息、位置信息和路网信息；其中时间信息可以按季节的春夏秋冬分
类，也可以按照12个月份分类；路网信息为该研究区域的绿植逐像素掩码矩阵，绿植区域赋值1，非绿植区域赋值0；c3、根据每个224
×
224像素块所述位置信息的列号行号，在对应所述路网矩阵中获取该像素块的掩码矩阵；将掩码矩阵进行16
×
16大小的切片，获得((224/16)*(224/16)＝)196个小块掩码矩阵；c4、对所述224
×
224的批量数据进行16
×
16大小的切片，一一对应c3所述16
×
16小块掩码矩阵；标记所述小块q
i
、所述小块绿植标志g
i
，i∈[1，196]，若q
i
判断为绿植，则g
i
＝1；c5、设定绿地阈值α，设所述小块中q
i
数值为1的像素数量为p
i
，判断p
i
/256是否大于α，若是，则令g
i
＝1，反之，令g
i
＝0。c6、将c2所述时间信息记为t
i
，i∈[1，196]；c7、将c5、c6所述绿植标记信息g及时间信息t传入模型中；c8、在forward_encoder阶段，将时间信息经[1，embed_dim]形状的linear层后生成timestamp，此时timestamp形状为[64，embed_dim]，随后，将timestamp复制到[64,196,1024]三维形状，与[64,196,1024]的所述批次数据相加；其中embed_dim为模型的encoder维度。c9、执行随机掩码，设随机掩码率k＝0.75，计算所述196个小块中掩码数mk＝k
×
196；c10、判断所述标记信息g中值为1的个数mg是否大于等于mk，若是，则提取g中前mk个值为1的索引号dex
i
，i∈[1，196]，其中dex的长度为mk；若不是，则提取g中mg个值为1的索引号dex
i
，i∈[1，196]，其中dex的长度为mg，随机提取g中剩余部分的索引号rd，其中rd的长度等于mk-mg；c11、将所述196个小块索引号dex对应的小块执行掩码操作；c12、执行后续模型训练阶段，得到目标城市mae模型。具体而言，b1所述的rnn模型训练的具体步骤如下：d0、加载预训练模型d1、读取目标研究区域par二维矩阵，其形状为[h，w]；d2、将历史par矩阵在第三维度叠加，得到[h，w，t]的包含时间序列的三维数据；其中历史par数据可根据时间序列长度的不同进行不同程度的采样；d3、将所述par矩阵降维，得到长度为[h
×
w，t]的二维矩阵；d4、将所述二维矩阵输入rnn模型训练，得到目标城市rnn模型。具体而言，步骤四中重建的数据包括真彩色、假彩色波段组合数据和par数据：进一步而言，步骤五具体包括：e0、将权利要求7所述真彩色、假彩色波段组合数据red、green波段取均值并合并，得到nir、red、green、blue四个波段数据；e1、将波段数据的分辨率与par数据分辨率进行匹配，设波段数据的分辨率为f1km，par分辨率为f2km，若f1>f2，设其中代表对x取整，在所述par矩阵中进行v
×
v范围内的取均值操作；若f1<f2，则操作相反，这里不再赘述。具体而言，e1中所述npp function参考的是一种光能利用率模型。e2、根据npp function中公式，计算目标区域的npp数值。

技术总结
本发明公开了一种基于多源多模态技术的城市植被固碳能力的估算方法，涉及机器学习以及遥感领域。包括如下步骤：首先，直接获取研究区域历史遥感数据、光合有效辐射(Photosynthetically Active Radiation，PAR)数据以及路网(OpenStreetMap)数据，形成初始无标签数据集；其次，利用MAE预训练模型与RNN预训练模型，分别对波段数据和PAR数据进行训练；再次，将最新一天数据输入训练过后的模型，得到重建数据；最后，将重建数据输入NPP function模型，完成对城市植被固碳能力的精准模拟。本发明利用获取成本较低的多源数据和大规模深度神经网络结合，在遥感标注数据不足、城市植被季节性变化明显的情况下，依然可以实现低成本、精准地估算城市植被固碳能力。精准地估算城市植被固碳能力。精准地估算城市植被固碳能力。


技术研发人员：牟超 崔晓晖 陈志泊 韦脉脉 杨世杰
受保护的技术使用者：北京林业大学
技术研发日：2023.04.04
技术公布日：2023/7/12