一种用于应急救援的震后建筑物受损评估方法与流程

1.本公开属于地震灾情评估领域，尤其涉及一种用于应急救援的震后建筑物受损评估方法。


背景技术：

2.重大自然灾害是导致人员伤亡的重要因素。如欧亚板块东南部受印度洋板块、太平洋板块的相互作用和影响，地震十分活跃，且具有强度大、频度高、震源浅、分布广、灾害重等特点。
3.快速准确地获取震后房屋的受损情况对应急搜救中心展开救援计划具有重大意义，以挽救数千人的生命。破坏性地震发生后的建筑物损毁评估，是相关部门启动应急响应和救援力量部署的重要参考依据，精准的评估结果有助于最大程度地开展救援行动，是现阶段震后应急救援方面亟待研究的一个重要科学问题。


技术实现要素：

4.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本公开的第一个目的在于提出一种用于应急救援的震后建筑物受损评估方法，主要目的在于提高震后建筑物受损评估结果的准确性。
6.为达上述目的，本公开第一方面实施例提出了一种用于应急救援的震后建筑物受损评估方法，包括：获取多张带建筑物受损类别标签的历史震后正摄影像，对所述多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集；基于建筑物加强特征提取神经网络构建建筑物受损分类模型，所述建筑物加强特征提取神经网络包括语义分割网络模块、特征加强模块、第一辅助监测模块、第二辅助监测模块和输出模块，所述语义分割网络模块包括编码器单元和解码器单元，所述编码器单元的输出端经所述特征加强模块与所述第一辅助监测模块连接，所述第二辅助监测模块与所述解码器单元内的倒数第二层连接，所述解码器单元、所述第一辅助监测模块和所述第二辅助监测模块分别与所述输出模块连接；利用所述训练数据集对所述建筑物受损分类模型进行训练，以获得训练好的建筑物受损分类模型；获取待评估震后正摄影像，将所述待评估震后正摄影像输入所述训练好的建筑物受损分类模型，输出震后建筑物受损类别，以实现应急救援的震后建筑物受损评估。
7.本公开实施例的方法，获取多张带建筑物受损类别标签的历史震后正摄影像，对多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集；基于建筑物加强特征提取神经网络构建建筑物受损分类模型，建筑物加强特征提取神经网络包括语义分割网络模块、特征加强模块、第一辅助监测模块、第二辅助监测模块和输出模块，语义分割网络模块包括编码器单元和解码器单元，编码器单元的输出端经特征加强模块与第一辅
助监测模块连接，第二辅助监测模块与解码器单元内的倒数第二层连接，解码器单元、第一辅助监测模块和第二辅助监测模块分别与输出模块连接；利用训练数据集对建筑物受损分类模型进行训练，以获得训练好的建筑物受损分类模型；获取待评估震后正摄影像，将待评估震后正摄影像输入训练好的建筑物受损分类模型，输出震后建筑物受损类别，以实现应急救援的震后建筑物受损评估。在这种情况下，利用训练好的建筑物受损分类模型进行震后建筑物受损评估，该建筑物受损分类模型利用建筑物加强特征提取神经网络构建得到，其中，建筑物加强特征提取神经网络在语义分割网络模块的基础上增加了特征加强模块、第一辅助监测模块、第二辅助监测模块，特征加强模块的一端连接语义分割网络模块的编码器单元的输出端，特征加强模块的另一端连接第一辅助监测模块，第二辅助监测模块与语义分割网络模块的解码器单元内的倒数第二层连接，本公开的模型通过增加特征加强模块、第一辅助监测模块、第二辅助监测模块，更好地加强了不同尺度和不同情况下房屋破坏特征提取，从而使得模型的评估更加准确，由此，利用本公开的方法提高了震后建筑物受损评估结果的准确性。
8.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，每张历史震后正摄影像的建筑物受损类别标签包括基本完好类、轻微破坏类、严重破坏类和倒塌类中的至少一种类型标签，所述对所述多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集，包括：检测各张所述历史震后正摄影像的建筑物受损类别标签是否包括严重破坏类或倒塌类，若包括，则对对应的历史震后正摄影像中的严重破坏类或倒塌类的标签进行膨胀处理；完成膨胀处理后，对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集。
9.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，所述对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集，包括：针对所有历史震后正摄影像，每次任选一张历史震后正摄影像作为目标历史震后正摄影像；检测所述目标历史震后正摄影像的建筑物受损类别标签是否包括轻微破坏类和严重破坏类，若包括，则对所述目标历史震后正摄影像进行一次复制获得带建筑物受损类别标签的一次复制影像；检测所述目标历史震后正摄影像的建筑物受损类别标签是否包括倒塌类，若包括，则对所述目标历史震后正摄影像进行二次复制获得带建筑物受损类别标签的再次复制影像；基于所有的历史震后正摄影像、一次复制影像和再次复制影像获得训练数据集。
10.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，所述语义分割网络模块采用u-net网络结构。
11.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，所述特征加强模块包括空间金字塔池化模块，所述空间金字塔池化模块包括一个卷积层、三个膨胀卷积层和一个全局平均池化层。
12.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，所述特征加强模块还包括方向特征抽取模块，所述编码器单元的输出端经所述空间金字塔池化模块与所述方向特征抽取模块连接，所述方向特征抽取模块包括第一分支和第二分支；所述第一分支包括一个卷积层、四个方向卷积层和一个拼接层；所述第二分支包括一个池化卷积组合层和一个归一化激活组合层。
13.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，所述第一辅助监测模块和第二辅助监测模块分别采用辅助分类器，所述辅助分类器包括两个卷积层、一个归一化激活组合层和一个线性上采样层。
14.在本公开第一方面实施例的一种用于应急救援的震后建筑物受损评估方法中，对所述建筑物受损分类模型进行训练时使用组合损失函数。
15.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
16.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开实施例所提供的一种用于应急救援的震后建筑物受损评估方法的流程示意图；图2为本公开实施例所提供的另一种用于应急救援的震后建筑物受损评估方法的具体流程示意图；图3为本公开实施例所提供的多边膨胀技术效果示意图；图4为本公开实施例所提供的过采样处理的流程示意图；图5为本公开实施例所提供的建筑物加强特征提取神经网络的结构示意图；图6为本公开实施例所提供的空间金字塔池化模块的结构示意图；图7为本公开实施例所提供的方向特征抽取模块的结构示意图；图8为本公开实施例所提供的辅助分类器的结构示意图。
具体实施方式
17.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开实施例的一些方面相一致的装置和方法的例子。
18.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
19.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。还应当理解，本公开中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
20.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
21.地震等重大自然灾害是导致人员伤亡的重要因素。如欧亚板块东南部，受印度洋板块、太平洋板块的相互作用和影响，地震十分活跃，且具有强度大、频度高、震源浅、分布广、灾害重等特点。快速挽救生命，最大限度地减少人员伤亡，是震后应急救援工作的首要任务。破坏性地震发生后的建筑物损毁评估，是相关部门启动应急响应和救援力量部署的重要参考依据，精准的评估结果有助于展开救援计划，是现阶段震后应急救援方面亟待研究的一个重要科学问题。
22.本公开实施例提供了一种用于应急救援的震后建筑物受损评估方法，主要目的在于提高震后建筑物受损评估结果的准确性。
23.图1为本公开实施例所提供的一种用于应急救援的震后建筑物受损评估方法的流程示意图，图2为本公开实施例所提供的另一种用于应急救援的震后建筑物受损评估方法的具体流程示意图。
24.如图1所示，该用于应急救援的震后建筑物受损评估方法包括以下步骤：步骤s11，获取多张带建筑物受损类别标签的历史震后正摄影像，对多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集。
25.在本公开实施例中，步骤s11中的带建筑物受损类别标签的历史震后正摄影像指的是系统存储的被标注过的历史震后拍摄到的正摄影像。也即一张带建筑物受损类别标签的历史震后正摄影像包括一张未标注正摄影像和对应标注的建筑物受损类别标签。由于未标注正摄影像中包括至少一栋建筑物，每栋建筑物均要基于震后受损情况标注对应类型的标签，一张未标注正摄影像加上该影像中所有建筑物对应的标注的标签构成一张带建筑物受损类别标签的历史震后正摄影像（后续简称历史震后正摄影像）。在本公开实施例中，每张历史震后正摄影像的建筑物受损类别标签包括基本完好类、轻微破坏类、严重破坏类和倒塌类中的至少一种类型标签。
26.在本公开实施例中，未标注正摄影像可以是由无人机或卫星拍摄得到的影像正摄数据。这是因为遥感卫星影像具有覆盖面广、信息量大、处理时间短等优点，遥感卫星影像一直是建筑物受损评估的首选数据。而无人机数据具有分辨率高、机动灵活、作业成本低等优点，成为了小范围内建筑物受损评估的选择。
27.在本公开实施例中，将无人机或卫星拍摄得到的影像正摄数据转换为图像格式例如png格式得到未标注正摄影像。由于获得的所有未标注正摄影像的尺寸不尽相同，为了避免尺寸不同对震后评估准确性的影响，需要对所有未标注正摄影像进行剪裁以得到尺寸一致的各张未标注正摄影像。其中，每张未标注正摄影像剪裁后的尺寸例如为512*512。每张历史震后正摄影像的尺寸也为512*512。
28.在本公开实施例中，步骤s11中利用所有的历史震后正摄影像得到训练数据集。然而由于所有的历史震后正摄影像的建筑物受损类别标签中存在各类型的标签不平衡的问题，例如存在基本完好类占52%，轻微破坏类占22%，严重破坏类占16%，倒塌类占10%的情况，其中各类型的标签的占比指的是对应类型的标签占所有类型的标签的比值。由于各类型标签不平衡，容易降低后续训练得到的模型的准确性，为了提高模型的准确性，在步骤s11中
对多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集。其中，预处理包括膨胀处理和过采样处理两种数据增强处理技术。膨胀处理可以是形态学膨胀中的多边膨胀技术。由此可以缓解预处理前所有影像样本中类别标签不平衡问题，还可以充分考虑建筑物受损后的碎石特性。
29.在本公开实施例中，步骤s11中对多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集，具体包括：检测各张历史震后正摄影像的建筑物受损类别标签是否包括严重破坏类或倒塌类，若包括，则对对应的历史震后正摄影像中的严重破坏类或倒塌类的标签进行膨胀处理；完成膨胀处理后，对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集。在一些实施例中，如图2所示，在数据处理步骤中，获取震后无人机或卫星影像正摄数据，对利用影像正摄数据得到的带建筑物受损类别标签的历史震后正摄影像采用多边膨胀技术和过采样技术得到待训练震后影像数据集。
30.图3为本公开实施例所提供的多边膨胀技术效果示意图。图3中轮廓m是多边形的建筑物初始标注的多边形的标签，轮廓n是膨胀后该建筑物的多边形的标签。
31.在本公开实施例中，对对应的历史震后正摄影像中的严重破坏类或倒塌类的标签进行膨胀处理时，对其建筑物多边形的标签根据膨胀因子k进行形态学膨胀。具体来说，对对应的历史震后正摄影像中的严重破坏类的标签进行膨胀处理时，可以将膨胀因子k设置为初始标注的标签的面积的第一比例（例如5%-10%），然后按照该设置的膨胀因子k对严重破坏类的标签进行膨胀；对对应的历史震后正摄影像中的倒塌类的标签进行膨胀处理时，可以将膨胀因子k设置为初始标注的标签的面积的第二比例（例如10%-15%），然后按照该设置的膨胀因子k对倒塌类的标签进行膨胀。其中，不同类型标签的膨胀因子k不同是因为考虑到倒塌或的建筑物比严重破坏的建筑物受损情况更加严重，房屋周围的碎石范围也更大。通过膨胀处理后能够更加充分地考虑到建筑物倒塌或严重破坏后的碎石特性，有利于提高后续模型的准确性。
32.图4为本公开实施例所提供的过采样处理的流程示意图。
33.在本公开实施例中，步骤s11中，对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集，包括：针对所有历史震后正摄影像，每次任选一张历史震后正摄影像作为目标历史震后正摄影像；检测目标历史震后正摄影像的建筑物受损类别标签是否包括轻微破坏类和严重破坏类，若包括，则对目标历史震后正摄影像进行一次复制获得带建筑物受损类别标签的一次复制影像，将目标历史震后正摄影像和一次复制影像作为训练数据集中的样本影像；若目标历史震后正摄影像的建筑物受损类别标签不包括轻微破坏类和严重破坏类，则直接将该目标历史震后正摄影像作为训练数据集中的样本影像；检测目标历史震后正摄影像的建筑物受损类别标签是否包括倒塌类，若包括，则对目标历史震后正摄影像进行二次复制获得带建筑物受损类别标签的再次复制影像，将目标历史震后正摄影像、一次复制影像和再次复制影像作为训练数据集中的样本影像；若目标历史震后正摄影像的建筑物受损类别标签不包括倒塌类，则将之前获得目标历史震后正摄影像和一次复制影像作为训练数据集中的样本影像；基于所有的历史震后正摄影像、一次复制影像和再次复制影像获得训练数据集（参见图4）。其中，检测目标历史震后正摄影像的建筑物受损类别标签时可以采用像素判断方式进行检测。
34.在本公开实施例中，通过过采样技术对于包括轻微破坏类和严重破坏类的历史震后正摄影像多载入训练数据集2次，对于包括轻微破坏类、严重破坏类和倒塌类多载入训练数据集1次。由此，不仅能够扩大训练数据集中的样本数量，还能再一定程度上减弱原始的所有的历史震后正摄影像的建筑物受损类别标签中存在各类型的标签不平衡的问题，从而提高模型的准确性。
35.步骤s12，基于建筑物加强特征提取神经网络构建建筑物受损分类模型。
36.具体地，在本公开实施例中，步骤s12中构建建筑物受损分类模型。建筑物受损分类模型采用建筑物加强特征提取神经网络（building feature extract network，bfenet）。bfenet网络属于卷积神经网络。易于理解地，卷积神经网络是深度学习网络里面应用最为广泛的一种深度学习网络结构。卷积神经网络是一种特殊的深度学习网络架构，是一种以卷积流为基础的网络，其网络特点主要集中于局部感知、权值共享、多卷积核。在卷积神经网络的训练过程中，输入图像作为神经元会被赋予权值的同时，添加偏置，然后经过对应层滤波器进行卷积运算，得到卷积层的图像的特征图。然后针对特征映射图中的像素选择合适的池化规则进行特征稀疏，并进行加权，加偏置得到特征图。经过多层卷积后，最终，通过一个全连接层将该网络架构接入类似传统神经网络的终端，终端通过激活函数进行识别分类输出。
37.在本公开实施例中，步骤s12中建筑物加强特征提取神经网络（bfenet网络）包括语义分割网络模块、特征加强模块、第一辅助监测模块、第二辅助监测模块和输出模块。其中，语义分割网络模块包括编码器单元和解码器单元。编码器单元的输出端经特征加强模块与第一辅助监测模块连接，第二辅助监测模块与解码器单元内的倒数第二层连接，解码器单元、第一辅助监测模块和第二辅助监测模块分别与输出模块连接。
38.图5为本公开实施例所提供的建筑物加强特征提取神经网络的结构示意图。图6为本公开实施例所提供的空间金字塔池化模块的结构示意图。图7为本公开实施例所提供的方向特征抽取模块的结构示意图。图8为本公开实施例所提供的辅助分类器的结构示意图。
39.如图5所示，语义分割网络模块可以采用u-net网络（u型语义分割网络）结构。u-net网络的编码器单元的输出端与特征加强模块连接，特征加强模块与第一辅助监测模块连接，第二辅助监测模块与u-net网络的解码器单元内的倒数第二层连接，u-net网络的解码器单元、第一辅助监测模块和第二辅助监测模块分别与输出模块连接。
40.在本公开实施例中，考虑到震后建筑物例如房屋的特征具有特殊性，其中房屋倒塌后，房屋周围会存在许多碎石、瓦片等情况，房屋倒塌的方向也具有随机性等。在步骤s12中，特征加强模块包括空间金字塔池化模块（atrous spatial pyramid pooling，aspp）和方向特征抽取模块（direction feature extract，dfe）。由此，能够加强建筑物受损特征提取。
41.在本公开实施例中，空间金字塔池化模块包括一个卷积层、三个膨胀卷积层和一个全局平均池化层。如图6所示，aspp模块包括一个卷积核为1
×
1大小的卷积层（1
×
1 conv）、三个卷积核为3
×
3的膨胀卷积层（3
×
3 conv）和一个全局平均池化层（image pooling），其中，三个膨胀卷积层（也称扩张卷积）的扩张率（dilation）为12、24和36。通过三个膨胀卷积层能够加强提取建筑物例如房屋受损后在房屋周围产生的碎石等情况的特征，并使用1x1的卷积层和全局平均池化层可以加强局部与全局的信息。
42.在本公开实施例中，编码器单元的输出端经空间金字塔池化模块与方向特征抽取模块连接，方向特征抽取模块包括第一分支和第二分支；第一分支包括一个卷积层、四个方向卷积层和一个拼接层；第二分支包括一个池化卷积组合层和一个归一化激活组合层。如图7所示，dfe模块包括第一分支和第二分支，第一分支包括一个卷积核为1
×
1大小的卷积层（1
×
1 conv）、四个方向卷积层和一个拼接层（concat）；每个方向卷积层的卷积核为1
×
1大小。通过concat层一起构成在四个方向上聚合详细信息，并生成权重图，以组合不同方向的特征。第二分支包括一个池化卷积组合层和一个归一化激活组合层。其中池化卷积组合层包括全局平均池化层（adaptiveavgpool2d）和一个卷积核为1
×
1大小的卷积层（1
×
1 conv）。归一化激活组合层包括归一化层（bn）和激活层（relu），通过第二分支充分考虑全局信息，方向特征抽取模块还包括关联层（multipul），multipul层将第一分支和第二分支进行相乘运算，以增强详细信息和全局信息之间的相关性。通过dfe模块能够充分提取房屋倒塌方向随机性特征，更好地提高后续模型的准确性。
43.在本公开实施例中，考虑到使用多源数据集时，不同源影像的分辨率不同，导致尺度相差很大的问题，也即考虑到训练数据集中的多张历史震后正摄影像存在无人机和卫星影像分辨率存在差异，在步骤s12中，利用第一辅助监测模块和第二辅助监测模块来加强不同尺度的最终分类阶段的表达和理解能力。
44.步骤s12中，第一辅助监测模块和第二辅助监测模块分别采用辅助分类器（aux_head，可简写为aux）。其中第一辅助监测模块是对编码器单元（即下采样过程）中最后一层的辅助预测，由此保证原尺度下的房屋特征提取，第二辅助监测模块是对解码器单元的倒数第二层（即上采样过程中倒数第二层）的辅助预测，也即实现了对1/2尺度层的辅助输出，由此充分考虑到了小房屋难提取的问题，加强了小房屋的特征提取。
45.在本公开实施例中，辅助分类器包括两个卷积层、一个归一化激活组合层和一个线性上采样层。如图8所示，辅助分类器包括一个卷积核为3
×
3大小的卷积层（3
×
3 conv）、一个归一化激活组合层（bn&relu）、一个卷积核为1
×
1大小的卷积层（1
×
1 conv）和一个双线性上采样层。
46.步骤s13，利用训练数据集对建筑物受损分类模型进行训练，以获得训练好的建筑物受损分类模型。
47.在本公开实施例中，步骤s13中，采用bfenet网络构建好建筑物受损分类模型后，对建筑物受损分类模型进行训练。对建筑物受损分类模型进行训练时使用组合损失函数。并选取的语义分割常用的4种评价指标对训练的建筑物受损分类模型进行精度评估。4种评价指标分别为精确率（p），召回率（r），f1率和iou（intersection over union，交并比）。
48.具体地，在训练建筑物受损分类模型之前首先确定训练环境，另外由于建筑物受损分类模型的内部参数是通过训练模型迭代获得的，一些超参数需要在训练前进行设置。
49.对于训练环境：本公开的实验的所有训练训和测试平台都在可以windows 10系统上实现。模型基于pytorch深度学习框架构建。实验使用单个nvidia geforce rtx 3090 24g （gpu）和intel(r) xeon(r) gold 6248r cpu @ 3.00ghz器（cpu）进行。
50.对于训练过程中的参数设置：单次传递给程序用以训练的数据个数（batch_size）设置为12，网络优化器为adam，初始学习率设置为0.0001，重量衰减为0.00001。使用imagenet中resnext50训练的参数作为初始权重，以提高模型的稳定性和泛化能力。在训练
过程中，通过监控验证数据的损失值，只有当本轮验证数据的丢失值低于上一轮时，才保存模型。设置迭代轮数为30。
51.在本公开实施例中，如图2所示，采用bfenet网络构建好的建筑物受损分类模型也称为bfenet深度学习像素级建筑物分类模型。在模型构建步骤中，利用训练数据集对bfenet深度学习像素级建筑物分类模型进行训练，训练时使用组合损失函数以使模型收敛。组合损失函数包括dice loss（dice similarity coefficient loss，分离相似性损失函数）、focal loss（聚集损失函数）和交叉熵损失函数。
52.对于dice loss，dice loss通过dice coefficient（dice系数）体现出预测区域和真实区域的重叠程度，dice coefficient的取值范围是[0, 1]，当dice coefficient为1时，说明预测区域和真实区域完全重叠，是理想状态；当dice coefficient为0时，说明预测结果一点作用没有。dice coefficient在数据不平衡时能够给出均衡的评价，故给定优化指标本身与代理损失函数之间的选择，最优选择就是指标本身。既然dice coefficient越大越好，且数据不平衡不会影响到它，那么可以将dice loss作为优化目标，神经网络训练时的目标就是使损失函数最小，考虑到dice coefficient是越大越好，基于dice coefficient得到dice loss。dice loss损失函数的表示式满足式（1）。
[0053]
其中，dice coefficient=。tp、fp和fn分别表示类别的真阳性、假阳性和假阴性的样本影像。
[0054]
对于focal loss损失函数，focal loss能够有效的缓解类别不平衡的问题，focal loss在平衡交叉熵损失函数的基础上，增加一个调节因子降低易分类样本权重，聚焦于困难样本的训练，focal loss损失函数的表示式满足式（2）：其中，是可调节的聚焦参数，是一个向量，向量的长度等于各类型标签的个数，用于存放各类型标签的权重，p
t
表示模型对样本预测正确的概率。当使用》1的focal loss可以减少“分类得好的样本”或者说“模型预测正确概率大”的样本的训练损失，而对于“难以分类的示例”，比如预测概率小于0.5的，则不会减小太多损失。因此，在数据类别不平衡的情况下，focal loss可以让模型的注意力放在稀少的类别上，因为这些类别的样本见过的少，比较难分。
[0055]
在本公开实施例中，如图2所示，每次训练模型后基于模型预测输出得到混淆矩阵，选取的语义分割常用的4种评价指标利用混淆矩阵对训练的建筑物受损分类模型进行精度评估。
[0056]
其中，4种评价指标，分别为精确率（p），召回率（r），f1率和iou。精确率（p）满足式（3），召回率（r）满足式（4），f1率满足式（5）和iou满足式（6）：（3），召回率（r）满足式（4），f1率满足式（5）和iou满足式（6）：（3），召回率（r）满足式（4），f1率满足式（5）和iou满足式（6）：
其中tp、fp和fn分别表示类别的真阳性、假阳性和假阴性的样本影像。
[0057]
在本公开实施例中，如图2所示，每次完成精度评估后即可实现一次bfenet建筑物像素级分类模型的构建，每次完成精度评估后还需要判断模型精度是否大于地震建筑物损毁评估标注（即评估精确度），若不大于，说明模型还没有收敛，则需继续迭代训练模型，若大于，说明模型收敛，则输出得到训练好的建筑物受损分类模型。
[0058]
步骤s14，获取待评估震后正摄影像，将待评估震后正摄影像输入训练好的建筑物受损分类模型，输出震后建筑物受损类别，以实现应急救援的震后建筑物受损评估。
[0059]
在本公开实施例中，步骤s14中，待评估震后正摄影像也是根据无人机或卫星拍摄得到的影像正摄数据所得。
[0060]
在本公开实施例中，步骤s14中，将待评估震后正摄影像输入训练好的建筑物受损分类模型之前也可以对待评估震后正摄影像进行剪裁获得，使得剪裁后的待评估震后正摄影像的尺寸等于训练数据集中各剪裁后的历史震后正摄影像的尺寸。剪裁后的待评估震后正摄影像的尺寸例如也为512*512。
[0061]
在本公开实施例中，步骤s14中，待评估震后正摄影像也即图2的受损评估步骤中的震后无人机或卫星影像正摄测试数据。
[0062]
如图2所示，将获取的震后无人机或卫星影像正摄测试数据输入训练好的建筑物受损分类模型计算影像每个像素点的分类，得到震后建筑物受损类别，该震后建筑物受损类别可以反应出语义级震后建筑物的倒塌分类情况，从而实现了建筑物像素级分割的分类评估。
[0063]
本公开实施例提出的用于应急救援的震后建筑物受损评估方法，获取多张带建筑物受损类别标签的历史震后正摄影像，对多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集；基于建筑物加强特征提取神经网络构建建筑物受损分类模型，建筑物加强特征提取神经网络包括语义分割网络模块、特征加强模块、第一辅助监测模块、第二辅助监测模块和输出模块，语义分割网络模块包括编码器单元和解码器单元，编码器单元的输出端经特征加强模块与第一辅助监测模块连接，第二辅助监测模块与解码器单元内的倒数第二层连接，解码器单元、第一辅助监测模块和第二辅助监测模块分别与输出模块连接；利用训练数据集对建筑物受损分类模型进行训练，以获得训练好的建筑物受损分类模型；获取待评估震后正摄影像，将待评估震后正摄影像输入训练好的建筑物受损分类模型，输出震后建筑物受损类别，以实现应急救援的震后建筑物受损评估。在这种情况下，利用训练好的建筑物受损分类模型进行震后建筑物受损评估，该建筑物受损分类模型利用建筑物加强特征提取神经网络构建得到，其中，建筑物加强特征提取神经网络在语义分割网络模块的基础上增加了特征加强模块、第一辅助监测模块、第二辅助监测模块，特征加强模块的一端连接语义分割网络模块的编码器单元的输出端，特征加强模块的另一端连接第一辅助监测模块，第二辅助监测模块与语义分割网络模块的解码器单元内的倒数第二层连接，本公开的模型通过增加特征加强模块、第一辅助监测模块、第二辅助监测模块，更好地加强了不同尺度和不同情况下房屋破坏特征提取，从而使得模型的评估更加准确，由此，利用本公开的方法提高了震后建筑物受损评估结果的准确性。本公开的用于应急救援
的震后建筑物受损评估方法是一种基于受损建筑物倒塌特性和样本受损类型不平衡情况下利用震后无人机或卫星影像正摄数据的震后建筑物受损评估方法，本公开的模型能够计算影像每个像素点的分类，得到像素级（语义级）震后建筑物的倒塌分类类别结果，为地震震后应急搜救中心展开救援计划具有重大意义。
[0064]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本公开在此不进行限制。
[0065]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种用于应急救援的震后建筑物受损评估方法，其特征在于，包括：获取多张带建筑物受损类别标签的历史震后正摄影像，对所述多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集；基于建筑物加强特征提取神经网络构建建筑物受损分类模型，所述建筑物加强特征提取神经网络包括语义分割网络模块、特征加强模块、第一辅助监测模块、第二辅助监测模块和输出模块，所述语义分割网络模块包括编码器单元和解码器单元，所述编码器单元的输出端经所述特征加强模块与所述第一辅助监测模块连接，所述第二辅助监测模块与所述解码器单元内的倒数第二层连接，所述解码器单元、所述第一辅助监测模块和所述第二辅助监测模块分别与所述输出模块连接；利用所述训练数据集对所述建筑物受损分类模型进行训练，以获得训练好的建筑物受损分类模型；获取待评估震后正摄影像，将所述待评估震后正摄影像输入所述训练好的建筑物受损分类模型，输出震后建筑物受损类别，以实现应急救援的震后建筑物受损评估。2.如权利要求1所述的用于应急救援的震后建筑物受损评估方法，其特征在于，每张历史震后正摄影像的建筑物受损类别标签包括基本完好类、轻微破坏类、严重破坏类和倒塌类中的至少一种类型标签，所述对所述多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集，包括：检测各张所述历史震后正摄影像的建筑物受损类别标签是否包括严重破坏类或倒塌类，若包括，则对对应的历史震后正摄影像中的严重破坏类或倒塌类的标签进行膨胀处理；完成膨胀处理后，对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集。3.如权利要求2所述的用于应急救援的震后建筑物受损评估方法，其特征在于，所述对所有的带建筑物受损类别标签的历史震后正摄影像进行过采样处理以获得训练数据集，包括：针对所有历史震后正摄影像，每次任选一张历史震后正摄影像作为目标历史震后正摄影像；检测所述目标历史震后正摄影像的建筑物受损类别标签是否包括轻微破坏类和严重破坏类，若包括，则对所述目标历史震后正摄影像进行一次复制获得带建筑物受损类别标签的一次复制影像；检测所述目标历史震后正摄影像的建筑物受损类别标签是否包括倒塌类，若包括，则对所述目标历史震后正摄影像进行二次复制获得带建筑物受损类别标签的再次复制影像；基于所有的历史震后正摄影像、一次复制影像和再次复制影像获得训练数据集。4.如权利要求1所述的用于应急救援的震后建筑物受损评估方法，其特征在于，所述语义分割网络模块采用u-net网络结构。5.如权利要求1所述的用于应急救援的震后建筑物受损评估方法，其特征在于，所述特征加强模块包括空间金字塔池化模块，所述空间金字塔池化模块包括一个卷积层、三个膨胀卷积层和一个全局平均池化层。6.如权利要求5所述的用于应急救援的震后建筑物受损评估方法，其特征在于，所述特征加强模块还包括方向特征抽取模块，所述编码器单元的输出端经所述空间金字塔池化模
块与所述方向特征抽取模块连接，所述方向特征抽取模块包括第一分支和第二分支；所述第一分支包括一个卷积层、四个方向卷积层和一个拼接层；所述第二分支包括一个池化卷积组合层和一个归一化激活组合层。7.如权利要求1所述的用于应急救援的震后建筑物受损评估方法，其特征在于，所述第一辅助监测模块和第二辅助监测模块分别采用辅助分类器，所述辅助分类器包括两个卷积层、一个归一化激活组合层和一个线性上采样层。8.如权利要求4所述的用于应急救援的震后建筑物受损评估方法，其特征在于，对所述建筑物受损分类模型进行训练时使用组合损失函数。

技术总结
本公开涉及地震灾情评估领域，具体涉及一种用于应急救援的震后建筑物受损评估方法，该方法包括：对获取的多张带建筑物受损类别标签的历史震后正摄影像进行预处理得到训练数据集；基于建筑物加强特征提取神经网络构建建筑物受损分类模型，加强特征提取网络中，设计了特征加强模块和两个辅助监测模块，语义分割网络模块的编码器单元经特征加强模块与第一辅助监测模块连接，第二辅助监测模块与语义分割网络模块的解码器单元内的倒数第二层连接，利用训练数据集训练模型以获得训练好的建筑物受损分类模型；将待评估影像输入训练好的建筑物受损分类模型，输出震后建筑物受损类别用于应急救援。利用本公开的方法提高了震后建筑物受损评估结果的准确性。受损评估结果的准确性。受损评估结果的准确性。


技术研发人员：刘军 晏鄂川 洪中华 罗益钢 黄依玲 程超 孙瑞洁 王盈 陈厦 邹冉 吕侃 徐晓天 周汝雁 韩春燕 韩珂
受保护的技术使用者：中国地震应急搜救中心
技术研发日：2023.06.14
技术公布日：2023/7/17