基于多模态的建筑裂缝检测算法

1.本发明涉及建筑裂缝检测技术领域，具体为基于多模态的建筑裂缝检测算法。


背景技术：

2.建筑裂缝检测是通过对建筑物表面进行视觉或仪器检测，以确定是否存在裂缝并评估其严重程度，常用的检测方法包括目视检查、遥感技术、激光测量和地震监测等，检测结果可以帮助维护人员了解建筑物结构状况，及时采取必要维修措施，确保建筑物的安全和稳定性，其中遥感技术通常利用航空摄影、卫星遥感等技术获取建筑物表面图像，对比不同时间段的图像以检测裂缝变化情况，但是目前获取的图像以及图像处理方式单一，对于某些建筑结构复杂或裂缝位置较难观察的情况下，单模态检测方法可能会漏掉一些重要信息，因此在检测精度、可靠性、准确性以及检测范围方面存在限制。


技术实现要素：

3.针对现有技术的不足，本发明提供了基于多模态的建筑裂缝检测算法，解决了现有技术中建筑裂缝获取的图像单一导致检测可靠性低的问题。
4.为实现以上目的，本发明通过以下技术方案予以实现：基于多模态的建筑裂缝检测算法，包括以下步骤：
5.s1.对红外图像和rgb图像进行去噪和图像增强的预处理；
6.s2.利用互信息法进行图像配准；
7.s3.利用深度拉普拉斯金字塔融合算法将两幅图像融合为一幅图像；
8.s4.利用深度学习进行特征提取获取最后的建筑裂缝图像。
9.优选的，所述s1中互信息法通过获取图像的信息熵来计算两幅图像之间的相似度，设由一个离散随机变量x＝{x1，x2，
…
，xn}所给定的信源，其出现的概率pi＝p
x
(xi)(i＝1，2，...，n)，且则x的信息熵表示为
[0010][0011]
两个随机变量含有的信息量之和为联合熵，假设二元随机变量(x，y)的联合概率分布为p
x，y
(x，y)，那么两者的联合熵h(x，y)为h(x，y)＝-∑
x，y
p
x，y
(x，y)logp
x，y
(x，y)；
[0012]
对两个随机变量x和y，其互信息熵为
[0013][0014]
其中：p
x
(x)，py(y)为随机变量x，y相互独立时的边缘概率分布；互信息熵通过计算其边缘概率分布p
x
(x)，py(y)以及其联合概率分布p
x，y
(x，y)得到，互信息熵与信息熵、联合熵的关系表达为
[0015]
i(x，y)＝h(x)+h(y)-h(x，y)
[0016]
优选的，所述边缘概率分布p
x
(x)，py(y)以及其联合概率分布p
x，y
(x，y)通过直方图进行求解，直方图的横坐标表示图像像素的灰度级，纵坐标表示该灰度级的像素数量，通过直方图统计一幅图像中各灰度值的像素数目，再将其分别除以总的像素数目即可得到图像的灰度值概率分布，对同样大小的图像信号x和y，假定其灰度直方图分别为h(x)和h(y)，则相应的概率分布p
x
(x)和py(y)表示为
[0017][0018]
其中：x为图像信号x中灰度值为x的像素；y为图像信号y中灰度值为y的像素；h(x)为图像信号x中灰度值为x的像素数目；h(y)为图像信号y中灰度值为y的像素数目；∑
x∈x
h(x)为图像信号x中总的像素数量；∑
y∈y
h(y)为图像信号y中总的像素数量；
[0019]
相应的，图像信号x和y对应位置处的灰度值分别为x和y的像素对的数目，以联合直方图来进行统计，记为h(x，y)，则其联合概率密度分布为
[0020][0021]
其中：∑
x∈x
∑
y∈y
h(x，y)为图像信号x和y总的像素数目。
[0022]
优选的，将s2中配准后的图像进行深度拉普拉斯金字塔融合，具体算法流程为：
[0023]
a.将配准后的红外图和rgb图分别输入到cnn卷积网络中，生成权重图w；
[0024]
b.将每个图像通过区域拉普拉斯金字塔进行分解，l{a}
l
和l{b}
l
分别表示a金字塔和b金字塔的第l层分解，同样将权重图w输入区域拉普拉斯金字塔得到第l层分解l{w}
l
，设为最高分解层数，其中h
′×
w为源图像大小，表示floor函数；
[0025]
c.对于每一个l的分解层，计算l{a}
l
和l{b}
l
的区域能量图，
[0026][0027][0028]
计算融合相似度选择融合方式：
[0029][0030]
其值范围为[1，-1]，接近1表示相似性高，设置一个阈值t，若m
l
(x
′
，y
′
)≥t，采用公式(12)的融合规则：
[0031]
l{f}
l
(x
′
，y
′
)＝g{w}
l
(x
′
，y
′
)
·
l{a}
l
(x
′
，y
′
)+(1-g{w}
l
(x
′
，y
′
)
·
l{b}l(x
′
，y
′
))(12)
[0032]
若ml(x
′
，y
′
)＜t，通过比较区域能量采用公式(13)的融合规则：
[0033][0034]
d.对l{f}
l
进行区域拉普拉斯金字塔重构得到融合图像f。
[0035]
优选的，所述流程b中区域拉普拉斯金字塔算法为基于lp的边缘感知滤波器，滤波器的输出o为重构图像，sk为每层图像，υ为原始图像拉普拉斯金字塔分解得到的系数，i
′
(υ)为由其得到的新系数，collapse()为重构算子。
[0036]
o＝collapse(sk[i
′
(υ)])
[0037]
对于每个系数i(υ)＝(x，y，k)，通过点映射函数生成一个新的系数i
′
(v)：
[0038][0039]
其中：x
′
，y
′
分别代表水平和垂直方向的像素坐标；k代表金字塔水平参数，υ是位置(x
′
，y
′
)的像素值；g是从高斯金字塔得到的图像值。
[0040]
本发明提供了基于多模态的建筑裂缝检测算法。具备以下有益效果：
[0041]
1、本发明中红外图像通过探测建筑物表面的温度差异来检测潜在裂缝和缺陷，而rgb图像则可以提供更丰富的视觉信息，如颜色、纹理等，有助于检测更加微小的裂缝和缺陷，两种模态图像的融合可以充分利用它们的优势，提高建筑物裂缝检测的精度和可靠性。
[0042]
2、本发明通过深度拉普拉斯金字塔融合算法能够考虑到不同尺度下的图像特征，并能够通过金字塔结构实现对多尺度信息的高效处理。同时，该算法还能够实现对图像细节的有效保留，从而获得更加真实、清晰的融合结果。
附图说明
[0043]
图1为本发明的算法流程图；
[0044]
图2为本发明的cnn卷积网络权重生成示意图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
实施例：
[0047]
如图1-2所示，本发明实施例提供基于多模态的建筑裂缝检测算法，包括以下步骤：
[0048]
s1.对红外图像和rgb图像进行去噪和图像增强的预处理，提高图像的质量并减少后续处理步骤中的噪声和干扰；
[0049]
s2.利用互信息法进行图像配准，对红外图像和rgb图像对齐以便进行后续处理；
[0050]
s3.利用深度拉普拉斯金字塔融合算法将两幅图像融合为一幅图像，充分利用两种模态图像的优势，并提高建筑裂缝检测的精度和可靠性；
[0051]
s4.利用深度学习进行特征提取获取最后的建筑裂缝图像，从融合后的图像中提取出有用的特征信息，以便更好地检测和识别建筑裂缝和缺陷。
[0052]
s1中互信息法通过获取图像的信息熵来计算两幅图像之间的相似度，设由一个离散随机变量x＝{x1，x2，
…
，xn}所给定的信源，其出现的概率pi＝p
x
(xi)(i＝1，2，...，n)，且则x的信息熵表示为
[0053][0054]
两个随机变量含有的信息量之和为联合熵，假设二元随机变量(x，y)的联合概率分布为p
x，y
(x，y)，那么两者的联合熵h(x，y)为h(x，y)＝-∑
x，y
p
x，y
(x，y)logp
x，y
(x，y)；
[0055]
对两个随机变量x和y，其互信息熵为
[0056][0057]
其中：p
x
(x)，py(y)为随机变量x，y相互独立时的边缘概率分布；互信息熵通过计算其边缘概率分布p
x
(x)，py(y)以及其联合概率分布p
x，y
(x，y)得到，互信息熵与信息熵、联合熵的关系表达为
[0058]
i(x，y)＝h(x)+h(y)-h(x，y)。
[0059]
边缘概率分布p
x
(x)，py(y)以及其联合概率分布p
x，y
(x，y)通过直方图进行求解，直方图的横坐标表示图像像素的灰度级，纵坐标表示该灰度级的像素数量，通过直方图统计一幅图像中各灰度值的像素数目，再将其分别除以总的像素数目即可得到图像的灰度值概率分布，对同样大小的图像信号x和y，假定其灰度直方图分别为h(x)和h(y)，则相应的概率分布p
x
(x)和py(y)表示为
[0060][0061]
其中：x为图像信号x中灰度值为x的像素；y为图像信号y中灰度值为y的像素；h(x)为图像信号x中灰度值为x的像素数目；h(y)为图像信号y中灰度值为y的像素数目；∑
x∈x
h(x)为图像信号x中总的像素数量；∑
y∈y
h(y)为图像信号y中总的像素数量；
[0062]
相应的，图像信号x和y对应位置处的灰度值分别为x和y的像素对的数目，以联合直方图来进行统计，记为h(x，y)，则其联合概率密度分布为
[0063][0064]
其中：∑
x∈x
∑
y∈y
h(x，y)为图像信号x和y总的像素数目。
[0065]
将s2中配准后的图像进行深度拉普拉斯金字塔融合，具体算法流程为：
[0066]
a.将配准后的红外图和rgb图分别输入到cnn卷积网络中，生成权重图w，源图像在经过卷积操作之后通过下采样操作缩小图像尺寸的过程叫做池化，该操作可以减少过拟合发生的概率，降低了特征图的维度，达到减少计算量，提升计算速率的目的；
[0067]
b.将每个图像通过区域拉普拉斯金字塔进行分解，l{a}
l
和l{b}
l
分别表示a金字塔和b金字塔的第l层分解，同样将权重图w输入区域拉普拉斯金字塔得到第l层分解l{w}
l
，设为最高分解层数，其中h
′×
w为源图像大小，表示floor函数；
[0068]
c.对于每一个l的分解层，计算l{a}
l
和l{b}
l
的区域能量图，
[0069][0070]
[0071]
计算融合相似度选择融合方式：
[0072][0073]
其值范围为[1，-1]，接近1表示相似性高，设置一个阈值t，若m
l
(x
′
，y
′
)≥t，采用公式(12)的融合规则：
[0074]
l{f}
l
(x
′
，y
′
)＝g{w}
l
(x
′
，y
′
)
·
l{a}
l
(x
′
，y
′
)+(1-g{w}
l
(x
′
，y
′
)
·
l{b}
l
(x
′
，y
′
))
ꢀꢀ
(12)
[0075]
若m
l
(x
′
，y
′
)＜t，通过比较区域能量采用公式(13)的融合规则：
[0076][0077]
d.对l{f}
l
进行区域拉普拉斯金字塔重构得到融合图像f。
[0078]
流程b中区域拉普拉斯金字塔算法为基于lp的边缘感知滤波器，滤波器的输出o为重构图像，sk为每层图像，υ为原始图像拉普拉斯金字塔分解得到的系数，i
′
(υ)为由其得到的新系数，collapse()为重构算子。
[0079]
o＝collapse(sk[i
′
(υ)])
[0080]
对于每个系数i(υ)＝(x，y，k)，通过点映射函数生成一个新的系数i
′
(υ)：
[0081][0082]
其中：x
′
，y
′
分别代表水平和垂直方向的像素坐标；k代表金字塔水平参数，υ是位置(x
′
，y
′
)的像素值；g是从高斯金字塔得到的图像值。
[0083]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于多模态的建筑裂缝检测算法，其特征在于，包括以下步骤：s1.对红外图像和rgb图像进行去噪和图像增强的预处理；s2.利用互信息法进行图像配准；s3.利用深度拉普拉斯金字塔融合算法将两幅图像融合为一幅图像；s4.利用深度学习进行特征提取获取最后的建筑裂缝图像。2.根据权利要求1所述的基于多模态的建筑裂缝检测算法，其特征在于：所述s1中互信息法通过获取图像的信息熵来计算两幅图像之间的相似度，设由一个离散随机变量x＝{x1，x2，...，x
n
}所给定的信源，其出现的概率p
i
＝p
x
(x
i
)(i＝1，2，...，n)，且则x的信息熵表示为两个随机变量含有的信息量之和为联合熵，假设二元随机变量(x，y)的联合概率分布为p
x，y
(x，y)，那么两者的联合熵h(x，y)为h(x，y)＝-∑
x，y
p
x，y
(x，y)logp
x，y
(x，y)；对两个随机变量x和y，其互信息熵为其中：p
x
(x)，p
y
(y)为随机变量x，y相互独立时的边缘概率分布；互信息熵通过计算其边缘概率分布p
x
(x)，p
y
(y)以及其联合概率分布p
x，y
(x，y)得到，互信息熵与信息熵、联合熵的关系表达为i(x，y)＝h(x)+h(y)-h(x，y)。3.根据权利要求2所述的基于多模态的建筑裂缝检测算法，其特征在于：所述边缘概率分布p
x
(x)，p
y
(y)以及其联合概率分布p
x，y
(x，y)通过直方图进行求解，直方图的横坐标表示图像像素的灰度级，纵坐标表示该灰度级的像素数量，通过直方图统计一幅图像中各灰度值的像素数目，再将其分别除以总的像素数目即可得到图像的灰度值概率分布，对同样大小的图像信号x和y，假定其灰度直方图分别为h(x)和h(y)，则相应的概率分布p
x
(x)和p
y
(y)表示为其中:x为图像信号x中灰度值为x的像素；y为图像信号y中灰度值为y的像素；h(x)为图像信号x中灰度值为x的像素数目；h(y)为图像信号y中灰度值为y的像素数目；∑
x∈x
h(x)为图像信号x中总的像素数量；∑
y∈y
h(y)为图像信号y中总的像素数量；相应的，图像信号x和y对应位置处的灰度值分别为x和y的像素对的数目，以联合直方图来进行统计，记为h(x，y)，则其联合概率密度分布为其中：∑
x∈x
∑
y∈y
h(x，y)为图像信号x和y总的像素数目。4.根据权利要求1所述的基于多模态的建筑裂缝检测算法，其特征在于：将s2中配准后
的图像进行深度拉普拉斯金字塔融合，具体算法流程为：a.将配准后的红外图和rgb图分别输入到cnn卷积网络中，生成权重图w；b.将每个图像通过区域拉普拉斯金字塔进行分解，l{a}
l
和l{b}
l
分别表示a金字塔和b金字塔的第l层分解，同样将权重图w输入区域拉普拉斯金字塔得到第l层分解l{w}
l
，设为最高分解层数，其中h
′×
w为源图像大小，表示floor函数；c.对于每一个l的分解层，计算l{a}
l
和l{b}
l
的区域能量图，的区域能量图，计算融合相似度选择融合方式：其值范围为[1，-1]，接近1表示相似性高，设置一个阈值t，若m
l
(x
′
，y
′
)≥t，采用公式(12)的融合规则：l{f}
l
(x
′
，y
′
)＝g{w}
l
(x
′
，y
′
)
·
l{a}
l
(x
′
，y
′
)+(1-g{w}
l
(x
′
，y
′
)
·
l{b}
l
(x
′
，y
′
))(12)若m
l
(x
′
，y
′
)＜t，通过比较区域能量采用公式(13)的融合规则：d.对l{f}
l
进行区域拉普拉斯金字塔重构得到融合图像f。5.根据权利要求4所述的基于多模态的建筑裂缝检测算法，其特征在于：所述流程b中区域拉普拉斯金字塔算法为基于lp的边缘感知滤波器，滤波器的输出o为重构图像，s
k
为每层图像，v为原始图像拉普拉斯金字塔分解得到的系数，i
′
(υ)为由其得到的新系数，collapse()为重构算子。o＝callapse(s
k
[i
′
(υ)])对于每个系数i(υ)＝(x
′
，y
′
，k)，通过点映射函数生成一个新的系数i
′
(υ)：其中：x
′
，y
′
分别代表水平和垂直方向的像素坐标；k代表金字塔水平参数，υ是位置(x
′
，y
′
)的像素值；g是从高斯金字塔得到的图像值。

技术总结
本发明提供一种基于多模态的建筑裂缝检测算法，涉及建筑裂缝检测技术领域。该建筑裂缝检测算法，包括以下步骤：S1.对红外图像和RGB图像进行去噪和图像增强的预处理；S2.利用互信息法进行图像配准；S3.利用深度拉普拉斯金字塔融合算法将两幅图像融合为一幅图像；S4.利用深度学习进行特征提取获取最后的建筑裂缝图像。本发明利用红外图像通过探测建筑物表面的温度差异来检测潜在裂缝和缺陷，而RGB图像则可以提供更丰富的视觉信息，如颜色、纹理等，有助于检测更加微小的裂缝和缺陷，通过将两种模态图像的融合可以充分利用它们的优势，结合深度拉普拉斯金字塔融合算法，提高建筑物裂缝检测的精度和可靠性。筑物裂缝检测的精度和可靠性。筑物裂缝检测的精度和可靠性。


技术研发人员：邹倩颖 刘俸宇 周亮
受保护的技术使用者：四川吉利学院
技术研发日：2023.05.22
技术公布日：2023/8/9