基于空间域和时间域特征拉索频率的视频检测方法及系统与流程

1.本发明涉及计算机视觉技术，更具体地说，涉及基于空间域和时间域特征拉索频率的视频检测方法及系统。


背景技术：

2.拉索是斜拉桥结构重要的受力构件，承担着主梁的荷载，拉索运行状况的正常与否对桥的寿命和整体安全有极大的影响，所以需要对斜拉桥索力进行检测以保证建设过程中桥梁的顺利合拢和结构的受力安全，以及在运营期间需要监测索力变化来了解斜拉桥结构的损伤情况，防止由于索力随时间推移发生变化，导致结构内力重分布以及桥梁线形发生改变，从而影响结构的安全性和服役寿命。所以，索力检测是斜拉桥健康监测的重要内容，是评估桥梁健康状况的重要指标。
3.目前，测量斜拉桥索力的方法有压力传感器法、油压表测试法磁通量法和频率法。基于视频相位测量拉索的方法是一种新兴的频率测量技术，无需辅助标记且效率高，在理想情况下频率检测误差≤0.05％。但在实际应用过程中发现，当拉索存在建筑物、植被等复杂背景时，现有的基于视频相位的方法失效，无法准确提取拉索的频率信息。
4.在相关技术中，例如中国专利文献cn101055216a提供了一种在斜拉索上安装压力传感器的监测方法，该方法具有较高的精度，但是设备成本高且自重较大；又例如中国专利文献cn109668658a提供了一种通过磁通量传感器监测索力的方法，该方法需要事先标定来获取斜拉索磁导率与索力、外界温度的对应关系，且目前磁通量法测试技术还不够成熟；又例如中国专利文献cn115096494a提供了一种运用了加速度传感器的监测索力系统，利用振动频率与索力之间的对应关系计算出索力值，该方法不足之处为设备操作不便、检测效率低；此外还有油压表测试法，根据液压千斤顶的张拉力与油压表读数的正比关系将液压表的读数转换为千斤顶的张拉力即斜拉索的索力，该方法常用于施工过程中的索力控制，但精度不够高，且无法测量已张拉完毕的斜拉索索力，更不适用于成桥后索力的长期监测。
5.综上所述，针对相关技术中如何在复杂背景下准确提取拉索的频率信息的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.1.要解决的技术问题
7.针对相关技术中基于视频相位方法，在有建筑物、植被等复杂背景时的频率检测失效的问题，本发明提供了基于空间域和时间域特征拉索频率的视频检测方法及系统，可以实现在拉索的相位空间对拉索和背景进行准确分离，进而计算拉索的振动频率，且对拉索的复杂背景具有鲁棒性。
8.2.技术方案
9.本发明的目的通过以下技术方案实现。
10.基于空间域和时间域特征拉索频率的视频检测方法，包括以下步骤：
11.输入图像序列；
12.提取图像序列的相位信息：提取相位空间下检测对象和背景的相位信息；
13.提取图像序列的振动信号和频率：提取检测对象振动的频率值；
14.在提取振动信号和频率前还包括如下步骤：
15.滤除背景相位：计算经过自适应方向滤波器后的局部空间特征信息能筛选出检测对象和背景的相位，从而滤除背景的相位信息，保留检测对象的相位信息。
16.更进一步的，输入图像序列的具体步骤为，拍摄桥梁拉索振动的视频，相机帧率应大于拉索最大振动频率的2倍，视频帧数在500帧到600帧之间，并保存视频。
17.更进一步的，提取相位信息的具体步骤为，定义r为在以当前相位点为中心、以c为边长的窗口中等角分开的有向直线数量，r为大于0的自然数，计算每条直线上的相位梯度的方差的公式为：
[0018][0019]
其中窗口大小为c
×
c，p0(n,m)为方向n上的第m个像素相位值，其中1≤n≤r，1≤m≤p
sum
，p
sum
为方向n上的像素总数且为大于0的自然数，p
ave
(n)为方向n上相位值的平均值，条纹方向为相位梯度方差最小的方向，dn为第m个方向上的相位梯度方差；
[0020]
最小值所对应的水平坐标就是期望的条纹方向，并通过最小二乘法拟合求出条纹方向和相位条纹的夹角θr；
[0021]
将获得的相位条纹的夹角θr作为gabor滤波器组的方向输入公式：
[0022][0023]
计算得到滤波后的相位信息是比较纯净的背景和拉索信息；
[0024]
其中x0,y0为高斯核的中心点，高斯核的顺时针旋转方向θr即滤波器滤波的方向角度，σ
x
,σy为高斯核两个方向上的尺度，u0,v0为频域坐标，k为高斯核的幅度比例，x,y为横坐标和纵坐标。
[0025]
更进一步的，滤除背景相位的具体步骤为，计算经过过滤的图像的相位值在大小为c
×
c的窗口内与平均值μ的绝对平均偏差，设计空间局部特征e(x，y)公式为：
[0026][0027]
其中r(a,b)为输入图像某一点的相位强度i(x,y)经过gabor变换的结果，μ为c
×
c窗口内所有点经过gabor变换后的相位均值，即
[0028]
更进一步的，滤除背景相位的具体步骤为，其中r(a,b)计算公式为：
[0029][0030]
其中*为二维线性卷积，c和n为gabor滤波窗口的大小，(s,z)为滤波器内的像素横纵坐标，0≤s≤c-1，0≤z≤n-1，g(x,y)为二维gabor函数。
[0031]
更进一步的，滤除背景相位的具体步骤为，其中二维gabor函数g(x,y)计算公式为：
[0032]
g(x,y)＝s(x,y)*w(x,y)
[0033]
其中s(x,y)为复正弦函数，w(x,y)为高斯函数包络线。
[0034]
更进一步的，滤除背景相位的具体步骤为，其中复正弦函数s(x,y)计算公式为：
[0035]
s(x,y)＝cos(2π
·
(u0·
x+v0·
y)+φ)+i
·
sin(2π
·
(u0·
x+v0·
y)+φ)
[0036]
其中φ为复正弦函数的相位。
[0037]
更进一步的，滤除背景相位的具体步骤为，其中高斯函数包络线w(x,y)计算公式为：
[0038][0039]
更进一步的，提取振动信号和频率的具体步骤为，在相位空间得到纯净的拉索相位信息后，利用基于视频相位的振动分析方法，提取拉索的振动信号：
[0040][0041]
其中v(x，t)为振动信号，a
ω
为振动幅度，ω为振动频率，δ(x，t)为幅度较小的位移函数。
[0042]
基于上述所述的基于空间域和时间域特征拉索频率的视频检测方法的系统，
[0043]
包括采集模块，用于采集图像序列；
[0044]
提取相位信息模块，用于提取相位空间下检测对象和背景的相位信息；
[0045]
滤除背景相位模块，用于滤除背景的相位信息，保留检测对象的相位信息；
[0046]
提取振动信号和频率模块，用于提取检测对象振动的频率值。
[0047]
3.有益效果
[0048]
相比于现有技术，本发明的优点在于：
[0049]
本发明的基于空间域和时间域特征拉索频率的视频检测方法及系统，通过设计的相位自适应方向滤波器和特征选择相结合，对相位空间的相位信息进行选取和局部特征筛选，实现了滤除背景相位信息，获取纯净的拉索相位信息，能较好地在复杂背景下提取拉索结构的微弱振动信号及振动频率，从而准确的计算出拉索的索力，有效地减轻了技术人员的工作量，提高了工作效率，适用于长时间的桥梁拉索频率检测和健康状况监测。
附图说明
[0050]
图1为本发明的一种实施例中的桥梁拉索频率测量方法的流程图；
[0051]
图2为本发明的一种实施例中的相位直线特征提取方法示意图；
[0052]
图3为本发明的一种实施例中的方向自适应滤波器及滤波效果示意图；
[0053]
图4为本发明的一种实施例中的局部特征筛选结果示意图；
[0054]
图5为本发明的一种实施例中的桥梁拉索时域实测结果示意图；
[0055]
图6为本发明的一种实施例中的桥梁拉索频域实测结果示意图。
具体实施方式
[0056]
下面结合说明书附图和具体的实施例，对本发明作详细描述。
[0057]
实施例1
[0058]
结合图1至图6，本发明的基于空间域和时间域特征拉索频率的视频检测方法，包
括如下步骤：
[0059]
输入图像序列：
[0060]
利用佳能相机在实际场景中拍摄桥梁拉索振动的视频。相机帧率根据实际情况进行调整，为了满足奈奎斯特采样定理，相机帧率应大于拉索最大振动频率的2倍，本实施例中使用的是50fps。视频帧数在500帧到600帧之间，并保存为视频格式。一般而言，采集的视频数据可以为avi、mov、mp4等常用视频格式。
[0061]
提取相位信息：
[0062]
步骤(1)、定义r(r取大于0的自然数，本实施例中r＝8)为在以当前相位点为中心、以c为边长的窗口w中等角分开的有向直线数量。
[0063]
计算每条直线上的相位梯度的方差，公式为(a)：
[0064][0065]
其中窗口w大小为c
×
c，dn为某方向上的相位梯度方差，p0(n，m)为方向n上的第m个相位值，其中1≤n≤r，1≤m≤p
sum
(p
sum
为方向n上的像素总数，为大于0的自然数)，p
ave
(n)为方向n上相位值的平均值。
[0066]
由于条纹方向为相位梯度方差最小的方向，dn为第m个方向上的相位梯度方差。因此，最小值所对应的水平坐标就是期望的条纹方向，并通过最小二乘法拟合求出条纹方向和相位条纹的夹角θr。本步骤利用直线相位梯度方差最小的特点，搜寻图像中存在的拉索方向的条纹及计算出相应的角度信息，为下面的滤波器输入提供了参数。
[0067]
步骤(2)、将步骤(1)中获得的相位条纹的夹角θr作为gabor滤波器组的方向输入公式(b)：
[0068][0069]
x0,y0为高斯核的中心点，θr为高斯核的旋转方向(顺时针)，即滤波器滤波的方向角度。σ
x
,σy为高斯核两个方向上的尺度，u0,v0为频域坐标，k为高斯核的幅度比例，x,y为横坐标和纵坐标。本实施例中设计的参数分别为：
[0070]
滤波后的相位信息是比较纯净的背景和拉索信息。
[0071]
滤除背景相位：
[0072]
通过计算经过过滤的图像的相位值，在大小为c
×
c的窗口w内，与平均值μ的绝对平均偏差，μ为窗口w内所有点经过gabor变换后的相位均值，即
[0073][0074]
设计空间局部特征公式(c)为：
[0075][0076]
其中，r(a,b)为输入图像某一点的相位强度i(x,y)经过gabor变换的结果，计算公式(d)为：
[0077]
[0078]
*为二维线性卷积，c和n为gabor滤波窗口的大小，(s,z)为滤波器内的像素横纵坐标，0≤s≤c-1，0≤z≤n-1，g(x,y)为二维gabor函数，计算公式(e)为：
[0079]
g(x,y)＝s(x,y)*w(x,y)
[0080]
其中，s(x,y)为复正弦函数，计算公式(f)为：
[0081]
s(x,y)＝cos(2π
·
(u0·
x+v0·
y)+φ)+i
·
sin(2π
·
(u0·
x+v0·
y)+φ)
[0082]
φ为复正弦函数的相位，本实施例中φ＝0。
[0083]
其中，w(x,y)为高斯函数包络线，计算公式(g)为：
[0084][0085]
经过公式(c)计算经过自适应方向滤波器后的局部空间特征信息，可以筛选出拉索和背景的相位，进而提取纯净的拉索相位信息。本步骤在滤波后的图像中定义了一个局部特征公式，由于背景和拉索条纹的局部特征存在差异，通过计算每个条纹(可能是背景的条纹，也可能是拉索条纹)的局部特征，从而对背景和拉索在局部特征上进行区别，进而从空间上分割拉索和背景，提取出纯净的拉索空间相位信息。
[0086]
提取振动信号和频率：
[0087]
根据相位信息计算拉索频率。在相位空间得到纯净的拉索相位信息后，利用基于视频相位的振动分析方法(pve)，提取拉索的振动信号其中振动信号v(x，t)，a
ω
为振动幅度，ω为振动频率，δ(x，t)为幅度较小的位移函数。
[0088]
拉索的局部时域振动与局部相位φ(x,t)＝2πω(x+δ(x,t))＝2πωx+2πωδ(x,t)有关，通过直流滤波器对相位φ(x,t)进行滤波，滤除直流分量2πωx，再将每帧图像与参考帧的局部相位相减，即可得到每帧图像的相位差信号φ'(x,t)＝2πωδ(x,t)，计算微小位移函数δ(x，t)的频域响应，即可得到拉索振动的频率值。
[0089]
本发明的基于空间域和时间域特征拉索频率的视频检测系统，包括如下步骤：
[0090]
采集模块：
[0091]
利用视频采集装置拍摄需要测量的桥梁拉索视频，大约拍摄10秒钟。采集设备满足奈奎斯特采样定理，即采集频率(帧率)大于等于拉索的振动频率的2倍。本实施例中采用的是50fps相机。
[0092]
提取相位信息模块：
[0093]
利用复可控金字塔对拉索视频图像序列进行空间分解，通过对每帧图像进行空间带通滤波和降采样，得到不同尺度及不同方向的幅度谱和相位谱。此时的相位谱信息中主要包含的是拉索和背景相位信息。相位直线特征提取方法如图2所示。
[0094]
滤除背景相位模块：
[0095]
通过设计的相位自适应方向滤波器(phase-adaptive-directional filter，pad滤波器)与特征选择(feature selection，fs)相结合可以自动滤除背景的相位信息，保留拉索的相位信息。pad-fs设计分为以下步骤：a空间相位信息的提取；b相位空间局部特征筛选。
[0096]
自适应方向滤波器及滤波效果如图3，局部特征筛选结果如图4。
[0097]
提取振动信号和频率模块：
[0098]
在相位空间得到纯净的拉索相位信息后，利用基于视频相位的振动分析方法(pve)，提取拉索的振动信号其中振动信号v(x,t)，a
ω
为振动幅度，ω为振动频率，δ(x,t)为幅度较小的位移函数。
[0099]
拉索的局部时域振动与局部相位φ(x,t)＝2πω(x+δ(x,t))＝2πωx+2πωδ(x,t)有关，通过直流滤波器对相位φ(x,t)ω(x+δ(t))进行滤波，滤除直流分量2πωx，再将每帧图像与参考帧的局部相位相减，即可得到每帧图像的相位差信号φ
′
(x,t)＝2πωδ(x,t)，计算微小位移函数δ(x,t)的频域响应，即可得到拉索振动的频率值。
[0100]
桥梁拉索时域实测结果如图5所示，桥梁拉索频域实测结果如图6所示。
[0101]
本发明的基于空间域和时间域特征拉索频率的视频检测方法及系统，通过设计的相位自适应方向滤波器和特征选择相结合，对相位空间的相位信息进行选取和局部特征筛选，实现了滤除背景相位信息，从而获取纯净的拉索相位信息的目的，能较好地在复杂背景下提取拉索结构的微弱振动信号及振动频率，从而准确的计算出拉索的索力，有效地减轻了技术人员的工作量，提高了工作效率，适用于长时间的桥梁拉索频率检测和健康状况监测。
[0102]
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

技术特征：
1.基于空间域和时间域特征拉索频率的视频检测方法，包括以下步骤：输入图像序列；提取图像序列的相位信息：提取相位空间下检测对象和背景的相位信息；提取图像序列的振动信号和频率：提取检测对象振动的频率值；其特征在于，在提取振动信号和频率前还包括如下步骤：滤除背景相位：计算经过自适应方向滤波器后的局部空间特征信息能筛选出检测对象和背景的相位，从而滤除背景的相位信息，保留检测对象的相位信息。2.根据权利要求1所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：输入图像序列的具体步骤为，拍摄桥梁拉索振动的视频，相机帧率应大于拉索最大振动频率的2倍，视频帧数在500帧到600帧之间，并保存视频。3.根据权利要求1所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：提取相位信息的具体步骤为，定义r为在以当前相位点为中心、以c为边长的窗口中等角分开的有向直线数量，r为大于0的自然数，计算每条直线上的相位梯度的方差的公式为：其中窗口大小为c
×
c，p0(n,m)为方向n上的第m个像素相位值，其中1≤n≤r，1≤m≤p
sum
，p
sum
为方向n上的像素总数且为大于0的自然数，p
ave
(n)为方向n上相位值的平均值，条纹方向为相位梯度方差最小的方向，d
n
为第m个方向上的相位梯度方差；最小值所对应的水平坐标就是期望的条纹方向，并通过最小二乘法拟合求出条纹方向和相位条纹的夹角θ
r
；将获得的相位条纹的夹角θ
r
作为gabor滤波器组的方向输入公式：计算得到滤波后的相位信息是比较纯净的背景和拉索信息；其中x0,y0为高斯核的中心点，高斯核的顺时针旋转方向θ
r
即滤波器滤波的方向角度，σ
x
,σ
y
为高斯核两个方向上的尺度，u0,v0为频域坐标，k为高斯核的幅度比例，x,y为横坐标和纵坐标。4.根据权利要求1所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：滤除背景相位的具体步骤为，计算经过过滤的图像的相位值在大小为c
×
c的窗口内与平均值μ的绝对平均偏差，设计空间局部特征e(x，y)公式为：其中r(a,b)为输入图像某一点的相位强度i(x,y)经过gabor变换的结果，μ为c
×
c窗口内所有点经过gabor变换后的相位均值，即5.根据权利要求4所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征
在于：滤除背景相位的具体步骤为，其中r(a,b)计算公式为：其中*为二维线性卷积，c和n为gabor滤波窗口的大小，(s,z)为滤波器内的像素横纵坐标，0≤s≤c-1，0≤z≤n-1，g(x,y)为二维gabor函数。6.根据权利要求4所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：滤除背景相位的具体步骤为，其中二维gabor函数g(x,y)计算公式为：g(x,y)＝s(x,y)*w(x,y)其中s(x,y)为复正弦函数，w(x,y)为高斯函数包络线。7.根据权利要求4所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：滤除背景相位的具体步骤为，其中复正弦函数s(x,y)计算公式为：s(x,y)＝cos(2π
·
(u0·
x+v0·
y)+φ)+i
·
sin(2π
·
(u0·
x+v0·
y)+φ)其中φ为复正弦函数的相位。8.根据权利要求4所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：滤除背景相位的具体步骤为，其中高斯函数包络线w(x,y)计算公式为：9.根据权利要求1所述的基于空间域和时间域特征拉索频率的视频检测方法，其特征在于：提取振动信号和频率的具体步骤为，在相位空间得到纯净的拉索相位信息后，利用基于视频相位的振动分析方法，提取拉索的振动信号：其中v(x，t)为振动信号，a
ω
为振动幅度，ω为振动频率，δ(x，t)为幅度较小的位移函数。10.基于权利要求1-9任意一项所述的基于空间域和时间域特征拉索频率的视频检测方法的系统，其特征在于，包括采集模块，用于采集图像序列；提取相位信息模块，用于提取相位空间下检测对象和背景的相位信息；滤除背景相位模块，用于滤除背景的相位信息，保留检测对象的相位信息；提取振动信号和频率模块，用于提取检测对象振动的频率值。

技术总结
本发明公开了基于空间域和时间域特征拉索频率的视频检测方法及系统，属于计算机视觉技术。包括以下步骤：输入图像序列；提取相位信息包括提取相位空间下检测对象和背景的相位信息；滤除背景相位包括计算经过自适应方向滤波器后的局部空间特征信息能筛选出检测对象和背景的相位，滤除背景的相位信息，保留检测对象的相位信息；提取振动信号和频率包括提取检测对象振动的频率值。本发明相较于现有技术，其优点在于：能较好地在复杂背景下提取拉索结构的微弱振动信号及振动频率，从而准确的计算出拉索的索力。计算出拉索的索力。计算出拉索的索力。


技术研发人员：刘勇 戴庞达 杨学志 张刚 臧宗迪
受保护的技术使用者：皖江新兴产业技术发展中心
技术研发日：2023.04.18
技术公布日：2023/8/9