基于旋转目标检测的耐张线夹缺陷判断方法

1.本发明涉及图像模式识别与计算机视觉的技术领域，尤其是指一种基于旋转目标检测的耐张线夹缺陷判断方法。


背景技术：

2.耐张线夹是一种用于固定电力线路的夹具，通常由金属材料制成。由于电力线路承载着电力的传输和分配，因此耐张线夹在电力系统中的重要性不言而喻。然而，由于长时间的使用和环境的影响，耐张线夹也可能会出现一些缺陷，如裂纹、腐蚀、变形等，这些缺陷会导致夹具在使用过程中的失效或故障，从而给电力系统带来潜在的风险。
3.通常在架空输电线路上安装大截面钢芯铝绞线时，会采用压接型耐张线夹进行安装。耐张线夹的主要作用是将导线固定在非直线杆塔上的绝缘子串上。这些金具不仅需要承受导线的全部拉力，还需要承担一部分的载流任务。一旦这些耐张线夹被安装，它们就不再被拆除。耐张线夹的压接质量直接影响输电线路的安全稳定运行。因此，必须确保耐张线夹的压接质量良好，以确保输电线路的稳定和安全运行
4.一般来说，耐张线夹可用于转角、接头和终端连接。它通常由铝套管和钢锚两部分组成，其中钢锚用于接续和锚固导线的钢芯，而铝套管则与导线进行压接，使金属产生塑性变形，从而将导线与耐张线夹组合成整体，并承担其压力和载流任务。耐张线夹的压接部位包括铝套管和导线的接口，以及钢锚和导线钢芯的接口。如果铝管和导线的压接部位与钢锚和导线钢芯的压接部位相距超过1.5cm，则会导致耐张线夹的导电能力不符合要求。因此，耐张线夹的压接质量对于输电线路的安全稳定运行至关重要。
5.由于耐张线夹的压接过程，无法直接观察耐张线夹的内部的压接情况。传统的检测方法主要有：外观检测、尺寸检测、力学性能抽查检测等，这些方法在工程实际中得到了广泛的应用。但是对于钢锚是否存在毛刺，钢锚凹槽处铝管欠压等缺陷无法检出。
6.随着近些年来x光无损检测在输电线路质量检测中的广泛使用，使用x光机拍摄耐张线夹的x光图片，利用x光的穿透特性，可以清楚的看到耐张线夹压接后内部的情况，进而判断是否存在安全隐患。大量的耐张线夹x光图片，需要耗费人力和时间辨别图片对应的耐张线夹是否存在缺陷。这将耗费巨大的人力和时间。为了顺应国家电网提出设计开发多功能的智能设备以降低巡检成本与提高巡检效率的号召，发明了一种精确度高的耐张线夹压接缺陷检测的检测方法具有较高的实际应用价值。


技术实现要素：

7.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于旋转目标检测的耐张线夹缺陷判断方法，可以达到快速、精准、批量识别及判断耐张线夹缺陷的目的，从而弥补人工检查和检测的缺点。
8.为实现上述目的，本发明所提供的技术方案为：基于旋转目标检测的耐张线夹缺陷判断方法，包括：
c5。
22.进一步，所述pafpn网络用于进行特征融合，首先将resnet骨干网络获得的特征图，自顶向下进行反卷积操作对高层特征图进行上采样操作，得到一系列分辨率低，但语义信息强的特征图；同时从低阶段特征图向高阶段特征图进行卷积操作获得一系列分辨率高，但是语义信息弱的特征图；而后，使用横向连接将上采样特征图和卷积特征图进行拼接，得到一系列新的特征图，对这些新的特征图进行路径聚合操作，将同一分辨率的特征图进行逐像素加和，并在最后一层级的特征图中进行全局最大池化操作，得到最终的特征表示；pafpn网络输出5个不同尺寸的特征图大小分别为512
×
512
×
256、256
×
256
×
256、128
×
128
×
256、64
×
64
×
256、32
×
32
×
256。
23.进一步，所述区域建议网络头部rpn_head使用roi align生成候选框，包括：
24.根据设定的通过k-means获得的参数在pafpn网络输出特征图的每个点上生成步幅大小为4、8、16、32、64，长宽比为0.5、1.0、2.0的15种规格的水平anchor；首先，将pafpn网络输出的特征图经过一次3
×
3的卷积，然后经过2个分支，每个分支进行一次1
×
1的卷积，其中一个分支通过softmax判断对应特征图每个点上的15个anchor是前景还是背景，另一个分支输出对应特征图每个点上的15个anchor的坐标回归，以获取精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框；
25.而后使用roi align处理该1000个候选框，使得候选框的特征对齐的同时将候选框的特征图变成7
×
7特征矩阵，以便后续输入到检测网络头部bbox_head当中。
26.进一步，使用长边定义法来表示旋转目标检测框，包括：
27.使用5个参数x、y、w、h、θ来表示一个旋转目标检测框，其中x,y代表旋转目标检测框的中心点的x坐标和y坐标，根据长边定义法来定义旋转目标检测框的较长边的长度为h，较短边的长度为w，θ为长边与x轴形成的夹角，角度范围为[-90
°
,90
°
)，其中设定为x轴逆时针旋转到长边的角度为正角度，反之顺时针为负角度。
[0028]
进一步，所述检测网络头部bbox_head输出旋转目标检测框，包括：
[0029]
将roi align获得的7
×
7特征矩阵经过卷积以及共享全连接后，获得钢锚与导线钢芯压接部分的旋转目标检测框以及铝管与导线压接部分的旋转目标检测框的相对偏移值，根据相对偏移值、对应点的anchor框的大小、以及旋转目标检测框的长边定义法输出旋转目标检测框在原图像中的位置信息。
[0030]
进一步，所述缺陷判断，包括：
[0031]
通过改进的旋转目标检测算法rotate faster-rcnn将钢锚与导线钢芯压接部分和铝管与导线压接部分用旋转目标检测框框出，获取钢锚与导线钢芯压接部分的钢锚直径d，获取钢锚与导线钢芯压接部分和铝管与导线压接部分的距离l，具体如下所示：
[0032]
钢锚与导线钢芯压接部分的旋转目标检测框使用长边表示法为：[x1,y1,w1,h1,θ1]，其中x1、y1代表钢锚与导线钢芯压接部分的旋转目标检测框的中心点的x坐标和y坐标，h1为旋转目标检测框的较长边的长度，较短边的长度为w1，θ1为x轴正方向旋转到较长边的角度，逆时针旋转角度为正，反之顺时针为负，其中的w1即为钢锚与导线钢芯压接部分的钢锚直径d；铝管与导线压接部分的旋转目标检测框使用长边表示法为：[x2,y2,w2,h2,θ2]，其中x2、y2铝管与导线压接部分的代表旋转目标检测框的中心点的x坐标和y坐标，h2为旋转目
标检测框的较长边的长度，较短边的长度为w2，θ2为x轴正方向旋转到较长边的角度，逆时针旋转角度为正，反之顺时针为负；通过下式计算钢锚与导线钢芯压接部分和铝管与导线压接部分的距离：
[0033][0034][0035]
式中，l
center
为钢锚与导线钢芯压接部分的旋转目标检测框和铝管与导线压接部分的旋转目标检测框中心点的距离，l为钢锚与导线钢芯压接部分和铝管与导线压接部分的距离；
[0036]
获取钢锚与导线钢芯压接部分的钢锚直径d以及钢锚与导线钢芯压接部分和铝管与导线压接部分的距离l后，根据l与d的大小关系来判断是否存在缺陷：当l≥d时存在缺陷，反之不存在缺陷。
[0037]
进一步，所述旋转目标检测框的坐标回归的损失函数kfiou，包括：
[0038]
使用高斯分布模拟旋转目标检测框，如下式所示，其中r为旋转目标检测框的旋转矩阵，λ为特征值的对角矩阵，旋转目标检测框的参数为(x,y,w,h,θ)，μ为高斯分布的期望值，∑为高斯分布的协方差矩阵：
[0039]
∑＝rλr
t
，μ＝(x,y)
t
[0040][0041]
对预测的旋转目标检测框和真实的旋转目标检测框进行高斯变换后，引入lc损失函数，其使用ln损失函数如下式所示，式中，ti为真实的旋转目标检测框的位置参数，ti'为预测的旋转目标检测框的位置参数，i为旋转目标检测框中心点的x坐标与y坐标，以便两个高斯分布同中心以计算kfiou损失；
[0042][0043]
而后使用卡尔曼滤波获得两个高斯分布的相交区域的高斯分布，如下式所示，式中，g1为预测的旋转目标检测框高斯分布、∑1为预测的旋转目标检测框高斯分布的协方差、μ1为预测的旋转目标检测框高斯分布的均值、g2为真实的旋转目标检测框高斯分布、∑2为真实的旋转目标检测框高斯分布的协方差、μ2为真实的旋转目标检测框高斯分布的均值、g
kf
为预测的旋转目标检测框与真实的旋转目标检测框相交区域的高斯分布、∑
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的协方差、μ
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的均值、α为真实的旋转目标检测框高斯分布与预测的旋转目标检测框高斯分布相乘后的系数该系数为以μ2为均值、∑1+∑2为协方差的高斯分布g
α
、μ
kf
＝μ1+k(μ
2-μ1)，∑
kf
＝∑
1-k∑1，k是卡尔曼增益系数：
[0044]
αg
kf
(μ
kf
,∑
kf
)＝g1(μ1,∑1)g2(μ2,∑2)
[0045][0046][0047]
根据高斯分布计算出其对应的旋转目标检测框的面积，如下式所示，其中∑为旋转目标检测框对应的高斯分布、vb为旋转目标检测框的面积：
[0048][0049]
最后，根据计算的面积得出kfiou损失函数如下式所示，式中为预测的旋转目标检测框的面积、为真实的旋转目标检测框的高斯分布、为预测的旋转目标检测框与真实的旋转目标检测框相交部分的面积：
[0050][0051]
本发明与现有技术相比，具有如下优点与有益效果：
[0052]
1、相比与水平目标检测，通过旋转目标检测可以快速、准确、直接地获得钢锚管的直径以及钢锚与导线钢芯压接部分和铝管与导线压接部分的距离，避免繁琐的图像后处理操作。
[0053]
2、相比实例分割算法，旋转目标检测算法可以减少数据标注的工作量以及时间，并且可以更好地应用于耐张线夹其它的缺陷检测，比如压接凹槽的漏压、铝管漏压等。
[0054]
3、改进的旋转目标检测算法rotate faster-rcnn相比采用目标检测、模板匹配等方法精准度高、泛化性好，能够有效替代人工的识别和判断。
附图说明
[0055]
图1为本发明方法的流程图。
[0056]
图2为改进的旋转目标检测算法rotate faster-rcnn的效果图；其中，标有bgm的矩形是钢锚与导线钢芯压接部分的旋转目标检测框，标有cn的矩形是铝管与导线压接部分的旋转目标检测框。
具体实施方式
[0057]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0058]
如图1和图2所示，本实施例提供了一种基于旋转目标检测的耐张线夹缺陷判断方法，主要采用改进的旋转目标检测算法rotate faster-rcnn，使用旋转目标检测框标出钢锚与导线钢芯压接部分和钢锚与导线钢芯压接部分，再设计缺陷判断方案，以达到快速、精准、批量识别及判断缺陷程度的目的，从而弥补人工检查和检测的缺点，其具体情况如下：
[0059]
1)无人机搭载x光机，在有耐张线夹的位置进行x光无损检测成像，将得到的一定数量的耐张线夹的x射线图像整理成数据集。
[0060]
2)对步骤1)中得到的x射线图像使用标注软件进行多区域的标注。标注的时候一共分为2部分，分别是钢锚与导线钢芯压接部分和铝管与导线压接部分。并且对标注完的图像进行数据集扩充和图像预处理以便后续获得其特征，数据扩充包括以0.5的概率将图片进行水平，垂直翻转，以0.5的概率旋转图像且旋转角度范围为[-30
°
,30
°
]以内；图像预处理包括去运动模糊和对比度增强算法。对标注好之后的图像整合为目标检测的数据集，并且该将数据集划分为训练集、验证集和测试集。
[0061]
3)使用改进的旋转目标检测算法rotate faster-rcnn作为检测模型，对步骤2)中得到的训练集进行训练，使用改进的kfiou损失函数，作为模型的旋转目标检测框回归的损失函数。反复调整训练时的超参数，直至在验证集上的loss指标、map指标都达到理想状态之后停止，得到所需的旋转目标检测模型。并使用该旋转目标检测模型对测试集进行测试，如果能够得到轮廓清晰，结构完整，重叠度少的识别框，则保留旋转目标检测该模型作为最优模型，否则，重复步骤3)。
[0062]
4)使用步骤3)中得到的最优模型，对待检测的耐张线夹的x摄像图像进行检测。得到钢锚与导线钢芯压接部分和钢锚与导线钢芯压接部分的旋转目标检测框。再通过所获得旋转目标检测框进行缺陷判断。
[0063]
具体地，在步骤1)中，由于天气情况的不确定，以及无人机悬停时的不稳定造成成像的运动模糊。因此采用对比度增强直方图均衡化的方法和去运动模糊nafnet的去模糊算法，使得图片更容易让目标检测模型识别。
[0064]
具体地，在步骤2)中，标注两个类别，分别是钢锚与导线钢芯压接部分和铝管与导线压接部分。标注后对数据进行扩充，以避免过少的数据集带来的模型过拟合、泛化性降低，包括：
[0065]
a、对图像进行随机水平旋转；
[0066]
b、对图像进行随机垂直翻转；
[0067]
c、对图像进行随机对角线旋转；
[0068]
d、对图像进行在[-30
°
,30
°
]的任意角度内旋转；
[0069]
具体地，在步骤3)中，整个模型结构分成6个主要部分：图像预处理、resnet骨干网络、pafpn网络、区域建议网络头部rpn_head、检测网络头部bbox_head各部分具体含义如下：
[0070]
图像预处理的主要作用：将图像调整为1024
×
1024
×
3的大小，如果原图的大小不满足调整的大小，向图像四周填充黑色像素以达到1024
×
1024
×
3。而后将图像进行归一化处理，对图像的三个通道的像素分别进行均值为123.67、116.28、103.53，方差为58.395、57.12、57.375的归一化，归一化后的像素值具体如下所示：
[0071][0072]
式中，np为归一化后的像素值、op为原本的像素值、mean为均值、std为方差；将图像中的像素值归一化到以mean为平均值，std为方差的正态分布上。
[0073]
resnet骨干网络的主要作用是提取图片不同分辨率的特征图，所选的resnet50共有5个阶段，第一阶段记作c1，其输出为512
×
512
×
64，第二个阶段记作c2，其输出为256
×
256
×
256，第三阶段记作c3，其输出为128
×
128
×
512，第四阶段记作c4，其输出为64
×
64
×
1024，第五阶段记作c5，其输出为32
×
32
×
2048；一共获得5个分辨率不同的特征图，按顺序记作c1-c5。
[0074]
pafpn网络的主要作用是进行特征融合，首先将resnet骨干网络获得的特征图，自顶向下进行反卷积操作对高层特征图进行上采样操作，得到一系列分辨率较低，但语义信息较强的特征图；同时从低阶段特征图向高阶段特征图进行卷积操作获得一系列分辨率较高，但是语义信息较弱的特征图；而后，使用横向连接将上采样特征图和卷积特征图进行拼接，得到一系列新的特征图。对这些新的特征图进行路径聚合操作，将同一分辨率的特征图进行逐像素加和，并在最后一层级的特征图中进行全局最大池化操作，得到最终的特征表示。pafpn网络输出5个不同尺寸的特征图大小分别为512
×
512
×
256、256
×
256
×
256、128
×
128
×
256、64
×
64
×
256、32
×
32
×
256。
[0075]
区域建议网络头部rpn_head主要作用是输出固定大小的有可能存在检测目标的特征图：根据设定的通过k-means获得的参数在pafpn网络输出特征图的每个点上生成步幅大小为4、8、16、32、64，长宽比为0.5、1.0、2.0的15种规格的anchor。首先将pafpn网络输出的特征图经过一次3
×
3的卷积，然后经过2个分支，每个分支进行一次1
×
1的卷积，其中一个分支通过softmax判断对应特征图每个点上的15个anchor是前景还是背景，另一个分支输出对应特征图每个点上的15个anchor的坐标回归，以获取可能存在检测目标的精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
[0076]
而后使用roi align处理该1000个候选框，使候选框的特征对齐的同时将候选框的特征图变成7
×
7特征矩阵，以便后续输入到检测网络头部bbox_head当中。
[0077]
检测网络头部bbox_head的主要作用是输出旋转目标检测框：将roi align获得的7
×
7特征矩阵经过卷积以及共享全连接后，获得钢锚与导线钢芯压接部分旋转目标检测框以及铝管与导线压接部分的旋转目标检测框的相对偏移值，根据相对偏移值、对应点的anchor框的大小、以及旋转目标检测框的长边定义法输出目标检测框在原图像中的位置信息。旋转目标检测框通常使用5个参数x、y、w、h、θ来表示，采用长边定义法表示旋转目标检测框。其中x,y代表旋转目标检测框的中心点的x坐标和y坐标，根据长边定义法来定义旋转目标检测框的较长边的长度为h，较短边的长度为w。θ为长边与x轴形成的夹角，角度范围为[-90
°
,90
°
)，其中设定为x轴逆时针旋转到长边的角度为正角度，反之顺时针为负角度。训练过程中需要对类别的预测以及旋转目标检测坐标的回归进行损失函数的设置。其中类别的预测的损失函数为交叉熵函数，旋转目标检测坐标的回归的损失函数为kfiou函数具体如下所示：
[0078]
使用高斯分布模拟旋转目标检测框，如下式所示，其中r为旋转目标检测框的旋转矩阵，λ为特征值的对角矩阵，旋转目标检测框的参数为(x,y,w,h,θ)，μ为高斯分布的期望值，∑为高斯分布的协方差矩阵：
[0079]
∑＝rλr
t
，μ＝(x,y)
t
[0080][0081]
对预测的旋转目标检测框和真实的旋转目标检测框进行高斯变换后，引入lc损失函数，其使用ln损失函数如下式所示，式中ti为真实的旋转目标检测框的位置参数，ti'为预测的旋转目标检测框的位置参数，i为旋转目标检测框中心点的x坐标与y坐标。以便两个高斯分布同中心以计算kfiou损失。
[0082][0083]
而后使用卡尔曼滤波获得两个高斯分布的相交区域的高斯分布，如下式所示，式中，g1为预测的旋转目标检测框高斯分布、∑1为预测的旋转目标检测框高斯分布的协方差、μ1为预测的旋转目标检测框高斯分布的均值、g2为真实的旋转目标检测框高斯分布、∑2为真实的旋转目标检测框高斯分布的协方差、μ2为真实的旋转目标检测框高斯分布的均值、g
kf
为预测的旋转目标检测框与真实的旋转目标检测框相交区域的高斯分布、∑
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的协方差、μ
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的均值、α为真实的旋转目标检测框高斯分布与预测的旋转目标检测框高斯分布相乘后的系数，该系数为以μ2为均值、∑1+∑2为协方差的高斯分布g
α
、μ
kf
＝μ1+k(μ
2-μ1)，∑
kf
＝∑
1-k∑1，k是卡尔曼增益系数：
[0084]
αg
kf
(μ
kf
,∑
kf
)＝g1(μ1,∑1)g2(μ2,∑2)
[0085][0086][0087]
根据高斯分布计算出其对应的旋转目标检测框的面积，如下式所示，其中∑为旋转目标检测框对应的高斯分布、vb为旋转目标检测框的面积：
[0088][0089]
最后，根据计算的面积得出kfiou损失函数如下式所示，式中为预测的旋转目标检测框的面积、为真实的旋转目标检测框的高斯分布、为预测的旋转目标检测框与真实的旋转目标检测框相交部分的面积：
[0090][0091]
使用微调进行模型的训练，对于resnet使用imagenet预训练模型初始化，其它皆采用均值为0，标注差为0.01的高斯分布进行随机初始化。优化器采用sgd，初始学习率设置为0.0025，动量设置为0.9，采用warmup学习率优化方式，总共训练130迭代次数。训练完成
后，将旋转目标检测算法的结构和权重保存起来作为最优模型。
[0092]
具体地，在步骤4)中，根据得到钢锚与导线钢芯压接部分和钢锚与导线钢芯压接部分的旋转目标检测框进行缺陷判断，其具体步骤如下描述：
[0093]
钢锚与导线钢芯压接部分的旋转目标检测框使用长边表示法为：[x1,y1,w1,h1,θ1]，其中x1、y1代表钢锚与导线钢芯压接部分的旋转目标检测框的中心点的x坐标和y坐标，h1为旋转目标检测框的较长边的长度，较短边的长度为w1，θ1为x轴正方向旋转到较长边的角度，逆时针旋转角度为正，反之顺时针为负，其中的w1即为钢锚与导线钢芯压接部分的钢锚直径d；铝管与导线压接部分的旋转目标检测框使用长边表示法为：[x2,y2,w2,h2,θ2]，其中x2、y2铝管与导线压接部分的代表旋转目标检测框的中心点的x坐标和y坐标，h2为旋转目标检测框的较长边的长度，较短边的长度为w2，θ2为x轴正方向旋转到较长边的角度，逆时针旋转角度为正，反之顺时针为负。可以通过下式计算钢锚与导线钢芯压接部分和铝管与导线压接部分的距离：
[0094][0095][0096]
其中，l
center
为钢锚与导线钢芯压接部分的旋转目标检测框和铝管与导线压接部分的旋转目标检测框中心点的距离，l为钢锚与导线钢芯压接部分和铝管与导线压接部分的距离；
[0097]
获取钢锚与导线钢芯压接部分的钢锚直径d以及钢锚与导线钢芯压接部分和铝管与导线压接部分的距离l后，根据l与d的大小关系来判断是否存在缺陷：当l≥d时存在缺陷，反之不存在缺陷。
[0098]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，包括：获取耐张线夹的x射线图像；将x射线图像进行预处理，包括去运动模糊和对比度增强，将预处理后的x射线图像通过已训练好的改进的旋转目标检测算法rotate faster-rcnn，将原始图像中钢锚与导线钢芯压接位置和铝管与导线压接部分用旋转目标检测框标出，其中，该改进的旋转目标检测算法rotate faster-rcnn改进的地方有：采用将图片旋转固定范围内的任意角度进行图像数据集的扩充，采用k-means算法优化网络的anchor尺寸大小，采用长边定义法作为旋转目标框的表示模式，采用将图片旋转固定范围内的任意角度进行图像数据集的扩充，采用pafpn网络获取不同尺度的特征图，采用kfiou作为损失函数，采用旋转目标检测进行以距离作为判断依据的耐张线夹的缺陷检测；对旋转目标检测框的缺陷判断：缺陷判断包括通过钢锚与导线钢芯压接部分的旋转目标检测框以及铝管与导线压接部分的旋转目标检测框，获取钢锚与导线钢芯压接部分的钢锚直径d，获取钢锚与导线钢芯压接部分的目标检测框和铝管与导线压接部分的目标检测框的距离l，通过d与l的大小关系来判断是否缺陷，当d≥l时为不存在缺陷，当时d＜l存在缺陷。2.根据权利要求1所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，改进的旋转目标检测算法rotate faster-rcnn的结构包括6个主要部分：图像预处理、resnet骨干网络、pafpn网络、区域建议网络头部rpn_head、检测网络头部bbox_head、掩膜分支mask_head；通过改进的旋转目标检测算法rotate faster-rcnn将钢锚与导线钢芯压接部分和铝管与导线压接部分用旋转目标检测框框出，包括以下过程：将耐张线夹的x射线图像进行图像预处理后输入resnet骨干网络，生成多个分辨率不同的特征图；将多个分辨率不同的特征图输入pafpn网络，进行特征融合处理，输出多个不同尺度的特征图层；将多个不同尺度的特征图层输入区域建议网络头部rpn_head，生成多个区域候选框以及固定大小的特征图；将多个区域候选框输入检测网络头部bbox_head输出旋转目标检测框。3.根据权利要求2所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所述改进的旋转目标检测算法rotate faster-rcnn的图像预处理部分是先将图像调整为1024
×
1024
×
3的大小，如果原图的大小不满足调整的大小，向图像四周填充黑色像素以达到1024
×
1024
×
3大小，而后将图像进行归一化处理，对图像的三个通道的像素分别进行均值为123.67、116.28、103.53，方差为58.395、57.12、57.375的归一化，归一化后的像素值具体如下所示：式中，np为归一化后的像素值、op为原本的像素值、mean为均值、std为方差；将图像中的像素值归一化到以mean为平均值，std为方差的正态分布上。4.根据权利要求3所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所
述resnet骨干网络共有5个阶段，第一阶段记作c1，其输出512
×
512
×
64，第二个阶段记作c2，其输出为256
×
256
×
256，第三阶段记作c3，其输出为128
×
128
×
512，第四阶段记作c4，其输出为64
×
64
×
1024，第五阶段记作c5，其输出为32
×
32
×
2048；将x射线图像输入到resnet骨干网络，一共获得5个分辨率不同的特征图，按顺序记作c1-c5。5.根据权利要求4所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所述pafpn网络用于进行特征融合，首先将resnet骨干网络获得的特征图，自顶向下进行反卷积操作对高层特征图进行上采样操作，得到一系列分辨率低，但语义信息强的特征图；同时从低阶段特征图向高阶段特征图进行卷积操作获得一系列分辨率高，但是语义信息弱的特征图；而后，使用横向连接将上采样特征图和卷积特征图进行拼接，得到一系列新的特征图，对这些新的特征图进行路径聚合操作，将同一分辨率的特征图进行逐像素加和，并在最后一层级的特征图中进行全局最大池化操作，得到最终的特征表示；pafpn网络输出5个不同尺寸的特征图大小分别为512
×
512
×
256、256
×
256
×
256、128
×
128
×
256、64
×
64
×
256、32
×
32
×
256。6.根据权利要求5所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所述区域建议网络头部rpn_head使用roialign生成候选框，包括：根据设定的通过k-means获得的参数在pafpn网络输出特征图的每个点上生成步幅大小为4、8、16、32、64，长宽比为0.5、1.0、2.0的15种规格的水平anchor；首先，将pafpn网络输出的特征图经过一次3
×
3的卷积，然后经过2个分支，每个分支进行一次1
×
1的卷积，其中一个分支通过softmax判断对应特征图每个点上的15个anchor是前景还是背景，另一个分支输出对应特征图每个点上的15个anchor的坐标回归，以获取精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框；而后使用roi align处理该1000个候选框，使得候选框的特征对齐的同时将候选框的特征图变成7
×
7特征矩阵，以便后续输入到检测网络头部bbox_head当中。7.根据权利要求6所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，使用长边定义法来表示旋转目标检测框，包括：使用5个参数x、y、w、h、θ来表示一个旋转目标检测框，其中x,y代表旋转目标检测框的中心点的x坐标和y坐标，根据长边定义法来定义旋转目标检测框的较长边的长度为h，较短边的长度为w，θ为长边与x轴形成的夹角，角度范围为[-90
°
,90
°
)，其中设定为x轴逆时针旋转到长边的角度为正角度，反之顺时针为负角度。8.根据权利要求7所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所述检测网络头部bbox_head输出旋转目标检测框，包括：将roi align获得的7
×
7特征矩阵经过卷积以及共享全连接后，获得钢锚与导线钢芯压接部分的旋转目标检测框以及铝管与导线压接部分的旋转目标检测框的相对偏移值，根据相对偏移值、对应点的anchor框的大小、以及旋转目标检测框的长边定义法输出旋转目标检测框在原图像中的位置信息。9.根据权利要求8所述的基于旋转目标检测的耐张线夹缺陷判断方法，其特征在于，所述缺陷判断，包括：通过改进的旋转目标检测算法rotate faster-rcnn将钢锚与导线钢芯压接部分和铝
为预测的旋转目标检测框高斯分布、∑1为预测的旋转目标检测框高斯分布的协方差、μ1为预测的旋转目标检测框高斯分布的均值、g2为真实的旋转目标检测框高斯分布、∑2为真实的旋转目标检测框高斯分布的协方差、μ2为真实的旋转目标检测框高斯分布的均值、g
kf
为预测的旋转目标检测框与真实的旋转目标检测框相交区域的高斯分布、∑
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的协方差、μ
kf
为预测的旋转目标检测框与真实的旋转目标检测框的相交区域高斯分布的均值、α为真实的旋转目标检测框高斯分布与预测的旋转目标检测框高斯分布相乘后的系数，该系数为以μ2为均值、∑1+∑2为协方差的高斯分布g
α
、μ
kf
＝μ1+k(μ
2-μ1)，∑
kf
＝∑
1-k∑1，k是卡尔曼增益系数：αg
kf
(μ
kf
,∑
kf
)＝g1(μ1,∑1)g2(μ2,∑2))根据高斯分布计算出其对应的旋转目标检测框的面积，如下式所示，其中∑为旋转目标检测框对应的高斯分布、v
b
为旋转目标检测框的面积：最后，根据计算的面积得出kfiou损失函数如下式所示，式中为预测的旋转目标检测框的面积、为真实的旋转目标检测框的高斯分布、为预测的旋转目标检测框与真实的旋转目标检测框相交部分的面积：

技术总结
本发明公开了一种基于旋转目标检测的耐张线夹缺陷判断方法，包括：获取耐张线夹的X射线图像；将X射线图像进行预处理，通过改进的旋转目标检测算法Rotate Faster-Rcnn将缺陷部分用旋转目标检测框标出，其中，该旋转目标检测算法Rotate Faster-Rcnn改进的地方有：采用k-means算法优化网络的anchor尺寸大小，采用长边定义法作为旋转目标框的表示模式，采用将图片旋转固定范围内的任意角度进行图像数据集的扩充，采用PAFPN网络获取不同尺度的特征图以及KFIoU作为损失函数，采用旋转目标检测进行需要测距的耐张线夹的缺陷检测。本发明可有效快速地识别并判断耐张线夹的缺陷，以达到能够替代人工识别判断的效果。能够替代人工识别判断的效果。能够替代人工识别判断的效果。


技术研发人员：杜启亮 周黄泽 田联房
受保护的技术使用者：华南理工大学
技术研发日：2023.04.06
技术公布日：2023/8/14