基于红外和可见光图像配准的接触网部件温度检测方法与流程

1.本发明涉及轨道交通接触网安全监测领域，具体是基于红外和可见光图像配准的接触网部件温度检测方法。


背景技术：

2.接触网是铁路电气化工程的主构架，是沿铁路线上空架设的向电力机车供电的特殊形式的输电线路，其由接触悬挂、支持装置、定位装置、支柱与基础几部分组成，担负着把从牵引变电所获得的电能直接输送给电力机车使用的重要任务。在电气化铁道中，对接触网的运行状况进行监测及其重要，其中对于接触网关键部件温度检测是一个重要的环节，对于保障地铁运行、保障运行、提高接触网运行的可靠性、提高接触网运行的效率具有重要意义。
3.当前普遍采用动态检测方式通过车载高速红外摄像机获取接触网部件温度信息，以满足监测数据要求。关键部件的高温检测主要分为两种方式：第一是通过人眼来判断部件是否存在温度过高的情况，这种方式存着漏检严重和消耗人力资源大的问题；第二是依据红外图像实现接触网关键部件温度检测，这种方式会存在着因像素差异较小导致的关键部件定位不准确的问题。基于此，期望得一种高效准确的接触网关键部件温度检测的方法。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供基于红外和可见光图像配准的接触网部件温度检测方法，包括：
5.步骤一，获取接触网运行状态过程中的原始图像以及对应的红外温度信息，所述的原始图像包括可见光图像、对应的红外图像,并将红外图像渲染为伪彩红外图像；
6.步骤二，伪彩红外图像和可见光图像分别与各自的手工特征构成图像对，通过得到的图像对构建的keynet模型进行训练，得到训练后的keynet模型；
7.步骤三，通过训练后的keynet模型提取出接触网运行状态过程中的可见光图像及对应的红外图像各自的特征点，组成特征点候选匹配对集合m；
8.步骤四，对于特征点候选匹配对集合m，采用局部邻域选择与过滤选择设定数量的种子点组成匹配对子集合以种子点为中心选定圆形区域，在圆形区域内从匹配对子集合m*中选择与该种子点在同一个区域的匹配的特征点；
9.步骤五，根据匹配的特征点在两幅图像的像素坐标计算单应性矩阵，基于透视变换对可见光图像进行矫正，使得可见光图像中的关键部件的坐标与红外图像中的坐标对齐；
10.步骤六，获取矫正后的可见光图像与采集的可见光图像，标注图像中关键部件的位置；在标注完成后，将图片划分为训练集、验证集和测试集，使用数据增强扩充训练集数量；选用轻量化模型picodet，调节配置参数，对模型进行迭代训练，通过学习好的模型对矫正后的可见光图像进行检测，获取关键部件的检测框坐标；
11.步骤七，在获取矫正后的可见光图像中的接触网关键部件的检测框坐标后，得到该部件在红外图像中的位置信息，依据位置信息获取该检测区域的温度信息，该区域内的最高温度作为该部件的温度信息。
12.进一步的，所述的keynet模型，包括图像金字塔模块、孪生网络特征提取模块、手工设计特征模块；其中图像金字塔模块为对于原始图像进行多次下采样，与原始图像共同组成图像组作为自监督学习网络的多级输入；所述的孪生网络特征提取模块为对于网络的多级输入采用相同结构的孪生网络，共享权重，分别提取各分辨率下的图像特征，权重参数通过迭代训练更新；手工设计特征模块通过对原始图像计算一阶和二阶导数获得手工特征，与学习特征串联用作孪生网络的输入，最终获得关键点响应图。
13.进一步的，所述的特征匹配算法为adalam，采用局部邻域选择与过滤选取种子点和采用自适应仿射验证进行特征点匹配，在分别提取到红外图像和可见光图像的特征点后，对各自所提取的特征点进行逐一匹配。
14.进一步的，所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，包括：
15.假设表示为匹配集合s中第i组匹配对，对于任意匹配(p1,p2)＝((x1,d1,σ1,α1),(x2,d2,σ2,α2))∈m,其中d表示描述子，若上述匹配满足如下约束关系，则被纳入到支持种子点的匹配集合ni∈m中，约束关系为：
[0016][0017][0018]
式中α
p
＝α
2-α1,σ
p
＝σ2/σ1表示两个匹配点之间的角度与尺度差异；r1与r2分别表示图像i1与i2的种子点扩散半径；λ表示领域圆形区域的覆盖程度的正则项。
[0019]
进一步的，所述的自适应仿射验证为对每个小邻域执行，引入检比法偏置采样分布，使得置信度更高的匹配点更优先被选中；
[0020]
在第j次迭代中，邻域ni上采样拟合得到的仿射矩阵为则对于邻域内的候选匹配点k，其对应的偏差值rk如下：
[0021][0022]
采用基于假设检验的方式来判断当前的候选匹配点是否为正确匹配点，假设所有的离群点都符合均匀分布，将偏差值rk映射到一个置信度度量值ck上；其公式为：
[0023][0024]
其中r表示所有候选匹配点对应的偏差值集合，并从小到大排序；p表示偏差值小于等于rk的匹配点的数量，p＝1+k；
[0025]
假设rk对应的匹配点k是最差的正确匹配点，则p就表示实际找到的正确匹配点的数量，就表示半径为rk的范围占整个邻域范围的面积比例，那么就表示满足前提假
设条件下应该找到的正确匹配点数量；
[0026]
置信度ck就是真实找到的正确匹配点数量和估计的正确匹配点数量的比值，比值越大，则k点为正确匹配点的概率越高。当置信度大于设定阈值，表示该模型对该匹配关系拟合的较好，视该匹配被视为内点，否则为外点。
[0027]
进一步的，所述的目标检测算法为picodet，是一种单阶段目标检测算法，使用esnet作为骨干网络，使用csp-pan作为瓶颈特征提取层，使用解耦检测头作为目标值输出层。
[0028]
本发明的有益效果是：提出了一种将红外图像与可见光图像进行特征匹配的新型方法，该方法相比于现有方法具有更好的匹配效果。设计了一种联合红外图像与可见光图像，基于特征匹配和目标检测技术实现接触网系统中关键部件温度检测的实施方案，该方案具备较完备的理论性和实施性。
附图说明
[0029]
图1为基于红外和可见光图像配准的接触网部件温度检测方法的流程示意图；
[0030]
图2为keynet网络结构示意图；
[0031]
图3为picodet网络结构示意图；
[0032]
图4为红外图像和可见光图像特征匹配及矫正结果示意图；
[0033]
图5为接触网关键部件温度检测结果示意图。
具体实施方式
[0034]
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
[0035]
为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0036]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0037]
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
[0038]
以下结合实施例对本发明的特征和性能作进一步的详细描述。
[0039]
如图1所示，基于红外和可见光图像配准的接触网部件温度检测方法，包括：
[0040]
步骤一，获取接触网运行状态过程中的原始图像以及对应的红外温度信息，所述的原始图像包括可见光图像、对应的红外图像,并将红外图像渲染为伪彩红外图像；
[0041]
步骤二，伪彩红外图像和可见光图像分别与各自的手工特征构成图像对，通过得到的图像对构建的keynet模型进行训练，得到训练后的keynet模型；
[0042]
步骤三，通过训练后的keynet模型提取出接触网运行状态过程中的可见光图像及对应的红外图像各自的特征点，组成特征点候选匹配对集合m；
[0043]
步骤四，对于特征点候选匹配对集合m，采用局部邻域选择与过滤选择设定数量的种子点组成匹配对子集合以种子点为中心选定圆形区域，在圆形区域内从匹配对子集合m*中选择与该种子点在同一个区域的匹配的特征点；
[0044]
步骤五，根据匹配的特征点在两幅图像的像素坐标计算单应性矩阵，基于透视变换对可见光图像进行矫正，使得可见光图像中的关键部件的坐标与红外图像中的坐标对齐；
[0045]
步骤六，获取矫正后的可见光图像与采集的可见光图像，标注图像中关键部件的位置；在标注完成后，将图片划分为训练集、验证集和测试集，使用数据增强扩充训练集数量；选用轻量化模型picodet，调节配置参数，对模型进行迭代训练，通过学习好的模型对矫正后的可见光图像进行检测，获取关键部件的检测框坐标；
[0046]
步骤七，在获取矫正后的可见光图像中的接触网关键部件的检测框坐标后，得到该部件在红外图像中的位置信息，依据位置信息获取该检测区域的温度信息，该区域内的最高温度作为该部件的温度信息。
[0047]
所述的keynet模型，包括图像金字塔模块、孪生网络特征提取模块、手工设计特征模块；其中图像金字塔模块为对于原始图像进行多次下采样，与原始图像共同组成图像组作为自监督学习网络的多级输入；所述的孪生网络特征提取模块为对于网络的多级输入采用相同结构的孪生网络，共享权重，分别提取各分辨率下的图像特征，权重参数通过迭代训练更新；手工设计特征模块通过对原始图像计算一阶和二阶导数获得手工特征，与学习特征串联用作孪生网络的输入，最终获得关键点响应图。
[0048]
所述的特征匹配算法为adalam，采用局部邻域选择与过滤选取种子点和采用自适应仿射验证进行特征点匹配，在分别提取到红外图像和可见光图像的特征点后，对各自所提取的特征点进行逐一匹配。
[0049]
所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，包括：
[0050]
假设表示为匹配集合s中第i组匹配对，对于任意匹配(p1,p2)＝((x1,d1,σ1,α1),(x2,d2,σ2,α2))∈m,其中d表示描述子，若上述匹配满足如下约束关系，则被纳入到支持种子点的匹配集合ni∈m中，约束关系为：
[0051][0052][0053]
式中α
p
＝α
2-α1,σ
p
＝σ2/σ1表示两个匹配点之间的角度与尺度差异；r1与r2分别表示图像i1与i2的种子点扩散半径；λ表示领域圆形区域的覆盖程度的正则项。
[0054]
所述的自适应仿射验证为对每个小邻域执行，引入检比法偏置采样分布，使得置
信度更高的匹配点更优先被选中；
[0055]
在第j次迭代中，邻域ni上采样拟合得到的仿射矩阵为则对于邻域内的候选匹配点k，其对应的偏差值rk如下：
[0056][0057]
采用基于假设检验的方式来判断当前的候选匹配点是否为正确匹配点，假设所有的离群点都符合均匀分布，将偏差值rk映射到一个置信度度量值ck上；其公式为：
[0058][0059]
其中r表示所有候选匹配点对应的偏差值集合，并从小到大排序；p表示偏差值小于等于rk的匹配点的数量，p＝1+k；
[0060]
假设rk对应的匹配点k是最差的正确匹配点，则p就表示实际找到的正确匹配点的数量，就表示半径为rk的范围占整个邻域范围的面积比例，那么就表示满足前提假设条件下应该找到的正确匹配点数量；
[0061]
置信度ck就是真实找到的正确匹配点数量和估计的正确匹配点数量的比值，比值越大，则k点为正确匹配点的概率越高。当置信度大于设定阈值，表示该模型对该匹配关系拟合的较好，视该匹配被视为内点，否则为外点。
[0062]
所述的目标检测算法为picodet，是一种单阶段目标检测算法，使用esnet作为骨干网络，使用csp-pan作为瓶颈特征提取层，使用解耦检测头作为目标值输出层。
[0063]
具体的，包括如下步骤：
[0064]
步骤一，获取接触网运行状态检测过程中的可见光图像、红外图像与红外温度信息；
[0065]
步骤二，训练自监督学习算法，利用学习后的模型分别获取红外图像与可见光图像的特征点；
[0066]
步骤三，基于特征匹配算法对红外图像与可见光图像进行特征点匹配；
[0067]
步骤四，根据匹配的特征点在两幅图像的像素坐标计算单应性矩阵，基于透视变换对可见光图像进行矫正；
[0068]
步骤五，训练深度学习目标检测算法，利用学习好的模型获取矫正的可见光图像中的关键部件的位置信息；
[0069]
步骤六，依据可见光图像中的关键部件的位置信息和红外温度信息，获取各部件温度。
[0070]
所述的自监督学习算法为keynet，包括图像金字塔模块，孪生网络特征提取模块，手工设计特征模块；其中图像金字塔模块为对于原始图像进行多次下采样，与原始图像共同组成图像组作为自监督学习网络的多级输入；所述的孪生网络特征提取模块为对于网络的多级输入采用相同结构的孪生网络，共享权重，分别提取各分辨率下的图像特征，权重参数通过迭代训练更新；手工设计特征模块通过对原始图像计算一阶和二阶导数获得手工特征，与学习特征串联用作孪生网络的输入，最终获得关键点响应图。
[0071]
所述的特征匹配算法为adalam，主要特点是采用局部邻域选择与过滤选取种子点和采用自适应仿射验证进行特征点匹配。在分别提取到红外图像和可见光图像的特征点后，对各自所提取的特征点进行逐一匹配。
[0072]
所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，假设所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，假设表示为匹配集合s中第i组匹配对，它们符合相似变换。那么对于任意匹配(p1,p2)＝((x1,d1,σ1,α1),(x2,d2,σ2,α2))∈m,其中d表示描述子，如果上述匹配满足如下约束关系，就能够被纳入到支持种子点的匹配集合ni∈m中，约束关系为：
[0073][0074][0075]
式中α
p
＝α
2-α1,σ
p
＝σ2/σ1表示两个匹配点之间的角度与尺度差异；r1与r2分别表示图像i1与i2的种子点扩散半径；λ表示领域圆形区域的覆盖程度的正则项。
[0076]
所述的自适应仿射验证对每个小邻域执行，引入检比法(ratio-test)来偏置采样分布，使得置信度更高的匹配点更优先被选中。在第j次迭代中，邻域ni上采样拟合得到的仿射矩阵为则对于邻域内的候选匹配点k，其对应的偏差值rk如下：
[0077][0078]
采用基于假设检验的方式来判断当前的候选匹配点是否为正确匹配点，假设所有的离群点都符合均匀分布，可以将偏差值rk映射到一个置信度度量值ck上。其公式为：
[0079][0080]
其中r表示所有候选匹配点对应的偏差值集合，并从小到大排序(从0开始标序)。p表示偏差值小于等于rk的匹配点的数量，p＝1+k(r从0开始标序)。假设rk对应的匹配点k是最差的正确匹配点，则p就表示实际找到的正确匹配点的数量，就表示半径为rk的范围占整个邻域范围的面积比例，那么就表示满足前提假设(离群点符合均匀分布)条件下应该找到的正确匹配点数量。置信度ck就是真实找到的正确匹配点数量和估计的正确匹配点数量的比值，比值越大，则k点为正确匹配点的概率越高。当置信度大于设定阈值，表示该模型对该匹配关系拟合的较好，视该匹配被视为内点，否则为外点。
[0081]
所述的目标检测算法为picodet，是一种单阶段目标检测算法，使用esnet作为骨干网络，使用csp-pan作为瓶颈特征提取层，使用解耦检测头作为目标值输出层。
[0082]
所述的esnet是在精度、速度全方面提升的骨干网络，其主要特征在于es block，是在shufflenetv2的基础上引入了通道注意力模块和ghost模块，并新增深度可分离卷积，对不同通道信息进行融合来提升模型精度，进一步提升模型性能。
[0083]
所述的csp-pan使用pan结构用于获取多级特征图，用csp网络进行相邻特征图之间的特征连接和融合，并在顶部添加一个尺寸的特征图以检测更多的目标。
[0084]
所述的解耦检测头考虑到分类和定位所关注的内容的不同，用两个分支分别计算
分类损失和定位损失，以此将目标预测值分开，达到解耦效果。
[0085]
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：
1.基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，包括：步骤一，获取接触网运行状态过程中的原始图像以及对应的红外温度信息，所述的原始图像包括可见光图像、对应的红外图像,并将红外图像渲染为伪彩红外图像；步骤二，伪彩红外图像和可见光图像分别与各自的手工特征构成图像对，通过得到的图像对构建的keynet模型进行训练，得到训练后的keynet模型；步骤三，通过训练后的keynet模型提取出接触网运行状态过程中的可见光图像及对应的红外图像各自的特征点，组成特征点候选匹配对集合m；步骤四，对于特征点候选匹配对集合m，采用局部邻域选择与过滤选择设定数量的种子点组成匹配对子集合以种子点为中心选定圆形区域，在圆形区域内从匹配对子集合m*中选择与该种子点在同一个区域的匹配的特征点；步骤五，根据匹配的特征点在两幅图像的像素坐标计算单应性矩阵，基于透视变换对可见光图像进行矫正，使得可见光图像中的关键部件的坐标与红外图像中的坐标对齐；步骤六，获取矫正后的可见光图像与采集的可见光图像，标注图像中关键部件的位置；在标注完成后，将图片划分为训练集、验证集和测试集，使用数据增强扩充训练集数量；选用轻量化模型picodet，调节配置参数，对模型进行迭代训练，通过学习好的模型对矫正后的可见光图像进行检测，获取关键部件的检测框坐标；步骤七，在获取矫正后的可见光图像中的接触网关键部件的检测框坐标后，得到该部件在红外图像中的位置信息，依据位置信息获取该检测区域的温度信息，该区域内的最高温度作为该部件的温度信息。2.根据权利要求1所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的keynet模型，包括图像金字塔模块、孪生网络特征提取模块、手工设计特征模块；其中图像金字塔模块为对于原始图像进行多次下采样，与原始图像共同组成图像组作为自监督学习网络的多级输入；所述的孪生网络特征提取模块为对于网络的多级输入采用相同结构的孪生网络，共享权重，分别提取各分辨率下的图像特征，权重参数通过迭代训练更新；手工设计特征模块通过对原始图像计算一阶和二阶导数获得手工特征，与学习特征串联用作孪生网络的输入，最终获得关键点响应图。3.根据权利要求2所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的特征匹配算法为adalam，采用局部邻域选择与过滤选取种子点和采用自适应仿射验证进行特征点匹配，在分别提取到红外图像和可见光图像的特征点后，对各自所提取的特征点进行逐一匹配。4.根据权利要求3所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，包括：假设表示为匹配集合s中第i组匹配对，对于任意匹配(p1,p2)＝((x1,d1,σ1,α1),(x2,d2,σ2,α2))∈m,其中d表示描述子，若上述匹配满足如下约束关系，则被纳入到支持种子点的匹配集合n
i
∈m中，约束关系为：∈m中，约束关系为：
式中α
p
＝α
2-α1,σ
p
＝σ2/σ1表示两个匹配点之间的角度与尺度差异；r1与r2分别表示图像i1与i2的种子点扩散半径；λ表示领域圆形区域的覆盖程度的正则项。5.根据权利要求4所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的自适应仿射验证为对每个小邻域执行，引入检比法偏置采样分布，使得置信度更高的匹配点更优先被选中；在第j次迭代中，邻域n
i
上采样拟合得到的仿射矩阵为则对于邻域内的候选匹配点k，其对应的偏差值r
k
如下：采用基于假设检验的方式来判断当前的候选匹配点是否为正确匹配点，假设所有的离群点都符合均匀分布，将偏差值r
k
映射到一个置信度度量值c
k
上；其公式为：其中r表示所有候选匹配点对应的偏差值集合，并从小到大排序；p表示偏差值小于等于r
k
的匹配点的数量，p＝1+k；假设r
k
对应的匹配点k是最差的正确匹配点，则p就表示实际找到的正确匹配点的数量，就表示半径为r
k
的范围占整个邻域范围的面积比例，那么就表示满足前提假设条件下应该找到的正确匹配点数量；置信度c
k
就是真实找到的正确匹配点数量和估计的正确匹配点数量的比值，比值越大，则k点为正确匹配点的概率越高。当置信度大于设定阈值，表示该模型对该匹配关系拟合的较好，视该匹配被视为内点，否则为外点。6.根据权利要求5所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的目标检测算法为picodet，是一种单阶段目标检测算法，使用esnet作为骨干网络，使用csp-pan作为瓶颈特征提取层，使用解耦检测头作为目标值输出层。

技术总结
本发明公开了基于红外和可见光图像配准的接触网部件温度检测方法，包括：获取接触网运行状态过程中的原始图像以及对应的红外温度信息，伪彩红外图像和可见光图像分别与各自的手工特征构成图像对，通过得到的图像对构建的Keynet模型进行训练，得到训练后的Keynet模型；通过训练后的Keynet模型提取出接触网运行状态过程中的可见光图像及对应的红外图像各自的特征点，组成特征点候选匹配对集合M；在圆形区域内从匹配对子集合M*中选择与该种子点在同一个区域的匹配的特征点；使得可见光图像中的关键部件的坐标与红外图像中的坐标对齐，获取关键部件的检测框坐标；得到该部件在红外图像中的位置信息，该区域内的最高温度作为该部件的温度信息。部件的温度信息。部件的温度信息。


技术研发人员：范国海 徐绍伟 徐宏伟 陈郑淏 梁凤群 何洪伟
受保护的技术使用者：成都国铁电气设备有限公司
技术研发日：2023.05.16
技术公布日：2023/8/9