一种线性目标检测方法、装置、设备及介质与流程

1.本发明实施例涉及图像处理技术领域，具体而言，涉及一种线性目标检测方法、装置、设备及介质。


背景技术：

2.当带电体周围的场强超过周围介质的绝缘击穿场强时，因介质产生电离而使带电体上的电荷部分或全部消失，导致静电释放现象。在危险作业场景下，例如，石油的运输、装卸场景等，燃油相对固体表面运动时能产生静电，又能蓄电，因此会产生放电现象从而引发燃烧、爆炸等重大事故。静电接地是消除加油过程中静电的有效方法。
3.加油车与待加油车辆等电位连接的静电线安全技术要求需实时连接有效，因此需要实时检测静电线是否正确连接。当前的检测方法是通过神经网络的方式对静电线检测，然而因其泛化性极低，一旦切换场景就失去了作用，大规模推广极为困难。因此，如何提升静电线检测的泛化性，成为本领域技术人员当前亟待解决的问题。


技术实现要素：

4.本发明实施例在于提供一种线性目标检测方法、装置、设备及介质，旨在解决如何提升静电线检测的泛化性的问题。
5.本发明实施例第一方面提供一种线性目标检测方法，包括：获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像；将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述目标检测网络为基于增强训练集进行训练得到的，所述增强训练集按照如下过程获取：获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集。
6.可选地，获取特征均值信息集，包括：获取目标场景的多个目标布防图像，作为多个第一待增强图像，所述第一待增强图像为第一颜色空间的图像；将所述第一待增强图像由所述第一颜色空间转换为第二颜色空间，获取在所述第二颜色空间下，所述多个第一待增强图像的不同通道的均值和方差，作为所述目标场景的特征均值信息；
将所有场景下的所述特征均值信息组合为所述特征均值信息集。
7.可选地，基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集，包括：将所述每个场景的目标布防图像由所述第一颜色空间转换为所述第二颜色空间，获取在所述第二颜色空间下，所述每个场景的目标布防图像的不同通道的均值和方差；从所述特征均值信息集中获取一个随机的特征均值信息，基于所述每个场景的目标布防图像的不同通道的均值和方差以及所述随机的特征均值信息，获取更新的通道信息；将所述更新的通道信息与所述每个场景的目标布防图像的通道信息进行组合，得到第一待增强图像，所述第一待增强图像为所述第二颜色空间下每个场景的增强图像；将所述第一待增强图像由所述第二颜色空间转换为所述第一颜色空间，得到所述增强训练集。
8.可选地，在得到所述第一待增强图像之后，所述方法还包括：将所述第一待增强图像以及所述不同场景的目标布防图像进行组合，得到所述增强训练集。
9.可选地，在得到所述增强训练集之后，所述方法还包括：对所述增强训练集中的图像进行第一数据标注，生成所述增强训练集中的每张图像对应的标签框，所述标签框用于框选所述每张图像内的第一目标图像和第二目标图像；对所述每张图像进行第二数据标注，生成所述第一目标图像对应的关键点标签。
10.可选地，在得到所述增强训练集之后，所述方法还包括：对所述增强训练集中的图像进行基础增强，得到基础增强训练集，所述基础增强包括以下至少一项：目标图像上下翻转、目标图像左右翻转、目标图像缩放、明暗调整、对比度调整、色调调整以及多图像拼接增强；将所述基础增强训练集用于更新所述增强训练集。
11.可选地，所述第一颜色空间为bgr颜色空间，所述第二颜色空间为hsv颜色空间，按照如下公式获取所述更新的通道信息：其中，为所述更新的通道信息；分别为在所述第二颜色空间下所述每个场景的目标布防图像未更新的通道信息；分别为所述每个场景的目标布防图像的h通道对应的均值和方差，分别为所述每个场景的目标布防图像的s通道对应的均值和方差，分别为所述每个场景的目标布防图像的v通道对应的均值和方差；别为所述随机的特征均值信息中h通道对应的均值和方差，分别
为所述随机的特征均值信息中s通道对应的均值和方差，分别为所述随机的特征均值信息中v通道对应的均值和方差。
12.本发明实施例第二方面提供一种线性目标检测装置，包括：图像获取模块，用于获取目标布防图像，所述目标布防图像至少包括第一目标图像和第二目标图像，所述第一目标图像为线性图像；检测模块，用于将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；输出模块，用于在所述关键点位于所述检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述检测模块包括：初始训练集获取子模块，用于获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；增强子模块，用于基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到增强训练集。
13.在一种可选的实施方式中，所述初始训练集获取子模块，包括：第一待增强单元，用于获取目标场景的多个目标布防图像，作为多个第一待增强图像，所述第一待增强图像为第一颜色空间的图像；特征均值单元，用于将所述第一待增强图像由所述第一颜色空间转换为第二颜色空间，获取在所述第二颜色空间下，所述多个第一待增强图像的不同通道的均值和方差，作为所述目标场景的特征均值信息；特征均值信息集单元，用于将所有场景下的所述特征均值信息组合为所述特征均值信息集。
14.在一种可选的实施方式中，所述增强子模块，包括：第二颜色空间转换单元，用于将所述每个场景的目标布防图像由所述第一颜色空间转换为所述第二颜色空间，获取在所述第二颜色空间下，所述每个场景的目标布防图像的不同通道的均值和方差；更新通道单元，用于从所述特征均值信息集中获取一个随机的特征均值信息，基于所述每个场景的目标布防图像的不同通道的均值和方差以及所述随机的特征均值信息，获取更新的通道信息；第一增强单元，用于将所述更新的通道信息与所述每个场景的目标布防图像的通道信息进行组合，得到第一待增强图像，所述第一待增强图像为所述第二颜色空间下每个场景的增强图像；获取增强训练集单元，用于将所述第一待增强图像由所述第二颜色空间转换为所述第一颜色空间，得到所述增强训练集。
15.在一种可选的实施方式中，所述第一增强单元，包括：组合子单元，用于将所述第一待增强图像以及所述不同场景的目标布防图像进行组合，得到所述增强训练集。
16.在一种可选的实施方式中，获取所述增强训练集后，所述检测装置还包括：第一数据标注模块，用于对所述增强训练集中的图像进行第一数据标注，生成所
述增强训练集中的每张图像对应的标签框，所述标签框用于框选所述每张图像内的第一目标图像和第二目标图像；第二数据标注模块，用于对所述每张图像进行第二数据标注，生成所述第一目标图像对应的关键点标签。
17.在一种可选的实施方式中，获取所述增强训练集后，所述检测装置还包括：基础增强模块，用于对所述增强训练集中的图像进行基础增强，得到基础增强训练集，所述基础增强包括以下至少一项：目标图像上下翻转、目标图像左右翻转、目标图像缩放、明暗调整、对比度调整、色调调整以及多图像拼接增强；更新模块，用于将所述基础增强训练集用于更新所述增强训练集。
18.本发明实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述第一方面中任一项所述的线性目标检测方法。
19.本发明实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序或指令，该计算机程序或指令被处理器执行时实现上述第一方面中任一项所述的线性目标检测方法。
20.本发明的有益效果为：本发明提供一种线性目标检测方法、装置、设备及介质，所述方法包括：获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像；将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述目标检测网络为基于增强训练集进行训练得到的，所述增强训练集按照如下过程获取：获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集。本发明实施例基于机器学习的数据增强可以增加模型的泛化性，使得到的目标检测网络可以在多场景采取少量目标布防图像就可以进行训练，完成单一场景高精度检测、部分新场景的线性目标检测的泛化性任务。
附图说明
21.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明一实施例提出的一种线性目标检测方法的步骤流程图；图2是本发明一实施例提出的一种获取增强数据集的步骤流程图；图3是本发明一实施例提出的一种摄像头获取的目标布防图像的示意图；图4是本发明一实施例提出的一种目标布防图像采集处理和模型训练的流程示意图；图5是本发明一实施例提出的一种线性目标检测装置的架构图；
图6是本发明一实施例提出的一种电子设备示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.相关技术中，针对线性目标检测的技术主要包括以下两个部分：一个部分为直接通过目标检测的方式实现线性目标的检测，但有效数据采集极为困难，图像采集场景固定从而导致采集的图像数据大量重复，收集的可用图像数据极少，在单一地点可能存在较好的检测率、置信度，但泛化性极低，一旦切换场景就失去了作用，大规模推广极为困难；另一个部分通过采用图像分割的方式进行线性目标连接的检测，这种方式可以解决线性目标的检测分类问题，但同时也存在大量的管路和线性物体误检的情况，而且分割模型一般较大，后处理复杂，难以达到实时检测的目的，在这个延迟的时间内就可能导致危险的发生。
25.基于此，本发明实施例提出一种线性目标检测方法，图1为本发明实施例提供的一种线性目标检测方法的步骤流程图，参阅图1，所述线性目标检测方法包括：步骤s110，获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像。
26.步骤s120，将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框。
27.步骤s130，在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态。
28.其中，所述目标检测网络为基于增强训练集进行训练得到的，图2为本发明实施例提供的一种获取增强数据集的步骤流程图，参阅图2，所述增强训练集按照如下过程获取：步骤s210，获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；步骤s220，基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集。
29.在本发明一实施例中，具体实施步骤s110时，图3是本发明一实施例提出的一种摄像头获取的目标布防图像的示意图，图4是本发明一实施例提出的一种目标布防图像采集处理和模型训练的流程示意图，参阅图3和图4，以装卸石油场景为例进行说明，目标布防图像是通过在装卸石油场景人为进行摄像头的布控以获取目标布防图像，采用摄像头对装卸石油的过程进行视频录制，可实时获得摄像头视野范围内的图像数据，对获得的图像数据进行抽帧处理，经过筛选得到初步可用、无重复、可提现的高质量数据，完成目标布防图像的获取任务，由于运输石油的活动装置位置并不固定，因此布控区域应保持均衡，使得布控区域可以对需要检测的目标图像进行覆盖。由于装卸石油的管道接口一般固定，通过人为进行摄像头的区域布控可以排除大量的无用背景信息，获取具有更多有益信息的目标布防图像；具体地，以装卸石油场景为例，以装卸油口的装置为左右边界之一，以装卸石油的车辆位置为另一边界，即，在装卸油口的装置为左边界时，车辆位置为右边界；在装卸油口的
装置为右边界时，车辆位置为左边界；通过该方式进行摄像头的区域布控可以去除大量的无用背景信息。
30.获取的所述目标布防图像为在石油运输、装卸过程等危险场景中的运输石油的活动装置、装卸石油的装置与管线连接装置等，其中，第一目标图像为线性目标图像，线性目标可以为放电线、充电线、静电线、油管等软性连接装置，第二目标图像为运输石油的活动装置、装卸石油的装置等与第一目标图像相连的装置，第二目标图像可以为车辆等运输石油的活动装置、存储石油的箱体等装卸石油的装置以及与第一目标图像相连的放电桩、充电桩、油柜等装置。第一目标图像与第二目标图像之间是否正确连接是一个十分重要的步骤，通过实时监测上述第一目标图像与第二目标图像之间是否正确连接，可避免发生火灾或爆炸等危险事故。
31.在进行目标布防图像获取时，分天气、白昼多次真实装卸石油的场景采集目标布防图像数据，同时工作人员实时模拟调整线性目标，使用灯光随机照射目标和包含目标的范围，模拟得到不同场景的目标布防图像，对上述真实图像数据和模拟得到图像数据进行抽帧提取后得到布防图像，并将目标布防图像保存至数据库中。其中，对获取的图像数据进行清洗处理，清洗目标物体高度重复部分，以得到更有训练意义的目标布防图像，这是由于高度重复的目标布防图像在训练模型中没有意义，防止出现目标数据特征分布不均的问题，对目标布防图像进行标注得到原始训练样本；在本发明实施例中，上述目标是指线性目标、运输活动装置、线性目标的连接装置，但并不只限于上述三种目标，在实际应用时，可根据需求对目标进行添加。
32.具体实施步骤s120时，将获取的目标布防图像输入至目标检测网络，得到目标布防图像内的第一目标图像的关键点以及第二目标图像的检测框。第一目标图像的关键点可以为目标布防图像内的线性目标图像的关键点，对第二目标图像为目标布防图像内的与第一目标图像相关的待检测目标图像，示例性地，第二目标图像可以为车辆等运输石油的活动装置、存储石油的箱体等装卸石油的装置以及与第一目标图像相连的放电桩、充电桩、油柜等装置。第一目标图像通过关键点标签与通过目标检测网络得到的关键点之间的损失、第二目标图像的标签框与第二目标图像的检测框之间的损失，用于优化该目标检测网络对目标布防图像中的第二目标图像的标注准确度，以使训练好的目标检测网络可以准确地对目标图像进行框选标注，其中，标签框和关键点标签是通过图像标注得到的，具体过程可参见后述得到增强训练集之后对图像进行数据标注的内容，本技术在此不再重复叙述。
33.此外，将上述图像数据保存在数据库之前，通过区域布控方法得到摄像头的区域布控信息，也就是需要检测的目标的位置坐标信息，将上述区域信息保存至摄像头中，便于在后续对进行神经网络模型训练时将检测区域的信息快速提取出来进行相应的检测任务，区域信息的作用旨在对神经网络模型进行训练时，能快速找到待检测区域的信息。
34.上述获取目标布防图像所使用的监控摄像头为高清防爆摄像头，所述摄像头为200万像素（1920*1080）的高清摄像头，并采用ipx6级防水。布防区域距离摄像头距离为9米。本发明实施例中，具体的监控摄像头参数和布防区域距离可根据实际情况进行确定，本发明在此不作限制。
35.本发明实施例中，所述目标布防图像是由bgr颜色空间的像素组成的，通过对bgr颜色空间为基准实现图像数据的增强处理，实现少量图像的泛化性、多场景图像的组合以
及随机生成新的场景信息。
36.本发明实施例中，用于计算对bgr颜色空间为基准实现图像数据的增强处理，实现少量图像数据的泛化性、多场景图像数据的组合以及随机生成新的场景信息的计算平台包含1张1080ti的计算机，内存为8g，处理器主频为2.3ghz。具体计算平台的配置可根据具体情况确定，本发明在此不作限制。
37.本发明中可选的一种实施例中，具体实施步骤s130时，对目标布防图像进行目标检测，以第一目标图像为静电线，第二目标图像为运输石油的车辆和放电桩为例进行上述检测结果的说明，具体为：在第一目标图像对应的关键点位于第二目标图像的检测框内的情况下，对应的检测结果为第一目标图像（静电线）与第二目标图像（车辆和放电桩）处于连接状态；在第一目标图像对应的关键点没有位于第二目标对象的检测框内的情况下，对应的检测结果为第一目标图像（静电线）与第二目标图像（车辆和放电桩）处于未连接状态。因此，上述检测结果可用于线性目标的检测，且只有当第一目标图像的关键点位于第二目标图像检测框内时，才能得到第一目标图像与第二目标图像处于正确连接状态的检测结果。在本发明实施例中，并不只针对上述检测目标，符合并满足上述第一目标图像和第二目标图像的关系的对象均可用本发明提出的线性目标检测方法进行检测，本发明在此不作限制。
38.在本发明可选的一种实施例中，采用目标检测网络提取第一目标图像的关键点，关键点可以监督可行变卷积正确的提取目标特征；在线性目标检测任务中，边界框描述了目标检测器各阶段的目标位置，虽然边界框便于计算，但它们仅提供目标的粗略定位，并不完全拟合目标的形状和姿态。因此，从边界框的规则单元格中提取的特征可能会受到背景内容或前景区域的无效信息的严重影响。这可能导致特征质量降低，从而降低了线性目标检测的分类性能。本技术采用目标检测网络代替普通卷积神经网路，针对线性物体这类数据进行具体分析，目标检测网络中的可形变卷积可以更好的学习到目标的特征信息，可形变卷积可以针对感受野内的特征进行有偏重的提取，关键点获取可以监督可形变卷积正确的提取目标特征。本发明采用关键点对应的线性检测结果对静电线的连接状态进行判断，由于线性目标图像的关键点获取更加关注线性目标的目标特征，通过判断线性图像关键点是否位于第二目标图像检测框内，可以提高线性目标检测的精度。示例性地，所述目标检测网络中的关键点算法可以为reppoints，reppoints为一种新的目标检测方法，可以对目标提供更细粒度的定位和更方便的分类，reppoints为一组点，通过学习自适应地将该组点置于目标之上，该方式限定了目标的空间范围，并且表示具有重要语义信息的局部区域。因此，在本发明中以第一目标图像关键点为可行变卷积的约束，reppoints关键点以有监督方式来监督、评估可形变卷积的特征选取是否可靠，增加新型图像检测模型的可解释性。本发明实施例采用可形变卷积、reppoints可以使管线检测模型更加关注线性目标的特征，提高检测精度，完成高效、低成本的实时检测。需要说明的是，上述实施例只是为了使本领域技术人员更好的理解本发明的方案提出的一种可选的方式，具体的关键点检测算法根据实际情况确定，本发明在此不作限制。
39.在本发明可选的一种实施例中，上述检测结果可以使用目标检测网络的数据结构一次判断完成。当上述检测结果用于判断线性图像是否处于连接状态，可准确判断线性目标是否处于连接状态。此外，除了通过上述检测结果验证线性目标检测的业务逻辑判断方
法外，本发明实施例中还可以通过多帧检测投票的业务逻辑判断方法，多帧检测投票的方法为通过对多次检测结果进行判断，示例性地，在对某一图像数据进行判断得到的5次结果中，有4次结果对应的是线性目标处于连接状态，只有1次结果对应的是线性目标处于未连接状态，则认为线性目标检测结果为线性目标处于连接状态。示例性地，所述目标检测网络中判断算法可以选为numpy（numerical python，一种开源的科学计算库），需要说明的是，上述实施例只是为了使本领域技术人员更好的理解本发明的方案提出的一种可选的方式，具体的关键点检测算法根据实际情况确定，本发明在此不作限制。
40.本发明可选的一种实施例中，参阅图4，图4为本发明实施例提供的一种目标布防图像采集处理和模型训练的流程示意图，具体的，通过摄像头采集图像数据，在将采集的图像数据保存至数据库之前，基于区域布控方法获得摄像头的区域信息，并将区域布控信息保存至对应的摄像头中；对数据库中的图像数据进行清洗和标注后，对其进行图像增强处理并保存至数据库中，将经过标注的图像数据和经过图像增强处理的图像数据以及摄像头保存的区域信息（图4中未示出）输入待训练的神经网络进行训练，得到所述目标检测网络。
41.在本发明可选的一种实施例中，上述检测结果还可以通过对第一目标图像的检测框与第二目标图像的检测框是否有交集进行判断，具体地，在第一目标图像的检测框与第二目标图像的检测框有交集的情况下，检测结果为第一目标图像与第二目标图像处于连接状态；在第一目标图像的检测框与第二目标图像的检测框没有交集的情况下，检测结果为第一目标图像与第二目标图像处于未连接状态。上述检测结果会受到目标检测网络对目标布防图像中第一目标图像和第二目标图像检测得到的检测框的差异而有所影响，也就是说，当目标检测网络对第一目标图像与第二目标图像得到的检测框能准确对其进行框选时，该检测结果的准确性较高，但当目标检测网络对第一目标图像与第二目标图像得到的检测框不能准确对其进行框选时，该检测结果的准确性较低。因此，该种可选的线性目标检测方法仅能初步对第一目标图像与所述第二目标图像的连接状态进行表征。本发明可以通过将上述的目标检测方法进行结合，以实现通过二次确认得到相应的检测结果，可以进一步的减少误报，提高目标检测网络的可解释性、可靠性，使得到的线性目标检测结果更加精准，更真实。
42.本发明提供一种线性目标检测方法，所述方法包括：获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像；将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态。
43.至此完成目标检测流程的阐述，接下来对增强训练集的获取进行详细叙述：在本发明的一实施例中，用于预训练所述目标检测网络的增强训练集是通过获取的不同场景的目标布防图像的特征均值信息集，并基于所述特征均值信息集中的随机增值信息对不同场景的目标布防图像进行的多场景增强，得到的所述增强训练集。
44.具体实施步骤s210时，在本发明实施例中，通过获取目标场景的多个布防场景作为多个第一待增强图像，然后将第一待增强图像的颜色空间从第一颜色空间bgr颜色空间转换为第二颜色空间hsv颜色空间，获取在第二颜色空间hsv颜色空间下，第一待增强图像在h（色调）、s（对比度）、v（明亮度）通道的均值和方差，作为上述目标场景的特征均值信息，
将所有场景下的所有特征均值信息组合作为特征均值信息表。
45.在本发明实施例中，所述第一待增强图像为第一颜色空间，第一颜色空间可以为bgr颜色空间，所述第二待增强图像为第二颜色空间，第二颜色空间可以为hsv颜色空间，具体地，bgr颜色空间是opencv（开源的计算机视觉库）默认的颜色空间，bgr颜色空间有三个通道：b(蓝色)，g(绿色)，r(红色)，像素数组内每个数据的值都在[0,255]内；hsv（hue, saturation, value）颜色空间是根据颜色的直观特性创建的一种颜色空间，也称六角锥体模型（hexcone model），这个模型中颜色的参数分别是色调（h）、饱和度（s）和明度（v）。需要说明的是，上述颜色空间只是为了使本领域技术人员更好的理解本发明的方案提出的一种可选的方式，具体的颜色空间根据实际情况确定，本发明在此不作限制。
[0046]
具体实施步骤s220时，本发明实施例中用于目标检测网络训练的增强训练集是通过对其进行多场景的不同场景特征信息增强得到的，上述场景特征信息可以为场景的明亮度、色调、对比度等信息；上述不同场景是指目标布防图像中的目标（例如，车辆、卸油口、放电桩等）、光线（例如，晴天、阴天、雨天等）、人员组成（例如，工作人员、非工作人员等）等，当上述目标布防图像中的任意场景特征信息出现较大变化时，则生成为上述多场景增强方式中的不同场景。通过该多场景的增强方式可以实现不同场景的泛化性，当将本发明训练得到的目标检测网络更换至其他场景进行线性目标检测时，也可以达到较好的检测结果。
[0047]
本发明可选地一种实施例中，上述得到增强训练集的方式为：获取每个场景下的所有目标布防图像，将所有目标布防图像的颜色空间均由第一颜色空间bgr颜色空间图片转换到第二颜色空间hsv颜色空间，并记录在第二颜色空间hsv颜色空间下，所有目标布防图像的h通道的均值方差、s通道的均值方差、v通道的均值方差，得到整个场景下的h通道、s通道、v通道的均值和方差；从建立的特征均值信息表中随机选取一个特征均值信息，以上述每个场景下的目标布防图像在h通道、s通道、v通道的均值和方差并结合选取的随机的特征均值信息，通过公式计算得到新的h通道、s通道和v通道，其中，按照如下公式获取所述更新的通道信息：其中，为所述更新的通道信息；分别为在所述第二颜色空间下所述每个场景的目标布防图像未更新的通道信息；分别为所述每个场景的目标布防图像的h通道对应的均值和方差，分别为所述每个场景的目标布防图像的s通道对应的均值和方差，分别为所述每个场景的目标布防图像的v通道对应的均值和方差；别为所述随机的特征均值信息中h通道对应的均值和方差，分别为所述随机的特征均值信息中s通道对应的均值和方差，分别为所述随机的
特征均值信息中v通道对应的均值和方差。
[0048]
按上述方法，得到新的h通道、s通道和v通道，完成待增强目标布防图像的颜色空间从bgr颜色空间到hsv颜色空间的转换；然后，将新的h通道、s通道和v通道与每个场景的目标布防图像的h通道、s通道和v通道进行合并得到新的hsv颜色空间，将该合并得到的图像作为第二颜色空间hsv颜色空间下的第一待增强图像，并将该第一待增强图像从新的第二颜色空间hsv颜色空间转换到第一颜色空间bgr颜色空间，完成目标布防图像的增强，得到增强训练集。
[0049]
上述操作将所述第一待增强图像由第二颜色空间转换为第一颜色空间实现了目标布防图像多场景增强方式之一的迁移增强，在本发明实施例中，在得到所述第一待增强图像之后，将所述第一待增强图像和不同场景的目标布防图像进行组合以实现目标布防图像多场景增强方式之一的融合增强，得到所述增强训练集。将所述第一待增强图像以及所述不同场景的目标布防图像进行组合为将转换得到的第一待增强图像的hsv颜色空间与目标布防图像颜色空间（bgr颜色空间）进行加权融合得到增强图像。通过迁移方式或加权融合方式实现目标布防图像多场景的融合，增强了目标布防图像的亮度、色调、对比度，得到增强训练集。在本发明实施例中，上述对目标布防图像进行组合时，均会生成对应的随机比例参数，其中：对目标布防图像以融合方式实现多场景增强时，该随机比例参数为0-1之间的数值；对目标布防图像以迁移处理的方式实现多场景增强时，该比例参数为1，即迁移得到的增强图像的亮度、色调、对比度与迁移之前的目标布防图像的亮度、色调、对比度相同。
[0050]
示例性地，选取一个场景下的hsv颜色空间（即，明亮度、色调、对比度），按照以下公式对原场景的目标布防图像与随机的特征均值信息之间进行随机比例加权融合：其中，a、b、c分别为融合后目标布防图像的明亮度、色调和对比度，a1为原场景的目标布防图像的明亮度，b1为原场景的目标布防图像的色调，c1为原场景的目标布防图像的对比度，a2为在特征均值信息表中获取一个随机的特征均值信息的明亮度，b2为在特征均值信息表中获取一个随机的特征均值信息的色调，c2为在特征均值信息表中获取一个随机的特征均值信息的对比度。
[0051]
在本发明实施例中，在得到所述增强训练集之后，还需要对增强训练集中的图像进行第一目标图像和第二目标图像进行不同的数据标注，以得到不同图像的标签框。首先对增强训练集中的图像进行第一数据标注，生成增强训练集中的每张图像对应的第一目标图像的标签框和第二目标图像的标签框；然后，对所述每张图像进行第二数据标注，生成所述第一目标图像对应的关键点标签。
[0052]
在得到所述增强训练集后，对增强训练集中的图像进行第一数据标注，该第一数据标注旨在对图像中的第一目标图像和第二目标图像进行标注，以得到第一目标图像和第二目标图像分别对应的标签框，该第一目标图像是指图像中的线性目标，例如放电线、充电线、静电线、油管等软性连接装置，第二目标图像是指图像中装卸石油的活动装置或管线连接的静置装置，例如运输石油的车辆、装卸石油的箱体、放电桩、充电桩、油柜等（参阅图3）。对图像中的第一目标图像进行第二数据标注，旨在获取第一目标对象对应的关键点标签，
也就是对图像中的线性目标进行关键点的标注（参阅图3中的静电线上标记的点，即为线性目标图像的关键点）。示例性地，上述第一数据标注和第二数据标注后可得到管线标签框、运输活动装置标签框、线性目标连接装置标签框、线性目标关键点，但并不只限于上述列出的目标，在实际应用时，可根据需求对目标进行添加。
[0053]
在本发明实施例中，在得到所述增强训练集之后，还可以对增强训练集中的图像进行基础增强，得到基础增强后训练集并对所述增强训练集进行更新。首先，对所述增强训练集中的图像进行目标图像上下翻转、目标图像左右翻转、目标图像缩放、明暗调整、对比度调整、色调调整以及多图像拼接增强中任一项的基础增强，得到基础增强训练集，然后，将所述基础增强训练集用于更新所述增强训练集。
[0054]
通过基础增强方式，可以实现通过图像翻转、非比例缩放、明暗亮度、多图像拼接，增强少量数据的泛化性。本发明中采用多场景增强方式和基础增强方式对目标布防图像进行增强的顺序并无限制。
[0055]
本发明可选的一种实施例中，所述目标图像上下翻转是通过读取待增强目标布防图像的bgr图像数据，通过对bgr图像数据的第一个数据维度h（height，高度）进行顺序转置，得到图像翻转后的增强图像。
[0056]
本发明可选的一种实施例中，所述目标图像左右翻转是通过读取待增强目标布防图像的bgr图像数据，通过对bgr图像数据的第二个数据维度w（width，宽度）进行顺序转置，得到图像翻转后的增强图像。
[0057]
本发明可选的一种实施例中，所述目标图像缩放是指获取所有目标布防图像中目标的标签框，绘制全部标签框的最小外接矩形，在最小外接矩形内通过随机函数随机得到最小外接矩形的中心点，以该中心点为基准，随机的对目标布防图像进行随机比例的缩放，得到增强图像，上述随机比例为目标布防图像的0-30%。
[0058]
本发明可选的一种实施例中，所述明暗亮度是指通过将获取的目标布防图像从bgr颜色空间转换为hsv颜色空间，采用随机函数获取明暗亮度的变化比例，基于所述变化比例建立映射变化值表，分别将明暗亮度通过所述映射变化值表进行变换，将变换后的明暗亮度融合的hsv颜色空间转换为bgr颜色空间，在将融合的hsv颜色空间转换为bgr颜色空间时，以原bgr图作为掩码进行转换，得到增强图像，其中，上述映射变化值表中的变化值限定在（0，255）范围内，所述明暗亮度可以为色调、对比度、明暗度。
[0059]
本发明可选的一种实施例中，所述多图像拼接是指通过创建一张原图，采用随机函数在原图的创建过程中随机生成一个中心点位置，并以此中心点划分四个区域，从图库中随机选取四张目标布防图像分别对应新图的四个区域，将四张目标布防图像与原图按照象限对应位置进行数值相加，其中，上述原图为大小、像素值全为0的图像；示例性地，以（x，y）为中心点进行区域划分，分别在图中随机获取大小为（x，y）、（w-x，y）、（x，h-y）、（w-x，h-y）大小的图片，分别对应新图的第二、一、三、四象限区域，将四张目标布防图像与原图按照象限对应位置进行数值相加，得到增强图像。
[0060]
本发明可选的一种实施例中，可以通过下述随机增强方式对上述基础增强方式进行选择，具体地，所述随机增强方式通过为每种增强方式设置对应的使用比例参数，通过随机函数随机产生一个0到1之间的数，在所述随机数小于基础增强方式的随机比例参数时，采用该随机比例参数对应的基础增强方式，且上述比例参数为一个0到1之间的数值。由于
基础增强方式较多，在此，本发明仅提供上述基础增强方式的描述，其余不多做赘述。
[0061]
在本发明实施例中，训练时采用可形变卷积代替普通的卷积网络来构建基本的神经网络架构，不采用池化结构，每层神经网络间加入残差连接，通过稠密的残差保证特征信息尽可能的不产生流失。此外，通过网格调参等方法来选择最优的学习率参数，以达到优化训练模型的目的；加入余弦退火等策略对学习率进行动态的调整防止陷入局部最优解；使用coco大规模数据集作为预训练模型缩短训练时间，减少成本，coco数据集是一个可用于图像检测（image detection），语义分割（semantic segmentation）和图像标题生成（image captioning）的大规模数据集；引入focal_loss增加困难样本的损失，从而提高精度，focal_loss是用于图像领域解决数据不平衡造成的模型性能问题损失函数；通过precision（精确率）、recall（召回率）、map（mean average precision）来对算法模型进行精度评估；通过上述操作实现对神经网络模型的优化，得到所述目标检测网络。
[0062]
本发明实施例基于机器学习的数据增强可以增加模型的泛化性，使得到的目标检测网络可以在多场景采取少量目标布防图像就可以进行训练，完成单一场景高精度检测、部分新场景的线性目标检测的泛化性任务。
[0063]
本发明提供一种线性目标检测方法，所述方法包括：获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像；将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述目标检测网络为基于增强训练集进行训练得到的，所述增强训练集按照如下过程获取：获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集。
[0064]
本发明实施例基于机器学习的数据增强可以增加模型的泛化性，使得到的目标检测网络可以在多场景采取少量目标布防图像就可以进行训练，完成单一场景高精度检测、部分新场景的线性目标检测的泛化性任务。
[0065]
基于上述相同的发明构思，本发明实施例提供一种线性目标检测装置，图5示出了本发明一实施例提出的一种线性目标检测装置的架构图，参阅图5，所述装置包括：图像获取模块510，用于获取目标布防图像，所述目标布防图像至少包括第一目标图像和第二目标图像，所述第一目标图像为线性图像；检测模块520，用于将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；输出模块530，用于在所述关键点位于所述检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述检测模块包括：初始训练集获取子模块，用于获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；增强子模块，用于基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到增强训练集。
[0066]
在一种可选的实施方式中，所述初始训练集获取子模块，包括：第一待增强单元，用于获取目标场景的多个目标布防图像，作为多个第一待增强图像，所述第一待增强图像为第一颜色空间的图像；特征均值单元，用于将所述第一待增强图像由所述第一颜色空间转换为第二颜色空间，获取在所述第二颜色空间下，所述多个第一待增强图像的不同通道的均值和方差，作为所述目标场景的特征均值信息；特征均值信息集单元，用于将所有场景下的所述特征均值信息组合为所述特征均值信息集。
[0067]
在一种可选的实施方式中，所述增强子模块，包括：第二颜色空间转换单元，用于将所述每个场景的目标布防图像由所述第一颜色空间转换为所述第二颜色空间，获取在所述第二颜色空间下，所述每个场景的目标布防图像的不同通道的均值和方差；更新通道单元，用于从所述特征均值信息集中获取一个随机的特征均值信息，基于所述每个场景的目标布防图像的不同通道的均值和方差以及所述随机的特征均值信息，获取更新的通道信息；第一增强单元，用于将所述更新的通道信息与所述每个场景的目标布防图像的通道信息进行组合，得到第一待增强图像，所述第一待增强图像为所述第二颜色空间下每个场景的增强图像；获取增强训练集单元，用于将所述第一待增强图像由所述第二颜色空间转换为所述第一颜色空间，得到所述增强训练集。
[0068]
在一种可选的实施方式中，所述第一增强单元，包括：组合子单元，用于将所述第一待增强图像以及所述不同场景的目标布防图像进行组合，得到所述增强训练集。
[0069]
在一种可选的实施方式中，获取所述增强训练集后，所述检测装置还包括：第一数据标注模块，用于对所述增强训练集中的图像进行第一数据标注，生成所述增强训练集中的每张图像对应的标签框，所述标签框用于框选所述每张图像内的第一目标图像和第二目标图像；第二数据标注模块，用于对所述每张图像进行第二数据标注，生成所述第一目标图像对应的关键点标签。
[0070]
在一种可选的实施方式中，获取所述增强训练集后，所述检测装置还包括：基础增强模块，用于对所述增强训练集中的图像进行基础增强，得到基础增强训练集，所述基础增强包括以下至少一项：目标图像上下翻转、目标图像左右翻转、目标图像缩放、明暗调整、对比度调整、色调调整以及多图像拼接增强；更新模块，用于将所述基础增强训练集用于更新所述增强训练集。
[0071]
基于同一发明构思，本发明实施例公开了一种电子设备，图6示出了本发明实施例公开的一种电子设备示意图，如图6所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，以实现本发明实施例公开的一种线性目标检测方法。
[0072]
基于同一发明构思，本发明实施例公开了一种计算机可读存储介质，其上存储有
计算机程序或指令，该计算机程序或指令被处理器执行时实现本发明实施例公开的一种线性目标检测方法。
[0073]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0074]
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0075]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0076]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0077]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0078]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0079]
以上对本发明所提供的一种线性目标检测方法、装置、设备及介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种线性目标检测方法，其特征在于，包括：获取目标布防图像，所述目标布防图像至少包括第一目标图像、第二目标图像，所述第一目标图像为线性图像；将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；在所述关键点位于所述第二目标图像的检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述目标检测网络为基于增强训练集进行训练得到的，所述增强训练集按照如下过程获取：获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集。2.根据权利要求1所述的线性目标检测方法，其特征在于，获取特征均值信息集，包括：获取目标场景的多个目标布防图像，作为多个第一待增强图像，所述第一待增强图像为第一颜色空间的图像；将所述第一待增强图像由所述第一颜色空间转换为第二颜色空间，获取在所述第二颜色空间下，所述多个第一待增强图像的不同通道的均值和方差，作为所述目标场景的特征均值信息；将所有场景下的所述特征均值信息组合为所述特征均值信息集。3.根据权利要求2所述的线性目标检测方法，其特征在于，基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到所述增强训练集，包括：将所述每个场景的目标布防图像由所述第一颜色空间转换为所述第二颜色空间，获取在所述第二颜色空间下，所述每个场景的目标布防图像的不同通道的均值和方差；从所述特征均值信息集中获取一个随机的特征均值信息，基于所述每个场景的目标布防图像的不同通道的均值和方差以及所述随机的特征均值信息，获取更新的通道信息；将所述更新的通道信息与所述每个场景的目标布防图像的通道信息进行组合，得到第一待增强图像，所述第一待增强图像为所述第二颜色空间下每个场景的增强图像；将所述第一待增强图像由所述第二颜色空间转换为所述第一颜色空间，得到所述增强训练集。4.根据权利要求3所述的线性目标检测方法，其特征在于，在得到所述第一待增强图像之后，所述方法还包括：将所述第一待增强图像以及所述不同场景的目标布防图像进行组合，得到所述增强训练集。5.根据权利要求1所述的线性目标检测方法，其特征在于，在得到所述增强训练集之后，所述方法还包括：对所述增强训练集中的图像进行第一数据标注，生成所述增强训练集中的每张图像对应的标签框，所述标签框用于框选所述每张图像内的第一目标图像和第二目标图像；
对所述每张图像进行第二数据标注，生成所述第一目标图像对应的关键点标签。6.根据权利要求1所述的线性目标检测方法，其特征在于，在得到所述增强训练集之后，所述方法还包括：对所述增强训练集中的图像进行基础增强，得到基础增强训练集，所述基础增强包括以下至少一项：目标图像上下翻转、目标图像左右翻转、目标图像缩放、明暗调整、对比度调整、色调调整以及多图像拼接增强；将所述基础增强训练集用于更新所述增强训练集。7.根据权利要求3所述的线性目标检测方法，其特征在于，所述第一颜色空间为bgr颜色空间，所述第二颜色空间为hsv颜色空间，按照如下公式获取所述更新的通道信息：其中，为所述更新的通道信息；分别为在所述第二颜色空间下所述每个场景的目标布防图像未更新的通道信息；分别为所述每个场景的目标布防图像的h通道对应的均值和方差，分别为所述每个场景的目标布防图像的s通道对应的均值和方差，分别为所述每个场景的目标布防图像的v通道对应的均值和方差；别为所述随机的特征均值信息中h通道对应的均值和方差，分别为所述随机的特征均值信息中s通道对应的均值和方差，分别为所述随机的特征均值信息中v通道对应的均值和方差。8.一种线性目标检测装置，其特征在于，包括：图像获取模块，用于获取目标布防图像，所述目标布防图像至少包括第一目标图像和第二目标图像，所述第一目标图像为线性图像；检测模块，用于将所述目标布防图像输入目标检测网络，得到所述第一目标图像对应的关键点以及所述第二目标图像对应的检测框；输出模块，用于在所述关键点位于所述检测框内的情况下，输出检测结果，所述检测结果用于表征所述第一目标图像与所述第二目标图像的连接状态；其中，所述检测模块包括：初始训练集获取子模块，用于获取不同场景的目标布防图像以及特征均值信息集，所述特征均值信息集包括每个场景的目标布防图像对应的特征均值信息；增强子模块，用于基于所述特征均值信息集中的随机的特征均值信息，对所述每个场景的目标布防图像进行多场景增强，得到增强训练集。9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的线性目标检测方法。10.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1-7中任一项所述的线性目标检测方法。

技术总结
本发明提供一种线性目标检测方法、装置、设备及介质，涉及图像处理技术领域，获取目标布防图像并输入目标检测网络，在关键点位于第二目标图像的检测框内的情况下，输出检测结果，该结果用于表征第一目标图像与第二目标图像的连接状态；目标检测网络为基于增强训练集进行训练得到的，获取过程如下：获取不同场景的布防图像以及特征均值信息集；基于随机的特征均值信息，对每个场景的布防图像进行多场景增强，得到增强训练集。本发明提供的线性目标检测方法基于机器学习的数据增强可以增加模型的泛化性，使得到的线性目标检测模型可以在每个站点采取少量数据就可以进行训练，完成单一场景高精度检测、部分新场景的检测泛化性任务。务。务。


技术研发人员：陈友明 陈思竹 翟强 姜超
受保护的技术使用者：四川弘和数智集团有限公司
技术研发日：2023.07.05
技术公布日：2023/8/13