一种复杂场景下的磁翻板读数方法与流程

1.本发明涉及磁翻板技术领域，具体涉及一种复杂场景下的磁翻板读数方法。


背景技术：

2.磁翻板液位计根据浮力原理和磁性耦合作用研制而成，当被测容器中的液位升降时，液位计本体管中的磁性浮子也随之升降，浮子内磁钢通过磁耦合传递到磁翻柱指示器，驱动红、白翻柱翻转180
°
，当液位上升时翻柱由白色转变为红色，当液位下降时翻柱由红色转变为白色，指示器的红白交界处为容器内部液位的实际高度，从而实现液位的指示。
3.现有磁翻板读数的方法主要分为人工现场读数和基于计算机视觉的读数方法，人工现场读数需要耗费大量的人力，且读数准确度不高；基于计算机视觉的读数方法，如公开号为cn115546539a的专利公开了一种基于机器视觉的磁翻板液位读取方法、装置及可读介质，通过获取磁翻板图像，将磁翻板图像输入经训练的磁翻板目标检测模型，得到磁翻板目标子图像；将磁翻板目标子图像输入经训练的关键点检测模型，得到关键点位置信息，其中，关键点检测模型采用改进的hourglass网络结构；将关键点位置信息进行位置分析，得到磁翻板液位读数，解决了现场对液位计进行抄录耗费人力、无法实时全天候监测的问题。
4.上述现有技术有明显的有益效果，但仍存在以下不足：
5.1、未考虑到现场复杂的环境影响，当拍摄的磁翻板图片较暗时，对磁翻板面板和液柱的识别率将大幅降低，无法准确得到磁翻板液位读数。
6.2、磁翻板液位计在磁性耦合的过程中，红、白翻柱可能出现故障无法正常翻转180度，或者磁翻板被物体遮挡，都会导致出现红色翻柱断层不连续的情形，现有方法无法识别异常情况下磁翻板的读数。


技术实现要素：

7.本发明旨在至少解决现有技术中存在的问题，提供一种复杂场景下的磁翻板读数方法。
8.为实现上述目的，本发明的第一个方面，本发明提供了一种复杂场景下的磁翻板读数方法，包括以下步骤：
9.s1，获取磁翻板原始图像，将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；
10.s2，对磁翻板子图像进行图像增强，得到磁翻板增强图像；
11.s3，将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；
12.s4，分析磁翻板分割结果，得到磁翻板读数比例值。
13.进一步地，磁翻板目标检测模型训练过程包括：筛选磁翻板图像并进行标注，得到目标检测数据集；使用磁翻板目标检测数据集对目标检测网络进行训练，得到磁翻板目标检测模型，所述目标检测网络为yolo网络或ssd网络。
14.进一步地，步骤s2还包括：s201，将磁翻板子图像从rgb颜色空间变换到hsv颜色空间，提取磁翻板子图像的初始亮度分量v；
15.s202，优化得到场景光照图t，将场景光照图t的优化问题定义为：
[0016][0017]
其中，||*||2和||*||1分别代表l2范数和l1范数，为一阶导数算子，包含水平方向梯度和垂直方向梯度λ是控制参数，为hadamard积，m为梯度权重矩阵，定义为：
[0018][0019]
其中，|*|是绝对值运算符，ω(x)以像素x为中心的局部窗口，ε是一个避免分母为零的常数，h为水平方向，ν为垂直方向。
[0020]
s203，计算权重矩阵w＝t
μ
，其中，μ是控制增强强度的参数；
[0021]
s204，使用hsv空间的初始亮度分量v作为低曝光像素的判断依据，得到低曝光像素部分的亮度分量b＝{v(x)《0.5}，其中，x为初始亮度分量v的像素；
[0022]
s205，确定最佳曝光率k，通过以下公式：其中，为求解得到的最佳曝光率；argmaxk表示求使得后面式子最大的k的值；h(*)表示求图像熵；g为相机模型；b为步骤s204提取得到的亮度分量；k为曝光率；
[0023]
s206，计算高曝光图片，使用以下相机响应模型：
[0024]
其中，pi为高曝光图片，p为输入的磁翻板子图像，ki为曝光率，a和b为相机参数；
[0025]
s207，将磁翻板子图像和高曝光图片进行图像融合，得到磁翻板增强图像r：
[0026]
rc＝w
·
pc+(1-w)
·
g(pc,ki)，其中，w为步骤s203得到的权重矩阵，c是rgb颜色通道。
[0027]
进一步地，所述磁翻板分割模型训练过程包括：
[0028]
将目标检测数据集输入磁翻板目标检测模型中，得到磁翻板子图像，并进行筛选，对筛选后的磁翻板子图像的面板位置和液柱高度位置进行标注，得到磁翻板分割数据集；
[0029]
使用磁翻板分割数据集对分割网络进行训练，得到磁翻板分割模型，所述分割网络为maskrcnn网络、fcn网络或者solo网络。
[0030]
进一步地，分析磁翻板分割结果，包括：
[0031]
根据磁翻板面板分割集合a和液柱分割集合b中的mask求最小矩形框，得到包含最小矩形框左上角坐标(x1,y1)和右下角坐标(x2，y2)的集合a’和集合b’；
[0032]
按照每个矩形框的左上角y轴坐标值y1从小到大对集合a’和集合b’排序，排序后的集合为：
[0033]
[0034][0035]
根据集合a’和b的长度确定液柱起始位置l1和液柱终止位置l2、磁翻板面板起始位置l3和面板终止位置l4：
[0036]
集合b’的长度等于1时，判定液柱正常，
[0037]
集合b’的长度不等于1时，判定液柱异常，
[0038]
集合a’的长度等于1时，判定面板正常，
[0039]
集合a’的长度不等于1时，判定面板异常，
[0040]
计算磁翻板读数比例值d，公式表达为：
[0041][0042]
进一步地，还包括进行磁翻板面板和液柱同底计算，计算后的底边为：
[0043][0044]
磁翻板读数比例值
[0045]
为实现本发明的上述目的，本发明的第二个方面，提供一种复杂场景下的磁翻板读数装置，包括：图像获取模块，用于获取磁翻板原始图像；目标检测模块，用于将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；图像增强模块，用于将磁翻板子图像进行图像增强，得到磁翻板增强图像；图像分割模块，用于将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；图像分析模块，用于分析磁翻板分割结果，得到磁翻板读数比例值。
[0046]
为实现本发明的上述目的，本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序由处理器加载并执行以实现第一方面所述的复杂场景下的磁翻板读数方法。
[0047]
本发明的技术原理及有益效果：
[0048]
1)通过对亮度较低的图像进行图像增强，将低亮度的磁翻板图像转化为清晰的图像，提高了磁翻板的图像质量，进而提高磁翻板面板区域和液柱区域的识别率，以准确得到磁翻板液位读数。
[0049]
2)通过对磁翻板图像进行分割，获取多段磁翻板面板位置和液柱位置，并对分割结果进行分析，可实现对异常情况的磁翻板的读数，具备更好的环境适应能力。
附图说明
[0050]
图1为本发明实施例提供的复杂场景下的磁翻板读数方法的实现流程示意图；
[0051]
图2为本发明实施例提供的图像增强的效果示意图；
[0052]
图3为本发明实施例提供的磁翻板面板和液柱分割示意图。
具体实施方式
[0053]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进步地详细描述，显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
[0054]
如图1所示，本发明公开了一种复杂场景下的磁翻板读数方法，包括以下步骤：
[0055]
s1，获取磁翻板原始图像，将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；现场巡检机器人在巡检过程中，由机器人云台拍摄磁翻板原始图像，原始图像输入经训练的磁翻板目标检测模型，对磁翻板检测定位，得到只有磁翻板区域的磁翻板子图像。
[0056]
在具体的实施例中，磁翻板目标检测模型训练过程包括：筛选磁翻板图像并进行标注，得到目标检测数据集；使用磁翻板目标检测数据集对目标检测网络进行训练，得到磁翻板目标检测模型。调用机器人采集的不同原始图像数据，尽可能保证图像的多样性，包括不同光线、不同拍摄角度、不同拍摄距离等条件下采集的原始图像，标注磁翻板位置，得到目标检测数据集；目标检测网络采用yolo网络或者ssd网络进行磁翻板的目标检测，搭建磁翻板目标检测模型，并使用目标检测数据集训练磁翻板目标检测模型。
[0057]
s2，对磁翻板子图像进行图像增强，得到磁翻板增强图像；巡检机器人进行定点巡检任务，图像模糊的可能性不大，但是现场环境复杂，尤其受环境光线影响，导致拍摄的原始图像照度低或者光线不均匀，得到的磁翻板子图像为低照度图像或者光线不均匀图像，识别读数较为困难，需要对磁翻板子图像进行图像增强，优选采用曝光融合的方式进行，得到磁翻板增强图像，附图2为图像增强的效果图，2(a)为原始磁翻板图像，2(b)为磁翻板增强图像。
[0058]
在具体的实施例中，图像增强包括以下步骤：
[0059]
步骤s201，将磁翻板子图像从rgb颜色空间变换到hsv颜色空间，提取磁翻板子图像的初始亮度分量v，磁翻板子图像优选为低照度图像或光照不均匀图像。
[0060]
步骤s202，优化得到场景光照图t，将优化问题定义为：
[0061][0062]
通过上式修正场景光照图t与初始亮度分量v之间的误差，其中，||*||2和||*||1分别代表l2范数和l1范数，为一阶导数算子，包含水平方向梯度和垂直方向梯度λ是控制参数，为hadamard积，m为梯度权重矩阵，定义为：
[0063][0064]
其中，|*|是绝对值运算符，ω(x)表示以像素x为中心的局部窗口，ε是一个避免分母为零的常数，h为水平方向，ν为垂直方向。ε足够小，只要能使分母不为零即可，本实施例中ε＝0.0001。
[0065]
步骤s203，计算权重矩阵w＝t
μ
，其中，μ是控制增强强度的参数，μ≥0.5。上式表示
一幅图像中不同像素点的曝光情况，权重矩阵中某点的权值数值越大，表明该点越接近正常曝光。
[0066]
步骤s204，使用hsv空间的初始亮度分量v作为低曝光像素的判断依据，得到低曝光像素部分的亮度分量b＝{v(x)《0.5}，其中，x为初始亮度分量v的像素。
[0067]
由于曝光主要和亮度有关，rgb颜色空间的三个分量都与亮度密切相关，通常使用三个通道的几何平均值作为亮度分量，涉及到三个变量计算较为复杂，而hsv颜色空间中，亮度只与v分量有关，本方法直接通过hsv颜色空间的初始亮度分量v作为低曝光像素的判断依据，将亮度值小于0.5定义为低曝光，提取方便，提取结果比rgb颜色空间更可靠。
[0068]
步骤s205，确定最佳曝光率k，通过以下公式：
[0069][0070]
其中，为求解得到的最佳曝光率，argmaxk表示求使得后面式子最大的k的值，h(*)表示求图像熵，g为相机模型，b为步骤s204提取得到的亮度分量，k为曝光率；
[0071]
步骤s206，计算高曝光图片，使用以下相机响应模型：
[0072][0073]
其中，pi为高曝光图片，p为输入的磁翻板子图像，ki为生成图像pi和图像p之间的曝光率，a和b为相机参数。具体设置为a＝-0.3293，b＝1.1258，ki取值为最佳曝光率实现对暗的区域进行高曝光，生成高曝光图片，不影响正常曝光区域。
[0074]
步骤s207，将原始磁翻板子图像和高曝光图片进行图像融合，得到磁翻板增强图像r：
[0075]
rc＝w
·
pc+(1-w)
·
g(pc,ki)，其中，w为步骤s203得到的权重矩阵，c是rgb颜色通道。将磁翻板子图像变换到rgb颜色空间，与磁翻板增强图像进行图像融合，得到最终的磁翻板增强图像，通过对过暗图像进行增强，使图像信息得以恢复，提高磁翻板面板及液柱的识别率。
[0076]
s3，将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；现场环境复杂，磁翻板表盘可能出现被遮挡的情况，或者红白翻柱未能正常翻转180度，均会造成红色翻柱出现断层不连续的情况，通过识别磁翻板面板位置和液柱位置，采用深度学习方法分割磁翻板面板区域和液柱区域，获得多段结果。
[0077]
在具体的实施例中，磁翻板分割模型训练过程包括：将目标检测数据集输入磁翻板目标检测模型中，得到磁翻板子图像，并进行筛选，剔除无法辨认的图像数据，对筛选后的磁翻板子图像的面板位置和液柱高度位置进行标注，得到磁翻板分割数据集；使用磁翻板分割数据集对分割网络进行训练，得到磁翻板分割模型，所述分割网络为maskrcnn网络、fcn网络或者solo网络。将磁翻板增强图像输入磁翻板分割模型中，得到磁翻板内容的分割结果，采用置信度筛选分割结果并进行分类，得到磁翻板面板分割集合a＝{a1,a2,
…
,an}，液柱分割集合b＝{b1,b2,
…
,bm}，分割为集合是因为磁翻板可能存在被遮挡或者红色翻柱不连续的情况，导致磁翻板被分成几段，从而获得多段结果。
[0078]
s4，分析磁翻板分割结果，得到磁翻板读数比例值。对获得的多段结果分析得到真实的磁翻板面板高度和液柱高度，进而得到准确的磁翻板读数比例值。
[0079]
在具体的实施例中，如附图3所示，根据磁翻板面板分割集合a和液柱分割集合b中
的mask求最小矩形框，得到包含最小矩形框左上角坐标(x1，y1)和右下角坐标(x2，y2)的集合a’和集合b’；
[0080]
按照每个矩形框的左上角y轴坐标值y1从小到大的顺序对集合a’和集合b’排序，排序后的集合为：
[0081][0082][0082]
得到面板分割结果y1值最小的矩形框a'
min
，y1值最大的矩形框a'
max
，如果a'的长度为1，则a'
min
＝a'
max
；得到液柱分割结果y1值最小的矩形框b'
min
和y值最大的矩形框b'
max
，如果b'的长度为1，则b'
min
＝b'
max
。
[0083]
根据集合a’和b’的长度确定液柱起始位置l1和液柱终止位置l2、磁翻板面板起始位置l3和面板终止位置l4：
[0084]
集合b’的长度等于1时，判定液柱正常，
[0085]
集合b’的长度不等于1时，判定液柱异常，
[0086]
集合a’的长度等于1时，判定面板正常，
[0087]
集合a’的长度不等于1时，判定面板异常，
[0088]
计算磁翻板读数比例值d，公式表达为：
[0089][0090]
进一步优选地，为了减小起始位置(底边)的误差，进行磁翻板面板和液柱的同底计算，计算后的底边为磁翻板读数比例值磁翻板读数比例值
[0091]
通过上述技术方案，在磁翻板被遮挡面板区域和液柱区域分割为多段，通过分析准确确定磁翻板面板和液柱的起始位置及终止位置，通过简单计算得出磁翻板读数比例值，
[0092]
本发明还公开了一种复杂场景下的磁翻板读数装置，包括：图像获取模块，用于获取磁翻板原始图像；目标检测模块，用于将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；图像增强模块，用于将磁翻板子图像进行图像增强，得到磁翻板增强图像；图像分割模块，用于将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；图像图像分析模块，分析磁翻板分割结果，得到磁翻板读数比例值。
[0093]
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序由处理器加载并执行以实现以上所述的复杂场景下的磁翻板读数方法。

技术特征：
1.一种复杂场景下的磁翻板读数方法，其特征在于，包括以下步骤：s1，获取磁翻板原始图像，将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；s2，对磁翻板子图像进行图像增强，得到磁翻板增强图像；s3，将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；s4，分析磁翻板分割结果，得到磁翻板读数比例值。2.如权利要求1所述的复杂场景下的磁翻板读数方法，其特征在于，所述磁翻板目标检测模型训练过程包括：筛选磁翻板图像并进行标注，得到目标检测数据集；使用磁翻板目标检测数据集对目标检测网络进行训练，得到磁翻板目标检测模型，所述目标检测网络为yolo网络或ssd网络。3.如权利要求2所述的复杂场景下的磁翻板读数方法，其特征在于，图像增强采用曝光融合的方式，包括：s201，将磁翻板子图像从rgb颜色空间变换到hsv颜色空间，提取磁翻板子图像的初始亮度分量v；s202，优化得到场景光照图t，将场景光照图t的优化问题定义为：其中，||*||2和||*||1分别代表l2范数和l1范数，为一阶导数算子，包含水平方向梯度和垂直方向梯度λ是控制参数，
°
为hadamard积，m为梯度权重矩阵，定义为：其中，|*|是绝对值运算符，ω(x)表示以像素x为中心的局部窗口，ε是一个避免分母为零的常数，h为水平方向，ν为垂直方向。s203，计算权重矩阵w＝t
μ
，其中，μ是控制增强强度的参数；s204，使用hsv空间的初始亮度分量v作为低曝光像素的判断依据，得到低曝光像素部分的亮度分量其中，x为初始亮度分量v的像素；s205，确定最佳曝光率k，通过以下公式：其中，为求解得到的最佳曝光率；argmax
k
表示求使得后面式子最大的k的值；h(*)表示求图像熵；g为相机模型；b为步骤s204提取得到的亮度分量；k为曝光率；s206，计算高曝光图片，使用以下相机响应模型：其中，pi为高曝光图片，p为输入的磁翻板子图像，k
i
为曝光率，a和b为相机响应参数；s207，将磁翻板子图像和高曝光图片进行图像融合，得到磁翻板增强图像r：r
c
＝w
·
p
c
+(1-w)
·
g(p
c
,k
i
)，其中，w为步骤s203得到的权重矩阵，c是rgb颜色通道。
4.如权利要求2或3所述的复杂场景下的磁翻板读数方法，其特征在于，所述磁翻板分割模型训练过程包括：将目标检测数据集输入磁翻板目标检测模型中，得到磁翻板子图像，并进行筛选，对筛选后的磁翻板子图像的面板位置和液柱高度位置进行标注，得到磁翻板分割数据集；使用磁翻板分割数据集对分割网络进行训练，得到磁翻板分割模型，所述分割网络为maskrcnn网络、fcn网络或者solo网络。5.如权利要求1所述的复杂场景下的磁翻板读数方法，其特征在于，分析磁翻板分割结果，包括：根据磁翻板面板分割集合a和液柱分割集合b中的mask求最小矩形框，得到包含最小矩形框左上角坐标(x1，y1)和右下角坐标(x2，y2)的集合a’和集合b’；按照每个矩形框的左上角y轴坐标值y1从小到大对集合a’和集合b’排序，排序后的集合为：为：根据集合a’和b’的长度确定液柱起始位置l1和液柱终止位置l2、磁翻板面板起始位置l3和面板终止位置l4：集合b’的长度等于1时，判定液柱正常，集合b’的长度不等于1时，判定液柱异常，集合a’的长度等于1时，判定面板正常，集合a’的长度不等于1时，判定面板异常，计算磁翻板读数比例值d，公式表达为：6.如权利要求5所述的复杂场景下的磁翻板读数方法，其特征在于，还包括进行磁翻板面板和液柱同底计算，计算后的底边为：磁翻板读数比例值7.一种复杂场景下的磁翻板读数装置，其特征在于，包括：图像获取模块，用于获取磁翻板原始图像；目标检测模块，用于将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻
板子图像；图像增强模块，用于将磁翻板子图像进行图像增强，得到磁翻板增强图像；图像分割模块，将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；图像分析模块，用于分析磁翻板分割结果，得到磁翻板读数比例值。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序由处理器加载并执行以实现如权利要求1至6中任一项所述的复杂场景下的磁翻板读数方法。

技术总结
本发明涉及磁翻板技术领域，提供了一种复杂场景下的磁翻板读数方法，包括：获取磁翻板原始图像，将磁翻板原始图像输入经训练的磁翻板目标检测模型，得到磁翻板子图像；对磁翻板子图像进行图像增强，得到磁翻板增强图像；将磁翻板增强图像输入经训练的磁翻板分割模型，得到磁翻板面板分割集合a和磁翻板液柱分割集合b；分析磁翻板分割结果，得到磁翻板读数比例值。本发明通过通过对亮度较低的图像进行图像增强，将低亮度的磁翻板图像转化为清晰的图像，提高了磁翻板的图像质量，进而提高磁翻板面板区域和液柱区域的识别率，以准确得到磁翻板液位读数；通过对磁翻板面板位置和液柱位置进行分析，可实现异常情况下的磁翻板读数。可实现异常情况下的磁翻板读数。可实现异常情况下的磁翻板读数。


技术研发人员：朱冬 陈吉 卢飞 唐国梅 胡江 李欣
受保护的技术使用者：七腾机器人有限公司
技术研发日：2023.03.31
技术公布日：2023/8/9