一种基于语义分割的仪表读数方法及系统与流程

1.本技术涉及计算机处理领域，尤其涉及一种基于语义分割的仪表读数方法及系统。


背景技术：

2.压力表是测量并指示高于环境压力的仪表，几乎遍及所有的工业流程和科研领域。在热力管网、油气传输、供水供气系统、车辆维修保养厂店等领域随处可见。在工业企业中，压力表需要按照国标进行周期性检测，利用特制台架利用特殊检测台架对压力表按照检测国标规定的规则进行加压，然后对目标被测压力表显示的各个的压力值进行读取，并与标准压力传感器的真值进行人工比较。
3.人工目视判读进行准确度检测时，当压力表稳定读数与真值误差在国标规定范围内时，则认为压力表为合格，可以继续使用。反之认为压力表已经损坏，将被合格的同规格压力表替代，损坏的压力表会进行报废处理。在检测过程中，待检测仪表设备数量众多，检验人员劳动强度较大，工作枯燥，极易由于疲劳引起检测判读失误的问题。


技术实现要素：

4.本技术提供一种基于语义分割的仪表读数方法及系统，以解决人工目视判读引起检测失误的问题。
5.第一方面，本技术提供一种基于语义分割的仪表读数方法，所述方法包括：
6.获取待识别仪表的仪表图像；
7.对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型，所述仪表类型包括机械式仪表或数字式仪表；
8.去除所述仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；
9.如果所述待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对所述第一图像进行表盘提取以及文字识别，以确定所述待识别仪表的读数；
10.如果所述待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数。
11.可选的，使用语义分割模型对所述第一图像进行表盘提取以及文字识别的步骤包括：
12.提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像，所述第二图像为包括指针目标的图像；
13.获取所述第二图像中的指针角度；
14.提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像，所述第三图像为包括刻度线目标的图像；
15.对所述第三图像中的刻度线角度与所述指针角度进行匹配；
16.提取第一图像中属于测量单位以及测量精度样本类型的图像区域，以生成测量单
位以及测量精度的文本信息；
17.根据所述指针角度、所述刻度线角度、所述测量单位以及测量精度的文本信息确定所述待识别仪表的读数。
18.可选的，提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像的步骤包括：
19.通过所述第二图像，确定指针拟合直线的坐标信息；
20.将所述坐标信息与表盘样本类型中的圆心结合，以确定指针指向；
21.根据所述指针指向以及所述坐标信息，计算出指针角度。
22.可选的，提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像的步骤包括：
23.将所述第三图像进行直线检测，以筛选出刻度线轮廓信息；
24.根据所述刻度线轮廓信息，以计算出刻度线角度。
25.可选的，根据所述指针角度、所述刻度线目标、所述测量单位以及测量精度的文本信息确定所述待识别仪表的读数的步骤包括：
26.按照下式计算每一刻度线角度对应的所述待识别仪表的读数：
[0027][0028]
其中，b
ij
为以第i根刻度线为起点，第j根刻度线为终点得到的仪表示数，ai为第i根刻度线对应数字，aj为第j根刻度线对应数字，αi为第i根刻度线对应角度，αj为第j根刻度线对应角度，λ为指针角度；
[0029]
按照下式计算准确的仪表读数：
[0030][0031]
其中，b为最终读数，n为刻度线的数量,b
11
以及b
nn
为对应刻度线角度对应的仪表读数。
[0032]
可选的，如果所述待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数的步骤包括：
[0033]
提取所述第一图像中属于文本样本类型的图像，得到读数、测量单位以及测量精度的文本信息；
[0034]
以确定所述待识别仪表的读数。
[0035]
可选的，利用光学特征文字识别ocr的方式对所述第一图像进行文字识别以及提取第一图像中属于测量单位以及测量精度样本类型的图像进行识别，得到读数、测量单位以及测量精度的文本信息。
[0036]
可选的，对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型的步骤之前包括：
[0037]
根据仪表图像，生成仪表样本；
[0038]
根据所述仪表样本，对所述仪表图像的表盘、指针、刻度线、单位、读数进行标注，以生成样本类型；
[0039]
根据所述样本类型，生成带有标注的样本集；
[0040]
利用所述样本集对语义分割模型执行模型训练。
[0041]
第二方面，本技术提供一种基于语义分割的仪表读数系统，所述系统包括样本收集模块、语义分割模块、图像裁剪模块、表盘提取模块以及文本提取模块，其中：
[0042]
所述样本收集模块用于获取待识别仪表的仪表图像；对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型，所述仪表类型包括机械式仪表或数字式仪表；
[0043]
所述图像裁剪模块用于去除所述仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；
[0044]
所述语义分割模块用于在所述待识别仪表的仪表类型为机械式仪表时，使用语义分割模型对所述第一图像进行表盘提取以及文字识别，以确定所述待识别仪表的读数；
[0045]
所述语义分割模块用于在所述待识别仪表为的仪表类型数字式仪表时，使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数；
[0046]
所述表盘提取模块用于提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像；提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像；
[0047]
所述文本提取模块用于提取第一图像中属于读数、测量单位以及测量精度样本类型的图像区域，以生成测量单位以及测量精度的文本信息。
[0048]
本技术提供一种基于语义分割的仪表读数方法及系统，所述方法包括：获取待识别仪表的仪表图像；对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型，所述仪表类型包括机械式仪表或数字式仪表；去除所述仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；如果所述待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对所述第一图像进行表盘提取以及文字识别，以确定所述待识别仪表的读数；如果所述待识别仪表为的仪表类型数字式仪表，则使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数。所述方法可以使用语义分割模型提取仪表图像中的读数，以解决人工目视判读引起检测失误的问题，以及，使仪表读数更加精确。
附图说明
[0049]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为基于语义分割的仪表读数方法的流程图；
[0051]
图2为机械式仪表处理流程示意图；
[0052]
图3为基于语义分割的仪表读数系统的结构示意图；
[0053]
图4为第一图像表盘的二值图；
[0054]
图5为含有指针的二值图；
[0055]
图6为含有刻度线的二值图。
具体实施方式
[0056]
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施
方式并不代表与本技术相一致的所有实施方式。仅是与权利要求书中所详述的、本技术的一些方面相一致的系统和方法的示例。
[0057]
在工业领域，设备安全稳定的运行是保证工业园区安全的关键因素。为了保证设备安全稳定的运行，需要及时全面的巡检厂区设备，确保厂区设备在安全状态运行。工业设备通常都配置有专用的仪表(包括但不限于：压力表、温度计、耐震压力表)。可以通过监测工业仪表的读数确定设备的运行是否正常。
[0058]
在一些实施例中，对于待识别仪表表盘中信息的提取可以将图像直接二值化处理，再识别二值化图像中的文本信息。这种提取方法容易受到背景因素的影响，且对于光照因素非常敏感，除此之外，对于拍摄照片的硬件设备摄像头的要求较高，如果拍摄的照片比较模糊，将损失指针仪表的刻度信息，影响读数的精度。
[0059]
而除了直接进行图像二值化处理之外，还有通过使用模板匹配融合指针旋转的方法，来检测待识别仪表指针的读数，该种方法同样受仪表的背景因素影响，影响读数的精度。
[0060]
为解决上述问题，参见图1，图1为基于语义分割的仪表读数方法的流程图，本技术实施例部分提供一种基于语义分割的仪表读数方法，包括：
[0061]
s104：获取待识别仪表的仪表图像；
[0062]
s105：对待识别仪表图像进行类型识别，以确定待识别仪表的仪表类型，仪表类型包括机械式仪表或数字式仪表；
[0063]
待识别仪表图像的类型可通过图像分类器自动识别，并根据识别结果将待识别仪表图像传输至对应的模块，以对待识别图像进行下一步处理。也就是说，使用的图像分类器需要具有对图像标记、归一化处理、归类处理以及推理能力；此外，还可以利用图像分类器中预设的测量单位信息确定待识别仪表图像的量程以及单位，以使提取过程更加精准。
[0064]
s201：去除仪表图像中待识别仪表目标以外的背景画面，以得到第一图像，可参见图4，图4为第一图像表盘的二值图，即去除掉背景画面的二值图；
[0065]
参见图1，可以理解的是，无论待识别仪表的仪表类型为机械式仪表还是数字式仪表，对待识别仪表的仪表图像均进行去除仪表图像中待识别仪表目标以外的背景画面，也就是说图1中s201与s301为对待处理仪表图像相同处理方式。
[0066]
在一些实施例中，由于大部分机械式仪表为圆形，在去除背景画面后，可将机械式仪表的第一图像裁剪为圆形，也可以根据图像分类器将第一图像分类，将圆形的待识别仪表标记，标记后将第一图像裁剪为圆形，这样，可裁剪掉大部分背景，以减少背景对指针、刻度线以及文本信息的干扰。对于数字式仪表，直接通过图像分类器分类后再进行裁剪，或者，不进行裁剪处理。
[0067]
关于去除仪表图像中待识别仪表目标以外的背景画面，如果待识别仪表的仪表类型为机械式仪表，可以仅对指针部分通过预设图像模板进行裁剪，对仪表图像中的文本信息不进行裁剪直接识别；同样的，如果待识别仪表的仪表类型为数字式仪表，也可以对文本信息不进行裁剪直接识别；可以理解的是，无论仪表类型是机械式仪表还是数字式仪表，都可以去除背景画面，得到表盘、指针、刻度线以及文本信息的分别单独的图像，也就是说，背景画面可以分为包括表盘图像、指针图像、刻度线图像以及文本信息图像的五类图像。
[0068]
其中，预设图像模板可以设置在语义分割模型中，预设图像模板可将待识别仪表
图像中的指针以及刻度线部分完整的保留，而文本信息以及其他背景进行去除，通过设置预设图像模板可便于对待识别图像的进一步提取。
[0069]
s202：如果待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对第一图像进行表盘提取以及文字识别；
[0070]
其中，s2022～s2028为表盘提取过程，s2029～s2030为文字识别过程。
[0071]
在一些实施例中，s202的步骤具体包括：
[0072]
参见图2，图2为机械式仪表处理流程示意图，s2021：提取第一图像中属于指针样本类型的图像区域，以生成第二图像，第二图像为包括指针目标的图像；
[0073]
在一些实施例中，参见图5，图5为含有指针的二值图，计算指针角度具体还包括：
[0074]
s2022：提取第一图像中属于指针样本类型的图像区域，以生成第二图像的步骤包括：
[0075]
s2023：通过第二图像，确定指针拟合直线的坐标信息；
[0076]
可根据指针拟合直线的第一方向以及第二方向确定坐标信息，第一方向与第二方向垂直，为便于说明，参见图5中，x方向表示本技术第一方向，y方向表示本技术第二方向，其中，第一方向第二方向是为了便于理解而给出的定义，不是对方向具体限定。
[0077]
参见图5，例如：指针在x方向上的坐标为x，指针在y方向上的坐标为y，则此时指针拟合直线的坐标为(x，y)。
[0078]
s2024：将坐标信息与表盘样本类型中的圆心结合，以确定指针指向；根据指针指向以及坐标信息，计算出指针角度。
[0079]
可以理解的是，也可通过指针二值图的形状轮廓确定圆心位置，返回指针拟合直线的坐标信息，从而解决指针宽窄不一的问题，再将此圆心以及上述得出的指针的坐标信息与表盘样本类型中的圆心结合，确定指针指向，从而计算出指针角度。
[0080]
在一些实施例中，也可以通过在表盘样本类型中加入指针角度的预设，根据指针指向以及坐标信息计算出指针角度后，将预设角度与实际角度对应，得出第一预设角度，将第一预设角度与计算出的指针角度进行对比；也可以先将预设角度与实际角度对应，得出第一预设角度，再根据指针指向以及坐标信息计算出指针角度，对比第一预设角度与计算出的指针角度，两者的目的均为了使指针角度更加准确。
[0081]
s2025：提取第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像，第三图像为包括刻度线目标的图像；
[0082]
为获得更加清晰的刻度线目标，参见图6，图6为含有刻度线的二值图，在一些实施例中；
[0083]
s2026：将第三图像进行直线检测，以筛选出刻度线轮廓信息；
[0084]
s2027：根据刻度线轮廓信息，以计算出刻度线角度；
[0085]
s2028：对第三图像中的刻度线角度与指针角度进行匹配；
[0086]
在一些实施例中，为使刻度线轮廓更加准确，在对第三图像进行直线检测之前，还可以对刻度线的二值图进行旋转，以将带有刻度线的二值图与预设的刻度线基准图对应，也就是使二值图的0刻度位置点与预设的刻度线基准图的0刻度位置点重合，从而使刻度线的角度更加准确。除此之外，在一些实施例中，由于仪表图像的拍摄角度，使刻度线的角度不处于平面，所以对刻度线的二值图旋转后也无法与预设的刻度线基准图相对应，此时，将
刻度线的二值图进行三维矫正，在三维对二值图进行旋转或倾斜，使矫正后的二值图可以与预设的刻度线基准图对应，从而使读取的刻度线角度更加精准。
[0087]
s2029：提取第一图像中属于测量单位以及测量精度样本类型的图像区域，以生成测量单位以及测量精度的文本信息；
[0088]
s2030：根据指针角度、刻度线角度、测量单位以及测量精度的文本信息确定待识别仪表的读数；
[0089]
在一些实施例中，s2030根据指针角度、刻度线目标、测量单位以及测量精度的文本信息确定待识别仪表的读数的步骤包括：
[0090]
按照下式计算每一刻度线角度对应的待识别仪表的读数：
[0091][0092]
其中，b
ij
为以第i根刻度线为起点，第j根刻度线为终点得到的仪表示数，ai为第i根刻度线对应数字，aj为第j根刻度线对应数字，αi为第i根刻度线对应角度，αj为第j根刻度线对应角度，λ为指针角度；
[0093]
按照下式计算准确的仪表读数：
[0094][0095]
其中，b为最终读数，n为刻度线的数量,b
11
以及b
nn
为对应刻度线角度对应的仪表读数。
[0096]
最后，s203：以确定待识别仪表的读数，即准确的仪表读数即为最终读数。
[0097]
s302：如果待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对第一图像进行文字识别；在一些实施例中，在s302的步骤具体包括：s3021：提取第一图像中属于文本样本类型的图像，得到读数、测量单位以及测量精度的文本信息；s303：以确定待识别仪表的读数。
[0098]
在一些实施例中，对待识别仪表图像进行类型识别，以确定待识别仪表的仪表类型的步骤s104之前包括：
[0099]
s100：根据仪表图像，生成仪表样本；其中，仪表图像可以为摄像头实时采集，实时采集的仪表图像可以生成实时仪表样本，进一步，将原有的样本集进行替换，丰富样本集的多样性，但当实时采集的仪表图像较为模糊或者其他原因无法使用时，可再次采集，直至仪表图像可以正常使用；但由于有些位置无法放置摄像头，也可以选择统一录入仪表图像，即规定时间内的检测，较比实时采集仪表图像，统一录入可以减少样本集的更替，从而达到缩短时间的效果。
[0100]
s101：根据仪表样本，对仪表图像的表盘、指针、刻度线、单位、读数进行标注，以生成样本类型；可以理解的是，根据不同的仪表样本，对仪表图像的标注是不同的，原始样本集中储存有不同的关于仪表样本的标注，但，若遇到原始样本集中未储存的标注，可通过样本收集模块提示巡检人员，巡检人员将其标注后，样本集将对语义分割模型重新执行模型训练，以保持最新的样本集使用。另外，除对仪表图像的表盘、指针、刻度线、单位、读数进行标注外，还可以对背景进行标注，此时，标注分为六种，即表盘标注、指针标注、刻度线标注、单位标注以及背景标注，通过对六种标注图像进行分析处理，从而将其进一步标注，也是为
了使提取过程更加准确。
[0101]
s102：根据样本类型，生成带有标注的样本集；s103：利用样本集对语义分割模型执行模型训练。可以理解的是，此时的样本集至少带有五种标注，五种标注通过录入的仪表图像实时更新，可使样本集更加丰富，通过大量的更新迭代后，可满足大部分仪表使用。
[0102]
在一些实施例中，利用光学特征文字识别ocr的方式对第一图像进行文字识别以及提取第一图像中属于测量单位以及测量精度样本类型的图像进行识别，得到读数、测量单位以及测量精度的文本信息。
[0103]
为使ocr识别的文本信息更加清晰以及迅速反应，在一些实施例中，还可以对ocr进行深度学习，深度学习图像文字识别ocr具体包括：输入第一图像、深度学习文本信息检测、预处理、特征(第一图像中属于读数、测量单位以及测量精度样本类型特征)提取、深度学习识别器、深度学习后处理。其中，预处理可以包括对第一图像进行裁剪、分割、提高第一图像分辨率以及单字符识别，对第一图像裁剪以及分割是通过将第一图像中带有文本信息的区域进行裁剪，从而使特征提取过程用时更短，还可以通过提高第一图像分辨率以及单字符识别使文本信息更加清晰，准确，可以理解的是，预处理过程可以为一项处理过程，也可以为多项处理过程，即组合处理；
[0104]
例如：首先对第一图像进行裁剪，将带有文本信息的区域裁剪，再次通过提高此区域的分辨率，最后进行单字符识别，通过对第一图像组合处理使特征提取过程快捷，并且，增加准确率。
[0105]
为更清晰的确定待识别仪表的文本信息，在一些实施例中，也可以提取含有文本信息的二值图，将二值图中的文本信息与ocr识别的文本信息对比，以使识别结果更加准确。当二值图中的文本信息与ocr识别的文本信息无法对应，系统中的文本提取模块发出警告，警告内容可为：“文本信息需要重新确认，请指示”；巡检人员即可通过警告来判断是否需要重新进行文本识别或自行识别，从而，提供准确的文本信息，减少误判的概率。
[0106]
在一些实施例中，对提取指针、刻度线以及文本信息后的二值图进行形态学腐蚀处理，目的是可以去除物体之间的粘连，消除图像中的小颗粒噪声，从而来提取更加清晰的指针、刻度线以及文本信息的二值图。
[0107]
与前述一种基于语义分割的仪表读数方法的实施例相对应，本技术还提供了一种基于语义分割的仪表读数系统的实施例，参见图3，该系统包括样本收集模块、语义分割模块、图像裁剪模块、表盘提取模块以及文本提取模块，其中：
[0108]
样本收集模块用于获取待识别仪表的仪表图像；对待识别仪表图像进行类型识别，以确定待识别仪表的仪表类型，仪表类型包括机械式仪表或数字式仪表；
[0109]
图像裁剪模块用于去除仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；
[0110]
语义分割模块用于在待识别仪表的仪表类型为机械式仪表时，使用语义分割模型对第一图像进行表盘提取以及文字识别，以确定待识别仪表的读数；
[0111]
语义分割模块用于在待识别仪表为的仪表类型数字式仪表时，使用语义分割模型对第一图像进行文字识别，以确定待识别仪表的读数；
[0112]
表盘提取模块用于提取第一图像中属于指针样本类型的图像区域，以生成第二图像；提取第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像；
[0113]
文本提取模块用于提取第一图像中属于读数、测量单位以及测量精度样本类型的图像区域，以生成测量单位以及测量精度的文本信息。
[0114]
前述提到关于指针、刻度线的预设，在一些实施例中，系统还包括预设模块，预设模块用于保存指针的预设角度和刻度线的预设角度，以及，将实际角度与预设角度对比。
[0115]
本技术提供一种基于语义分割的仪表读数方法及系统，方法包括：获取待识别仪表的仪表图像；对待识别仪表图像进行类型识别，以确定待识别仪表的仪表类型，仪表类型包括机械式仪表或数字式仪表；去除仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；如果待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对第一图像进行表盘提取以及文字识别，以确定待识别仪表的读数；如果待识别仪表为的仪表类型数字式仪表，则使用语义分割模型对第一图像进行文字识别，以确定待识别仪表的读数。所述方法可以使用语义分割模型提取仪表图像中的读数，以解决人工目视判读引起检测失误的问题，以及，使仪表读数更加精确。
[0116]
本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。

技术特征：
1.一种基于语义分割的仪表读数方法，其特征在于，包括：获取待识别仪表的仪表图像；对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型，所述仪表类型包括机械式仪表或数字式仪表；去除所述仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；如果所述待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对所述第一图像进行表盘提取以及文字识别，以确定所述待识别仪表的读数；如果所述待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数。2.根据权利要求1所述的基于语义分割的仪表读数方法，其特征在于，使用语义分割模型对所述第一图像进行表盘提取以及文字识别的步骤包括：提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像，所述第二图像为包括指针目标的图像；获取所述第二图像中的指针角度；提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像，所述第三图像为包括刻度线目标的图像；对所述第三图像中的刻度线角度与所述指针角度进行匹配；提取第一图像中属于测量单位以及测量精度样本类型的图像区域，以生成测量单位以及测量精度的文本信息；根据所述指针角度、所述刻度线角度、所述测量单位以及测量精度的文本信息确定所述待识别仪表的读数。3.根据权利要求2所述的基于语义分割的仪表读数方法，其特征在于，提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像的步骤包括：通过所述第二图像，确定指针拟合直线的坐标信息；将所述坐标信息与表盘样本类型中的圆心结合，以确定指针指向；根据所述指针指向以及所述坐标信息，计算出指针角度。4.根据权利要求2所述的基于语义分割的仪表读数方法，其特征在于，提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像的步骤包括：将所述第三图像进行直线检测，以筛选出刻度线轮廓信息；根据所述刻度线轮廓信息，以计算出刻度线角度。5.根据权利要求2所述的基于语义分割的仪表读数方法，其特征在于，根据所述指针角度、所述刻度线目标、所述测量单位以及测量精度的文本信息确定所述待识别仪表的读数的步骤包括：按照下式计算每一刻度线角度对应的所述待识别仪表的读数：其中，b
ij
为以第i根刻度线为起点，第j根刻度线为终点得到的仪表示数，a
i
为第i根刻度线对应数字，a
j
为第j根刻度线对应数字，α
i
为第i根刻度线对应角度，α
j
为第j根刻度线对
应角度，λ为指针角度；按照下式计算准确的仪表读数：其中，b为最终读数，s为刻度线的数量,b
11
以及b
nn
为对应刻度线角度对应的仪表读数。6.根据权利要求1所述的基于语义分割的仪表读数方法，其特征在于，如果所述待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数的步骤包括：提取所述第一图像中属于文本样本类型的图像，得到读数、测量单位以及测量精度的文本信息；以确定所述待识别仪表的读数。7.根据权利要求2或6所述的基于语义分割的仪表读数方法，其特征在于，利用光学特征文字识别ocr的方式对所述第一图像进行文字识别以及提取第一图像中属于测量单位以及测量精度样本类型的图像进行识别，得到读数、测量单位以及测量精度的文本信息。8.根据权利要求1所述的基于语义分割的仪表读数方法，其特征在于，对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型的步骤之前包括：根据仪表图像，生成仪表样本；根据所述仪表样本，对所述仪表图像的表盘、指针、刻度线、单位、读数进行标注，以生成样本类型；根据所述样本类型，生成带有标注的样本集；利用所述样本集对语义分割模型执行模型训练。9.一种基于语义分割的仪表读数系统，其特征在于，所述系统包括样本收集模块、语义分割模块、图像裁剪模块、表盘提取模块以及文本提取模块，其中：所述样本收集模块用于获取待识别仪表的仪表图像；对所述待识别仪表图像进行类型识别，以确定所述待识别仪表的仪表类型，所述仪表类型包括机械式仪表或数字式仪表；所述图像裁剪模块用于去除所述仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；所述语义分割模块用于在所述待识别仪表的仪表类型为机械式仪表时，使用语义分割模型对所述第一图像进行表盘提取以及文字识别，以确定所述待识别仪表的读数；所述语义分割模块用于在所述待识别仪表为的仪表类型数字式仪表时，使用语义分割模型对所述第一图像进行文字识别，以确定所述待识别仪表的读数；所述表盘提取模块用于提取所述第一图像中属于指针样本类型的图像区域，以生成第二图像；提取所述第一图像中属于刻度线样本类型的图像区域，以生成作为第三图像；所述文本提取模块用于提取第一图像中属于读数、测量单位以及测量精度样本类型的图像区域，以生成测量单位以及测量精度的文本信息。

技术总结
本申请提供一种基于语义分割的仪表读数方法及系统，方法包括：获取待识别仪表的仪表图像；对待识别仪表图像进行类型识别，以确定待识别仪表的仪表类型，仪表类型包括机械式仪表或数字式仪表；去除仪表图像中待识别仪表目标以外的背景画面，以得到第一图像；如果待识别仪表的仪表类型为机械式仪表，则使用语义分割模型对第一图像进行表盘提取以及文字识别，以确定待识别仪表的读数；如果待识别仪表的仪表类型为数字式仪表，则使用语义分割模型对第一图像进行文字识别，以确定待识别仪表的读数。所述方法可以使用语义分割模型提取仪表图像中的读数，以解决人工目视判读引起检测失误的问题。的问题。的问题。


技术研发人员：许嘉祺 潘威铮 宋阳 谢天 高竟成 胡超骏 刘星汉
受保护的技术使用者：北京中科智恒科技有限公司
技术研发日：2023.04.06
技术公布日：2023/7/12