一种智能化桥梁修补系统的制作方法

1.本发明涉及桥梁修补技术领域，特别是一种智能化桥梁修补系统。


背景技术：

2.目前，桥梁的表面，如路面、桥墩等混凝土或沥青结构的表面中由于施工或者日久失修等各种的原因，容易出现一些细小的裂缝，当出现细小裂缝后，如果不及时进行修补，会日渐影响桥梁的质量和安全。
3.现有技术中，也有一些专门针对桥梁表面进行损坏检测和损坏修补的装置，但该类装置大多需要为每一个装置配备多名专门的操作人员，在进行桥梁检测和修补的过程中对装置进行操作和引导控制，针对大型桥梁的检测，操作人员需要在户外连续作业，一方面容易使得户外操作人员出现中暑等情况危害身体；另一方面，长时间的户外作业，也会使得桥梁修补工作效率降低。不能满足现代针对大型桥梁进行智能化桥梁损坏检测和修补的需要。


技术实现要素：

4.针对上述问题，本发明旨在提供一种智能化桥梁修补系统。
5.本发明的目的采用以下技术方案来实现：
6.本发明提出一种智能化桥梁修补系统，包括：检测终端、云服务平台和管理终端；
7.其中，检测终端包括搭载在移动装置上的图像采集模块，图像采集模块用于在移动装置巡逻检测的过程中，采集桥梁表面图像数据，并将采集到的桥梁表面图像数据传输到云服务平台，其中采集的桥梁表面图像数据携带有相应的定位信息；
8.云服务平台用于根据获取的桥梁表面图像数据对桥梁表面进行图像分析，得到桥梁损坏分析结果，并将得到的桥梁损坏分析结果传输到管理终端；其中桥梁损坏分析结果中包含有对应桥梁表面图像数据所携带的定位信息；
9.管理终端用于根据得到的桥梁损坏分析结果，对现场修补终端进行远程控制，以使得现场修补终端能够到达桥梁损坏现场，对损坏处进行修补。
10.优选的，该系统还包括现场修补终端；
11.现场修补终端用于根据接收到的远程控制指令，受管理终端控制到达桥梁损坏现场并完成相应的修补操作。
12.优选的，移动装置包括专用的桥梁检测智能车、无人机、爬行机器人等。
13.优选的，图像采集模块包括图像采集单元、定位单元和数据发送单元；
14.图像采集单元用于在移动装置巡逻检测的过程中，以设定的角度采集桥梁表面图像数据；
15.定位单元用于获取当前的定位信息，并将获取到的定位信息整合到采集的桥梁表面图像数据中；
16.数据发送单元用于将整合有定位信息的桥梁表面图像数据通过无线通信网络实
时传输到云服务平台。
17.优选的，云服务平台包括图像接收单元、预处理单元、目标提取单元、损坏分析单元和输出单元；
18.其中图像接收单元用于获取由检测终端传输的桥梁表面图像数据；
19.预处理单元用于对接收到的桥梁表面图像数据进行预处理，包括标准化和增强调节处理，得到预处理后的桥梁表面图像；
20.目标提取单元用于根据预处理后的桥梁表面图像进行目标提取，获取图像中的桥梁表面目标检测区域图像；
21.损坏分析单元用于根据得到的目标检测区域图像采用基于神经网络训练好的损坏分析模型进行分析，得到目标前侧区域的损坏分析结果；
22.输出单元用于当损坏分析结果出现异常时，则提取对应的桥梁表面图像中携带的定位信息，并将得到的定位信息整合到当前异常的损坏分析结果中，并将损坏分析结果传输到管理终端。
23.优选的，管理终端包括大屏显示模块和远程控制模块；
24.大屏显示模块用于接收由云服务平台传输的损坏分析结果并进行大屏展示。
25.远程控制模块用于当出现异常的损坏分析结果时，向对应的现场修补终端发出远程控制指令，以对相应的现场修补终端进行远程控制，控制远程修补终端到达损坏分析结果异常的桥梁区域并完成现场修补。
26.优选的，远程控制模块包括连接单元、显示单元和控制单元；
27.连接单元用于向指定的现场修补终端建立远程控制连接，使得管理终端与现场修补终端完成数据交互；
28.显示单元用于对接收到的显示终端回传的现场图像画面数据进行展示，供管理者能够根据显示的现场图像画面数据来对现场修补终端进行远程控制；
29.控制单元用于向现场修补终端发出控制指令，包括选择指令和修补单元控制指令，通过控制指令完成对现场修补终端控制，完成桥梁损坏区域的修补。
30.优选的，现场修补终端包括移动模块、连接模块、视频通信模块和修补模块；
31.连接模块用于与管理终端建立通信连接，完成现场修补终端和管理终端的远程控制数据交互；
32.移动模块用于根据接收到的移动控制指令控制现场修补终端到达桥梁损坏区域；
33.视频通信模块用于实时采集现场修补终端修补区域的现场图像画面，并将采集到的现场图像画面实时回传至管理终端；
34.修补模块用于根据接收到的修补控制指令选择相应的修补单元，并控制修补单元对准修补区域，完成对桥梁损坏区域的修补。
35.本发明的有益效果为：提出一种智能化桥梁修补系统，其中系统中设置有专门针对大型桥梁的路面、桥墩、护栏、吊杆等结果进行损坏检测的检测终端，通过自动化巡逻的方式对桥梁表面图像数据进行采集，同时将采集的数据传输到云服务平台，基于云服务平台的强大运算能力，对桥梁表面图像进行智能化的损坏检测，获取桥梁表面检测结果。当现需要对桥梁损坏区域进行修补的时候，能够通过管理终端对现场修补终端进行远程控制，由管理者、操作人员通过管理终端控制现场修补终端到达桥梁损坏现场并完成损坏修补。
通过桥梁损坏的智能化检测结合远程控制的桥梁修补方式，能够有助于降低操作人员在户外的工作强度，同时有助于降低大型桥梁全面检测和修补的人力成本，提高桥梁修补的效率和智能化水平。
附图说明
36.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
37.图1为本发明一种智能化桥梁修补系统的框架结构图。
具体实施方式
38.结合以下应用场景对本发明作进一步描述。
39.参见图1，其示出一种智能化桥梁修补系统，包括：检测终端、云服务平台和管理终端；
40.其中，检测终端包括搭载在移动装置上的图像采集模块，图像采集模块用于在移动装置巡逻检测的过程中，采集桥梁表面图像数据，并将采集到的桥梁表面图像数据传输到云服务平台，其中采集的桥梁表面图像数据携带有相应的定位信息；
41.云服务平台用于根据获取的桥梁表面图像数据对桥梁表面进行图像分析，得到桥梁损坏分析结果，并将得到的桥梁损坏分析结果传输到管理终端；其中桥梁损坏分析结果中包含有对应桥梁表面图像数据所携带的定位信息；
42.管理终端用于根据得到的桥梁损坏分析结果，对现场修补终端进行远程控制，以使得现场修补终端能够到达桥梁损坏现场，对损坏处进行修补。
43.优选的，该系统还包括现场修补终端；
44.现场修补终端用于根据接收到的远程控制指令，受管理终端控制到达桥梁损坏现场并完成相应的修补操作。
45.本发明提出一种智能化桥梁修补系统，其中系统中设置有专门针对大型桥梁的路面、桥墩、护栏、吊杆等结果进行损坏检测的检测终端，通过自动化巡逻的方式对桥梁表面图像数据进行采集，同时将采集的数据传输到云服务平台，基于云服务平台的强大运算能力，对桥梁表面图像进行智能化的损坏检测，获取桥梁表面检测结果。当现需要对桥梁损坏区域进行修补的时候，能够通过管理终端对现场修补终端进行远程控制，由管理者、操作人员通过管理终端控制现场修补终端到达桥梁损坏现场并完成损坏修补。通过桥梁损坏的智能化检测结合远程控制的桥梁修补方式，能够有助于降低操作人员在户外的工作强度，同时有助于降低大型桥梁全面检测和修补的人力成本，提高桥梁修补的效率和智能化水平。
46.优选的，移动装置包括专用的桥梁检测智能车、无人机、爬行机器人等。
47.能够针对桥梁中不同区域的位置进行检测，适应大规模桥梁检测修补的需求。
48.优选的，图像采集模块包括图像采集单元、定位单元和数据发送单元；
49.图像采集单元用于在移动装置巡逻检测的过程中，以设定的角度采集桥梁表面图像数据；
50.定位单元用于获取当前的定位信息，并将获取到的定位信息整合到采集的桥梁表
面图像数据中；
51.数据发送单元用于将整合有定位信息的桥梁表面图像数据通过无线通信网络实时传输到云服务平台。
52.图像采集模块在检测终端进行巡逻的过程中，以预设的角度对桥梁表面区域图像进行采集，能够有效针对大型桥梁实行连续、不间断的图像数据采集，有助于避免传统人为检测中存在的遗漏或者不全面的情况。同时在采集图像数据的过程中将对应的定位信息整合到图像数据中，有助于后续根据桥梁表面图像进行损坏识别后，能够对损坏区域进行准确的溯源。
53.优选的，云服务平台包括图像接收单元、预处理单元、目标提取单元、损坏分析单元和输出单元；
54.其中图像接收单元用于获取由检测终端传输的桥梁表面图像数据；
55.预处理单元用于对接收到的桥梁表面图像数据进行预处理，包括标准化和增强调节处理，得到预处理后的桥梁表面图像；
56.目标提取单元用于根据预处理后的桥梁表面图像进行目标提取，获取图像中的桥梁表面目标检测区域图像；其中，目标提取单元基于边缘检测、模板匹配等技术来完成图像中桥梁表面目标检测区域的分割和提取，得到桥梁表面目标检测区域图像。
57.损坏分析单元用于根据得到的目标检测区域图像采用基于神经网络训练好的损坏分析模型进行分析，得到目标前侧区域的损坏分析结果；
58.输出单元用于当损坏分析结果出现异常时，则提取对应的桥梁表面图像中携带的定位信息，并将得到的定位信息整合到当前异常的损坏分析结果中，并将损坏分析结果传输到管理终端。
59.通过搭建针对采集的桥梁表面图像数据进行集中处理的云服务平台，能够依靠云服务平台强大的运算能力集中对各个检测终端上传的桥梁表面图像数据进行处理，其中，在处理的过程中，首先根据得到的桥梁表面图像数据进行常规化的预处理，以得到规范和清晰的图像，同时预处理后的桥梁表面图像进行目标提取处理，得到图像中的桥梁表面区域部分进行进一步的分析，并采用基于神经网络(如cnn，yolov5等)训练好的损坏分析模型(如裂缝识别模型、混凝土损坏模型等)进行桥梁损坏分析，得到对应的桥梁损坏分析结果，当分析结果出现异常时，则将异常的分析结果传输到管理终端，由管理终端进行进一步的处理。
60.其中，考虑到在烈日或暴晒情况下采集到的桥梁表面图像中，容易因为检测终端本身对阳光进行遮挡从而出现阴影等情况，影响后续根据桥梁表面图像进一步进行损坏检测(如裂缝识别等)的准确度。针对上述问题：
61.优选的，预处理单元对接收到的桥梁表面图像数据进行增强调节处理，包括：
62.根据获取的桥梁表面图像进行颜色空间转换，将桥梁表面图像从rgb颜色空间转换到lab颜色空间，提取桥梁表面图像的亮度子图tul；
63.根据提取的亮度子图tul像素点的亮度值li(x,y)计算平均亮度值li#，并以平均亮度值li#为依据设置常规亮度区间[max(0,li#-tisu),min(100,li#+tisu)]，其中tisu表示亮度调节因子，其中li#25％表示根据亮度子图
中各像素点的亮度值从大到小排列后得到的排在第前25％的像素点对应的亮度值，li#75％表示根据亮度子图中各像素点的亮度值从大到小排列后得到的排在第前75％的像素点对应的亮度值，li#表示设定的亮度调节参量，其中35《li#se《55；
[0064]
将亮度值li(x,y)属于常规亮度区间的像素点标记为常规像素点pointc，将亮度值不属于常规亮度区间的像素点标记为特征像素点pointt；
[0065]
对特征像素点进行亮度调节处理：
[0066]
li
′
(x,y)＝α
×
li#round(k)+β
×
[li#mean+sgn(li(x,y)-li#mean)
×
tisu]
[0067][0068]
式中，li
′
(x,y)表示亮度调节处理后像素点(x,y)的亮度值，li#round(k)表示以像素点(x,y)为中心的k
×
k范围的平均亮度值，argmin表示区目标最小函数，li#round(k+2)表示以像素点(x,y)为中心的k+2
×
k+2范围的平均亮度值，li#表示亮度子图的平均亮度值，tisu表示亮度调节因子，sgn(li(x,y)-i#mean)表示符号函数，α和β分别表示设定的权重因子；
[0069]
进一步对所有像素点进行亮度均衡处理：
[0070]
li
″
(x,y)＝γ
×
li#round(g)+δ
×
li#
[0071]
其中，li
″
(x,y)表示亮度均衡处理后像素点(x,y)的亮度值，li#round(g)表示以像素点(x,y)为中心的g
×
g范围的平均亮度值，g表示设定的均衡距离，其中g∈[3,5,7]，li#bse表示设定的亮度均衡参量，其中60《li#bse《65，γ和δ分别表示设定的权重因子；
[0072]
根据亮度均衡处理后的亮度子图tul
″
进行颜色空间逆变换，重新将图像转换到rgb颜色空间，得到预处理后的桥梁表面图像。
[0073]
本发明上述实施方式，提出一种针对桥梁表面图像进行预处理的技术方案，其中首先根据图像的亮度子图进行自适应的亮度区间划分，获取图像中因暴晒或阴影情况下出现的特征像素点，同时根据特征像素点进行亮度调节，有助于降低特征像素点受到异常亮度信息的干扰，其中特别提出一种亮度调节处理方案，能够自适应根据特征像素点在图像中周边区域的像素点变化情况对调节参量进行自适应设置，有助于提高特征像素点亮度调节的适应性和效果。在针对特征像素点进行亮度调节后，进一步对图像进行整体的亮度均衡处理，有助于将图像调节至合适的亮度水平，提高桥梁表面图像中损坏特征信息的表征水平，提高后续根据桥梁表面图像进一步进行损坏检测(如裂缝识别等)的准确度。
[0074]
优选的，管理终端包括大屏显示模块和远程控制模块；
[0075]
大屏显示模块用于接收由云服务平台传输的损坏分析结果并进行大屏展示。
[0076]
远程控制模块用于当出现异常的损坏分析结果时，向对应的现场修补终端发出远程控制指令，以对相应的现场修补终端进行远程控制，控制远程修补终端到达损坏分析结果异常的桥梁区域并完成现场修补。
[0077]
管理终端能够基于专用的智能设备，或者后方管理中心的专用设备搭建而成，其中大屏显示模块能够对桥梁的检测情况进行实时的分类展示，有助于管理者能够直观了解桥梁的损坏检测情况，并进一步针对桥梁损坏区域对相应现场修补终端进行远程控制，来完成损坏区域的现场修补，有助于提高管理人员进行桥梁现场修补的环境舒适度，通过远程控制的方式也能够提高桥梁修补的智能化水平。
[0078]
优选的，远程控制模块包括连接单元、显示单元和控制单元；
[0079]
连接单元用于向指定的现场修补终端建立远程控制连接，使得管理终端与现场修补终端完成数据交互；
[0080]
显示单元用于对接收到的显示终端回传的现场图像画面数据进行展示，供管理者能够根据显示的现场图像画面数据来对现场修补终端进行远程控制；
[0081]
控制单元用于向现场修补终端发出控制指令，包括选择指令和修补单元控制指令，通过控制指令完成对现场修补终端控制，完成桥梁损坏区域的修补。
[0082]
优选的，现场修补终端包括移动模块、连接模块、视频通信模块和修补模块；
[0083]
连接模块用于与管理终端建立通信连接，完成现场修补终端和管理终端的远程控制数据交互；
[0084]
移动模块用于根据接收到的移动控制指令控制现场修补终端到达桥梁损坏区域；
[0085]
视频通信模块用于实时采集现场修补终端修补区域的现场图像画面，并将采集到的现场图像画面实时回传至管理终端；
[0086]
修补模块用于根据接收到的修补控制指令选择相应的修补单元，并控制修补单元对准修补区域，完成对桥梁损坏区域的修补。
[0087]
现场修补终端的移动模块能够基于无人机、四轮车、爬行机器人等设置而成，视频通信模块搭载有图像采集设备；修补模块包括一种或者多种修补单元，包括机械臂、真空上料机构、强风装置等，以使得能够通过远程控制现场修补终端完成损坏区域的修补。
[0088]
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
[0089]
通过以上的实施方式的描述，所属领域的技术人员应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
[0090]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

技术特征：
1.一种智能化桥梁修补系统，其特征在于，包括：检测终端、云服务平台和管理终端；其中，检测终端包括搭载在移动装置上的图像采集模块，图像采集模块用于在移动装置巡逻检测的过程中，采集桥梁表面图像数据，并将采集到的桥梁表面图像数据传输到云服务平台，其中采集的桥梁表面图像数据携带有相应的定位信息；云服务平台用于根据获取的桥梁表面图像数据对桥梁表面进行图像分析，得到桥梁损坏分析结果，并将得到的桥梁损坏分析结果传输到管理终端；其中桥梁损坏分析结果中包含有对应桥梁表面图像数据所携带的定位信息；管理终端用于根据得到的桥梁损坏分析结果，对现场修补终端进行远程控制，以使得现场修补终端能够到达桥梁损坏现场，对损坏处进行修补。2.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，还包括现场修补终端；现场修补终端用于根据接收到的远程控制指令，受管理终端控制到达桥梁损坏现场并完成相应的修补操作。3.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，移动装置包括专用的桥梁检测智能车、无人机、爬行机器人等。4.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，图像采集模块包括图像采集单元、定位单元和数据发送单元；图像采集单元用于在移动装置巡逻检测的过程中，以设定的角度采集桥梁表面图像数据；定位单元用于获取当前的定位信息，并将获取到的定位信息整合到采集的桥梁表面图像数据中；数据发送单元用于将整合有定位信息的桥梁表面图像数据通过无线通信网络实时传输到云服务平台。5.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，云服务平台包括图像接收单元、预处理单元、目标提取单元、损坏分析单元和输出单元；其中图像接收单元用于获取由检测终端传输的桥梁表面图像数据；预处理单元用于对接收到的桥梁表面图像数据进行预处理，包括标准化和增强调节处理，得到预处理后的桥梁表面图像；目标提取单元用于根据预处理后的桥梁表面图像进行目标提取，获取图像中的桥梁表面目标检测区域图像；损坏分析单元用于根据得到的目标检测区域图像采用基于神经网络训练好的损坏分析模型进行分析，得到目标前侧区域的损坏分析结果；输出单元用于当损坏分析结果出现异常时，则提取对应的桥梁表面图像中携带的定位信息，并将得到的定位信息整合到当前异常的损坏分析结果中，并将损坏分析结果传输到管理终端。6.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，管理终端包括大屏显示模块和远程控制模块；大屏显示模块用于接收由云服务平台传输的损坏分析结果并进行大屏展示。远程控制模块用于当出现异常的损坏分析结果时，向对应的现场修补终端发出远程控
制指令，以对相应的现场修补终端进行远程控制，控制远程修补终端到达损坏分析结果异常的桥梁区域并完成现场修补。7.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，远程控制模块包括连接单元、显示单元和控制单元；连接单元用于向指定的现场修补终端建立远程控制连接，使得管理终端与现场修补终端完成数据交互；显示单元用于对接收到的显示终端回传的现场图像画面数据进行展示，供管理者能够根据显示的现场图像画面数据来对现场修补终端进行远程控制；控制单元用于向现场修补终端发出控制指令，包括选择指令和修补单元控制指令，通过控制指令完成对现场修补终端控制，完成桥梁损坏区域的修补。8.根据权利要求1所述的一种智能化桥梁修补系统，其特征在于，现场修补终端包括移动模块、连接模块、视频通信模块和修补模块；连接模块用于与管理终端建立通信连接，完成现场修补终端和管理终端的远程控制数据交互；移动模块用于根据接收到的移动控制指令控制现场修补终端到达桥梁损坏区域；视频通信模块用于实时采集现场修补终端修补区域的现场图像画面，并将采集到的现场图像画面实时回传至管理终端；修补模块用于根据接收到的修补控制指令选择相应的修补单元，并控制修补单元对准修补区域，完成对桥梁损坏区域的修补。

技术总结
本发明提供一种智能化桥梁修补系统，包括检测终端、云服务平台和管理终端；其中，检测终端包括搭载在移动装置上的图像采集模块，图像采集模块用于在移动装置巡逻检测的过程中，采集桥梁表面图像数据，并将采集到的桥梁表面图像数据传输到云服务平台；云服务平台用于根据获取的桥梁表面图像数据对桥梁表面进行图像分析，得到桥梁损坏分析结果，并将得到的桥梁损坏分析结果传输到管理终端；管理终端用于根据得到的桥梁损坏分析结果，对现场修补终端进行远程控制，以使得现场修补终端能够到达桥梁损坏现场，对损坏处进行修补。本发明有助于降低操作人员在户外的工作强度，同时有助于降低大型桥梁全面检测和修补的人力成本，提高桥梁修补的效率和智能化水平。修补的效率和智能化水平。修补的效率和智能化水平。


技术研发人员：张杰 于龙 何如来 曾艳梅 李长锋
受保护的技术使用者：广西壮族自治区林业勘测设计院
技术研发日：2023.04.10
技术公布日：2023/7/20