基于暗光图像融合的视觉定位方法及相关设备

1.本发明涉及视觉定位技术领域，尤其涉及一种基于暗光图像融合的视觉定位方法及相关设备。


背景技术：

2.视觉定位是现阶段机器人实现自主避障与定位的关键技术之一，视觉定位机器人通过摄像头传感器采集到数据后，再通过视觉识别与定位实现障碍物的检测、识别与定位。一般的视觉定位机器人采用的视觉识别算法为基于轮廓匹配的目标识别以及基于深度神经网络的实例分割与目标识别算法等。然而，当机器人执行特殊任务或者极端的天气，例如消防火灾救援或者大雾、大雨等极端天气时，仅仅依靠摄像头传感器的数据往往是不够的，由于环境光线的影响会导致障碍物轮廓或者其特征不明显，最终导致目标识别效果降低。
3.目前基于深度学习的视觉定位技术，很多研究者利用暗光增强或者去雾还原算法等方式试图提升机器人在暗光、大雨大雾等恶劣环境下使用视觉算法进行目标识别与定位的效果。但是由于摄像头传感器获得的数据受限，这些算法的使用环境较为单一且其鲁棒性较低。在现有技术中，其他研究者使用红外摄像头获得红外数据，通过红外数据与摄像头采集的rgb数据进行图像融合，增加采集到的环境数据，最终提升视觉识别的精准度。
4.在复杂环境(如噪声较大、暗光、大雾大雨等)下，使用单传感器时视觉定位受限，而使用多传感器时经过图像融合技术融合后的图像轮廓依旧模糊，导致机器人自身视觉定位精度下降。


技术实现要素：

5.有鉴于此，本发明提供了一种基于暗光图像融合的视觉定位方法及相关设备，用于解决现有技术中经过图像融合技术融合后的图像轮廓依旧模糊，导致机器人自身视觉定位精度下降的问题。
6.为达上述之一或部分或全部目的或是其他目的，第一方面，本发明提出一种基于暗光图像融合的视觉定位方法，包括：获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；
7.将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；
8.对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；
9.基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
10.可选的，所述确定所述第一图像的第一亮度信息、所述第一图像的色差信息的步
骤，包括：
11.基于所述第一图像的基础属性信息确定所述第一图像的初始图像格式，并判断所述初始图像格式是否为目标图像格式；
12.若所述初始图像格式为目标图像格式，则按所述目标图像格式的信息存储规则识别所述目标图像格式的所述第一图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息；
13.若所述初始图像格式不为所述目标图像格式，则根据预设格式转换表确定所述初始图像格式与所述目标图像格式的目标转换关系，并通过所述目标转换关系将所述初始图像格式的第一图像转换为所述目标图像格式的目标图像，所述预设格式转换表包括不同图像格式之间的转换关系；
14.按所述目标图像格式的信息存储规则识别所述目标图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息。
15.可选的，所述第二图像的红外数据的确定步骤包括：
16.将所述第二图像通过校准函数进行校准，得到初始数据；
17.将所述初始数据输入预设参数化网络进行赋值处理，得到所述红外数据，所述红外数据含有所述预设参数化网络对应的预设校准量。
18.可选的，所述将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像的步骤，包括：
19.所述第一亮度信息和所述第二亮度信息进行维度融合，得到初始融合数据；
20.将所述初始融合数据输入预设融合网络，得到目标融合数据，所述预设融合网络包括至少五层卷积神经层，并以前馈的方式将各层卷积神经层进行连接；
21.通过激活函数对所述目标融合数据进行处理，得到激活数据，并根据所述激活数据得到所述第一融合图像。
22.可选的，所述对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据的步骤，包括：
23.获取经所述暗光增强处理后的历史图像；
24.将所述历史图像逐像素除以所述第二融合图像，得到所述运算数据。
25.可选的，所述通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据的步骤，包括：
26.将所述红外数据与所述运算数据进行逐像素相加，得到校准后的运算数据；
27.将校准后的运算数据与所述第二图像进行维度拼接，得到拼接数据；
28.将所述拼接数据输入预设亮度自适应调节网络，得到所述目标增强数据，所述预设亮度自适应调节网络通过至少三层卷积神经网络实现亮度自适应调节算法。
29.可选的，所述基于所述目标增强数据生成所述待识别区域的目标图像的步骤，包括：
30.将校准后的运算数据与所述目标增强数据逐像素相加，得到含有校准后运算数据的目标增强数据；
31.基于含有校准后运算数据的目标增强数据生成所述待识别区域的目标图像。
32.第二方面，本技术提供了一种基于暗光图像融合的视觉定位装置，所述装置包括：
33.数据采集模块，用于获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；
34.融合模块，用于将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；
35.增强模块，用于对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；
36.定位模块，用于基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
37.第三方面，本技术提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上述的基于暗光图像融合的视觉定位方法的步骤。
38.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的基于暗光图像融合的视觉定位方法的步骤。
39.实施本发明实施例，将具有如下有益效果：
40.通过获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。将图像融合与暗光增强进行结合，使得在复杂环境，如噪声较大、暗光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.其中：
43.图1是本技术实施例提供的一种基于暗光图像融合的视觉定位方法的场景图；
44.图2是本技术实施例提供的一种基于暗光图像融合的视觉定位方法的流程图；
45.图3是本技术实施例提供的一种基于暗光图像融合的视觉定位方法的运行图；
46.图4是本技术实施例提供的一种基于暗光图像融合的视觉定位装置的结构示意
图；
47.图5是本技术实施例提供的一种电子设备的结构示意图；
48.图6是本技术实施例提供的一种存储介质的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.本发明实施例提供的基于暗光图像融合的视觉定位方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端可以获取客户端通过摄像装置针对待识别区域采集的第一图像和客户端通过红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位，并将视觉定位结果发送至所述客户端，或者，服务端基于所述视觉识别结果生成控制指令，并基于控制指令控制客户端。在本发明中，将图像融合与暗光增强进行结合，使得在复杂环境，如噪声较大、暗光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等具有多种传感器，并通过多种传感器进行数据采集的电子设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
51.为减轻服务端的计算压力，本发明实施例提供的基于暗光图像融合的视觉定位方法，也可在应用在图1中的客户端，即，客户端获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位，并将视觉定位结果发送至所述客户端的显示装置，或者，基于所述视觉识别结果生成控制指令，并基于控制指令控制客户端的其他装置。
52.如图2所示，本技术实施例提供了一种基于暗光图像融合的视觉定位方法，包括：
53.s101、获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待
识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；
54.示例性的，伴随视觉定位技术的应用愈发广泛，对视觉定位的结果也要求愈发精准，由于摄像头传感器获得的数据受限，因此视觉定位所需的基础数据中增加了基于红外传感装置采集的红外图像，即，所述第二图像，通过获取所述待识别区域采集的红外图像，对摄像装置针对待识别区域采集的像素图像，即，第一图像进行数据补充，可以更多地将所述待识别区域的对应数据加入视觉定位过程中，进而更全面地考虑所述待识别区域地实际情况，得到更准确地视觉定位结果。
55.示例性的，由于红外图像实质上代表了待识别区域内各部分的亮度信息，而通过摄像装置针对待识别区域采集的第一图像也可以体现出待识别区域内各部分的亮度信息，因此，若将第一图像与第二图像进行融合，则以亮度参数作为桥梁。
56.s102、将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；
57.示例性的，图像融合(lmagefusion)是指将多源信道所采集到的关于同一目标的图像数据，即，第一图像和第二图像，经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。
58.示例性的，通过颜色空间转换和亮度通道替换，将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，通过颜色空间逆变换根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像。
59.s103、对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；
60.示例性的，通过所述第二融合图像与经过暗光增强处理得到的历史图像的比例数据将对所述第二融合图像进行暗光增强的过程进行预处理，使得对所述第二融合图像进行暗光增强的过程更准确。
61.示例性的，通过所述红外数据对所述运算数据进行校准保证了预处理过程的可靠性，避免预处理过程偏移过大，对所述第二融合图像进行暗光增强时带来误差。
62.s104、基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
63.通过获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。使用级联的思路将图像融合与暗光增强结合在一起，使得在复杂环境，如噪声较大、暗
光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。
64.在一种可能的实施方式中，所述确定所述第一图像的第一亮度信息、所述第一图像的色差信息的步骤，包括：
65.基于所述第一图像的基础属性信息确定所述第一图像的初始图像格式，并判断所述初始图像格式是否为目标图像格式；
66.若所述初始图像格式为目标图像格式，则按所述目标图像格式的信息存储规则识别所述目标图像格式的所述第一图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息；
67.若所述初始图像格式不为所述目标图像格式，则根据预设格式转换表确定所述初始图像格式与所述目标图像格式的目标转换关系，并通过所述目标转换关系将所述初始图像格式的第一图像转换为所述目标图像格式的目标图像，所述预设格式转换表包括不同图像格式之间的转换关系；
68.按所述目标图像格式的信息存储规则识别所述目标图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息。
69.示例性的，由于不同摄像设备会按照不同的图像格式存储已采集到的图像，例如，国际数字图像压缩(jointphotographicexpertsgroup，jpg)格式，红绿蓝信息(red-green-blue，rgb)格式，颜色编码(ycrcb)格式，颜色模型(lab)格式等，为保证本技术所述方法的适用范围的广泛性，将不同图像格式转换为目标图像格式，例如，将ycrcb格式作为目标图像格式，当所述第一图像的初始图像格式为rgb格式时，通过预设格式转换表确定rgb格式与ycrcb格式的转换关系，并将rgb格式转换为ycrcb格式，而ycrcb格式信息存储规则为：y通道携带的是图像的亮度信息，crcb通道携带的是图像的色差信息，因此，通过ycrcb格式信息存储规则读取到所述第一图像的第一亮度信息和所述第一图像的色差信息。
70.示例性的，将rgb格式转换为ycrcb格式，例如：
71.y＝0.2126*r+0.7152*g+0.0722*b
72.cr＝1.4749*(0.2213*r-0.3390*g+0.1177*b)+128
73.cb＝0.6245*(0.1949*r+0.6057*g-0.8006*b)+128。
74.在一种可能的实施方式中，所述第二图像的红外数据的确定步骤包括：
75.将所述第二图像通过校准函数进行校准，得到初始数据；
76.将所述初始数据输入预设参数化网络进行赋值处理，得到所述红外数据，所述红外数据含有所述预设参数化网络对应的预设校准量。
77.示例性的，将所述第二图像进行a/d转换，a/d转换的过程为将模拟量或连续变化的量转换为相应的数字量的过程，得到原始数字图像，并根据原始数字图像构建目标矩阵，基于所述目标矩阵构建滤波权重参数，进而根据所述滤波权重参数得到图像非均匀性建模公式，并分别获取增益校正参数和偏置校正参数，并将增益校正参数和偏置校正参数代入非均匀校正函数，通过非均匀校正函数得到初始数据。
78.示例性的，将所述初始数据输入预设参数化网络，所述预设参数化网络用于为所述初始数据添加一个预设校准量，输出得到含有预设校准量的红外数据。
79.在一种可能的实施方式中，所述将所述第一亮度信息和所述第二亮度信息进行维
度融合，得到第一融合图像的步骤，包括：
80.所述第一亮度信息和所述第二亮度信息进行维度融合，得到初始融合数据；
81.将所述初始融合数据输入预设融合网络，得到目标融合数据，所述预设融合网络包括至少五层卷积神经层，并以前馈的方式将各层卷积神经层进行连接；
82.通过激活函数对所述目标融合数据进行处理，得到激活数据，并根据所述激活数据得到所述第一融合图像。
83.示例性的，所述第一亮度信息和所述第二亮度信息进行维度融合，得到初始融合数据；将所述初始融合数据输入由7层卷积神经网络构成的densenet网络，所述densenet网络为具有密集连接的卷积神经网络，得到目标融合数据，再通过由双曲正弦和双曲余弦推导而来的tanh激活函数激活后输出融合后的图像，即，第一融合图像。
84.示例性的，所述第一融合图像仅仅为代表亮度信息的图像，故将所述第一图像crcb通道携带的是图像的色差信息与所述第一融合图像进行维度融合，得到所述第二融合图像。
85.示例性的，所述第二融合图像为ycrcb格式，为利于后续的暗光增强过程的进行，将所述第二融合图像的ycrcb格式转换为rgb格式。
86.在一种可能的实施方式中，所述对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据的步骤，包括：
87.获取经所述暗光增强处理后的历史图像；
88.将所述历史图像逐像素除以所述第二融合图像，得到所述运算数据。
89.示例性的，将所述第二融合图像与经所述暗光增强处理后的历史图像进行逐像素相除运算，利用循环的思维形成一个循环整体。
90.在一种可能的实施方式中，所述通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据的步骤，包括：
91.将所述红外数据与所述运算数据进行逐像素相加，得到校准后的运算数据；
92.将校准后的运算数据与所述第二图像进行维度拼接，得到拼接数据；
93.将所述拼接数据输入预设亮度自适应调节网络，得到所述目标增强数据，所述预设亮度自适应调节网络通过至少三层卷积神经网络实现亮度自适应调节算法。
94.示例性的，将所述红外数据与所述运算数据进行逐像素相加，对所述运算数据进行校准，以保证校准后的运算数据对预设亮度自适应调节网络的预处理的可靠性，将校准后的运算数据与所述第二图像的拼接数据作为暗光增强过程的输入，所述暗光增强过程通过所述预设亮度自适应调节网络完成，所述预设亮度自适应调节网络为至少三层卷积神经网络实现亮度自适应调节算法的预设网络。
95.在一种可能的实施方式中，所述基于所述目标增强数据生成所述待识别区域的目标图像的步骤，包括：
96.将校准后的运算数据与所述目标增强数据逐像素相加，得到含有校准后运算数据的目标增强数据；
97.基于含有校准后运算数据的目标增强数据生成所述待识别区域的目标图像。
98.示例性的，为了确保暗光增强后图像的质量不逊于未经过暗光增强过程的图像的质量，利用残差的思想将校准后的运算数据与所述目标增强数据逐像素相加，得到含有校
准后运算数据的目标增强数据，并生成所述待识别区域的目标图像。
99.在一种可能的实施方式中，如图3所示，本技术提供了一种基于暗光图像融合的视觉定位方法的深度学习框架算法，所述框架算法包括图像融合算法和暗光增强算法，其中，图像融合算法的运行过程包括：接收摄像头输出的rgb图像以及红外相机输出的红外图像，将rgb图像转换为ycrcb图像格式，其中y通道携带的是图像的亮度信息，红外图像本身就为亮度信息；将输入的rgb图像和红外图像的亮度信息进行维度融合后输入到由7层卷积神经网络构成的densenet网络，再通过tanh激活函数激活后输出融合后的图像，相当于上述第一融合图像；由于融合后的图像仅仅为代表亮度信息的图像，故将rgb图像中的cr、cb图像信息与融合后的图像进行维度融合，得到二次融合后的图像，相当于上述第二融合图像。
100.暗光增强算法的运行过程包括：将二次融合后的图像y与上次增强后的图像x
t
，相当于上述历史图像数据，进行逐像素相除运算，上次增强后的图像x
t
设置为原始输入可见光图像；将输入的红外图像g，相当于上述第二图像，通过校准函数z
t
(x)后的数据输入到校准模块校准模块为一个参数化网络，用于为输入数据添加一个校准量，输出得到含有校准量的红外数据s
t
；将校准后的红外数据s
t
与前述除法运算后的数据进行逐像素相加运算得到v
t
，相当于上述校准后的运算数据，再将v
t
与输入的红外图像g进行维度拼接操作后作为暗光增强模块的输入。暗光增强模块是由3层卷积神经网络构成亮度自适应调节算法，通过参数学习使得输入图像的亮度信息达到最佳，输出增强后的图像u
t
。最后，为了确保暗光增强后的图像质量不逊于未经过暗光增强模块前的图像数据，利用残差的思想将v
t
与增强后的图像u
t
进行逐像素相加操作得到最终增强图像x
t+1
。利用循环的思维，将此次增强图像x
t+1
作为下次暗光增强操作的x
t
，形成一个循环整体。
101.在一种可能的实施方式中，如图4所示，本技术提供了一种基于暗光图像融合的视觉定位装置，所述装置包括：
102.数据采集模块201，用于获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；
103.融合模块202，用于将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；
104.增强模块203，用于对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；
105.定位模块204，用于基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
106.将图像融合与暗光增强进行结合，使得在复杂环境，如噪声较大、暗光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。
107.一种可能的实施方式中，如图5所示，本技术实施例提供了一种电子设备300，包括：包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时，实现：获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮
度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
108.将图像融合与暗光增强进行结合，使得在复杂环境，如噪声较大、暗光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。
109.在一种可能的实施方式中，如图6所示，本技术实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现：获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。
110.将图像融合与暗光增强进行结合，使得在复杂环境，如噪声较大、暗光、大雾大雨等场景下，经过图像融合技术融合后的图像显示更加清晰，提高在复杂环境下视觉定位的准确度。
111.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
112.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
113.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
114.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
115.本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
116.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里上述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
117.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

技术特征：
1.一种基于暗光图像融合的视觉定位方法，其特征在于，包括：获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。2.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述确定所述第一图像的第一亮度信息、所述第一图像的色差信息的步骤，包括：基于所述第一图像的基础属性信息确定所述第一图像的初始图像格式，并判断所述初始图像格式是否为目标图像格式；若所述初始图像格式为目标图像格式，则按所述目标图像格式的信息存储规则识别所述目标图像格式的所述第一图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息；若所述初始图像格式不为所述目标图像格式，则根据预设格式转换表确定所述初始图像格式与所述目标图像格式的目标转换关系，并通过所述目标转换关系将所述初始图像格式的第一图像转换为所述目标图像格式的目标图像，所述预设格式转换表包括不同图像格式之间的转换关系，按所述目标图像格式的信息存储规则识别所述目标图像，得到所述第一图像的第一亮度信息和所述第一图像的色差信息。3.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述第二图像的红外数据的确定步骤包括：将所述第二图像通过校准函数进行校准，得到初始数据；将所述初始数据输入预设参数化网络进行赋值处理，得到所述红外数据，所述红外数据含有所述预设参数化网络对应的预设校准量。4.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像的步骤，包括：将所述第一亮度信息和所述第二亮度信息进行维度融合，得到初始融合数据；将所述初始融合数据输入预设融合网络，得到目标融合数据，所述预设融合网络包括至少五层卷积神经层，并以前馈的方式将各层卷积神经层进行连接；通过激活函数对所述目标融合数据进行处理，得到激活数据，并根据所述激活数据得到所述第一融合图像。5.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据的步骤，包括：获取经所述暗光增强处理后的历史图像；
将所述历史图像逐像素除以所述第二融合图像，得到所述运算数据。6.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据的步骤，包括：将所述红外数据与所述运算数据进行逐像素相加，得到校准后的运算数据；将校准后的运算数据与所述第二图像进行维度拼接，得到拼接数据；将所述拼接数据输入预设亮度自适应调节网络，得到所述目标增强数据，所述预设亮度自适应调节网络通过至少三层卷积神经网络实现亮度自适应调节算法。7.如权利要求1所述的基于暗光图像融合的视觉定位方法，其特征在于，所述基于所述目标增强数据生成所述待识别区域的目标图像的步骤，包括：将校准后的运算数据与所述目标增强数据逐像素相加，得到含有校准后运算数据的目标增强数据；基于含有校准后运算数据的目标增强数据生成所述待识别区域的目标图像。8.一种基于暗光图像融合的视觉定位装置，其特征在于，所述装置包括：数据采集模块，用于获取摄像装置针对待识别区域采集的第一图像和红外传感装置针对所述待识别区域采集的第二图像，并确定所述第一图像的第一亮度信息、所述第一图像的色差信息、所述第二图像的第二亮度信息和所述第二图像的红外数据；融合模块，用于将所述第一亮度信息和所述第二亮度信息进行维度融合，得到第一融合图像，并根据所述色差信息对所述第一融合图像进行渲染，得到第二融合图像；增强模块，用于对所述第二融合图像与经过暗光增强处理得到的历史图像进行比例运算，得到运算数据，并通过所述红外数据对所述运算数据进行校准，根据校准后的运算数据，对所述第二图像进行暗光增强，得到目标增强数据；定位模块，用于基于所述目标增强数据生成所述待识别区域的目标图像，并基于所述目标图像完成对所述待识别区域的视觉定位。9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的基于暗光图像融合的视觉定位方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的基于暗光图像融合的视觉定位方法的步骤。

技术总结
本发明实施例公开了一种基于暗光图像融合的视觉定位方法及相关设备，方法包括：获取待识别区域的第一图像和待识别区域的第二图像，并确定第一图像的第一亮度信息和色差信息、第二图像的第二亮度信息和红外数据；将第一亮度信息和第二亮度信息进行维度融合，得到第一融合图像；根据色差信息得到第二融合图像；对第二融合图像与历史图像进行比例运算，通过红外数据对运算数据进行校准，根据校准后的运算数据对第二图像进行暗光增强，进而生成待识别区域的目标图像，并基于目标图像完成对待识别区域的视觉定位。通过将融合图像进行暗光增强，获得显示效果更优的图像数据，能够更好地针对在暗光环境下获得的图像进行视觉定位。位。位。


技术研发人员：孙博 冯海成 周齐 杨晓君 闵海波
受保护的技术使用者：广东工业大学
技术研发日：2023.06.07
技术公布日：2023/10/6