一种同步定位与建图SLAM算法、终端及存储介质的制作方法

一种同步定位与建图slam算法、终端及存储介质
技术领域
1.本发明涉及计算机视觉技术领域，尤其涉及一种同步定位与建图(simultaneouslocalization and mapping，slam)算法、终端及存储介质。


背景技术：

2.现有的slam算法主要可以分为特征点法和直接法；特征点法首先在图像中提取特征和 对应的描述子，这些特征在相机视角发生少量变化时也能保持不变，于是可以在各图像中通 过特征匹配实现图像间的数据关联；当得到的是二维到二维的映射关系时，可以使用对极几 何进行求解，当得到的是三维到二维的映射关系时，可以使用perspective-n-point(pnp)算 法、efficient perspective-n-point(epnp)算法以及perspective three-point(p3p)算法等进 行求解；当得到的是三维到三维的映射关系时，则可以使用迭代最近点(iterative closest point， icp)算法进行求解。当求解得到变换矩阵以后，可以通过计算重投影误差来对相机位姿以 及空间点的三维坐标进行微调优化，从而得到最终值。而直接法是利用灰度不变性假设从两 帧图像中的光流中完成数据关联，从而通过最小化光度误差来估算结果；与此同时，深度学 习也可以应用在slam中。
3.然而，现有的slam算法仍然存在一些问题，对于输入的整张图像，并不是每个区域块 的信息都对估计的结果有促进作用，例如对于环境中的动态物体，则会造成模型精度下降， 也就是说，现有的slam算法普遍存在鲁棒性较差的缺陷。


技术实现要素：

4.本技术实施例提供了一种slam算法、终端及存储介质，具备较强的鲁棒性和精确性。
5.本技术实施例的技术方案是这样实现的：
6.第一方面，本技术实施例提供了一种slam算法，所述方法包括：
7.获取训练数据集；
8.根据所述训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中， 所述初始网络模型包括全局注意力模块；所述全局注意力模块用于学习不同图像块对应的重 要程度，和不同的通道对应的重要程度；
9.基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；
10.基于所述目标变换矩阵构建点云数据。
11.第二方面，本技术实施例提供了一种终端，所述终端包括获取单元、训练单元、获取 单元以及构建单元，
12.所述获取单元，用于获取训练数据集；
13.所述训练单元，用于根据所述训练数据集和初始网络模型进行自监督训练处理，获得 目标网络模型；其中，所述初始网络模型包括全局注意力模块；所述全局注意力模块用于学 习不同图像块对应的重要程度，和不同的通道对应的重要程度；
14.所述获取单元，用于基于所述目标网络模型对目标图像信息进行特征提取处理，获得 目标变换矩阵；
15.所述构建单元，用于基于所述目标变换矩阵构建点云数据。
16.第三方面，本技术实施例提供了一种终端，所述终端包括处理器、存储有所述处理器 可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的slam算法。
17.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有程序，应用于 终端中，所述程序被处理器执行时，实现如上所述的slam算法。
18.本技术实施例提供了一种slam算法、终端及存储介质，终端获取训练数据集；根据 训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，初始网络模型 包括全局注意力模块；全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道 对应的重要程度；基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵； 基于目标变换矩阵构建点云数据。由此可见，本技术通过在初始网络模型的结构中加入全局 注意力模块，全局注意力模块能够学习不同图像块对应的重要程度，和不同的通道对应的重 要程度，从而能够令经过训练处理后获得的目标网络模型能够在进行特征提取处理时自动
ꢀ“
注意到”不同图像区域的重要程度，极大地提升模型准确性；进而根据目标网络模型对目 标图像信息进行特征提取处理，基于获得的目标变换矩阵构建点云数据，从而具备较强的鲁 棒性和精确性。
附图说明
19.图1为本技术实施例提出的slam算法的实现流程示意图；
20.图2为本技术实施例提出的slam算法的实现示意图一；
21.图3为本技术实施例提出的slam算法的实现示意图二；
22.图4为本技术实施例提出的slam算法的实现示意图三；
23.图5为本技术实施例提出的slam算法的实现示意图四；
24.图6为本技术实施例提出的slam算法的实现示意图五；
25.图7为本技术实施例提出的slam算法的实现示意图六；
26.图8为本技术实施例提出的slam算法的实现示意图七；
27.图9为本技术实施例提出的slam算法的实现示意图八；
28.图10为本技术实施例提出的slam算法的实现示意图九；
29.图11为本技术实施例提出的slam算法的实现示意图十；
30.图12为本技术实施例提出的slam算法的实现示意图十一；
31.图13为本技术实施例提出的终端的组成结构示意图一；
32.图14为本技术实施例提出的终端的组成结构示意图二。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描 述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。 另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
34.对搭载传感器的机器进行运动过程中的实时定位和周围环境建图是人工智能的
重要问 题，其主要解决的问题是在陌生的环境中，机器实现环境感知、理解以及完成自身定位。在 人工智能时代，该技术在某些特殊场合可以代替人工，比如自动驾驶、移动机器人、增强现 实(augmented reality，ar)/虚拟现实(virtual reality，vr)等应用场景中。在定位时， 机器的首要任务是对周围环境的感知，然后对其刻画，现有许多针对已知先验环境信息的机 器自主定位和环境重建的解决方法，比如全球定位系统(global positioning system，gps)、 惯性导航系统(inertial navigation system，ins)、激光雷达系统等；然而，其均存在不同 的缺点，比如gps只能用于室外场景，ins存在累计漂移的问题；激光雷达系统的成本较高 等。随着计算机视觉的发展,仅使用视觉传感器，即相机来实现无需先验的定位和建图得到 了研究者们的广泛关注,视觉传感器成本低，精度高,并且可以得到大量图像数据用于目标检 测等其他环境感知系统。
35.传统的slam算法经过多年的发展已经形成了相对稳定的效果和实现方法，主要可以分 为特征点法和直接法；特征点法首先在图像中提取特征和对应的描述子，这些特征在相机视 角发生少量变化时也能保持不变，于是可以在各图像中通过特征匹配实现图像间的数据关联； 当得到的是二维到二维的映射关系时，可以使用对极几何进行求解，当得到的是三维到二维 的映射关系时，可以使用perspective-n-point(pnp)算法、efficient perspective-n-point(epnp) 算法以及perspective three-point(p3p)算法等进行求解；当得到的是三维到三维的映射关 系时，则可以使用迭代最近点(iterative closest point，icp)算法进行求解。当求解得到变 换矩阵以后，可以通过计算重投影误差来对相机位姿以及空间点的三维坐标进行微调优化， 从而得到最终值。而直接法是利用灰度不变性假设从两帧图像中的光流中完成数据关联，从 而通过最小化光度误差来估算结果。
36.随着近年深度学习的发展，深度学习也被应用在slam领域中。有监督的深度学习方法 的基本思路是设计能指导网络训练的损失函数，进而通过带标签的数据集训练网络，从而回 归六自由度(6dof)的相机位姿和像素点深度。
37.然而，上述传统的slam算法，仍然存在一些问题，例如在相机运动速度较快、旋转角 度过大的时候，可能超过该类算法所设置的几何计算阈值，从而出现“跟丢”的情况；同 时，该类算法假设场景是静态的，对于环境中常见的动态物体如人，车等没有很好的处理方 法，会造成模型精度下降；又例如传统方法使用的是人工设计的图像浅层特征，在面对在 光照强度变化剧烈、亮度较低、环境特征纹理不丰富等挑战性场景下，算法的精度会下降甚 至无法运行；以及几何计算的计算量大，对系统的计算负荷较大；人工设计的特征较为稀疏 的，无法对整张图像的信息有更充分的利用等缺陷。
38.即使现有的基于有监督的深度学习方法也同样存在缺陷,例如在提取特征时，网络接受的 输入一般是整张图像，但在实际的图像中，并不是每个区域块的信息都对估计的结果具有促 进作用，比如存在动态物体的区域会造成精度的下降，不同区域的图像块也可能会有长距离 的耦合关系，而一般的网络无法对这些空间信息进行建模，从而造成模型精度下降，即普遍 存在鲁棒性较差的缺陷；另外，基于有监督的深度学习方法严重依赖于人工标注的数据集， 而这类数据集通常会需要大量的人力、物力才能获得，增加了人工成本。
39.为了解决现有技术中同步定位与建图slam算法所存在的问题，本技术实施例提供了一 种同步定位与建图slam算法、终端及存储介质，终端获取训练数据集；根据所述训练数据 集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，所述初始网络模
型包括 全局注意力模块；所述全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道 对应的重要程度；基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换 矩阵；基于所述目标变换矩阵构建点云数据；从而令slam算法具备较强的鲁棒性和精确性。
40.需要说明的是，本发明创新性的在slam网络的特征提取阶段使用了全局注意力机制， 使得模型自动的学习像素与像素、图像块与图像块、通道与通道之间的依赖关系，从而对所 提取的特征的空间信息赋予重要性权重，可以合理的利用图像和特征之中的空间信息，从而 提升模型的准确性。本技术实施例提出的slam算法的关键点在于可以提取更好的特征，因 为图像特征直接描述了单张图片，相邻图像之间蕴藏的几何信息，能够为slam算法的整体 计算过程提供数据和基础，因此图像特征的好坏直接决定了定位和深度预测的效果。因此本 申请实施例采用的全局注意力模块参与特征的提取，能够对模型的结果起到很大的促进作用， 促进作用主要表现在三个方面，一是可以具备较高的精度，采用全局注意力模块在提取图像 特征时，对通道相关性和长距离依赖性的空间信息进行建模，使得模型能学习到更多的图像 信息，从而提升精度；二是对挑战性场景的鲁棒性较强。由于传统slam算法依赖于静态世 界假设，且采用人工设计的图像浅层特征，因此在面对光照改变、动态物体等场景时精度严 重下降甚至无法运行，而本技术采用基于深度学习的神经网络提取高维图像特征，可以保证 系统在恶劣场景下仍然能稳定运行；三是降低成本，模型基于仿射变换处理实现网络的无监 督训练，因此可以不需要做大量的人工标注数据集，只需用视觉传感器，例如摄像头采集连 续的视频序列即可用于网络训练。
41.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地 描述。
42.实施例一
43.本技术实施例提供了一种传输方法，图1为本技术实施例提出的slam算法的实现流程 示意图，如图1所示，slam算法可以包括以下步骤：
44.步骤101、获取训练数据集。
45.在本技术的实施例中，终端可以先获取训练数据集。
46.需要说明的是，在本技术的实施例中，训练数据集用于对初始网络模型进行训练处理， 训练数据集可以是包含视频序列的数据集。
47.示例性的，在本技术的实施例中，利用kitti数据集作为训练数据集；kitti数据集 是目前最大的自动驾驶场景下的算法评测数据集，该数据集中包含市区、乡村以及高速公 路等场景采集的真实图像数据，共有22个视频序列，其中11个视频序列带有ground-truth 标签；本技术实施例取前9个序列00-08作为训练数据集；另外，本技术还可以根据kitti 数据集确定测试数据集，从而对经过训练处理后的目标网络模型进行测试，例如选取kitti 数据集中的09-10作为测试数据集来测试网络性能。
48.进一步地，在本技术的实施例中，为提高训练处理的速度和精度，可以预先对训练数据 集进行预处理，包括尺寸调整操作等；尺寸调整操作可以是将图像尺寸调整至预设尺寸， 例如，将图像尺寸调整为224
×
224；从而更适应初始网络模型的训练处理，以及满足实际 部署时的实时性要求。
49.步骤102、根据训练数据集和初始网络模型进行自监督训练处理，获得目标网络模
network，gc)， 图8为本技术实施例提出的slam算法的实现示意图七，如图8所示为全局上下文注意力 模块的结构；其中，符号
“”
表示矩阵乘法；在全局上下文注意力模块中，首先采用1
×
1 卷积核softmax函数来获取注意力权重，然后与原始输入特征相乘获得全局上下文特征；与 空间注意力机制不同的是，全局上下文注意力模块采用瓶颈转换模块代替卷积层wv，瓶颈 转换模块可以建立通道依赖关系，能够将参数量从c
×
c减少到2
×c×
c/r，其中，r是瓶 颈比率，默认设置r＝16，与空间注意力机制相比，能够将转换模块的参数量减少到空间注 意力机制的1/8；由于全局上下文注意力模块的瓶颈转换模块增加了优化的难度，因此在瓶 颈转换之前添加归一化层以方便优化。全局上下文注意力模块既有空间全局上下文建模能 力，又可以实现通道加权，建立空间信息的关联性，同时参数量较小，计算复杂度低；也 就是说，全局上下文注意力模块包括用于上下文建模的全局注意力计算、用瓶颈转换建模 的通道依赖关系以及以广播元素的方式和原始输入进行特征融合；并且由于全局上下文注 意力模块是轻量级的，因此可以应用于网络多个层，以更好地捕获远程依赖。全局上下文 注意力模块可以表示为以下公式：
[0067][0068]
其中，是全局注意力权重αj，即δ(
·
)＝w
v2
relu{ln{w
v1
(
·
)}}表示瓶颈转换。
[0069]
需要说明的是，在本技术的实施例中，gc模块的作用主要包括三个方面，第一方面是 用于上下文建模获取全局上下文特征，第二方面是基于瓶颈转换模块建立通道依赖关系， 第三方面是以广播元素的方式和原始输入特征进行特征融合。并且，由于gc模块是轻量 级的，可以应用于网络中的多个层，能够更好地捕获远程依赖。
[0070]
在本技术的一些实施例中，终端根据训练数据集和初始网络模型进行自监督训练处理， 获得目标网络模型的方法可以包括：基于训练数据集中的相邻帧图像和初始网络模型获得 深度图和变换矩阵；其中，深度图表征相邻帧图像中，前一帧图像的深度信息；变换矩阵 表征相邻帧图像之间的相对变换关系；进而根据深度图和变换矩阵获得相邻帧图像中后一 帧图像对应的预测图像，并基于预测图像计算损失函数值，根据损失函数值对初始网络模 型进行自监督训练处理，获得目标网络模型。
[0071]
步骤103、基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵。
[0072]
在本技术的实施例中，终端在根据训练数据集和初始网络模型进行自监督训练处理，获 得目标网络模型之后，可以基于目标网络模型对目标图像信息进行特征提取处理，获得目 标变换矩阵。
[0073]
需要说明的是，在本技术的实施例中，目标图像信息是指利用目标网络模型实现点云数 据的构建时，输入的图像信息；目标图像信息可以是根据视觉传感器获取的大量的
函数的第一模块获得注意力权重以后，将注意力权重与目标图像信息对应的原始输入特征 进行相乘，从而获得全局上下文特征。
[0091]
步骤201b、根据全局注意力模块中的第二模块获取全局上下文特征对应的通道依赖关系； 其中，第二模块包括瓶颈转换模块、归一化层以及激活层。
[0092]
在本技术的实施例中，终端在通过目标全局注意力模块中的第一模块获取注意力权重， 将注意力权重与原始输入特征相乘获得全局上下文特征之后，可以根据全局注意力模块中 的第二模块获取全局上下文特征对应的通道依赖关系；其中，第二模块包括瓶颈转换模块、 归一化层以及激活层。
[0093]
需要说明的是，在本技术的实施例中，第二模块包括瓶颈转换模块、归一化层以及激活 层；示例性的，如前述图8所示，第二模块包括瓶颈转换模块，即两个1
×
1卷积层conv (1
×
1)、归一化层layernorm和激活层relu。
[0094]
由此可见，在本技术的实施例中，将全局上下文特征输入第二模块，可以由第二模块输 出通道依赖关系。
[0095]
步骤201c、根据通道依赖关系与目标图像信息进行特征融合处理，以完成全局注意力 计算。
[0096]
在本技术的实施例中，终端在根据第二模块获取全局上下文特征对应的通道依赖关系 之后，可以根据通道依赖关系与目标图像信息进行特征融合处理，以完成全局注意力计算。
[0097]
示例性的，在本技术的实施例中，如前述图8所示，在获得了通道依赖关系以后，根据 通道依赖关系和原始输入，即目标图像信息，以广播元素加法的方式进行特征融合处理， 从而完成全局注意力计算。
[0098]
本技术实施例提供了一种slam算法，终端获取训练数据集；根据训练数据集和初始网 络模型进行自监督训练处理，获得目标网络模型；其中，初始网络模型包括全局注意力模 块；全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对应的重要程度； 基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；基于目标变换 矩阵构建点云数据。由此可见，本技术通过在初始网络模型的结构中加入全局注意力模块， 全局注意力模块能够学习不同图像块对应的重要程度，和不同的通道对应的重要程度，从 而能够令经过训练处理后获得的目标网络模型能够在进行特征提取处理时自动“注意到
”ꢀ
不同图像区域的重要程度，极大地提升模型准确性；进而根据目标网络模型对目标图像信 息进行特征提取处理，基于获得的目标变换矩阵构建点云数据，从而具备较强的鲁棒性和 精确性。
[0099]
实施例二
[0100]
基于上述实施例，在本技术的另一实施例中，终端根据训练数据集和初始网络模型进行 自监督训练处理，获得目标网络模型的方法，即步骤102提出的方法可以包括以下步骤：
[0101]
步骤102a、基于训练数据集中的相邻帧图像和初始网络模型获得深度图和变换矩阵；其 中，深度图表征相邻帧图像中，前一帧图像的深度信息；变换矩阵表征相邻帧图像之间的相 对变换关系。
[0102]
在本技术的实施例中，终端根据训练数据集和初始网络模型进行自监督训练处
理，获得 目标网络模型，在本技术的一些实施例中，终端可以先基于训练数据集中的相邻帧图像和初 始网络模型获得深度图和变换矩阵；其中，深度图表征相邻帧图像中，前一帧图像的深度信 息；变换矩阵表征相邻帧图像之间的相对变换关系。
[0103]
可以理解的是，在本技术的实施例中，相邻帧图像包括前一帧图像和前一帧图像对应的 后一帧的图像；通过将训练数据集中的相邻帧图像输入初始网络模型，可以获得对应的深度 图和变换矩阵。
[0104]
需要说明的是，在本技术的实施例中，深度图表征相邻帧图像中，前一帧图像的深度 信息。
[0105]
还需要说明的是，在本技术的实施例中，变换矩阵表征训练数据集中的相邻帧图像之间 的相对变换关系。
[0106]
步骤102b、根据深度图和变换矩阵获得相邻帧图像中后一帧图像对应的预测图像，并 基于预测图像计算损失函数值，根据损失函数值对初始网络模型进行自监督训练处理，获得 目标网络模型。
[0107]
在本技术的实施例中，终端在基于训练数据集中的相邻帧图像和初始网络模型获得深 度图和变换矩阵之后，可以根据深度图和变换矩阵获得相邻帧图像中后一帧图像对应的预测 图像，并基于预测图像计算损失函数值，根据损失函数值对初始网络模型进行自监督训练处 理，获得目标网络模型。
[0108]
在本技术的一些实施例中，终端根据深度图和变换矩阵获得相邻帧图像中后一帧图像 对应的预测图像的方法可以包括：根据相机内参信息、深度图以及变换矩阵进行仿射变换处 理，获得预测图像；其中，仿射变换处理也即是指warping计算。
[0109]
也就是说，在本技术的实施例中，终端主要是通过仿射变换处理获得后一帧图像对应 的预测图像，进而利用预测图像计算损失函数值，从而根据损失函数值对初始网络模型进行 自监督训练处理；能够实现在没有人工标注的情况下进行联合优化，降低模型对有监督数据 的依赖，有效降低训练成本。
[0110]
进一步地，在本技术的实施例中，预测图像表征对相邻帧图像中后一帧图像的预测， 也可以理解为预测图像是“假的”相邻帧图像中后一帧图像。
[0111]
进一步地，在本技术的实施例中，损失函数值可以用于对初始网络模型进行自监督训 练处理；损失函数值包括第一损失函数值和第二损失函数值。
[0112]
在本技术的一些实施例中，终端基于预测图像计算损失函数值的方法可以包括：基于 预测图像和相邻帧图像中后一帧图像计算第一损失函数值；其中，第一损失函数值表征相邻 帧图像中后一帧图像和预测图像之间的差异程度；基于深度图计算第二损失函数值；其中， 第二损失函数值表征深度图的变化程度；根据第一损失函数值和第二损失函数值确定损失函 数值。
[0113]
可以理解的是，在本技术的实施例中，终端根据损失函数值对初始网络模型进行自监 督训练处理，即是根据损失函数值指导后续的训练方向；例如，可以根据损失函数的导数沿 梯度最小方向将损失函数值回传，从而修正前向计算公式中的各个权重值，直到损失函数值 满足预设阈值，则可以停止训练处理。
[0114]
进一步地，在本技术的实施例中，终端根据深度图和变换矩阵获得相邻帧图像中后一 帧图像对应的预测图像的方法，即步骤102b提出的方法可以包括以下步骤：
[0115]
步骤102b1、根据相机内参信息、所述深度图以及所述变换矩阵进行仿射变换处理，获 得所述预测图像。
[0116]
在本技术的实施例中，终端根据深度图和变换矩阵获得相邻帧图像中后一帧图像对应 的预测图像，在本技术的一些实施例中，终端可以根据相机内参信息、所述深度图以及所述 变换矩阵进行仿射变换处理，获得所述预测图像。
[0117]
示例性的，在本技术的实施例中，仿射变换处理，即warping计算的原理可 以表示为：p
t+1
～kt
t
→
sdt
(p
t
)k-1
p
t
；其中，t和s分别表示输入的相邻帧图像 中的后一帧图像和前一帧图像，p表示像素点位置，k、t、d分别表示相机 内参信息、变换矩阵以及深度图。本技术实施例通过仿射变换处理能够得到后 一帧图像对应的预测图像。
[0118]
进一步地，在本技术的实施例中，终端基于预测图像计算损失函数值的方法可以包括以 下步骤：
[0119]
步骤301、基于预测图像和相邻帧图像中后一帧图像计算第一损失函数值；其中，第一 损失函数值表征相邻帧图像中后一帧图像和预测图像之间的差异程度。
[0120]
在本技术的实施例中，终端基于预测图像计算损失函数值，在本技术的一些实施例中， 终端可以基于预测图像和相邻帧图像中后一帧图像计算第一损失函数值；其中，第一损失函 数值表征相邻帧图像中后一帧图像和预测图像之间的差异程度。
[0121]
需要说明的是，在本技术的实施例中，第一损失函数值是基于预测图像和相邻帧图像中 后一帧图像计算的，换句话说，第一损失函数之是基于预测的相邻帧图像中后一帧图像与真 实的相邻帧图像中后一帧图像计算的；因此，第一损失函数值可以表征相邻帧图像中后一帧 图像和预测图像之间的差异程度。
[0122]
进一步地，在本技术的实施例中，第一损失函数的计算方式可以包括两种，其中一种计 算方式可以表示为以下公式：
[0123][0124]
其中，n为像素点数量，i(t+1)表示真实的后一帧图像，表示后一帧图像对应 的预测图像。
[0125]
进一步地，在本技术的实施例中，为更好地衡量真实的后一帧图像和预测的后一帧图像 之间的差异，本技术实施例还可以采用另一种计算方式：利用结构相似性指数(structuralsimilarity，ssim)计算第一损失函数值。
[0126]
步骤302、基于深度图计算第二损失函数值；其中，第二损失函数值表征深度图的变化 程度。
[0127]
在本技术的实施例中，基于预测图像计算损失函数值，在本技术的一些实施例中，终端 可以基于深度图计算第二损失函数值；其中，第二损失函数值表征深度图的变化程度。
[0128]
需要说明的是，在本技术的实施例中，为了令得到的深度图具有局部光滑的性质，可以 采用光滑性误差对深度图进行约束优化，即基于深度图计算第二损失函数。
[0129]
示例性的，在本技术的实施例中，第二损失函数值的确定方法可以表示为以下公式：
[0130][0131]
其中，i(x,y)表示深度图，d(x,y)表示坐标为(x,y)的像素。
[0132]
进一步地，在本技术的实施例中，第二损失函数值表征深度图的变化程度。
[0133]
步骤303、根据第一损失函数值和第二损失函数值确定损失函数值。
[0134]
在本技术的实施例中，终端基于预测图像和相邻帧图像中后一帧图像计算第一损失函数 值，并且基于深度图计算第二损失函数值之后，可以根据第一损失函数值和第二损失函数值 确定损失函数值。
[0135]
需要说明的是，在本技术的实施例中，可以对第一损失函数值和第二损失函数值分别赋 予对应的权重参数，将权重参数分别与第一损失函数值和第二损失函数值相乘，从而将第一 损失函数值和权重参数的乘积，与第二损失函数值和权重参数的乘积相加，获得损失函数值。
[0136]
示例性的，在本技术的实施例中，根据第一损失函数值和第二损失函数值确定的损失函 数值为：
[0137]
loss＝αl
photo
+βl
smooth
ꢀꢀꢀ
(4)
[0138]
其中，α和β即为第一损失函数值和第二损失函数值各自对应的权重参数。
[0139]
进一步地，在本技术的实施例中，终端基于预测图像和相邻帧图像中后一帧图像计算第 一损失函数值的方法，即步骤301提出的方法可以包括以下步骤：
[0140]
步骤301a、根据预测图像、相邻帧图像中后一帧图像以及结构相似性指数ssim计算 第一损失函数值。
[0141]
在本技术的实施例中，终端基于预测图像和相邻帧图像中后一帧图像计算第一损失函 数值，在本技术的一些实施例中，终端可以根据预测图像、相邻帧图像中后一帧图像以及 ssim计算第一损失函数值。
[0142]
示例性的，使用ssim计算的第一损失函数值可以表示为以下公式：
[0143][0144]
其中，即表示利用ssim计算的部分；表示预测 图像；i(t+1)表示相邻帧图像中后一帧图像。
[0145]
进一步地，在本技术的实施例中，终端基于训练数据集中的相邻帧图像和初始网络模型 获得深度图和变换矩阵的方法，即步骤102a提出的方法可以包括以下步骤：
[0146]
步骤102a1、基于第一子网络对相邻帧图像进行特征提取处理，获得变换矩阵。
[0147]
在本技术的实施例中，终端基于训练数据集中的相邻帧图像和初始网络模型获得深度图 和变换矩阵，在本技术的一些实施例中，终端可以基于第一子网络对前一帧图像进行特征提 取处理，获得深度图。
[0148]
示例性的，在本技术的实施例中，第一子网络为基于resnet18构建的位姿回归子网络， 利用该位姿回归子网络对两张相邻帧图像进行特征提取处理，获得变换矩阵。
[0149]
步骤102a2、基于第二子网络对前一帧图像进行特征提取处理，获得深度图。
[0150]
在本技术的实施例中，终端基于训练数据集中的相邻帧图像和初始网络模型获得深度 图和变换矩阵，在本技术的一些实施例中，终端可以基于第二子网络对前一帧图像进行特征 提取处理，获得深度图。
[0151]
示例性的，在本技术的实施例中，第二子网络为u-net网络结构的深度预测子网络， 利用该深度预测子网络对相邻帧图像中的前一帧图像进行特征提取处理，获得深度图。
[0152]
综上所述，在本技术的实施例中，示例性的，图9为本技术实施例提出的slam算法的 实现示意图八，如图9所示为对初始网络模型的训练处理的原理，输入为两张相邻帧的图 像信息：i(t)和i(t+1)；将两张相邻帧的图像信息中的前一帧图像信息i(t)输入第二子网络， 即深度预测子网络，将i(t)和i(t+1)输入第一子网络，即位姿回归子网络，第一子网络的特 诊提取部分可以采用resnet18网络；其中，第二子网络包括编码器encoder和解码器decoder； 第二子网络中的encoder中设置有gc模块；第二子网络中也设置有全局注意力模块，设置 在posenet的特征提取模块后，第二子网络中还包括一个全连接层(fully connected layers， fc)；进而由第二子网络得到深度图d(t)，由第一子网络得到变换矩阵t；进而根据深度图 d(t)得到第二损失函数l
smooth
，同时根据变换矩阵t和深度图d(t)进行仿射变换处理 (warping)，得到预测图像并基于进行相应计算获得第一损失函数l
photo
，从 而根据l
smooth
和l
photo
确定损失函数，基于损失函数完成自监督训练处理。
[0153]
进一步地，在本技术的实施例中，终端基于目标网络模型对目标图像信息进行特征提取 处理，获得目标变换矩阵的方法，即步骤103提出的方法可以包括以下步骤：
[0154]
步骤103a、基于目标网络模型中的目标第一子网络对目标图像信息进行特征提取处理， 获得初始变换矩阵。
[0155]
在本技术的实施例中，终端基于目标网络模型对目标图像信息进行特征提取处理，获得 目标变换矩阵，在本技术的一些实施例中，终端可以基于目标网络模型中的目标第一子网 络对目标图像信息进行特征提取处理，获得初始变换矩阵。
[0156]
需要说明的是，在本技术的实施例中，目标第一子网络是基于目标图像信息中的相邻两 帧图像进行特征提取处理的。
[0157]
可以理解的是，在本技术的实施例中，目标第一子网络为训练后的第一子网络；例如， 目标第一子网络可以为训练后的位姿回归子网络。
[0158]
需要说明的是，在本技术的实施例中，初始变换矩阵是指利用目标第一子网络对目标图 像信息进行特征提取处理后获得的矩阵信息。
[0159]
步骤103b、基于目标网络模型中的目标第二子网络对目标图像信息中的前一帧图像进行 特征提取处理，获得目标图像信息中的前一帧图像对应的目标深度图。
[0160]
在本技术的实施例中，终端基于目标网络模型对目标图像信息进行特征提取处理，获得 目标变换矩阵，在本技术的一些实施例中，终端可以基于目标网络模型中的目标第二子网 络对目标图像信息中的前一帧图像进行特征提取处理，获得目标图像信息中的前一帧图像 对应的目标深度图。
[0161]
需要说明的是，在本技术的实施例中，目标第二子网络为训练后的第二子网络；例如， 目标第二子网络为训练后的深度预测子网络。
[0162]
需要说明的是，在本技术的实施例中，目标深度图是利用目标第二子网络对目标
图像信 息中的前一帧图像进行特征提取处理，所获得的深度图；目标深度图可以表征目标图像信 息中的前一帧图像的深度信息。
[0163]
步骤103c、利用目标深度图对初始变换矩阵进行优化处理，获得目标变换矩阵。
[0164]
在本技术的实施例中，终端在基于目标网络模型中的目标第一子网络对目标图像信息 进行特征提取处理，获得初始变换矩阵，以及基于目标网络模型中的目标第二子网络对目标 图像信息中的前一帧图像进行特征提取处理，获得目标图像信息中的前一帧图像对应的目标 深度图之后，可以利用目标深度图对初始变换矩阵进行优化处理，获得目标变换矩阵。
[0165]
需要说明的是，在本技术的实施例中，目标深度图可以用于对初始变换矩阵进行优化处 理，能够令获得的目标变换矩阵更具精准性，从而更精确的描述目标图像信息中相邻帧图 像之间的相对变换关系。
[0166]
进一步地，在本技术的实施例中，为评估目标网络模型的性能，本技术可以利用测试数 据集对目标网络模型的整体运动轨迹和深度值进行测试；图10为本技术实施例提出的 slam算法的实现示意图九，如图10所示为具体的测试样例，是利用kitti数据集中的 09序列进行测试的运动轨迹结果；图11为本技术实施例提出的slam算法的实现示意图 十，如图11所示为利用kitti数据集中的10序列进行测试的运动轨迹结果；其中，groundtruth为标签，即表示真实数据；ours表示利用本技术实施例中的目标网络模型得到的数据。 图12为本技术实施例提出的slam算法的实现示意图十一，如图12所示为针对一帧图像 的深度图。由此可见，本技术针对具有动态物体的挑战性场景，设计添加全局注意力模块， 可以捕捉空间全局上下文信息，对通道进行注意力加权，并且计算复杂度较低，令目标网 络模型具备更强的精确性和鲁棒性。
[0167]
本技术实施例提供了一种slam算法、终端及存储介质，终端获取训练数据集；根据训 练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，初始网络模型包 括全局注意力模块；全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对 应的重要程度；基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵； 基于目标变换矩阵构建点云数据。由此可见，本技术通过在初始网络模型的结构中加入全局 注意力模块，全局注意力模块能够学习不同图像块对应的重要程度，和不同的通道对应的重 要程度，从而能够令经过训练处理后获得的目标网络模型能够在进行特征提取处理时自动
ꢀ“
注意到”不同图像区域的重要程度，极大地提升模型准确性；进而根据目标网络模型对目 标图像信息进行特征提取处理，基于获得的目标变换矩阵构建点云数据，从而具备较强的鲁 棒性和精确性。
[0168]
实施例三
[0169]
基于上述实施例，在本技术的另一实施例中，图13为本技术实施例提出的终端的组成 结构示意图一，如图13所示，本技术实施例提出的终端10可以包括获取单元11、训练单元 12、获取单元13以及构建单元14，
[0170]
所述获取单元11，用于获取训练数据集。
[0171]
所述训练单元12，用于根据所述训练数据集和初始网络模型进行自监督训练处理，获 得目标网络模型；其中，所述初始网络模型包括全局注意力模块；所述全局注意力模块用于 学习不同图像块对应的重要程度，和不同的通道对应的重要程度。
[0172]
所述获取单元13，用于基于所述目标网络模型对目标图像信息进行特征提取处理，获 得目标变换矩阵。
[0173]
所述构建单元14，用于基于所述目标变换矩阵构建点云数据。
[0174]
进一步地，所述全局注意力模块为全局上下文注意力gc模块；所述全局注意力模块包 括第一注意力模块和第二注意力模块。
[0175]
进一步地，所述获取单元13，还用于基于所述目标网络模型中的目标全局注意力模块 对所述目标图像信息进行全局注意力计算，以完成所述特征提取处理。
[0176]
进一步地，所述获取单元13，还用于通过所述目标全局注意力模块中的第一模块获取 注意力权重，将所述注意力权重与原始输入特征相乘获得全局上下文特征；以及根据所述目 标全局注意力模块中第二模块获取所述全局上下文特征对应的通道依赖关系；其中，所述第 二模块包括瓶颈转换模块、归一化层以及激活层；以及根据所述通道依赖关系与所述目标图 像信息进行特征融合处理，以完成所述全局注意力计算。
[0177]
进一步地，所述初始网络模型包括第一子网络和第二子网络；所述第一子网络包括所 述第一注意力模块；所述第二子网络包括所述第二注意力模块。
[0178]
进一步地，所述第一子网络为位姿回归子网络；所述位姿回归子网络的特征提取模块 为resnet网络。
[0179]
进一步地，所述第二子网络为深度预测子网络；所述深度预测子网络为u-net网络； 所述u-net网络包括编码器和解码器；所述编码器为resnet网络；所述解码器为dispnet 网络。
[0180]
进一步地，所述训练单元12，还用于基于所述训练数据集中的相邻帧图像和所述初始 网络模型获得深度图和变换矩阵；其中，所述深度图表征所述相邻帧图像中，前一帧图像的 深度信息；所述变换矩阵表征所述相邻帧图像之间的相对变换关系；
[0181]
根据所述深度图和所述变换矩阵获得相邻帧图像中后一帧图像对应的预测图像，并基 于所述预测图像计算损失函数值，根据所述损失函数值对所述初始网络模型进行自监督训练 处理，获得所述目标网络模型。
[0182]
进一步地，所述训练单元12，还用于根据相机内参信息、所述深度图以及所述变换矩 阵进行仿射变换处理，获得所述预测图像。
[0183]
进一步地，所述训练单元12，还用于基于所述预测图像和所述相邻帧图像中后一帧图 像计算第一损失函数值；其中，所述第一损失函数值表征所述相邻帧图像中后一帧图像和所 述预测图像之间的差异程度；以及基于所述深度图计算第二损失函数值；其中，所述第二损 失函数值表征所述深度图的变化程度；以及根据所述第一损失函数值和所述第二损失函数 值确定所述损失函数值。
[0184]
进一步地，所述训练单元12，还用于根据所述预测图像、所述相邻帧图像中后一帧图 像以及结构相似性指数ssim计算所述第一损失函数值。
[0185]
进一步地，所述训练单元12，还用于基于所述第一子网络对所述相邻帧图像进行特征 提取处理，获得所述变换矩阵；
[0186]
基于所述第二子网络对所述前一帧图像进行特征提取处理，获得所述深度图。
[0187]
进一步地，所述resnet网络包括输入部分、输出部分以及中间部分；其中，所述中间 部分由堆叠的残差块构成。
[0188]
进一步地，所述获取单元13，还用于基于所述目标网络模型中的目标第一子网络对所 述目标图像信息进行特征提取处理，获得初始变换矩阵；以及基于所述目标网络模型中的目 标第二子网络对所述目标图像信息中的前一帧图像进行特征提取处理，获得所述目标图像信 息中的前一帧图像对应的目标深度图；以及利用所述目标深度图对所述初始变换矩阵进行优 化处理，获得所述目标变换矩阵。
[0189]
图14为本技术实施例提出的终端的组成结构示意图二，如图14所示，本技术实施例提 出的终端还可以包括处理器15、存储有处理器15可执行指令的存储器16，进一步地，终端 20还可以包括通信接口17，和用于连接处理器15、存储器16以及通信接口17的总线18。
[0190]
在本技术的实施例中，上述处理器15可以为特定用途集成电路(application specificintegrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理 装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device， pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(centralprocessing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不 同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。 处理器15还可以包括存储器16，该存储器16可以与处理器15连接，其中，存储器16用于 存储可执行程序代码，该程序代码包括计算机操作指令，存储器16可能包含高速ram存储 器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
[0191]
在本技术的实施例中，总线18用于连接通信接口17、处理器15以及存储器16以及这 些器件之间的相互通信。
[0192]
在本技术的实施例中，存储器16，用于存储指令和数据。
[0193]
进一步地，在本技术的实施例中，上述处理器15，用于获取训练数据集；
[0194]
根据所述训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中， 所述初始网络模型包括全局注意力模块；所述全局注意力模块用于学习不同图像块对应的重 要程度，和不同的通道对应的重要程度；
[0195]
基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；
[0196]
基于所述目标变换矩阵构建点云数据。
[0197]
在实际应用中，上述存储器16可以是易失性存储器(volatile memory)，例如随机存取 存储器(random-access memory，ram)；或者非易失性存储器(non-volatile memory)，例 如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard diskdrive，hdd)或固态硬盘(solid-state drive，ssd)；或者上述种类的存储器的组合，并向 处理器15提供指令和数据。
[0198]
另外，在本实施例中的各功能模块可以集成在一个分析单元中，也可以是各个单元单独 物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件 的形式实现，也可以采用软件功能模块的形式实现。
[0199]
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可 以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者 说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品
的形式体现出 来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可 以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全 部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory， rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储 程序代码的介质。
[0200]
本技术实施例提供了一种终端及存储介质，终端获取训练数据集；根据训练数据集和 初始网络模型进行自监督训练处理，获得目标网络模型；其中，初始网络模型包括全局注意 力模块；全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对应的重要程 度；基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；基于目标变 换矩阵构建点云数据。由此可见，本技术通过在初始网络模型的结构中加入全局注意力模块， 全局注意力模块能够学习不同图像块对应的重要程度，和不同的通道对应的重要程度，从而 能够令经过训练处理后获得的目标网络模型能够在进行特征提取处理时自动“注意到”不同 图像区域的重要程度，极大地提升模型准确性；进而根据目标网络模型对目标图像信息进行 特征提取处理，基于获得的目标变换矩阵构建点云数据，从而具备较强的鲁棒性和精确性。
[0201]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。 因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而 且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包 括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0202]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的实现流程 示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的 每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这 些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的 处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产 生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定 的功能的装置。
[0203]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式 工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的 制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个 方框中指定的功能。
[0204]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或 其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编 程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个 方框或多个方框中指定的功能的步骤。
[0205]
以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。

技术特征：
1.一种同步定位与建图slam算法，其特征在于，所述方法包括：获取训练数据集；根据所述训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，所述初始网络模型包括全局注意力模块；所述全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对应的重要程度；基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；基于所述目标变换矩阵构建点云数据。2.根据权利要求1所述的方法，其特征在于，所述全局注意力模块为全局上下文注意力gc模块；所述全局注意力模块包括第一注意力模块和第二注意力模块。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标网络模型对目标图像信息进行特征提取处理，包括：基于所述目标网络模型中的目标全局注意力模块对所述目标图像信息进行全局注意力计算，以完成所述特征提取处理。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标网络模型中的目标全局注意力模块对所述目标图像信息进行全局注意力计算，包括：通过所述目标全局注意力模块中的第一模块获取注意力权重，将所述注意力权重与原始输入特征相乘获得全局上下文特征；根据所述目标全局注意力模块中第二模块获取所述全局上下文特征对应的通道依赖关系；其中，所述第二模块包括瓶颈转换模块、归一化层以及激活层；根据所述通道依赖关系与所述目标图像信息进行特征融合处理，以完成所述全局注意力计算。5.根据权利要求2所述的方法，其特征在于，所述初始网络模型包括第一子网络和第二子网络；所述第一子网络包括所述第一注意力模块；所述第二子网络包括所述第二注意力模块。6.根据权利要求2或5所述的方法，其特征在于，所述第一子网络为位姿回归子网络；所述位姿回归子网络的特征提取模块为resnet网络。7.根据权利要求2或5所述的方法，其特征在于，所述第二子网络为深度预测子网络；所述深度预测子网络为u-net网络；所述u-net网络包括编码器和解码器；所述编码器为resnet网络；所述解码器为dispnet网络。8.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型，包括：基于所述训练数据集中的相邻帧图像和所述初始网络模型获得深度图和变换矩阵；其中，所述深度图表征所述相邻帧图像中，前一帧图像的深度信息；所述变换矩阵表征所述相邻帧图像之间的相对变换关系；根据所述深度图和所述变换矩阵获得相邻帧图像中后一帧图像对应的预测图像，并基于所述预测图像计算损失函数值，根据所述损失函数值对所述初始网络模型进行自监督训练处理，获得所述目标网络模型。9.根据权利要求8所述的方法，其特征在于，所述根据所述深度图和所述变换矩阵获得相邻帧图像中后一帧图像对应的预测图像，包括：
根据相机内参信息、所述深度图以及所述变换矩阵进行仿射变换处理，获得所述预测图像。10.根据权利要求8或9所述的方法，其特征在于，所述基于所述预测图像计算损失函数值，包括：基于所述预测图像和所述相邻帧图像中后一帧图像计算第一损失函数值；其中，所述第一损失函数值表征所述相邻帧图像中后一帧图像和所述预测图像之间的差异程度；基于所述深度图计算第二损失函数值；其中，所述第二损失函数值表征所述深度图的变化程度；根据所述第一损失函数值和所述第二损失函数值确定所述损失函数值。11.根据权利要求10所述的方法，其特征在于，所述基于所述预测图像和所述相邻帧图像中后一帧图像计算第一损失函数值，包括：根据所述预测图像、所述相邻帧图像中后一帧图像以及结构相似性指数ssim计算所述第一损失函数值。12.根据权利要求5或8所述的方法，其特征在于，所述基于所述训练数据集中的相邻帧图像和所述初始网络模型获得深度图和变换矩阵，包括：基于所述第一子网络对所述相邻帧图像进行特征提取处理，获得所述变换矩阵；基于所述第二子网络对所述前一帧图像进行特征提取处理，获得所述深度图。13.根据权利要求6或7所述的方法，其特征在于，所述resnet网络包括输入部分、输出部分以及中间部分；其中，所述中间部分由堆叠的残差块构成。14.根据权利要求1所述的方法，其特征在于，所述基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵，包括：基于所述目标网络模型中的目标第一子网络对所述目标图像信息进行特征提取处理，获得初始变换矩阵；基于所述目标网络模型中的目标第二子网络对所述目标图像信息中的前一帧图像进行特征提取处理，获得所述目标图像信息中的前一帧图像对应的目标深度图；利用所述目标深度图对所述初始变换矩阵进行优化处理，获得所述目标变换矩阵。15.一种终端，其特征在于，所述终端包括获取单元、训练单元、获取单元以及构建单元，所述获取单元，用于获取训练数据集；所述训练单元，用于根据所述训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，所述初始网络模型包括全局注意力模块；所述全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对应的重要程度；所述获取单元，用于基于所述目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；所述构建单元，用于基于所述目标变换矩阵构建点云数据。16.一种终端，其特征在于，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-14任一项所述的方法。17.一种计算机存储介质，其上存储有程序，所述程序被处理器执行时，实现如权利要求1-14任一项所述的方法。

技术总结
本申请实施例公开了一种同步定位与建图SLAM算法、终端及存储介质，终端获取训练数据集；根据训练数据集和初始网络模型进行自监督训练处理，获得目标网络模型；其中，初始网络模型包括全局注意力模块；全局注意力模块用于学习不同图像块对应的重要程度，和不同的通道对应的重要程度；基于目标网络模型对目标图像信息进行特征提取处理，获得目标变换矩阵；基于目标变换矩阵构建点云数据。目标变换矩阵构建点云数据。目标变换矩阵构建点云数据。


技术研发人员：谢柠蔚
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2022.01.27
技术公布日：2023/8/9