用于执行环境预测任务的方法、装置、介质及电子设备与流程

1.本公开涉及驾驶技术，尤其是一种用于执行环境预测任务的方法、装置、介质及电子设备。


背景技术：

2.自动驾驶技术在车辆等可移动设备上的应用越来越广泛，使用自动驾驶技术时，可以参考设置于可移动设备的传感器设备采集的信息，对与自动驾驶相关的未来环境信息进行预测，从而为可移动设备的规划控制提供先验信息。


技术实现要素：

3.目前，用于对与自动驾驶相关的未来环境信息进行预测的方案计算量大，效率低。为了解决上述技术问题，本公开提供了一种用于执行环境预测任务的方法、装置、介质及电子设备，以减小未来环境信息的预测所需的计算量，提升预测效率。
4.根据本公开的一个方面，提供了一种用于执行环境预测任务的方法，包括：
5.获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；
6.对所述环境图像集进行特征提取，得到特征提取结果；
7.对所述特征提取结果进行空间位置编码，得到空间位置编码结果；
8.确定预定环境预测任务对应的初始化环境特征张量；
9.基于所述特征提取结果、所述空间位置编码结果和所述初始化环境特征张量，确定目标环境特征张量；
10.基于所述目标环境特征张量，确定所述预定环境预测任务对应的预测结果。
11.根据本公开的另一个方面，提供了一种用于执行环境预测任务的装置，包括：
12.第一获取模块，用于获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；
13.特征提取模块，用于对所述第一获取模块得到的所述环境图像集进行特征提取，得到特征提取结果；
14.空间位置编码模块，用于对所述特征提取模块得到的所述特征提取结果进行空间位置编码，得到空间位置编码结果；
15.第一确定模块，用于确定预定环境预测任务对应的初始化环境特征张量；
16.第二确定模块，用于基于所述特征提取模块得到的所述特征提取结果、所述空间位置编码模块得到的所述空间位置编码结果和所述第一确定模块确定的所述初始化环境特征张量，确定目标环境特征张量；
17.第三确定模块，用于基于所述第二确定模块确定的所述目标环境特征张量，确定所述预定环境预测任务对应的预测结果。
18.根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介
质存储有计算机程序，所述计算机程序用于执行上述用于执行环境预测任务的方法。
19.根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
20.处理器；
21.用于存储所述处理器可执行指令的存储器；
22.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述用于执行环境预测任务的方法。
23.根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述用于执行环境预测任务的方法。
24.基于本公开的实施例提供的用于执行环境预测任务的方法、装置、介质、电子设备及产品，可以通过获取环境图像集操作、特征提取操作、空间位置编码操作、初始化操作等操作的实施，实现未来环境信息的预测，该方法可以降低计算量和内存消耗，提高预测效率，便于落地使用。
附图说明
25.图1是本公开一示例性实施例提供的用于执行环境预测任务的方法的流程示意图。
26.图2是本公开一示例性实施例中确定空间位置编码结果的方式的流程示意图。
27.图3是本公开另一示例性实施例中确定空间位置编码结果的方式的流程示意图。
28.图4是本公开一示例性实施例中获得每一提取特征图对应的融合特征图的方式的流程示意图。
29.图5是本公开一示例性实施例中获得目标提取特征图对应的融合特征图的方式的流程示意图。
30.图6是注意力机制的原理示意图。
31.图7是本公开一示例性实施例中获得初始化环境特征张量的方式的流程示意图。
32.图8是本公开一示例性实施例中生成预定环境预测任务对应的预测结果的方式的流程示意图。
33.图9是本公开一示例性实施例中后向运动流预测任务对应的运动流预测图的示意图。
34.图10是本公开一示例性实施例中实现未来环境信息的预测的原理图。
35.图11是本公开一示例性实施例中通过初始化操作，获得初始化环境特征张量的示意图。
36.图12是本公开一示例性实施例中利用3d坐标生成器生成提取特征图对应的空间位置信息的原理图。
37.图13是本公开一示例性实施例中3d位置编码器的工作原理图。
38.图14是本公开一示例性实施例提供的用于执行环境预测任务的装置的结构示意图。
39.图15-1是本公开一示例性实施例中空间位置编码模块的结构示意图。
40.图15-2是本公开另一示例性实施例中空间位置编码模块的结构示意图。
41.图16是本公开一示例性实施例中第一确定模块的结构示意图。
42.图17是本公开一示例性实施例中第三确定模块的结构示意图。
43.图18是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
44.为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
45.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
46.申请概述
47.使用自动驾驶技术时，可以参考设置于可移动设备的传感器设备采集的信息，对与自动驾驶相关的未来环境信息进行预测，从而为可移动设备的规划控制提供先验信息。
48.相关技术中，为了实现对未来环境信息的预测，一般需要执行如下步骤：将环境图像转换为3d形式的数据；将3d形式的数据投影至鸟瞰(bird
‘
s eye view，bev)空间，得到鸟瞰图数据；对鸟瞰图数据进行时间编码，得到时空状态信息；参数化两个概率分布，分别是当前分布和未来分布，当前分布仅与当前的时空状态信息关联，未来分布与当前的时空状态信息以及可观测的未来标签信息关联；从当前分布和未来分布中选取采样点；基于采样点和当前的时空状态信息，经由未来预测模型进行递归预测，得到预测出的未来状态信息；基于未来状态信息，预测所需的未来环境信息。
49.在实现本公开的过程中，发明人发现，上述用于预测未来环境信息的方案中，由于需要进行概率分布的参数化和采样，且需要进行递归预测，实施起来计算量大，效率低，不利于落地使用。
50.示例性方法
51.图1是本公开一示例性实施例提供的用于执行环境预测任务的方法的流程示意图。图1所示的方法可以应用在电子设备上，例如应用在车载计算平台上。图1所示的方法可以包括步骤110、步骤120、步骤130、步骤140、步骤150和步骤160，下面分别对各步骤进行说明。
52.步骤110，获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集。
53.可选地，可移动设备包括但不限于车辆、飞机、轮船等，在此不再一一列举。
54.可选地，设置于可移动设备不同视角的多个摄像头可以表示为n个摄像头。n个摄像头可以为6个摄像头，6个摄像头可以分别位于可移动设备的正前方、左前方、右前方、正后方、左后方、右后方。当然，n的取值并不局限于6，例如还可以为4、8等，在此不再一一列举。在同一采集时刻，通过n个摄像头可以采集n张环境图像，以得到包括n张环境图像的环境图像集。
55.步骤120，对环境图像集进行特征提取，得到特征提取结果。
56.在步骤120中，可以通过特征提取器，分别对环境图像集中的n张环境图像进行特征提取，以得到与n张环境图像一一对应的n张提取特征图，特征提取结果可以包括得到的n张提取特征图。特征提取器可以为卷积神经网络或者其他类型的神经网络。每一提取特征
图可以认为是2d图像特征(也可以称为2dfeatures)。每一提取特征图的尺寸可以表示为[h_f，w_f，c]，h_f表示高度，w_f表示宽度，c表示通道数。可选地，c可以大于3，例如，c可以为10、12、15等，在此不再一一列举。
[0057]
步骤130，对特征提取结果进行空间位置编码，得到空间位置编码结果。
[0058]
在步骤130中，可以通过空间位置编码器(也可以称为3d位置编码器)，对特征提取结果进行空间位置编码，即为2d图像特征添加空间位置信息(也可以称为3d位置信息)，以得到同时承载2d图像特征和3d位置信息的空间位置编码结果。
[0059]
步骤140，确定预定环境预测任务对应的初始化环境特征张量。
[0060]
可选地，预定环境预测任务可以是指：用于预测预定维度的未来环境信息，以为可移动设备的规划控制提供先验信息的任务。预定维度可以是与可移动设备周围的对象的位置、运动情况等相关的维度。可移动设备周围的对象包括但不限于车辆、行人、骑行人等。骑行人包括但不限于骑自行车的人、骑电动车的人、骑摩托车的人等。
[0061]
在步骤140中，可以通过初始化操作，生成预定环境预测任务对应的初始化环境特征张量。初始化环境特征张量可以是用于承载可移动设备周围的环境特征的高维张量。初始化环境特征张量可以呈特征图形式。初始化环境特征张量的尺寸可以表示为[h_q，w_q，c]，h_q表示高度，w_q表示宽度，c表示通道数。
[0062]
步骤150，基于特征提取结果、空间位置编码结果和初始化环境特征张量，确定目标环境特征张量。
[0063]
在步骤150中，可以基于特征提取结果和空间位置编码结果，采用一定的更新方式，对初始化环境特征张量进行更新，以得到目标环境特征张量。上述更新方式中可以引入注意力机制，包括但不限于自注意力(self attention)机制、交叉注意力(cross attention)机制等。
[0064]
步骤160，基于目标环境特征张量，确定预定环境预测任务对应的预测结果。
[0065]
在步骤160中，可以对目标环境特征张量进行解码，以得到预定环境预测任务对应的预测结果，预测结果可以包括针对预定维度预测出的未来环境信息。
[0066]
当然，步骤160的实施方式并不局限于此，例如，可以先对目标环境特征张量进行优化，以得到相比于目标环境特征张量更为准确有效的优化环境特征张量，然后再对优化环境特征张量进行解码，以得到预定环境预测任务对应的预测结果。
[0067]
本公开的实施例中，可以通过设置于可移动设备不同视角的多个摄像头，获取多视角图像数据(相当于上文中的环境图像集)，通过对多视角图像数据进行特征提取，可以得到承载2d图像特征的特征提取结果，通过对特征提取结果进行空间位置编码，可以得到同时承载2d图像特征和3d位置信息的空间位置编码结果。由于2d图像特征和3d位置信息均与可移动设备所处的实际场景紧密关联，基于特征提取结果、空间位置编码结果和初始化环境特征张量，确定目标环境特征张量，有利于保证确定的目标环境特征张量适配于可移动设备所处的实际场景，由此能够为预定环境预测任务对应的预测结果的确定提供有效的参考，从而实现未来环境信息的预测。可见，本公开的实施例中是通过获取环境图像集操作、特征提取操作、空间位置编码操作、初始化操作等操作的实施，实现未来环境信息的预测，既不需要进行概率分布的参数化和采样，也不需要进行递归预测，由此能够省去概率分布的参数化和采样，以及递归预测这些繁琐的算法流程，从而降低计算量和内存消耗，提高
预测效率，便于落地使用。
[0068]
在一些可选示例中，如图2所示，步骤130，包括步骤1301、步骤1302、步骤1303和步骤1304。
[0069]
步骤1301，确定特征提取结果中的每一提取特征图中的每一像素点对应的成像光束方向信息。
[0070]
如上文所介绍的，特征提取结果中的每一提取特征图的尺寸可以表示为[h_f，w_f，c]，假设h_f*w_f＝m，则每一提取特征图可以包括m个像素点。针对每一提取特征图，可以确定该提取特征图包括的m个像素点各自对应的成像光束方向信息。
[0071]
可选地，任一像素点对应的成像光束可以是指：经过该像素点所在提取特征图对应的摄像头光心以及该像素点的光束。任一像素点所在提取特征图对应的摄像头光心可以理解为：用于采集该提取特征图对应的环境图像的摄像头在采集该环境图像时的光心。这样，任一像素点对应的成像光束可以用一直线方程进行表征，该直线方程可以作为该像素点对应的成像光束方向信息。当然，任一像素点对应的成像光束方向信息并不局限于直线方程形式，例如还可以呈向量形式。
[0072]
步骤1302，在每一像素点对应的成像光束方向信息所表征的成像光束上，沿预设深度范围进行采样，得到每一像素点对应的空间采样点集。
[0073]
可选地，针对任一像素点，可以按照预定采样规则，沿预设深度范围，在该像素点对应的成像光束上进行采样，以得到多个空间采样点，该像素点对应的空间采样点集可以包括得到的多个空间采样点。预定采样规则包括但不限于等间距采样、随机采样等。预设深度范围可以根据实际情况设定，本公开对此不作限定。
[0074]
步骤1303，基于每一像素点对应的空间采样点集，确定每一提取特征图对应的空间位置信息。
[0075]
可选地，每一像素点对应的空间采样点集可以包括p个空间采样点，那么，可以确定该像素点对应的空间采样点集中的p个空间采样点各自在世界坐标系下的3d坐标，以得到p个3d坐标，p个3d坐标的集合可以称为3d坐标集。每一提取特征图对应的空间位置信息可以包括与该提取特征图中的m个像素点一一对应的m个3d坐标集。
[0076]
步骤1304，基于每一提取特征图与对应的空间位置信息，确定空间位置编码结果。
[0077]
可选地，针对每一提取特征图，可以采用融合算法，对该提取特征图与该提取特征图对应的空间位置信息进行融合，以得到该提取特征图对应的融合特征图。空间位置编码结构可以包括每一提取特征图对应的融合特征图。
[0078]
一般而言，图像中的任一像素点可以看作是真实世界中的一束光线投射至摄像头成像平面上形成的，那么，真实世界中与该像素点对应的空间点应当位于该光线上。有鉴于此，本公开的实施例中，针对每一提取特征图中的每一像素点，可以在该像素点对应的成像光束上沿预设深度范围进行采样，以得到空间采样点集，得到的空间采样点集中的每一空间采样点可以看作是可能与该像素点对应的空间点，因此，基于得到的空间采样点集，确定该提取特征图对应的空间位置信息，有利于保证确定的空间位置信息的合理性和可靠性，从而有利于保证后续得到的空间位置编码结果的合理性和可靠性。
[0079]
在一些可选示例中，如图3所示，步骤130，包括步骤1305、步骤1306和步骤1307。
[0080]
步骤1305，确定特征提取结果中的每一提取特征图中的每一像素点对应的空间位
置信息，得到每一提取特征图对应的空间位置信息。
[0081]
可选地，针对每一提取特征图中的每一像素点，可以按照图2所示实施例中的相关介绍，确定该像素点对应的3d坐标集，并将该像素点对应的3d坐标集作为该像素点对应的空间位置信息。每一提取特征图对应的空间位置信息可以包括与该提取特征图中的m个像素点一一对应的m个空间位置信息。
[0082]
步骤1306，将每一提取特征图与对应的空间位置信息进行融合，得到每一提取特征图对应的融合特征图。
[0083]
在本公开的一些可选实施方式中，如图4所示，步骤1306，包括步骤13061、步骤13062和步骤13063。
[0084]
步骤13061，基于每一提取特征图对应的空间位置信息，确定每一提取特征图对应的用于空间位置编码的参考特征图。
[0085]
可选地，每一提取特征图的尺寸可以表示为[h_f，w_f，c]，每一空间采样点集可以包括p个空间采样点，那么，可以通过初始化操作，生成尺寸为[h_f，w_f，p*4]的初始化特征图，h_f表示高度，w_f表示宽度，p*4表示通道数。
[0086]
针对任一提取特征图，由于初始化特征图的高度和宽度分别与该提取特征图的高度和宽度相同，初始化特征图中的像素点可以与该提取特征图中的像素点一一对应，例如，初始化特征图中像素坐标为(u1，v1)的像素点可以与该提取特征图中像素坐标为(u1，v1)的像素点对应。假设该提取特征图中像素坐标为(u1，v1)的像素点对应的3d坐标集中的p个3d坐标依次表示为(x1，y1，z1)、(x2，y2，z2)、
……
、(x
p
，y
p
，z
p
)，则可以将x1，y1，z1、1、x2，y2，z2、1、
……
、x
p
、y
p
、z
p
、1作为特征值赋予给初始化特征图中像素坐标为(u1，v1)的像素点，且x1、y1、z1、1、x2、y2，z2、1、
……
、x
p
、y
p
、z
p
、1可以依次排列于初始化特征图的p*4个通道。按照上述方式，可以给初始化特征图中的m个像素点均赋予特征值，以更新初始化特征图，从而得到更新特征图，之后可以将更新特征图作为该提取特征图对应的参考特征图。
[0087]
在一些实施例中，初始化特征图的尺寸也可以为[h_f，w_f，p*3]，这样，可以将x1，y1，z1、x2，y2，z2、
……
、x
p
、y
p
、z
p
作为特征值赋予给初始化特征图中像素坐标为(u1，v1)的像素点，且x1、y1、z1、x2、y2，z2、
……
、x
p
、y
p
、z
p
可以依次排列于初始化特征图的p*3个通道，按照这种方式，也可以实现初始化特征图的更新。
[0088]
步骤13062，对每一提取特征图与对应的参考特征图进行尺寸对齐，得到每一提取特征图对应的对齐特征图组。
[0089]
可选地，每一提取特征图的尺寸可以表示为[h_f，w_f，c]，该提取特征图对应的参考特征图的尺寸可以表示为[h_f，w_f，p*4]，假设p*4大于c，则可以通过多层感知机(multilayer perceptron，mlp)，将该提取特征图对应的参考特征图的尺寸由[h_f，w_f，p*4]降至[h_f，w_f，c]，该提取特征图对应的对齐特征图组可以包括该提取特征图和尺寸降至[h_f，w_f，c]的参考特征图。
[0090]
在一些实施例中，也可以将该提取特征图的尺寸由[h_f，w_f，c]升至[h_f，w_f，p*4]，该提取特征图对应的对齐特征图组可以包括尺寸升至[h_f，w_f，p*4]的该提取特征图和该提取特征图对应的参考特征图。
[0091]
步骤13063，对每一提取特征图对应的对齐特征图组中的两个特征图进行融合，得到每一提取特征图对应的融合特征图。
[0092]
可选地，针对每一提取特征图，可以将该提取特征图对应的对齐特征图组中的两个特征图进行逐元素对应相加运算、逐元素对应相乘运算等，并将经运算后得到的特征图作为该提取特征图对应的融合特征图。
[0093]
上段中介绍的是通过加法运算或者乘法运算，实现对齐特征图组中的两个特征图的融合的情况，具体实现时，也可以通过加权求和运算、均值运算或者其他运算逻辑，实现对齐特征图组中的两个特征图的融合。
[0094]
采用图4所示实施方式，针对每一提取特征图，可以先将该提取特征图对应的空间位置信息转换为特征图形式，然后将该提取特征图与经转换得到的参考特征图进行尺寸对齐，以保证经对齐得到的两个特征图的尺寸一致性，这样，经对齐得到的两个特征图能够正常进行融合，由此有效地实现了该提取特征图与该提取特征图对应的空间位置信息的融合。
[0095]
在本公开的另一些可选实施方式中，如图5所示，步骤1306，包括步骤13064、步骤13065、步骤13066、步骤13067、步骤13068和步骤13069。
[0096]
步骤13064，从多个环境图像集各自对应的采集时刻中，确定基准时刻。
[0097]
可选地，环境图像集的数量可以为多个，多个环境图像集可以表示为r个环境图像集。r个环境图像集对应的采集时刻可以互异。r可以为2、3或者大于3的整数，在此不再一一列举。
[0098]
在步骤13064中，可以从与r个环境图像集一一对应的r个采集时刻中，选取与当前时刻最接近的采集时刻作为基准时刻。当然，基准时刻并不局限于此，例如可以从r个采集时刻中，选取与当前时刻第二接近的采集时刻作为基准时刻。
[0099]
步骤13065，从多个环境图像集中，确定所对应的采集时刻不同于基准时刻的目标环境图像集。
[0100]
由于r个采集时刻中的一个采集时刻作为基准时刻，可以将r个采集时刻中的剩余r－1个采集时刻各自对应的环境图像集分别作为一个目标环境图像集，也即，目标环境图集的数量可以为r－1个。
[0101]
步骤13066，从特征提取结果中，确定目标环境图像集中的每一环境图像对应的目标提取特征图。
[0102]
在上文中的步骤120中，可以针对r个环境图像集中的每一环境图像集，对该环境图像集中的n张环境图像进行特征提取，以得到该环境图像集对应的提取结果，该提取结果可以包括与该环境图像集中的n张环境图像一一对应的n张提取特征图。这样，步骤120中得到的特征提取结果可以包括与r个环境图像集一一对应的r个提取结果。
[0103]
在步骤13066中，可以先从特征提取结果中，查找到目标环境图像集对应的目标提取结果，然后从目标提取结果中，获取n张提取特征图，获取到的n张提取特征图中的每一提取特征图可以分别作为一张目标提取特征图。
[0104]
步骤13067，确定在目标环境图像集对应的采集时刻与基准时刻之间，可移动设备的位姿变化信息。
[0105]
可选地，可移动设备可以设置有惯性测量单元(inertial measurement unit，imu)。可以理解的是，惯性测量单元通常包括加速度计和陀螺仪，加速度计可以用于测量加速度，陀螺仪可以用于测量角速度和角加速度。
[0106]
在步骤13067中，可以利用惯性测量单元采集的数据进行计算，以确定在目标环境图像集对应的采集时刻与基准时刻之间，可移动设备的位姿变化信息。位姿变化信息可以呈矩阵形式，用于表征在目标环境图像集对应的采集时刻与基准时刻之间，可移动设备的平移和旋转。
[0107]
步骤13068，利用位姿变化信息，将目标提取特征图对应的空间位置信息由目标环境图像集对应的采集时刻转换至基准时刻，得到转换结果。
[0108]
如上文所介绍的，每一提取特征图对应的空间位置信息可以包括与该提取特征图中的m个像素点一一对应的m个3d坐标集。在步骤13068中，针对目标提取特征图对应的空间位置信息中的每一3d坐标集，可以将该3d坐标集中的每一3d坐标与用于表示位姿变化信息的矩阵相乘，并将该3d坐标更新为得到的相乘结果，按照这种方式，可以实现目标提取特征图对应的空间位置信息的更新，经更新后的空间位置信息即可作为步骤13068中的转换结果。
[0109]
步骤13069，将目标提取特征图与转换结果进行融合，得到目标提取特征图对应的融合特征图。
[0110]
需要说明的是，步骤13069的实施方式可以参照图4所示实施例中对提取特征图与对应的空间位置信息的融合方式的介绍，在此不在赘述。
[0111]
采用图5所示实施方式，利用可移动设备的位姿变化信息，可以将目标提取特征图由非基准时刻转换至基准时刻，这样相当于将不同提取特征图对应的空间位置信息均统一对齐至基准时刻，实现了不同提取特征图之间的时间对齐，将经时间对齐的各提取特征图用于后续步骤，有利于避免时间不对齐引入的误差，从而有利于保证最终得到的未来环境信息的准确性和可靠性。
[0112]
步骤1307，基于每一提取特征图对应的融合特征图，确定空间位置编码结果。
[0113]
可选地，空间位置编码结果可以包括每一提取特征图对应的融合特征图，不同提取特征图对应的融合特征图可以相互独立。或者，可以将每一提取特征图对应的融合特征图沿通道方向进行叠加，得到的叠加特征图可以作为空间位置编码结果。
[0114]
本公开的实施例中，可以针对特征提取结果中的每一提取特征图中的每一像素点，分别确定对应的空间位置信息，通过对这些空间位置信息进行整合，可以高效可靠地得到每一提取特征图对应的空间位置信息，通过将每一提取特征图与对应的空间位置信息进行融合，可以高效可靠地得到同时承载2d图像特征和3d位置信息的融合特征图，这样，基于融合特征图确定的空间位置编码结果也能够同时承载2d图像特征和3d位置信息。
[0115]
在一些可选示例中，步骤150，包括：
[0116]
将空间位置编码结果作为交叉注意力网络的键张量，将特征提取结果作为交叉注意力网络的值张量，将初始化环境特征张量作为交叉注意力网络的查询张量进行查询，得到目标环境特征张量。
[0117]
需要说明的是，交叉注意力网络是基于交叉注意力机制的网络。交叉注意力网络可以为transformer网络，transformer网络可以采用编码-解码结构。
[0118]
总体而言，注意力机制的原理是：在给定的信息上计算注意力分布(即判断什么信息重要，什么信息不重要)；根据注意力分布进行加权平均运算，以得到注意力计算结果。可选地，注意力机制的原理可以参考图6，具体为：source中包括一系列的《key，value》数据对
(也可以称为键-值对)，针对元素query，计算query与每一key的相似性，得到每一key对应的权重系数，利用这些权重系数，对各个value进行加权求和，以得到最终的attention计算结果(即attention value)。
[0119]
本公开的实施例中，可以将空间位置编码结果作为交叉注意力网络的键张量，将特征提取结果作为交叉注意力网络的值张量，将初始化环境特征张量作为交叉注意力网络的查询张量，那么，空间位置编码结果和特征提取结果可以组成图6中source中的多个《key，value》数据对，初始化环境特征张量可以作为图6中的query，图6中的attention value可以作为经查询得到的目标环境特征张量。通过交叉注意力机制的引入，可以实现初始化环境特征张量与空间位置编码结果、特征提取结果之间的特征交互，交互过程中可以尽量关注重要的特征，以从空间位置编码结果和特征提取结果中学习到有用的信息用于初始化环境特征张量的更新，从而得到相比于初始化环境特征张量更为准确有效的目标环境特征张量，这样有利于保证最终得到的未来环境信息的准确性和可靠性。
[0120]
在一些可选示例中，如图7所示，步骤140，包括步骤1401、步骤1402、步骤1403和步骤1404。
[0121]
步骤1401，基于预设的鸟瞰图尺寸，以及预设的鸟瞰图与现实场景感知范围之间的尺寸比例关系，确定鸟瞰视角下的多个网格各自对应的空间坐标。
[0122]
可选地，预设的鸟瞰图尺寸可以表示为[h_q，w_q，3]，预设的鸟瞰图与现实场景感知范围之间的尺寸比例关系可以为比值形式，例如表示为k。
[0123]
由于鸟瞰图尺寸为[h_q，w_q，3]，鸟瞰图尺寸对应的鸟瞰特征图可以包括h_q*w_q个网格，这样，步骤1401中鸟瞰视角下的多个网格可以为h_q*w_q个网格。针对多个网格中的任一网格，可以确定该网格的像素坐标，例如，该网格所在的列的数值可以作为该网格的像素坐标中的横坐标，该网格所在的行的数值可以作为该网格的像素坐标中的纵坐标。基于k和该网格的像素坐标，可以确定该网格对应的空间坐标(x，y，z)。假设该网格的像素坐标为(u2，v2)，则可以有：x＝u2*k，y＝v2*k，z＝0。
[0124]
以上介绍的尺寸比例关系表征的是现实场景感知范围的尺寸与鸟瞰图尺寸的比值的情况，具体实现时，尺寸比例关系也可以表征鸟瞰图尺寸与现实场景感知范围的尺寸的比值，这样，x＝u2/k，y＝v2/k，z＝0。
[0125]
步骤1402，基于鸟瞰图尺寸，以及多个网格各自对应的空间坐标，确定鸟瞰视角下用于特征张量初始化的第一参考张量。
[0126]
可选地，可以生成尺寸为[h_q，w_q，3]，包括多个网格的初始化鸟瞰特征图。针对初始化鸟瞰特征图中的多个网格中的每一网格，可以将该网格对应的空间坐标中的x、y、0作为特征值赋予给该网格，且x、y、0可以依次排列于初始化鸟瞰特征图的3个通道。按照上述方式，可以给初始化鸟瞰特征图中的每一像素点均赋予特征值，以更新初始化鸟瞰特征图，从而得到更新鸟瞰特征图，之后可以将更新鸟瞰特征图作为第一参考张量。
[0127]
步骤1403，对第一参考张量进行升维，得到第二参考张量。
[0128]
可选地，第一参考张量的尺寸可以表示为[h_q，w_q，3]，在步骤1403中，可以通过多层感知机，将第一参考张量的尺寸由[h_q，w_q，3]升至[h_q，w_q，c]，以得到第二参考张量。
[0129]
步骤1404，基于第二参考张量，确定预定环境预测任务对应的初始化环境特征张
量。
[0130]
可选地，第二参考张量的尺寸可以为[h_q，w_q，c]，那么，可以将第二参考张量确定为初始化环境特征张量。
[0131]
在一些实施例中，第二参考张量的尺寸可以不为[h_q，w_q，c]，例如为[h_q，w_q，2c]，则可以对第二参考张量进行尺寸调整，以得到尺寸为[h_q，w_q，c]的张量作为初始化环境特征张量。
[0132]
本公开的实施例中，基于鸟瞰图尺寸和尺寸比例关系，可以合理确定鸟瞰视角下的多个网格各自对应的空间坐标，以与鸟瞰图尺寸一并用于第一参考张量的确定，第一参考张量能够对可移动设备周围环境在世界坐标系下的相关位置信息进行基础的表征，通过对第一参考张量的升维处理，可以高效可靠地得到更高维的第二参考张量以用于初始化环境特征张量的确定，这样就通过初始化操作，得到了承载可移动设备周围的环境特征的初始化环境特征张量，初始化流程简单，便于实施。
[0133]
在一些可选示例中，如图8所示，步骤160，包括步骤1601、步骤1602、步骤1603和步骤1604。
[0134]
步骤1601，获取设置于可移动设备的雷达在环境图像集对应的采集时刻采集的点云数据。
[0135]
可选地，设置于可移动设备的雷达包括但不限于激光雷达、毫米波雷达等。
[0136]
假设设置于可移动设备的雷达在环境图像集对应的采集时刻进行了实际的数据采集，则可以将雷达在该采集时刻实际采集的点云数据作为步骤1601中的点云数据。假设设置于可移动设备的雷达在环境图像集对应的采集时刻并未进行实际的数据采集，而是在早于该采集时刻且与该采集时刻邻近的第一时刻以及晚于该采集时刻且与该采集时刻邻近的第二时刻进行了实际的数据采集，则可以在雷达在第一时刻采集的点云数据与在第二时刻采集的点云数据之间插值，得到该采集时刻对应的点云数据以作为步骤1601中的点云数据。
[0137]
步骤1602，利用点云数据，生成鸟瞰特征图。
[0138]
可选地，可以采用任意可实施的方式，将点云数据转换为鸟瞰特征图，本公开对具体转换方式不做限定。目标环境特征张量可以呈特征图形式，鸟瞰特征图的高度和宽度可以分别与目标环境特征张量的高度和宽度相同。
[0139]
步骤1603，将目标环境特征张量与鸟瞰特征图进行融合，得到融合张量。
[0140]
在步骤1603中，可以将目标环境特征张量与鸟瞰特征图沿通道方向进行叠加，并将得到的叠加特征图作为融合张量。或者，可以对得到的叠加特征图进行尺寸调整，以使经尺寸调整后的叠加特征图符合后续处理的输入需求，经尺寸调整后的叠加特征图可以作为融合张量。
[0141]
步骤1604，基于融合张量，经由预定环境预测任务对应的预测网络，生成预定环境预测任务对应的预测结果。
[0142]
可选地，可以预先训练获得预定环境预测任务对应的预测网络。预测网络也可以称为预测头。预测网络包括上采样层和多层感知机。融合张量可以相当于上文中的优化环境特征张量，预测网络可以对融合张量进行解码，以得到预定环境预测任务对应的预测结果。
[0143]
本公开的实施例中，可以基于点云数据和多视角图像数据预测未来环境信息，这样能够提升未来环境信息的预测所依据的信息的丰富度，并且，点云数据能够用于获得精准的深度信息，因此有利于提升最终得到的未来环境信息的准确性和可靠性。
[0144]
在一些可选示例中，预定环境预测任务包括：环境占据图预测任务。
[0145]
可选地，环境占据图预测任务可以用于预测多个未来时刻中的每一未来时刻，多个网格中的每一网格的占据情况，占据情况可以包括被占据的概率值。环境占据图预测任务对应的预测结果可以为环境占据概率图。环境占据概率图的尺寸可以表示为[t_p，h_p，w_p，1]，t_p表示预测的未来帧数，h_p表示高度，w_p表示宽度，1表示一维的概率值。
[0146]
本公开的实施例中，通过环境占据图预测任务的执行，能够确定未来时刻可移动设备周围的哪些位置被占据，例如，可以确定环境占据概率图中概率值大于预设概率值(例如0.6、0.7等)的位置被占据，这样有利于合理规划可移动设备的轨迹，保证可移动设备在路面上的顺畅移动，且避免可移动设备发生碰撞。
[0147]
在一些可选示例中，预定环境预测任务包括：运动流预测任务。
[0148]
可选地，运动流预测任务可以用于预测多个未来时刻中的每一未来时刻，可移动设备周围的动态对象(也可以称为动态的物体)的运动情况，运动情况包括但不限于运动方向、运动速度大小等。
[0149]
在本公开的一些可选实施方式中，
[0150]
运动流预测任务包括：后向运动流预测任务；
[0151]
预测结果包括：后向运动流预测任务对应的鸟瞰视角下的运动流预测图；
[0152]
运动流预测图包括：多个网格各自对应的物体运动方向；和/或，多个网格各自对应的物体运动速度大小；
[0153]
任一物体运动方向为：由物体在未来时刻所占据的网格指向未来时刻的前一时刻所占据的网格的方向。
[0154]
可选地，后向运动流预测任务对应的运动流预测图的尺寸可以表示为[t_p，h_p，w_p，2]，t_p表示预测的未来帧数，h_p表示高度，w_p表示宽度，2表示二维的向量，二维的向量的方向可以表示物体运动方向，二维的向量的长度可以表示物体运动速度大小。
[0155]
在一个可选的例子中，后向运动流预测任务对应的运动流预测图可以如图9所示。假设物体在未来时刻所占据的网格为网格91，物体在未来时刻的前一时刻所占据的网格既可以为网格92，也可以为网格93，或者为网格94等，这样有利于实现针对动态对象的多模态轨迹预测。另外，任一网格在未来时刻只会被一个动态对象占据，而不会被多个动态对象占据，这样有利于避免运动流预测的碰撞问题。
[0156]
当然，运动流预测任务包并不局限于后向运动流预测任务，还可以包括前向运动流预测任务，前向运动流预测任务对应的运动流预测图中，任一物体运动方向可以为：由物体在未来时刻的前一时刻所占据的网格指向在未来时刻所占据的网格的方向。
[0157]
本公开的实施例中，通过运动流预测任务的执行，能够确定未来时刻可移动设备周围的动态的物体的运动情况，这样有利于合理规划可移动设备的轨迹，保证可移动设备在路面上的顺畅移动，且避免可移动设备发生碰撞。
[0158]
在一些可选示例中，为了实现未来环境信息的预测，如图10所示，可以通过车载环视摄像系统(相当于上文中的n个摄像头组成的摄像系统)，获取第t时刻对应的环境图像集
和第t－1时刻对应的环境图像集。第t时刻可以为当前时刻，第t－1时刻可以为当前时刻的前一时刻。
[0159]
通过初始化操作，可以得到占据运动流occflow query(相当于预定环境预测任务同时包括环境占据图预测任务和运动流预测任务情况下的初始化环境特征张量)。可选地，初始化操作的过程可以参考图11以及与7所示实施例中的相关介绍。
[0160]
利用卷积神经网络(相当于上文中的特征提取器)，可以对第t时刻对应的环境图像集和第t－1时刻对应的环境图像集均进行特征提取，以得到特征提取结果。假设特征提取结果中的每一提取特征图的尺寸表示为[h_f，w_f，c]，则特征提取结果的尺寸可以表示为[2n，h_f，w_f，c]。
[0161]
利用3d坐标生成器，可以生成特征提取结果中的每一提取特征图对应的空间位置信息。提取特征图对应的空间位置信息的确定原理可以参考上文中的相关介绍，简单而言，如图12所示，是针对成像平面上的每一像素点，确定真实空间中可能与该像素点对应的空间点，以得到空间采样点集，并基于得到的空间采样点集，确定相应的空间位置信息。
[0162]
利用可移动设备在第t－1时刻与第t时刻之间的位姿变化信息，可以对特征提取结果中的每一提取特征图对应的空间位置信息进行时间对齐(即均对齐至第t时刻)。
[0163]
利用图13所示的3d位置编码器，可以将每一提取特征图与该提取特征图对应的空间位置信息进行融合，以得到该提取特征图对应的融合特征图，并据此得到空间位置编码结果。图13中的1
×
1表示卷积核为1
×
1的卷积层，relu表示修正线性单元(rectified linear unit)层，sigmoid表示一种激活函数。
[0164]
将空间位置编码结果作为transformer网络(相当于上文中的交叉注意力网络)的键张量，将特征提取结果作为transformer网络的值张量，并将经初始化操作得到的occflow query作为transformer网络的查询张量进行查询，可以使occflow query在transformer网络中学习图像特征，以得到更新后的occflow query(相当于上文中的目标环境特征张量)。
[0165]
利用occflow预测头(相当于上文中的预测网络)，可以对更新后的occflow query进行解码，以得到环境占据概率图和运动流预测图，由此实现了未来环境信息的预测(未来环境信息可以包括环境占据概率图和运动流预测图)。
[0166]
综上，本公开的实施例能够使用车载环视摄像系统获取的各视角图像，端到端地实现从传感器输入到场景级别的环境占据概率图和运动流预测图的预测，为自动驾驶车辆合理的规划控制提供先验信息，并且，预测过程省去了特征投影至鸟瞰空间、概率分布的参数化和采样，以及递归预测等步骤，大大简化了算法流程，降低了算法计算量和内存消耗，提高了预测效率。由于通过空间位置编码，为2d图像特征赋予空间位置信息，不需要将特征由二维转换至三维空间，有利于避免转换过程带来的误差，且有利于减小算法计算量。另外，通过后向运动流预测任务的执行，能够实现多模态运动预测，且能避免运动流预测的碰撞问题。
[0167]
示例性装置
[0168]
图14是本公开一示例性实施例提供的用于执行环境预测任务的装置的结构示意图。图14所示的装置包括第一获取模块1410、特征提取模块1420、空间位置编码模块1430、第一确定模块1440、第二确定模块1450和第三确定模块1460。
[0169]
第一获取模块1410，用于获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；
[0170]
特征提取模块1420，用于对第一获取模块1410得到的环境图像集进行特征提取，得到特征提取结果；
[0171]
空间位置编码模块1430，用于对特征提取模块1420得到的特征提取结果进行空间位置编码，得到空间位置编码结果；
[0172]
第一确定模块1440，用于确定预定环境预测任务对应的初始化环境特征张量；
[0173]
第二确定模块1450，用于基于特征提取模块1420得到的特征提取结果、空间位置编码模块1430得到的空间位置编码结果和第一确定模块1440确定的初始化环境特征张量，确定目标环境特征张量；
[0174]
第三确定模块1460，用于基于第二确定模块1450确定的目标环境特征张量，确定预定环境预测任务对应的预测结果。
[0175]
在一些可选示例中，如图15-1所示，空间位置编码模块1430，包括：
[0176]
第一确定子模块14301，用于确定特征提取模块1420得到的特征提取结果中的每一提取特征图中的每一像素点对应的空间位置信息，得到每一提取特征图对应的空间位置信息；
[0177]
第一融合子模块14302，用于将每一提取特征图与第一确定子模块14301确定的对应的空间位置信息进行融合，得到每一提取特征图对应的融合特征图；
[0178]
第二确定子模块14303，用于基于第一融合子模块14302得到的每一提取特征图对应的融合特征图，确定空间位置编码结果。
[0179]
在一些可选示例中，第一融合子模块14302，包括：
[0180]
第一确定单元，用于从多个环境图像集各自对应的采集时刻中，确定基准时刻；
[0181]
第二确定单元，用于从多个环境图像集中，确定所对应的采集时刻不同于第一确定单元确定的基准时刻的目标环境图像集；
[0182]
第三确定单元，用于从特征提取模块1420得到的特征提取结果中，确定第二确定单元确定的目标环境图像集中的每一环境图像对应的目标提取特征图；
[0183]
第四确定单元，用于确定在第二确定单元确定的目标环境图像集对应的采集时刻与第一确定单元确定的基准时刻之间，可移动设备的位姿变化信息；
[0184]
转换单元，用于利用第四确定单元确定的位姿变化信息，将第三确定单元确定的目标提取特征图对应的空间位置信息由第二确定单元确定的目标环境图像集对应的采集时刻转换至第一确定单元确定的基准时刻，得到转换结果；
[0185]
第一融合单元，用于将第三确定单元确定的目标提取特征图与转换单元得到的转换结果进行融合，得到第三确定单元确定的目标提取特征图对应的融合特征图。
[0186]
在一些可选示例中，第一融合子模块14302，包括：
[0187]
第五确定单元，用于基于第一确定子模块14301确定的每一提取特征图对应的空间位置信息，确定每一提取特征图对应的用于空间位置编码的参考特征图；
[0188]
尺寸对齐单元，用于对每一提取特征图与第一确定子模块14301确定的对应的参考特征图进行尺寸对齐，得到每一提取特征图对应的对齐特征图组；
[0189]
第二融合单元，用于对尺寸对齐单元得到的每一提取特征图对应的对齐特征图组
中的两个特征图进行融合，得到每一提取特征图对应的融合特征图。
[0190]
在一些可选示例中，如图15-2所示，空间位置编码模块1430，包括：
[0191]
第三确定子模块14304，用于确定特征提取模块1420得到的特征提取结果中的每一提取特征图中的每一像素点对应的成像光束方向信息；
[0192]
采样子模块14305，用于在第三确定子模块14304确定的每一像素点对应的成像光束方向信息所表征的成像光束上，沿预设深度范围进行采样，得到每一像素点对应的空间采样点集；
[0193]
第四确定子模块14306，用于基于采样子模块14305得到的每一像素点对应的空间采样点集，确定每一提取特征图对应的空间位置信息；
[0194]
第五确定子模块14307，用于基于每一提取特征图与第四确定子模块14306确定的对应的空间位置信息，确定空间位置编码结果。
[0195]
在一些可选示例中，第二确定模块1450，包括：
[0196]
查询子模块，用于将空间位置编码模块1430得到的空间位置编码结果作为交叉注意力网络的键张量，将特征提取模块1420得到的特征提取结果作为交叉注意力网络的值张量，将第一确定模块1440确定的初始化环境特征张量作为交叉注意力网络的查询张量进行查询，得到目标环境特征张量。
[0197]
在一些可选示例中，如图16所示，第一确定模块1440，包括：
[0198]
第六确定子模块14401，用于基于预设的鸟瞰图尺寸，以及预设的鸟瞰图与现实场景感知范围之间的尺寸比例关系，确定鸟瞰视角下的多个网格各自对应的空间坐标；
[0199]
第七确定子模块14402，用于基于鸟瞰图尺寸，以及第六确定子模块14401确定的多个网格各自对应的空间坐标，确定鸟瞰视角下用于特征张量初始化的第一参考张量；
[0200]
升维子模块14403，用于对第七确定子模块14402确定的第一参考张量进行升维，得到第二参考张量；
[0201]
第八确定子模块14404，用于基于升维子模块14403得到的第二参考张量，确定预定环境预测任务对应的初始化环境特征张量。
[0202]
在一些可选示例中，如图17所示，第三确定模块1460，包括：
[0203]
第九确定子模块14601，用于获取设置于可移动设备的雷达在第一获取模块1410得到的环境图像集对应的采集时刻采集的点云数据；
[0204]
第一生成子模块14602，用于利用第九确定子模块14601获取的点云数据，生成鸟瞰特征图；
[0205]
第二融合子模块14603，用于将第二确定模块1450确定的目标环境特征张量与第一生成子模块14602生成的鸟瞰特征图进行融合，得到融合张量；
[0206]
第二生成子模块14604，用于基于第二融合子模块14603得到的融合张量，经由预定环境预测任务对应的预测网络，生成预定环境预测任务对应的预测结果。
[0207]
在一些可选示例中，预定环境预测任务包括：
[0208]
环境占据图预测任务；
[0209]
和/或，
[0210]
运动流预测任务。
[0211]
在一些可选示例中，
[0212]
运动流预测任务包括：后向运动流预测任务；
[0213]
预测结果包括：后向运动流预测任务对应的鸟瞰视角下的运动流预测图；
[0214]
运动流预测图包括：多个网格各自对应的物体运动方向；和/或，多个网格各自对应的物体运动速度大小；
[0215]
任一物体运动方向为：由物体在未来时刻所占据的网格指向未来时刻的前一时刻所占据的网格的方向。
[0216]
在本公开的装置中，上述公开的各种可选实施例、可选实施方式和可选示例，都可以根据需要进行灵活的选择和组合，从而实现相应的功能和效果，本公开不进行一一列举。
[0217]
示例性电子设备
[0218]
图18图示了根据本公开实施例的电子设备的框图，电子设备1800包括一个或多个处理器1810和存储器1820。
[0219]
处理器1810可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1800中的其他组件以执行期望的功能。
[0220]
存储器1820可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1810可以运行一个或多个计算机程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。
[0221]
在一个示例中，电子设备1800还可以包括：输入装置1830和输出装置1840，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0222]
该输入装置1830还可以包括例如键盘、鼠标等等。
[0223]
该输出装置1840可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0224]
当然，为了简化，图18中仅示出了该电子设备1800中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1800还可以包括任何其他适当的组件。
[0225]
示例性计算机程序产品和计算机可读存储介质
[0226]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
[0227]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0228]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部
分中描述的根据本公开各种实施例的方法中的步骤。
[0229]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0230]
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0231]
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

技术特征：
1.一种用于执行环境预测任务的方法，包括：获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；对所述环境图像集进行特征提取，得到特征提取结果；对所述特征提取结果进行空间位置编码，得到空间位置编码结果；确定预定环境预测任务对应的初始化环境特征张量；基于所述特征提取结果、所述空间位置编码结果和所述初始化环境特征张量，确定目标环境特征张量；基于所述目标环境特征张量，确定所述预定环境预测任务对应的预测结果。2.根据权利要求1所述的方法，其中，所述对所述特征提取结果进行空间位置编码，得到空间位置编码结果，包括：确定所述特征提取结果中的每一提取特征图中的每一像素点对应的空间位置信息，得到所述每一提取特征图对应的空间位置信息；将所述每一提取特征图与对应的空间位置信息进行融合，得到所述每一提取特征图对应的融合特征图；基于所述每一提取特征图对应的融合特征图，确定所述空间位置编码结果。3.根据权利要求1所述的方法，其中，所述对所述特征提取结果进行空间位置编码，得到空间位置编码结果，包括：确定所述特征提取结果中的每一提取特征图中的每一像素点对应的成像光束方向信息；在所述每一像素点对应的成像光束方向信息所表征的成像光束上，沿预设深度范围进行采样，得到所述每一像素点对应的空间采样点集；基于所述每一像素点对应的空间采样点集，确定所述每一提取特征图对应的空间位置信息；基于所述每一提取特征图与对应的空间位置信息，确定所述空间位置编码结果。4.根据权利要求2所述的方法，其中，所述将所述每一提取特征图与对应的空间位置信息进行融合，得到所述每一提取特征图对应的融合特征图，包括：从多个所述环境图像集各自对应的所述采集时刻中，确定基准时刻；从多个所述环境图像集中，确定所对应的所述采集时刻不同于所述基准时刻的目标环境图像集；从所述特征提取结果中，确定所述目标环境图像集中的每一环境图像对应的目标提取特征图；确定在所述目标环境图像集对应的所述采集时刻与所述基准时刻之间，所述可移动设备的位姿变化信息；利用所述位姿变化信息，将所述目标提取特征图对应的所述空间位置信息由所述目标环境图像集对应的所述采集时刻转换至所述基准时刻，得到转换结果；将所述目标提取特征图与所述转换结果进行融合，得到所述目标提取特征图对应的融合特征图。5.根据权利要求2所述的方法，其中，所述将所述每一提取特征图与对应的空间位置信
息进行融合，得到所述每一提取特征图对应的融合特征图，包括：基于所述每一提取特征图对应的空间位置信息，确定所述每一提取特征图对应的用于空间位置编码的参考特征图；对所述每一提取特征图与对应的参考特征图进行尺寸对齐，得到所述每一提取特征图对应的对齐特征图组；对所述每一提取特征图对应的对齐特征图组中的两个特征图进行融合，得到所述每一提取特征图对应的融合特征图。6.根据权利要求1所述的方法，其中，所述基于所述特征提取结果、所述空间位置编码结果和所述初始化环境特征张量，确定目标环境特征张量，包括：将所述空间位置编码结果作为交叉注意力网络的键张量，将所述特征提取结果作为所述交叉注意力网络的值张量，将所述初始化环境特征张量作为所述交叉注意力网络的查询张量进行查询，得到目标环境特征张量。7.根据权利要求1所述的方法，其中，所述确定预定环境预测任务对应的初始化环境特征张量，包括：基于预设的鸟瞰图尺寸，以及预设的鸟瞰图与现实场景感知范围之间的尺寸比例关系，确定鸟瞰视角下的多个网格各自对应的空间坐标；基于所述鸟瞰图尺寸，以及所述多个网格各自对应的空间坐标，确定鸟瞰视角下用于特征张量初始化的第一参考张量；对所述第一参考张量进行升维，得到第二参考张量；基于所述第二参考张量，确定预定环境预测任务对应的初始化环境特征张量。8.根据权利要求1所述的方法，其中，所述基于所述目标环境特征张量，确定所述预定环境预测任务对应的预测结果，包括：获取设置于所述可移动设备的雷达在所述环境图像集对应的采集时刻采集的点云数据；利用所述点云数据，生成鸟瞰特征图；将所述目标环境特征张量与所述鸟瞰特征图进行融合，得到融合张量；基于所述融合张量，经由所述预定环境预测任务对应的预测网络，生成所述预定环境预测任务对应的预测结果。9.根据权利要求1-8中任一项所述的方法，其中，所述预定环境预测任务包括：环境占据图预测任务；和/或，运动流预测任务。10.根据权利要求9所述的方法，其中，所述运动流预测任务包括：后向运动流预测任务；所述预测结果包括：所述后向运动流预测任务对应的鸟瞰视角下的运动流预测图；所述运动流预测图包括：多个网格各自对应的物体运动方向；和/或，多个网格各自对应的物体运动速度大小；任一物体运动方向为：由物体在未来时刻所占据的网格指向所述未来时刻的前一时刻所占据的网格的方向。
11.一种用于执行环境预测任务的装置，包括：第一获取模块，用于获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；特征提取模块，用于对所述第一获取模块得到的所述环境图像集进行特征提取，得到特征提取结果；空间位置编码模块，用于对所述特征提取模块得到的所述特征提取结果进行空间位置编码，得到空间位置编码结果；第一确定模块，用于确定预定环境预测任务对应的初始化环境特征张量；第二确定模块，用于基于所述特征提取模块得到的所述特征提取结果、所述空间位置编码模块得到的所述空间位置编码结果和所述第一确定模块确定的所述初始化环境特征张量，确定目标环境特征张量；第三确定模块，用于基于所述第二确定模块确定的所述目标环境特征张量，确定所述预定环境预测任务对应的预测结果。12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10中任一所述的用于执行环境预测任务的方法。13.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-10中任一所述的用于执行环境预测任务的方法。

技术总结
公开了一种用于执行环境预测任务的方法、装置、介质及电子设备，方法包括：获取设置于可移动设备不同视角的多个摄像头在相同采集时刻分别采集的环境图像，得到环境图像集；对环境图像集进行特征提取，得到特征提取结果；对特征提取结果进行空间位置编码，得到空间位置编码结果；确定预定环境预测任务对应的初始化环境特征张量；基于特征提取结果、空间位置编码结果和初始化环境特征张量，确定目标环境特征张量；基于目标环境特征张量，确定预定环境预测任务对应的预测结果。本公开实施例可以实现未来环境信息的预测，且能够省去概率分布的参数化和采样，以及递归预测这些繁琐的算法流程，从而降低计算量和内存消耗，提高预测效率，便于落地使用。便于落地使用。便于落地使用。


技术研发人员：蒋博 陈嘉杰 周贺龙 张骞
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：2023.08.03
技术公布日：2023/10/11