一种实时移动实景下AR信息显示方法、车辆和装置与流程

一种实时移动实景下ar信息显示方法、车辆和装置
技术领域
1.本技术涉及增强现实技术领域，特别涉及一种实时移动实景下ar信息显示方法、车辆和装置。


背景技术：

2.增强现实抬头显示器(augmented reality head up display，ar hud)是一种将包含ar信息的图像显示在前方视野中的装置，其中，ar信息包括驾驶辅助及导航指引信息。如此，驾驶员在观察ar信息时，无需低头查看手机或车辆显示屏中的ar信息，就能查看车辆前方视野中的ar信息，避免了视线切换，减少了危机反应时间，提高了驾驶的安全性。
3.其中，ar信息的显示方式一般为车辆首先采集道路实景图像，基于道路实景图像，确定出ar信息需要在前方视野中显示的位置，然后在前方视野中对应的位置显示ar信息。
4.但是，当车辆处在行驶状态，车辆基于采集的道路实景图像确定ar信息在前方视野中显示的位置需要一定时间，在这段时间内，车辆会发生移动，如此，车辆显示前述ar信息时，前方视野已经变化，使得ar信息的显示信息中的显示位置不准确，ar信息与前方视野虚实贴合的真实感较低，用户体验较差。


技术实现要素：

5.本技术实施例提供了一种实时移动实景下ar信息显示方法、车辆和装置。
6.第一方面，本技术实施例提供了一种实时移动实景下ar信息显示方法，应用于电子设备，所述方法包括：获取所述电子设备在移动过程中，在第一时刻处于第一位置处的第一道路实景图像；基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置；基于所述电子设备从第一位置移动到第二位置的过程中所述电子设备的移动速度，确定所述预测显示位置的校准信息；基于所述校准信息获取校准后的显示位置；所述电子设备处于第二位置处时，基于所述校准后的显示位置在前方视野中显示所述ar信息。
7.可以理解，基于本技术实施例，电子设备可以基于校准后的显示位置在前方视野中显示所述ar信息。如此，在一定程度上可以提高ar信息的显示位置的准确性，提高ar信息与前方视野虚实贴合的真实感，提升用户体验。
8.在上述第一方面的一种可能的实现中，所述电子设备处于第二位置处时，基于校准后的显示位置在前方视野中显示所述ar信息之前，所述方法还包括：将校准后的显示信息从图像坐标系转化为人眼坐标系，再转化为增强现实抬头显示器坐标系。
9.在上述第一方面的一种可能的实现中，所述基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置，包括：基于所述第一道路实景图像确定空间特征信息；基于所述空间特征信息确定所述第一目标物对应的ar信息的预测显示信息。
10.在上述第一方面的一种可能的实现中，所述基于所述第一道路实景图像确定空间特征信息，包括：基于同步定位与建图技术和所述第一道路实景图像确定所述空间特征信息。
11.在上述第一方面的一种可能的实现中，所述基于所述第一道路实景图像确定空间特征信息，包括：若所述第一道路实景图像中存在弯曲或者上下坡道路，将所述第一道路实景图像由摄像头角度拍摄的图像转化为世界坐标系下的图像。
12.在上述第一方面的一种可能的实现中，所述ar信息包括驾驶辅助信息和/或导航指引信息。
13.第二方面，本技术实施例提供了一种车辆，所述车辆包括抬头显示器和ar信息显示系统；所述ar信息显示系统用于获取所述车辆在移动过程中，在第一时刻处于第一位置处的第一道路实景图像；所述ar信息显示系统用于基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置；所述ar信息显示系统用于基于所述车辆从第一位置移动到第二位置的过程中所述车辆的移动速度，确定所述预测显示位置的校准信息；所述ar信息显示系统用于基于所述校准信息获取校准后的显示位置；所述ar信息显示系统用于在所述车辆处于第二位置处时，基于校准后的显示位置控制所述抬头显示器显示所述ar信息。
14.可以理解，ar信息显示系统可以为智慧车载系统、抬头显示系统中的控制器等，但不限于此。
15.在上述第一方面的一种可能的实现中，所述基于校准后的显示位置在前方视野中显示所述ar信息之前，所述ar信息显示系统用于将校准后的显示信息从图像坐标系转化为人眼坐标系，再转化为增强现实抬头显示器坐标系。
16.在上述第一方面的一种可能的实现中，所述ar信息显示系统用于基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置，包括：所述ar信息显示系统用于基于所述第一道路实景图像确定空间特征信息；所述ar信息显示系统用于基于所述空间特征信息确定所述第一目标物对应的ar信息的预测显示信息。
17.在上述第一方面的一种可能的实现中，所述ar信息显示系统基于所述第一道路实景图像确定空间特征信息，包括：所述ar显示系统用于基于同步定位与建图技术和所述第一道路实景图像确定所述空间特征信息。
18.在上述第一方面的一种可能的实现中，所述ar信息显示系统用于基于所述第一道路实景图像确定空间特征信息，包括：所述ar信息显示系统用于在所述第一道路实景图像中存在弯曲或者上下坡道路的情况下，将所述第一道路实景图像由摄像头角度拍摄的图像转化为世界坐标系下的图像。
19.在上述第一方面的一种可能的实现中，所述ar信息包括驾驶辅助信息和/或导航指引信息。
20.第三方面，本技术实施例提供了一种装置，所述装置包括：一个或多个存储器，所述一个或多个存储器存储有指令；处理器，所述处理器和所述一个或多个存储器耦合，当所述指令被所述处理器执行时，使得所述装置执行第一方面任一项所述的实时移动实景下ar信息显示方法。
21.在上述第一方面的一种可能的实现中，所述装置为车辆、手机、手表或ar眼镜。
22.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令在电子设备上执行时使电子设备执行第一方面任一项所述的实时移动实景下ar信息显示方法。
23.第五方面，本技术实施例提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一项所述的实时移动实景下ar信息显示方法。
24.第六方面，本技术实施例提供了一种芯片，所述芯片与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以实现如第一方面任一项所述的实时移动实景下ar信息显示方法。
附图说明
25.图1是本技术实施例提供的一种虚像原理的成像示意图；
26.图2a示出了一种实时移动实景下ar信息显示方法的应用场景示意图；
27.图2b示出了一种车辆1在行驶过程中，利用抬头显示技术在挡风玻璃前方的视野中显示转向图标a001的示意图；
28.图3示出了一种实时移动实景下ar信息显示方法的流程示意图；
29.图4a示出了不同的道路坡度与车辆1所在水平线的夹角；
30.图4b示出了道路实景图像a01中可能存在的消失线p’、g’或q’；
31.图5a至图5c示出了确定车辆1采集前一帧道路实景图像中的目标物体与摄像头的距离的原理示意图；
32.图6a示出了一种摄像头相对于拍摄的物体的位置关系；
33.图6b示出了一种摄像头角度拍摄的图像坐标系下的图像l2转化为世界坐标系下的俯视图l1；
34.图7示出了一种道路实景图像中元素位置信息分布的示意图；
35.图8示出了一种车辆1确定车辆1与所在车道线位置关系的过程示意图；
36.图9示出了一种将摄像头拍摄的图像转换为人眼角度的图像的总原理图示意图；
37.图10示出了一种车辆1的一种可能的功能框架示意图。
具体实施方式
38.本技术的实施例包括但不限于一种实时移动实景下ar信息显示方法、介质及电子设备。
39.下面介绍本技术实施例中相关的一些概念。
40.(1)增强现实抬头显示器(augmented reality head up display，ar hud)
41.ar hud一般设置于车辆中，是一种基于虚像原理将图像投射到车辆中的用户(例如驾驶员)前方视野中的显示装置。
42.本技术实施例中，ar hud是一种将包含ar信息的图像显示在前方视野中现实路面上和/或现实路面的目标物上的装置。其中，ar信息包括驾驶辅助信息和/或导航指引信息。驾驶辅助信息可以包括转向指示、车道偏离、碰撞预警、跟车距离、行人提示、障碍物、导航路线等信息。导航指引信息可以包括车速、导航信息、交通标志、行车信息、兴趣区(point of interest，poi)等信息。其中，兴趣区可以是停车场、餐厅、商场、剧院、加油站等。
43.示例性的，ar hud可实现距离车辆预设距离(例如10米)的驾驶辅助信息，ar hud可实现距离车辆预设距离(例如2.5米)的导航指引信息。
44.(2)虚像原理
45.虚像是可以由眼睛直接观看而不能被光幕接收的光学现象。
46.本技术实施例中，车辆中的ar hud的成像原理可参见图1，图1是本技术实施例提供的一种虚像原理的成像示意图。如图1所示，增强现实抬头显示器e生成源图像，并基于源图像发出具有一定发散角α1的光束l，光束l以光线l1和l2示意，经过反射镜m1、m2和汽车前挡风玻璃的反射后，光束l以发散角α2进入人眼，大脑会以“光线沿直线传播”的经验对光线反向追迹，认为光束l以反向延长的交点为物点，即虚像点。该虚像点的内容可以是前述的ar信息。
47.如前所述，当车辆处在行驶状态，车辆基于采集的道路实景图像确定ar信息在前方视野中显示的位置需要一定时间，在这段时间内，车辆会发生移动，如此，车辆显示前述ar信息时，前方视野已经变化，使得ar信息的显示信息中的显示位置不准确，ar信息与前方视野虚实贴合的真实感较低，用户体验较低。
48.例如，图2a示出了一种实时移动实景下ar信息显示方法的应用场景示意图。如图2a所示，车辆1在当前环境中行驶，车辆1在时刻t0时，处于位置p1，在时刻t1，处于位置p2，在时刻t0至时刻t1，车辆1已经从位置p1移动到当前位置p2，车辆1移动了距离d1。
49.图2b示出了一种车辆1在行驶过程中，利用抬头显示技术在挡风玻璃前方的视野中显示转向图标a001的示意图。
50.如图2b所示，当车辆1处在行驶状态，且导航应用场景为在交通信号灯所在的转弯处显示转向图标a001，其中，转弯处这一位置的定位是车辆1根据至少交通信号灯这一目标物的位置确定的，转向图标a001用于提示车辆1在交通信号灯所在的转弯处改变行驶方向。
51.车辆1在时刻t0时，处于位置p1，车辆1可以采集道路实景图像，然后基于采集的道路实景图像得到转向图标a001显示的位置p1’。而在t1时刻显示转向图标a001时，车辆1已经从位置p1移动到当前位置p2，已经移动了距离d1。因此，前方视野已经发生了变化，车辆1与交通信号灯所在的转弯处的距离已经缩短了。而转向图标a001仍然是按照先前交通信号灯所在的转弯处与车辆1位置之间的距离进行显示，因此，转向图标a001会显示在位置p1’，使得转向图标a001的显示位置与其实际应该显示的位置不对应，转向图标a001与前方视野虚实贴合的真实感较低，降低用户体验。
52.为了解决背景技术中提出的技术问题，本技术实施例提供一种实时移动实景下ar信息显示方法。该方法包括：车辆在行驶过程中，在第一时刻的第一位置采集道路实景图像，基于道路实景图像确定目标物对应的ar信息的预测显示位置，在基于道路实景图像确定目标物(或称：目标点)对应的ar信息的预测显示位置的过程中，车辆1已经从第一位置行驶至第二位置，在第二时刻的第二位置处，车辆1基于第一位置和第二位置校准ar信息的预测显示位置，并基于校准后的预测显示位置在车辆1前方视野中显示ar信息。
53.如此，提高ar信息的显示位置的准确性，提高ar信息与前方视野虚实贴合的真实感，提升用户体验。
54.例如，如图2b所示，在该导航应用场景下，若车辆1处在行驶状态，在时刻t0的位置p1采集道路实景图像，基于道路实景图像确定交通信号灯这一目标物所在的转弯处对应的ar信息(即转向图标a001)的预测显示位置为位置p1’，在基于道路实景图像确定目标物对应的转向图标a001的预测显示位置的过程中，车辆1已经从位置p1行驶至位置p2，在时刻t1
的位置p2处，车辆1基于位置p1和位置p2校准ar信息(即转向图标a001)的预测显示位置，得到校准后的位置为位置p2’，并基于校准后的预测显示位置p2’在车辆1前方视野中显示转向图标a001。
55.基于上述方案，车辆1会得到较为准确的转向图标a001的显示位置(位置p2’)。而不是部分覆盖交通信号灯的支撑柱的位置p1’。如此，可以提高转向图标a001的显示位置的准确性，从而提高转向图标a001与前方视野虚实贴合的真实感，提升用户体验。
56.本技术实施例提供的一种实时移动实景下ar信息显示方法可以适用于ar实景导航过程中，例如转弯、变道等。但不限于此。
57.本技术实施例提供的一种实时移动实景下ar信息显示方法除了可以应用在车辆的ar实景导航，还可以应用在手机的ar实景导航、智能手表的ar实景导航、ar眼镜的ar实景导航等，但不限于此。
58.可以理解，ar信息的显示方式可以为文字、图像、三维(3d)模型等。上述转向图标a001可以采用3d样式进行显示，从而呈现较好的立体感、真实感，提高实景ar信息显示的视觉效果，为用户提供较好的导航指引。
59.图3根据本技术实施例公开的一种实时移动实景下ar信息显示方法的流程示意图。如图3所示，该流程的执行主体可以为车辆1，该流程包括如下步骤：
60.301：获取车辆1在第一时刻的第一位置的行驶环境中的空间特征信息。
61.可以理解，空间特征信息可以包括道路特征信息和/或道路空间信息，道路特征信息可以包括车辆1所在行驶环境中的各物体，各物体可以包括建筑物、前方车辆1、红绿灯、车道线、电线杆、路边沿、路口等等。道路空间信息可以包括车辆1在实际环境中所处的位置信息，示例性的，该位置信息可以包括车辆1的车姿，可以理解的是，车姿是指车辆相对于道路的上下俯仰角、或者左右俯仰角等。其中，上下俯仰角是指车辆与前方道路所在平行线之间的夹角。道路空间信息还可以包括车辆1所在实际环境中各物体的位置信息。
62.在一些实施例中，车辆1可以获取车辆1行驶环境的道路实景图像，从获取的道路实景图像中提取空间特征信息。可选的，道路空间信息可以通过同步定位与建图(simultaneous localization and mapping，slam)方式(或技术)获取，其中，slam的目的是根据车辆1获取的道路实景图像实时构建周围环境地图。可以理解，在此基础上，车辆1可以进一步基于几何透视法和该周围环境地图推测车辆1所在的行驶环境中的各物体的位置信息。在其他一些实施例中，若车辆1中有高精地图和激光雷达，车辆1可以通过高精地图和激光雷达获取车辆1和行驶环境下各物体的绝对位置(或称：绝对地理位置)。其中，绝对地理位置即经纬度位置，是以整个地球为参考系，以经纬度为度量标准，地球上每一个地方都有自身唯一的经纬度值。例如，车辆1可以通过高精地图和激光雷达获取车辆1和ar信息标注位置(例如：交通信号灯所在的转弯处)的绝对位置。
63.除了通过slam方式获取上述道路空间信息，在其他一些实施例中，车辆1还可以通过以下方式获取道路空间信息，以修正通过slam方式获取的道路空间信息。示例性的，车辆1可以根据车辆1中用户的眼睛和道路实景图像中消失线所在的直线与道路水平线的夹角，确定车辆1所在水平线与前方道路所在平行线的夹角。其中，“消失线”是指平行线的视觉相交点。
64.例如，图4a表示不同的道路坡度与车辆1所在水平线的夹角。如图4a所示，oc表示
车辆1中用户的眼睛的位置，用户眼睛位置oc和消失线p’、g’、q’、h’的连接线所在的直线与水平线och的夹角分别为0、α、φ、β。图4b表示道路实景图像a01中可能存在的消失线p’、g’、q’、h’。
65.消失线在道路实景图像a01中的位置不同，车辆1所在水平线与道路的夹角不同。若道路实景图像a01中的消失线为p’，则根据眼睛oc与车辆1的挡风玻璃显示的道路实景图像a01平面的距离，以及消失线p’与道路实景图像a01边缘的距离，以及正切和反正切三角公式，得到车辆1中道路实景图像a01中用户的眼睛的位置oc与消失线p’所在的直线ocp’与水平线och的夹角α。
66.由于道路实景图像a01中用户的眼睛的位置oc与消失线p’所在的直线ocp’与水平线och的夹角为夹角α，以及用户的眼睛的位置oc与消失线p所在直线与车辆1所在的与水平线och平行的平面的夹角也同样为夹角α，车辆1所在的与水平线och平行的平面与车辆1前方道路的夹角也同样为夹角α。从而得到车辆1所在的与水平线och平行的平面与道路3的夹角为夹角α。
67.同理，若道路实景图像a01中的消失线为g’，则根据眼睛oc与道路实景图像a01平面的距离，以及消失线g’与道路实景图像a01边缘的距离，以及正切公式和反正切三角公式，得到车辆1所在的与水平线och平行的平面与道路2的夹角为夹角φ。
68.同理，若道路实景图像a01中的消失线为q’，则根据眼睛oc与道路实景图像a01平面的距离，以及消失线q’与道路实景图像a01边缘的距离，以及正切公式和反正切三角公式，得到车辆1所在的与水平线och平行的平面与道路3的夹角为夹角β。
69.在车辆1行驶过程中，车辆1可以通过摄像头采集前帧道路实景图像(例如第一位置处的道路实景图像)和后帧道路实景图像(例如第二位置处的道路实景图像)，在摄像头采集前帧道路实景图像至摄像头采集后帧道路实景图像的过程中，车辆1行驶预设距离。然后，车辆1可以基于车辆1行驶的预设距离，以及目标物体在前帧道路实景图像与后帧道路实景图像中的移动变化量以及成像变化(视角、几何透视、畸变等)，确定车辆1采集后帧道路实景图像中的目标物体与摄像头的距离。
70.例如，图5a至图5c示出了确定车辆1采集前一帧道路实景图像中的目标物体与摄像头的距离的原理示意图。例如，如图5a所示，车辆1通过摄像头采集当前帧道路实景图像和前一帧道路实景图像，在摄像头采集前一帧道路实景图像至摄像头采集当前帧道路实景图像的过程中，车辆1行驶预设距离d。由于成像变化为等比例缩小，未发生畸变，因此，车辆1可以基于车辆1行驶的预设距离d，以及目标物体在当前帧道路实景图像与前一帧道路实景图像中的移动变化量(例如,如图5b所示：目标物体的面积占拍摄成像屏幕的面积的占比k1和目标物体的面积占拍摄成像屏幕的面积的占比k2)，通过以下公式确定车辆1行驶的预设距离d：
71.d＝d2*(k
2-k1)/k172.其中，如图5c所示，d2表示摄像头采集当前帧的前一帧道路实景图像的时刻，车辆1与目标物体的距离。
73.可以理解，由于摄像头朝向位置是倾斜向下，但又并非完全朝向正下方，获得的道路实景图像可能存在梯形畸变，即出现在道路实景图像近端的物体宽大，出现在图像远端的物体窄小。此梯形畸变会造成后续的导航线识别及计算出的偏转角度存在较大误差，从
而无法达到准确定位和沿线行进的目的。因此，车辆1可以直接根据摄像头光学镜头的成像原理以及其他几何关系，推导出图像坐标系与实际世界坐标系的映射关系，从而将摄像头视角拍摄的图像坐标系下的道路实景图像转换为实际世界坐标系下的俯视的道路实景图像。
74.在一些实施例中，车辆1如果判断出道路实景图像中的道路有弯曲或者上下坡，需要按照弯曲线在几何透视空间的尺度来计算，拟合还原实际世界坐标系下的俯视角度下的前景弯路弧度或上下坡。
75.具体地，根据摄像头的光学镜头的成像原理，车辆1推导出了图像坐标系与实际世界坐标系之间的对应关系。即只要知道弯曲的道路和上下坡道路这些目标物在图像坐标系中的像素坐标，就可以推导出目标物与摄像头底部的实际水平和垂直距离。
76.例如，图6a示出了一种摄像头相对于拍摄的物体的位置关系。图6b示出了一种摄像头角度拍摄的图像坐标系下的图像l2转化为世界坐标系下的俯视图l1。
77.车辆1可以通过以下公式，计算摄像头角度下拍摄的图像坐标系下的图像l2(“方形”图像b)中每个像素对应在世界坐标系下的俯视图l1(“梯形”图像a)中的位置，即将“透视图”转换为“俯视图”。
[0078][0079][0080][0081]
y1＝h*tan(α+δθ)；
[0082][0083][0084]
其中，(x0,y0)表示摄像头角度下拍摄的图像b(图像坐标系)中像素点的坐标，(x1,y1)表示由图像b转化为世界坐标系下的俯视图a中的像素点的坐标。α表示侧视图中摄像头与图像底边所在的直线与摄像头垂直方向的俯仰角，θ表示侧视图中摄像头与图像底边所在的直线与摄像头垂直方向的垂直视场角，h表示摄像头与地面的高度，图像底边距摄像头实际距离为dmin，图像顶边距摄像头实际距离为dmax。
[0085]
β表示俯视图中摄像头的水平视场角，width表示图像宽度，height表示图像高度，d1表示摄像头坐标与水平面线焦点差值，距摄像头水平距离x1，距摄像头垂直距离y1。
[0086]
进一步的，车辆1在通过slam方式得到世界坐标系下的道路实景图像之后，还可以通过其他方式校准通过slam方式获取道路实景图像中的道路空间信息。示例性的，车辆1可以从道路实景图像中计算出每个元素的位置信息，利用自动驾驶的感知系统得到的较准确的车辆1的位置信息，对道路实景图像中除车辆1外其他元素的位置信息进行校准。
[0087]
例如，图7示出了一种道路实景图像中元素位置信息分布的示意图。如图7所示，假设道路实景图像中分布有车辆1、车辆2、物体3、物体4和物体5。通过slam方式获取到车辆1、车辆、物体3、物体4和物体5的位置信息分别为(x1,y1,z1)、(x2,y2,z2)、(a,b,c)、(d,e,f)和(h,i,j)。由于通过slam方式获取道路实景图像中的前述物体的道路空间信息准确度较
低，为了提高准确度。车辆1先基于自动驾驶的感知系统能够精准感知车辆1和车辆2的位置分别为(x1’,y1’,z1’)和(x2’,y2’,z2’)，基于(x1’,y1’,z1’)与(x1,y1,z1)的差值δ(x1,y1,z1)，或者(x2’,y2’,z2’)与(x2,y2,z2)的差值δ(x2,y2,z2)，以及车辆1已知的内参转换矩阵信息，可计算偏移矩阵δt，经过重新校准后的空间位置信息为x’＝x*δt，得到校准后的车辆1、车辆2、物体3、物体4和物体5的位置信息分别为(x1’,y1’,z1’)、(x2’,y2’,z2’)、(a,b,c)*δt、(d,e,f)*δt和(h,i,j)*δt。
[0088]
可以理解，除了通过上述方式得到道路空间信息。如前所述，当车辆1还可以调用高精地图和激光雷达时，可以基于高精地图和激光雷达得到自身定位。
[0089]
当车辆1只可以调用标清(standard definition，sd)地图和普通全球定位系统(global positioning system，gps)/北斗定位时，由于受到遮挡、多径等干扰，所在车道信息不明，车辆1可以结合硬盘录像机(digital video recorder，简称dvr)行车记录仪视觉、惯导、双频载波相位差分(real time kinematic，rtk)、车速、地图、激光雷达等信息识别车道线位置并修正水平所在车道。例如，车辆1还可以通过车辆1上的摄像头、雷达、激光雷达、全球导航卫星系统、惯性传感器、标清地图得到数据，并对该些数据进行处理得到道路结构，并得到车辆1与道路之间的位置关系。例如，车辆1在哪条车道线。
[0090]
为了识别车辆1行驶的位置(横和/或纵向位置)，例如，亚米级高精度定位。图8示出了一种车辆1确定车辆1与所在车道线位置关系的过程示意图。如图8所示，车辆1确定车辆1与所在车道线位置关系的过程如下：
[0091]
a.获取多帧融合信息图像目标距离。在该步骤，车辆1可以从传感器获取传感器数据，并根据传感器数据识别出道路上的标识物，并进一步确定出车辆1与识别出的道路上的标识物之间的距离。其中，标识物可以为电线杆，交通信号灯等。传感器可以是摄像头、雷达、激光雷达等。示例性的，传感器数据可以包括摄像头采集的道路实景图像，车辆1可以从摄像头采集的道路实景图像中提取出道路上的标识物。传感器数据还可以包括激光雷达测得的与道路上的标识物的距离。
[0092]
b.获取可行驶区域(freespace)。在该步骤，车辆1可以从摄像头、雷达、激光雷达等获取传感器数据，并根据该些传感器数据出车辆1前方可以行驶的道路的位置。
[0093]
c.获取车流。车流是指车辆1周围的车辆1。在该步骤，车辆1可以从摄像头、雷达、激光雷达等获取传感器数据，并根据传感器数据识别出车辆1前方有几条车流，进而根据几条车流判断出车辆1在第几条车道上。
[0094]
d.静态要素感知。示例性的，静态要素可以是车道线、道路边沿、停止线、路面标志、锥桶、交通灯等。在该步骤，车辆1可以从摄像头、雷达、激光雷达等获取传感器数据，并根据传感器数据识别出静态要素。该些静态要输识别结果可以用于辅助定位车辆1的位置。
[0095]
e.自车信息感知。示例性的，自车信息可以是自车的车速、加速度、道路俯仰角、车头转向、车身方位等。在该步骤，车辆1可以从全球导航卫星系统、惯性传感器等获取传感器数据，并根据传感器数据识别出自车信息。
[0096]
f.激光辅助定位。在该步骤中，车辆1可以根据步骤a、b、c和d得到的信息推算出车辆1所在的车道线。可以理解，若车辆1当前所在环境为黑暗环境，车辆1通过摄像头拍摄的道路图像无法准确定位车辆1所在车道线，在这种情况下，由于激光雷达在黑暗环境仍能准确定位车辆1所在的车道线，车辆1可以利用激光辅助定位车辆1所在的车道线。
[0097]
g.道路结构推理。在该步骤中，车辆1根据步骤a、b、c和d得到的信息推算出车辆1所在道路的道路结构。
[0098]
h.自车位姿计算。在该步骤中，车辆1根据步骤b得到的数据推算出车辆1的位姿。
[0099]
i.周边路网查询。在该步骤中，车辆1可以根据标清地图查询周边路网信息。
[0100]
j.路口关键信息抽取。在该步骤中，车辆1可以根据步骤i得到的周边路网结果抽取路口关键信息。示例性的，路口关键信息可以为交通信号灯所在的转弯处等。路口关键信息可以用于辅助定位车辆1的位置。
[0101]
k.复杂路况推理。在该步骤中，车辆1可以根据步骤g和h得到车辆1与道路结构的位置关系。
[0102]
l.极端天气道路感知。在该步骤中，车辆1可以根据步骤f得到车辆1与道路结构的位置关系。
[0103]
在上述方案中的复杂路况推理中，可以通过如下两种方式确认车辆1所在车道线：
[0104]
融合定位技术1：车辆1通过视觉算法识别车道线和路沿，可推倒出当前车道是在靠左、或者靠右第几车道，如果本身车道数少和前车遮挡不严重，则可以直接识别出车道索引；如果有遮挡，则可以通过视觉算法识别车流来推导车道位置，最终融合地图当前路段的总车道数，得出当前车道索引。
[0105]
融合定位技术2：车辆1行驶中，可以维护车辆1所在车道的历史信息列表(包括当前车道索引，道路车道总数等)，通过车道线和车方向角的角度，判断车辆1的变道行为，并结合地图车道数信息，更新车辆1所在车道。
[0106]
302：基于空间特征信息确定目标物对应的ar信息的预测显示位置。
[0107]
例如，如图2b所示，在该导航应用场景下，若车辆1处于行驶状态，车辆1在时刻t0的位置p1采集道路实景图像，并基于道路实景图像确定交通信号灯所在的转弯处的转向图标a001的预测显示位置为位置p1’，其中，转弯处这一位置的定位是车辆1根据至少交通信号灯这一目标物的位置确定的。
[0108]
可以理解，ar信息除了包括显示位置外，还可以包括显示内容，其中，ar信息的显示内容可以包含路线导航、障碍物、兴趣区等等需要叠加在实景上面的ar图像，但不限于此。
[0109]
例如，某方形障碍物导航信息在视角a是梯形，在视角b是斜梯形。其中，障碍物导航信息在视角b的显示就由多个位置点的位置变换来组成。可以理解，导航、障碍物、以及兴趣区的最终显示位置都是通过多个位置点中的关键位置点变化的。
[0110]
303：基于车辆1在第二时刻行驶至的第二位置与第一位置的关系，校准ar信息的预测显示位置，得到校准后的ar信息。
[0111]
可以理解，当车辆1处在行驶状态，车辆1基于采集的道路实景图像确定ar信息在前方视野中显示的位置需要一定时间，在这段时间内，车辆1会发生移动，如此，车辆1显示前述ar信息时，前方视野已经变化，ar信息的预测显示位置与ar信息实际应该显示的位置存在偏差。
[0112]
为了补偿该偏差，车辆1可以根据导航路线和时延在ar成像前进行地点修正和补偿。具体地，车辆1可以读取导航地图的ar信息与识别轨迹信息、当前车辆1所在位置，根据车辆1行进速度和时延按照路线推测车辆1即将到达的新位置。
[0113]
可以理解，惯性导航系统(ins)是以陀螺和加速度计为敏感器件的导航参数解算系统，该系统根据陀螺的输出建立导航坐标系，根据加速度计输出解算出车辆1在导航坐标系中的速度和位置。车辆1判断出导航信号不好时，可以根据惯性导航和时延在ar成像前进行地点修正和补偿。
[0114]
具体地，假设车辆1基于道路实景图像计算出ar信息所显示的位置的预测时间为p秒，根据轮胎转速推算出当前车辆1行驶速度为v(m/s)。然后再根据ar信息得到当前道路相对于正东方向需要逆时针旋转a度。建立坐标系，以车辆1所在方位的正东方向为x轴，正北方向为y轴，当前车辆1辆为原点(0,0)，则校准后的ar显示信息为基于道路实景图像计算出ar信息所显示的位置减去预测偏差：(v*p*sin(a),v*p*cos(a))。
[0115]
可以理解，对时延的预测补偿不仅仅是根据视觉、惯导轨迹，车辆1还可以读取导航地图中的信息补偿该偏差。
[0116]
在一些实施例中，车辆1基于slam选取道路实景图像中的道路特征信息的情况下，主要选取距离ar信息所在位置预设距离的道路特征信息，根据几何透视法估算前述道路特征信息在立体空间下的三维坐标。
[0117]
304：将校准后的显示信息从图像坐标系转化为ar hud坐标系。
[0118]
可以理解，摄像头一般设置在车辆1的保险杠上，在人眼之下，由于人眼看到图像的角度与摄像头成像的角度不同，为了提高用户体验。需要将摄像头拍摄的图像从图像坐标系转换为人眼角度的图像。其中，摄像头拍摄的图像可以为道路实景图像。车辆1可以将图像坐标系下的道路实景图像转换为人眼角度的道路实景图像，并基于人眼角度的图像，将校准后的显示信息从图像坐标系转化为人眼坐标系，再从人眼坐标系转化为ar hud坐标系。
[0119]
例如，图9根据本技术的一些实施例，示出了一种将摄像头拍摄的图像转换为人眼角度的图像的总原理图示意图。
[0120]
e表示ar hud，a表示摄像头，b表示车辆1后轮中轴的原点，c表示世界坐标系，d表示人眼。
[0121]
如图9所示，车辆1需要将摄像头拍摄的道路实景图像从摄像头成像的角度转化为人眼角度。其中，前述转换需要的矩阵变换参数可以是车辆1自身携带的默认参数。
[0122]
前述角度变化可以经过多种坐标系的转化，例如5种。下面以5种为例说明交通特征信息在摄像头成像的角度和人眼角度之间的变换。
[0123]
具体地，可以将车辆1上的摄像头拍摄的道路实景图像依次从图像坐标系转化为相机坐标系，从相机坐标系转化为车辆1坐标系，从车辆1坐标系转化为世界坐标系，从世界坐标系转化为人眼坐标系、再从人眼坐标系转化为ar hud坐标系。
[0124]
下面基于上述5个坐标系转化步骤，介绍每一种坐标系转化步骤的公式：
[0125]
(a)图像坐标系转换为相机坐标系：
[0126][0127][0128]
其中，上述公式中的f代表相机的焦距，(x,y)为道路实景图像坐标系的点，(xc,
yc,zc)为相机坐标系下的点。
[0129]
(b)相机坐标系转换为车辆1坐标系:
[0130][0131]
其中，上述公式中的r为3*3的旋转矩阵，代表相机相对于车辆1前进方向的角度差，t代表3*1的平移矩阵，代表相机相对于车辆1后轴坐标系的平移。
[0132]
(c)车辆1坐标系转换为世界坐标系
[0133][0134]
其中，上述公式中的r为3*3的旋转矩阵，代表车辆1前进方向相对于世界坐标系的角度差，t代表3*1的平移矩阵，代表车辆1后轴相对于世界坐标系原点的平移。
[0135]
(d)世界坐标系转换为人眼坐标系
[0136][0137]
其中，上述公式中的r为3*3的旋转矩阵，代表车辆1前进方向相对于人眼的角度差，t代表3*1的平移矩阵，代表车辆1后轴相对于人眼的平移。
[0138]
(e)人眼坐标系转换为ar hud坐标系
[0139][0140][0141]
其中，上述公式中的(x,y)为ar hud上的坐标位置，(xc,yc,zc)为物体在人眼坐标系的位置，f代表ar hud的焦距(焦平面根eyebox距离)。
[0142]
整个流程的转化方式和转化参数可以在每台车出厂时进行标定，并生成“道路实景图像坐标系至ar hud坐标系”的5步端到端变换矩阵x，人眼位置纠正矩阵e，假如需要渲染的包含ar信息的道路实景图像坐标为矩阵v，人眼的空间实时位置为p，则ar hud显示ar信息的坐标为：o＝v*x*p*e。
[0143]
305：基于ar hud坐标系下的显示信息在前方视野中显示ar信息。
[0144]
例如，如图2所示，转向图标a001显示在该道路实景图像a01上的位置为校准后的红路灯转弯处的人行通道p2’。
[0145]
图10是本技术实施例提供的一种车辆1的一种可能的功能框架示意图。如图10所示，车辆1的功能框架中可包括各种子系统，例如图示中的传感器系统10、控制系统20、一个
或多个外围设备16(图示以一个为例示出)、电源40、计算机系统50和抬头显示系统60。可选地，车辆1还可包括其他功能系统，例如为车辆1提供动力的引擎系统等等，本技术这里不做限定。其中，
[0146]
传感器系统10可包括若干检测装置，这些检测装置能感受到被测量的信息，并将感受到的信息按照一定规律将其转换为电信号或者其他所需形式的信息输出。如图示出，这些检测装置可包括全球定位系统11(global positioning system，gps)、车速传感器12、惯性测量单元13(inertial measurement unit，imu)、雷达单元14、激光测距仪15、摄像单元16、轮速传感器17、转向传感器18、档位传感器19、或者其他用于自动检测的元件等等，本技术并不做限定。
[0147]
全球定位系统gps11是利用gps定位卫星，在全球范围内实时进行定位、导航的系统。本技术中，全球定位系统gps11可用于实现车辆1的实时定位，提供车辆1的地理位置信息。车速传感器12用于检测车辆1的行车车速。惯性测量单元13可以包括加速计和陀螺仪的组合，是测量车辆1的角速率和加速度的装置。例如，在车辆1行驶过程中，惯性测量单元基于车辆1的惯性加速可测量车身的位置和角度变化等。
[0148]
雷达单元14也可称雷达系统。雷达单元在车辆1行驶所处的当前环境中，利用无线信号感测物体。可选地，雷达单元还可感测物体的运行速度和行进方向等信息。在实际应用中，雷达单元可被配置为用于接收或发送无线信号的一个或多个天线。激光测距仪15可利用调制激光实现对目标物体的距离测量的仪器，也即是激光测距仪可用于实现对目标物体的距离测量。在实际应用中，该激光测距仪可包括但不限于以下中的任一种或多种元件的组合：激光源、激光扫描仪和激光检测器。
[0149]
摄像单元16用于拍摄影像，例如图像和视频等。本技术中，在车辆1行驶过程中或者摄像装置启用后，该摄像装置可实时采集车辆1所处环境中的图像。例如，在车辆1进出隧道的过程中，摄像装置可实时、连续地采集相应地图像。在实际应用中，该摄像装置包括但不限于行车记录仪、摄像头、相机或其他用于拍照/摄影的元件等，该摄像装置的数量本技术也不做限定。
[0150]
轮速传感器17是用于检测车辆1车轮转速的传感器。常用的轮速传感器17可包括但不限于磁电式轮速传感器和霍尔式轮速传感器。转向传感器18，也可称为转角传感器，可代表用于检测车辆1的转向角的系统。在实际应用中，该转向传感器18可用于测量车辆1方向盘的转向角度，或者用于测量表示车辆1方向盘的转向角的电信号。可选地，该转向传感器18也可用于测量车辆1轮胎的转向角度，或者用于测量表示车辆1轮胎的转向角的电信号等等，本技术并不做限定。
[0151]
也即是，转向传感器18可用于测量以下中的任一种或多种的组合：方向盘的转向角、表示方向盘的转向角的电信号、车轮(车辆1轮胎)的转向角和表示车轮的转向角的电信号等。
[0152]
档位传感器19，用于检测车辆1行驶的当前档位。由于车辆1的出厂商不同，则车辆1中的档位也可能存在不同。以自动驾驶车辆1为例，自动驾驶车辆1支持6个档位，分别为：p档、r档、n档、d档、2档及l档。其中，p(parking)档用于停车，它利用车辆1的机械装置锁住车辆1的制动部分，使车辆1不能移动。r(reverse)档，也称为倒档，用于车辆1倒车。d(drive)档，也称前进档，用于车辆1在道路上行驶。2(secondgear)档也为前进档，用于调整车辆1的
行驶速度。2档通常可用作车辆1上、下斜坡处使用。l(low)档，也称为低速档，用于限定车辆1的行驶速度。例如在下坡道路上，车辆1进入l档，使得车辆1在下坡时使用发动机动力进行制动，驾驶员不必长时间踩刹车导致刹车片过热而发生危险。
[0153]
控制系统20可包括若干元件，例如图示出的转向单元21、制动单元22、照明系统23、自动驾驶系统24、地图导航系统25、网络对时系统26和障碍规避系统27。可选地，控制系统20还可包括诸如用于控制车辆1行驶速度的油门控制器及发动机控制器等元件，本技术不做限定。
[0154]
转向单元21可代表用于调节车辆1的行进方向的系统，其可包括但不限于方向盘、或其他用于调整或控制车辆1行进方向的任意结构器件。制动单元22可代表用于减慢车辆1的行驶速度的系统，也可称为车辆1刹车系统。其可包括但不限于刹车控制器、减速器或其他用于车辆1减速的任意结构器件等。在实际应用中，制动单元22可利用摩擦来使车辆1轮胎减慢，进而减慢车辆1的行驶速度。照明系统23用于为车辆1提供照明功能或警示功能。例如，在车辆1夜间行驶过程中，照明系统23可启用车辆1的前车灯和后车灯，以提供车辆1行驶的光照亮度，保证车辆1的安全行驶。在实际应用中，照明系统中包括但不限于前车灯、后车灯、示宽灯以及警示灯等。
[0155]
自动驾驶系统24可包括硬件系统和软件系统，用于处理和分析输入该自动驾驶系统14的数据以获得控制系统20中各部件的实际控制参数，例如制动单元中刹车控制器的期望制动压力及发动机的期望扭矩等等。便于控制系统20实现相应控制，保证车辆1的安全行驶。可选地，自动驾驶系统14通过分析数据还可确定车辆1面临的障碍物、车辆1所处环境的特征(例如车辆1当前行驶所在的车道、道路边界以及即将经过的交通红绿灯)等信息。其中，输入自动驾驶系统14的数据可以是摄像装置采集的图像数据，也可以是传感器系统10中各元件采集的数据，例如转向角传感器提供的方向盘转角、轮速传感器提供的车轮轮速等等，本技术并不做限定。
[0156]
地图导航系统25用于为车辆1提供地图信息和导航服务。在实际应用中，地图导航系统25可根据gps提供的车辆1的定位信息(具体可为车辆1的当前位置)和用户输入的目的地址，规划一条最优驾驶路线，例如路程最短或车流量较少的路线等。便于车辆1按照该最优驾驶路线进行导航行驶，以到达目的地址。可选地，地图导航系统除了提供导航功能外，还可根据用户实际需求向用户提供或展示相应地地图信息，例如在地图上实时展示车辆1当前行驶的路段等，本技术不做限定。
[0157]
网络对时系统26(network time system，nts)用于提供对时服务，以保证车辆1的系统当前时间和网络标准时间同步，有利于为车辆1提供更为精确地时间信息。具体实现中，网络对时系统26可从gps卫星上获得标准的时间信号，利用该时间信号来同步更新车辆1的系统当前时间，保证车辆1的系统当前时间和获得的标准时间信号的时间一致。
[0158]
障碍规避系统27用于预测车辆1行驶过程中可能遇到的障碍物，进而控制车辆1绕过或越过障碍物以实现车辆1的正常行驶。例如，障碍规避系统27可利用传感器系统10中各元件采集的传感器数据分析确定车辆1行驶道路上可能存在的障碍物。如果该障碍物的尺寸较大，例如为路边的固定建筑物(楼房)等，障碍规避系统27可控制车10绕开该障碍物以进行安全行驶。反之，如果该障碍物的尺寸较小，例如为路上的小石头等，障碍规避系统27可控制车辆1越过该障碍物继续向前行驶等。
[0159]
外围设备16可包括若干元件，例如图示中的通信系统31、触摸屏32、用户接口33、麦克风34以及扬声器35等等。其中，通信系统31用于实现车辆1和除车辆1之外的其他设备之间的网络通信。在实际应用中，通信系统31可采用无线通信技术或有线通信技术实现车辆1和其他设备之间的网络通信。该有线通信技术可以是指车辆1和其他设备之间通过网线或光纤等方式通信。该无线通信技术包括但不限于全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packetradio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-divisioncode division multiple access，td-scdma)，长期演进(long term evolution，lte)、无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)、蓝牙(bluetooth，bt)、全球导航卫星系统(global navigation satellitesystem，gnss)、调频(frequency modulation，fm)，近距离无线通信技术(near fieldcommunication，nfc)以及红外技术(infrared，ir)等等。
[0160]
触摸屏32可用于检测触摸屏32上的操作指令。例如，用户根据实际需求对触摸屏32上展示的内容数据进行触控操作，以实现该触控操作对应的功能，例如播放音乐、视频等多媒体文件等。用户接口33具体可为触控面板，用于检测触控面板上的操作指令。用户接口33也可以是物理按键或者鼠标。用户接口34还可以是显示屏，用于输出数据，显示图像或数据。可选地，用户接口34还可以是属于外围设备范畴中的至少一个设备，例如触摸屏、麦克风和扬声器等。
[0161]
麦克风34，也称为话筒、传声器，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户靠近麦克风发声，可将声音信号输入到麦克风中。扬声器35也称为喇叭，用于将音频电信号转换为声音信号。车辆1通过扬声器35可以收听音乐，或者收听免提通话等。
[0162]
电源40代表为车辆1提供电力或能源的系统，其可包括但不限于再充电的锂电池或铅酸电池等。在实际应用中，电源中的一个或多个电池组件用于提供车辆1启动的电能或能量，电源的种类和材料本技术并不限定。可选地，电源40也可为能量源，用于为车辆1提供能量源，例如汽油、柴油、乙醇、太阳能电池或电池板等等，本技术不做限定。
[0163]
车辆1的若干功能均由计算机系统50控制实现。计算机系统50可包括一个或多个处理器51(图示以一个处理器为例示出)和存储器52(也可称为存储装置)。在实际应用中，该存储器52也在计算机系统50内部，也可在计算机系统50外部，例如作为车辆1中的缓存等，本技术不做限定。其中，
[0164]
处理器51可包括一个或多个通用处理器，例如图形处理器(graphicprocessing unit，gpu)。处理器51可用于运行存储器52中存储的相关程序或程序对应的指令，以实现车辆1的相应功能。
[0165]
存储器52可以包括易失性存储器(volatile memory)，例如ram；存储器也可以包括非易失性存储器(non-vlatile memory)，例如rom、快闪存储器(flash memory)、hdd或固态硬盘ssd；存储器52还可以包括上述种类的存储器的组合。存储器52可用于存储一组程序代码或程序代码对应的指令，以便于处理器51调用存储器52中存储的程序代码或指令以实现车辆1的相应功能。该功能包括但不限于图10所示的车辆1功能框架示意图中的部分功能
或全部功能。本技术中，存储器52中可存储一组用于车辆1控制的程序代码，处理器51调用该程序代码可控制车辆1安全行驶，关于如何实现车辆1安全行驶具体在本技术下文详述。
[0166]
可选地，存储器52除了存储程序代码或指令之外，还可存储诸如道路地图、驾驶线路、传感器数据等信息。计算机系统50可以结合车辆1功能框架示意图中的其他元件，例如传感器系统中的传感器、gps等，实现车辆1的相关功能。例如，计算机系统50可基于传感器系统10的数据输入控制车辆1的行驶方向或行驶速度等，本技术不做限定。
[0167]
抬头显示系统60可包括若干元件，例如图示出的前挡玻璃61，控制器62和抬头显示器63。控制器222用于根据用户指令生成图像，并将该图像发送至抬头显示器200；抬头显示器200可以包括图像生成单元、可拔插透镜组合和反射镜组合，前挡玻璃用于配合抬头显示器以实现抬头显示系统的光路，以使在驾驶员前方呈现目标图像。需要说明的是，抬头显示系统中的部分元件的功能也可以由车辆1的其它子系统来实现，例如，控制器62也可以为控制系统中的元件。
[0168]
其中，本技术图10示出包括四个子系统，传感器系统10、控制系统20、计算机系统50和抬头显示系统60仅为示例，并不构成限定。在实际应用中，车辆1可根据不同功能对车辆1中的若干元件进行组合，从而得到相应不同功能的子系统。例如，车辆1中也可包括电子稳定性系统(electronic stability program，esp)和电动助力转向系统(electric powersteering，eps)等，图未示出。其中，esp系统可由传感器系统10中的部分传感器及控制系统20中的部分元件组成，具体地该esp系统可包括轮速传感器17、转向传感器18、横向加速度传感器及控制系统20中涉及的控制单元等等。eps系统可由传感器系统10中的部分传感器、控制系统20中的部分元件及电源40等元件组成，具体地该eps系统中可包括转向传感器18、控制系统20中涉及的发电机及减速器、蓄电池电源等等。又例如，抬头显示系统也可以包括外围设备中的用户接口33和触摸屏32等，以实现接收用户指令的功能，抬头显示系统还可以包括传感器系统中的摄像单元，用于配合控制器1203生成图像，例如，由摄像单元将图像发送至控制器1203。
[0169]
需要说明的是，上述图10仅为车辆1的一种可能的功能框架示意图。在实际应用中，车辆1可包括更多或更少的系统或元件，本技术不做限定。
[0170]
上述车辆1可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆1、施工设备、电车、高尔夫球车、火车、和手推车等，本技术实施例不做特别的限定。
[0171]
本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0172]
可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
[0173]
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机
制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0174]
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
[0175]
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
[0176]
需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
[0177]
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0178]
虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。

技术特征：
1.一种实时移动实景下ar信息显示方法，应用于电子设备，其特征在于，所述方法包括：获取所述电子设备在移动过程中，在第一时刻处于第一位置处的第一道路实景图像；基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置；基于所述电子设备从第一位置移动到第二位置的过程中所述电子设备的移动速度，确定所述预测显示位置的校准信息；基于所述校准信息获取校准后的显示位置；所述电子设备处于第二位置处时，基于所述校准后的显示位置在前方视野中显示所述ar信息。2.根据权利要求1所述的方法，其特征在于，所述电子设备处于第二位置处时，基于校准后的显示位置在前方视野中显示所述ar信息之前，所述方法还包括：将校准后的显示信息从图像坐标系转化为人眼坐标系，再转化为增强现实抬头显示器坐标系。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置，包括：基于所述第一道路实景图像确定空间特征信息；基于所述空间特征信息确定所述第一目标物对应的ar信息的预测显示信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一道路实景图像确定空间特征信息，包括：基于同步定位与建图技术和所述第一道路实景图像确定所述空间特征信息。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述第一道路实景图像确定空间特征信息，包括：若所述第一道路实景图像中存在弯曲或者上下坡道路，将所述第一道路实景图像由摄像头角度拍摄的图像转化为世界坐标系下的图像。6.根据权利要求1所述的方法，其特征在于，所述ar信息包括驾驶辅助信息和/或导航指引信息。7.一种车辆，其特征在于，所述车辆包括抬头显示器和ar信息显示系统；所述ar信息显示系统用于获取所述车辆在移动过程中，在第一时刻处于第一位置处的第一道路实景图像；所述ar信息显示系统用于基于所述第一道路实景图像确定第一目标物对应的ar信息的预测显示位置；所述ar信息显示系统用于基于所述车辆从第一位置移动到第二位置的过程中所述车辆的移动速度，确定所述预测显示位置的校准信息；所述ar信息显示系统用于基于所述校准信息获取校准后的显示位置；所述ar信息显示系统用于在所述车辆处于第二位置处时，基于校准后的显示位置控制所述抬头显示器显示所述ar信息。8.根据权利要求7所述的车辆，其特征在于，所述基于校准后的显示位置在前方视野中显示所述ar信息之前，所述ar信息显示系统用于将校准后的显示信息从图像坐标系转化为人眼坐标系，再转化为增强现实抬头显示器坐标系。9.根据权利要求7所述的车辆，其特征在于，所述ar信息显示系统用于基于所述第一道
路实景图像确定第一目标物对应的ar信息的预测显示位置，包括：所述ar信息显示系统用于基于所述第一道路实景图像确定空间特征信息；所述ar信息显示系统用于基于所述空间特征信息确定所述第一目标物对应的ar信息的预测显示信息。10.根据权利要求9所述的车辆，其特征在于，所述ar信息显示系统基于所述第一道路实景图像确定空间特征信息，包括：所述ar显示系统用于基于同步定位与建图技术和所述第一道路实景图像确定所述空间特征信息。11.根据权利要求9或10所述的车辆，其特征在于，所述ar信息显示系统用于基于所述第一道路实景图像确定空间特征信息，包括：所述ar信息显示系统用于在所述第一道路实景图像中存在弯曲或者上下坡道路的情况下，将所述第一道路实景图像由摄像头角度拍摄的图像转化为世界坐标系下的图像。12.根据权利要求7所述的车辆，其特征在于，所述ar信息包括驾驶辅助信息和/或导航指引信息。13.一种装置，其特征在于，所述装置包括：一个或多个存储器，所述一个或多个存储器存储有指令；处理器，所述处理器和所述一个或多个存储器耦合，当所述指令被所述处理器执行时，使得所述装置执行权利要求1至6中任一项所述的实时移动实景下ar信息显示方法。14.根据权利要求13所述的装置，其特征在于，所述装置为车辆、手机、手表或ar眼镜。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令在电子设备上执行时使电子设备执行权利要求1至6中任一项所述的实时移动实景下ar信息显示方法。16.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至6中任一项所述的实时移动实景下ar信息显示方法。17.一种芯片，其特征在于，所述芯片与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以实现如权利要求1至6中任一项所述的实时移动实景下ar信息显示方法。

技术总结
本申请涉及增强现实技术领域，公开了一种实时移动实景下AR信息显示方法、车辆和装置。该方法包括：获取电子设备在移动过程中，在第一时刻处于第一位置处的第一道路实景图像；基于第一道路实景图像确定第一目标物对应的AR信息的预测显示位置；基于电子设备从第一位置移动到第二位置的过程中电子设备的移动速度，确定预测显示位置的校准信息；基于校准信息获取校准后的显示位置；电子设备处于第二位置处时，基于校准后的显示位置在前方视野中显示AR信息。如此，电子设备可以基于校准后的显示位置在前方视野中显示AR信息。在一定程度上可以提高AR信息的显示位置的准确性，提高AR信息与前方视野虚实贴合的真实感，提升用户体验。提升用户体验。提升用户体验。


技术研发人员：周艳 张浩 郭泽金 王斌 苏敏
受保护的技术使用者：华为技术有限公司
技术研发日：2022.02.11
技术公布日：2023/8/24