车辆传感器的动态校准的制作方法

1.本公开涉及车辆中的传感器。


背景技术：

2.自主或半自主车辆通常包括光学传感器。光学传感器检测外部世界，例如车辆周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如，光学传感器可以包括雷达传感器、扫描激光测距仪、光探测和测距(激光雷达)装置以及图像处理传感器(诸如相机)。对于自主和半自主车辆，计算机可以被编程为基于可以包括从光学传感器接收的数据的输入完全地或较小程度地独立于人类驾驶员的干预来操作车辆。


技术实现要素：

3.车辆上的一些传感器生成光学数据，车辆的计算机可使用光学数据来操作车辆。为了使计算机能够使用光学数据，车辆传感器可能需要对相对于车辆的车身的运动具有紧密度容限，例如，与车身或安装在车身上的其他车辆传感器相比，所感兴趣的车辆传感器可能扭绕、倾斜、弹回等的程度。解决紧密度容限的一种方式是使用具有高刚度的车辆传感器的安装结构。可利用较高刚度的材料(例如，碳纤维复合材料)、利用较厚的部件、主动对准或利用用于加强的添加部件(其中任何一种都可能增加复杂性和/或重量)来实现限制传感器运动。而且，较高的刚度可能会增加从车身传输到车辆传感器的冲击。随着传感器分辨率的增加，利用基于感知算法要求的现有方法可能无法实现限制传感器相对运动的能力。
4.除了增加刚度之外或代替增加刚度，本文提供了解决车辆传感器的容限的技术。计算机可通过以下操作来校准车辆传感器：从与车辆间隔开的校准传感器接收在向车辆施加振动时测量的车辆传感器的位置的第一时间系列、接收基于在向车辆施加振动时测量的来自车辆传感器的数据的车辆传感器的运动的第二时间系列、融合第一时间系列和第二时间系列并且基于第一时间系列和第二时间系列的融合来确定调整模型的校准值。所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型。这种动态校准使得车载车辆计算机能够基于车辆的运动来调整从车辆传感器接收的数据，从而提高该数据的准确度。
5.计算机包括处理器和存储器，并且存储器存储指令，指令可由处理器执行以从与车辆间隔开的至少一个校准传感器接收在向车辆施加振动时测量的安装在车辆上的车辆传感器的位置的第一时间系列；接收基于在向车辆施加振动时测量的来自车辆传感器的数据的车辆传感器的运动的第二时间系列；融合第一时间系列和第二时间系列；并且基于第一时间系列和第二时间系列的融合来确定调整模型的至少一个校准值。所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型。
6.第一时间系列可包括基于由车辆传感器发射的波束的位置的车辆传感器的取向。
7.指令还可包括用于指示动态激励器将振动施加到车辆的指令。振动可遵循预设序
列。预设序列可包括重复模式。
8.预设序列可包括先前测量的道路振动序列。
9.指令还可包括用于输出至少一个校准值的指令。
10.指令还可包括用于以下操作的指令：基于在不向车辆施加振动时测量的来自车辆传感器的数据来执行车辆传感器的静态校准。
11.融合第一时间系列和第二时间系列可包括执行机器学习算法。
12.调整模型可包括至少一个方程式，并且至少一个校准值可包括至少一个方程式的至少一个系数。
13.调整模型可包括机器学习算法，并且至少一个校准值可包括机器学习算法的至少一个权重。机器学习算法可以是包括多个层的神经网络，多个层包括终止层，并且终止层可包括至少一个权重。
14.一种方法包括向车辆施加振动；在向车辆施加振动时，通过与车辆间隔开的至少一个校准传感器测量安装在车辆上的车辆传感器的位置的第一时间系列；基于在向车辆施加振动时测量的来自车辆传感器的数据来确定车辆传感器的运动的第二时间系列；融合第一时间系列和第二时间系列；基于第一时间系列和第二时间系列的融合来确定调整模型的至少一个校准值，调整模型是由车辆的运动引起的车辆传感器相对于车辆的运动的模型；以及将调整模型加载到车辆的车辆计算机上。
15.方法还可包括将车辆设置在动态激励器上，并且施加振动可包括指示动态激励器施加振动。施加振动可包括指示动态激励器向车辆的每个车轮独立地施加振动。
16.方法还可包括将在校准目标设置在车辆传感器的视野中，并且确定第二时间系列可基于来自车辆传感器的数据中的校准目标的位置。在向车辆施加振动时，校准目标可以是固定的。
17.车辆传感器可以是相机、雷达或激光雷达中的一者。
18.方法还可包括基于由调整模型调整的来自车辆传感器的数据来操作车辆。
19.车辆计算机可被编程为响应于满足标准而输出请求确定调整模型的至少一个校准值的消息。
20.指令还包括用于输出至少一个校准值的指令。
附图说明
21.图1是示例性校准环境中的示例性车辆的透视图。
22.图2是车辆的框图。
23.图3是用于校准车辆的车辆传感器的示例性过程的过程流程图。
24.图4是校准设置的计算机对车辆传感器进行校准的示例性过程的过程流程图。
具体实施方式
25.参考附图，其中贯穿若干附图相同的数字指示相同的零部件，计算机102包括处理器和存储指令的存储器，指令可由处理器执行以从与车辆100间隔开的至少一个校准传感器106接收在向车辆100施加振动时测量的安装在车辆100上的车辆传感器104的位置的第一时间系列；接收基于在向车辆100施加振动时测量的来自车辆传感器104的数据的车辆传
感器104的运动的第二时间系列；融合第一时间系列和第二时间系列；并且基于第一时间系列和第二时间系列的融合来确定调整模型的至少一个校准值。调整模型是由车辆100的运动引起的车辆传感器104相对于车辆100的运动的模型。感兴趣的车辆传感器104可以是车辆100的多个车辆传感器104中的一者。
26.参考图1，车辆100可以是任何合适类型的地面车辆，例如客车或商用汽车，诸如轿车、双门轿车、卡车、运动型多功能车、跨界车、厢式货车、小型货车、吉普车、出租车、公共汽车等。替代地，车辆100可不是汽车，诸如自主物料运输机器、割草机、机器人地板清洁机等。
27.车辆100可以是自主车辆。车辆计算机108(图2所示)可被编程为完全地或在较小程度上独立于人类操作员的干预而操作车辆100。车辆计算机108可被编程为至少部分地基于来自车辆传感器104(图2所示)的数据来操作推进装置110、制动系统112、转向系统114和/或其他车辆系统。出于本公开的目的，自主操作意指车辆计算机108在没有来自人类操作员的输入的情况下控制推进装置110、制动系统112和转向系统114；半自主操作意指车辆计算机108控制推进装置110、制动系统112和转向系统114中的一者或两者，而人类操作员控制其余部分；并且非自主操作意指人类操作员控制推进装置110、制动系统112和转向系统114。
28.车辆100包括车身116。车辆100可以是一体式结构，其中车辆100的车架和车身116是单个部件。替代地，车辆100可以是非承载式车身结构，其中车架支撑车身116，车身是与车架分离的部件。车架和车身116可由任何合适的材料(例如，钢、铝等)形成。
29.车辆100包括至少车辆传感器104，例如，多个车辆传感器104。车辆传感器104可以是光学传感器。光学传感器通过接收电磁辐射(例如，无线电波、红外辐射、可见光等)生成光学数据。车辆传感器104可并入有发射和接收电磁辐射的主动照明，例如雷达和激光雷达。车辆传感器104可以是用于检测与车辆100间隔开的对象的任何合适类型的光学传感器，例如雷达传感器、扫描激光测距仪、光探测和测距(激光雷达)装置和/或图像处理传感器(诸如，相机)。例如，车辆传感器104可包括相机，诸如电荷耦合装置(ccd)、互补金属氧化物半导体(cmos)等。又例如，车辆传感器104可包括一对立体相机，该对立体相机包括第一相机和第二相机。又例如，车辆传感器104可包括激光雷达，其通过发射特定波长的激光脉冲并测量脉冲行进到对象并返回的飞行时间来检测距对象的距离。又例如，车辆传感器104可包括雷达，其可使用直接传播，即，测量无线电波的发射和接收之间的时间延迟，和/或使用间接传播，即，调频连续波(fmcw)方法，即，测量已发射和已接收的无线电波之间的频率变化。雷达可返回到对象的距离以及径向速度，即，朝向或远离雷达的速度分量。车辆传感器104还可包括用于不同波长的电磁辐射的相机、检测偏振的相机、飞行时间相机、基于事件的相机、光场相机等。
30.车辆传感器104可产生数据，例如来自光学传感器的光学数据。光学数据可以是来自相机的图像数据、雷达数据、激光雷达数据等。例如，图像数据可以是相应传感器的视野的图像帧序列。每个图像帧是二维像素矩阵。每个像素的亮度或颜色被表示为一个或多个数值，例如，在0(黑色)与1(白色)之间的光度光强度的标量无标量值，或者红色、绿色和蓝色中的每一者的值，例如，每一个以8位为标度(0到255)或12位或16位为标度。像素可以是表示的混合，例如，三个像素和具有三个数值颜色值的第四像素的强度的标量值的重复模式，或某种其他模式。图像帧中的位置，即在记录图像帧时在传感器的视野中的位置，可以
像素尺寸或坐标指定，例如，一对有序的像素距离，诸如来自视野的顶部边缘的多个像素和来自视野的左侧边缘的多个像素。又例如，雷达数据和激光雷达数据(在预处理之后)可以是点云，例如，表示为距车辆传感器104的一组方向和相应距离，或者表示为相对于车辆传感器104固定的坐标系中的一组三维向量，或者可以是深度图像等。又例如，基于事件的相机将生成像素强度变化的事件流。
31.车辆传感器104刚性地安装到车辆100的车身116。例如，车辆100可包括壳体118，该壳体安装在车顶120或车辆100的车身116的其他车身面板上并支撑车辆传感器104。壳体118可被成形为可附接到车顶120，例如，可具有与车顶120的轮廓匹配的形状。壳体118可附接到车顶120，这可以为安装在壳体118内部的车辆传感器104提供车辆100周围的区域的无障碍视野。壳体118可由例如塑料或金属形成。替代地或另外，车辆传感器104可安装到挡风玻璃、前护板、拐角护板、后护板、后举升式车门等。
32.为了执行本文所述的校准，车辆100可定位在校准环境122中。校准环境122是具有用于执行车辆传感器104的校准的设备的设施。校准环境122可以是专用设施，或者可以是其中已经临时放置校准设备的多用途设施。例如，校准环境122可在生产线末端生产和组装厂或用于保养和修理车辆的自主车辆仓库中。
33.校准环境122可包括动态激励器124。动态激励器124可包括用于压靠车辆100的部件的致动器126，例如液压致动器。动态激励器124可以是用于模拟道路振动的任何合适的类型，例如，液压或电动4柱装置、7柱震动器、底盘测功机等。4柱装置包括定位在车辆100的相应车轮128下方并且被定向成竖直地致动的四个致动器126，如图1所示。7柱震动器包括4柱装置的四个致动器126以及定位成压靠车辆100的车身116以模拟横向载荷传递、纵向重量传递等的三个附加的致动器126。底盘测功机或“滚动道路”包括其上放置车轮128的固定的辊总成，并且辊总成可旋转以向车轮128施加转动。辊总成的辊上的表面粗糙度或纹理可用于施加振动。
34.校准环境122可包括校准传感器106。校准传感器106可包括在相应的车辆传感器104上或在车辆100的预先指定的点上训练的位置传感器。校准传感器106可输出指示车辆传感器104相对于校准环境122的三维位置和/或车辆传感器106相对于校准环境的速度的数据，例如，表示为三维向量。例如，校准传感器106可包括在感兴趣的车辆传感器104上训练的多个(例如，三个)校准传感器106，每个校准传感器输出距车辆传感器104的距离，从而允许基于校准传感器106的已知位置来通过三角测量确定车辆传感器104的位置。另外，校准传感器106可包括光学传感器或适合于检测由车辆传感器104发射的波束的其他类型的传感器(例如，在车辆传感器104是雷达或激光雷达传感器的情况下)。例如，校准环境122可包括车辆传感器104中的一个的波束所指向的表面，并且校准传感器106可检测波束与表面相交的表面上的点，或者表面可包括角锥反射器、后向反射器等，当波束与它们相交时校准传感器106可检测它们。当车辆传感器104或波束的位置改变时，校准传感器106可产生这些位置随时间推移的时间系列数据。
35.校准环境122可包括一个或多个校准目标130。校准目标130可放置在车辆传感器104的相应视野中。每个校准目标130可以是任何合适的形状和外观，允许车辆传感器104中的一者检测校准目标130上的点相对于传感器的位置。例如，如图1所示，校准目标130可包括棋盘状图案。棋盘状图案可提供车辆传感器104在执行静态或动态校准时可检测的点，如
下面将描述。
36.校准环境122可包括计算机102。计算机102为基于微处理器的计算装置，例如包括处理器和存储器的通用计算装置。计算机102的存储器可包括用于存储可由处理器执行的指令以及用于电子存储数据和/或数据库的介质，和/或计算机102可包括诸如提供编程的前述结构的结构。计算机102可以是联接在一起的多个计算机。
37.参考图2，车辆100可包括车辆计算机108。车辆计算机108为基于微处理器的计算装置，例如，通用计算装置(其包括处理器和存储器、电子控制器或类似装置)、现场可编程门阵列(fpga)、专用集成电路(asic)、前述各者的组合等。通常，在电子设计自动化中使用诸如vhdl(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如fpga和asic之类的数字和混合信号系统。例如，asic是基于制造前提供的vhdl编程而制造的，而fpga内部的逻辑部件可基于例如存储在电连接到fpga电路的存储器中的vhdl编程来配置。因此，车辆计算机108可包括处理器、存储器等。车辆计算机108的存储器可包括用于存储可由处理器执行的指令以及用于电子存储数据和/或数据库的介质，和/或车辆计算机108可包括诸如提供编程的前述结构的结构。车辆计算机108可以是联接在一起的多个计算机。
38.车辆计算机108可通过通信网络132(诸如控制器局域网(can)总线、以太网、wifi、局域互连网(lin)、车载诊断连接器(obd-ii))和/或通过任何其他有线或无线通信网络与车辆100上的其他部件传输和接收数据。车辆计算机108可经由通信网络132通信地联接到车辆传感器104、运动传感器134、推进装置110、制动系统112、转向系统114、收发器136、用户界面138和其他部件。
39.运动传感器134提供运动数据，即，指示车辆100的运动的数据。例如，运动传感器134可检测车辆100的位置和/或取向、车辆100的线性速度和转速、车辆100的加速度等。例如，运动传感器134可包括全球定位系统(gps)传感器；加速度计，诸如压电或微机电系统(mems)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(imu)；以及磁力仪。又例如，运动传感器134可提供关于车辆100的控制运动的系统(即，推进装置110、制动系统112和/或转向系统114)的操作的数据，例如，车轮转速、车轮行程、车轮取向、转向角、制动力等。
40.车辆100的推进装置110生成能量并将能量转换成车辆100的运动。推进装置110可以是常规的车辆推进子系统，例如，常规的动力传动系统，其包括联接到将旋转运动传递到车轮128的变速器的内燃发动机；电动动力传动系统，其包括电池、电动马达和将旋转运动传递到车轮128的变速器；混合动力传动系统，其包括常规的动力传动系统和电动动力传动系统的元件；或任何其他类型的推进装置。推进装置110可包括与车辆计算机108和/或人类操作员通信并从其接收输入的电子控制单元(ecu)等。人类操作员可经由例如加速踏板和/或换挡杆来控制推进装置110。
41.制动系统112通常是常规的车辆制动子系统并且抵抗车辆100的运动，由此使车辆100减慢和/或停止。制动系统112可包括摩擦制动器，诸如盘式制动器、鼓式制动器、带式制动器等；再生制动器；任何其他合适类型的制动器；或者组合。制动系统112可包括与车辆计算机108和/或人类操作员通信并从其接收输入的电子控制单元(ecu)等。人类操作员可经由例如制动踏板来控制制动系统112。
42.转向系统114通常是常规的车辆转向子系统并且控制车轮128的转弯。转向系统
114可以是具有电动助力转向的齿条与小齿轮系统、线控转向系统(这两者是已知的)、或者任何其他合适的系统。转向系统114可包括与车辆计算机108和/或人类操作员通信并从其接收输入的电子控制单元(ecu)等。人类操作员可经由例如方向盘来控制转向系统114。
43.收发器136可适用于通过任何合适的无线通信协议(诸如蜂窝、低功耗(ble)、超宽频(uwb)、wifi、ieee802.11a/b/g/p、蜂窝-v2x(cv2x)、专用短程通信(dsrc)、其他rf(射频)通信等)无线地发射信号。收发器136可适用于与远程服务器(即，与车辆100不同且间隔开的服务器)通信。远程服务器可位于车辆100的外部。例如，远程服务器可与以下项相关联：另一个车辆(例如，v2v通信)、基础设施部件(例如，v2i通信)、紧急响应者、与车辆100的所有者相关联的移动装置等。特别地，远程服务器可以是校准环境122的计算机102。收发器136可以是一个装置，或者可包括单独的发射器和接收器。
44.用户界面138向车辆100的乘员呈现信息并且从所述乘员接收信息。用户界面138可位于例如车辆100的乘客舱中的仪表板上，或者位于乘员可能容易看到的任何地方。用户界面138可包括用于向乘员提供信息的刻度盘、数字读出装置、屏幕、扬声器等，例如，诸如已知的人机界面(hmi)元件。用户界面138可包括用于从乘员接收信息的按钮、旋钮、键盘、传声器等。
45.本文描述的校准确定调整模型的至少一个校准值。出于本公开的目的，“调整模型”是基于其他数据将光学数据变换成不同的光学数据。调整模型是由车辆100的运动引起的车辆传感器104相对于车辆100的运动的模型。调整模型可校正车辆传感器104的失真和/或不对准。使用调整模型调整光学数据可基于来自运动传感器134的运动数据。
46.例如，调整模型可包括至少一个方程式。例如，调整模型可以是基于物理的模型，诸如弹簧模型。弹簧模型可使用弹簧元件来表示车身116与车辆100在其上行驶的道路之间的连接、车辆传感器104到车身116的安装以及运动传感器134到车身116的安装。弹簧元件可各自与阻尼器元件串联。弹簧模型的布置提供了一系列方程式。包括方程式的基于物理的模型的另一个示例可以是有限元分析。
47.调整模型(例如，弹簧模型或有限元分析)可使用车辆传感器104的附接件的几何形状、边界条件和/或运动数据。例如，调整模型可在一个或多个自由度(例如，六个自由度或三个旋转自由度)上跟踪车辆传感器104的运动。使用没有线性自由度的三个旋转自由度的计算密集性可不如使用六个自由度，同时仍然捕获相关效果。
48.又例如，调整模型可包括机器学习算法。机器学习算法可以是用于确定对传感器数据的调整的任何合适的算法，例如神经网络，诸如递归神经网络。可使用在操作与车辆100相同类型的车辆时收集的输入的数据集来训练机器学习算法，其中相同类型的车辆传感器以与车辆传感器104相同的方式安装。可记录车辆传感器的实际不对准以用作训练的地面实况。机器学习算法的输入可包括车辆100的运动状态、车辆100的预计运动、车辆100正在行驶的道路的即将到来的轮廓、天气状况等。
49.此外，调整模型的离散时间步长可进一步内插或外推到来自车辆传感器104的光学数据的对应时间帧，例如用于全局快门效果的时间步长、滚动快门逐帧曝光时间、基于事件的相机的更新时间、激光雷达的波束控制的时间范围等。
50.计算机102可被编程为基于调整模型来操作车辆100。例如，计算机102可被编程为
通过使用调整模型来调整来自车辆传感器104的数据，并且基于调整后数据，例如通过使用将调整后数据作为输入的已知自主操作算法指示推进装置110、制动系统112和转向系统114，来操作车辆100。
51.调整模型包括至少一个校准值，例如多个校准值。例如，如果调整模型包括方程式，则校准值可包括方程式的至少一个系数，例如，弹簧模型的弹簧元件的弹簧常数。又例如，如果调整模型是机器学习算法，则校准值可包括机器学习算法的至少一个权重。更具体地，机器学习算法可以是包括多个层的神经网络，多个层包括终端层，即，距输入最远并提供输出的层，并且终端层可包括权重，其是校准值。因此，可在校准之前训练神经网络，并且校准可修改神经网络的终端层，本质上“细调”神经网络。
52.车辆计算机108可被编程为响应于满足标准而例如经由用户界面138输出用于请求确定调整模型的至少一个校准值的消息。标准可被选择为与车辆100的操作长度相关，在操作长度内校准值可能已漂移。例如，标准可以是自上次校准以来的里程超过距离阈值、自上次校准以来的时间超过时间阈值等。
53.返回到图1，技术人员可将车辆100设置在校准环境122中以执行车辆传感器104中的一个(在下文中称为车辆传感器104或感兴趣的车辆传感器104)的校准。可针对车辆传感器104中的每一个独立地执行本文描述的技术。可通过如刚刚描述的满足标准来促使设置车辆100以校准车辆传感器104。替代地或另外地，可在完成制造车辆100时(例如，在车辆100已离开组装线之后不久)执行设置车辆100以校准车辆传感器104。车辆传感器104的校准可包括静态校准和动态校准，如将依次描述。
54.计算机102或车辆计算机108可基于在动态激励器124不向车辆100施加振动时(即，在车辆100静止和不受干扰时)测量的来自车辆传感器104的数据来执行车辆传感器104的静态校准。例如，可在施加振动以进行动态校准之前执行静态校准，如下面将描述。当动态激励器124不活动时，车辆100可放置在动态激励器124上。替代地，可在将车辆100放置在动态激励器124上之前执行静态校准。
55.静态校准可包括确定车辆传感器104的固有和/或外在参数。例如，如果车辆传感器104是相机，则固有参数可包括焦距、图像传感器格式和主点，并且外在参数可包括在车辆100的坐标系的原点与相机的中性位置之间变换的平移矩阵和旋转矩阵。车辆传感器104的中性位置是车辆传感器104在不受干扰时的位置。可使用来自车辆传感器104的数据执行静态校准，其中校准目标130在视野中。计算机102或车辆计算机108可被编程为使用任何合适的算法(例如，zhang的方法、tsai的算法、selby的方法等)来执行静态校准。又例如，静态校准可包括确定色差、渐晕、失真模型参数等。通过静态校准确定的固有和/或外在参数可存储在车辆计算机108的存储器中。
56.可使用在向车辆100施加振动时由感兴趣的车辆传感器104和校准传感器106产生的数据来执行动态校准。振动可导致车辆传感器104偏离中性位置。通过基于在振动使车辆传感器104移动远离中性位置时测量的数据来确定调整模型的至少一个校准值，动态校准可允许车辆计算机108使用调整模型来在车辆100在操作中时准确地调整来自车辆传感器104的数据，以例如补偿道路振动。
57.计算机102可被编程为指示动态激励器124例如通过致动致动器126向车辆100施加振动。施加振动可包括指示动态激励器124例如通过向相应的致动器126提供不同的指令
来向车辆100的每个车轮128独立地施加振动。替代地，可通过操作车辆100以沿着具有已知振动曲线的路线行驶来施加振动。
58.在向车辆100施加振动时，校准目标130可固定在校准环境122内的适当位置。替代地或另外地，校准目标130可例如通过机械臂根据预设模式移动或旋转，例如以出现在多个车辆传感器104的视野中。施加振动还可包括指示车辆100的一个或多个部件致动产生振动的部件，诸如推进装置110。
59.振动可遵循预设序列。预设序列可存储在计算机102的存储器中，并且计算机102可被编程为指示动态激励器124根据预设序列施加振动。例如，预设序列可包括重复模式，例如，可遵循重复的数学函数，诸如正弦波。又例如，预设序列可包括先前测量的道路振动序列。先前测量的道路振动序列可在行程期间由例如与车辆100相同型号的车辆记录。计算机102可存储多个先前测量的道路振动序列，例如，来自不同类型的道路，诸如铺砌的、铺有坑洞、砾石、鹅卵石等。又例如，可随机地生成预设序列，例如，以拟合特定的功率谱密度。功率谱密度可被选择为涵盖车辆100在操作中可能遇到的振动频率范围。又例如，预设序列可包括串联施加的刚刚描述的多个预设序列，例如，不同频率的多个正弦波、不同类型道路的多个先前测量的道路振动序列等。又例如，可利用底盘测功机的辊的已知表面粗糙度施加预设序列，其中表面粗糙度围绕辊周向地变化。又例如，预设序列可以是车辆100正沿着其行驶的路线的已知振动曲线。
60.动态校准可包括在向车辆100施加振动时通过校准传感器106中的至少一个测量车辆传感器104的位置的第一时间系列。第一时间系列可包括与相应时间配对的感兴趣的车辆传感器104的三维位置序列。第一时间系列还可包括基于由车辆传感器104发射的波束的位置的与相应时间配对的车辆传感器104的取向序列。计算机102可被编程为从校准传感器106接收第一时间系列。计算机102还可从静态校准接收校准参数，诸如失真参数，计算机102可在下面从车辆传感器104接收数据时使用校准参数。
61.当动态激励器124向车辆100施加振动时，车辆传感器104可测量例如包括校准目标130中的一者或多者的视野的数据。计算机102或车辆计算机108可被编程为基于来自车辆传感器104的数据来确定车辆传感器104的运动的第二时间系列。确定第二时间系列可基于来自车辆传感器104的数据中的校准目标130的位置。例如，计算机102或车辆计算机108可基于校准目标130在校准环境122中的已知位置、从静态校准已知的车辆传感器104的中性位置和根据已知变换的来自车辆传感器104的数据中的校准目标130上的点的变化的像素坐标来确定车辆传感器104的移动。又例如，计算机102或车辆计算机108可使用机器学习算法(例如，卷积神经网络)利用校准目标130上的点的像素坐标来确定车辆传感器104的移动。
62.计算机102可被编程为接收第二时间系列。例如，计算机102可被编程为接收来自车辆传感器104的数据并如刚刚描述的根据数据确定第二时间系列，或者计算机102可被编程为在车辆计算机108如刚刚描述的确定第二时间系列之后从车辆计算机108接收第二时间系列。计算机102可经由车辆100的收发器136或经由与车辆100的通信网络132的有线连接接收来自车辆传感器104的数据或来自车辆计算机108的第二时间系列。
63.计算机102可被编程为融合第一时间系列和第二时间系列。融合是将来自不同源的数据组合在一起，使得例如在创建车辆传感器104在校准环境122中的位置的统一模型
时，所得数据与单独使用来自每个源的数据相比具有更低的不确定性。传感器融合可用一种或多种算法来执行，例如卡尔曼滤波器、中心极限定理、贝叶斯网络、证据理论(dempster-shafer)、机器学习算法(诸如卷积神经网络)等。第一时间系列和第二时间系列的融合可产生随时间推移的车辆传感器104的第三位置时间系列。
64.计算机102可被编程为基于第一时间系列和第二时间系列的融合来确定调整模型的至少一个校准值，例如，多个校准值。例如，如果调整模型是方程式组并且校准值是方程式中的系数，则计算机102可将预设的振动序列和第三位置时间系列输入到方程式中，留下系数作为唯一剩余的未知数。然后，计算机102可求解方程式以得到系数。
65.又例如，如果调整模型是机器学习算法并且校准值是机器学习算法中的权重，则计算机102可使用预设振动序列作为输入和第三位置时间系列作为地面实况来训练机器学习算法。除了用作权重的校准值之外，计算机102可保持机器学习算法不变。
66.计算机102可被编程为输出校准值。计算机102可输出包括校准值的调整模型，或者可单独输出校准值。例如，计算机102可被编程为例如经由车辆100的收发器136或与车辆100的通信网络132的有线连接将校准值加载到车辆计算机108上。又例如，技术人员可在从计算机102接收到校准值之后将校准值加载到车辆计算机108上。然后，车辆计算机108准备好基于由调整模型调整的来自车辆传感器104的数据来操作车辆100，如上所述。
67.图3是示出用于校准车辆传感器104的示例性过程300的过程流程图。作为过程300的总体概述，过程300开始于技术人员将车辆100设置在校准环境122中。校准传感器106测量处于中性位置的车辆传感器104的位置。计算机102或车辆计算机108执行车辆传感器104的静态校准。动态激励器124向车辆100施加振动，并且在施加振动时，车辆传感器104和校准传感器106测量数据。计算机102或车辆计算机108确定车辆传感器104的运动。计算机102融合第一时间系列和第二时间系列并确定校准值。计算机102或技术人员将校准值加载到车辆计算机108上。最后，利用由调整模型调整的来自车辆传感器104的数据来操作车辆100。
68.过程300在框305中开始，在框305中，技术人员将车辆100设置在校准环境122中，具体地在动态激励器124上，如上所述。技术人员可将校准目标130设置在车辆传感器104的视野中。
69.接下来，在框310中，校准传感器106测量车辆传感器104的中性位置，如上所述。
70.接下来，在框315中，计算机102或车辆计算机108基于在不向车辆100施加振动时来自车辆传感器104的数据和基于车辆传感器104的中性位置来执行车辆传感器104的静态校准，如上所述。
71.接下来，在框320中，计算机102或技术人员指示动态激励器124向车辆100施加振动或沿着具有已知振动曲线的路线操作车辆100，如上所述。在向车辆100施加振动时，校准目标130是固定的。
72.接下来，在框325中，在施加振动时，校准传感器106测量车辆传感器104的位置的第一时间系列，并且车辆传感器104可测量包括校准目标130的视野的数据。在校准传感器106和车辆传感器104进行测量之后，振动可停止。
73.接下来，在框330中，计算机102接收第一时间系列和第二时间系列，如上所述。计算机102从校准传感器106接收第一时间系列。车辆计算机108可根据来自车辆传感器104的
数据确定第二时间系列，并且计算机102可从车辆计算机108接收第二时间系列，如上所述。替代地，计算机102可接收来自车辆传感器104的数据并根据数据确定第二时间系列，如上所述。
74.接下来，在框335中，计算机102融合第一时间系列和第二时间系列，如上所述。
75.接下来，在框340中，计算机102基于第一时间系列和第二时间系列的融合来确定调整模型的校准值，如上所述。
76.接下来，在框345中，计算机102输出校准值，并且计算机102或技术人员将校准值加载到车辆计算机108上，如上所述。
77.接下来，在框350中，车辆计算机108基于由调整模型调整的来自车辆传感器104的数据来操作车辆100，如上所述。在框350之后，过程300结束。
78.图4是示出用于由计算机102校准车辆传感器104的示例性过程400的过程流程图。计算机102的存储器存储用于执行过程400的步骤的可执行指令和/或编程可以诸如上述的结构来实现。过程400列出了在刚刚描述的过程300内由计算机102执行的步骤的示例。作为过程400的总体概述，计算机102接收车辆传感器104的位置，执行车辆传感器104的静态校准，指示动态激励器124向车辆100施加振动，从校准传感器106接收车辆传感器104的位置的第一时间系列，接收车辆传感器104的运动的第二时间系列，融合第一时间系列和第二时间系列，确定校准值，以及输出校准值。
79.过程400在框405中开始，在框405中，计算机102从校准传感器106接收车辆传感器104的中性位置。
80.接下来，在框410中，计算机102基于在不向车辆100施加振动时来自车辆传感器104的数据和基于车辆传感器104的中性位置来执行车辆传感器104的静态校准，如上所述。
81.接下来，在框415中，计算机102指示动态激励器124向车辆100施加振动，如上所述。
82.接下来，在框420中，计算机102从校准传感器106接收在向车辆100施加振动时测量的车辆传感器104的位置的第一时间系列，如上所述。
83.接下来，在框425中，计算机102接收在向车辆100施加振动时测量的车辆传感器104的运动的第二时间系列，如上所述。
84.接下来，在框430中，计算机102融合第一时间系列和第二时间系列，如上所述。
85.接下来，在框435中，计算机102基于第一时间系列和第二时间系列的融合来确定调整模型的校准值，如上所述。
86.接下来，在框440中，计算机102输出校准值，如上所述。
87.一般来讲，所描述的计算系统和/或装置可采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：ford 应用；applink/smart device link中间件；microsoft 操作系统；microsoft 操作系统；unix操作系统(例如，由加利福尼亚州红杉海岸的oracle公司发布的操作系统)；由纽约州阿蒙克市的international business machines公司发布的aix unix操作系统；linux操作系统；由加利福尼亚州库比蒂诺市的苹果公司发布的mac osx和ios操作系统；由加拿大滑铁卢的黑莓有限公司发布的黑莓操作系统；以及由谷歌公司和开放手机联盟开发的安卓操作
系统；或由qnx软件系统公司提供的car信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或某一其他计算系统和/或装置。
88.计算装置通常包括计算机可执行指令，其中所述指令可由诸如以上列出的那些的一个或多个计算装置执行。可从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于java
tm
、c、c++、matlab、simulink、stateflow、visual basic、java script、python、perl、html等。这些应用程序中的一些可在诸如java虚拟机、dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的指令，并且执行这些指令，从而执行一个或多个过程(包括本文所述过程中的一者或多者)。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
89.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、线、无线通信，包括构成联接到计算机的处理器的系统总线的内部件。常见形式的计算机可读介质包括例如ram、prom、eprom、flash-eeprom、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
90.本文所述的数据库、数据存储库或其他数据存储可包括用于存储、存取/访问和检索各种数据的各种机制，包括分层数据库、文件系统中的文件集、专用格式的应用程序数据库、关系型数据库管理系统(rdbms)、非关系数据库(nosql)、图形数据库(gdb)等。每个这样的数据存储通常被包括在采用诸如以上提及中的一种的计算机操作系统的计算装置内，并且以各种方式中的任何一种或多种来经由网络进行访问。文件系统可从计算机操作系统访问，并且可包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述pl/sql语言)之外，rdbms通常还采用结构化查询语言(sql)。
91.在一些示例中，系统元件可被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可包括存储在计算机可读介质上的用于实施本文描述的功能的此类指令。
92.在附图中，相同的附图标记指示相同的元件。另外，可改变这些元件中的一些或全部。关于本文描述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所述的某些步骤。
93.除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。特别地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。“响应于”和“在确定
……
时”的使用指示因果关系，而不仅是时间关系。形容词“第一”和“第二”贯穿本文档用作标识符，并且不意图表示重要性、顺序或数量。
94.已经以说明性方式描述了本公开，并且应理解，已经使用的术语意图具有描述性词语而非限制性词语的性质。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可不同于具体描述的其他方式来实践。
95.根据本发明，提供了一种计算机，其具有：处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：从与车辆间隔开的至少一个校准传感器接收在向所述车辆施加振动时测量的安装在所述车辆上的车辆传感器的位置的第一时间系列；接收基于在向所述车辆施加所述振动时测量的来自所述车辆传感器的数据的所述车辆传感器的运动的第二时间系列；融合所述第一时间系列和所述第二时间系列；并且基于所述第一时间系列和所述第二时间系列的所述融合来确定调整模型的至少一个校准值，所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型。
96.根据实施例，所述第一时间系列包括基于由所述车辆传感器发射的波束的位置的所述车辆传感器的取向。
97.根据实施例，所述指令还包括用于指示动态激励器向所述车辆施加所述振动的指令。
98.根据实施例，所述振动遵循预设序列。
99.根据实施例，所述预设序列包括重复模式。
100.根据实施例，所述预设序列包括先前测量的道路振动序列。
101.根据实施例，所述指令还包括用于输出所述至少一个校准值的指令。
102.根据实施例，所述指令还包括用于以下操作的指令：基于在不向所述车辆施加所述振动时测量的来自所述车辆传感器的数据来执行所述车辆传感器的静态校准。
103.根据实施例，融合所述第一时间系列和所述第二时间系列包括执行机器学习算法。
104.根据实施例，所述调整模型包括至少一个方程式，并且所述至少一个校准值包括所述至少一个方程式的至少一个系数。
105.根据实施例，所述调整模型包括机器学习算法，并且所述至少一个校准值包括所述机器学习算法的至少一个权重。
106.根据实施例，所述机器学习算法是包括多个层的神经网络，所述多个层包括终止层，并且所述终止层包括所述至少一个权重。
107.根据本发明，一种方法包括：向车辆施加振动；在向所述车辆施加所述振动时，通过与所述车辆间隔开的至少一个校准传感器测量安装在所述车辆上的车辆传感器的位置的第一时间系列；基于在向所述车辆施加振动时测量的来自所述车辆传感器的数据来确定所述车辆传感器的运动的第二时间系列；融合所述第一时间系列和所述第二时间系列；基于所述第一时间系列和所述第二时间系列的所述融合来确定调整模型的至少一个校准值，所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型；以及将所述调整模型加载到所述车辆的车辆计算机上。
108.在本发明的一个方面，所述方法包括将所述车辆设置在动态激励器上，其中施加所述振动包括指示所述动态激励器施加所述振动。
109.在本发明的一个方面，施加所述振动包括指示所述动态激励器向所述车辆的每个车轮独立地施加所述振动。
110.在本发明的一个方面，所述方法包括将校准目标设置在所述车辆传感器的视野中，其中确定所述第二时间系列是基于来自所述车辆传感器的所述数据中所述校准目标的位置。
111.在本发明的一个方面，在向所述车辆施加所述振动时，所述校准目标是固定的。
112.在本发明的一个方面，所述车辆传感器是相机、雷达或激光雷达中的一者。
113.在本发明的一个方面，所述方法包括基于由所述调整模型调整的来自所述车辆传感器的数据来操作所述车辆。
114.在本发明的一个方面，所述车辆计算机被编程为响应于满足标准而输出请求确定所述调整模型的所述至少一个校准值的消息。

技术特征：
1.一种计算机，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以：从与车辆间隔开的至少一个校准传感器接收在向所述车辆施加振动时测量的安装在所述车辆上的车辆传感器的位置的第一时间系列；接收基于在向所述车辆施加所述振动时测量的来自所述车辆传感器的数据的所述车辆传感器的运动的第二时间系列；融合所述第一时间系列和所述第二时间系列；并且基于所述第一时间系列和所述第二时间系列的所述融合来确定调整模型的至少一个校准值，所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型。2.如权利要求1所述的计算机，其中所述第一时间系列包括基于由所述车辆传感器发射的波束的位置的所述车辆传感器的取向。3.如权利要求1所述的计算机，其中所述指令还包括用于输出所述至少一个校准值的指令。4.如权利要求1所述的计算机，其中所述指令还包括用于以下操作的指令：基于在不向所述车辆施加所述振动时测量的来自所述车辆传感器的数据来执行所述车辆传感器的静态校准。5.如权利要求1所述的计算机，其中融合所述第一时间系列和所述第二时间系列包括执行机器学习算法。6.如权利要求1所述的计算机，其中所述调整模型包括至少一个方程式，并且所述至少一个校准值包括所述至少一个方程式的至少一个系数。7.如权利要求1所述的计算机，其中所述调整模型包括机器学习算法，并且所述至少一个校准值包括所述机器学习算法的至少一个权重。8.如权利要求7所述的计算机，其中所述机器学习算法是包括多个层的神经网络，所述多个层包括终止层，并且所述终止层包括所述至少一个权重。9.如权利要求1-8中的一项所述的计算机，其中所述指令还包括用于指示动态激励器向所述车辆施加所述振动的指令，并且所述振动遵循预设序列。10.一种方法，其包括：向车辆施加振动；在向所述车辆施加所述振动时，通过与所述车辆间隔开的至少一个校准传感器测量安装在所述车辆上的车辆传感器的位置的第一时间系列；基于在向所述车辆施加振动时测量的来自所述车辆传感器的数据来确定所述车辆传感器的运动的第二时间系列；融合所述第一时间系列和所述第二时间系列；基于所述第一时间系列和所述第二时间系列的所述融合来确定调整模型的至少一个校准值，所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型；以及将所述调整模型加载到所述车辆的车辆计算机。11.如权利要求10所述的方法，其还包括将所述车辆设置在动态激励器上，其中施加所
述振动包括指示所述动态激励器施加所述振动。12.如权利要求11所述的方法，其中施加所述振动包括指示所述动态激励器向所述车辆的每个车轮独立地施加所述振动。13.如权利要求10所述的方法，其还包括将校准目标设置在所述车辆传感器的视野中，其中确定所述第二时间系列是基于来自所述车辆传感器的所述数据中所述校准目标的位置。14.如权利要求10所述的方法，其中所述车辆计算机被编程为响应于满足标准而输出请求确定所述调整模型的所述至少一个校准值的消息。15.如权利要求10-14中的一项所述的方法，其还包括基于由所述调整模型调整的来自所述车辆传感器的数据来操作所述车辆。

技术总结
本公开提供“车辆传感器的动态校准”。一种计算机包括处理器和存储指令的存储器，所述指令可由所述处理器执行以从与车辆间隔开的至少一个校准传感器接收在向所述车辆施加振动时测量的安装在所述车辆上的车辆传感器的位置的第一时间系列；接收基于在向所述车辆施加所述振动时测量的来自所述车辆传感器的数据的所述车辆传感器的运动的第二时间系列；融合所述第一时间系列和所述第二时间系列；并且基于所述第一时间系列和所述第二时间系列的所述融合来确定调整模型的至少一个校准值。所述调整模型是由所述车辆的运动引起的所述车辆传感器相对于所述车辆的运动的模型。传感器相对于所述车辆的运动的模型。传感器相对于所述车辆的运动的模型。


技术研发人员：大卫
受保护的技术使用者：福特全球技术公司
技术研发日：2023.01.28
技术公布日：2023/8/14