在道路上车道标线误检测时的故障隔离和缓减的制作方法

1.本节中提供的信息是为了总体上呈现本公开的上下文的目的。当前署名的发明人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。
2.本公开总体上涉及车辆控制系统，且更特别地涉及在道路上对车道标线的误检测时的故障隔离和缓减。


背景技术：

3.现今，许多车辆都配备有车道偏离警告系统以辅助驾驶员。例如，车道偏离警告系统包括传感器（诸如，相机），这些传感器监测车道标线并在车辆倾向于偏离其车道时对驾驶员做出警告。具体地，处理来自这些传感器的数据，以确定车辆是否正保持车道并检测车辆何时偏离车道。当车辆偏离车道时，对驾驶员做出警告。一些车辆还配备有包括传感器（诸如，相机、雷达和激光雷达）的感知系统，这些感知系统监测车辆的周围环境并在诸如停放车辆、变更车道等等任务中辅助驾驶员。


技术实现要素：

4.一种用于车辆的系统包括控制器和该车辆上的多个传感器。所述多个传感器中的第一传感器被构造成检测道路上的车道标线。控制器被构造成存储来自所述多个传感器的数据。响应于接收到基于从第一传感器接收到的数据而指示道路上对车道标线的误检测的指示，控制器被构造成：并行地执行多个过程（procedure，或为“程序”），所述多个过程被构造成基于存储的数据来分别检测对车道标线的误检测的多个原因；将这些原因中的一个隔离为对车道标线的误检测的根本原因；以及基于对车道标线的误检测的根本原因来提供用于缓减道路上对车道标线的误检测的响应。
5.在其他特征中，这些过程被构造成检测对车道标线的误检测是否由以下各者中的任一者引起：第一传感器有故障；道路上不存在车道标线；存在使道路上的车道标线模糊的雨或雪；存在使道路上的车道标模糊的眩光或阴影；在第一传感器的视野中存在障碍物；道路上存在施工物；道路的车道构型变化；以及道路未铺装（unpaved，或为“被除去路面”）。
6.在其他特征中，该响应包括：跟随在该车辆前面的第二车辆、通知车辆的乘员接管对驾驶车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。
7.在其他特征中，由控制器执行的过程中的一者被构造成：处理由第一传感器捕获的图像；执行对图像中的像素的聚类和过滤；对过滤后的像素执行第一和第二曲线拟合；以及基于第二曲线拟合来确定道路上是否存在车道标线。
8.在其他特征中，由控制器执行的过程中的一者被构造成：处理由所述多个传感器中的两个传感器捕获的图像；针对这两个传感器中的每一个，确定有和没有车道标线的图像的数量；针对这两个传感器中的每一个，计算有或没有车道标线的图像的数量与所处理
的图像总数的比率；以及基于这两个传感器的比率来确定道路上是否存在车道标线。
9.在其他特征中，由控制器执行的过程中的一者被构造成：通过将由第一传感器捕获的道路的原始图像与由所述多个传感器中的第二传感器捕获的道路的原始图像进行比较，确认第一传感器是否有故障。
10.在其他特征中，由控制器执行的过程中的一者被构造成：通过将在由第一传感器捕获的道路的图像中检测到的物体（objected）与在由所述多个传感器中的第二传感器捕获的道路的图像中检测到的物体进行比较，确认第一传感器是否有故障。
11.在其他特征中，由控制器执行的过程中的一者被构造成：基于由第一传感器捕获的图像、关于道路的地图信息、以及来自车辆中的惯性测量单元的数据来检测道路是否未铺装。
12.在其他特征中，由控制器执行的过程中的一者被构造成：使用机器学习模型来检测由第一传感器捕获的图像中雨或雪的存在。
13.在其他特征中，由控制器执行的过程中的一者被构造成：基于由第一传感器捕获的图像中的像素强度来检测这些图像中眩光或阴影的存在。
14.在其他特征中，由控制器执行的过程中的一者被构造成：基于在由所述多个传感器中的一者捕获的图像中检测到的施工物体来检测道路上施工物的存在。
15.在其他特征中，由控制器执行的过程中的一者被构造成：通过检测道路中的车道数量变化、以及车道数量和车辆所占据的车道之间的关系变化中的至少一者来检测道路的车道构型变化。
16.在其他特征中，由控制器执行的过程中的一者被构造成：基于由所述多个传感器中的第二传感器捕获的图像和从所述多个传感器中的第三传感器接收到的数据，确定在车辆前面距车辆预定距离内是否存在第二车辆，并且确定第二车辆的大小。
17.在其他特征中，由控制器执行的过程中的一者被构造成：基于预定距离来确定是否跟随第二车辆。
18.在其他特征中，由控制器执行的过程中的一者被构造成：响应于该预定距离大于一预定距离而确定是否在另一条轨迹上驱动该驱动器。
19.在其他特征中，一种用于车辆的方法包括：存储来自车辆上的多个传感器的数据；以及接收基于从所述多个传感器中的第一传感器接收到的数据而指示道路上对车道标线的误检测的指示。该方法包括：响应于接收到该指示而并行地执行多个过程，所述多个过程被构造成：基于存储的数据来分别检测对车道标线的误检测的多个原因；将这些原因中的一个识别为对车道标线的误检测的根本原因；以及基于对车道标线的误检测的根本原因来提供用于缓减道路上对车道标线的误检测的响应。该响应包括：跟随在该车辆前面的第二车辆、通知车辆的乘员接管对驾驶车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。
20.在其他特征中，该方法进一步包括：使用这些过程来检测对车道标线的误检测是否由以下各者中的任一者引起：第一传感器有故障；道路上不存在车道标线；存在使道路上的车道标线模糊的雨或雪；存在使道路上的车道标模糊的眩光或阴影；在第一传感器的视野中存在障碍物；道路上存在施工物；道路的车道构型变化；以及道路未铺装。
21.在其他特征中，该方法进一步包括：处理由第一传感器捕获的图像；执行对图像中
的像素的聚类和过滤；对过滤后的像素执行第一和第二曲线拟合；以及基于第二曲线拟合来确定道路上是否存在车道标线。
22.在其他特征中，该方法进一步包括：处理由所述多个传感器中的两个传感器捕获的图像；针对这两个传感器中的每一个，确定有和没有车道标线的图像的数量；针对这两个传感器中的每一个，计算有或没有车道标线的图像的数量与所处理的图像总数的比率；以及基于这两个传感器的比率来确定道路上是否存在车道标线。
23.在其他特征中，该方法进一步包括：通过以下方式确认第一传感器是否有故障：将由第一传感器捕获的道路的原始图像与由所述多个传感器中的第二传感器捕获的道路的原始图像进行比较；或将在由第一传感器捕获的道路的图像中检测到的物体与在由所述多个传感器中的第二传感器捕获的道路的图像中检测到的物体进行比较。
24.本发明还公开了如下技术方案：方案1. 一种用于车辆的系统，所述系统包括：所述车辆上的多个传感器，其中，所述多个传感器中的第一传感器被构造成检测道路上的车道标线；以及控制器，其被构造成：存储来自所述多个传感器的数据；以及响应于接收到基于从所述第一传感器接收到的数据而指示所述道路上对车道标线的误检测的指示：并行地执行多个过程，所述多个过程被构造成：基于存储的数据来分别检测对车道标线的所述误检测的多个原因；将所述原因中的一个隔离为对车道标线的所述误检测的根本原因；以及基于对车道标线的所述误检测的所述根本原因来提供用于缓减所述道路上对车道标线的所述误检测的响应。
25.方案2. 根据方案1所述的系统，其中，所述过程被构造成检测对车道标线的所述误检测是否由以下各者中的任一者引起：所述第一传感器有故障；所述道路上不存在车道标线；存在使所述道路上的车道标线模糊的雨或雪；存在使所述道路上的车道标模糊的眩光或阴影；在所述第一传感器的视野中存在障碍物；所述道路上存在施工物；所述道路的车道构型变化；以及所述道路未铺装。
26.方案3. 根据方案1所述的系统，其中，所述响应包括：跟随在所述车辆前面的第二车辆、通知所述车辆的乘员接管对驾驶所述车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。
27.方案4. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：处理由所述第一传感器捕获的图像；
执行对所述图像中的像素的聚类和过滤；对过滤后的像素执行第一曲线拟合和第二曲线拟合；以及基于所述第二曲线拟合来确定所述道路上是否存在车道标线。
28.方案5. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：处理由所述多个传感器中的两个传感器捕获的图像；针对所述两个传感器中的每一个，确定有和没有车道标线的图像的数量；针对所述两个传感器中的每一个，计算有或没有车道标线的图像的所述数量与所处理的图像总数的比率；以及基于所述两个传感器的所述比率来确定所述道路上是否存在车道标线。
29.方案6. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：通过将由所述第一传感器捕获的所述道路的原始图像与由所述多个传感器中的第二传感器捕获的所述道路的原始图像进行比较，确认所述第一传感器是否有故障。
30.方案7. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：通过将在由所述第一传感器捕获的所述道路的图像中检测到的物体与在由所述多个传感器中的第二传感器捕获的所述道路的图像中检测到的物体进行比较，确认所述第一传感器是否有故障。
31.方案8. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于由所述第一传感器捕获的图像、关于所述道路的地图信息以及来自所述车辆中的惯性测量单元的数据来检测所述道路是否未铺装。
32.方案9. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：使用机器学习模型来检测由所述第一传感器捕获的图像中雨或雪的存在。
33.方案10. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于由所述第一传感器捕获的图像中的像素强度来检测所述图像中眩光或阴影的存在。
34.方案11. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于在由所述多个传感器中的一者捕获的图像中检测到的施工物体来检测所述道路上施工物的存在。
35.方案12. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：通过检测所述道路中的车道数量变化以及在所述车道数量和所述车辆所占据的车道之间的关系变化中的至少一者来检测所述道路的车道构型变化。
36.方案13. 根据方案1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于由所述多个传感器中的第二传感器捕获的图像和从所述多个传感器中的第三传感器接收到的数据，确定在所述车辆前面距所述车辆预定距离内是否存在第二车辆，并且确定所述第二车辆的大小。
37.方案14. 根据方案13所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于所述预定距离来确定是否跟随所述第二车辆。
38.方案15. 根据方案13所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：响应于所述预定距离大于一预定距离而确定是否在另一条轨迹上驱动所述驱动
器。
39.方案16. 一种用于车辆的方法，所述方法包括：存储来自所述车辆上的多个传感器的数据；接收基于从所述多个传感器中的第一传感器接收到的数据而指示道路上对车道标线的误检测的指示；响应于接收到所述指示而并行地执行多个过程，所述多个过程被构造成：基于存储的数据来分别检测对车道标线的所述误检测的多个原因；将所述原因中的一个识别为对车道标线的所述误检测的根本原因；以及基于对车道标线的所述误检测的所述根本原因来提供用于缓减所述道路上对车道标线的所述误检测的响应，其中所述响应包括：跟随在所述车辆前面的第二车辆、通知所述车辆的乘员接管对驾驶所述车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。
40.方案17. 根据方案16所述的方法，其进一步包括：使用所述过程来检测对车道标线的所述误检测是否由以下各者中的任一者引起：所述第一传感器有故障；所述道路上不存在车道标线；存在使所述道路上的车道标线模糊的雨或雪；存在使所述道路上的车道标模糊的眩光或阴影；在所述第一传感器的视野中存在障碍物；所述道路上存在施工物；所述道路的车道构型变化；以及所述道路未铺装。
41.方案18. 根据方案16所述的方法，其进一步包括：处理由所述第一传感器捕获的图像；执行对所述图像中的像素的聚类和过滤；对过滤后的像素执行第一曲线拟合和第二曲线拟合；以及基于所述第二曲线拟合来确定所述道路上是否存在车道标线。
42.方案19. 根据方案16所述的方法，其进一步包括：处理由所述多个传感器中的两个传感器捕获的图像；针对所述两个传感器中的每一个，确定有和没有车道标线的图像的数量；针对所述两个传感器中的每一个，计算有或没有车道标线的图像的所述数量与所处理的图像总数的比率；以及基于所述两个传感器的所述比率来确定所述道路上是否存在车道标线。
43.方案20. 根据方案16所述的方法，其进一步包括：通过以下方式确认所述第一传感器是否有故障：将由所述第一传感器捕获的所述道路的原始图像与由所述多个传感器中的第二传感器捕获的所述道路的原始图像进行比较；或将在由所述第一传感器捕获的所述道路的图像中检测到的物体与在由所述多个
传感器中的第二传感器捕获的所述道路的图像中检测到的物体进行比较。
44.本公开的进一步的适用领域将从详细描述、权利要求书和附图变得显而易见。详细描述和特定示例仅旨在用于图示的目的而非旨在限制本公开的范围。
附图说明
45.本公开将从详细描述和附图变得被更充分地理解，其中：图1示出了可以实施图3-18中所示的系统和方法的分布式计算系统的简化示例；图2示出了图1的分布式计算系统的服务器的简化示例；图3示出了可以在图1中所示的车辆、服务器或其组合中实施的用于故障隔离和缓减的系统的示例；图4示出了可以由图3的系统检测的场景或事件的示例以及可以基于故障隔离和缓减的检测而生成的输出的示例；图5示出了在对车道标线的误检测时由图3的系统执行的一般方法；图6示出了用于执行车道标线误检测分析的方法；图7示出了用于确定车道标线误检测的一个或多个原因并提供缓减策略的一般方法；图8a-8b示出了用于检测车道标线的存在的第一种方法；图9示出了用于检测车道标线的存在的第二种方法；图10示出了用于诊断用于检测车道标线的传感器的方法；图11示出了用于检测未铺装的道路的方法；图12示出了用于检测会引起对车道标线的误检测的雨和/或雪的方法；图13示出了用于检测会引起对车道标线的误检测的眩光和/或阴影的方法；图14示出了用于检测会引起对车道标线的误检测的施工区的方法；图15和图16示出了用于检测会引起对车道标线的误检测的车道的出口、入口和/或分叉的方法；图17示出了用于检测障碍物以进行车道标线检测的方法；以及图18示出了在车辆中使用图3的系统并提供一个或多个缓减策略的方法的示例。
46.在附图中，“y”代表“是”，“n”代表“否”，并且附图标记可被重复使用以识别类似和/或相同的元件。
具体实施方式
47.许多常规和自主车辆包括自动化驾驶系统（见图3中所示的示例）。例如，自动化驾驶系统包括车道偏离警告系统和感知系统，这些感知系统使用车辆上的各种传感器（包括但不限于，相机、雷达和激光雷达）来感知车辆的周围环境。依赖相机的车道偏离警告系统和感知系统在使相机的视野模糊、使车道标线模糊、或使车道标线无法检测的场景中会失效。这种场景的非限制性示例包括暴雨或暴雪、道路上的施工物、传感器视野中的障碍物、眩光/阴影的存在、传感器失效、未铺装的道路等等。在这种场景中，无法确认车道标线的存在或不存在；并且如果存在车道标线，也无法容易地确定不能检测车道标线的根本原因。检测车道标线对驾驶常规和自主车辆是有帮助的。对车道标线的误检测会被错误地推断为道
路上不存在车道并会迫使驾驶员控制自动化驾驶系统，这会是令人讨厌的情况。
48.本公开通过提供一种系统来解决以上问题，该系统用于隔离与车道标线检测相关联的故障并在对车道标线的误检测时提供缓减策略。如本文中所使用的，车道标线误检测或对车道标线的误检测包括未能检测到车道标线的存在。例如，失效的发生可能是由于一个或多个原因所致，包括但不限于：传感器的失效，诸如用于感测车道标线的感知系统的相机；环境因素，诸如雨、雪、眩光和阴影；传感器的障碍物；道路上的施工物；车道构型的变化；等等。失效的发生也可能是由于道路未铺装或没有车道标线，其中不存在车道标线是正常的，但被误检测为失效。系统通过考虑传感器失效、车道存在的地面实况、影响车道标线检测的场景、以及影响检测车道存在的场景来隔离故障的根本原因。系统基于故障隔离结果来提供缓减策略。
49.系统使用附加的传感器（例如，激光雷达、侧置相机等）连同被训练为检测车道标线的存在的机器学习模型来检测车道存在的（伪）地面实况。系统还可以使用利用被训练为检测车道标线的存在的机器学习模型（例如，神经网络）的基于聚类的方法。系统使用机器学习方法和基于其他规则的方法来确定对车道标线的误检测的根本原因。这些方法可以将诸如雨、雪、眩光/阴影、障碍物、施工区、车道的出口/入口/分叉、以及未铺装的道路之类的场景或事件检测为对车道标线的误检测的根本原因。系统执行分层缓减策略以实现驾驶辅助并改进感知系统在这种场景中的性能。
50.根据本公开的用于故障隔离和缓减的系统可以位于车辆中、云中的一个或多个服务器中、或其组合中。系统通过以下方式来改进自动化驾驶系统的技术领域：提供对车道标线误检测和故障隔离的在线分析、实现在故障隔离时对车道标线检测系统和对自动化驾驶系统的实时缓减/调适、以及最大限度地减少对车道标线检测系统中的故障进行故障排除的工程工作量（engineering effort）。下文详细描述本公开的系统的这些和其他特征。
51.本公开被如下组织。最初，参考图1和图2示出和描述了可以部分或完全地实施根据本公开的用于故障隔离和缓减的系统和方法的分布式计算系统。参考图3示出和描述了可以部分或完全地实施根据本公开的用于故障隔离和缓减的方法的系统。参考图4-18示出和描述了根据本公开的用于故障隔离和缓减的各种方法，这些方法可以在图1和图2的分布式计算系统、图3的系统或其组合中实施。
52.图1示出了分布式计算系统100的简化示例。分布式计算系统100可以部分或完全地实施根据本公开的用于故障隔离和缓减的系统和方法，所述系统和方法在下文参考图3-18来示出和描述。分布式计算系统100包括分布式通信系统110、一个或多个车辆120-1、120-2、...和120-m（统称为车辆120）、以及一个或多个服务器130-1、130-2、...和130-n（统称为服务器130）。m和n是大于或等于一的整数。
53.分布式通信系统110可包括局域网（lan）、广域网（wan）（诸如，因特网）和/或其他类型的网络。车辆120和服务器130可位于不同的地理位置处，并且可经由分布式通信系统110彼此通信。例如，服务器130可位于云中的数据中心中。车辆120和服务器130可使用无线和/或有线连接而连接到分布式通信系统110。
54.车辆120可包括在下文参考图3来示出和描述的系统，该系统可执行软件应用程序。这些软件应用程序可以实施根据本公开的用于故障隔离和缓减的各种方法，这些方法在下文参考图4-18来示出和描述。服务器130可将多种服务提供给车辆120。例如，服务器
130可执行软件应用程序。这些软件应用程序可以实施根据本公开的用于故障隔离和缓减的各种方法，这些方法在下文参考图4-18来示出和描述。服务器130可托管这些软件应用程序所依赖的多个数据库以将服务提供给车辆120的乘员。
55.图2示出了服务器130-1的简化示例。服务器130-1可包括一个或多个cpu或处理器170、网络接口178、存储器180和大容量存储器182。在一些实施方案中，服务器130-1可以是通用服务器，并且可包括一个或多个输入装置172（例如，小键盘、触摸板、鼠标等等）和显示子系统174，该显示子系统包括显示器176。网络接口178将服务器130-1连接到分布式通信系统110。例如，网络接口178可包括有线接口（例如，以太网接口）和/或无线接口（例如，wi-fi、蓝牙、近场通信（nfc）或另一个无线接口）。存储器180可包括易失性或非易失性存储器、高速缓存或其他类型的存储器。大容量存储器182可包括快闪存储器、一个或多个磁性硬盘驱动器（hdd）或其他大容量存储装置。
56.服务器130-1的处理器170执行操作系统（os）184和一个或多个软件应用程序186。软件应用程序186可以实施根据本公开的用于故障隔离和缓减的各种方法，这些方法在下文参考图4-18来示出和描述。在一些示例中，软件应用程序186可在虚拟机管理程序或容器化架构中实施。大容量存储器182可存储一个或多个数据库188，所述一个或多个数据库存储由软件应用程序186用来执行相应功能的数据结构。
57.图3示出了根据本公开的在车辆（例如，图1中所示的任何车辆140）中实施的用于故障隔离和缓减的系统200的示例。系统200包括控制器201、信息娱乐子系统202、自动化驾驶子系统204和通信子系统212。通信子系统212可经由分布式通信系统110与所述一个或多个服务器130通信。控制器201实施根据本公开的用于故障隔离和缓减的各种方法，这些方法在下文参考图4-18来示出和描述。相反，在一些示例中，所述一个或多个服务器130可执行这些方法，并且控制器201可将必要的数据发送到所述一个或多个服务器130且可从所述一个或多个服务器130接收所处理的数据的结果。在其他示例中，控制器201可执行这些方法中的一些，而所述一个或多个服务器130可执行其余的方法。进一步地，控制器201和其中一个服务器130可执行这些方法中的任一者的部分。在这些示例中的任一者中，信息娱乐子系统202将这些方法的结果提供给车辆的乘员。例如，信息娱乐子系统202将关于故障隔离和缓减的警报和其他消息提供给车辆的乘员。
58.信息娱乐子系统202包括允许车辆的乘员与车辆的各种子系统交互的视听接口。例如，由这些方法提供的结果可以经由信息娱乐子系统202以显示在信息娱乐子系统202的显示器上的视觉消息的形式、以经由信息娱乐子系统202的扬声器输出的音频消息的形式、或其组合来输出。例如，信息娱乐子系统202可包括触摸屏，车辆的乘员可以使用该触摸屏从显示在该触摸屏上的图形用户接口（gui）上的下拉菜单中选择命令。例如，信息娱乐子系统202可以包括麦克风，车辆的乘员可以通过该麦克风向车辆的子系统发出命令等等。例如，这些命令可以是对由这些方法提供的结果（例如，警报或其他消息）的响应（例如，以获得对自动化驾驶子系统204的控制）。
59.自动化驾驶子系统204使用多个导航传感器206执行驾驶操作。例如，导航传感器206可以包括遍及车辆安装的相机、全球定位系统（gps）、惯性测量单元（imu）、雷达系统（短程和远程）、激光雷达系统等等。使用来自这些传感器的数据，自动化驾驶子系统204可以执行驾驶操作。例如，自动化驾驶子系统204可以控制车辆的转向子系统208和制动子系统
210。取决于由下文所描述的一种或多种方法提供的结果，自动化驾驶子系统204可以驾驶车辆或允许车辆的乘员控制车辆。
60.图4示出了可以由系统200（例如，控制器201）检测的不同场景或事件以及可以基于检测而生成的不同输出。如总体上在300处示出的，控制器201可以并行地执行下文参考图5-18所描述的各种方法，以执行这些检测并在进行这些检测时提供缓减策略。对这些场景的检测由302处示出的车道标线误检测事件触发。例如，当感知系统中的传感器（诸如，导航传感器206中的相机）在车辆驾驶于道路上时误检测由传感器跟踪的车道的车道标线时，发生车道标线误检测事件。场景检测总体上在304处示出，其包括310处示出的检查传感器失效以及312处示出的检查车道标线存在的地面实况（两者都在下文进行详细描述）。下文将描述附加场景。由控制器201基于304处执行的场景检测而生成的输出总体上在306处示出，并在下文所示的表1中详细示出。
61.在304处，在由302处示出的车道标线误检测事件触发时，控制器201并行地运行图5-18中所示的方法并检测会潜在地引起或触发车道标线误检测事件的任何以下场景，以确定触发的根本原因。例如，这些场景可以是两种类型：总体上在320处示出的第一种类型的场景、以及总体上在322处示出的第二种类型的场景。
62.例如，第一种类型的场景320可包括雨（和/或雪）检测330、眩光和/或阴影检测332、障碍物检测334、以及施工区检测336。例如，第二种类型的场景322可包括车道的出口、入口和/或分叉的检测340（统示为出口/入口/分叉检测340）、未铺装的道路检测342、以及还有施工区检测336。下文参考后续的图来进一步详细描述这些检测连同310处示出的检查传感器失效和312处示出的检查车道标线存在的地面实况。
63.基于304处示出的检测，控制器201生成一个或多个输出x1、x2、x3和x4并提供缓减策略，下文在表1中示出这些策略。如果检测到传感器失效（例如，相机中的故障），则控制器201将输出x1设定为y，而如果没有检测到传感器失效，则控制器201将输出x1设定为n。如果存在车道（即，确认车道标线的存在），则控制器201将输出x2设定为y，而如果不存在车道（例如，如果道路未铺装），则控制器201将输出x2设定为n。如果检测到第一种类型的场景320中的任一者，则控制器201将输出x3设定为y，而如果没有检测到第一种类型的场景320中的任一者，则控制器201将输出x3设定为n。如果检测到第二种类型的场景322中的任一者，则控制器201将输出x4设定为y，而如果没有检测到第二种类型的场景322中的任一者，则控制器201将输出x4设定为n。
64.表１
。
65.图5-18示出了在上文和表1中所描述的用于检测和缓减的各种方法。这些方法中的一者或多者可以由控制器201、所述一个或多个服务器130、或使用其组合来执行。控制器201并行地执行这些方法并根据上文示出的表来使用由这些方法输出的结果，以提供缓减策略。
66.图5示出了在误检测车道标线时执行的一般方法400。下文参考后续的图来描述方
法400的详细步骤。在402处，方法400确定车道标线是否被误检测。如果车道标线被误检测，则在404处，方法400并行地执行故障隔离过程并生成如图4和表1中所示的一个或多个输出x1、x2、x3和x4。下文详细描述用于执行故障隔离并确定故障（即，车道标线误检测）的根本原因的各种方法。在406处，在隔离故障时，方法400基于故障隔离方法的输出来执行一个或多个缓减策略（例如，见表1）。
67.图6示出了用于执行车道标线误检测分析的方法410。在412处，方法410初始化预定大小b的循环缓冲器（例如，在控制器201中或在自动化驾驶子系统204中），该预定大小是可校准的。例如，可以选择缓冲器的大小b，使得循环缓冲器可以存储在发生车道标线误检测的前后来自车辆上的一个或多个传感器（例如，图3中所示的导航传感器206）的足够的数据量。在414处，方法410将来自车辆上的所述一个或多个传感器的相关数据存储在循环缓冲器中。例如，存储在循环缓冲器中的数据可包括但不限于以下各者：来自imu的数据、由前置相机捕获的图像、由一个或多个侧置相机捕获的图像、来自短程和远程雷达的数据、来自激光雷达的数据、由感知系统处理的数据的结果（该感知系统可以包括相机中的一个或多个）、在车道标线误检测之后的车辆轨迹（如果驾驶员接管）等等。
68.在416处，方法410确定车道标线是否被误检测（例如，由车辆中的感知系统）。如果车道标线被正确地检测（即，没有发生车道标线误检测），则方法410返回到414。如果车道标线被误检测，则在418处，方法410在车道标线误检测之后的预定时间段t内将附加数据存储在循环缓冲器中，其中t也是可校准的。在420处，方法410执行故障隔离并执行一个或多个缓减策略，所述一个或多个缓减策略的示例在表1中示出。下文详细描述用于执行故障隔离并确定故障的根本原因的各种方法。
69.图7示出了用于在检测到失效时确定车道标线误检测的原因并执行缓减策略的一般方法450。下文参考图8-18来描述方法450的详细步骤。在430处，方法450确定车道标线是否被误检测。如果车道标线没有被误检测（即，如果车道标线被正确地检测），则方法450返回到432。如果车道标线被误检测，则在452处，方法450确定车道标线的存在。下文参考图8a和图8b以及图9来示出和描述用以确定关于车道标线的存在的地面实况的两种方法452-1和452-2。
70.在432处，方法450确定车道标线误检测的一个或多个原因。下文从参考图10起（onwards）来描述这些方法。在434处，在确定车道标线误检测的一个或多个原因时，方法450执行一个或多个缓减策略，所述一个或多个缓减策略的示例在表1中示出并且下文进行进一步详细描述。
71.图8a-8b和图9分别示出了用以检测关于车道标线的存在的地面实况的两种不同的方法452-1和452-2。图8a和图8b示出了用以检测关于车道标线的存在的地面实况的第一种方法452-1。图9示出了用以检测关于车道标线的存在的地面实况的第二种方法452-2。这些方法对应于在图4中的312处示出的检查车道标线存在的地面实况。可使用这些方法中的任一者。这些方法将相应的结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
72.在图8a中，在454处，方法452-1使用前置相机（例如，图3中所示的导航传感器206中的一者）来捕获车辆正在其上行驶的道路的一部分的图像。在456处，方法452-1执行对捕获的图像中的像素的聚类和空间过滤。图8b中示出了聚类和空间过滤的示例。
73.在图8b中，例如，捕获的图像可包括可能与车道标线有关的像素440。捕获的图像还可包括作为离群值的像素442。进一步地，捕获的图像还可包括与无关于车道标线的物体有关的像素444。例如，像素444可能与车辆的引擎盖的一部分或者车辆的遮挡了捕获图像的相机视野的任何其他部分有关。方法452-1确定捕获的图像中的像素集群的均值和标准分布。方法452-1使用空间过滤（例如，球体）446来过滤作为离群值的像素442以及无关于车道标线的像素444。方法452-1选择对应于同一像素集群的像素440。
74.在458处，方法452-1对所选择的像素440执行曲线拟合的第一次迭代。曲线拟合的第一次迭代去除了相对远离拟合曲线的中心的像素。因此，曲线拟合的第一次迭代是对所选择的像素440执行的一种附加过滤形式。
75.在460处，方法452-1对在曲线拟合的第一次迭代之后留下的像素执行曲线拟合的第二次迭代，以获得过滤后的车道像素。在462处，方法452-1确定在第二曲线拟合之后获得的过滤后的车道像素中的像素数量和/或密度是否足以（例如，大于阈值）得出车道标线存在的结论。如果在第二曲线拟合之后获得的过滤后的车道像素中的像素数量和/或密度已足够，则在464处，方法452-1得出车道标线存在的结论。如果在第二曲线拟合之后获得的过滤后的车道像素中的像素数量和/或密度不足，则在466处，方法452-1得出车道标线不存在的结论。
76.图9示出了用以确定车道标线是否存在的替代452-2方法。方法452-2并行地处理由车辆上的两个相机（例如，左相机和右相机）捕获的图像。在500处，方法452-2加载被训练为使用机器学习来检测车道标线的第一模型（例如，cnn模型，其中cnn是卷积神经网络）以处理来自第一相机（例如，左相机）的图像。在502处，方法452-2加载被训练为使用机器学习来检测车道标线的第二模型（例如，cnn模型）以处理来自第二相机（例如，右相机）的图像。
77.在504处，从接收自第一相机的图像中，使用第一模型，方法452-2确定有和没有车道标线的图像的数量。例如，方法452-2可通过选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像来作出这一确定。
78.在506处，从接收自第二相机的图像中，使用第二模型，方法452-2确定有和没有车道标线的图像的数量。例如，方法452-2可通过选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像来作出这一确定。
79.在508处，对于来自左相机的所处理的图像，方法452-2计算没有车道标线的图像数量与图像总数的比率。替代地，方法452-2可以计算有车道标线的图像数量与图像总数的比率。
80.在510处，对于来自右相机的所处理的图像，方法452-2计算没有车道标线的图像数量与图像总数的比率。替代地，方法452-2可以计算有车道标线的图像数量与图像总数的比率。
81.在512处，方法452-2确定针对左相机所计算的比率是否大于或等于阈值。替代地，如果方法452-2计算有车道标线的图像数量与图像总数的比率，则方法452-2确定针对左相机所计算的比率是否小于或等于阈值。
82.在514处，方法452-2确定针对右相机所计算的比率是否大于或等于阈值。替代地，如果方法452-2计算有车道标线的图像数量与图像总数的比率，则方法452-2确定针对右相机所计算的比率是否小于或等于阈值。这些阈值是可校准的。
83.在516处，方法452-2确定针对左相机和右相机所计算的比率是否不大于或等于阈值（即，如果512和514处的决定是n和n）。如果512和514处的决定是n和n，则方法452-2确定在所处理的图像中存在车道标线。如果512和514处的决定是y和y、y和n、或n和y，则方法452-2确定在所处理的图像中不存在车道标线。如果这些比率如上文所提到的被替代地计算，则方法452-2可以做出类似的确定。
84.图10示出了用于诊断用于检测车道标线（即，检查在图4中的310处示出的传感器失效）的传感器（即，相机）的方法600。方法600将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
85.通常，车辆中的感知系统（例如，在图3中所示的自动化驾驶子系统204中实施）包括相机（例如，图3中所示的导航传感器206中的一者）。感知系统监测相机的操作。感知系统可以使用车载诊断（obd）系统为相机生成诊断故障代码（dtc）。在602处，方法600读取相机的dtc。在604处，方法600确定是否设定了dtc（指示相机中的故障）。如果设定了dtc，则在620处，方法600确定传感器（即，相机）已失效并且车道标线误检测是由于相机的失效所致。
86.然而，如果没有设定dtc（即，相机可正常操作）并且仍然车道标线被误检测，则在606处，方法600交叉验证来自相机和其他传感器的结果。例如，方法600比较由相机和另一个传感器进行的检测，该另一个传感器具有与相机重叠的视野（fov）。例如，另一传感器可以是另一个相机（例如，侧置相机）或激光雷达。
87.方法600可以执行两种交替的类型的处理。第一种类型的处理涉及确定由这两个传感器（即，相机和具有重叠fov的另一个传感器）检测到的实际物体以及比较这些检测到的物体，这会是计算密集的。替代地，第二类型的处理涉及比较由这两个传感器捕获的原始图像，这比第一类型的处理的计算密集程度小。
88.在610处，方法600执行第一类型的处理。方法600处理由这两个传感器（即，相机和另一个传感器）捕获的图像并检测由这两个传感器捕获的图像中的物体。方法600比较在由这两个传感器捕获的图像中检测到的物体并确定在由这两个传感器捕获的图像中检测到的物体是否匹配。如果在由这两个传感器捕获的图像中检测到的物体不匹配，则在620处，方法600确定传感器（即，相机）已失效并且车道标线误检测是由于相机的失效所致。如果在由这两个传感器捕获的图像中检测到的物体匹配，则在614处，方法600确定传感器（即，相机）是健康的（即，正常操作）并且车道标线误检测不是由于相机的失效所致。
89.替代地，在612处，方法600执行第二类型的处理。方法600比较由这两个传感器捕获的原始图像并确定由这两个传感器捕获的原始图像是否匹配。如果由这两个传感器捕获的原始图像不匹配，则在620处，方法600确定传感器（即，相机）已失效并且车道标线误检测是由于相机的失效所致。如果由这两个传感器捕获的原始图像匹配，则在614处，方法600确定传感器（即，相机）是健康的（即，正常操作）并且车道标线误检测不是由于相机的失效所致。
90.图11示出了用于检测未铺装的道路的方法700（即，图4中所示的未铺装的道路检测342）。方法700可以使用如下文所描述的各种技术的组合来检测未铺装的道路。方法700将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
91.在702处，方法700将由传感器（例如，导航传感器206中的相机）捕获的道路的图像
分类为铺装的或未铺装的道路的图像。例如，方法700可通过选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像来进行这种分类。例如，为了进行分类，方法700可以使用被训练为检测铺装的和未铺装的道路的机器学习模型（例如，cnn模型）。使用训练好的模型，方法700可以对从循环缓冲器中选择的图像进行分类。
92.在710处，方法700计算指示道路是未铺装的道路的图像数量与图像总数的比率。替代地，方法700可以计算指示道路是铺装的道路的图像数量与图像总数的比率。如果比率大于或等于预定阈值（该预定阈值是可校准的），则方法700确定道路是未铺装的（或如果使用替代比率，则道路是铺装的道路）。在720处，如果道路是未铺装的，则方法700设定参数x
cnn = 0。替代地，在722处，如果道路是铺装的道路，则方法700设定参数x
cnn = 1。
93.附加地，在704处，方法700查找（即，读取）车辆正在行驶的道路的地图信息。例如，控制器201（在图3中示出）从其中一个服务器130获得地图信息。控制器201使用由gps（见图3中的导航传感器206）提供的gps数据和地图信息来检测车辆正在行驶的道路。例如，方法700可以从存储在循环缓冲器中的数据中选择gps数据，如上文参考图6所解释的。在712处，方法700基于检测到的道路和地图信息来确定道路是铺装的道路还是未铺装的道路。在724处，如果道路是未铺装的，则方法700设定参数x
map = 0。替代地，在726处，如果道路是铺装的道路，则方法700设定参数x
map = 1。
94.此外，在706处，方法700计算由车辆的imu数据（例如，见图3中的导航传感器206）感测的道路振动的功率谱。再次，方法700可以从存储在循环缓冲器中的数据中选择imu数据，如上文参考图6所解释的。在714处，方法700将功率谱（例如，功率谱中的频率的能量）与预定阈值e
th
（可校准的）进行比较，以确定车辆正在行驶的道路是铺装的道路还是未铺装的道路。例如，如果功率谱（例如，功率谱中的频率的能量）大于或等于预定阈值e
th
，则方法700得出道路是未铺装的道路的结论。在728处，如果道路是未铺装的，则方法700设定参数x
imu = 0。替代地，在730处，如果道路是铺装的道路，则方法700设定参数x
imu = 1。
95.在740处，方法700计算加权度量m = w1x
cnn + w2x
map + w3x
imu
，其中权重w1、w2和w3是可校准的。在742处，方法700将加权度量m与预定阈值m
th
进行比较，该预定阈值也是可校准的。在744处，如果加权度量m小于预定阈值m
th
，则方法700确认道路是未铺装的道路。替代地，在746处，如果加权度量m大于或等于预定阈值m
th
，则方法700确认道路是未铺装的道路。因此，通过使用三种不同技术（在702、704和706处示出）的组合，则方法700稳健地确定车辆正在其上行驶的道路是铺装的道路还是未铺装的道路。
96.图12示出了用于检测雨和/或雪（即，图4中所示的雨/雪检测330）的方法800，雨和/或雪可能引起车道标线误检测。方法800将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
97.在802处，方法800加载被训练为使用机器学习来检测雨和/或雪的模型（例如，cnn模型）以处理来自传感器的数据（例如，来自使车辆的挡风玻璃处于视野中的前置相机的图像）。例如，训练好的模型可以检测由传感器捕获的挡风玻璃雨刷的移动、模糊不清的和相对清晰的图像的组合等等。这些可以是雨和/或雪的迹象。例如，可以通过进一步将环境温度与这些迹象结合来区分雨和雪。例如，方法800可选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像和温度数据以进行这种处理。
98.在804处，方法800确定有和没有雨和/或雪的指示的图像的数量。在806处，方法
800计算有雨和/或雪的指示的图像与所处理的图像总数的比率。在808处，如果比率大于或等于预定阈值，则方法800确定场景是雨或雪。替代地，在810处，如果比率小于预定阈值，则方法800确定场景不是雨或雪。
99.图13示出了用于检测眩光和/或阴影（即，图4中所示的眩光和/或阴影检测332）的方法850，眩光和/或阴影可能引起车道标线误检测。方法850将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
100.在852处，方法850从由传感器捕获的图像（例如，来自使车辆的挡风玻璃处于视野中的前置相机的图像）创建感兴趣区域中的像素的直方图。例如，方法850可选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像以进行这种处理。注意，尽管方法850使用如下文所描述的直方图，但方法850可以替代性地使用采用图像分类（例如，使用被训练为直接分类图像是否包含眩光或阴影的模型）或物体检测（例如，使用被训练为检测图像中的眩光或阴影的模型）的其他机器学习方法。
101.在854处，方法850确定具有大于或等于第一值t1的强度的像素数量n1，其中n1和t1两者都是可校准的。在856处，方法850确定具有小于或等于第二值t2的强度的像素数量n2，其中n2和t2两者也都是可校准的。在858处，方法850确定n1是否大于或等于第一阈值th1，该第一阈值是可校准的。如果n1大于或等于第一阈值th1，则在860处，方法850检测到车道检测区域中存在眩光，并且方法850结束。替代地，如果n1小于第一阈值th1，则在862处，方法850确定n2是否大于或等于第二阈值th2，该第二阈值也是可校准的。如果n2大于或等于第二阈值th2，则在864处，方法850检测到车道检测区域中存在阴影，并且方法850结束。如果n2小于第二阈值th2，则在866处，方法850确定在车道检测区域中不存在眩光和阴影，并且方法850结束。
102.图14示出了用于检测施工区（即，图4中所示的施工区检测336）的方法880，施工区可能引起车道标线误检测。例如，方法880可选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像以进行处理。注意，尽管方法880使用如下文所描述的物体检测，但方法880可以替代地使用采用图像分类的其他机器学习方法（例如，使用被训练为直接分类图像是否包含施工区的模型）。方法880将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
103.在882处，方法880检测由传感器捕获的图像（例如，来自车辆上的相机的图像）中的施工锥、路障和/或其他标志（统称为施工物体）。在884处，方法880确定有施工物体的图像的数量。在886处，方法880计算有施工物体的图像的数量与图像总数的比率。在888处，方法880确定比率是否大于或等于阈值，该阈值是可校准的。如果比率大于或等于该阈值，则在890处，方法880确定车辆处于施工区中。替代地，如果比率小于阈值，则在892处，方法880确定车辆不在施工区中。
104.图15和图16示出了用于检测车道的出口、入口和/或分叉的方法950（即，统称为图4中所示的出口/入口/分叉检测340的场景），出口、入口和/或分叉可能引起车道标线误检测。例如，方法950可选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像以进行处理。在描述图16中所示的方法950之前，参考图15示出和描述了车道出口、入口和/或分叉场景的各种示例（即，道路的车道构型可以改变的各种方式）。
105.在图15中，例如，在910处，车辆902处于最左侧车道（车道1）903中且还有两个车道904、905在车道903的右侧，并且在车道903的左侧增加了车道906。车道906作为独立的车道继续而不与车道903合并。因此，在增加车道906之前，有3个车道，并且车辆902在车道1中；而在增加了车道906之后，现在有4个车道，并且车辆902现在在车道2（车道903）中，其中假设车辆902呆在车道903中，则最左侧车道现在是增加的车道906。这可以使用以下命名法或记法来表达：车道索引是1、2、2；并且车道数量是3、4、4。也就是说，车辆原来在车道1中（在增加车道906之前），现在在车道2中（在增加车道906之后），并且继续在车道2中（在增加车道906之后）；并且车道数量原来是3（在增加车道906之前），现在是4（在增加车道906之后），并且继续是4（在增加车道906之后）。为简洁起见，下文针对车道索引和车道数量使用相同的命名法，而不再赘述。
106.在915处，车辆902处于最右侧车道（车道3）905中且还有两个车道904、903在车道905的左侧，并且在车道905的右侧增加了车道907。车道907作为独立的车道继续而不与车道905合并。因此，在增加车道907之前，有3个车道，并且车辆902在车道3中；而在增加了车道907之后，现在有4个车道，并且车辆902现在仍在车道3（车道905）中，其中假设车辆902呆在车道905中，则最右侧车道现在是增加的第四车道907。这可以使用以下命名法或记法来表达：车道索引是3、3、3；并且车道数量是3、4、4。
107.在920处，车辆902处于最左侧车道（车道1）903中且还有两个车道904、905在车道903的右侧，并且车道908是在车道903的左侧的出口/入口车道。车道908并不独立地继续，而是与车道903合并。因此，在车道908之前，有3个车道，并且车辆902在车道1中；有了车道908的情况下，就有4个车道，并且车辆902现在在车道2（车道903）中；而在车道908中断之后（即，合并到车道903中），假设车辆902呆在车道903中，则车辆902再次在车道1（车道903）中；并且车道数量再次为3。这可以使用以下命名法或记法来表达：车道索引是1、2（在车道908合并到车道903中期间）、1；并且车道数量是3、4、3（当车道908合并到车道903中时暂时为4）。
108.在925处，车辆902处于最右侧车道（车道3）903中且还有两个车道904、903在车道905左侧，并且车道909是在车道905的右侧的出口/入口车道。车道909并不独立地继续，而是与车道905合并。因此，在车道909之前，有3个车道，并且车辆902在车道3中；有了车道909的情况下，就有4个车道，并且车辆902现在仍在车道3（车道905）中；而在车道909中断之后（即，合并到车道905中），假设车辆902呆在车道905中，则车辆902再次仍在车道3（车道905）中；并且车道数量再次为3。这可以使用以下命名法或记法来表达：车道索引是3、3、3；并且车道数量是3、4、3（当车道909合并到车道905中时暂时为4）。
109.类似地，在930处，车道910从车道903退出，但车道903继续。车道索引是1、2、1；并且车道数量是3、4、3。在935处，车道912从车道905退出，但车道905继续。车道索引是3、3、3；并且车道数量是3、4、3。
110.在940处，示出了车道分叉场景。车辆902处于中间车道904（车道2）中。最右侧车道905（车道3）分叉成车道914。在分叉之后，车道905中断，并且只有两个车道904、903继续。假设车辆902呆在车道905中，则车道索引是2、2、2；并且车道数量是3、4、2（当车道914从车道905分叉时暂时为4）。类似地，最左侧车道903也可以分叉。许多附加的车道变化场景（即，道路的车道构型可以改变的方式）是可能的，并且可以由本领域技术人员所理解。
111.图16示出了用于检测车道的出口、入口和/或分叉的方法950（统示为图4中的出口/入口/分叉检测340），出口、入口和/或分叉可能引起车道标线误检测。方法950可以如下检测道路的车道构型变化。例如，方法950可选择关于如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的车道数量l和车道索引li的数据以进行这种处理。
112.在952处，方法950加载关于车辆的车道数量l和车道索引li的数据（即，在车辆正被驾驶的情况下）。在954处，基于该数据，方法950确定车辆是否处于最右侧车道中。如果车辆处于最右侧车道中，则在956处，方法950确定l和/或li的值是否已改变。如果l和/或li的值没有改变，则在958处，方法950确定车道标线误检测不是由车道出口/入口/分叉场景引起的，并且方法950结束。
113.如果l和/或li的值已改变，则在960处，方法950确定l和/或li的值是否已恢复（即，还原到改变之前的值）。如果l和/或li的值没有恢复，则在962处，方法950确定在车辆的右侧增加了车道，并且方法950结束。如果l和/或li的值已恢复，则在964处，方法950确定在车辆的右侧上出现了车道出口/入口场景，并且方法950结束。
114.在954处，如果车辆不处于最右侧车道中，则方法950进行到970。在970处，方法950确定车辆是否处于最左侧车道中。如果车辆处于最左侧车道中，则在972处，方法950确定li的值是否已改变。如果li的值没有改变，则在974处，方法950确定车道标线误检测不是由车道出口/入口/分叉场景引起的，并且方法950结束。如果li的值已改变，则在976处，方法950确定li的值是否已恢复（即，还原到改变之前的值）。如果li的值没有恢复，则在978处，方法950确定在车辆的左侧增加了车道，并且方法950结束。如果li的值已恢复，则在980处，方法950确定在车辆的左侧上出现了车道出口/入口场景，并且方法950结束。
115.在970处，如果车辆不处于最左侧车道中，则方法950进行到982。在982处，方法950确定l是否已改变。如果l没有改变，则方法950进行到974。如果l已变化，则在984处，方法950确定出现了车道分叉场景，并且方法950结束。控制器201使用由方法950作出的以上确定来确定车道标线误检测的根本原因。
116.图17示出了用于检测障碍物以进行车道标线检测的方法650（例如，由主车辆前面的另一车辆构成的遮挡物，在图4中被示为障碍物检测334），该障碍物可能引起车道标线误检测。例如，方法650可选择如上文参考图6所解释的在车道标线误检测前后存储在循环缓冲器中的图像以进行处理。方法650将结果提供给控制器201。控制器201使用这些结果来隔离故障（即，诊断车道标线误检测的根本原因）并根据表1来提供缓减策略。
117.在652处，方法650加载由远程雷达（例如，在图3中的导航传感器206中示出）检测到的第一n个物体的位置信息。在654处，方法650加载由通常用于感测车道标线的相机（例如，在图3中的导航传感器206中示出）检测到的第一n个物体的位置信息。在656处，方法650对指示在主车辆前面一预定距离内存在相对大的车辆（例如，卡车）的数据点d1的数量进行计数，其中d1和该距离是可校准的。在658处，方法650对指示在主车辆前面一预定距离内存在相对小的车辆（例如，轿车）的数据点d2的数量进行计数，其中d2和该距离是可校准的。
118.在660处，方法650确定d1是否大于或等于预定数量n1，该预定数量是可校准的。如果d1大于或等于预定数量n1，则在662处，方法650指示检测到在主车辆前面存在大型车辆，并且方法650结束。
119.如果d1小于n1，则在664处，方法650确定d2是否大于或等于预定数量n2，该预定数
量也是可校准的。如果d2大于或等于预定数量n2，则在666处，方法650指示检测到在主车辆前面存在小型车辆，并且方法650结束。
120.如果d2小于n2，则在668处，方法650确定在主车辆前面没有车辆（即，在用于感测车道标线的相机的视野中没有障碍物），并且方法650结束。由方法650提供的结果有助于消除在车辆前面的障碍物作为车道标线误检测的可能原因。
121.图18示出了根据本公开的在车辆中使用系统200并执行一个或多个缓减策略的方法1000的示例。可以使用车辆中的控制器201和服务器130中的一个或多个的组合来执行方法1000，其中该组合利用存储在控制器201中的循环缓冲器中的数据，并且其中控制器201和所述一个或多个服务器130中的每一者执行上文所描述的方法的部分。
122.在1002处，方法1000等待一预定的时间量t，该预定的时间量是可校准的。在预定的时间量t过去之后，在1004处，方法1000接收场景信息（例如，场景是第一类型还是第二类型）。在一些示例中，还可从其他车辆（例如，通过经由云和服务器130进行的通信）接收场景信息，这些其他车辆在主车辆附近并且可能也正在经历车道误检测。在1006处，方法1000确定车道检测是否具有挑战性（例如，由于暴雨或暴雪所致）。如果车道检测不具有挑战性，则方法1000返回到1002。如果车道检测具有挑战性，则在1008处，方法1000确定被训练为检测场景中的车道标线的车道检测模型（例如，用于上文所描述的场景的方法之一）是否可用。如果被训练为检测场景中的车道标线的车道检测模型可用，则在1010处，方法1000使用被训练为检测场景中的车道标线的车道检测模型，该车道检测模型可在控制器201中和/或在其中一个服务器130中可用。这些结果由控制器201使用，如上文所描述的。
123.如果被训练为检测场景中的车道标线的车道检测模型不可用，则在1012处，方法1000确定主车辆是否有可能跟随在主车辆前面的车辆。如果可能，则在1014处，方法1000允许主车辆跟随在主车辆前面的车辆。如果不可能跟随在主车辆前面的车辆（例如，如果在主车辆前面的车辆离主车辆相对非常远），则在1016处，方法100确定新的轨迹（例如，由自动化驾驶子系统204确定的不同路径或由在主车辆附近的另一车辆上传的轨迹）是否可用。如果新的轨迹可用，则在1018处，方法1000跟随该轨迹（即，车辆沿着可用的轨迹被驾驶）。如果新的轨迹不可用，则在1020处，方法1000提醒车辆的乘员接管对车辆的控制（例如，通过经由图2中所示的信息娱乐子系统202将消息提供给车辆的驾驶员），并且方法1000结束。
124.在1018和1014之后，方法1000进行到1022。在1022处，方法1000确定场景是否仍然（即，继续）具有挑战性。如果场景不具有或不再具有挑战性，则方法1000返回到1002。如果场景仍然具有挑战性，则方法返回到1012。
125.注意，方法1000的示例假定一次出现单个具有挑战性的场景。然而，如果任何其他具有挑战性的场景同时出现，则方法1000通知车辆的驾驶员普遍存在的具有挑战性的场景并提醒驾驶员接管对车辆的控制（例如，通过经由图2中所示的信息娱乐子系统202将一个或多个消息提供给驾驶员）。
126.前面的描述本质上仅仅是图示性的，并且不旨在限制本公开、其应用或使用。本公开的广泛教导可以以各种形式实施。因此，虽然本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和以下权利要求时，其他修改将变得显而易见。应理解，方法内的一个或多个步骤可按不同次序（或同时）执行，而不更改本公开的原理。进一步地，虽然上文将实施例中的每一者描述为具有某些特征，但是关于本公开的任何
实施例描述的那些特征中的任何一个或多个可以在其他实施例中的任一者的特征中实施和/或与其组合，即使该组合未明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的排列仍然在本公开的范围内。
127.元件之间（例如，子系统、控制器、电路元件、半导体层等之间）的空间和功能关系使用各种术语来描述，包括“连接”、“接合”、“联接”、“相邻”、“紧邻”、“在
……
顶部上”、“上方”、“下方”和“设置”。除非明确地描述为“直接”，否则当在上面的公开中描述第一元件和第二元件之间的关系时，该关系可以是在第一元件和第二元件之间不存在其他介入元件的直接关系，但也可以是在第一元件和第二元件之间存在（空间抑或功能上）一个或多个介入元件的间接关系。如本文中所使用的，短语a、b和c中的至少一个应被解释为使用非排他性逻辑或来意指逻辑（a或b或c），并且不应被解释为意指“a中的至少一个、b中的至少一个、以及c中的至少一个”。
128.在附图中，如由箭头指示的箭头方向总体上展示图示所感兴趣的信息（诸如，数据或指令）的流动。例如，当元件a和元件b交换各种信息但是从元件a传输到元件b的信息与图示相关时，箭头可从元件a指向元件b。该单向箭头并不暗示没有其他信息从元件b传输到元件a。进一步地，对于从元件a发送到元件b的信息，元件b可向元件a发送针对信息的请求或接收对信息的确认。
129.在本技术（包括下面的定义）中，术语“控制器”可用术语“电路”代替。术语“控制器”可指代以下各者、为以下各者的一部分、或包括以下各者：专用集成电路（asic）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（fpga）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件部件；或者以上各者中的一些或全部的组合，诸如在片上系统中。
130.控制器可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网（lan）、因特网、广域网（wan）或其组合的有线或无线接口。本公开的控制器的功能可分布在经由接口电路连接的多个控制器当中。例如，本公开的各种子系统可包括相应的控制器。例如，多个控制器可允许负载平衡。在进一步的示例中，服务器（也被称为远程或云）控制器可代表车辆中的客户端控制器完成某种功能。
131.如上文所使用的术语代码可包括软件、固件和/或微代码，并且可指代程序、例程、函数、类、数据结构和/或对象。术语共享处理器电路涵盖单个处理器电路，其执行来自多个控制器的一些或所有代码。术语组处理器电路涵盖处理器电路，该处理器电路与附加的处理器电路组合来执行来自一个或多个控制器的一些或所有代码。对多个处理器电路的引用涵盖分立裸片上的多个处理器电路、单个裸片上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上各者的组合。术语共享存储器电路涵盖单个存储器电路，其存储来自多个控制器的一些或所有代码。术语组存储器电路涵盖存储器电路，该存储器电路与附加的存储器组合来存储来自一个或多个控制器的一些或所有代码。
132.术语存储器电路是术语计算机可读介质的子集。如本文中所使用的术语计算机可读介质不涵盖通过介质（诸如，载波上）传播的瞬时电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读
存储器电路）、易失性存储器电路（诸如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（诸如，模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如，cd、dvd或蓝光光盘）。
133.本技术中所描述的设备和方法可由专用计算机部分地或全部地实施，该专用计算机通过将通用计算机构造成执行体现在计算机程序中的一个或多个特定功能而创建。上文描述的功能块、流程图部件和其他元件用作软件规范，其可以通过熟练技术人员或程序员的例行工作转换成计算机程序。
134.计算机程序包括存储在至少一个非暂时性、有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖存储的数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统（bios）、与专用计算机的特定装置交互的装置驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
135.计算机程序可包括：（i）待解析的描述性文本，诸如html（超文本标记语言）、xml（可扩展标记语言）或json（javascript对象表示法），（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由即时编译器编译和执行的源代码等。仅作为示例，可使用语法由包括c、c++、c#、objective-c、swift、haskell、go、sql、r、lisp、java
®
、fortran、perl、pascal、curl、ocaml、javascript
®
、html5（超文本标记语言第5版）、ada、asp（动态服务器网页）、php（php：超文本预处理语言）、scala、eiffel、smalltalk、erlang、ruby、flash
®
、visual basic
®
、lua、matlab、simulink和python
®
在内的语言编写源代码。

技术特征：
1.一种用于车辆的系统，所述系统包括：所述车辆上的多个传感器，其中，所述多个传感器中的第一传感器被构造成检测道路上的车道标线；以及控制器，其被构造成：存储来自所述多个传感器的数据；以及响应于接收到基于从所述第一传感器接收到的数据而指示所述道路上对车道标线的误检测的指示：并行地执行多个过程，所述多个过程被构造成：基于存储的数据来分别检测对车道标线的所述误检测的多个原因；将所述原因中的一个隔离为对车道标线的所述误检测的根本原因；以及基于对车道标线的所述误检测的所述根本原因来提供用于缓减所述道路上对车道标线的所述误检测的响应。2.根据权利要求1所述的系统，其中，所述过程被构造成检测对车道标线的所述误检测是否由以下各者中的任一者引起：所述第一传感器有故障；所述道路上不存在车道标线；存在使所述道路上的车道标线模糊的雨或雪；存在使所述道路上的车道标模糊的眩光或阴影；在所述第一传感器的视野中存在障碍物；所述道路上存在施工物；所述道路的车道构型变化；以及所述道路未铺装。3.根据权利要求1所述的系统，其中，所述响应包括：跟随在所述车辆前面的第二车辆、通知所述车辆的乘员接管对驾驶所述车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。4.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：处理由所述第一传感器捕获的图像；执行对所述图像中的像素的聚类和过滤；对过滤后的像素执行第一曲线拟合和第二曲线拟合；以及基于所述第二曲线拟合来确定所述道路上是否存在车道标线。5.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：处理由所述多个传感器中的两个传感器捕获的图像；针对所述两个传感器中的每一个，确定有和没有车道标线的图像的数量；针对所述两个传感器中的每一个，计算有或没有车道标线的图像的所述数量与所处理的图像总数的比率；以及基于所述两个传感器的所述比率来确定所述道路上是否存在车道标线。6.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造
成：通过将由所述第一传感器捕获的所述道路的原始图像与由所述多个传感器中的第二传感器捕获的所述道路的原始图像进行比较，确认所述第一传感器是否有故障。7.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：通过将在由所述第一传感器捕获的所述道路的图像中检测到的物体与在由所述多个传感器中的第二传感器捕获的所述道路的图像中检测到的物体进行比较，确认所述第一传感器是否有故障。8.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：基于由所述第一传感器捕获的图像、关于所述道路的地图信息以及来自所述车辆中的惯性测量单元的数据来检测所述道路是否未铺装。9.根据权利要求1所述的系统，其中，由所述控制器执行的所述过程中的一者被构造成：使用机器学习模型来检测由所述第一传感器捕获的图像中雨或雪的存在。10.一种用于车辆的方法，所述方法包括：存储来自所述车辆上的多个传感器的数据；接收基于从所述多个传感器中的第一传感器接收到的数据而指示道路上对车道标线的误检测的指示；响应于接收到所述指示而并行地执行多个过程，所述多个过程被构造成：基于存储的数据来分别检测对车道标线的所述误检测的多个原因；将所述原因中的一个识别为对车道标线的所述误检测的根本原因；以及基于对车道标线的所述误检测的所述根本原因来提供用于缓减所述道路上对车道标线的所述误检测的响应，其中，所述响应包括：跟随在所述车辆前面的第二车辆、通知所述车辆的乘员接管对驾驶所述车辆的控制、切换到所述多个传感器中的第二传感器以进行车道标线检测、和/或调度服务。

技术总结
本发明涉及在道路上车道标线误检测时的故障隔离和缓减。用于车辆的系统包括控制器和该车辆上的多个传感器。所述多个传感器中的第一传感器被构造成检测道路上的车道标线。控制器被构造成存储来自所述多个传感器的数据。响应于接收到基于从第一传感器接收到的数据而指示道路上对车道标线的误检测的指示，控制器被构造成：并行地执行多个过程，所述多个过程被构造成基于存储的数据来分别检测对车道标线的误检测的多个原因；将这些原因中的一个隔离为对车道标线的误检测的根本原因；以及基于对车道标线的误检测的根本原因来提供用于缓减道路上对车道标线的误检测的响应。减道路上对车道标线的误检测的响应。减道路上对车道标线的误检测的响应。


技术研发人员：林玟樵 Z
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2022.10.12
技术公布日：2023/6/28