光学设备验证的制作方法

1.本公开一般而言涉及用于光学设备验证的系统和方法。


背景技术：

2.车辆可以配备传感器以收集与车辆周围环境的当前和发展状态相关的数据。任何级别的自主车辆都依赖于从这些传感器提供给它们的数据，这些传感器具有光学元件，诸如相机、雷达、lidar、前灯等。车辆的正常性能取决于传感器收集的数据的准确性。雨、灰尘、雪、泥、虫子和任何其它可能沉积在镜头上的遮挡物等环境因素可能会影响车辆上的传感器的性能。评估这些遮挡物如何影响这些传感器需要受控的测试环境以及数据的后处理。当与供应商和原始装备制造商(oem)合作共同开发传感器系统时，这一挑战会被放大，因为需要在其中车辆静止或运动的包括但不限于雨室、风洞、尘室、车库和测试轨道的各种环境中快速且高效地迭代。因此，需要增强对传感器相关装备的验证，以确保遮挡物不会破坏传感器的性能。
附图说明
3.图1图示了根据本公开的一个或多个示例实施例的车辆的示例环境。
4.图2描绘了根据本公开的一个或多个示例实施例的用于光学设备验证的说明性示意图。
5.图3描绘了根据本公开的一个或多个示例实施例的用于光学设备验证的说明性示意图。
6.图4描绘了根据本公开的一个或多个示例实施例的用于光学设备验证的说明性示意图。
7.图5是图示根据本公开的一个或多个示例实施例的可以在其上执行一种或多种技术(例如，方法)中的任一种的计算设备或计算机系统的示例的框图。
8.现在将在下面参考附图更全面地描述某些实施方式，其中示出了各种实施方式和/或方面。但是，各个方面可以以许多不同形式来实现并且不应当被解释为限于本文阐述的实施方式；更确切地说，提供这些实施方式以使本公开将是彻底和完整的，并且将本公开的范围充分地传达给本领域的技术人员。图中相同的标号自始至终指代相同的元件。因此，如果特征在几个附图中使用，那么用于在该特征首次出现的图中识别该特征的编号将在以后的附图中使用。
具体实施方式
9.传感器可以位于自主车辆上的不同位置。这些传感器可以包括lidar传感器、立体相机、雷达传感器、热传感器或附接到自主车辆的其它传感器。这些传感器最初可以在实验室环境中使用，以便在特定条件下对其性能执行高精度分析。自主车辆可以在现实世界中被驾驶并依靠附接的传感器在环境因素下执行到一定的性能水平。由于自主车辆在现实世
界中行驶，因此传感器会暴露在这些环境因素中，但也可以存在比在实验室环境中测试的因素更多的因素。这可以是由于现实世界中可以发生的与受控实验室环境不同的各种情况。这可以创造新环境和基于这个新环境的各种后果。通过将传感器暴露给新环境可能面临的挑战之一是试图将传感器恢复到接近原始状态的状态。
10.传感器可能暴露于遮挡物，这些遮挡物会沉积在传感器的镜头上或者会阻塞传感器。遮挡物中的一些可以包括碎屑、泥土、雨滴或会阻碍传感器的正常操作的任何其它物体。在一些实施例中，自主车辆可以包括与清洁自主车辆的传感器上的遮挡物相关联的清洁系统。一个挑战可以是确定自主车辆的清洁系统是否已充分清洁其镜头中的传感器，使得传感器被恢复到接近传感器的原始状态的状态。
11.本文描述的示例实施例提供了用于光学设备性能验证的某些系统、方法和设备。
12.在一个或多个实施例中，一种光学设备验证系统可以促进车辆的光学设备(例如，传感器、前灯或任何利用光路的光学设备)的设置，使得光学设备暴露于遮挡物环境。光学设备不应中断其正常功能。例如，如果遮挡物沉积在相机镜头上，那么可能会导致相机性能降级。在一些情况下，可以应用相机清洁系统，以通过在一定程度上清除相机镜头上的遮挡物来尝试使相机恢复其正常功能。
13.在一个或多个实施例中，光学设备验证系统可以促进对被测光学设备(例如，传感器或甚至前灯)的验证测试。光学设备验证系统可以提供一种机制，允许在测试期间实时判断被测光学设备的通过或失败标准，并在实时应用中一起提供目标框架和后端处理框架。
14.在一个或多个实施例中，光学设备验证系统可以通过使用与光学设备的验证相关联的验证度量来促进独立于应用的方法。即，测量光学设备的沉积在光学设备外表面上的遮挡物的定量值并与验证度量相比较的能力。基于光学设备(例如，传感器的镜头)外表面上遮挡物的存在，可以在通过状态的概念和中断或失败状态的概念中描述验证度量。
15.在一个或多个实施例中，光学设备验证系统可以在降级事件下促进独立于传感器应用的通用的通过或失败标准，但仍然与广泛的一组应用相关(例如，识别面部，汽车等)。因此，光学设备验证系统将适用于通过或失败判断以及使用验证度量来评估光学设备是否表现预定水平的概念。
16.在一个或多个实施例中，光学设备验证系统可以利用验证度量，在整个本公开中被称为与清洁的美容相关性度量(cccm)。应该理解的是，cccm的使用只是验证度量的示例，其可以基于实施方式而不同。cccm可以表示为cccm分数，其基于光学设备的有源区域的外表面的外观来估计光学设备的性能。例如，可以拍摄光学设备的图像，然后将其传递给处理这些图像并为它们分配cccm分数的算法。可以将cccm分数与验证阈值进行比较。高于验证阈值的cccm分数可以指示通过状态。另一方面，低于验证阈值的cccm分数可以指示失败状态。光学设备的活动区域可以被认为是允许捕获与光学设备相关联的数据的镜头的有用区域。例如，当拍摄光学设备的图像时，光学设备验证系统可以促进裁剪光学设备的活动区域。光学设备验证系统可以检测遮挡物在光学设备的外表面上何处。光学设备验证系统可以量化遮挡物。例如，确定有多少像素被遮挡与未被遮挡。
17.在一个或多个实施例中，光学设备验证系统可以捕获放置在距拍摄图像的相机特定距离处的光学设备的多个图像。因此，cccm分数表示光学设备的活动区域的遮挡程度。光学设备验证系统可以将质量度量的分数与为这些图像计算出的cccm分数进行比较。这导致
创建各种cccm图表，这些图表后面将用于验证在验证测试期间对光学设备拍摄的其它图像。cccm图表可能包含具有不同水平遮挡物的光学设备镜头的图像。该图表允许用户基于沉积在其外表面上的遮挡物水平来确定被测光学设备将通过还是失败。在一些情况下，可以评估清洁系统以确定在清洁光学设备的镜头之后的相对cccm分数。即，在应用导致光学设备性能降级的遮挡物之后。然后可以将清洁处理之后计算出的cccm分数与验证阈值进行比较，以确定清洁系统是否表现其预期有效性。例如，如果cccm分数高于验证阈值，那么这指示清洁系统已通过验证测试。但是，如果cccm分数低于验证阈值，那么这指示清洁系统未通过验证测试。
18.在一个或多个实施例中，验证度量最初可以与可以用于核实验证度量的准确性的任何质量度量相关联。在一些其它示例中，验证度量可以与车辆性能度量相关。一些示例包括对象的检测或对象的跟踪。应该理解的是，验证度量不限于与车辆性能或质量性能相关。在一个示例中，在相机的情况下，结构相似性指数测量(ssim)质量度量可以用于核实验证度量(例如，cccm)，而不是作为光学设备的验证处理的一部分。换句话说，光学设备的验证处理依赖于验证度量(例如，cccm)而不是质量度量(例如，ssim)。应该理解的是，验证度量(例如，cccm)是用于在光学设备的外表面上存在一些遮挡物的情况下验证光学设备的性能的独立处理。cccm可以应用于具有光学元件的任何光学设备，例如，发射元件或吸收元件。当表征光学设备的外表面的清洁程度时，光学设备发射哪个方向的光信号并不重要。例如，由于如雨、灰尘、雪、泥、虫子以及可能沉积在前灯镜头上的任何其它遮挡物等环境因素的积累，前灯可能会被确定为被遮挡，这可能进而影响车辆上其它传感器试图在黑暗环境中捕获数据。因此，使用诸如cccm之类的验证度量可能导致确定前灯的性能是低于还是高于验证阈值。
19.在一个或多个实施例中，cccm可以是量化由可能存在于光学设备的外表面上的遮挡物引起的降级的感知度量。例如，cccm可以直接从对光学设备外表面拍摄的图像计算得出。cccm是绝对测量，并且它不需要和脏与清洁循环相关。cccm可以在任何条件下应用于任何光学设备，而不管光学设备的预期用途如何。
20.在一个或多个实施例中，光学设备验证系统可以在对光学设备的镜头引入遮挡物的情况下促进计算验证度量(例如，cccm)与光学设备的新颖链接。光学设备可以涉及lidar、雷达、相机、前灯、相机或任何利用光路的光学设备。
21.在一个或多个实施例中，一种光学设备验证系统可以在光学设备受到遮挡时促进针对由相机对光学设备的外表面捕获的图像计算cccm分数。然后可以将计算出的cccm分数与验证阈值进行比较，并且基于此，光学设备验证系统可以快速且独立于光学设备的应用来确定光学设备是否表现预期水平。阈值的确定基于传感器的类型、遮挡物的类型和实施方式。例如，一些传感器的验证阈值可能低于其它传感器。任何性能度量都可以用作验证阈值应为多少的指南。
22.上面的描述是为了说明的目的而不是限制性的。可能存在许多其它示例、配置、处理等，其中的一些在下面更详细地描述。现在将参考附图描述示例实施例。
23.图1图示了配备有多个传感器的示例性车辆100。车辆100可以是诸如汽油动力车辆、电动车辆、混合动力电动车辆或自主车辆之类的各种类型的车辆之一，并且可以包括诸如车辆计算机105和辅助操作计算机110之类的各种项目。示例性车辆100可以包括用于各
种子系统的许多电子控制单元(ecu)。这些子系统中的一些可以用于提供车辆的正确操作。这些子系统的一些示例可以包括制动子系统、巡航控制子系统、电动窗户和车门子系统、用于混合动力和电动车辆的电池充电子系统，或其它车辆子系统。各种子系统之间的通信是操作车辆的重要特征。控制器区域网络(can)总线可以用于允许子系统相互通信。这种通信提供了使用软件来实现的广泛的安全、经济和方便特征。例如，来自车辆周围各种传感器的传感器输入可以经由can总线在车辆的各种ecu之间传送，以执行可能对车辆性能至关重要的动作。示例可以包括自动车道辅助和/或避让系统，其中can总线使用此类传感器输入将这些输入传送给驾驶员辅助系统，诸如车道偏离警告，这在一些情况下可能会启动打断主动避让系统。
24.车辆计算机105可以执行各种功能，诸如控制引擎操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空调、加热等)、激活安全气囊和发出警告(检查引擎灯、灯泡故障、低胎压、盲点中的车辆等)。
25.根据本公开，辅助操作计算机110可以用于支持各种操作。在一些情况下，辅助操作计算机110的一些或所有组件可以集成到车辆计算机105中。因此，根据本公开的各种操作可以由辅助操作计算机110以独立的方式执行。例如，辅助操作计算机110可以在不与车辆计算机105交互的情况下执行一些与提供车辆中的一个或多个传感器的传感器设置相关联的操作。辅助操作计算机110可以与车辆计算机105合作执行一些其它操作。例如，辅助操作计算机110可以使用通过处理来自相机的视频馈送获得的信息来通知车辆计算机105执行诸如制动之类的车辆操作。
26.一个或多个传感器可以包括lidar传感器、立体相机、雷达传感器、热传感器或附接到自主车辆的其它传感器。除了一个或多个传感器之外，前灯(例如，前灯113)可能需要验证以确保在存在碎片、泥浆、雨水、虫子或阻碍前灯正常操作的其它遮挡物的情况下的正确操作。前灯被遮挡可能会导致车辆上的其它传感器无法捕获可靠的数据(例如，由于在黑暗环境中前灯发出的光线被遮挡，相机可能无法捕获清晰的图像)。
27.在图1中所示的图示中，车辆100被示为配备有五个传感器，这些传感器在这里仅用于说明目的而不意味着限制。在其它情况下，可以提供更少或更多数量的传感器。这五个传感器可以包括前向传感器115、后向传感器135、安装在车顶的传感器130、驾驶员侧后视镜传感器120和乘客侧后视镜传感器125。可以安装在车辆100前面的各种部件之一(诸如格栅或保险杠)上的前向传感器115产生可以例如由车辆计算机105和/或者辅助操作计算机110用于例如与车辆100的自动制动系统交互的传感器数据。如果由前向传感器115产生的传感器数据指示车辆100太靠近在车辆100前方行驶的另一个车辆，那么自动制动系统可以使车辆100减速。
28.各种传感器(例如，传感器115、120、125、130和135)中的任何一个在存在诸如碎片、泥浆、雨水、虫子或阻碍传感器的正常操作的其它遮挡物的情况下不应中断其正常功能。传感器(例如，传感器115、120、125、130和135)捕获的数据可以是发送到车辆计算机105和/或由辅助操作计算机110发送的原始数据，以便将原始数据转换成经处理的信号。因此，期望在现实世界应用(例如，上路)之前加强对这些各种传感器的测试和验证，以确保它们不会提供破坏其正常操作的不一致或不可靠的数据。
29.后向传感器135可以是可以用于例如在信息娱乐系统111的显示屏上显示位于车
辆100后面的物体的图像的相机。车辆100的驾驶员在对车辆100执行倒车操作时可以查看这些图像。
30.当车辆100是自主车辆时，安装在车顶的传感器130可以是自主驾驶系统的一部分，诸如lidar。安装在车顶的传感器130产生的图像可以由车辆计算机105和/或辅助操作计算机110处理以检测和识别车辆前方和/或周围的物体。安装在车顶的传感器130可以具有广角视野和/或可以在安装基座上旋转。车辆100可以使用从图像处理获得的信息来导航绕过障碍物。
31.驾驶员侧后视镜传感器120可以用于捕获与车辆100的驾驶员侧的相邻车道中的车辆相关联的数据，而乘客侧后视镜传感器125可以例如用于在车辆100的乘客侧的相邻车道中捕获图像或检测车辆。在示例性应用中，驾驶员侧后视镜传感器120、乘客侧后视镜传感器125和后向传感器135捕获的数据可以由车辆计算机105和/或辅助操作计算机110组合以产生计算机生成的可使用数据，其提供车辆100周围360度的覆盖范围。计算机生成的可使用数据可以显示在信息娱乐系统111的显示屏上，以帮助驾驶员驾驶车辆100。
32.车辆100中提供的各种传感器可以是各种类型的传感器中的任何一种并且可以结合各种类型的技术。例如，传感器之一可以是具有红外线照明的夜视相机，其可以用于在弱光条件下捕获图像。例如，当车辆100在夜间停在某个地点时，可能会出现弱光条件。由夜视相机捕获的图像可以用于安全目的，诸如用于防止故意破坏或盗窃。立体相机可以用于捕获提供深度信息的图像，该深度信息可以用于当车辆100在运动时确定车辆100与其它车辆之间的间隔距离。在另一个期望最小处理时延的应用中，可以配置一对相机来生成高帧率视频馈送。可以通过交错两个相机的视频馈送来生成高帧率视频馈送。在另一个示例中，传感器可以是雷达，其可以用于检测车辆附近的物体。在又一个应用中，传感器可以是用于检测和捕获车辆视线内物体图像的光探测和测距(lidar)。一些lidar应用可以包括长距离成像和/或短距离成像。
33.在一个或多个实施例中，光学设备验证系统可以促进在测试环境中设置传感器(例如，传感器115、120、125、130或135)，该传感器可能受限于其所需的设置以及其所处的环境。传感器(例如，传感器115、120、125、130和135)在被引入现实世界场景之前可能会受到遮挡，在这些现实世界场景中传感器需要以最佳水平操作以确保以最小的错误被捕获和处理的数据质量。传感器(例如，传感器115、120、125、130或135)可能会在存在遮挡物的情况下中断其正常功能，这会改变传感器捕获的数据质量。例如，遮挡物可以包括碎片、泥土、雨水、虫子或其它妨碍相机正常操作的遮挡物。这些遮挡物可能会干扰和改变传感器的数据质量。重要的是要注意，遮挡物可以按照均匀遮挡物或单个或一系列局部遮挡物的任何组合降低数据质量。
34.如所解释的，光学设备不应中断其正常功能。例如，沉积在任何传感器(例如，传感器115、120、125、130或135)或前灯113的镜头上的遮挡物可能导致光学设备性能的退化。验证这些传感器或前灯的镜头上的遮挡物是否会导致退化超过预定水平是有益的，退化超过预定水平会导致验证结果为失败。
35.在一个或多个实施例中，光学设备验证系统可以促进使用可以包括验证计算机系统106和相机/照明设置107的特定于实施方式的硬件设置对任何被测传感器(例如，传感器115、120、125、130或135)或前灯(例如，前灯113)的验证测试。应该理解的是，相机/照明设
置107可以变化并且可以包括附加组件，诸如眩光罩。相机和照明设置可以促进照亮光学设备(例如，传感器115、120、125、130、135，或前灯113中的任何一个)，而相机可以捕获光学设备的图像。这些图像可以被馈送到验证计算机系统106用于进一步处理。
36.光学设备验证系统可以提供一种机制，以允许在测试期间实时判断被测光学设备的通过或失败标准，并在实时应用中一起提供目标框架和后端处理框架。例如，使用验证计算机系统106，可以使用诸如cccm的验证度量来评估遮挡物是否导致车辆100的光学设备的性能通过或失败。应该理解的是，cccm的使用只是验证度量的示例，其可以基于实施方式而不同。cccm可以表示为cccm分数，其基于光学设备的有源区域的外表面的外观来估计光学设备的性能。拍摄的任何传感器(例如，传感器115、120、125、130或135)或前灯113的图像的cccm分数可以与验证阈值进行比较。在一些示例中，高于验证阈值的cccm分数指示通过状态。另一方面，低于验证阈值的cccm分数指示失败状态。当拍摄这些光学设备(例如，传感器115、120、125、130、135或前灯113)中的任何一个的图像时，该图像然后可以由验证计算机系统106处理。验证模块可以基于光学设备确定图像中的活动区域，该活动区域可以被认为是允许捕获与光学设备相关联的数据的镜头的有用区域。例如，当拍摄光学设备的图像时，光学设备验证系统可以促进裁剪光学设备的活动区域。光学设备验证系统可以检测遮挡物在光学设备的外表面上的何处。光学设备验证系统可以量化遮挡物。例如，确定有多少像素被遮挡与未被遮挡。
37.在一个或多个实施例中，光学设备验证系统可以使用相机/照明设置107对光学设备捕获多个图像，光学设备放置在距拍摄图像的相机/照明设置107的相机特定距离处。因此，cccm分数表示光学设备的活动区域的遮挡程度。图像数据可以被传递到验证计算机系统106，其可以计算拍摄的每个图像的cccm分数。然后可以将计算出的cccm分数与验证阈值进行比较，以确定光学设备是否表现其预期有效性。例如，如果cccm分数高于验证阈值，那么这指示光学设备已通过验证测试。但是，如果cccm分数低于验证阈值，那么这指示光学设备未通过验证测试。
38.应该理解的是，以上描述是为了说明的目的而不是意在限制。
39.图2描绘了根据本公开的一个或多个示例实施例的用于光学设备验证的说明性示意图。
40.参考图2，示出了用于核实光学设备202的状态的光学设备验证系统200。光学设备验证系统200可以包括计算机系统206、光学设备清洁系统205、遮挡源204和用于捕获光学设备202的图像的硬件设置207。
41.计算机系统201还可以向系统管理员提供对光学设备验证系统200的输入和输出的访问。计算机系统201可以通过调整与光学设备验证系统200的各个组件相关联的参数来控制光学设备验证系统200。光学设备202或以下图中讨论的任何其它相机可以是图1中描绘和讨论的任何光学设备。
42.硬件设置207可以包括相机217和可以指向光学设备202的光源227。相机217可以位于距光学设备202特定距离处。光源227可以位于光学设备202的前面以照亮光学设备202的外表面，诸如镜头。相机217可以捕获光学设备202的一个或多个图像，这些图像然后可以由计算机系统206发送和处理。在正常条件下，光学设备202可以在其镜头上没有任何碎屑，这使得它操作到其预期目的。捕获的图像可以是原始数据，这些原始图像可以被发送到计
算机系统206以执行光学设备202的验证。这可以通过为捕获的图像分配分数并核实该分数是高于还是低于某个验证阈值来实现。遮挡源可以引入遮挡物。
43.计算机系统206可以评估光学设备202的捕获图像以确定与光学设备202的镜头相关联的活动区域的cccm分数。
44.在一个或多个实施例中，光学设备验证系统200可以在使用遮挡源208将遮挡物应用到相机镜头之后使用相机217捕获图像。捕获的图像可以与已经使用遮挡源208引入到光学设备202的遮挡水平相关联。
45.在一个或多个实施例中，计算机系统206可以不限于验证光学设备202，而且还可以用于验证光学设备清洁系统205。计算机系统206可以确定在应用光学设备清洁系统205之后，光学设备清洁系统205被认为处于通过或失败状态。这验证了光学设备清洁系统205减轻可能已经引入到光学设备202的镜头上的遮挡物的有效性。光学设备清洁系统205可以通过喷嘴或气流将流体应用到镜头以试图去除由遮挡源208引入的遮挡物。流体或气流的应用可以由光学设备清洁系统205控制以便改变流体的浓度和压力、气流的速度和/或流体喷嘴或气流喷嘴的角度。此外，流体和气流的方向也可以由光学设备清洁系统205控制。
46.在一个或多个实施例中，光学设备验证系统可以在应用光学设备清洁系统205之后捕获光学设备202的图像。计算机系统206可以评估由相机217捕获的清洁后图像以确定捕获的清洁后图像的清洁后cccm分数。然后可以将该新的cccm分数与验证阈值进行比较以确定光学设备清洁系统205是否通过或未通过验证。
47.在一个或多个实施例中，光学设备验证系统200可以确定光学设备202操作是否已经被使用遮挡源208引入的遮挡物干扰到将光学设备202分类为处于故障状态的程度。例如，可以将计算机系统206计算出的cccm分数与验证阈值进行比较。在cccm分数低于验证阈值的情况下，光学设备202可以被认为处于故障状态。但是，如果cccm分数高于验证阈值，那么光学设备202可以被认为处于通过状态。
48.应该理解的是，以上描述是为了说明的目的而不是意在限制。
49.图3描绘了根据本公开的一个或多个示例实施例的用于光学设备验证的说明性示意图。
50.参考图3，示出了测试环境300，其可以包括被测光学设备302、验证计算机306、由相机317和光源327组成的硬件设置307。应该理解的是，硬件设置307可以变化并且可以包括附加组件，诸如眩光罩。硬件设置307可以安装在三脚架上或直接安装在车辆上。相机317可以捕获光学设备的图像。这些图像可以被馈送到验证计算机系统306用于进一步处理。相机317可以放置在距光学设备302特定距离处。
51.验证计算机系统306可以包括负责处理由相机317捕获的图像的验证模块316。此外，验证模块316可以执行与由相机317捕获的图像相关联的验证度量的计算。验证模块316可以首先接收与由相机317捕获的光学设备302的镜头的图像相关联的数据。在对光学设备302的镜头应用遮挡物之前，可以捕获图像322，其应该与指示通过状态的验证度量值或分数相关。在光学设备302已经受到遮挡之后验证光学设备302的情况下，图像326可以由相机317捕获，该相机317还捕获光学设备302的镜头上的遮挡物324。验证模块316可以接收该图像作为输入并且可以检测该图像326中的镜头区域。在验证模块316检测到镜头区域之后，它继续将该区域自动裁剪成可以为该镜头定义的关键或活动区域330。验证模块316可以处
理包含在关键或活动区域330内的数据以确定遮挡物如何可能覆盖镜头表面的一些像素。被遮挡的像素334被示为覆盖关键或活动区域330的一部分。然后验证模块316可以计算可以基于被遮挡像素334给出的cccm分数。如上所述，cccm分数表示光学设备的活动区域的遮挡程度。然后可以将计算出的cccm分数与验证阈值进行比较，以确定光学设备是否表现其预期有效性。例如，如果与图像326相关联的cccm分数高于验证阈值，这指示光学设备302已经通过验证测试。但是，如果cccm分数低于验证阈值，那么这指示光学设备302未通过验证测试。
52.应该理解的是，以上描述是为了说明的目的而不是限制性的。
53.图4图示了根据本公开的一个或多个示例实施例的说明性光学设备验证系统的处理400的流程图。
54.在方框402处，系统可以捕获放置在相机视线中一定距离处的光学设备的图像。光学设备包括相机、光探测和测距(lidar)、雷达或车灯。
55.在方框404处，系统可以检测捕获图像中的光学设备的镜头区域。
56.在方框406处，系统可以裁剪捕获图像中的镜头区域的活动区域。
57.在方框408处，系统可以评估活动区域内被遮挡像素的数量。系统可以基于光学设备的镜头区域的外表面上的遮挡物来检测被遮挡像素的数量。
58.在方框410处，系统可以基于被遮挡像素的数量来计算验证分数。验证分数与光学设备的镜头区域的外表面上被遮挡像素的数量相关联。验证分数是与清洁的美容相关性度量(cccm)分数。验证状态是失败状态或通过状态。系统可以将验证分数与验证阈值进行比较；基于验证分数小于验证阈值将验证状态设定为失败状态。
59.在方框412处，系统基于验证分数生成与光学设备相关联的验证状态。系统可以将验证分数与验证阈值进行比较；并且基于验证分数大于或等于验证阈值，将验证状态设定为通过状态。
60.应该理解的是，以上描述是为了说明的目的而不意在限制。
61.图5是图示根据本公开的一个或多个示例实施例的可以在其上执行一种或多种技术(例如，方法)中的任一种的计算设备或计算机系统500的示例的框图。
62.例如，图5的计算系统500可以表示图1、图2和图3的一个或多个处理器132和/或计算机系统。计算机系统(system)包括一个或多个处理器502-506。处理器502-506可以包括一个或多个内部级别的高速缓存(未示出)和总线控制器(例如，总线控制器522)或总线接口(例如，i/o接口520)单元以指导与处理器总线512的交互。验证设备509也可以与处理器502-506通信并且可以连接到处理器总线512。
63.处理器总线512，也称为主机总线或前端总线，可以用于将处理器502-506和/或验证设备509与系统接口524耦合。系统接口524可以连接到处理器总线512以将系统500的其它组件与处理器总线512接口。例如，系统接口524可以包括用于将主存储器516与处理器总线512接口的存储器控制器518。主存储器516通常包括一个或多个存储卡和控制电路(未示出)。系统接口524还可以包括输入/输出(i/o)接口520以将一个或多个i/o桥525或i/o设备530与处理器总线512接口。一个或多个i/o控制器和/或i/o设备可以与i/o总线526连接，诸如i/o控制器528和i/o设备530，如图所示。
64.i/o设备530还可以包括输入设备(未示出)，诸如字母数字输入设备，包括用于将
信息和/或命令选择传送到处理器502-506和/或验证设备509的字母数字和其它键。另一种类型的用户输入设备包括光标控件，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器502-506和/或验证设备509并用于控制显示设备上的光标移动。
65.系统500可以包括被称为主存储器516的动态存储设备，或随机存取存储器(ram)或耦合到处理器总线512的用于存储要由处理器502-506和/或验证设备509执行的信息和指令的其它计算机可读设备。主存储器516还可以用于在处理器502-506和/或验证设备509执行指令期间存储临时变量或其它中间信息。系统500可以包括只读存储器(rom)和/或耦合到处理器总线512的用于存储用于处理器502-506和/或验证设备509的静态信息和指令的其它静态存储设备。图5中概述的系统只是可以根据本公开的方面采用或配置的计算机系统的一个可能示例。
66.根据一个实施例，上述技术可以由计算机系统500响应于处理器504执行包含在主存储器516中的一个或多个指令的一个或多个序列而被执行。这些指令可以从诸如存储设备之类的另一个机器可读介质读入主存储器516。包含在主存储器516中的指令序列的执行可以使处理器502-506和/或验证设备509执行本文描述的处理步骤。在替代实施例中，可以使用电路系统来代替软件指令或与软件指令结合使用。因此，本公开的实施例可以包括硬件和软件组件两者。
67.各种实施例可以全部或部分地以软件和/或固件来实现。这个软件和/或固件可以采用包含在非暂态计算机可读存储介质中或之上的指令的形式。那些指令然后可以被一个或多个处理器读取和执行以使得能够执行本文描述的操作。指令可以是任何合适的形式，诸如但不限于源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。这种计算机可读介质可以包括以一个或多个计算机可读的形式存储信息的任何有形的非临时介质，诸如但不限于只读存储器(rom)；随机存取存储器(ram)；磁盘存储介质；光学存储介质；闪存等。
68.机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储或传输信息的任何机制。这种介质可以采取非易失性介质和易失性介质的形式但不限于此，并且可以包括可移动数据存储介质、不可移动数据存储介质和/或经由有线或无线网络架构可用的外部存储设备，这些存储介质或设备具有此类计算机程序产品，包括一个或多个数据库管理产品、web服务器产品、应用服务器产品和/或其它附加软件组件。可移动数据存储介质的示例包括光盘只读存储器(cd-rom)、数字多功能光盘只读存储器(dvd-rom)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁性硬盘、ssd等。一个或多个存储器设备606(未示出)可以包括易失性存储器(例如，动态随机存取存储器(dram)、静态随机存取存储器(sram)等)和/或非易失性存储器(例如，只读存储器(rom)、闪存等)。
69.包含实现根据目前描述的技术的系统和方法的机制的计算机程序产品可以驻留在主存储器516中，其可以被称为机器可读介质。应该认识到的是，机器可读介质可以包括任何有形的非暂态介质，其能够存储或编码指令以执行本公开的操作中的任何一个或多个以供机器执行，或者能够存储或编码由此类指令使用或与之相关联的数据结构和/或模块。机器可读介质可以包括存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。
70.一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或它
们的组合来执行特定操作或动作，这些软件、固件、硬件或它们的组合在操作中使得系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，该指令在由数据处理装置执行时，使该装置执行这些动作。一个一般方面包括一种系统。该系统还包括可操作以发射或吸收光的光学设备，其中该光学设备包括具有外表面的镜头。该系统还包括位于光学设备的视线中的相机，其中相机可操作以捕获光学设备的一个或多个图像。该系统还包括计算机系统，该计算机系统与相机通信并且可操作以计算一个或多个图像中捕获的图像的验证分数并且基于使用计算出的验证分数生成的验证状态来验证光学设备。该方面的其它实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个都被配置为执行方法的动作。
71.实施方式可以包括以下特征中的一个或多个。该系统中，光学设备包括相机、光探测和测距(lidar)、雷达或车灯。计算机系统可操作以检测由于在光学设备的镜头的外表面上检测到遮挡物而导致的捕获图像中被遮挡像素的数量。验证分数与光学设备的镜头外表面上被遮挡像素的数量相关联。计算机系统可操作以基于捕获的图像检测光学设备的镜头的活动区域。验证分数是与清洁的美容相关性度量(cccm)分数。验证状态包括失败状态或通过状态。计算机系统可操作以：将验证分数与验证阈值进行比较；以及基于验证分数小于验证阈值将验证状态设定为失败状态。计算机系统可操作以：将验证分数与验证阈值进行比较；以及基于验证分数大于或等于验证阈值，将验证状态设定为通过状态。该系统还包括防眩光罩以防止由于照明引起的图像眩光。所描述的技术的实施方式可以包括硬件、方法或处理，或者计算机可访问介质上的计算机软件。
72.一个一般方面包括一种方法。该方法还包括由一个或多个处理器捕获放置在相机视线中一定距离处的光学设备的图像。该方法还包括在捕获的图像中检测光学设备的镜头区域。该方法还包括在捕获的图像中裁剪镜头区域的活动区域。该方法还包括评估活动区域内被遮挡像素的数量。该方法还包括基于被遮挡像素的数量计算验证分数。该方法还包括基于验证分数生成与光学设备相关联的验证状态。该方面的其它实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个都被配置为执行方法的动作。
73.实施方式可以包括以下特征中的一个或多个。该方法中，该方法还包括基于光学设备的镜头区域的外表面上的遮挡物来检测被遮挡像素的数量。光学设备包括相机、光探测和测距(lidar)、雷达或车灯。验证分数与光学设备的镜头区域的外表面上被遮挡像素的数量相关联。验证分数是与清洁的美容相关性度量(cccm)分数。验证状态是失败状态或通过状态。该方法还包括：将验证分数与验证阈值进行比较；以及基于验证分数小于验证阈值将验证状态设定为失败状态。该方法还包括：将验证分数与验证阈值进行比较；以及基于验证分数大于或等于验证阈值，将验证状态设定为通过状态。所描述的技术的实施方式可以包括硬件、方法或处理，或者计算机可访问介质上的计算机软件。
74.一个一般方面包括一种存储计算机可执行指令的非暂态计算机可读介质，该计算机可执行指令在由一个或多个处理器执行时使得执行操作。存储计算机可执行指令的非暂态计算机可读介质还包括由一个或多个处理器捕获放置在相机视线中一定距离处的光学设备的图像。存储计算机可执行指令的非暂态计算机可读介质还包括检测捕获图像中的光学设备的镜头区域。存储计算机可执行指令的非暂态计算机可读介质还包括在捕获的图像
中裁剪镜头区域的活动区域。存储计算机可执行指令的非暂态计算机可读介质还包括评估活动区域内的被遮挡像素的数量。存储计算机可执行指令的非暂态计算机可读介质还包括基于被遮挡像素的数量计算验证分数。存储计算机可执行指令的非暂态计算机可读介质还包括基于验证分数生成与光学设备相关联的验证状态。该方面的其它实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个都被配置为执行方法的动作。
75.实施方式可以包括以下特征中的一个或多个。该非暂态计算机可读介质中，操作还包括基于光学设备的镜头区域的外表面上的遮挡物检测被遮挡像素的数量。所描述的技术的实施方式可以包括硬件、方法或处理，或者计算机可访问介质上的计算机软件。
76.本公开的实施例包括在本说明书中描述的各种步骤。这些步骤可以由硬件组件执行或者可以在机器可执行指令中实施，其可以被用于使用指令编程的通用或专用处理器执行这些步骤。可替代地，这些步骤可以通过硬件、软件和/或固件的组合来执行。
77.在不脱离本发明的范围的情况下，可以对所讨论的示例性实施例进行各种修改和添加。例如，虽然上述实施例涉及特定特征，但本发明的范围还包括具有不同特征组合的实施例和不包括所有描述的特征的实施例。因而，本发明的范围旨在涵盖所有这些替代方案、修改和变化及其所有等同物。
78.如在各种实施方式中所期望的，可以以任何合适的次序实施或执行上面描述和示出的操作和过程。此外，在某些实施方式中，操作的至少一部分可以并行执行。此外，在某些实施方式中，可以执行少于或多于所描述的操作。
79.本文使用的“示例性”一词是指“用作示例、实例或说明”。本文描述为“示例性”的任何实施例不一定被解释为相对于其它实施例是优选或有利的。
80.如本文所使用的，除非另有说明，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的对象仅指示相似对象的不同实例并且无意暗示如此描述的对象必须在时间上、空间上、排名上或任何其它方式上具有给定的顺序。
81.应该理解的是，以上描述是为了说明的目的而不是限制性的。
82.虽然已经描述了本公开的特定实施例，但是本领域普通技术人员将认识到许多其它修改和替代实施例在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可以由任何其它设备或组件执行。另外，虽然已经根据本公开的实施例描述了各种说明性实施方式和体系架构，但是本领域普通技术人员将认识到的是，对本文描述的说明性实施方式和体系架构的许多其它修改也在本公开的范围内。
83.虽然实施例已经用特定于结构特征和/或方法动作的语言进行了描述，但是应该理解的是，本公开不一定限于所描述的特定特征或动作。更确切地说，具体特征和动作作为实现实施例的说明性形式被公开。条件性语言，诸如“可以”或“可能”，除非另有具体说明，或在上下文中以其它方式理解，否则一般旨在传达某些实施例可以包括，而其它实施例不包括某些特征、元素和/或步骤。因此，这种条件性语言一般并不意在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是需要的，或者一个或多个实施例必须包括用于决定(有或没有用户输入或提示)的逻辑，这些特征、元素和/或步骤是否包括在任何特定实施例中或将要在任何特定实施例中执行。

技术特征：
1.一种系统，包括：光学设备，可操作以发射或吸收光，其中所述光学设备包括具有外表面的镜头；相机，位于所述光学设备的视线中，其中所述相机可操作以捕获所述光学设备的一个或多个图像；以及计算机系统，与所述相机通信并且可操作以计算所述一个或多个图像中捕获的图像的验证分数并且基于使用计算出的验证分数生成的验证状态来验证所述光学设备。2.如权利要求1所述的系统，其中所述光学设备包括相机、光探测和测距(lidar)、雷达或车灯。3.如权利要求1所述的系统，其中所述计算机系统可操作以检测由于在所述光学设备的镜头的外表面上检测到的遮挡物而导致的捕获图像中的被遮挡像素的数量。4.如权利要求3所述的系统，其中所述验证分数与所述光学设备的镜头的外表面上的被遮挡像素的数量相关联。5.如权利要求1所述的系统，其中所述计算机系统可操作以基于捕获的图像检测所述光学设备的镜头的活动区域。6.如权利要求1所述的系统，其中所述验证分数是与清洁的美容相关性度量(cccm)分数。7.如权利要求1所述的系统，其中所述验证状态包括失败状态或通过状态。8.如权利要求1所述的系统，其中所述计算机系统可操作以：将所述验证分数与验证阈值进行比较；以及基于所述验证分数小于所述验证阈值将所述验证状态设定为失败状态。9.如权利要求1所述的系统，其中所述计算机系统可操作以：将所述验证分数与验证阈值进行比较；以及基于所述验证分数大于或等于所述验证阈值将所述验证状态设定为通过状态。10.如权利要求1所述的系统，还包括防眩光罩以防止由于光照引起的图像眩光。11.一种方法，包括：由一个或多个处理器捕获放置在相机视线中一定距离处的光学设备的图像；在捕获的图像中检测所述光学设备的镜头区域；在捕获的图像中裁剪镜头区域的活动区域；评估活动区域内的被遮挡像素的数量；基于被遮挡像素的数量计算验证分数；以及基于验证分数生成与所述光学设备相关联的验证状态。12.如权利要求11所述的方法，其中所述方法还包括检测基于所述光学设备的镜头区域的外表面上的遮挡物的被遮挡像素的数量。13.如权利要求11所述的方法，其中所述光学设备包括相机、光探测和测距(lidar)、雷达或车灯。14.如权利要求11所述的方法，其中所述验证分数与所述光学设备的镜头区域的外表面上的被遮挡像素的数量相关联。15.如权利要求11所述的方法，其中所述验证分数是与清洁的美容相关性度量(cccm)分数。
16.如权利要求11所述的方法，其中所述验证状态是失败状态或通过状态。17.如权利要求11所述的方法，其中所述方法还包括：将所述验证分数与验证阈值进行比较；以及基于所述验证分数小于所述验证阈值将所述验证状态设定为失败状态。18.如权利要求11所述的方法，其中所述方法还包括：将所述验证分数与验证阈值进行比较；以及基于所述验证分数大于或等于所述验证阈值将所述验证状态设定为通过状态。19.一种存储计算机可执行指令的非暂态计算机可读介质，所述计算机可执行指令在由一个或多个处理器执行时使得执行操作，所述操作包括：由一个或多个处理器捕获放置在相机视线中一定距离处的光学设备的图像；在捕获的图像中检测光学设备的镜头区域；在捕获的图像中裁剪镜头区域的活动区域；评估活动区域内的被遮挡像素的数量；基于被遮挡像素的数量计算验证分数；以及基于验证分数生成与所述光学设备相关联的验证状态。20.如权利要求19所述的非暂态计算机可读介质，其中所述操作还包括检测基于所述光学设备的镜头区域的外表面上的遮挡物的被遮挡像素的数量。

技术总结
提供了用于光学设备验证的设备、系统和方法。例如，系统可以包括可操作以发射或吸收光的光学设备，其中该光学设备包括具有外表面的镜头。该系统可以包括位于光学设备的视线中的相机，其中相机可操作以捕获光学设备的一个或多个图像。该系统可以包括计算机系统，该计算机系统与相机通信并且可操作以计算一个或多个图像中捕获的图像的验证分数并且基于使用计算出的验证分数生成的验证状态来验证光学设备。设备。设备。


技术研发人员：M
受保护的技术使用者：阿尔戈人工智能有限责任公司
技术研发日：2021.11.12
技术公布日：2023/8/9