用于抑制3D路面重建中的噪声的方法及装置与流程

用于抑制3d路面重建中的噪声的方法及装置
技术领域
1.本技术涉及自动驾驶领域，特别涉及一种用于抑制3d路面重建中的噪声的方法及装置。


背景技术：

2.在自动驾驶领域中，车道标记检测是重要的功能，其取决于像素检测和路面估计的组合。在多目标摄像头产品中，传统的计算机视觉方法一般用于主道路车道标记检测，在大部分工作条件下，车道标记像素校验能够得到满足，而路面估计过程中通常存在较大的噪声。在传统的计算机视觉方法中，可以使用很多结构性几何信息来降低计算量，这些结构性几何信息可以包括例如天空视图、左侧街道视图、右侧街道视图、可行驶的车道视图、左侧道路边缘视图、右侧道路边缘视图等。
3.在文献“a 3d estimation of structural road surface based on lane-line information”中介绍了一种基于车道线信息对结构性路面进行3d估计的方法，其中霍夫变换和最小平方法(lsm)被应用于近距范围和远距范围车道标记线，然后尝试根据路面伪点云数据来重建3d路面。然而，这种方法在边缘检测上涉及很多卷积计算和拟合，从而对于有限的嵌入式系统而言这是低效的。
4.在文献“robust range estimation with a monocular camera for vision-based forward collision warning system”中提出了一种用于利用单目摄像头对基于视觉的前向碰撞预警系统的范围估计方法。在该文献中，在所提出的跟踪对象的范围估计方法中使用了水平线。
5.在美国专利申请us20100188507a1中提出了一种车道线标记检测装置和车道线标记检测方法，其中在一些典型情况下，颜色聚类、亮度聚类和类似方法被广泛用于车道线标记检测。
6.然而，在很多工作条件下，用于车道标记检测的路面估计中的噪声较大，使得重建的3d路面不够好，从而一些车道标记输出是往内弯曲的，而一些车道标记输出是往外弯曲的，导致在车道标记检测过程中存在较大误差。
7.因此，希望提供一种改进的技术方案来解决现有技术中的上述问题。


技术实现要素：

8.针对以上问题，本技术旨在提出一种用于抑制3d路面重建中的噪声的方法和装置及计算机程序产品，通过组合水平线检测和车道标记检测来改善3d路面重建时的路面估计和补偿，以便能够提高车道线输出稳定性。
9.根据本技术的一个方面，提供了一种用于抑制3d路面重建中的噪声的方法，包括：获取与路面有关的图像；从所述图像中提取水平线信息和感兴趣区域信息，其中，所述水平线信息包括水平线像素值，所述感兴趣区域信息用于执行针对所述路面的3d路面重建；判断所述水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；当所述差值大
于所述像素阈值时，判断所述水平线像素值是否大于补偿阈值；当所述水平线像素值不大于所述补偿阈值时，基于所述差值来确定补偿值；以及基于所述补偿值来调整所述感兴趣区域信息。
10.根据本技术的另一个方面，提供了一种用于抑制3d路面重建中的噪声的装置，包括：获取模块，用于获取与路面有关的图像；提取模块，用于从所述图像中提取水平线信息和感兴趣区域信息，其中，所述水平线信息包括水平线像素值，所述感兴趣区域信息用于执行针对所述路面的3d路面重建；第一判断模块，用于判断所述水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；第二判断模块，用于当所述差值大于所述像素阈值时，判断所述水平线像素值是否大于补偿阈值；确定模块，用于当所述水平线像素值不大于所述补偿阈值时，基于所述差值来确定补偿值；以及调整模块，用于基于所述补偿值来调整所述感兴趣区域信息。
11.本技术还提供了一种用于抑制3d路面重建中的噪声的装置。所述装置包括：至少一个处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使得所述至少一个处理器实施上文所述的用于抑制3d路面重建中的噪声的方法。
12.本技术还提供了一种用于抑制3d路面重建中的噪声的计算机程序产品。所述计算机程序产品包括计算机程序，所述计算机程序被至少一个处理器执行用于实施上文所述的用于抑制3d路面重建中的噪声的方法。
13.在3d路面重建过程中，通过在对感兴趣区域信息分析前预先对水平线信息的偏差进行补偿或校准，并基于经校准的水平线信息来校准感兴趣区域信息，能够启发式地降低或抑制3d路面重建过程中的路面估计噪声或错误，从而能够提供更准确的3d路面。
附图说明
14.从后述的详细说明并结合下面的附图将能更全面地理解本技术的前述及其他方面。需要指出的是，各附图的比例出于清楚说明的目的有可能不一样，但这并不会影响对本技术的理解。在附图中：
15.图1a示出了包含在当前3d路面重建方法中使用的路面几何结构信息的示例性图像；
16.图1b示出了在当前3d路面重建方法中由于路面估计噪声导致的示例性路面标记误差情况对比图；
17.图2示出了根据本公开实施例的用于抑制3d路面重建中的噪声的示例性方法的流程图；
18.图3示出了根据本公开实施例的用于抑制3d路面重建中的噪声的另一示例性方法的流程图；
19.图4示出了根据本公开实施例的路面的逻辑水平线与真实水平线的示例性位置关系图；
20.图5示出了根据本公开实施例的用于确定水平线位置的示例性曲线图；
21.图6示出了根据本公开实施例的包括具有噪声的水平线信息的示例性图像；
22.图7示出了根据本公开实施例的用于抑制3d路面重建中的噪声的示例性装置；以及
23.图8示出了根据本公开实施例的用于抑制3d路面重建中的噪声的另一示例性装置。
具体实施方式
24.现在将参考多种示例性实施方式来讨论本公开内容。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开内容的实施例，而并非教导对本公开内容的范围的任何限制。
25.下面给将结合附图详细描述本公开内容的各个实施例。
26.图1a示出了包含在当前3d路面重建方法中使用的路面几何结构信息的示例性图像100。如图1a所示，图像100被划分成五个区域，其中每个区域可以被认为是用于3d路面重建的感兴趣区域roi。在当前方法中，可以使用这五个区域中的几何结构信息来执行3d路面重建。例如，图像100中的第一区域(1)可以是天空视图，第二区域(2)可以是左侧街道视图，第三区域(3)可以是右侧街道视图，第四区域(4)可以是可行驶的车道视图，第五区域(5)可以是左侧道路边缘视图，第六区域(6)可以是右侧道路边缘视图。
27.然而，当车辆行驶在具有上坡、下坡、连接线或颠簸的道路上时，由于在每次捕获与道路有关的图像时的基准高度(例如水平线高度)可能不一致，从而会导致路面标记估计有误差，继而影响到3d路面重建过程中的后处理阶段。图1b示出了在上述情况下在当前3d路面重建方法中由于路面估计噪声导致的示例性路面标记误差情况对比图110。
28.如图1b中的对比图110所示，当车辆行驶在具有上坡的道路上时，经由当前3d路面重建方法模拟出的路面标记(图1b中的点虚线所示出的标记)与实际路面标记(图1b中的实线所示出的标记)之间存在偏差。
29.为了解决在车辆行驶在具有上坡、下坡、连接线或颠簸的道路上存在的上述路面标记偏差问题，本公开内容提出了一种改进的用于抑制3d路面重建中的噪声的方法。该方法在3d路面重建过程中结合了水平线校准，通过在对感兴趣区域信息分析前预先对水平线信息的偏差进行补偿或校准，来得到经补偿的水平线像素值，并将经补偿的水平线像素值提供至3d路面重建过程，来校准或调整用于3d路面重建的roi信息，从而基于水平线信息启发式地降低3d路面重建过程中的路面估计错误。
30.图2示出了根据本公开实施例的用于抑制3d路面重建中的噪声的示例性方法的流程图200。
31.在操作202处，获取与路面(例如车辆所在的车道和/或邻近车道的路面等)有关的图像。在一些例子中，可以利用车辆内置的摄像头(例如多目标摄像头)或设置于能够捕获与路面有关的图像的任何位置处的摄像头来获取与路面有关的图像。
32.在操作204处，从获取的图像中提取水平线信息和感兴趣区域信息，其中，感兴趣区域信息可以包括用于执行3d路面重建的任意区域的相关信息。在一个例子中，水平线信息可以包括与该水平线相关的水平线像素值。在该例子中，可以通过但不限于以下方式来提取水平线信息：将获取的图像分成多行；针对每一行，计算该行的像素值，其中每一行的像素值是通过将该行中每个点的像素值相加得到的；比较每一行的像素值以确定具有最高像素值的目标行；以及将目标行标识为水平线以及将与目标行有关的信息标识为水平线信息，其中目标行的像素值被标识为水平线像素值。
33.例如，该水平线像素值可以被表示成针对水平线(例如目标行)i的向量vi并通过以下算式被计算成该水平线上每个点的像素值(例如亮度值)之和：
[0034][0035]
其中，b(i,j)表示该水平线上的点(i,j)的像素值，w表示水平线i上的点总数。
[0036]
在一些例子中，感兴趣区域信息可以包括针对如图1a中所示的五个感兴趣区域的信息(例如像素值)。需要理解的是，感兴趣区域信息并不限于所示出的示例性五个感兴趣区域的信息，在实践中，可以根据需要设置任意数量的感兴趣区域，或以任意方式在图像上划分感兴趣区域。
[0037]
在操作206处，判断计算出的水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值，其中，该像素阈值是预先设定的。举例而言，假设计算出的水平线像素值(例如水平线上各点的亮度值之和)为3560，预设的水平线像素值为3500，像素阈值为50，则计算出的水平线像素值与预设的水平线像素值之间的差值60大于该像素阈值50。
[0038]
在操作208处，当计算出的水平线像素值与预设的水平线像素值之间的差值大于像素阈值时，判断该水平线像素值是否大于补偿阈值，其中该补偿阈值是预先设定的。在一些例子中，当该差值不大于该像素阈值时，基于提取的感兴趣区域信息来执行针对所述路面的3d路面重建。
[0039]
在操作210处，当该水平线像素值不大于补偿阈值时，基于计算出的水平线像素值与预设的水平线像素值之间的差值来确定补偿值。举例而言，可以将补偿值确定为等于该差值，或者可以将补偿值确定为所述差值和所述像素阈值之间的任意值等等。在一些例子中，当该水平线像素值大于补偿阈值时，丢弃所获取的图像。
[0040]
在操作212处，可以基于确定的补偿值来调整所提取的感兴趣区域信息。例如，可以基于确定的补偿值来调整感兴趣区域的像素值。在一些例子中，调整感兴趣区域信息可以进一步包括：从感兴趣区域信息中获得感兴趣区域的像素值，以及将补偿值应用于感兴趣区域的像素值以得到感兴趣区域的经补偿的像素值。在一些例子中，可以基于计算的水平线像素值与预设的水平线像素值之间的大小来判断将感兴趣区域的像素值加上还是减去该补偿值。举例而言，当计算出的水平线像素值大于预设的水平线像素值时，可以通过将感兴趣区域的像素值减去该补偿值来得到感兴趣区域的经补偿的像素值。在另一些例子中，当计算出的水平线像素值小于预设的水平线像素值时，可以通过将感兴趣区域的像素值加上该补偿值来得到感兴趣区域的经补偿的像素值。
[0041]
需要理解的是，图2的方法200的流程图中所示出的操作仅是示例性的，在其它实施例中，可以在方法200中增加或减少一个或多个操作。例如，方法200还可以包括基于感兴趣区域的经补偿的像素值来执行3d路面重建，等等。
[0042]
图3示出了根据本公开实施例的用于抑制3d路面重建中的噪声的另一示例性方法300的流程图。
[0043]
在操作302中，获取与路面有关的图像；在操作304中，从图像中提取水平线信息和感兴趣区域信息；在操作306中，判断水平线信息中的水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值，其中，当该差值大于像素阈值时(如图3中针对框306的“y”所示)，方法300进行到操作308；在操作308中，判断水平线像素值是否大于补偿阈值，其中，
当水平线像素值不大于补偿阈值时(如图3中针对框308的“n”所示)，方法进行到操作310；在操作310中，基于差值来确定补偿值；在操作312中，基于补偿值来调整感兴趣区域信息。在本公开内容的实施例中，上述框302-312中的操作可以与图2中的操作202-212相同或相似。
[0044]
进一步地，在操作306中，当判断水平线像素值与预设的水平线像素值之间的差值不大于像素阈值时(如图3中针对框306的“n”所示)，方法300进行到操作314。在操作314中，可以选择所获取的图像中的感兴趣区域。
[0045]
此外，在操作308中，当判断水平线像素值大于补偿阈值时(如图3中针对框308的“y”所示)，方法300可以进行到操作324，在此结束3d路面重建过程，例如通过丢弃所获取的图像来结束该方法流程。
[0046]
在操作316中，可以对在操作314中选择的感兴趣区域的信息(例如感兴趣区域的原始像素值或经调整/补偿的像素值)执行卷积操作。在一些例子中，可以使用核为[[-2],[0],[2]]的卷积操作。在一些例子中，可以利用一行偏差对图像进行逐行地减法运算来执行卷积，例如c
n,i
＝m
n,i-m
n-1,i
，
……
，c
n,0
＝0，其中，cn表示第n行的卷积结果，mn表示第n行的矩阵表示。
[0047]
在操作318中，可以对操作316的卷积结果进行量化；在操作320中，可以对量化结果进行腐蚀处理；在操作322中，对经过腐蚀处理的图像区域进行链接。在操作324中，可以结束3d路面重建方法。需要理解的是，操作314至操作322中的任一项或多项操作可以采用当前的任何适当的对应图像处理操作来实现，因此为了避免模糊本公开内容的技术方案，此处不再对操作314至操作322进行详述。
[0048]
图4示出了根据本公开实施例的路面的逻辑水平线与真实水平线的示例性位置关系图400。
[0049]
如图4所示，假设获取的图像的尺寸为(w，h)，其中w表示该图像的宽度值(在图4中表示为水平轴方向)，h表示该图像的高度值(在图4中表示为垂直轴方向)。可以将针对路面预设的逻辑水平线(图4中的实线所表示的水平线)的高度设置为h
l
，宽度设置为w
l
，其中该预设的逻辑水平线的高度值和宽度值可以是预设的固定值。
[0050]
在一些例子中，可以将逻辑水平线的高度h
l
设定为图像高度的一半，即h
l
＝1/2h，将逻辑水平线的宽度设定为图像的宽度，即w
l
＝w。在另一些例子中，可以根据摄像头所设置的位置，将逻辑水平线的高度h
l
设定为0和h之间的任意值。在一些例子中，当路面的真实水平线(如图4中虚线所表示的水平线)的高度y和宽度x分别在该逻辑水平线的高度和宽度的一定范围内时，可以基于图像中的roi信息来执行3d路面重建。举例而言，当y∈[h-80,h+80]时，可以基于图像中选择的roi信息来执行3d路面重建；当以及时，可以基于真实水平线的信息(例如真实水平线的像素值)和逻辑水平线的信息(例如逻辑水平线的像素值)来确定补偿值，并基于该补偿值来调整roi信息，从而基于经调整的roi信息来执行3d路面重建。
[0051]
需要理解的是，本文的例子中给出的具体数字均是示例性而非限制性的，所举例的数字不对本公开的技术方案进行任何限制。
[0052]
图5示出了根据本公开实施例的用于确定水平线位置的示例性曲线图500。在曲线图500中，x轴表示roi高度，y轴表示亮度值之和。可以将y轴上的峰值(即亮度值之和最大的点)对应的高度确定为水平线所对应的高度，从而可以确定水平线位置。需要理解的是，虽然图5中示出的曲线图500是平滑的曲线，但在其它示例图中，该曲线可以是不平滑的曲线。
[0053]
图6示出了根据本公开实施例的包括具有噪声的水平线信息的示例性图像600。在图6中，x轴表示的是时间，y轴表示的是随时间检测的水平线的亮度值。可以将图像600中具有大于预定值(例如补偿阈值)的亮度值的水平线认为是噪声，例如图像600中示出的亮度值1和亮度值2。在一些例子中，可以将获取的分别具有亮度值1和亮度值2的图像作为噪声图像，并在执行水平线补偿值确定过程中丢弃噪声图像。
[0054]
图7示出了根据本公开实施例的用于抑制3d路面重建中的噪声的示例性装置700。装置700可以包括：获取模块710，用于获取与路面有关的图像；提取模块720，用于从所述图像中提取水平线信息和感兴趣区域信息，其中，所述水平线信息包括水平线像素值，所述感兴趣区域信息用于执行针对所述路面的3d路面重建；以及第一判断模块730，用于判断所述水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；第二判断模块740，用于当所述差值大于所述像素阈值时，判断所述水平线像素值是否大于补偿阈值；确定模块750，用于当所述水平线像素值不大于所述补偿阈值时，基于所述差值来确定补偿值；以及调整模块760，用于基于所述补偿值来调整所述感兴趣区域信息。此外，装置700还可以包括根据上述公开内容的实施例所描述的用于抑制3d路面重建中的噪声的任何其他模块。
[0055]
图8示出了根据本公开实施例的用于抑制3d路面重建中的噪声的另一示例性装置800。装置800可以包括：至少一个处理器810；以及存储计算机可执行指令的存储器820。所述计算机可执行指令在被执行时可以使得所述至少一个处理器810实施如上所述的用于抑制3d路面重建中的噪声的方法的任何操作。
[0056]
本公开的实施例提出了用于抑制3d路面重建中的噪声的计算机程序产品，包括计算机程序，所述计算机程序被至少一个处理器执行以用于实施如上所述的用于抑制3d路面重建中的噪声的方法的任何操作。
[0057]
应当理解，以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。
[0058]
已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本公开中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑器件(pld)、状态机、门逻辑、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其他适合的处理部件。本公开给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、dsp或其他适合的平台所执行的软件。
[0059]
本领域技术人员应当理解，以上公开的各个实施例可以在不偏离发明实质的情况下做出各种修改和变形，这些修改和变形都应当落入本发明的保护范围之内，并且，本发明的保护范围应当由权利要求书来限定。

技术特征：
1.一种用于抑制3d路面重建中的噪声的方法，包括：获取与路面有关的图像；从所述图像中提取水平线信息和感兴趣区域信息，其中，所述水平线信息包括水平线像素值，所述感兴趣区域信息用于执行针对所述路面的3d路面重建；判断所述水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；当所述差值大于所述像素阈值时，判断所述水平线像素值是否大于补偿阈值；当所述水平线像素值不大于所述补偿阈值时，基于所述差值来确定补偿值；以及基于所述补偿值来调整所述感兴趣区域信息。2.根据权利要求1所述的方法，其中，调整所述感兴趣区域信息进一步包括：从所述感兴趣区域信息中获得感兴趣区域的像素值；以及将所述补偿值应用于所述感兴趣区域的像素值以得到所述感兴趣区域的经补偿的像素值。3.根据权利要求2所述的方法，还包括：基于所述感兴趣区域的经补偿的像素值来执行所述3d路面重建。4.根据权利要求1所述的方法，其中，所述水平线信息是通过以下方式提取的：将所述图像分成多行；针对所述多行中的每一行，计算每一行的像素值，其中所述每一行的像素值是通过将该行中每个点的像素值相加得到的；比较每一行的像素值以确定具有最高像素值的目标行；以及将所述目标行标识为水平线以及将与所述目标行有关的信息标识为所述水平线信息，其中所述目标行的像素值被标识为所述水平线像素值。5.根据权利要求1所述的方法，还包括：当所述水平线像素值与预设的水平线像素值之间的差值不大于所述像素阈值时，基于所述感兴趣区域信息针对所述路面执行所述3d路面重建。6.根据权利要求1所述的方法，还包括：当所述水平线像素值大于所述补偿阈值时，丢弃所述图像。7.一种用于抑制3d路面重建中的噪声的装置，包括：获取模块，用于获取与路面有关的图像；提取模块，用于从所述图像中提取水平线信息和感兴趣区域信息，其中，所述水平线信息包括水平线像素值，所述感兴趣区域信息用于执行针对所述路面的3d路面重建；第一判断模块，用于判断所述水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；第二判断模块，用于当所述差值大于所述像素阈值时，判断所述水平线像素值是否大于补偿阈值；确定模块，用于当所述水平线像素值不大于所述补偿阈值时，基于所述差值来确定补偿值；以及调整模块，用于基于所述补偿值来调整所述感兴趣区域信息。8.根据权利要求7所述的装置，其中，所述调整模块进一步用于：从所述感兴趣区域信息中获得感兴趣区域的像素值；以及
将所述补偿值应用于所述感兴趣区域的像素值以得到所述感兴趣区域的经补偿的像素值。9.根据权利要求8所述的装置，还包括：检测模块，用于基于所述感兴趣区域的经补偿的像素值来执行所述3d路面重建。10.根据权利要求7所述的装置，其中，所述提取模块进一步用于：将所述图像分成多行；针对所述多行中的每一行，计算每一行的像素值，其中所述每一行的像素值是通过将该行中每个点的像素值相加得到的；比较每一行的像素值以确定具有最高像素值的目标行；以及将所述目标行标识为水平线以及将与所述目标行有关的信息标识为所述水平线信息，其中，所述目标行的像素值被标识为所述水平线像素值。11.一种用于抑制3d路面重建中的噪声的装置，包括：至少一个处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使得所述至少一个处理器实施根据权利要求1至6中任一项所述的方法。12.一种用于抑制3d路面重建中的噪声的计算机程序产品，包括计算机程序，所述计算机程序被至少一个处理器执行以用于实施根据权利要求1至6中任一项所述的方法。

技术总结
本申请提出了用于抑制3D路面重建中的噪声的方法、装置和计算机程序产品。该方法包括：获取与路面有关的图像；从图像中提取水平线信息和感兴趣区域信息，其中，水平线信息包括水平线像素值，感兴趣区域信息用于执行针对所述路面的3D路面重建；判断水平线像素值与预设的水平线像素值之间的差值是否大于像素阈值；当差值大于像素阈值时，判断水平线像素值是否大于补偿阈值；当水平线像素值不大于补偿阈值时，基于差值来确定补偿值；以及基于补偿值来调整感兴趣区域信息。调整感兴趣区域信息。调整感兴趣区域信息。


技术研发人员：毛安平 刘伟 A
受保护的技术使用者：罗伯特
技术研发日：2021.12.30
技术公布日：2023/7/13