车辆外观检测方法、检测装置、存储介质和电子设备与流程

未命名 10-18 阅读:77 评论:0


1.本发明涉及车辆外观识别技术领域,具体而言,涉及一种车辆外观检测方法、检测装置、存储介质和电子设备。


背景技术:

2.目前,市面上很多行业都开始尝试采用深度学习技术来对生产或产品运营过程中的缺陷缺失进行检测,但是大多数只能检测出一个型号的特定标定,无法同时实现更多的功能,当出现产品外观或零件系统发生变化时,需要很大的算法系统,才能够重新适应新品种。
3.因此,如何解决现有技术中无法采用图像信息对车辆和表示物进行检测成为了目前亟待解决的问题。


技术实现要素:

4.本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
5.为此,本发明的第一方面提供了一种车辆外观检测方法。
6.本发明的第二方面提供了一种车辆外观检测设备。
7.本发明的第三方面提供了一种存储介质。
8.本发明的第四方面提供了一种电子设备
9.有鉴于此,本发明的第一方面提出了一种车辆外观检测方法,用于检测车辆外观部件异常,车辆外观检测方法包括:获取车辆外观照片;将获取的车辆外观照片与预设的标准车辆外形进行匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果。
10.本发明提供的车辆外观检测方法,用于检测车辆外观部件异常,车辆外观检测方法包括:首先获取车辆外观照片和车辆的标准车辆外形,进而将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。本技术中的方案通过车辆的图片作为车辆的标准车辆外形,因此在对车辆进行检测时,仅需将车辆的图片添加成为标准车辆外形,即可对车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本技术能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。
11.根据本发明提供的车辆外观检测方案,还可以具有以下附加技术特征:
12.在一些可能的设计中,在将获取的车辆外观照片与预设的标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:根据车辆外观照片中的车辆外观特征获取目标框;获取车辆外观照片的偏离度;根据偏离度和目标框,确定预测框。将获取的车辆外观照片与预设的标准车辆外形进行匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果的步骤包括:使得预测框与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果。
13.在该技术方案中,在将获取的车辆外观照片与预设的标准车辆外形进行匹配的步
骤之前,车辆外观检测方法还包括:根据车辆外观照片中的车辆外观特征获取与车辆外观特征对应的目标框,目标框与车辆外观照片中的车辆外观特征对应,获取车辆外观照片的偏离度,通过偏离度和目标框确定预测框,预测框相对于目标框具有更大的范围,从而防止在获取车辆外观信息时出现预测框与标准车辆外形无法对应,导致已经安装了的外观无法和标准车辆外形匹配,进而导致匹配失败的情况。通过偏离度的来提高匹配的精度,能够有效的提高外观的检测效果。具体的车辆外观特征包括但不限于设置在车辆上的零件或结构,喷涂在车辆上的喷漆,粘在车辆上的贴纸等影响车辆外观的特征。
14.在一些可能的设计中,标准车辆外形包括模型框;在将预测框与标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:确定模型框与预测框之间的距离。将预测框与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果的步骤包括:当模型框与预测框之间的距离大于第一阈值时,确定外观部件异常,得到异常结果。
15.在该技术方案中,标准车辆外形包括模型框,模型框表示需要进行检测的外观部件。在将获取的车辆外观照片与预设的标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:确定模型框与预测框之间的距离。将标准车辆外形和车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果的步骤包括:当检测到模型框和预测框之间的距离,模型框和预测框之间的距离大于第一阈值时,说明模型框和预测框之间没有匹配成功,即说明当前模型框中没有安装指定的外观零件,进而获取到该模型框对应的零件的信息,作为异常结果。通过模型框和预测框之间的距离进行匹配的方式是不限制不同车辆和外观的,也就是说本技术中在不对方案进行改进的同时能够对不同的车辆进行检测,仅仅需要将不同车辆的标准车辆外形,也就是标准车辆的图片添加在系统中,即可实现对车辆外观的检测。
16.可选的,标准车辆外形包括模型框;在将预测框与标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:当模型框的数量大于1时,建立x轴,x轴以最左侧预测框的左上角的点作为原点,向右为正方向;将预测框进行排序,使得任一预测框的左上角的点对应一个x轴的数值;获取任一预测框左上角点的对应x轴的数值为第一数值;获取任一模型框距离原点最近的一个点所对应的x轴的数值为第二数值;将预测框与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果的步骤还包括:计算第一数值和第二数值的差值,选择差值最小的点,确定第一数值对应的预测框与第二数值对应的模型框匹配成功,在一个第二数值与任一第一数值的差值均大于其余第二数值与任一第一数值的差值的情况下,确定第二数值对应的模型框与预测框不匹配,获取异常结果。
17.在该技术方案中,将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果的步骤还包括:当模型框的数量大于1时,也就是相同的模型框具有多个时,需要基于预测框建立x轴,以最左侧预测框的左上角的点作为原点,向右为正方向建立x轴,并将每个预测框的左上角的点与x轴上的数值进行对应,使得每一个预测框都具有一个第一数值,同时将模型框距离原点最近的一个点对应的x轴的数值记作第二数值,因此每个模型框均具有一个第二数值,以此对每个第二数值与第一数值做差,得出每一个第二数值的最小差值对应的第一数值,进而确定第二数值对应的模型框对
应的预测框,并认为模型框和预测框匹配成功。而当出现多个模型框匹配成功的预测框为同一个时,确定预测框与每个模型框之间的差值,取最小差值对应的模型框作为与预测框匹配的模型框,其余的模型框判定为与预测框不匹配,即在一个第二数值与任一第一数值的差值均大于其余第二数值与任一第一数值的差值的情况下,确定第二数值对应的模型框与预测框不匹配,获取异常结果。
18.具体而言:当模型框数量大于1时,需要首先对预测框排序,依照预测框左上角点的x轴数值排序。排序完毕后用所有预测框的左上角点x轴数值减去模型框第一个框左上角点x轴数值,得到一组距离值,取距离值最小对应的预测框为匹配成功。
19.distance=xp

xg;
20.其中,xp为预测框左上角点x轴数值,xg为模型框左上角点x轴值;
21.bboxi=min(distance1,distance2

distancek

);
22.bboxi为对应第i个模型框的匹配预测框。distancek为第k个预测框与第i个模型框左上角点x轴数值得差值。
23.可选的,车辆外观信息还包括:文字信息;车辆型号的标准车辆外形还包括车辆文字模板;通过车辆文字模板对文字信息进行检测,判断文字信息是否正确。
24.在该技术方案中,车辆的外观信息还包括文字信息,如车辆的文字表示等,同时标准车辆外形还包括有车辆文字模板,通过将文字模板和文字信息进行对照,从而确定文字信息是否正确,具体而言,在车辆检测系统中添加ocr模型(optical character recognition光学字符识别模型),通过ocr模型对文字信息进行检测。
25.可选的,获取异常结果的步骤还包括:将多个车辆外观照片与标准车辆外形未匹配成功的信息的交集作为异常结果。
26.在该技术方案中,在确定异常结果时,还需要确定车辆外观照片与标准车辆外形未匹配成功的信息,并将多个未匹配成功的外观的交集作为异常结果。这样能有效的避免由于车辆位置不正确而导致的不同的外观信息落在不同的标准车辆外形上。因此只有当所有的外观信息均没有检出的信息,才作为异常结果。这样能够有效的避免单一外观信息不全或者车辆停留位置不合适导致的系统误判。
27.可选的,获取车辆的标准车辆外形的步骤包括:获取车辆型号;根据车辆型号获取车辆的标准车辆外形。
28.在该技术方案中,获取车辆的标准车辆外形的步骤包括:获取车辆型号,并根据车辆型号获取车辆的标准车辆外形。通过对多种的车辆标准车辆外形进行存储,在检测时,通过检查到车辆的车辆型号,进而获取对应的车辆标准车辆外形,从而实现对多种不同型号的车辆进行外观的检测,实现了采用单一模型对多种不同型号的车辆进行外观检测。
29.可选的,车辆外观检测方法还包括:根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面进行显示。
30.在该技术方案中,车辆外观检测方法还包括:根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面进行显示。在确定异常结果后,能够将异常结果直接显示到显示界面,从而快速的确定出外观部位异常的类型和位置,从而方便直接获取异常的外观部件的类型和位置,并进行返厂修理。
31.可选的,异常结果包括:车辆外观部件缺失、车辆外观部件安装错误。
32.本发明第二方面提供了一种车辆外观检测装置,包括第一获取模块,用于获取车辆外观照片,匹配模块用于将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。
33.在该技术方案中,车辆外观检测装置包括有第一获取模块,匹配模块。其中,获取模块,用于获取车辆外观照片。匹配模块用于将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。通过在不同的车辆的图片作为车辆的标准车辆外形,因此在对不同的车辆进行检测时,可采用相同的检测方式进行检测,因此无需在对不同车辆进行检测时,对检测系统进行修改,仅需将对应车辆的图片添加成为模板,即可对不同车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本技术能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。
34.可选的,第一获取模块包括多个摄像机,其中需要在车辆的两侧设置多个摄像机,从而对较长的车辆进行检测,同时在车辆的前后个设置至少一个摄像机,用于对车辆的前后进行检测。
35.可选的,车辆外观检测装置还包括第二获取模块和第三获取模块,其中第二获取模块用于获取车辆型号,第三获取模块用于根据车辆型号获取车辆的标准车辆外形。
36.在该技术方案中,第二获取模块,用于获取车辆型号,这时第三获取模块能够根据车辆型号来获取车辆的标准车辆外形,从而实现对车辆标准车辆外形的调用。通过对多种的车辆标准车辆外形进行存储,在检测时,通过检查到车辆的车辆型号,进而获取对应的车辆标准车辆外形,从而实现对多种不同型号的车辆进行外观的检测,实现了采用单一模型对多种不同型号的车辆进行外观检测。
37.可选的,车辆外观检测装置还包括显示模块,用于显示根据异常结果获取对应的外观部件的类型和外观部件的位置。
38.在该技术方案中,车辆外观检测装置还包括显示模块,用于显示根据异常结果获取对应外观部件的类型和外观部件的位置。并将外观部件的类型和外观部件的位置发送至显示界面进行显示。在确定异常结果后,能够将异常结果直接显示到显示界面,从而快速的确定出外观部位异常的类型和位置,从而方便直接获取异常的外观部件的类型和位置,并进行返厂修理。
39.本发明的第三方面提供了一种存储介质,其上存储有程序和/或指令,程序和/或指令被处理器执行时实现上述任一技术方案中的车辆外观检测方法的步骤。
40.根据本发明的技术方案提供的可读存储介质,由于其上存储的程序和/或指令被处理器执行时可实现上述任一技术方案中的车辆外观检测方法的步骤,因而具有上述车辆外观检测方法的全部有益技术效果,在此不再赘述。
41.本发明的第四方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一技术方案中的车辆外观检测方法的步骤。
42.根据本发明的技术方案提供的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一技术方案中的车辆外观检测方法的步骤,因而具有上述车辆外观检测方法的全部有益技术效果,在此不再赘述。
43.本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
44.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
45.图1示出了本发明一个实施例的车辆外观检测方法的流程示意图;
46.图2示出了本发明一个实施例的模型框和预测框的示意图;
47.图3示出了本发明一个实施例的文字信息的示意图;
48.图4为本发明实施例提供的一种辆外观检测装置的示意图;
49.图5示出了本发明另一个实施例的车辆外观检测方法的流程示意图。
50.其中,图2至图4中附图标记与部件名称之间的对应关系为:
51.1模型框,2预测框,3文字信息,4车辆外观检测装置,402第一获取模块,404匹配模块,406显示模块,408第二获取模块,409第三获取模块。
具体实施方式
52.为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本技术的实施例及实施例中的特征可以相互组合。
53.在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
54.下面参照图1描述根据本发明一些实施例提出的车辆外观检测方法。
55.根据本发明的一个实施例,本发明提出了一种车辆外观检测方法,用于检测车辆外观部件异常,车辆外观检测方法包括:
56.s101:获取车辆外观照片;
57.s103:将获取的车辆外观照片与预设的标准车辆外形进行匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果。
58.本发明提供的车辆外观检测方法,用于检测车辆外观部件异常,车辆外观检测方法包括:首先获取车辆外观照片和车辆的标准车辆外形,进而将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。本技术中的方案通过在不同的车辆的图片作为车辆的标准车辆外形,因此在对不同的车辆进行检测时,可采用相同的检测方式进行检测,因此无需在对不同车辆进行检测时,对检测系统进行修改,仅需将对应车辆的图片添加成为标准车辆外形,即可对不同车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本技术能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。
59.可选的,在将获取的车辆外观照片与预设的标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:根据车辆外观照片获取目标框,目标框与车辆外观照片中的车辆外观特征对应;获取车辆外观照片的偏离度;根据偏离度和目标框,确定预测框2;将获取
的车辆外观照片与预设的标准车辆外形进行匹配的步骤包括:使得预测框2与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配。
60.在该实施例中,车辆外观照片包括有目标框,获取车辆外观照片的偏离度,通过偏离度和目标框确定预测框2,预测框2相对于目标框具有更大的范围,从而防止在获取车辆外观信息时出现预测框2与标准车辆外形无法对应,导致已经安装了的外观无法和标准车辆外形匹配,进而导致匹配失败的情况。通过偏离度的来提高匹配的精度,能够有效的提高外观的检测效果。
61.可选的,如图2所示,标准车辆外形包括模型框1;在将预测框与标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:确定模型框1与预测框2之间的距离。将预测框2与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果步骤包括:当模型框1与预测框2之间的距离大于第一阈值时,确定外观部件异常,得到异常结果。
62.在该实施例中,标准车辆外形包括模型框1,模型框1表示需要进行检测的外观部件。在将获取的车辆外观照片与预设的标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:确定模型框1与预测框2之间的距离。将标准车辆外形和车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果的步骤包括:当检测到模型框1和预测框2之间的距离,模型框1和预测框2之间的距离大于第一阈值时,说明模型框1和预测框2之间没有匹配成功,即说明当前模型框1中没有安装指定的外观零件,进而获取到该模型框1对应的零件的信息,作为异常结果。通过模型框1和预测框2之间的距离进行匹配的方式是不限制不同车辆和外观的,也就是说本技术中在不对方案进行改进的同时能够对不同的车辆进行检测,仅仅需要将不同车辆的标准车辆外形,也就是标准车辆的图片添加在系统中,即可实现对车辆外观的检测。
63.可选的,标准车辆外形包括模型框;在将预测框与标准车辆外形进行匹配的步骤之前,车辆外观检测方法还包括:当模型框1的数量大于1时,建立x轴,x轴以最左侧预测框2的左上角的点作为原点,向右为正方向;将预测框2进行排序,使得任一预测框2的左上角的点对应一个x轴的数值;获取任一预测框2左上角点的对应x轴的数值为第一数值;获取任一模型框1距离原点最近的一个点所对应的x轴的数值为第二数值;将预测框与标准车辆外形进行匹配,进而实现标准车辆外形与车辆外观照片匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果的步骤还包括:计算第一数值和第二数值的差值,选择差值最小的点,确定第一数值对应的预测框2与第二数值对应的模型框匹配成功,在一个第二数值与任一第一数值的差值均大于其余第二数值与任一第一数值的差值的情况下,确定第二数值对应的模型框与预测框2不匹配,获取异常结果。
64.在该实施例中,将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果的步骤还包括:当模型框1的数量大于1时,也就是相同的模型框1具有多个时,需要基于预测框2建立x轴,以最左侧预测框2的左上角的点作为原点,向右为正方向建立x轴,并将每个预测框2的左上角的点与x轴上的数值进行对应,使得每一个预测框2都具有一个第一数值,同时将模型框1距离原点最近的一个点对应的x轴的数值记作第二数值,因此每个模型框1均具有一个第二数值,以此对每个第二数值与第一数值做差,得出每一个第二数值的最小差值对应的第一数值,进而确定第二数值对应的模
型框1对应的预测框2,并认为模型框1和预测框2匹配成功。而当出现多个模型框1匹配成功的预测框2为同一个时,确定预测框2与每个模型框1之间的差值,取最小差值对应的模型框1作为与预测框2匹配的模型框1,其余的模型框1判定为与预测框2不匹配,即在一个第二数值与任一第一数值的差值均大于其余第二数值与任一第一数值的差值的情况下,确定第二数值对应的模型框与预测框2不匹配,获取异常结果。
65.具体而言:当模型框1数量大于1时,需要首先对预测框2排序,依照预测框2左上角点的x轴数值排序。排序完毕后用所有预测框2的左上角点x轴数值减去模型框1第一个框左上角点x轴数值,得到一组距离值,取距离值最小对应的预测框2为匹配成功。
66.distance=xp

xg;
67.其中,xp为预测框2左上角点x轴数值,xg为模型框1左上角点x轴值;
68.bboxi=min(distance1,distance2

distancek

);
69.bboxi为对应第i个模型框1的匹配预测框2。distancek为第k个预测框2与第i个模型框1左上角点x轴数值得差值。
70.可选的,车辆外观信息还包括:文字信息3;车辆型号的标准车辆外形还包括车辆文字模板;通过车辆文字模板对文字信息3进行检测,判断文字信息3是否正确。
71.在该实施例中,如图3所示,车辆的外观信息还包括文字信息3,如车辆的文字表示等,同时标准车辆外形还包括有车辆文字模板,通过将文字模板和文字信息3进行对照,从而确定文字信息3是否正确,具体而言,在车辆检测系统中添加ocr模型(光学字符识别模型),通过ocr模型对文字信息3进行检测。
72.可选的,将多个车辆外观照片与标准车辆外形未匹配成功的信息的交集作为异常结果。
73.在该实施例中,在确定异常结果时,还需要确定车辆外观照片与标准车辆外形未匹配成功的信息并将多个未匹配成功的外观的交集作为异常结果。这样能有效的避免由于车辆位置不正确而导致的不同的外观信息落在不同的标准车辆外形上。因此只有当所有的外观信息均没有检出的信息,才作为异常结果。这样能够有效的避免单一外观信息不全或者车辆停留位置不合适导致的系统误判。
74.可选的,获取车辆的标准车辆外形的步骤包括:获取车辆型号;根据车辆型号获取车辆的标准车辆外形。
75.在该实施例中,获取车辆的标准车辆外形的步骤包括:获取车辆型号,并根据车辆型号获取车辆的标准车辆外形。通过对多种的车辆标准车辆外形进行存储,在检测时,通过检查到车辆的车辆型号,进而获取对应的车辆标准车辆外形,从而实现对多种不同型号的车辆进行外观的检测,实现了采用单一模型对多种不同型号的车辆进行外观检测。
76.可选的,车辆外观检测方法还包括:根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面进行显示。
77.在该实施例中,车辆外观检测方法还包括:根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面进行显示。在确定异常结果后,能够将异常结果直接显示到显示界面,从而快速的确定出外观部位异常的类型和位置,从而方便直接获取异常的外观部件的类型和位置,并进行返厂修理。
78.如图5所示,车辆外观检测方法包括:
79.s501:获取车辆型号;
80.s502:获取车辆外观照片;
81.s503:根据车辆型号获取车辆的标准车辆外形;
82.s504:将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果;
83.s505:根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面显示。
84.在该实施例中,车辆外观检测方法包括:首先获取车辆型号和车辆外观照片,并根据车辆型号获取车辆的标准车辆外形,进而将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果,根据异常结果获取对应的外观部件的类型和外观部件的位置,并将外观部件的类型和外观部件的位置发送至显示界面显示。本技术中的方案通过在不同的车辆的图片作为车辆的标准车辆外形,因此在对不同的车辆进行检测时,可采用相同的检测方式进行检测,因此无需在对不同车辆进行检测时,对检测系统进行修改,仅需将对应车辆的图片添加成为模板,即可对不同车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本技术能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。
85.具体而言,车辆外观检测方案的具体工作流程如下:
86.1.检测系统实时部署,并使用平台后端对接,当后端平台采集到车头二维码图片或者泵车型号图片时,即开始调用检测算法系统。具体的检测车型信息可以检测车头的二维码信息,也可以通过实时运行已训练好的模型对所有标的进行检测,当检测到有多于3个标的物时,自动调取摄像头拍照并形成数据集给到算法进行检测。
87.2.当系统后端检测到有车型信息信号时,开始启动检测。同时调取左侧2台,右侧2台,尾部1台,头部1台相机的图像数据流,并截取图像形成数据集。
88.3.使用提前训练好的深度学习模型,对第2步中获取的图像进行推理,得到车辆外观标的物的类别以及在图像中的位置信息。
89.4.对第3步中获取的推理结果与对应车型型号的模板进行匹配计算,首先计算车辆整体与模板中的车辆整体之间的偏离度。具体方式为,有序的上下左右平移50个像素单位,每平移一次就计算16个类别的每一个标的物框左上角距离值(模型框与预测框)。取总和距离值最小的平移值,并命名为偏离度。
90.5.基于偏离度校正目标检测模型给出的预测框,并对每一个预测框从左至右排序并编号,之后与模板中同一类别的模型框进行距离计算,符合阈值范围内即是匹配成功,否则匹配失败,并得出异常结果。具体的需要提前对每一种待检测型号的工程车辆外观做待检测标的模板。
91.模板匹配的方法来计算具体异常标的的位置,模板即为提前采集的规范图片。具体实现方法为,提前将图片(大小比如2560
×
1280)划分为若干个小框(大小比如50
×
50),总共可以得出1310个小框,然后将所有待检测的小框全部按照类别与模板进行iou算法对比,阈值超过一定大小即保留该预置框。
92.6.传感器融合:因为工程车辆大多过长,同一侧面需要多台相机才能全部采集所有标的物,因此在最终输出异常结果时,需要对同一侧面所有相机得出的异常结果进行统
一测算。核心算法为交集计算。
93.最终缺失=c1缺失∩c2缺失∩
···
cn缺失;
94.即当所有图像传感器回传的图片都没有检测到某一目标时,才最终输出最终异常结果。
95.7.在检测流程第4步中,针对总质量标签这一类别,增加ocr模型对其进行文本检测,比对数字正确不正确。具体的采用的是百度开源平台提供的paddleocr算法;后续数据集多起来需要重新训练一个自己的ocr模型以提高准确性。具体数字误差,需要提前在模板文件中将待检测机型的总质量信息一起存放,或者也可以在django后端系统调用算法时,在request中读取总质量信息,获取到总质量信息后即与ocr模型检测到的总质量信息进行对比匹配,有错误即返回。
96.其中,截取图像形成数据集使用的目标检测算法,训练时总共包含有16个类别,分别为:'weight_number','leg&multi-way_sign','reflective_tape','plate_box','sign_board','hook_sign','oval_light','liquid_level','ban_fire_sign','circular_reflector','flash_lamp','double_arrow','six_sign','lock',
97.'sany_characters','type_characters'。训练模型时,先采集不少于3000张图片,依据上述16中类别划分对图片进行标注,标注工具为cvat,或者labelme等。将标注好的图片训练目标检测模型。
98.可选的,异常结果包括:车辆外观部件缺失、车辆外观部件安装错误。
99.本发明第二方面提供了一种车辆外观检测装置4,包括第一获取模块402,用于获取车辆外观照片,匹配模块404用于将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。
100.在该实施例中,如图4所示,车辆外观检测装置4包括有第一获取模块402和匹配模块404。其中,第一获取模块402,用于获取车辆外观照片,匹配模块404,用于将标准车辆外形与车辆外观照片进行匹配,当标准车辆外形与车辆外观照片未匹配成功,获取异常结果。通过在不同的车辆的图片作为车辆的标准车辆外形,因此在对不同的车辆进行检测时,可采用相同的检测方式进行检测,因此无需在对不同车辆进行检测时,对检测系统进行修改,仅需将对应车辆的图片添加成为模板,即可对不同车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本技术能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。
101.可选的,第一获取模块402包括多个摄像机,其中需要在车辆的两侧设置多个摄像机,从而对较长的车辆进行检测,同时在车辆的前后个设置至少一个摄像机,用于对车辆的前后进行检测。
102.可选的,车辆外观检测装置4还包括第二获取模块408和第三获取模块409,其中第二获取模块408用于获取车辆型号,第三获取模块409用于根据车辆型号获取车辆的标准车辆外形。
103.在该实施例中,车辆外观检测装置4还包括第二获取模块408和第三获取模块409,其中第二获取模块408用于获取车辆型号,第三获取模块409能够根据车辆型号来获取车辆的标准车辆外形,从而实现对车辆标准车辆外形的调用。通过对多种的车辆标准车辆外形进行存储,在检测时,通过检查到车辆的车辆型号,进而获取对应的车辆标准车辆外形,从
而实现对多种不同型号的车辆进行外观的检测,实现了采用单一模型对多种不同型号的车辆进行外观检测。
104.可选的,车辆外观检测装置4还包括显示模块406,用于显示根据异常结果获取对应的外观部件的类型和外观部件的位置。
105.在该实施例中,车辆外观检测装置4还包括显示模块406,用于显示根据异常结果获取对应外观部件的类型和外观部件的位置。并将外观部件的类型和外观部件的位置发送至显示界面进行显示。在确定异常结果后,能够将异常结果直接显示到显示界面,从而快速的确定出外观部位异常的类型和位置,从而方便直接获取异常的外观部件的类型和位置,并进行返厂修理。
106.本发明的第三方面提供了一种存储介质,其上存储有程序和/或指令,程序和/或指令被处理器执行时实现上述任一实施例中的车辆外观检测方法的步骤。
107.根据本发明的实施例提供的可读存储介质,由于其上存储的程序和/或指令被处理器执行时可实现上述任一实施例中的车辆外观检测方法的步骤,因而具有上述车辆外观检测方法的全部有益技术效果,在此不再赘述。
108.本发明的第四方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例中的车辆外观检测方法的步骤。
109.根据本发明的实施例提供的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例中的车辆外观检测方法的步骤,因而具有上述车辆外观检测方法的全部有益技术效果,在此不再赘述。
110.在本发明中,术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
111.在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
112.以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:
1.一种车辆外观检测方法,其特征在于,用于检测车辆外观部件异常,所述车辆外观检测方法包括:获取车辆外观照片;将获取的所述车辆外观照片与预设的标准车辆外形进行匹配,当所述车辆外观照片与所述标准车辆外形未匹配成功,获取异常结果。2.根据权利要求1所述的车辆外观检测方法,其特征在于,在所述将获取的所述车辆外观照片与预设的标准车辆外形进行匹配的步骤之前,所述的车辆外观检测方法还包括:根据所述车辆外观照片中的车辆外观特征获取与所述车辆外观特征对应的目标框;获取所述车辆外观照片的偏离度;根据所述偏离度和所述目标框,确定预测框;所述将获取的所述车辆外观照片与预设的标准车辆外形进行匹配,当所述车辆外观照片与所述标准车辆外形未匹配成功,获取异常结果的步骤包括:将所述预测框与所述标准车辆外形进行匹配,进而实现所述标准车辆外形与所述车辆外观照片匹配,当所述车辆外观照片与所述标准车辆外形未匹配成功,获取异常结果。3.根据权利要求2所述的车辆外观检测方法,其特征在于,所述标准车辆外形包括模型框;在所述将所述预测框与所述标准车辆外形进行匹配的步骤之前,所述的车辆外观检测方法还包括:确定所述模型框与所述预测框之间的距离;所述将所述预测框与所述标准车辆外形进行匹配,进而实现所述标准车辆外形与所述车辆外观照片匹配,当所述车辆外观照片与所述标准车辆外形未匹配成功,获取异常结果的步骤包括:当所述模型框与所述预测框之间的距离大于第一阈值时,确定所述外观部件异常,得到所述异常结果。4.根据权利要求2所述的车辆外观检测方法,其特征在于,所述标准车辆外形包括模型框;在所述将所述预测框与所述标准车辆外形进行匹配的步骤之前,所述的车辆外观检测方法还包括:当所述模型框的数量大于1时,建立x轴,所述x轴以最左侧预测框左上角的点作为原点,向右为正方向;将所述预测框进行排序,使得任一所述预测框的左上角的点对应一个x轴的数值;获取任一所述预测框左上角点的对应所述x轴的数值为第一数值;获取任一所述模型框距离所述原点最近的一个点所对应的所述x轴的数值为第二数值;将所述预测框与所述标准车辆外形进行匹配,进而实现所述标准车辆外形与所述车辆外观照片匹配,当所述车辆外观照片与所述标准车辆外形未匹配成功,获取异常结果的步骤还包括:计算所述第一数值和所述第二数值的差值,选择所述差值最小的点,确定所述第一数值对应的预测框与所述第二数值对应的模型框匹配成功,在一个所述第二数值与任一所述第一数值的差值均大于其余所述第二数值与任一所述第一数值的差值的情况下,确定所述
第二数值对应的所述模型框与所述预测框不匹配,获取所述异常结果。5.根据权利要求1至4中任一项所述的车辆外观检测方法,其特征在于,所述车辆外观信息还包括:文字信息;所述车辆型号的标准车辆外形还包括车辆文字模板;通过所述车辆文字模板对所述文字信息进行检测,判断所述文字信息是否正确。6.根据权利要求1至4中任一项所述的车辆外观检测方法,其特征在于,所述获取异常结果的步骤还包括:将多个所述车辆外观照片与所述标准车辆外形未匹配成功的信息的交集作为所述异常结果。7.根据权利要求1至4中任一项所述的车辆外观检测方法,其特征在于,所述将获取的所述车辆外观照片与预设的标准车辆外形进行匹配的步骤前,所述车辆外观检测方法还包括:获取车辆型号;根据所述车辆型号获取所述车辆的标准车辆外形。8.根据权利要求1至4中任一项所述的车辆外观检测方法,其特征在于,所述车辆外观检测方法还包括:根据所述异常结果获取对应的所述外观部件的类型和所述外观部件的位置,并将所述外观部件的类型和所述外观部件的位置发送至显示界面进行显示。9.根据权利要求1至4中任一项所述的车辆外观检测方法,其特征在于,所述异常结果包括:车辆外观部件缺失、车辆外观部件安装错误。10.一种车辆外观检测装置,其特征在于,包括:第一获取模块,用于获取车辆外观照片;匹配模块,用于将标准车辆外形与所述车辆外观照片进行匹配,当所述标准车辆外形与所述车辆外观照片未匹配成功,获取异常结果。11.根据权利要求10所述车辆外观检测装置,其特征在于,所述第一获取模块包括:多个摄像装置。12.根据权利要求10所述车辆外观检测装置,其特征在于,还包括:第二获取模块,用于获取车辆型号;第三获取模块,用于根据所述车辆型号获取所述车辆的标准车辆外形。13.根据权利要求10所述车辆外观检测装置,其特征在于,还包括:显示模块,用于显示根据所述异常结果获取对应的所述外观部件的类型和所述外观部件的位置。14.一种存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至9中任一项所述车辆外观检测方法的步骤。15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至9任一项所述车辆外观检测方法的步骤。

技术总结
本发明提供了一种车辆外观检测方法、检测装置、存储介质和电子设备,用于检测车辆外观部件异常,其中车辆外观检测方法包括:首先获取车辆外观照片,进而将车辆外观照片与预设的标准车辆外形进行匹配,当车辆外观照片与标准车辆外形未匹配成功,获取异常结果。仅需将车辆的图片添加成为标准车辆外形,即可对车辆进行检测。同时在确定了外观部件发生了异常后,还能够确定外观部件的类型和外观部件的位置,使得本申请能够实现对外观部件的检测和异常的外观部件的定位。提高了检测效果。提高了检测效果。提高了检测效果。


技术研发人员:谭科 陈康 刘真骥
受保护的技术使用者:三一汽车制造有限公司
技术研发日:2023.07.31
技术公布日:2023/10/11
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐