车辆行为确定方法、装置及电子设备与流程

1.本发明涉及检测领域，具体而言，涉及一种车辆行为确定方法、装置及电子设备。


背景技术：

2.目前，道路上的车辆和行人越来越多，为了避免车辆与行人发生碰撞，车辆需要在人行横道前礼让行人，因此，确定车辆是否礼让行人的行为至关重要。但在相关技术中，确定车辆是否礼让行人的行为时，存在确定出来的结果不准确的问题。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种车辆行为确定方法、装置及电子设备，以至少解决相关技术中确定车辆是否未礼让行人的行为时，存在的确定出来的结果不准确的技术问题。
5.根据本发明实施例的一个方面，提供了一种车辆行为确定方法，包括：依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于所述目标人行横道同一侧的第一确定结果，其中，所述多个目标连续帧图片中均设置有目标二维坐标系；在所述第一确定结果为所述目标车辆不始终位于所述目标人行横道同一侧的情况下，分别确定所述多个目标连续帧图片中所述行人对应的二维坐标，以及所述多个目标连续帧图片中所述目标车辆对应的二维坐标；依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，其中，所述目标图片为所述多个目标连续帧图片中，所述行人对应的x坐标与所述目标车辆对应的x坐标的差值小于预定阈值的图片；在所述第二确定结果为所述目标车辆与所述行人存在冲突的情况下，确定所述目标车辆为未礼让行人的车辆。
6.可选地，所述在所述依据所述移动方向，以及目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：分别确定所述多个目标连续帧图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标的坐标差值；从与所述多个目标连续帧图片分别对应的坐标差值中确定出最小差值；在所述最小差值小于或等于目标差值的情况下，依据所述移动方向，以及所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的所述第二确定结果。
7.可选地，所述在所述最小差值小于或等于目标差值的情况下，依据所述移动方向，以及所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的所述第二确定结果之前，还包括：确定与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息；依据与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息，确定所述目标差值。
8.可选地，所述确定与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息，包括：依据目标检测算法，确定初始帧图片中与多个车辆分别对应的车辆
位置信息，其中，所述初始帧图片为所述多个目标连续帧图片中的拍摄时间最早的一个图片；依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及车牌号确定模型，确定与所述多个车辆分别对应的车牌号，并依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及车辆特征确定模型，确定与所述多个车辆分别对应的特征信息，并依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及目标分类算法，确定与所述多个车辆分别对应的类型信息，其中，所述车牌号确定模型依据第一样本数据训练初始卷积循环神经网络crnn模型得到，所述车辆特征确定模型依据第二样本数据训练初始行人重识别reid模型得到；在与所述多个车辆分别对应的车牌号中包括目标车牌号的情况下，从与所述多个车辆分别对应的特征信息中确定出与目标车辆对应的目标特征信息，以及从与所述多个车辆分别对应的类型信息中确定出与所述目标车辆对应的目标类型信息，其中，所述目标车辆为所述多个车辆中，与所述目标车牌号对应的车辆。
9.可选地，还包括：在与所述多个车辆分别对应的车牌号中不包括所述目标车牌号的情况下，确定所述初始帧图片中预定坐标范围内的任意一个车辆为所述目标车辆；从与所述多个车辆分别对应的特征信息中确定出与所述目标车辆对应的目标特征信息，以及从与所述多个车辆分别对应的类型信息中确定出与所述目标车辆对应的目标类型信息。
10.可选地，所述依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：在所述目标二维坐标系的原点为所述多个目标连续帧图片的左上顶点，所述目标二维坐标系的x轴正方向为所述多个目标连续帧图片的正右方，所述目标二维坐标系的y轴正方向为所述多个目标连续帧图片的正下方，所述移动方向为所述行人向y轴的负方向移动的情况下，比较所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到目标比较结果；在所述目标比较结果为所述行人对应的y坐标存在大于或等于所述目标车辆对应的y坐标的情况下，确定所述第二确定结果为所述目标车辆与所述行人存在冲突。
11.可选地，所述依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：在所述目标二维坐标系的原点为所述多个目标连续帧图片的左上顶点，所述目标二维坐标系的x轴正方向为所述多个目标连续帧图片的正右方，所述目标二维坐标系的y轴正方向为所述多个目标连续帧图片的正下方，所述移动方向为所述行人向y轴的正方向移动的情况下，比较所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到目标比较结果；在所述目标比较结果为所述行人对应的y坐标存在小于或等于所述目标车辆对应的y坐标的情况下，确定所述第二确定结果为所述目标车辆与所述行人存在冲突。
12.根据本发明实施例的一个方面，提供了一种车辆行为确定装置，包括：第一确定模块，用于依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于所述目标人行横道同一侧的第一确定结果，其中，所述多个目标连续帧图片中均设置有目标二维坐标系；第二确定模块，用于在所述第一确定结果为所述目标车辆不始终位于所述目标人行横道同一侧的情况下，分别确定所述多个目标连续帧图片中所述行人对应的二维坐标，以及所述多个目标连续帧图片中所述目标车辆对应的二维坐标；获取模块，用于依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，其中，所述目标图片为所述多个目
标连续帧图片中，所述行人对应的x坐标与所述目标车辆对应的x坐标的差值小于预定阈值的图片；第四确定模块，用于在所述第二确定结果为所述目标车辆与所述行人存在冲突的情况下，确定所述目标车辆为未礼让行人的车辆。
13.根据本发明实施例的一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的车辆行为确定方法。
14.根据本发明实施例的一个方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的车辆行为确定方法。
15.在本发明实施例中，通过先依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，然后在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，分别确定多个目标连续帧图片中行人对应的二维坐标，以及多个目标连续帧图片中目标车辆对应的二维坐标，再依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，最后在第二确定结果为目标车辆与行人存在冲突的情况下，确定目标车辆为未礼让行人的车辆。由于依据多个目标连续帧图片，可以准确地确定出的行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，因此，在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，依据行人的移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，确定出的第二确定结果也是准确的，其中，多个目标连续帧图片中均设置有目标二维坐标系，目标图片为多个目标连续帧图片中，行人对应的x坐标与目标车辆对应的x坐标的差值小于预定阈值的图片。由于确定车辆行为的方法是符合实际的，而且确定车辆行为的过程中的判断条件是准确的，因此确定出的车辆是否未礼让行人的结果是准确的、符合实际的，从而实现了准确地确定车辆是否未礼让行人的行为的技术效果，进而解决了相关技术中确定车辆是否未礼让行人的行为时，存在的确定出来的结果不准确的技术问题。
附图说明
16.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
17.图1是根据本发明实施例的车辆行为确定方法的流程图；
18.图2是本发明可选实施方式提供的方法的流程图；
19.图3是根据本发明实施例的车辆行为确定装置的结构框图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
21.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.实施例1
23.根据本发明实施例，提供了一种车辆行为确定方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
24.图1是根据本发明实施例的车辆行为确定方法的流程图，如图1所示，该方法包括如下步骤：
25.步骤s102，依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，其中，多个目标连续帧图片中均设置有目标二维坐标系；
26.在本发明上述步骤s102提供的技术方案中，依据多个目标连续帧图片中行人的y坐标的变化，可以准确地确定出行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果。例如，在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方的情况下，当多个目标连续帧图片中行人的y坐标逐渐增大时，可以确定行人的移动方向为行人向y轴正方向移动，即，行人向多个目标连续帧图片的下方移动；当多个目标连续帧图片中行人的y坐标逐渐减小时，可以确定行人的移动方向为行人向y轴负方向移动，即，行人向多个目标连续帧图片的上方移动。
27.步骤s104，在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，分别确定多个目标连续帧图片中行人对应的二维坐标，以及多个目标连续帧图片中目标车辆对应的二维坐标；
28.在本发明上述步骤s104提供的技术方案中，二维坐标为目标二维坐标系中的坐标，目标二维坐标系的建立方式可以为：目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方。在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，即，在多个目标连续帧图片的拍摄期间，目标车辆进入过目标人行横道的情况下，通过分别确定多个目标连续帧图片中行人对应的二维坐标，以及多个目标连续帧图片中目标车辆对应的二维坐标，可以准确地确定出行人分别在多个目标连续帧图片中的具体位置，并且可以准确地确定出目标车辆分别在多个目标连续帧图片中的具体位置。
29.需要说明的是，在第一确定结果为目标车辆始终位于目标人行横道同一侧的情况下，确定目标车辆不存在不礼让行人的行为。在这种情况下，说明目标车辆在多个目标连续
帧图片的拍摄期间没有进入过人行横道，即，目标车辆与行人不会发生碰撞，可以确定在上述多个目标连续帧图片拍摄的时间过程中目标车辆没有不礼让行人行为的。
30.步骤s106，依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，其中，目标图片为多个目标连续帧图片中，行人对应的x坐标与目标车辆对应的x坐标的差值小于预定阈值的图片；
31.在本发明上述步骤s106提供的技术方案中，由于目标图片为多个目标连续帧图片中，行人对应的x坐标与目标车辆对应的x坐标的差值小于预定阈值的图片，因此目标图片中行人对应的x坐标与目标车辆对应的x坐标的差值较小，即，目标图片中目标车辆可能对行人造成威胁。从目标图片中确定第二确定结果，可以避免行人对应的x坐标与目标车辆对应的x坐标的差值较大对第二确定结果造成影响。可以依据经验以及实际需求，确定预定阈值。依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，可以得到目标车辆与行人是否存在冲突的第二确定结果。通过这种方式，可以避免行人对应的x坐标与目标车辆对应的x坐标的差值对第二确定结果的影响，从而确定出准确的第二确定结果。
32.步骤s108，在第二确定结果为目标车辆与行人存在冲突的情况下，确定目标车辆为未礼让行人的车辆。
33.在本发明上述步骤s108提供的技术方案中，在第二确定结果为目标车辆与行人存在冲突的情况下，例如，在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方的情况下，在行人的移动方向为行人向y轴正方向移动时，目标图片中行人对应的y坐标存在小于目标车辆对应的y坐标的情况，得到第二确定结果为目标车辆与行人存在冲突；在行人的移动方向为行人向y轴正方向移动时，目标图片中行人对应的y坐标始终大于目标车辆对应的y坐标，得到第二确定结果为目标车辆与行人不存在冲突；在行人的移动方向为行人向y轴负方向移动时，目标图片中行人对应的y坐标存在大于目标车辆对应的y坐标的情况，得到第二确定结果为目标车辆与行人存在冲突；在行人的移动方向为行人向y轴负方向移动时，目标图片中行人对应的y坐标始终小于目标车辆对应的y坐标，得到第二确定结果为目标车辆与行人不存在冲突，可以准确地确定目标车辆为未礼让行人的车辆。
34.需要说明的是，在第二确定结果为目标车辆与行人不存在冲突的情况下，确定目标车辆不存在不礼让行人的行为。在这种情况下，说明目标车辆已经行驶过行人应该通过的路径，即，目标车辆与行人不会发生碰撞，可以确定目标车辆已经礼让行人。
35.通过上述步骤s102至上述步骤s108，通过先依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，然后在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，分别确定多个目标连续帧图片中行人对应的二维坐标，以及多个目标连续帧图片中目标车辆对应的二维坐标，再依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，最后在第二确定结果为目标车辆与行人存在冲突的情况下，确定目标车辆为未礼让行人的车辆。其中，多个目标连续帧图片中均设置有目标二维坐标系，目标图片为多个目标连续帧图片中，行人对应的x坐标与目标车辆对应的x坐标的差值小于预定阈值的图片。由于依据多个目标连续帧图片，可以准确地确定出的行人的
移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，因此，在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，依据行人的移动方向，确定出的第二确定结果也是准确的。由于确定车辆行为的方法是符合实际的，而且确定车辆行为的过程中的判断条件是准确的，因此确定出的车辆是否未礼让行人的结果是准确的、符合实际的，从而实现了准确地确定车辆是否未礼让行人的行为的技术效果，进而解决了相关技术中确定车辆是否未礼让行人的行为时，存在的确定出来的结果不准确的技术问题。
36.作为一种可选的实施例，在依据移动方向，以及目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，包括：分别确定多个目标连续帧图片中，行人对应的y坐标与目标车辆对应的y坐标的坐标差值；从与多个目标连续帧图片分别对应的坐标差值中确定出最小差值；在最小差值小于或等于目标差值的情况下，依据移动方向，以及目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果。
37.在该实施例中，通过分别确定多个目标连续帧图片中，行人对应的y坐标与目标车辆对应的y坐标的坐标差值，可以分别确定多个目标连续帧图片中，行人与目标车辆在y方向上的差值。通过从与多个目标连续帧图片分别对应的坐标差值中确定出最小差值，可以准确地确定出在多个目标连续帧图片的拍摄期间，行人与目标车辆在y方向上的最小差值。在最小差值小于或等于目标差值的情况下，即，在行人与目标车辆在y方向上的最小差值小于或等于目标差值的情况下，说明行人与目标车辆在y方向上的距离较近，目标车辆很有可能碰撞到行人。在这种情况下，可以依据移动方向，以及目标图片中，行人对应的y坐标与目标车辆对应的y坐标，不受干扰地得到目标车辆与行人是否存在冲突的准确的第二确定结果。
38.需要说明的是，在最小差值大于目标差值的情况下，确定目标车辆不存在不礼让行人的行为。在行人与目标车辆在y方向上的最小差值大于目标差值的情况下，说明行人与目标车辆在y方向上的距离较远，目标车辆不可能碰撞到行人。在这种情况下，可以确定目标车辆不存在不礼让行人的行为。
39.作为一种可选的实施例，在最小差值小于或等于目标差值的情况下，依据移动方向，以及目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果之前，还包括：确定与目标车辆对应的目标特征信息以及与目标车辆对应的目标类型信息；依据与目标车辆对应的目标特征信息以及与目标车辆对应的目标类型信息，确定目标差值。
40.在该实施例中，目标特征信息可以为目标车辆的外廓尺寸、整备质量、核定载人数等车辆参数，目标特征信息的形式可以为128维数组、256维数组，目标类型信息可以为目标车辆的颜色、用途等。依据与目标车辆对应的目标特征信息中外廓尺寸中的宽度，以及与目标车辆对应的目标类型信息中的用途，可以确定出与目标车辆的特征以及类型相关的、准确的目标差值。需要说明的是，依据与目标车辆对应的目标特征信息以及与目标车辆对应的目标类型信息，确定目标差值时，可以采用多种方式，如，可以采用目标检测算法的方式，例如，可以采用目标目标检测算法的方式，依据目标车辆的目标类型信息，从yolov5算法中确定出对应的处理方法，考虑目标车辆在多个目标连续帧图片中的倾斜角度特征，以及目
标车辆的宽度，确定出准确的目标差值，其中，倾斜角度特征为目标车辆相对于车道的倾斜。
41.作为一种可选的实施例，确定与目标车辆对应的目标特征信息以及与目标车辆对应的目标类型信息，包括：依据目标检测算法，确定初始帧图片中与多个车辆分别对应的车辆位置信息，其中，初始帧图片为多个目标连续帧图片中的拍摄时间最早的一个图片；依据初始帧图片、与多个车辆分别对应的车辆位置信息以及车牌号确定模型，确定与多个车辆分别对应的车牌号，并依据初始帧图片、与多个车辆分别对应的车辆位置信息以及车辆特征确定模型，确定与多个车辆分别对应的特征信息，并依据初始帧图片、与多个车辆分别对应的车辆位置信息以及目标分类算法，确定与多个车辆分别对应的类型信息，其中，车牌号确定模型依据第一样本数据训练初始卷积循环神经网络crnn(convolutional recurrent neural network)模型得到，车辆特征确定模型依据第二样本数据训练初始行人重识别reid(person re-identification)模型得到；在与多个车辆分别对应的车牌号中包括目标车牌号的情况下，从与多个车辆分别对应的特征信息中确定出与目标车辆对应的目标特征信息，以及从与多个车辆分别对应的类型信息中确定出与目标车辆对应的目标类型信息，其中，目标车辆为多个车辆中，与目标车牌号对应的车辆。
42.在该实施例中，由于目标检测算法具有较高的检出率和识别率，因此依据目标检测算法，可以确定初始帧图片中与多个车辆分别对应的准确的车辆位置信息。由于车牌号确定模型依据第一样本数据训练初始卷积循环神经网络crnn模型得到，车辆特征确定模型依据第二样本数据训练初始行人重识别reid模型得到，而且第一样本数据和第二样本数据为大量各种场景的数据，因此车牌号确定模型，以及车辆特征确定模型的准确性较高。依据初始帧图片、与多个车辆分别对应的车辆位置信息以及车牌号确定模型，可以准确地确定与多个车辆分别对应的车牌号。依据初始帧图片、与多个车辆分别对应的车辆位置信息以及车辆特征确定模型，可以准确地确定与多个车辆分别对应的特征信息。
43.需要说明的是，目标分类算法可以为多属性分类算法，依据初始帧图片、与多个车辆分别对应的车辆位置信息以及目标分类算法，可以确定与多个车辆分别对应的准确的类型信息。在与多个车辆分别对应的车牌号中包括目标车牌号的情况下，即，在初始帧图片中的多个车辆中匹配出目标车辆的情况下，可以准确地从与多个车辆分别对应的特征信息中确定出与目标车辆对应的目标特征信息，以及从与多个车辆分别对应的类型信息中确定出与目标车辆对应的目标类型信息，其中，目标车牌号为目标车辆的车牌号。
44.需要说明的是，可以通过大量的各种场景的数据训练yolov5算法，得到目标检测算法，通过这种方式确定出的目标检测算法具有较高的检出率和识别率。
45.还需要说明的是，可以通过目标车牌号，与目标车辆对应的目标特征信息，以及与目标车辆对应的目标类型信息，从剩余图片中确定出目标车辆，其中，剩余图片为多个目标连续帧图片除初始帧图片之外的图片。
46.作为一种可选的实施例，该方法还包括：在与多个车辆分别对应的车牌号中不包括目标车牌号的情况下，确定初始帧图片中预定坐标范围内的任意一个车辆为目标车辆；从与多个车辆分别对应的特征信息中确定出与目标车辆对应的目标特征信息，以及从与多个车辆分别对应的类型信息中确定出与目标车辆对应的目标类型信息。
47.在该实施例中，在与多个车辆分别对应的车牌号中不包括目标车牌号的情况下，
即，在初始帧图片中的多个车辆中无法匹配出目标车辆的情况下，确定初始帧图片中预定坐标范围内的任意一个车辆为目标车辆，例如，可以确定预定坐标范围为初始帧图片中央的区域。通过这种方式，可以确定初始帧图片中多个车辆中的任意一个车辆为目标车辆，可以避免出现无法确定出目标车辆的情况。
48.作为一种可选的实施例，依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，包括：在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方，移动方向为行人向y轴的负方向移动的情况下，比较目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标比较结果；在目标比较结果为行人对应的y坐标存在大于或等于目标车辆对应的y坐标的情况下，确定第二确定结果为目标车辆与行人存在冲突。
49.在该实施例中，在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方，人行横道中的斑马线与x轴平行，移动方向为行人向y轴的负方向移动的情况下，比较目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标比较结果。在目标比较结果为行人对应的y坐标存在大于或等于目标车辆对应的y坐标的情况下，即，在行人与目标车辆可能移动到同一个位置坐标的情况下，确定第二确定结果为目标车辆与行人存在冲突，即，目标车辆与行人存在发生碰撞的可能。
50.作为一种可选的实施例，依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，包括：在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方，移动方向为行人向y轴的正方向移动的情况下，比较目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标比较结果；在目标比较结果为行人对应的y坐标存在小于或等于目标车辆对应的y坐标的情况下，确定第二确定结果为目标车辆与行人存在冲突。
51.在该实施例中，在目标二维坐标系的原点为多个目标连续帧图片的左上顶点，目标二维坐标系的x轴正方向为多个目标连续帧图片的正右方，目标二维坐标系的y轴正方向为多个目标连续帧图片的正下方，人行横道中的斑马线与x轴平行，移动方向为行人向y轴的正方向移动的情况下，比较目标图片中，行人对应的y坐标与目标车辆对应的y坐标，得到目标比较结果；在目标比较结果为行人对应的y坐标存在小于或等于目标车辆对应的y坐标的情况下，即，在行人与目标车辆可能移动到同一个位置坐标的情况下，确定第二确定结果为目标车辆与行人存在冲突，即，目标车辆与行人存在发生碰撞的可能。
52.基于上述实施例及可选实施例，提供了一种可选实施方式，下面具体说明。
53.在相关技术中，确定车辆是否未礼让行人的行为时，存在的确定出来的结果不准确的技术问题。
54.鉴于此，本发明可选实施方式中提供了一种车辆行为确定方法，其能够准确地确定出车辆是否存在未礼让行人的行为。
55.图2是本发明可选实施方式提供的方法的流程图，如图2所示，该方法的流程如下：
56.s1，读取前端抓拍的图片(相当于上文中的多个目标连续帧图片)，标注人行横道
区域辅助信息，其中，前端可以为红绿灯上的摄像头，前端会在一段时间内连续抓拍多张图片；
57.s2，对每张图片进行目标检测，检测出车辆、二轮车、行人的位置(相当于上文中的依据目标检测算法，确定初始帧图片中与多个车辆分别对应的车辆位置信息)，获取车辆的属性特征(相当于上文中的确定与目标车辆对应的目标类型信息)；
58.s3，根据抓拍车牌号匹配目标车辆(相当于上文中的判断与多个车辆分别对应的车牌号中是否包括目标车牌号)，其中，抓拍车牌号为上文中依据初始帧图片、与多个车辆分别对应的车辆位置信息以及车牌号确定模型，确定与多个车辆分别对应的车牌号；
59.s3.1，在与多个车辆分别对应的车牌号中包括目标车牌号的情况下，执行步骤s4；
60.s3.2，在与多个车辆分别对应的车牌号中不包括目标车牌号的情况下，获取特写图(相当于上文中的初始帧图片)中中央区域的车辆为目标车辆(相当于上文中的确定初始帧图片中预定坐标范围内的任意一个车辆为目标车辆)；
61.s4，根据匹配到目标车辆的reid特征(相当于上文中目标特征信息)、多属性特征(相当于上文中的目标类型信息)匹配剩余图片中的目标车辆(相当于上文中的通过与目标车辆对应的目标特征信息，以及与目标车辆对应的目标类型信息，从剩余图片中确定出目标车辆)；
62.s5，通过目标车辆的宽度(相当于上文中的目标特征信息)与类型(相当于上文中的目标类型信息)计算车道宽度(相当于上文中的目标差值)；
63.s6，判断目标车辆是否位于人行道(相当于上文中的目标人行横道)一侧；
64.s6.1，在目标车辆是位于人行横道一侧的情况下，确定目标车辆已经礼让行人，(相当于上文中的在第一确定结果为目标车辆始终位于目标人行横道同一侧的情况下，确定目标车辆已经礼让行人)；
65.s6.2，在目标车辆不是位于人行横道一侧的情况下(相当于上文中的在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下)，执行步骤s7；
66.s7，判断行人与目标车辆的y坐标差值是否大于车道宽度(相当于上文中的判断最小差值与目标差值大小关系)；
67.s7.1，在y坐标差值大于车道宽度的情况下，确定目标车辆已经礼让行人(相当于上文中的在最小差值大于目标差值的情况下，确定目标车辆已经礼让行人)；
68.s7.2，在y坐标差值小于或等于车道宽度的情况下(相当于上文中的在最小差值小于或等于目标差值的情况下)，执行步骤s8；
69.s8，判断行人的行驶方向是否位于目标车辆的一侧(相当于上文中的依据移动方向，以及目标图片中行人对应的y坐标与目标车辆中心点对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果)；
70.s8.1，在判断结果为行人的行驶方向始终位于目标车辆的一侧的情况下(相当于上文中的在第二确定结果为目标车辆与行人不存在冲突的情况下)，确定目标车辆已经礼让行人；
71.s8.2，在判断结果为行人的行驶方向不是始终位于目标车辆的一侧的情况下(相当于上文中的在第二确定结果为目标车辆与行人存在冲突的情况下)，确定目标车辆未礼让行人(相当于上文中的确定目标车辆为未礼让行人的车辆)。
72.通过上述可选实施方式，可以达到至少以下几点有益效果：
73.(1)由于不礼让行人判断方法是完善的、符合实际情况的，因此本技术中的车辆行为确定方法的准确率较高；
74.(2)通过大量各种场景的数据分别训练yolov5算法、crnn模型、reid模型，得到的准确率、效率更高的目标检测算法、车牌号确定模型、车辆特征确定模型；
75.(3)依据目标车牌号，目标特征信息，以及目标类型信息，可以准确地确定多个目标连续帧图片中的目标车辆；
76.(4)依据与目标车辆对应的目标特征信息以及与目标车辆对应的目标类型信息，确定出的目标差值是依据目标车辆的特征和类型确定的，是准确的。
77.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
79.实施例2
80.根据本发明实施例，还提供了一种用于实施上述车辆行为确定方法的装置，图3是根据本发明实施例的车辆行为确定装置的结构框图，如图3所示，该装置包括：第一确定模块302，第二确定模块304，获取模块306和第四确定模块308，下面对该装置进行详细说明。
81.第一确定模块302，用于依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果，其中，多个目标连续帧图片中均设置有目标二维坐标系；第二确定模块304，连接于上述第一确定模块302，用于在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，分别确定多个目标连续帧图片中行人对应的二维坐标，以及多个目标连续帧图片中目标车辆对应的二维坐标；获取模块306，连接于上述第二确定模块304，用于依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果，其中，目标图片为多个目标连续帧图片中，行人对应的x坐标与目标车辆对应的x坐标的差值小于预定阈值的图片；第四确定模块308，连接于上述获取模块306，用于在第二确定结果为目标车辆与行人存在冲突的情况下，确定目标车辆为未礼让行人的车辆。
82.此处需要说明的是，上述第一确定模块302，第二确定模块304，获取模块306和第四确定模块308对应于实施车辆行为确定方法中的步骤s102至步骤s108，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
83.实施例3
84.根据本发明实施例的另外一个方面，还提供了一种电子设备，包括：处理器；用于
存储处理器可执行指令的存储器，其中，处理器被配置为执行指令，以实现上述任一项的车辆行为确定方法。
85.实施例4
86.根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项的车辆行为确定方法。
87.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
88.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
89.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
90.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
91.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
92.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
93.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种车辆行为确定方法，其特征在于，包括：依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于所述目标人行横道同一侧的第一确定结果，其中，所述多个目标连续帧图片中均设置有目标二维坐标系；在所述第一确定结果为所述目标车辆不始终位于所述目标人行横道同一侧的情况下，分别确定所述多个目标连续帧图片中所述行人对应的二维坐标，以及所述多个目标连续帧图片中所述目标车辆对应的二维坐标；依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，其中，所述目标图片为所述多个目标连续帧图片中，所述行人对应的x坐标与所述目标车辆对应的x坐标的差值小于预定阈值的图片；在所述第二确定结果为所述目标车辆与所述行人存在冲突的情况下，确定所述目标车辆为未礼让行人的车辆。2.根据权利要求1所述的方法，其特征在于，所述在所述依据所述移动方向，以及目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：分别确定所述多个目标连续帧图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标的坐标差值；从与所述多个目标连续帧图片分别对应的坐标差值中确定出最小差值；在所述最小差值小于或等于目标差值的情况下，依据所述移动方向，以及所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的所述第二确定结果。3.根据权利要求2所述的方法，其特征在于，所述在所述最小差值小于或等于目标差值的情况下，依据所述移动方向，以及所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的所述第二确定结果之前，还包括：确定与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息；依据与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息，确定所述目标差值。4.根据权利要求3所述的方法，其特征在于，所述确定与所述目标车辆对应的目标特征信息以及与所述目标车辆对应的目标类型信息，包括：依据目标检测算法，确定初始帧图片中与多个车辆分别对应的车辆位置信息，其中，所述初始帧图片为所述多个目标连续帧图片中的拍摄时间最早的一个图片；依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及车牌号确定模型，确定与所述多个车辆分别对应的车牌号，并依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及车辆特征确定模型，确定与所述多个车辆分别对应的特征信息，并依据所述初始帧图片、与多个车辆分别对应的车辆位置信息以及目标分类算法，确定与所述多个车辆分别对应的类型信息，其中，所述车牌号确定模型依据第一样本数据训练初始卷积循环神经网络模型得到，所述车辆特征确定模型依据第二样本数据训练初始行人重识别模型
得到；在与所述多个车辆分别对应的车牌号中包括目标车牌号的情况下，从与所述多个车辆分别对应的特征信息中确定出与目标车辆对应的目标特征信息，以及从与所述多个车辆分别对应的类型信息中确定出与所述目标车辆对应的目标类型信息，其中，所述目标车辆为所述多个车辆中，与所述目标车牌号对应的车辆。5.根据权利要求4所述的方法，其特征在于，还包括：在与所述多个车辆分别对应的车牌号中不包括所述目标车牌号的情况下，确定所述初始帧图片中预定坐标范围内的任意一个车辆为所述目标车辆；从与所述多个车辆分别对应的特征信息中确定出与所述目标车辆对应的目标特征信息，以及从与所述多个车辆分别对应的类型信息中确定出与所述目标车辆对应的目标类型信息。6.根据权利要求1所述的方法，其特征在于，所述依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：在所述目标二维坐标系的原点为所述多个目标连续帧图片的左上顶点，所述目标二维坐标系的x轴正方向为所述多个目标连续帧图片的正右方，所述目标二维坐标系的y轴正方向为所述多个目标连续帧图片的正下方，所述移动方向为所述行人向y轴的负方向移动的情况下，比较所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到目标比较结果；在所述目标比较结果为所述行人对应的y坐标存在大于或等于所述目标车辆对应的y坐标的情况下，确定所述第二确定结果为所述目标车辆与所述行人存在冲突。7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，包括：在所述目标二维坐标系的原点为所述多个目标连续帧图片的左上顶点，所述目标二维坐标系的x轴正方向为所述多个目标连续帧图片的正右方，所述目标二维坐标系的y轴正方向为所述多个目标连续帧图片的正下方，所述移动方向为所述行人向y轴的正方向移动的情况下，比较所述目标图片中，所述行人对应的y坐标与所述目标车辆对应的y坐标，得到目标比较结果；在所述目标比较结果为所述行人对应的y坐标存在小于或等于所述目标车辆对应的y坐标的情况下，确定所述第二确定结果为所述目标车辆与所述行人存在冲突。8.一种车辆行为确定装置，其特征在于，包括：第一确定模块，用于依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于所述目标人行横道同一侧的第一确定结果，其中，所述多个目标连续帧图片中均设置有目标二维坐标系；第二确定模块，用于在所述第一确定结果为所述目标车辆不始终位于所述目标人行横道同一侧的情况下，分别确定所述多个目标连续帧图片中所述行人对应的二维坐标，以及所述多个目标连续帧图片中所述目标车辆对应的二维坐标；获取模块，用于依据所述移动方向，以及目标图片中所述行人对应的y坐标与所述目标
车辆对应的y坐标，得到所述目标车辆与所述行人是否存在冲突的第二确定结果，其中，所述目标图片为所述多个目标连续帧图片中，所述行人对应的x坐标与所述目标车辆对应的x坐标的差值小于预定阈值的图片；第四确定模块，用于在所述第二确定结果为所述目标车辆与所述行人存在冲突的情况下，确定所述目标车辆为未礼让行人的车辆。9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的车辆行为确定方法。10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的车辆行为确定方法。

技术总结
本发明公开了一种车辆行为确定方法、装置及电子设备。其中，该方法包括：依据多个目标连续帧图片，确定行人的移动方向，以及目标车辆是否始终位于目标人行横道同一侧的第一确定结果；在第一确定结果为目标车辆不始终位于目标人行横道同一侧的情况下，分别确定行人对应的二维坐标，以及目标车辆对应的二维坐标；依据移动方向，以及目标图片中行人对应的y坐标与目标车辆对应的y坐标，得到目标车辆与行人是否存在冲突的第二确定结果；在第二确定结果为目标车辆与行人存在冲突的情况下，确定目标车辆为未礼让行人的车辆。本发明解决了相关技术中确定车辆是否未礼让行人的行为时，存在的确定出来的结果不准确的技术问题。确定出来的结果不准确的技术问题。确定出来的结果不准确的技术问题。


技术研发人员：刘圭圭 李凡平 石柱国
受保护的技术使用者：青岛以萨数据技术有限公司
技术研发日：2023.03.08
技术公布日：2023/5/31