一种基于数据的协同感知事件回放方法与装置与流程

1.本发明涉及车辆信息处理技术领域，更具体地涉及一种基于数据的协同感知事件回放方法与装置。


背景技术：

2.云控平台能够对网联车在行驶过程中遇到的协同感知事件进行可视化展示，将协同感知事件中涉及到的车辆、行人等交通参与者的行驶轨迹，云控平台下发的协同决策指令进行回放，协同感知事件是指，云控平台通过分析路测感知数据、车端上报数据，对超速、异常低速、变道等交通事件进行识别，生成指导、辅助车辆的协同决策指令，并把异常事件、协同决策指令下发给影响车辆的过程，云控平台能够感知多种交通事件，例如异常低速、超速、超视距碰撞、协同换道、绿波引导等，云控平台会将识别到的感知事件发送给车辆，车端会收到类似“前方车辆异常低速”、“后方车辆超速”等提醒信息，或者“加速”、“减速”、“换道避让”等辅助决策信息。
3.现有技术虽然对车辆轨迹回放有很多实现方式，但是数据来源比较单一，有的只来源于车载监控系统，有的只来源于视频监控系统，当由于天气、通信、系统故障等因素造成数据中断时，车辆轨迹回放将受到影响，而且，现有方案只对车辆轨迹进行了回放，没有对车辆行驶过程中的遇到的特殊事件、异常车辆进行回放，更没有协同决策指令信息的展示，在车辆行驶过程中，需要重点关注的是异常事件发生时的情况，各交通参与者的状态，进而进行深入分析，寻找异常交通事件发生的原因。


技术实现要素：

4.为了克服现有技术的上述缺陷，本发明提供一种基于数据的协同感知事件回放方法与装置，本发明所要解决的技术问题是：现有的车辆轨迹数据来源单一，且只能对车辆轨迹进行回放。
5.一种基于数据的协同感知事件回放方法与装置，包括以下步骤：
6.s1、感知事件采用实时监控装置实时读取云控平台下发的协同感知事件数据；
7.s2、感知事件采用实时监控装置感知云控制平台事件数据后，回放脚本生成装置立即生成回放脚本；
8.s3、回放脚本展示装置前端根据回放脚本，对事件进行回放；
9.其中所述感知事件采用实时监控装置进行数据采集，实时读取感知事件数据，识别出事件开始时间、结束时间、事件车id、影响车id，并将事件中云控平台下发的协同感知信息、协同决策信息进行存储，实时读取云控平台系统下发的协同感知事件，判断事件状态，将事件缓存到内存中，事件id作为唯一标识，更新缓存时间戳信息，并将协同感知信息存储到数据库中。
10.云控平台下发的感知事件进行回放，实时监控感知事件信息，在事件结束时生成回放脚本，并同步播放事件发生过程中的视频信息，能及时、快速地展示事件发生的过程，
对感知事件中的交通参与者、影响事件的交通因素进行回放，感知事件回放功能，对云控平台的场景事件感知的呈现，既能对事件感知功能进行检测，发现事件感知功能是否合理，又能对实际交通事件进行呈现，发现造成交通异常事件的原因。
11.一种基于数据的协同感知事件回放装置，包括回放脚本生成装置与回放脚本展示装置；
12.其中所述回放脚本生成装置,支持多种感知事件的回放，所述回放脚本生成装置根据事件车id、影响车id、事件开始时间、结束时间，在数据库中查询主要参与车辆在事件发生过程中的行驶信息，根据事件车、影响车所行径的道路信息，查询车辆在事件发生时经过的路测设备，到数据库中查询这些设备在事件发生时间段内的感知数据，生成环境车行驶轨迹，根据事件车、影响车所行径道路的摄像头信息，查询在事件发生过程中的视频信息；
13.所述回放脚本生成装置的输入协议包括必填项有事件id、事件类型、时间戳、事件发生的位置信息、事件状态、事件内容，事件内容包括事件车辆id列表、影响车辆id列表、协同决策指令信息，选填项有信号灯信息、道路元素信息；
14.跟据事件车、影响车所行径道路的摄像头信息，查询在事件发生过程中的视频信息，根据事件类型的不同，会增加事件相关的其他数据，比如信号灯数据、动态轨迹规划数据、道路元素数据等，从而提高数据的准确性。
15.所述回放脚本生成装置的输出协议包括回放事件的开始时间、结束时间，交通参与者行驶状态信息，云控平台下发的协同决策指令信息，视频信息，信号灯信息，动态轨迹规划信息。
16.所述交通参与者行驶状态信息主要包括经纬度、速度、航向角、加速度等，将交通参与者行驶状态信息按照时间序列进行排列，在电子地图上打点，生成车辆行驶轨迹，与云控平台系统下发的协同决策指令信息按照时间顺序进行排列，在事件车、影响车上进行展示。
17.所述视频信息按照时间顺序将事件车、影响车行经的摄像头视频信息进行排序，展示事件发生过程中的视频信息。
18.本发明的技术效果和优点：
19.1、本发明设计了一种通用的感知事件回放的方法与装置，对各种类型协同感知事件进行回放，依托于云控平台，接入了多种数据源，主要有路测设备产生的感知数据、车端上报数据、车端感知数据、视频数据、云控系统对异常事件的协同感知数据以及协同决策数据，根据感知事件类型的不同，还包括信号灯数据、动态轨迹规划数据、道路元素数据等，车辆行驶轨迹主要依赖路测感知数据、车辆上报数据，可根据道路的实际情况，配置选取其中的一种或多种数据作为回放轨迹的数据来源，对于有多种数据源接入的情况，会选取一种质量高的数据作为主要数据源，其他数据源对其进行补充；
20.2、本发明通过云控平台下发给车端的协同决策指令，传统的技术手段在异常事件发生时以语音的方式进行播报，在事件结束无法追溯时，感知事件回放功能恰好能解决这一问题回放功能不仅对车辆的行驶轨迹进行回放，还对云控平台对车辆下发的事件协同感知信息、协同决策信息进行回放，根据事件类型的不同，还对信号灯信息、道路元素信息、动态路径规划信息进行回放；
21.3、本发明对云控平台下发的感知事件进行了回放，实时监控感知事件信息，在事件结束时生成回放脚本，通过动画的形式进行展示，并能够同步播放事件发生过程中的视频信息，本发明能及时、快速地展示事件发生的过程，对感知事件中的交通参与者、影响事件的交通因素进行回放，感知事件回放功能，通过对云控平台的场景事件感知的呈现，既能对事件感知功能进行检测，发现事件感知功能是否合理，又能对实际交通事件进行呈现，发现造成交通异常事件的原因。
附图说明
22.图1为本发明的感知事件回放流程图。
23.图2为本发明的感知事件实时监控流程图。
24.图3为本发明的回放脚本生成流程图。
具体实施方式
25.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，另外，在以下的实施方式中记载的各结构的形态只不过是例示，本发明所涉及的基于数据的协同感知事件回放方法与装置并不限定于在以下的实施方式中记载的各结构，在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
26.实施例一，本发明提供了一种基于数据的协同感知事件回放方法与装置，包括以下步骤：
27.s1、感知事件采用实时监控装置实时读取云控平台下发的协同感知事件数据的过程为：
28.感知事件采用实时监控装置进行数据采集，实时读取感知事件数据，识别出事件开始时间、结束时间、事件车id、影响车id，并将事件中云控平台下发的协同感知信息、协同决策信息进行存储，实时读取云控平台系统下发的协同感知事件，判断事件状态，将事件缓存到内存中，事件id作为唯一标识，更新缓存时间戳信息，并将协同感知信息存储到数据库中，若缓存时间超时，则判定事件结束，并将协同感知事件发送给回放脚本生成装置，触发回放脚本的生成。
29.s2、感知事件采用实时监控装置感知云控制平台事件数据后，回放脚本生成装置生成回放脚本的过程为：
30.回放脚本生成装置根据事件车id、影响车id、事件开始时间、结束时间，在数据库中查询主要参与车辆在事件发生过程中的行驶信息，根据事件车、影响车所行径的道路信息，查询车辆在事件发生时经过的路测设备，到数据库中查询这些设备在事件发生时间段内的感知数据，生成环境车行驶轨迹，根据事件车、影响车所行径道路的摄像头信息，查询在事件发生过程中的视频信息
31.s3、回放脚本展示装置前端根据回放脚本，对事件进行回放的过程为；
32.回放脚本展示装置，将车辆行驶位置信息在电子地图上打点，随着时间序列的推进，形成车辆行驶轨迹，将车辆id、车辆行驶速度、航向角等动态展示，将动态规划路径信息在引导车辆的前方展示出来，将信号灯信息，根据信号灯位置信息，在电子地图上相应的路
口展示出来，并动态展现信号灯相位变化信息，能对实际交通事件进行呈现，发现造成交通异常事件的原因。
33.工作原理：
34.a1、选取主车，获取主车在事件发生时间段内的行驶状态信息,根据事件类型不同，选取一辆事件车作为主车，将车辆的行驶状态信息按时间进行排序，生成主车轨迹信息；
35.a2、获取事件发生过程中的协同决策指令信息，去生成回放脚本中的指令信息节点；
36.a3、获取主车以外的其他事件车与行驶车的行驶状态信息，按照时间进行排序，形成行驶轨迹；
37.a4、根据主车行驶的经纬度信息，获取主车路过的路测感知设备，根据主车行经路测感知设备的开始时间、结束时间，获取指定时间范围内的感知结果数据，生成环境车行驶轨迹；
38.a5、整合事件车、影响车、环境车行驶轨迹数据，对数据进行融合处理，去除不同数据来源造成的重影数据，用整合、去重后的车辆行驶数据，去生成回放脚本的交通参与者信息节点；对于有动态规划路径的事件，生成回放脚本里的动态规划路径信息节点；
39.a6、对于受信号灯影响的事件，生成回放脚本里的信号灯相位信息节点；对于有道路元素信息的事件，生成回放脚本里的道路元素信息节点；
40.a7、根据主车的行驶路线，获取路过的摄像头设备，根据主车行经摄像头的开始时间、结束时间，获取指定时间段内的视频数据，生成回放脚本里的视频信息节点；
41.a8、组装完整的回放脚本，存放在数据库中，提供给前端使用，去生成协同感知事件的回放。
42.实施例二
43.根据主车行驶的速度信息，获取主车路过的路测感知设备，根据主车行经路测感知设备的开始时间、结束时间，获取指定时间范围内的感知结果数据，生成环境车行驶轨迹。
44.实施例三
45.根据主车行驶的航向角信息，获取主车路过的路测感知设备，根据主车行经路测感知设备的开始时间、结束时间，获取指定时间范围内的感知结果数据，生成环境车行驶下轨迹。
46.实施例四
47.根据主车行驶的加速度信息，获取主车路过的路测感知设备，根据主车行经路测感知设备的开始时间、结束时间，获取指定时间范围内的感知结果数据，生成环境车行驶轨迹。
48.综上所述，选择主车的经纬度信息获取主车数据时，主车模拟时的动画感更足，更能确切的了解车辆所处地的位置信息，选择主车速度信息获取主车数据时，能够对主车的下一步所行驶的位置进行更加准确的估计，选择主车航向角信息获取主车数据时，能够了解主车所要驶向的位置，选择主车加速度信息获取主车数据时，能够了解主车行驶时，驾驶员的状态信息。
49.最后应说明的几点是：首先，在本技术的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
50.其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
51.最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于数据的协同感知事件回放方法，其特征在于，包括以下步骤：s1、感知事件采用实时监控装置实时读取云控平台下发的协同感知事件数据；s2、感知事件采用实时监控装置感知云控制平台事件数据后，回放脚本生成装置立即生成回放脚本；s3、回放脚本展示装置前端根据回放脚本，对事件进行回放；其中所述感知事件采用实时监控装置进行数据采集，实时读取感知事件数据，识别出事件开始时间、结束时间、事件车id、影响车id，并将事件中云控平台下发的协同感知信息、协同决策信息进行存储，实时读取云控平台系统下发的协同感知事件，判断事件状态，将事件缓存到内存中，事件id作为唯一标识，更新缓存时间戳信息，并将协同感知信息存储到数据库中。2.一种基于数据的协同感知事件回放装置，其特征在于：包括回放脚本生成装置与回放脚本展示装置；其中所述回放脚本生成装置,支持多种感知事件的回放，所述回放脚本生成装置根据事件车id、影响车id、事件开始时间、结束时间，在数据库中查询主要参与车辆在事件发生过程中的行驶信息，根据事件车、影响车所行径的道路信息，查询车辆在事件发生时经过的路测设备，到数据库中查询这些设备在事件发生时间段内的感知数据，生成环境车行驶轨迹，根据事件车、影响车所行径道路的摄像头信息，查询在事件发生过程中的视频信息；所述回放脚本生成装置的输入协议包括必填项有事件id、事件类型、时间戳、事件发生的位置信息、事件状态、事件内容，事件内容包括事件车辆id列表、影响车辆id列表、协同决策指令信息，选填项有信号灯信息、道路元素信息；所述回放脚本生成装置的输出协议包括回放事件的开始时间、结束时间，交通参与者行驶状态信息，云控平台下发的协同决策指令信息，视频信息，信号灯信息，动态轨迹规划信息。3.根据权利要求2所述的一种基于数据的协同感知事件回放装置，其特征在于：所述交通参与者行驶状态信息主要包括经纬度、速度、航向角、加速度等，将交通参与者行驶状态信息按照时间序列进行排列，在电子地图上打点，生成车辆行驶轨迹，与云控平台系统下发的协同决策指令信息按照时间顺序进行排列，在事件车、影响车上进行展示。4.根据权利要求2所述的一种基于数据的协同感知事件回放装置，其特征在于：所述视频信息按照时间顺序将事件车、影响车行经的摄像头视频信息进行排序，展示事件发生过程中的视频信息。5.根据权利要求4所述的一种基于数据的协同感知事件回放装置，其特征在于：所述回放脚本展示装置，将车辆行驶位置信息在电子地图上打点，随着时间序列的推进，形成车辆行驶轨迹，将车辆id、车辆行驶速度、航向角动态展示。

技术总结
本发明涉及车辆信息处理技术领域，且公开了一种基于数据的协同感知事件回放方法与装置，包括以下步骤：S1、感知事件采用实时监控装置实时读取云控平台下发的协同感知事件数据；S2、感知事件采用实时监控装置感知云控制平台事件数据后，回放脚本生成装置立即生成回放脚本；S3、回放脚本展示装置前端根据回放脚本，对事件进行回放；本发明对云控平台下发的感知事件进行了回放，实时监控感知事件信息，在事件结束时生成回放脚本，并能够同步播放事件发生过程中的视频信息，能及时、快速地展示事件发生的过程，对感知事件中的交通参与者、影响事件的交通因素进行回放，又能对实际交通事件进行呈现，发现造成交通异常事件的原因。发现造成交通异常事件的原因。发现造成交通异常事件的原因。


技术研发人员：王丹 田万强 田璇璇
受保护的技术使用者：云控智行科技有限公司
技术研发日：2021.12.31
技术公布日：2023/7/12