一种基于多车视角融合的全景感知方法与流程

1.本发明属于交通系统技术领域，更具体地说，尤其涉及一种基于多车视角融合的全景感知方法。


背景技术：

2.智能交通系统作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。广义上而言，智能交通系统包含交通信息采集系统、信息处理分析系统和信息发布系统。其中，交通信息采集系统作为智能交通系统的数据来源和基础设施，其核心的底层感知技术，决定了智能交通系统的公共服务能力的强弱。车辆在道路行驶过程中，多车共存的场景出现较为频繁，驾驶员自身观察能力有限，且在车内的视角受限，对于较远距离风险难以及时做出合理避险或绕行措施，从而可能导致车祸、堵车等事件发生。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于多车视角融合的全景感知方法。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于多车视角融合的全景感知方法，具体包括如下步骤：
6.s1、数据感知：每辆车都安装车端感知器，并在预设帧实时发送本车数据，包括车辆所处位置、航向角、速度，路端感知器收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合；
7.s2、车端路段通信：车端感知器、路端感知器不仅可以提供本身的相关信息，还用于检测附近范围内物体有关信息，路端感知器检测到处于当前时间戳范围内的若干物体相关信息后生成json格式数据，路端感知器获取到所处范围所有物体信息后与多车端数据融合；
8.s3、车端数据整合：为了降低后续融合阶段算法的时间复杂度，在进行融合之前，对预处理后的数据进行了排序以及去重操作，排序是根据车辆所在维度对车辆数据进行排序，重阶是根据车辆的位置信息、航行状况对数据集合中的重复的数据进行删除操作，降低融合阶段处理的数据量；
9.s4、地图的可视化显示：在得到融合数据之后，可视化通过静态、交互或动画方式可视化软件系统及其相关信息的信息，相关信息包括其源代码的体系结构或路端运行时行为的度量，采用2d或3d的结构，执行行为的视觉表示；
10.s5、后端数据处理：按时间戳接收拼接后的数据，将数据中的经纬度转换为坐标系，从gps得到经纬度数据；
11.s6、地图场景建模：以相应node节点的经纬度坐标为基准，结合前端可视化界面的要求和后端坐标转换算法，制作出符合要求的地图；
12.s7、前端可视化：通过架设在路端的路侧单元获取道路和车辆信息，后台完成车辆感知和数据融合后，在在车内的前端页面展示实时的可视化地图界面。
13.与现有技术相比，本发明的有益效果是：本发明提供的将多车视角融合后就可以大大扩展驾驶员视野，使当前车辆对远处的交通状况提前感知，从而达到提前预防交通事故或拥堵事件，有效提高驾驶交通的安全性以及通行效率。
具体实施方式
14.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
15.一种基于多车视角融合的全景感知方法，具体包括如下步骤：
16.s1、数据感知：每辆车都安装车端感知器，并在预设帧实时发送本车数据，包括车辆所处位置、航向角、速度，路端感知器(rus)收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合；简单来说，就是把不同车辆所处位置及状态都发送给路端感知器，路端感知器(rus)将所有数据具体化后重现在当前场景的前端可视化地图上再返回至车端显示，路端之间也通过通信进行数据共享。从而车辆视野得到进一步扩展，可以对前后一定距离的情况有详细的了解。
17.s2、车端路段通信：车端感知器、路端感知器不仅可以提供本身的相关信息，还用于检测附近范围内物体有关信息，路端感知器检测到处于当前时间戳范围内的若干物体相关信息后生成json格式数据，路端感知器获取到所处范围所有物体信息后与多车端数据融合，路端感知器配置了物体识别等模块可以对物体完成分类并感知物体状态信息，所述路端感知器之间通过通信进行数据共享；
18.路端输入数据中包括：消息标识；发送者id；设备类型；时间戳；包含经纬度的地理坐标；交通参与者列表，是该设备识别到的其他物体的信息，包含信息如下：参与者类型，信号元，时间戳，包含经纬度的位置信息，位置信息的置信度，速度，角度，大小等信息。
19.车端数据格式框架与路端数据格式框架保持一致，主要包括信号id，信号时间戳，信号纬度，信号经度，信号航向角，信号速度；
20.对于网络层传输得到的数据进行必要的预处理工作，大致实现如下：对网络层数据中的车端数据与路端数据进行分离操作，将其存放在不同的列表中，然后分别对数据进行合适的封装，保留其中对后续融合操作有用的部分。在具体的项目中，我们通过纬度、经度、目标类型等数据信息对不同终端设备采集到的数据进融合；
21.s3、车端数据整合：为了降低后续融合阶段算法的时间复杂度，在进行融合之前，对预处理后的数据进行了排序以及去重操作，排序是根据车辆所在维度对车辆数据进行排序，去重是根据车辆的位置信息、航行状况对数据集合中的重复的数据进行删除操作，降低融合阶段处理的数据量；
22.对车端和路端数据进行融合的具体操作如下：通过一个函数对某一条具体的车端数据和路端数据进行判断，如果判断为同一目标对象，则将其在车载单元和路侧设备中所感知到的数据进行融合并删除，生成一个对于该对象的唯一数据表示；如果判断其不是同一目标对象，则继续其他数据的对比。其中的判断逻辑如下：以车端或路端的一个数据目标
1为中心划定一个范围，当另一个数据目标2所在位置超出这个范围是直接判定二者并非同一目标，当数据目标2没有超出这个范围时，则继续基于两个数据中的时间差、速度变化、航向角变化等进行比较，在上述数据的差值处于某一阈值内时，认为目标1与目标2表示的是同一目标，在完成数据融合后将数据发送到系统的前端，进行目标的可视化展示。
23.可视化过程包括整合智能化车载监控系统产生大量的场景车辆运行数据和路面路况数据，通过后台应用可视化系统将流式数据进行结构化并结合现有的路侧监测数据，构建单点到区间再到路段，最后是路网的交通运行状态知识图谱，涵盖车辆平均速度、行驶方向等多维度的交通运行参数。创建可视化平台可以满足开发人员和用户的需求，可以通过网页或android等平台以标准可视化格式查看数据，从而做到简化协作、知识理解、深入分析以及整体数据质量的信任。根据可视化的结果，可以直观地探索自动驾驶传感器数据、预测路径、跟踪对象以及速度等状态信息，对于分类过程非常有效，提高开发人员的效率，长期来看可以为每个人提供更安全、更清洁、更高效的交通解决方案。
24.s4、地图的可视化显示：在得到融合数据之后，可视化通过静态、交互或动画方式可视化软件系统及其相关信息的信息，相关信息包括其源代码的体系结构或路端运行时行为的度量，采用2d或3d的结构，执行行为的视觉表示；
25.可视化过程包括整合智能化车载监控系统产生大量的场景车辆运行数据和路面路况数据，通过后台应用可视化系统将流式数据进行结构化并结合现有的路侧监测数据，构建单点到区间再到路段，最后是路网的交通运行状态知识图谱，涵盖车辆平均速度、行驶方向等多维度的交通运行参数。创建可视化平台可以满足开发人员和用户的需求，可以通过网页或android等平台以标准可视化格式查看数据，从而做到简化协作、知识理解、深入分析以及整体数据质量的信任。根据可视化的结果，可以直观地探索自动驾驶传感器数据、预测路径、跟踪对象以及速度等状态信息，对于分类过程非常有效，提高开发人员的效率，长期来看可以为每个人提供更安全、更清洁、更高效的交通解决方案。
26.s5、后端数据处理：按时间戳接收拼接后的数据，将数据中的经纬度转换为坐标系，从gps得到经纬度数据；
27.s6、地图场景建模：以相应node节点的经纬度坐标为基准，结合前端可视化界面的要求和后端坐标转换算法，制作出符合要求的地图；
28.s7、前端可视化：通过架设在路端的路侧单元获取道路和车辆信息，后台完成车辆感知和数据融合后，在在车内的前端页面展示实时的可视化地图界面。
29.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多车视角融合的全景感知方法，其特征在于，具体包括如下步骤：s1、数据感知：每辆车都安装车端感知器，并在预设帧实时发送本车数据，本车数据包括车辆所处位置、航向角、速度，路端感知器收到附近一定范围内若干车端发送的数据后根据预设时间戳范围进行多车视角融合；s2、车端路段通信：车端感知器、路端感知器不仅可以提供本身的相关信息，还用于检测附近范围内物体有关信息，路端感知器检测到处于当前时间戳范围内的若干物体相关信息后生成json格式数据，路端感知器获取到所处范围所有物体信息后与多车端数据融合；s3、车端数据整合：为了降低后续融合阶段算法的时间复杂度，在进行融合之前，对预处理后的数据进行了排序以及去重操作，排序是根据车辆所在维度对车辆数据进行排序，去重是根据车辆的位置信息、航行状况对数据集合中的重复的数据进行删除操作，降低融合阶段处理的数据量；s4、地图的可视化显示：在得到融合数据之后，可视化通过静态、交互或动画方式可视化软件系统及其相关信息，相关信息包括其源代码的体系结构或路端运行时行为的度量，采用2d或3d的结构，执行行为的视觉表示；s5、后端数据处理：按时间戳接收拼接后的数据，将数据中的经纬度转换为坐标系，从gps得到经纬度数据；s6、地图场景建模：以相应node节点的经纬度坐标为基准，结合前端可视化界面的要求和后端坐标转换算法，制作出符合要求的地图；s7、前端可视化：通过架设在路端的路侧单元获取道路和车辆信息，后台完成车辆感知和数据融合后，在在车内的前端页面展示实时的可视化地图界面。2.根据权利要求1所述的一种基于多车视角融合的全景感知方法，其特征在于：s2中路端感知器配置了物体识别等模块可以对物体完成分类并感知物体状态信息。3.根据权利要求1所述的一种基于多车视角融合的全景感知方法，其特征在于：所述路端感知器之间通过通信进行数据共享。

技术总结
本发明公开了一种基于多车视角融合的全景感知方法，步骤如下：S1、数据感知：每辆车安装车端感知器，发送本车数据，路端感知器收到附近一定范围内若干车端发送的数据后进行多车视角融合；S2、车端路段通信：车端感知器、路端感知器提供本身的相关信息、检测附近范围内物体有关信息；S3、车端数据整合：在进行融合阶段算法融合之前，对预处理后的数据进行排序以及去重操作；S4、地图的可视化显示：在得到融合数据之后，可视化通过静态、交互或动画方式可视化软件系统及其相关信息的信息；S5、后端数据处理；S6、地图场景建模；S7、前端可视化。将多车视角融合后可以扩展驾驶员视野，提前感知远处状况，从而达到提前预防交通事故或拥堵事件。件。


技术研发人员：宋梁 李增文 陈昌学 牛雷 张冠华 陶鹏 王代毅
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2022.11.16
技术公布日：2023/5/14