交通监测数据处理方法、装置、电子设备及可读存储介质与流程
未命名
07-17
阅读:73
评论:0
1.本发明涉及数据处理技术领域,具体涉及一种交通监测数据处理方法、装置、电子设备及可读存储介质。
背景技术:
2.交通监测数据是为交通运输行业经济运行分析、道路网规划与调整、路网运行监测与评价等方面提供有力支撑的重要数据,通常由设置在道路路口或道路中的交通监测设备采集交通监测数据。由于交通监测设备受到气候、时间和设备自身采集情况的影响,造成交通监测数据与实际情况差异较大,导致交通监测的数据准确率较低。
3.可见,现有技术中存在交通监测数据的准确率较低的问题。
技术实现要素:
4.本发明实施例提供一种交通监测数据处理方法、装置、电子设备及可读存储介质,以解决现有技术中存在交通监测数据的准确率较低的问题。
5.为解决上述问题,本发明是这样实现的:第一方面,本发明实施例提供一种交通监测数据处理方法,包括:获取多个交通监测设备中每个交通监测设备的监测数据;计算所述每个交通监测设备的监测数据中不同数据的数量;基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。
6.第二方面,本发明实施例还提供一种交通监测数据处理装置,包括:获取模块,用于获取多个交通监测设备中每个交通监测设备的监测数据;第一计算模块,用于计算所述每个交通监测设备的监测数据中不同数据的数量;第一处理模块,用于基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;第二处理模块,用于对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。
7.第三方面,本发明实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的交通监测数据处理方法中的步骤。
8.第四方面,本发明实施例还提供一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如上述第一方面所述的交通监测数据处理方法中的步骤。
9.在本发明实施例中,获取多个交通监测设备中的每个交通监测设备的监测数据,计算每个交通监测设备的监测数据中不同数据的数量,再基于每个交通监测设备的不同数据的数量,对多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,从而避免了部分交通监测设备获取到的失真数据对整体交通监测数据的影响;再对第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,由于目标监测数据的数据来源中不包括失真数据,从而提高了监测数据的准确率较低的问题。
附图说明
10.为更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
11.图1是本发明实施例提供的一种交通监测数据处理方法的流程图;图2是本发明实施例提供的交通监测设备空间分布示意图;图3是本发明实施例提供的插值前的中间监控数据示意图;图4是本发明实施例提供的插值流程图;图5是本发明实施例提供的插值前的目标监控数据示意图;图6是本发明实施例提供的栅栏类图;图7是本发明实施例提供的直线类图;图8是本发明实施例提供的交通监测设备分类流程图;图9是本发明实施例提供的8月分类图;图10是本发明实施例提供的9月分类图;图11是本发明实施例提供的10月分类图;图12是本发明实施例提供的插值前的第二类设备的工作日的监控数据分布图;图13是本发明实施例提供的插值后的第二类设备的工作日的监控数据分布图;图14是本发明实施例提供的插值前的第二类设备的休息日的监控数据分布图;图15是本发明实施例提供的插值后的第二类设备的休息日的监控数据分布图;图16是本发明实施例提供的交通监测数据处理装置的结构图;图17是本发明实施例提供的电子设备的结构图。
具体实施方式
12.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
13.请参见图1,图1是本发明实施例提供的一种交通监测数据处理方法的流程图,如图1所示,包括以下步骤:步骤101、获取多个交通监测设备中每个交通监测设备的监测数据。
14.上述监测数据为交通监测数据,监测数据包括多个类型,例如,车辆的速度数据、
车辆的流量数据和车辆的密度数据等。上述交通监测设备为安装在交通道路上的,用于获取一个类型的监测数据的设备。
15.应理解,本技术中需要处理的每个交通检测设备的监测数据为同一类型的监测数据,例如,在计算每个交通监测设备的监测数据中不同数据的数量每个交通监测设备的监测数据中不同数据的数量的情况下,监测数据为车辆的速度数据、车辆的流量数据或车辆的密度数据中的一种。
16.步骤102、计算所述每个交通监测设备的监测数据中不同数据的数量。
17.上述监测数据中不同数据的数量为一个交通监测设备获取的全部监测数据中,数值存在区别的数量。应理解,在交通监测设备获取到的全部监测数据较少,或者,交通监测设备异常导致无法准确获取到监测数据的情况下,会导致监测数据中不同数据的数量较少,在该情况下将交通监测设备的监测数据作为分析的对象将导致数据失真,需要过滤掉该交通监测设备的监测数据,详见后续实施例。
18.例如,计算每个交通监测设备的流量数据中不同数据的数量的过程可以通过如下公式一表示:公式一:s=length(unique(v1、v2、
…
、vn))上述公式一中,v1、v2、
…
、vn为交通监测设备获取到的n个流量数据;unique( )用于删除在n个流量数据中重复的流量数据;length( )用于计算数据的数量。通过unique( )和length( )即可实现计算每个交通监测设备的流量数据中不同数据的数量。
19.应理解,也可以通过其他公式计算每个交通监测设备的流量数据中不同数据的数量,在此不再赘述。
20.步骤103、基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备。
21.上述第一数量设定值为根据经验设置的数量,在不同数据的数量小于或等于第一数量设定值的情况下,认为交通监测设备获取到的监控数据失真;在不同数据的数量大于或等于第一数量设定值的情况下,任务交通监测设备获取到的监控数据可以作为分析对象。
22.上述第一类设备为多个交通监测设备中的一类设备,由于第一类设备的监测数据中不同数据的数量大于第一数量设定值,可以认为第一类设备能准确的获取交通监测数据,在此基础上再对第一类设备的监测数据进行插值优化,避免混入异常设备的失真数据,导致最终的交通监测数据的准确率下降的问题。
23.进一步地,由于在不同时间段的交通监测数据差异较大,且交通监测数据随着时间变化呈现明显的周期性变化,可以针对变化特征对第一类设备进行再次分类,删除第一类设备的监测数据中变化不符合规律的第二类设备的监测数据。
24.示例性的,第二类设备为监测数据中不同数据的数量大于第二数量设定值的设备,或者,为监测数据中不同数据的数量大于第一数量设定值,小于或等于第二数量设定值,且监测数据的标准差大于标准差设定值的设备,第二数量设定值大于第一数量设定值。应理解,监测数据的变化可以通过标准差表示,由于监测数据呈现周期性变化,可以根据历史数据设置标准差设定值,通过标准差设定值作为依据衡量第一类设备的监测数据中符合
变化规律的第二类设备,再对第二类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,使得目标监测数据的原始来源均为第二类设备的监测数据,进一步提高目标监测数据的准确性。
25.具体的,监测数据的标准差std可以通过如下公式二和公式三确认:公式二:
26.公式三:
27.其中,vi为监测数据,u为全部监测的平均值,n为监测数据的数量。
28.例如,第一数量设定值为5,第二数量设定值为20,标准差设定值为6.2,则将全部的监测数据可以被分为如下表三个部分:
29.其中,表格中的设备c为第二类设备,设备a为不符合不同数据的数量s的设备,设备b为不符合标准差设定值的设备,通过删除设备a和设备b的监测数据,仅保留设备c的监测数据,再对设备c的监测数据进行处理,实现进一步地提高监测数据的准确性。
30.步骤104、对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。
31.上述对监测数据进行插值的方法可以采用线性插值法、均值法或其他插值方法,通过对第一类设备中的每个交通监测设备的监测数据进行插值,使得每个交通监测设备的监测数据能更加准确的体现出数据的变化情况。
32.其中,线性插值法可以通过公式四表示,均值法可以通过公式五表示:公式四:vi=vj+(v
k-vj)
×
(i-j)/(k-j)公式五:vi=(vj+vk)/2公式四和公式五中vi为需要进行插值的数据,vj为vi之前相邻的数据,vk为vi之后相邻的数据,i、j、k为时刻值。
33.在本发明实施例中,获取多个交通监测设备中的每个交通监测设备的监测数据,计算每个交通监测设备的监测数据中不同数据的数量,再基于每个交通监测设备的不同数据的数量,对多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,从而避免了部分交通监测设备获取到的失真数据对整体交通监测数据的影响;再对第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,由于目标监测数据的数据来源中不包括失真数据,从而提高了监测数据的准确率较低的问题。
34.在一个实施例中,在所述计算所述每个交通监测设备的监测数据中不同数据的数量之前,所述方法还包括:对所述每个交通监测设备的初始监测数据进行数据清洗,得到所述每个交通监测
设备的中间监测数据;所述计算所述每个交通监测设备的监测数据中不同数据的数量,包括:计算所述每个交通监测设备的中间监测数据中不同数据的数量;所述对所述第一类设备中的每个交通监测设备的初始监测数据进行插值,得到目标监测数据,包括:对所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到目标监测数据,其中,所述第一类设备为中间监测数据中不同数据的数量大于第一数量设定值的设备。
35.上述初始监测数据为交通监测设备获取到的原始数据。应理解,由于交通监测设备在监测过程中可能受到环境的影响,初始监测数据中的个别数据存在异常,将异常的数据进行清洗,得到中间监测数据,中间监测数据在异常数据的位置留空,再对中间监测数据进行插值,得到目标监测数据,能进一步提高目标监测数据的准确性。
36.在一个实施例中,所述对所述每个交通监测设备的初始监测数据进行数据清洗,包括如下至少一项:对所述每个交通监测设备的初始监控数据中存在的错误代码、无效字段、错误时间间隔或重复记录的数据进行删除;对所述每个交通监测设备的初始监控数据中时间不连续的数据进行删除;对所述每个交通监测设备的初始监控数据中,与所述每个交通监测设备的上游监测设备或下游监测设备的在同一时间的初始监控数据比值大于第一比例或小于第二比例的数据进行删除,所述上游监测设备为空间布局上位于交通监测设备上游的设备,所述下游监测设备为空间布局上位于交通监测设备下游的设备。
37.应理解,初始监测数据中的异常数据可以是错误数据,例如错误代码、无效字段、错误时间间隔或重复记录的数据;也可以是数据连续性异常,例如数据在时间上不连续或在空间上不连续。通过对错误数据和连续性异常的数据进行清洗,进而实现提高目标监测数据的准确性。
38.需要说明的是,对每个交通监测设备的初始监控数据中存在的错误代码、无效字段、错误时间间隔或重复记录的数据进行删除之前,需要对初始监控数据的错误数据进行检测。具体的,可以通过交通监测设备上报的数据格式确认错误数据,例如:是否存在错误代码、是否存在数据缺失、各字段是否有效、时间间隔是否正确、是否存在重复记录。
39.另外,对每个交通监测设备的初始监控数据中时间不连续的数据进行删除之前,需要对初始监控数据的时间连续性进行检测。在本技术中通过历史数据确定初始监控数据的时间连续性。具体的,先获取与初始监控数据对应的历史数据,例如,初始监控数据为工作日的流量数据,则获取前一年同一工作日、前几个月同一工作日,或者前几个星期同一工作日的历史流量数据,判断初始监控数据和历史流量数据之间是否差异过大(可以通过初始监控数据和历史流量数据之间的比值确定,也可以通过初始监控数据和历史流量数据之间的差值确定,或者,通过初始监控数据和历史流量数据之间的差值和比值共同确定)。在初始监控数据和历史流量数据之间差异过大的情况下,认为初始监控数据在时间上不连续,需要删除该初始监控数据。
40.上述对每个交通监测设备的初始监控数据中空间不连续是指交通监测设备与空
间上相邻的交通监测设备的监控数据差异较大。例如,如图2所示,交通监测设备d、交通监测设备e和交通监测设备f为连续的3个交通监测设备,在确定交通监测设备e的初始监控数据中空间不连续的数据过程中,交通监测设备d和交通监测设备f相邻,若在同一时间内交通监测设备e的初始监控数据与交通监测设备d或交通监测设备f的初始监控数据相差较大(可以通过相邻交通监测设备的初始监控数据之间的比值确定,也可以通过相邻交通监测设备之间的差值确定,或者,通过相邻交通监测设备之间的差值和比值共同确定),则认为交通监测设备e的初始监控数据在空间上不连续,进而可以删除交通监测设备e的初始监控数据。
41.在一个实施例中,所述每个交通监测设备的初始监测数据包括速度数据、流量数据和密度数据,所述对所述每个交通监测设备的初始监测数据进行数据清洗,还包括:对所述每个交通监测设备的初始监控数据中,速度数据大于速度设定阈值的数据,或者,流量数据大于流量设定阈值的数据,或者,密度数据大于密度设定阈值的数据进行删除。
42.应理解,由于初始监测数据为实际获取到的数据,可以根据交通监测设备所在的实际道路的情况设定速度设定阈值、流量设定阈值和密度设定阈值,再对初始监测数据中不符合交通监测设备所在的实际道路情况的数据删除,进一步提高数据的准确性。
43.进一步地,不同类型的初始监测数据之间具有关联性,可以通过同一时间不同类型的初始监测数据确定监测数据是否可靠,再删除不可靠的监测数据,进一步提高数据的准确性。
44.其中,初始监测数据包括速度数据、流量数据和密度数据,在速度数据不为0,但同一时间的流量数据或密度数据为0的情况下,认为在该时间的初始监测数据不可靠;或者,在流量数据为0,但同一时间的密度数据不为0的情况下,认为在该时间的初始监测数据不可靠。
45.进一步地,初始监测数据还可以包括道路占有率数据,也可以通过道路占有率数据确定流量数据和速度数据是否可靠。例如,如果速度数据为0,流量数据为0,则初始监测数据不可靠;如果道路占有率数据不为0,流量数据为0,速度数据为0,则初始监测数据不可靠;如果道路占有率数据为0,则流量应小于一定的阈值,该阈值可以根据经验设定。
46.在一个实施例中,所述对所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到目标监测数据,包括:计算所述第一类设备中的每个交通监测设备的中间监测数据的第一分位数和第二分位数,所述第一分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第二分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第一分位数小于所述第二分位数;将所述第一类设备中的每个交通监测设备的中间监测数据中小于第一分位数的中间监测数据设为异常值,和/或,将所述第一类设备中的每个交通监测设备的中间监测数据中大于第二分位数的中间监测数据设为异常值;删除所述第一类设备中的每个交通监测设备的中间监测数据中的所述异常值;对删除后的所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到所述目标监测数据。
47.应理解,中间监测数据虽然清洗了部分数据,但由于交通监测设备获取到的多个中间监测数据中,仍存在偏大或偏小的数据,如图3所示,将该部分数据进行删除,并在数据位置重新插值,以避免该部分数据对整体数据大小造成的偏移,进一步提高目标监测数据的准确性。
48.上述第一分位数和第二分位数为根据经验设置的分位数,通过如图4所示的流程第一分位数和第二分位数对中间监测数据进行筛选,得到中间监测数据中的异常值。例如,第一分位数为80分位数(q80),第二分位数为20分位数(q20),q80和q20之间的中间监测数据为正常值,而不在q80和q20之间的中间监测数据为异常值,通过对异常值删除,再在删除后的位置利用均值法或线性插值法进行插值,即可得到如图5所示的中间监测数据,进而实现提高目标监测数据的准确性。
49.在一个实施例中,在所述删除所述第一类设备中的每个交通监测设备的中间监测数据中的所述异常值之前,所述方法还包括:计算所述第一类设备中的每个交通监测设备的中间监测数据与时间相邻的监测数据之间的变化率;在所述变化率大于变化设定阈值的情况下,将所述变化率对应的中间监测数据设为异常值。
50.应理解,中间监测数据在通过第一分位数和第二分位数确定异常值之后,仍有部分数据为噪声数据,噪声数据为某一个数据的变化率远高于其他数据之间的变化率,噪声数据同样会对整体数据造成影响,需要将噪声数据进行插值优化,进一步提高目标检测数据的准确性。
51.其中,每个交通监测设备的中间监测数据与时间相邻的监测数据之间的变化率d通过公式六确定:公式六:d=(v
i-vj)/(i-j)公式六中vi和vj为相邻的监测数据,i、j为相邻的时刻。
52.在一个实施例中,所述方法还包括:计算所述第一类设备中每个交通监测设备的中间监测数据的标准差;基于所述第一类设备中每个交通监测设备的中间监测数据的标准差,将所述第一类设备分为第二类设备和第三类设备;基于所述第二类设备中每个交通监测设备的目标监测数据建立第一曲线变化图;基于所述第三类设备中每个交通监测设备的目标监测数据建立第二曲线变化图;基于第四类设备中每个交通监测设备的中间监测数据建立第三曲线变化图;输出所述第一曲线变化图、所述第二曲线变化图和所述第三曲线变化图;其中,所述第二类设备为中间监测数据中不同数据的数量大于第二数量设定值的设备,或者,为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差大于标准差设定值的设备,所述第二数量设定值大于所述第一数量设定值;所述第三类设备为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差小于或等于所述标准差设定值的设备;
所述第四类设备为中间监测数据中不同数据的数量小于或等于所述第一数量设定值的设备。
53.上述第二类设备、第三类设备和第四类设备由于监测数据存在明显区别,通过对不同类型的交通监测设备进行独立分析,进而确定每个交通监测设备的监控数据情况。
54.例如,第二类设备对应的监测数据分布为图3所示的山型类图(第一曲线变化图),变化明显标准差较大;第三类设备对应的监测数据分布为图6所示的栅栏类图(第二曲线变化图),有一定变化但标准差较小;第四类设备对应的监测数据分布为图7所示的直线类图(第三曲线变化图),无法体现出明显的图形变化。
55.其中,将交通监测设备分为第二类设备、第三类设备和第四类设备的流程如图8所示,通过不同数据的量和标准差实现分类。
56.示例性的,以8月、9月和10月的多个交通监测设备的监测数据进行分类,并对分类后的第二类设备、第三类设备和第四类设备的监测数据进行分析,结果如下:初始样本:共1202个设备参与分类,其中,包含1063个第二类设备、127个第三类设备,12个第四类设备。第二类设备占比88.44%,第三类设备占比10.57%,第四类设备占比0.99%。
57.输出8月、9月和10月中不同类型交通监测设备的分类图:如图9、图10和图11所示,对于第二类设备中,2015年8月包括835个山类,2个栅栏类;2015年9月16日包括817个山类,20个栅栏类;2015年10月4日包括803个山类,26个栅栏类,8个直线类。对于第三类设备,2015年包括228个山类,125个栅栏类;2015年8月包括214个山类,139个栅栏类;2015年10月4日包括215个山类,138个栅栏类。对于第四类设备,2015年8月包括12个直线类,2015年9月16日包括12个直线类,2015年10月4日包括1个山类,11个栅栏类。
58.结果分析:2015年分类准确率为80.87%;2015年9月16日分类准确率为80.53%;2015年10月4日分类准确率为79.20%。
59.从上述分类中,可以看出第二类设备和第三类设备分类容易混淆,第四类设备不仅与第二类设备容易区分,也与第三类设备容易区分。原因是第三类设备是第二类设备的可能性大,第四类设备是第二类设备的可能性较小。
60.进一步的,还可以输出9月16日(工作日)中第二类设备的插值前后的数据变化图,如图12和图13所示;输出10月4日(休息日)中第二类设备的插值前后的数据变化图,如图14和图15所示。通过图12和图13可知监测数据有明显的增加,与工作日上班关联;而图14和图15可知监测数据增加较为平缓,即在休息日更多人员选择休息;且在插值后的曲线更加平滑,能更准确的反映出交通情况。
61.在本发明实施例中,通过标准差对第一类设备进行进一步分类,分为第二类设备和第三类设备,输出第二类设备对应的第一曲线变化图、第三类设备对应的第二曲线变化图,以及第四类设备对应的第三曲线变化图,便于对第二类设备和第三类设备进行分析,监控在不同时间时不同类型的交通监测设备的监控数据分布情况。
62.请参见图16,图16是本发明实施例提供的一种交通监测数据处理装置的结构图,如图16所示,交通监测数据处理装置1600包括:
获取模块1601,用于获取多个交通监测设备中每个交通监测设备的监测数据;第一计算模块1602,用于计算所述每个交通监测设备的监测数据中不同数据的数量;第一处理模块1603,用于基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;第二处理模块1604,用于对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。
63.可选的,在所述第一计算模块1602之前,所述交通监测数据处理装置1600还包括:第三处理模块,用于对所述每个交通监测设备的初始监测数据进行数据清洗,得到所述每个交通监测设备的中间监测数据;所述第一计算模块1602包括:第一计算单元,用于计算所述每个交通监测设备的中间监测数据中不同数据的数量;所述第二处理模块1604包括:第一处理单元,用于对所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到目标监测数据,其中,所述第一类设备为中间监测数据中不同数据的数量大于第一数量设定值的设备。
64.可选的,所述第三处理模块包括如下至少一项:第二处理单元,用于对所述每个交通监测设备的初始监控数据中存在的错误代码、无效字段、错误时间间隔或重复记录的数据进行删除;第三处理单元,用于对所述每个交通监测设备的初始监控数据中时间不连续的数据进行删除;第四处理单元,用于对所述每个交通监测设备的初始监控数据中,与所述每个交通监测设备的上游监测设备或下游监测设备的在同一时间的初始监控数据比值大于第一比例或小于第二比例的数据进行删除,所述上游监测设备为空间布局上位于交通监测设备上游的设备,所述下游监测设备为空间布局上位于交通监测设备下游的设备。
65.可选的,所述每个交通监测设备的初始监测数据包括速度数据、流量数据和密度数据,所述第三处理模块还包括:第五处理单元,用于对所述每个交通监测设备的初始监控数据中,速度数据大于速度设定阈值的数据,或者,流量数据大于流量设定阈值的数据,或者,密度数据大于密度设定阈值的数据进行删除。
66.可选的,所述第一处理单元包括:第一计算子单元,用于计算所述第一类设备中的每个交通监测设备的中间监测数据的第一分位数和第二分位数,所述第一分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第二分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第一分位数小于所述第二分位数;第一处理子单元,用于将所述第一类设备中的每个交通监测设备的中间监测数据中小于第一分位数的中间监测数据设为异常值,和/或,将所述第一类设备中的每个交通监
测设备的中间监测数据中大于第二分位数的中间监测数据设为异常值;第二处理子单元,用于删除所述第一类设备中的每个交通监测设备的中间监测数据中的所述异常值;第三处理子单元,用于对删除后的所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到所述目标监测数据。
67.可选的,在所述第三处理子单元之前,所述交通监测数据处理装置1600还包括:第二计算子单元,用于计算所述第一类设备中的每个交通监测设备的中间监测数据与时间相邻的监测数据之间的变化率;第四处理子单元,用于在所述变化率大于变化设定阈值的情况下,将所述变化率对应的中间监测数据设为异常值。
68.可选的,所述交通监测数据处理装置1600还包括:第二计算模块,用于计算所述第一类设备中每个交通监测设备的中间监测数据的标准差;第四处理模块,用于基于所述第一类设备中每个交通监测设备的中间监测数据的标准差,将所述第一类设备分为第二类设备和第三类设备;第五处理模块,用于基于所述第二类设备中每个交通监测设备的目标监测数据建立第一曲线变化图;第六处理模块,用于基于所述第三类设备中每个交通监测设备的目标监测数据建立第二曲线变化图;第七处理模块,用于基于第四类设备中每个交通监测设备的中间监测数据建立第三曲线变化图;输出模块,用于输出所述第一曲线变化图、所述第二曲线变化图和所述第三曲线变化图;其中,所述第二类设备为中间监测数据中不同数据的数量大于第二数量设定值的设备,或者,为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差大于标准差设定值的设备,所述第二数量设定值大于所述第一数量设定值;所述第三类设备为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差小于或等于所述标准差设定值的设备;所述第四类设备为中间监测数据中不同数据的数量小于或等于所述第一数量设定值的设备。
69.本发明实施例提供的交通监测数据处理装置为能实现上述交通监测数据处理方法的各实施例的各个过程,技术特征一一对应,且能达到相同的技术效果,为避免重复,这里不再赘述。
70.需要说明的是,本发明实施例中的交通监测数据处理装置可以是装置,也可以是电子设备中的部件、集成电路、或芯片。
71.本发明实施例还提供一种电子设备,参见图17,图17是本发明实施提供的一种电子设备的结构示意图,电子设备包括存储器1701、处理器1702和存储在存储器1701上运行
的程序或者指令,该程序或者指令被处理器1702执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
72.其中,处理器1702可以是cpu、asic、fpga或gpu。
73.本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。
74.本发明实施例还提供一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。所述的存储介质,如只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
75.本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,本技术中使用“和/或”表示所连接对象的至少其中之一,例如a和/或b和/或c,表示包含单独a,单独b,单独c,以及a和b都存在,b和c都存在,a和c都存在,以及a、b和c都存在的7种情况。
76.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
77.通过以上的实施方式的描述,本领域的技术人员可以清楚地解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者第二终端设备等)执行本技术各个实施例的方法。
78.上面结合附图对本技术的实施例进行描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
技术特征:
1.一种交通监测数据处理方法,其特征在于,包括:获取多个交通监测设备中每个交通监测设备的监测数据;计算所述每个交通监测设备的监测数据中不同数据的数量;基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。2.根据权利要求1所述的方法,其特征在于,在所述计算所述每个交通监测设备的监测数据中不同数据的数量之前,所述方法还包括:对所述每个交通监测设备的初始监测数据进行数据清洗,得到所述每个交通监测设备的中间监测数据;所述计算所述每个交通监测设备的监测数据中不同数据的数量,包括:计算所述每个交通监测设备的中间监测数据中不同数据的数量;所述对所述第一类设备中的每个交通监测设备的初始监测数据进行插值,得到目标监测数据,包括:对所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到目标监测数据,其中,所述第一类设备为中间监测数据中不同数据的数量大于第一数量设定值的设备。3.根据权利要求2所述的方法,其特征在于,所述对所述每个交通监测设备的初始监测数据进行数据清洗,包括如下至少一项:对所述每个交通监测设备的初始监控数据中存在的错误代码、无效字段、错误时间间隔或重复记录的数据进行删除;对所述每个交通监测设备的初始监控数据中时间不连续的数据进行删除;对所述每个交通监测设备的初始监控数据中,与所述每个交通监测设备的上游监测设备或下游监测设备的在同一时间的初始监控数据比值大于第一比例或小于第二比例的数据进行删除,所述上游监测设备为空间布局上位于交通监测设备上游的设备,所述下游监测设备为空间布局上位于交通监测设备下游的设备。4.根据权利要求3所述的方法,其特征在于,所述每个交通监测设备的初始监测数据包括速度数据、流量数据和密度数据,所述对所述每个交通监测设备的初始监测数据进行数据清洗,还包括:对所述每个交通监测设备的初始监控数据中,速度数据大于速度设定阈值的数据,或者,流量数据大于流量设定阈值的数据,或者,密度数据大于密度设定阈值的数据进行删除。5.根据权利要求2所述的方法,其特征在于,所述对所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到目标监测数据,包括:计算所述第一类设备中的每个交通监测设备的中间监测数据的第一分位数和第二分位数,所述第一分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第二分位数为所述第一类设备中的每个交通监测设备中的一个中间监测数据,所述第一分位数小于所述第二分位数;
将所述第一类设备中的每个交通监测设备的中间监测数据中小于第一分位数的中间监测数据设为异常值,和/或,将所述第一类设备中的每个交通监测设备的中间监测数据中大于第二分位数的中间监测数据设为异常值;删除所述第一类设备中的每个交通监测设备的中间监测数据中的所述异常值;对删除后的所述第一类设备中的每个交通监测设备的中间监测数据进行插值,得到所述目标监测数据。6.根据权利要求5所述的方法,其特征在于,在所述删除所述第一类设备中的每个交通监测设备的中间监测数据中的所述异常值之前,所述方法还包括:计算所述第一类设备中的每个交通监测设备的中间监测数据与时间相邻的监测数据之间的变化率;在所述变化率大于变化设定阈值的情况下,将所述变化率对应的中间监测数据设为异常值。7.根据权利要求2所述的方法,其特征在于,所述方法还包括:计算所述第一类设备中每个交通监测设备的中间监测数据的标准差;基于所述第一类设备中每个交通监测设备的中间监测数据的标准差,将所述第一类设备分为第二类设备和第三类设备;基于所述第二类设备中每个交通监测设备的目标监测数据建立第一曲线变化图;基于所述第三类设备中每个交通监测设备的目标监测数据建立第二曲线变化图;基于第四类设备中每个交通监测设备的中间监测数据建立第三曲线变化图;输出所述第一曲线变化图、所述第二曲线变化图和所述第三曲线变化图;其中,所述第二类设备为中间监测数据中不同数据的数量大于第二数量设定值的设备,或者,为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差大于标准差设定值的设备,所述第二数量设定值大于所述第一数量设定值;所述第三类设备为中间监测数据中不同数据的数量大于所述第一数量设定值,小于或等于所述第二数量设定值,且中间监测数据的标准差小于或等于所述标准差设定值的设备;所述第四类设备为中间监测数据中不同数据的数量小于或等于所述第一数量设定值的设备。8.一种交通监测数据处理装置,其特征在于,包括:获取模块,用于获取多个交通监测设备中每个交通监测设备的监测数据;第一计算模块,用于计算所述每个交通监测设备的监测数据中不同数据的数量;第一处理模块,用于基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;第二处理模块,用于对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中
任一项所述的交通监测数据处理方法中的步骤。10.一种可读存储介质,用于存储程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的交通监测数据处理方法中的步骤。
技术总结
本发明提供一种交通监测数据处理方法、装置、电子设备及可读存储介质,涉及数据处理技术领域,该方法包括:获取多个交通监测设备中每个交通监测设备的监测数据;计算所述每个交通监测设备的监测数据中不同数据的数量;基于所述每个交通监测设备的不同数据的数量,对所述多个交通监测设备的监测数据进行删减,得到第一类设备中每个设备的监测数据,所述第一类设备为监测数据中不同数据的数量大于第一数量设定值的设备;对所述第一类设备中的每个交通监测设备的监测数据进行插值,得到目标监测数据,所述目标监测数据用于表征交通监测设备的监测情况。本发明能提高监测数据的准确性。本发明能提高监测数据的准确性。本发明能提高监测数据的准确性。
技术研发人员:毕可为 胡永立 冯强 高永 云旭
受保护的技术使用者:北京市交通基础设施建设项目管理中心
技术研发日:2023.06.06
技术公布日:2023/7/6
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
