一种基于叠视窗约束的探测识别方法与装置

1.本发明涉及多源数据信息处理、智能信息处理技术领域，特别涉及一种基于叠视窗约束的探测识别方法与装置。


背景技术：

2.在自动驾驶的具体应用中，往往需要对车辆追尾、路段拥堵、超速行驶、障碍物识别等不同种类交通特征进行提取分析。但是交通数据源数据量巨大，且冗余信息和特征过多，如不能有效对原始数据进行高效特征分类和数据压缩提取，将会导致探测、识别、分类、统计分析等计算量巨大且效率低。


技术实现要素：

3.本发明提供了一种基于叠视窗约束的探测识别方法与装置，以解决目前根据交通数据源进行探测、识别、分类、统计分析等计算量巨大且效率低的问题。
4.为解决上述技术问题，本发明提供了如下技术方案：
5.一方面，本发明提供了一种基于叠视窗约束的探测识别方法，包括：
6.获取多源交通数据；
7.提取所述多源交通数据的特征数据，构建交通特征数据集；
8.对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；
9.将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；
10.将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。
11.进一步地，所述多源交通数据为利用不同探测体制对相同或不同交通信息进行描述所获取的多源视觉成像的交通数据；其中，所述探测体制包括高光谱、多光谱、可见光、红外和激光雷达中的任意一种或多种的组合。
12.进一步地，提取多源交通数据的特征数据，构建交通特征数据集，包括：
13.提取所述多源交通数据的特征数据，并进行交通特征描述，构建包含预设类型交通特征的交通特征数据集；其中，所述预设类型交通特征包括wadt、地点车速、道路网密度以及车运周转量中的一种或多种的组合。
14.进一步地，所述约束条件的设置包括规定设置相应特征种类、数量和数据集来源属性。
15.进一步地，所述对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗，包括：
16.采用多种预设的网络模型，利用网络模型本身的层结构和无监督自学习的特征集合增加获取视窗的多样性。
17.进一步地，所述将不同约束条件对应的视窗进行组合，构建叠视窗，包括：
18.对不同视窗之间，以及视窗与特征之间进行组合，构建叠视窗。
19.进一步地，所述将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别，包括：
20.设多源交通数据分别为s1,s2,
…
,sn，不同数据源所对应的特征种类分别记作x
1-1
,
…
,x
i-j
；x
i-j
代表第i个数据源si的特征集中的第j个特征种类，构建不同约束条件对不同或相同数据源的相同或不同特征种类x
i-j
进行约束筛除，不同约束条件通过不同叠视函数得到相应的综合特征分类fn，将实际采集的交通数据放入所构建的深度神经网络中，与fn融合学习，得到最终探测识别结果。
21.另一方面，本发明还提供了一种基于叠视窗约束的探测识别装置，包括：
22.数据获取模块，用于获取多源交通数据；
23.交通特征数据集构建模块，用于提取所述数据获取模块所获取的多源交通数据的特征数据，构建交通特征数据集；
24.视窗构建模块，用于对所述交通特征数据集构建模块所构建的交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；
25.视窗组合模块，用于将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；
26.探测与识别模块，用于将所述视窗组合模块所得到的综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用所述深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。
27.进一步地，所述多源交通数据为利用不同探测体制对相同或不同交通信息进行描述所获取的多源视觉成像的交通数据；其中，所述探测体制包括高光谱、多光谱、可见光、红外和激光雷达中的任意一种或多种的组合；
28.所述交通特征数据集构建模块具体用于：
29.提取所述多源交通数据的特征数据，并进行交通特征描述，构建包含预设类型交通特征的交通特征数据集；其中，所述预设类型交通特征包括wadt、地点车速、道路网密度以及车运周转量中的一种或多种的组合；
30.所述约束条件的设置包括规定设置相应特征种类、数量和数据集来源属性；
31.所述视窗构建模块具体用于：采用多种预设的网络模型，利用网络模型本身的层结构和无监督自学习的特征集合增加获取视窗的多样性；
32.所述视窗组合模块具体用于：
33.对不同视窗之间，以及视窗与特征之间进行组合，构建叠视窗。
34.进一步地，所述探测与识别模块具体用于：
35.设多源交通数据分别为s1,s2,
…
,sn，不同数据源所对应的特征种类分别记作x
1-1
,
…
,x
i-j
；x
i-j
代表第i个数据源si的特征集中的第j个特征种类，构建不同约束条件对不同或相同数据源的相同或不同特征种类x
i-j
进行约束筛除，不同约束条件通过不同叠视函数得到相应的综合特征分类fn，将实际采集的交通数据放入所构建的深度神经网络中，与fn融合学习，得到最终探测识别结果。
36.再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
37.又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
38.本发明提供的技术方案带来的有益效果至少包括：
39.本发明通过获取多源交通数据；提取所述多源交通数据的特征数据，构建交通特征数据集；对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。从而将叠视窗约束应用在深度学习的特征提取中，提高了其特征学习的可解释性。进而能够在处理信息量巨大的多源交通数据时，大大压缩数据量，并且对不同种类交通特征的后续处理及统计分析提供了便利的先决条件。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明实施例提供的基于叠视窗约束的探测识别方法的流程示意图；
42.图2是本发明实施例提供的基于叠视窗约束的探测识别方法的原理图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
44.第一实施例
45.本实施例提供了一种基于叠视窗约束的探测识别方法，该方法可以由电子设备实现，该方法的执行流程如图1所示，包括以下步骤：
46.s1，获取多源交通数据；
47.具体地，在本实施例中，如图2所示，多源交通数据通过对相同或不同交通信息利用高光谱、多光谱、可见光、红外、激光雷达等不同探测体制进行描述和获取。而且，需要说明的是，本实施例仅仅是以图像数据源为例，解释说明本发明的基于叠视窗约束的探测识别方法，但本实施例并不限定数据的具体类型，此方法用于其他种类数据源时依然在本说明书权利要求保护范围内。
48.s2，提取多源交通数据的特征数据，构建交通特征数据集；
49.具体地，本实施例中，上述s2的实现过程为：提取获取的多源视觉成像交通数据的特征数据并进行交通特征描述，构建如wadt、地点车速、道路网密度及车运周转量等交通特征的特征数据集，完成不同类型的目标多维特征描述。
50.s3，对交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；
51.具体地，在本实施例中，上述s3的实现过程如下：
52.对上述交通特征数据集中感兴趣的特征设计构建条件约束，规定设置相应特征种类、数量、数据集来源等属性，筛除冗余特征，保留特定特征组合；其中，不同的约束条件对应构建不同的视窗，透过视窗只能看到符合相应约束条件的特征种类集合，特征集中的其余特征种类被筛除。
53.而且，需要说明的是，由于交通数据复杂度高，信息量大，设计构建约束条件时，简单的构建线性、非线性的条件约束难以全面涵盖各种道路交通信息，对此，本实施例拟采用cnn、transformer等多种网络模型，利用模型本身的层结构和无监督自学习的特征集合增加获取视窗的多样性，如transformer模型中的self-attention机制、cnn模型中卷积层等，极大增加视窗多样性。
54.s4，将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；
55.具体地，在本实施例中，上述s4的实现过程为：对不同视窗之间，以及视窗与特征之间进行组合，确保叠视窗的输出能够反映具有可解释物理含义的综合特征，并对其进行命名，以便于后续的实际应用；其中，组合方法不限。
56.此理念可应用于深度学习的可解释性问题上，上述
‘
视窗’理念可对应卷积过程中所提取出的不同特征，根据视窗的不同线性和非线性组合判断对最终特征提取结果的影响，从而对学习过程中的特征进行解释，即哪些特征对最终结果具有影响，哪些特征对最终结果无用，可设计参数量化对不同特征对结果影响程度，以达到解释模型的作用。
57.s5，将综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，进而根据实际交通数据完成对不同交通事件的快速、准确探测与识别。
58.具体地，在本实施例中，上述s5的实现过程如下：
59.对实采交通数据，将s4所得综合特征与现有网络模型如cnn、transformer、rnn等相融合，例如，将组合综合特征p、q、x分别放入cnn网络中第k、l、m层卷积层中进行融合学习，构造具有可解释性的深度神经网络，对机动车超速行驶、障碍物、车辆追尾等不同交通事件进行快速、准确探测与识别；
60.设多源交通数据分别为s1,s2,
…
,sn，其不同数据源所对应的特征种类分别记作x
1-1
,...,x
i-j
，i,j分别代表第i个数据源的特征集中的第j个特征种类，构建不同约束条件s.tκ，对不同或相同数据源的相同或不同特征种类x
i-j
进行约束筛除，不同约束条件通过不同叠视函数ξ(
·
)得到相应的综合特征分类fn，将实采交通数据放入所构建网络中，与fn融合学习，得到最终探测识别结果resultα：
61.s.tκ＝f(
…
,x
i-j
)
62.fn＝ξ(
…
,s.tκ)
63.resultα＝net(
…
,fn)
64.综上，本实施例提供了一种基于叠视窗约束的探测识别方法，该方法通过获取多源交通数据；提取所述多源交通数据的特征数据，构建交通特征数据集；对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；将不同
约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。从而将叠视窗约束应用在深度学习的特征提取中，提高了其特征学习的可解释性。进而能够在处理信息量巨大的多源交通数据时，大大压缩数据量，并且对不同种类交通特征的后续处理及统计分析提供了便利的先决条件。
65.第二实施例
66.本实施例提供了一种基于叠视窗约束的探测识别转置，包括以下模块：
67.数据获取模块，用于获取多源交通数据；
68.交通特征数据集构建模块，用于提取所述数据获取模块所获取的多源交通数据的特征数据，构建交通特征数据集；
69.视窗构建模块，用于对所述交通特征数据集构建模块所构建的交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；
70.视窗组合模块，用于将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；
71.探测与识别模块，用于将所述视窗组合模块所得到的综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用所述深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。
72.本实施例的基于叠视窗约束的探测识别装置与上述第一实施例的基于叠视窗约束的探测识别方法相对应；其中，本实施例的基于叠视窗约束的探测识别装置中的各功能模块所实现的功能与上述第一实施例的基于叠视窗约束的探测识别方法中的各流程步骤一一对应；故，在此不再赘述。
73.第三实施例
74.本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
75.该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
76.第四实施例
77.本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
78.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
79.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序
产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
80.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
81.还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
82.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

技术特征：
1.一种基于叠视窗约束的探测识别方法，其特征在于，包括：获取多源交通数据；提取所述多源交通数据的特征数据，构建交通特征数据集；对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。2.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述多源交通数据为利用不同探测体制对相同或不同交通信息进行描述所获取的多源视觉成像的交通数据；其中，所述探测体制包括高光谱、多光谱、可见光、红外和激光雷达中的任意一种或多种的组合。3.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述提取所述多源交通数据的特征数据，构建交通特征数据集，包括：提取所述多源交通数据的特征数据，并进行交通特征描述，构建包含预设类型交通特征的交通特征数据集；其中，所述预设类型交通特征包括wadt、地点车速、道路网密度以及车运周转量中的一种或多种的组合。4.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述约束条件的设置包括规定设置相应特征种类、数量和数据集来源属性。5.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述对所述交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗，包括：采用多种预设的网络模型，利用网络模型本身的层结构和无监督自学习的特征集合增加获取视窗的多样性。6.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述将不同约束条件对应的视窗进行组合，构建叠视窗，包括：对不同视窗之间，以及视窗与特征之间进行组合，构建叠视窗。7.如权利要求1所述的基于叠视窗约束的探测识别方法，其特征在于，所述将所述综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别，包括：设多源交通数据分别为s1,s2,
…
,s
n
，不同数据源所对应的特征种类分别记作x
1-1
,...,x
i-j
；x
i-j
代表第i个数据源s
i
的特征集中的第j个特征种类，构建不同约束条件对不同或相同数据源的相同或不同特征种类x
i-j
进行约束筛除，不同约束条件通过不同叠视函数得到相应的综合特征分类f
n
，将实际采集的交通数据放入所构建的深度神经网络中，与f
n
融合学习，得到最终探测识别结果。8.一种基于叠视窗约束的探测识别装置，其特征在于，包括：数据获取模块，用于获取多源交通数据；交通特征数据集构建模块，用于提取所述数据获取模块所获取的多源交通数据的特征
数据，构建交通特征数据集；视窗构建模块，用于对所述交通特征数据集构建模块所构建的交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；视窗组合模块，用于将不同约束条件对应的视窗进行组合，构建叠视窗，使所述叠视窗的输出能够反映具有可解释物理含义的综合特征；探测与识别模块，用于将所述视窗组合模块所得到的综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，利用所述深度神经网络，根据实际交通数据完成对不同交通事件的探测与识别。9.如权利要求8所述的基于叠视窗约束的探测识别装置，其特征在于，所述多源交通数据为利用不同探测体制对相同或不同交通信息进行描述所获取的多源视觉成像的交通数据；其中，所述探测体制包括高光谱、多光谱、可见光、红外和激光雷达中的任意一种或多种的组合；所述交通特征数据集构建模块具体用于：提取所述多源交通数据的特征数据，并进行交通特征描述，构建包含预设类型交通特征的交通特征数据集；其中，所述预设类型交通特征包括wadt、地点车速、道路网密度以及车运周转量中的一种或多种的组合；所述约束条件的设置包括规定设置相应特征种类、数量和数据集来源属性；所述视窗构建模块具体用于：采用多种预设的网络模型，利用网络模型本身的层结构和无监督自学习的特征集合增加获取视窗的多样性；所述视窗组合模块具体用于：对不同视窗之间，以及视窗与特征之间进行组合，构建叠视窗。10.如权利要求8所述的基于叠视窗约束的探测识别装置，其特征在于，所述探测与识别模块具体用于：设多源交通数据分别为s1,s2,
…
,s
n
，不同数据源所对应的特征种类分别记作x
1-1
,
…
,x
i-j
；x
i-j
代表第i个数据源s
i
的特征集中的第j个特征种类，构建不同约束条件对不同或相同数据源的相同或不同特征种类x
i-j
进行约束筛除，不同约束条件通过不同叠视函数得到相应的综合特征分类f
n
，将实际采集的交通数据放入所构建的深度神经网络中，与f
n
融合学习，得到最终探测识别结果。

技术总结
本发明公开了一种基于叠视窗约束的探测识别方法与装置，该方法包括：获取多源交通数据；提取多源交通数据的特征数据，构建交通特征数据集；对交通特征数据集中感兴趣的特征进行约束条件设置，筛除冗余特征，建立约束条件对应的视窗；其中，视窗后只包含符合约束条件的相应特征类型；将不同约束条件对应的视窗进行组合，构建叠视窗，使叠视窗的输出能够反映具有可解释物理含义的综合特征；将综合特征与预设网络模型相融合，构建具有可解释性的深度神经网络，进而根据实际交通数据完成对不同交通事件的探测与识别。本发明能够在处理信息量巨大的多源交通数据时，大大压缩数据量，并且对不同种类交通特征的后续处理以及统计分析提供便利的先决条件。提供便利的先决条件。提供便利的先决条件。


技术研发人员：曾溢良 孟娜 刘文彬 蓝金辉
受保护的技术使用者：北京科技大学
技术研发日：2023.02.06
技术公布日：2023/5/24