自动驾驶场景语义预测方法

1.本发明涉及自动驾驶场景预测和语义分析的技术领域，尤其是指一种自动驾驶场景语义预测方法。


背景技术：

2.自动驾驶场景语义预测指的是利用无人驾驶汽车搭载的多个不同的传感器捕获周围环境的信息，对不同的数据类型进行处理，生成车辆实时行驶环境的语义感知。
3.目前环境语义分析工作主要停留在图像识别上，通过将传感器采集到的视频、图像进行人工标注，形成带有语义标签的数据，作为评价指标。再通过此算法模型对其它视频、图像进行语义标注评估。但是由于传感器获取的信息不一定是准确的，可能存在传感器的错看、漏看或者传输数据丢失导致的误判，甚至可能遭到恶意的非法修改、篡改信息等情况。车辆密度不同引发的传感器遮挡也会导致信息获取不全，从而影响语义分析系统，造成驾驶场景语义的错误判断。


技术实现要素：

4.本发明的目的在于克服现有技术的缺点与不足，提出了一种自动驾驶场景语义预测方法，通过对自动驾驶场景下的传感器数据二次处理，能够一定程度上解决不同来源的传感器数据之间可能存在的缺失、错误、冲突，更精准地对场景语义进行预测。
5.为实现上述目的，本发明所提供的技术方案为：自动驾驶场景语义预测方法，包括以下步骤：
6.1)将车辆传感器语义输入词嵌入单元，对富含语义的上下文词汇进行词向量扩充；
7.2)将词嵌入单元的输出作为局部语义卷积单元的输入，使用局部语义卷积单元对局部语义信息进行提取，得到物体间的语义特征组合；
8.3)将词嵌入单元的输出作为全局语义循环单元的输入，使用全局语义循环单元提取全局语义信息，得到正反双向的全部语义信息特征；
9.4)将词嵌入单元的输出、局部语义卷积单元的输出、全局语义循环单元的输出作为语义融合单元的输入，使用语义融合单元进行特征融合，实现自动驾驶场景的语义预测。
10.进一步，在步骤1)中，所述词嵌入单元负责将富含语义的上下文词汇进行词向量扩充，解决文本数据非结构化、不可计算的问题；
11.所述词嵌入单元通过one-hot编码的词向量传递给输入层，其中c为上下文包含的单词的数量，v为等同于词表大小的单词向量空间维度，n为特征值大小；设定一个维度为v
×
n的权重矩阵w1，一个维度为n
×
v的权重矩阵w2，one-hot表示的词向量分别乘w1，对得到的结果求平均值，得到维度为1
×
n的隐藏层；隐藏层乘以w2得到输出矩阵为1
×
v，通过softmax函数将神经元输出值转换为概率。
12.进一步，在步骤2)中，所述局部语义卷积单元采用3种不同大小的卷积核k∈[2,3,
4]分别对词向量进行卷积，即提取邻近2、3、4个词语间的语义，得到不同长度的特征语义；
[0013]
运用不同长度的卷积核对语序中不同的邻近词语组合进行，扩大邻近语义的结合范围，增加语义的丰富程度；卷积完成后将得到nk个矩阵，xc∈r
(h-k+1)
×c'其中nk表示卷积核的数量，r表示矩阵的形状，h表示句子长度，c’表示输出通道数，k表示卷积核大小。
[0014]
进一步，在步骤3)中，通过步骤2)中局部语义卷积单元采集到的局部特征，对传感器的语义进行全局分析，引入全局语义循环单元；所述全局语义循环单元基于双向门控循环单元神经网络实现，将词向量空间按照语序分别输入到全局语义循环单元中，获取达到不同隐藏层的语义信息；
[0015]
所述全局语义循环单元采用双向门控循环单元对全局语义进行初步提取，将词嵌入单元的输出作为输入，传递给双向门控循环单元，得到输出其中ce是词嵌入单元的输出通道数，ch表示双向门控循环单元中正向和反向两个隐藏层的大小；
[0016]
所述全局语义循环单元引入所有隐藏层的结果以获取不同语义序列长度的特征，并将其呈递至注意力单元进行计算；双向门控循环单元的输出作为多头注意力机制的输入，通过多头注意力机制计算全局信息中语义组合特征占比，最大值代表当前全局语义特征，最后输出
[0017]
进一步，在步骤4)中，所述语义融合单元将词嵌入单元的输出、局部语义卷积单元的输出、全局语义循环单元的输出进行语义特征融合，输出分类结果，包括以下步骤：
[0018]
4.1)把词嵌入单元的输出和双向门控循环单元的输出按照通道维度进行数据融合得到中间结果再经过relu激活函数及最大池化后得到输出
[0019]
4.2)将步骤4.1)的输出结果与局部语义卷积单元的输出结果进行拼接，得到特征向量其中nk是卷积核的数量，cf是局部语义卷积单元的输出通道数；
[0020]
4.3)将得到的特征向量通过一个前馈神经网络将全部的特征输出为分类结果。
[0021]
本发明与现有技术相比，具有如下优点与有益效果：
[0022]
1、本发明考虑了现有传感器信息不准确的问题，通过对自动驾驶场景下的传感器数据二次处理，能够解决不同来源的传感器数据之间可能存在的缺失、错误、冲突，更精准地对场景语义进行预。
[0023]
2、本发明与其它仅使用图像识别语义不同，可拓展接入其它传感器数据共同进行语义预测，提高了语义预测的准确度与可靠性。
[0024]
3、本发明可以拓展结合众包技术，将单车收集到的语义传递给边缘服务器，形成各个区域内的范围环境感知，具有广阔的应用前景。
附图说明
[0025]
图1为本发明逻辑流程示意图；图中，attu表示注意力单元，bigru表示双向门控循环单元，maxpooling表示最大池化单元，convolution layer表示卷积层。
[0026]
图2为本发明所使用的词嵌入单元示意图。
[0027]
图3为本发明所使用的语义融合单元sfu示意图；图中，gsru表示全局语义循环单元，weu表示词嵌入单元，lscu表示局部语义循环单元。
具体实施方式
[0028]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0029]
如图1所示，本实施例公开了一种自动驾驶场景语义预测方法，包括以下步骤：
[0030]
1)将车辆传感器语义输入词嵌入单元，对富含语义的上下文词汇进行词向量扩充；
[0031]
所述词嵌入单元主要负责将富含语义的上下文词汇进行词向量扩充，解决文本数据非结构化、不可计算的问题；
[0032]
如图2所示，所述词嵌入单元通过one-hot编码的词向量传递给输入层，其中c为上下文包含的单词的数量，v为等同于词表大小的单词向量空间维度，n为特征值大小；设定一个维度为v
×
n的权重矩阵w1，一个维度为n
×
v的权重矩阵w2，one-hot表示的词向量分别乘w1，对得到的结果求平均值，得到维度为1
×
n的隐藏层；隐藏层乘以w2得到输出矩阵为1
×
v，通过softmax函数将神经元输出值转换为概率。
[0033]
2)将词嵌入单元的输出作为局部语义卷积单元的输入，使用局部语义卷积单元对局部语义信息进行提取，得到物体间的语义特征组合；
[0034]
所述局部语义卷积单元采用3种不同大小的卷积核k∈[2,3,4]分别对词向量进行卷积，即提取邻近2、3、4个词语间的语义，得到不同长度的特征语义；
[0035]
运用不同长度的卷积核对语序中不同的邻近词语组合进行，扩大邻近语义的结合范围，增加语义的丰富程度；卷积完成后将得到nk个矩阵xc∈r
(h-k
×
1)
×c'，其中nk表示卷积核的数量，r表示矩阵的形状，h表示句子长度，c’表示输出通道数，k表示卷积核大小。
[0036]
3)将词嵌入单元的输出作为全局语义循环单元的输入，使用全局语义循环单元提取全局语义信息，得到正反双向的全部语义信息特征，具体如下：
[0037]
通过步骤2)中局部语义卷积单元采集到的局部特征，对传感器的语义进行全局分析，引入全局语义循环单元；所述全局语义循环单元基于双向门控循环单元神经网络实现，将词向量空间按照语序分别输入到全局语义循环单元中，获取达到不同隐藏层的语义信息；
[0038]
所述全局语义循环单元采用双向门控循环单元对全局语义进行初步提取，将词嵌入单元的输出作为输入，传递给双向门控循环单元，得到输出其中ce是词嵌入单元的输出通道数，ch表示双向门控循环单元中正向和反向两个隐藏层的大小；
[0039]
传统循环神经网络的输出的时序只考虑最后一个隐藏层的输出，虽然双向门控循环单元已考虑长期记忆的影响，但无法得到更细微的组合特征，所以全局语义循环单元引入所有隐藏层的结果以获取不同语义序列长度的特征，并将其呈递至注意力单元进行计算；双向门控循环单元的输出作为多头注意力机制的输入，通过多头注意力机制计算全局信息中语义组合特征占比，最大值代表当前全局语义特征，最后输出
[0040]
4)将词嵌入单元的输出、局部语义卷积单元的输出、全局语义循环单元的输出作为语义融合单元的输入，使用语义融合单元进行特征融合，输出分类结果，实现自动驾驶场景的语义预测，如图3所示，包括以下步骤：
[0041]
4.1)把词嵌入单元的输出和双向门控循环单元的输出按照通道维度进行数据融合得到中间结果再经过relu激活函数及最大池化后得到输出
[0042]
4.2)将步骤4.1)的输出结果与局部语义卷积单元的输出结果进行拼接，得到特征向量其中nk是卷积核的数量，cf是局部语义卷积单元的输出通道数；
[0043]
4.3)将得到的特征向量通过一个前馈神经网络将全部的特征输出为分类结果。
[0044]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.自动驾驶场景语义预测方法，其特征在于，包括以下步骤：1)将车辆传感器语义输入词嵌入单元，对富含语义的上下文词汇进行词向量扩充；2)将词嵌入单元的输出作为局部语义卷积单元的输入，使用局部语义卷积单元对局部语义信息进行提取，得到物体间的语义特征组合；3)将词嵌入单元的输出作为全局语义循环单元的输入，使用全局语义循环单元提取全局语义信息，得到正反双向的全部语义信息特征；4)将词嵌入单元的输出、局部语义卷积单元的输出、全局语义循环单元的输出作为语义融合单元的输入，使用语义融合单元进行特征融合，实现自动驾驶场景的语义预测。2.根据权利要求1所述的自动驾驶场景语义预测方法，其特征在于，在步骤1)中，所述词嵌入单元负责将富含语义的上下文词汇进行词向量扩充，解决文本数据非结构化、不可计算的问题；所述词嵌入单元通过one-hot编码的词向量传递给输入层，其中c为上下文包含的单词的数量，v为等同于词表大小的单词向量空间维度，n为特征值大小；设定一个维度为v
×
n的权重矩阵w1，一个维度为n
×
v的权重矩阵w2，one-hot表示的词向量分别乘w1，对得到的结果求平均值，得到维度为1
×
n的隐藏层；隐藏层乘以w2得到输出矩阵为1
×
v，通过softmax函数将神经元输出值转换为概率。3.根据权利要求2所述的自动驾驶场景语义预测方法，其特征在于，在步骤2)中，所述局部语义卷积单元采用3种不同大小的卷积核k∈[2,3,4]分别对词向量进行卷积，即提取邻近2、3、4个词语间的语义，得到不同长度的特征语义；运用不同长度的卷积核对语序中不同的邻近词语组合进行，扩大邻近语义的结合范围，增加语义的丰富程度；卷积完成后将得到n
k
个矩阵，x
c
∈r
(h-k+1)
×
c
′
其中n
k
表示卷积核的数量，r表示矩阵的形状，h表示句子长度，c’表示输出通道数，k表示卷积核大小。4.根据权利要求3所述的自动驾驶场景语义预测方法，其特征在于：在步骤3)中，通过步骤2)中局部语义卷积单元采集到的局部特征，对传感器的语义进行全局分析，引入全局语义循环单元；所述全局语义循环单元基于双向门控循环单元神经网络实现，将词向量空间按照语序分别输入到全局语义循环单元中，获取达到不同隐藏层的语义信息；所述全局语义循环单元采用双向门控循环单元对全局语义进行初步提取，将词嵌入单元的输出作为输入，传递给双向门控循环单元，得到输出其中c
e
是词嵌入单元的输出通道数，c
h
表示双向门控循环单元中正向和反向两个隐藏层的大小；所述全局语义循环单元引入所有隐藏层的结果以获取不同语义序列长度的特征，并将其呈递至注意力单元进行计算；双向门控循环单元的输出作为多头注意力机制的输入，通过多头注意力机制计算全局信息中语义组合特征占比，最大值代表当前全局语义特征，最后输出5.根据权利要求4所述的自动驾驶场景语义预测方法，其特征在于：在步骤4)中，所述语义融合单元将词嵌入单元的输出、局部语义卷积单元的输出、全局语义循环单元的输出进行语义特征融合，输出分类结果，包括以下步骤：4.1)把词嵌入单元的输出和双向门控循环单元的输出按照通
道维度进行数据融合得到中间结果再经过relu激活函数及最大池化后得到输出4.2)将步骤4.1)的输出结果与局部语义卷积单元的输出结果进行拼接，得到特征向量其中n
k
是卷积核的数量，c
f
是局部语义卷积单元的输出通道数；4.3)将得到的特征向量通过一个前馈神经网络将全部的特征输出为分类结果。

技术总结
本发明公开了一种自动驾驶场景语义预测方法，包括：使用词嵌入单元将富含语义的上下文词汇进行词向量扩充；使用局部语义卷积单元对局部语义信息进行提取，得到几个物体间的语义特征组合；使用全局语义循环单元提取全局语义信息，得到正反双向的全部语义信息特征；使用语义融合单元进行特征融合，实现场景的语义预测。本发明通过对自动驾驶场景下的传感器数据二次处理，能够一定程度上解决不同来源的传感器数据之间可能存在的缺失、错误、冲突，更精准地对自动驾驶场景语义进行预测。准地对自动驾驶场景语义进行预测。准地对自动驾驶场景语义进行预测。


技术研发人员：唐洁 胡惟楚 刘鹭扬
受保护的技术使用者：华南理工大学
技术研发日：2023.05.15
技术公布日：2023/9/14