基于双流自适应图卷积神经网络的行人过街意图识别方法

1.本发明涉及自动驾驶环境感知技术领域，尤其涉及基于双流自适应图卷积神经网络的行人过街意图识别方法。


背景技术：

2.混合交通是城市道路交通运行的显著特征，在无人行横道标志线和交通信号的城市道路中，过街行人与行驶的车辆往往存在相互干扰。行人作为重要的交通参与者，可以在短时间改变运动的方向和速度，如果自动驾驶车辆对行人的过街意图产生误判，不仅影响车辆的通行效率，甚至可能威胁到行人的生命安全，因此准确的预测行人的过街意图至关重要。
3.现有行人过街意图识别方法可分为两类：分别是基于行人运动轨迹和人体关节点的运动来预测行人是否有过街意图。前者将人看作一个整体来分析其运动轨迹，无法预测潜在的行人运动方向及速度的突变，从而可能对行人的过街意图产生误判，这在自动驾驶场景中是无法容许的；而后者的问题在于仅关注人体少数关键关节点的运动状态，且忽视了各关节点之间的运动关联性，导致行人过街意图识别模型准确率不高。


技术实现要素：

4.本发明的目的是为了解决上述技术问题，提出了基于双流自适应图卷积神经网络的行人过街意图识别方法。
5.本发明所采用的技术方案为：基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：
6.步骤一：设计行人骨架时空图；
7.步骤二：骨架时空图特征提取；
8.步骤三：行人过街意图识别的数据集制作；
9.步骤四：行人过街意图识别网络构建；
10.步骤五：参数设置、模型训练；
11.步骤六：实验验证。
12.作为本发明进一步的改进，所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。
13.作为本发明进一步的改进，所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。
14.作为本发明进一步的改进，所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成txt格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。
15.作为本发明进一步的改进，所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。
16.作为本发明进一步的改进，所述步骤五中参数设置，行人过街意图识别采用pytorch深度学习框架，将标签类别数num_class设置为2，其中c为过街，nc为不过街，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机梯度下降优化器，初始学习率为0.01，权重衰减系数为0.0001。
17.作为本发明进一步的改进，所述设计自适应图卷积层的方法为：原始自适应图卷积公式为为了增加图结构的适应性，将掩码mk改进为原始邻接矩阵ak、可训练邻接矩阵bk和数据相关图ck的加和，故图卷积公式改为：其中：ak表示行人关节点的物理结构，bk是从数据学习过来的权重参数，表示两个节点之间连接的强弱，ck代表数据相关的图，表示两个顶点之间连接的强度。
18.作为本发明进一步的改进，所述设计双流图卷积的方法为：假设一个行人骨骼的起始关节点位置坐标为v1＝(x0，y0，z0)，其目标关节点位置坐标为v2＝(x1，y1，z1)，则骨骼的矢量计算为ev
1v2
＝(x
1-x0，y
1-y0，z
1-z0)，骨骼的方向就是从一个点指向另外一个点的向量，骨骼的长度就是向量的长度，即len＝|ev
1v2
|，将关节点位置坐标和骨骼的矢量计算作为双流数据，将双流数据输入自适应图卷积网络中，双流网络会分别输出行人过街和不过街的分类分数，采用softmax融合两个网络分数来判别行人的过街意图。
19.本发明的有益效果：本发明提供了一种基于双流自适应图卷积神经网络的行人过街意图识别方法，考虑了人体行走时手臂和腿部关节之间的运动关系和骨骼长度及运动方向的变化，相较于现有技术更为科学，行人过街意图识别模型准确率更高
附图说明
20.图1是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的方案流程图；
21.图2是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的人体骨架时空图；
22.图3是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的自适应卷积层；
23.图4是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的双流图卷积层；
24.图5是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的验证流程图；
25.图6是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的决策逻辑图；
26.图7是本发明基于双流自适应图卷积神经网络的行人过街意图识别方法的识别行人状态图。
具体实施方式
27.为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施方式，对本技术进行进一步详细说明。应当理解，此处所描述的实施方式仅仅用以解释本技术，并不用于限定本技术。
28.本发明提供了基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：
29.步骤一：设计行人骨架时空图；
30.步骤二：骨架时空图特征提取；
31.步骤三：行人过街意图识别的数据集制作；
32.步骤四：行人过街意图识别网络构建；
33.步骤五：参数设置、模型训练；
34.步骤六：实验验证。
35.本发明中所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。
36.本发明中所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。
37.本发明中所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成txt格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。
38.本发明中所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。
39.本发明中所述步骤五中参数设置，行人过街意图识别采用pytorch深度学习框架，将标签类别数num_class设置为2，其中c为过街，nc为不过街，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机梯度下降优化器，初始学习率为0.01，权重衰减系数为0.0001。
40.本发明中所述设计自适应图卷积层的方法为：原始自适应图卷积公式为为了增加图结构的适应性，将掩码mk改进为原始邻接矩阵ak、可训练邻接矩阵bk和数据相关图ck的加和，故图卷积公式改为：其中：ak表示行人关节点的物理结构，bk是从数据学习过来的权重参数，表示两个节点之间连接的强弱，ck代表数据相关的图，表示两个顶点之间连接的强度。
41.本发明中所述设计双流图卷积的方法为：假设一个行人骨骼的起始关节点位置坐标为v1＝(x0，y0，z0)，其目标关节点位置坐标为v2＝(x1，y1，z1)，则骨骼的矢量计算为ev
1v2
＝(x
1-x0，y
1-y0，z
1-z0)，骨骼的方向就是从一个点指向另外一个点的向量，骨骼的长度就是向量的长度，即len＝|ev
1v2
|，将关节点位置坐标和骨骼的矢量计算作为双流数据，将双流数据输入自适应图卷积网络中，双流网络会分别输出行人过街和不过街的分类分数，采用softmax融合两个网络分数来判别行人的过街意图。
42.实施例：
43.一种基于双流自适应图卷积神经网络的行人过街意图识别的方法，将人体骨架看作图结构，人体非相邻关节点之间会存在依赖关系，比如人在行走时，手臂关节与腿部关节
会有耦合的运动关系，由此设计了一种自适应的图卷积网络，可以捕捉到非相邻关节间的依赖关系；同时为了更加充分利用骨架数据，进一步利用了骨骼的长度和方向信息，设计双流图卷积网络，最后将两个网络输出的softmax分数进行融合，来预测行人是否有过街意图，本发明的技术方案如图1所示。
44.首先，设计行人骨架时空图，如图2所示，每个行人数据集样本关节之间的结构信息可以用时空图表示，时空图包括空间维度信息和时间维度信息，时空骨架图在空间维度上，骨架图的关节为图的节点，关节之间的连接为图的空间边。在时间维度上，相邻帧对应节点之间的连接为图的时间边，将每个关节的坐标设置为对应节点的状态，并利用图卷积提取行人非欧式结构骨架图特征。
45.其次，制作行人过街意图识别的数据集，深度神经网络学习能实现识别任务，依赖于带有标签的数据集，本发明制作的数据集中包括行人的过街状态信息(过街或者不过街)标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集(jaad)中提取的行人过状态信息，利用实时多人姿态识别系统(openpose)提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成txt格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。
46.然后，构建行人过街意图识别网络：1)设计自适应图卷积层(如图3所示)，原始自适应图卷积公式为为了增加图结构的适应性，将掩码mk改进为原始邻接矩阵ak、可训练邻接矩阵bk和数据相关图ck的加和，故图卷积公式改为：其中：ak表示行人关节点的物理结构，bk是从数据学习过来的权重参数，表示两个节点之间连接的强弱，ck代表数据相关的图，表示两个顶点之间连接的强度；2)设计双流图卷积，假设一个行人骨骼的起始关节点位置坐标为v1＝(x0，y0，z0)，其目标关节点位置坐标为v2＝(x1，y1，z1)，则骨骼的矢量计算为ev
1v2
＝(x
1-x0，y
1-y0，z
1-z0)，骨骼的方向就是从一个点指向另外一个点的向量，骨骼的长度就是向量的长度，即len＝|ev
1v2
|，将关节点位置坐标和骨骼的矢量计算作为双流数据，将双流数据输入自适应图卷积网络中，双流网络会分别输出行人过街和不过街的分类分数，采用softmax融合两个网络分数来判别行人的过街意图。
47.最后，设置神经网络参数，行人过街意图识别采用pytorch深度学习框架，将标签类别数num_class设置为2，其中c为过街(crossing)，nc为不过街(no crossing)，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机梯度下降(sgd)优化器，初始学习率为0.01，权重衰减系数为0.0001。
48.参数设定完成之后便可进行训练，最后将训练好的双流自适应图卷积神经网络模型进行测试，利用热度图分析，模型能够捕捉到非相邻关节间的依赖关系，并且能够准确的识别到行人过街与不过街，并采用正确率acc(accuracy)指标进行评价，acc计算公式为其中p和n分别表示总的过街样本和不过街样本数目，tp和tn分别表示正确识别的过街样本与不过街样本数目，最终得出模型识别准确率为89.36％，高于其他在jaad公开数据集上的模型，如表1所示。
49.表1行人过街意图模型识别准确率
[0050][0051][0052]
将上述训练好的行人过街意图识别模型重新部署到智能车所搭载的工控机中，实现基于行人过街意图的智能车决策控制实验，所述智能车为搭载有摄像头传感器和工控机的线控底盘，实验验证流程如图5所示，摄像头与工控机通过usb接口连接，摄像头获取图片信息；感知算法处理图片的信息，然后得到行人的过街意图信息，通过ros通讯，将感知信息传输给决策算法；决策算法处理感知信息，得到车辆的行为信息，决策模块通过ros通讯，将行为信息传输给控制算法；控制算法根据获取的行为信息，计算将要发送给底盘的报文信息，工控机中有内置的can卡，可以将工控机的报文信息发送给底盘各个节点；工控机与线控底盘连接，控制模块与车辆底盘通过can通讯将控制报文发送给底盘各个节点，最后实现车辆的制动与加速。
[0053]
智能车避让行人决策控制模拟实验涉及自动驾驶感知、决策和控制模块。感知模块中，摄像头将环境信息实时输入到双流自适应图卷积神经网络中，通过训练好的模型来预测行人是否有过街意图，决策模块的设计依赖于感知模块输出的信息，即“过街”、“不过街”或未检测到行人；决策逻辑如图6所示，当感知模块检测到行人且识别出行人的状态为“过街”时，则向智能车发布刹车指令，当感知模块检测到行人且识别出行人的状态为“不过街”或未检测到行人时，则让智能车继续正常行驶。
[0054]
在工控机中成功部署深度学习模型后，摄像头与工控机连接获取环境图像信息，实验场景中，行人开始在街边等待，然后从左至右过街，图7显示了感知算法在识别行人过街过程中获取的6帧图像，编号1，2的图像为街边等待的场景，编号3，4，5，6的图像为从右至左横穿马路的场景，从图中可以看出模型能够准确识别行人在街边等待的意图(“nc”)和行人穿过道路过街的意图(“c”)，在实验过程中，智能车能够按照设计的控制逻辑执行相应的动作。
[0055]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

技术特征：
1.基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：步骤一：设计行人骨架时空图；步骤二：骨架时空图特征提取；步骤三：行人过街意图识别的数据集制作；步骤四：行人过街意图识别网络构建；步骤五：参数设置、模型训练；步骤六：实验验证。2.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。3.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。4.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成txt格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。5.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。6.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤五中参数设置，行人过街意图识别采用pytorch深度学习框架，将标签类别数num_class设置为2，其中c为过街，nc为不过街，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机梯度下降优化器，初始学习率为0.01，权重衰减系数为0.0001。7.根据权利要求5所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述设计自适应图卷积层的方法为：原始自适应图卷积公式为为了增加图结构的适应性，将掩码m
k
改进为原始邻接矩阵a
k
、可训练邻接矩阵b
k
和数据相关图c
k
的加和，故图卷积公式改为：其中：a
k
表示行人关节点的物理结构，b
k
是从数据学习过来的权重参数，表示两个节点之间连接的强弱，c
k
代表数据相关的图，表示两个顶点之间连接的强度。8.根据权利要求5所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述设计双流图卷积的方法为：假设一个行人骨骼的起始关节点位置坐标为v1＝(x0，y0，z0)，其目标关节点位置坐标为v2＝(x1，y1，z1)，则骨骼的矢量计算为ev
1v2
＝(x
1-x0，y
1-y0，z
1-z0)，骨骼的方向就是从一个点指向另外一个点的向量，骨骼的长度就是向量的长度，即len＝|ev
1v2
|，将关节点位置坐标和骨骼的矢量计算作为双流数据，将双流数据输入自适应图卷积网络中，双流网络会分别输出行人过街和不过街的分类分数，采用softmax
融合两个网络分数来判别行人的过街意图。

技术总结
本发明涉及自动驾驶环境感知技术领域，尤其涉及基于双流自适应图卷积神经网络的行人过街意图识别方法。包括以下步骤：设计行人骨架时空图；骨架时空图特征提取；行人过街意图识别的数据集制作；行人过街意图识别网络构建；参数设置、模型训练；实验验证。本发明提出了基于双流自适应图卷积神经网络的行人过街意图识别方法。意图识别方法。意图识别方法。


技术研发人员：胡远志 李建飞 刘西 蒋涛
受保护的技术使用者：重庆理工大学
技术研发日：2023.04.10
技术公布日：2023/8/24