一种基于沙普利反馈机制的轨迹预测模型优化方法

1.本发明属于轨迹预测模型优化的技术领域，涉及黑盒模型的可解释性，主要涉及了一种基于沙普利反馈机制的轨迹预测模型优化方法。


背景技术：

2.无人驾驶是可以帮助加强交通安全和可靠性、提升交通智能化水平以及探索新型交通模式等的重要技术；机器人导航是可以帮助制造业实现机器人协调完成工厂内部各区域任务、物流业实现无人智能配送以及服务业实现机器人导购等的重要技术，而轨迹预测正是这些技术的重要组成部分之一。
3.轨迹预测作为传感器所获取的实体历史轨迹数据的处理结果，也是下一步运动的决策前提，是无人驾驶技术中的关键环节。一辆安全的无人驾驶汽车，不仅需要感知当前时刻下周围行人、车辆以及环境的状态，而且需要预测周围行人、车辆未来时刻的运动轨迹。轨迹预测的实现主要分为两种：传统预测方法和深度学习预测方法，随着硬件算力的提升和人们对于神经网络研究的深入，基于深度学习的方法在预测精确度、准确率等方面正逐步超越传统方法。因此，在当前时代背景下，继续挖掘基于深度学习的车辆轨迹预测领域的潜力，具有很高的应用价值和研究价值，而在这一过程中，必须要提及的一个问题是深度学习的解释性问题。
4.深度学习的可解释性，一直以来都是国内、外学者所不断探索的领域。由于神经网络内部海量的参数和非线性单元，导致人们无法以直观的方式理解模型预测结果，造成了基于深度学习的模型的低可解释性，这极大地限制了深度学习模型在工业中的广泛应用。深入可解释性研究，不但有利于提升模型的可信度，而且有利于模型的应用和改进。研究轨迹预测领域神经网络模型的原理，使用可解释性理论及方法分析模型输出结果、优化模型结构，是提高轨迹预测的精准度，达到无人驾驶技术高效、安全目的一个强大助力。


技术实现要素：

5.本发明正是针对现有技术中基于深度学习的轨迹预测模型的低可解释性及模型安全性的问题，提供一种基于沙普利反馈机制的轨迹预测模型优化方法，在基于深度学习的轨迹预测模型内部选择一层网络结构作为沙普利反馈机制的添加层，使用沙普利反馈结构作为层包装器，所述沙普利反馈结构至少包括卷积沙普利反馈结构、循环沙普利反馈结构和图沙普利反馈结构，实现对被包装层的可解释性分析、提升被包装层特征提取能力的功能，从可解释性和模型性能两个方面实现对轨迹预测模型的优化。
6.为了实现上述目的，本发明采取的技术方案是：一种基于沙普利反馈机制的轨迹预测模型优化方法，在基于深度学习的轨迹预测模型内部选择一层网络结构作为沙普利反馈机制的添加层，使用沙普利反馈结构作为层包装器。
7.作为本发明的一种改进，所述沙普利反馈结构至少包括卷积沙普利反馈结构、循环沙普利反馈结构和图沙普利反馈结构。
8.作为本发明的一种改进，一种基于沙普利反馈机制的轨迹预测模型优化方法，包括如下步骤：
9.s1：分析基于深度学习的轨迹预测模型，确定其中预备增加沙普利反馈机制的一层神经网络结构；所述分析中，至少包括确认每一层神经网络结构的输入张量、输出张量的数据格式，明确轨迹预测模型内部每一层神经网络结构的作用；
10.s2：基于步骤s1确定的选中层，根据选中层的结构和作用，构建沙普利反馈结构包装选中层；所述构建过程包括：
11.s21：根据被选中层的结构，构建合适的模型装饰器，实现转化被选中层输入数据格式、转化被选中层接受输入数据格式和转化被选中层的输出数据格式；
12.s22：根据被选中层的作用，确认是否使用块沙普利值计算方法；
13.s23：根据步骤s21及s22后得到的输入特征沙普利值后，将两者进行耦合；
14.s3：训练添加了沙普利反馈机制后的模型，得到迁移学习完成的具有沙普利反馈机制的新模型，完成优化。
15.作为本发明的另一种改进，所述步骤s21中，抽象化沙普利值计算方法为：
16.shapley(model，data)＝f1(model(f2(data)))
17.其中，model为被选中层，data为待解释的某个或某组样本，f2为沙普利值计算方法对输入数据data进行某种方式变换，f1为沙普利值计算方法对model对变换后的输入f2(data)的输出的分析；
18.抽象化被选中层：
19.layer(inputs)＝outputs
20.其中layer为被选中层，inputs为各种格式的输入数据，outputs为各种格式的输出数据；
21.因而步骤s21具体为：转化被选中层的输入inputs为data、使被选中层layer可以接受data格式的输入及转化被选中层layer的输出格式为f1输入格式。
22.作为本发明的另一种改进，所述步骤s23中块沙普利值的计算函数为：
[0023][0024]
其中，bf是所有块特征的集合，bs是被选中进行可解释性分析的块特征(bs∈bf)，bc是集合bf-{bs}的幂集，bs为集合bc的中的某一个元素，f是被模型装饰器装饰后的被选中层。
[0025]
作为本发明的又一种改进，所述步骤s23的耦合方式包括但不限于加法耦合、标准化加法耦合、带参加法耦合、乘法耦合、标准化乘法耦合、带参乘法耦合。
[0026]
作为本发明的又一种改进，所述步骤s3中加载原模型参数至添加了沙普利反馈机制后的模型对应位置，基于反向传播算法，使用原训练集继续训练模型，对新模型的参数进行调整。
[0027]
与现有技术相比，本发明具有的有益效果：
[0028]
(1)本发明方法优化了博弈论中沙普利值为块沙普利值，可以组合模型的输入特征为块特征，并对块特征求得具有物理意义的块沙普利值；
[0029]
(2)本发明方法可以对轨迹预测模型中的某一层网络求得块沙普利值，实现了对
于该层网络结构工作原理的解释；
[0030]
(3)本发明方法可以将所求得的块沙普利值反馈至输入特征端与输入特征进行某种方式的耦合，最终达到在整体上增强有效输入特征、削弱低效输入特征的目的。
[0031]
(4)本发明方法实现了对于轨迹预测模型内部运算的可解释性分析和对于被选中层的特征提取能力的提升。
附图说明
[0032]
图1是本发明基于沙普利反馈机制的轨迹预测模型优化方法的步骤流程图；
[0033]
图2是本发明方法中沙普利反馈机制的结构图；
[0034]
图3为本发明实施例2测试部分主车辆周围其他车辆的位置示意图；
[0035]
图4为本发明实施例2测试部分周围其他车辆的沙普利值热力图；
[0036]
图5为本发明实施例2测试部分周围其他车辆沙普利值的标准化值热力图。
具体实施方式
[0037]
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0038]
实施例1
[0039]
一种基于沙普利反馈机制的轨迹预测模型优化方法，如图1所示，包括如下步骤：
[0040]
s1：分析轨迹预测模型，选择其中预备增加沙普利反馈机制的某一层神经网络结构；
[0041]
分析轨迹预测模型，选择其中预备增加沙普利反馈机制的某一层神经网络结构，需要明确所要优化的轨迹预测模型的输入、输出数据格式，包括其中每一层神经网络结构的输入张量、输出张量的数据格式；明确轨迹预测模型内部每一层神经网络结构的作用，如提取空间特征、提取时间特征等。
[0042]
s2：根据选中层的结构和在原模型中的作用，构建合适的沙普利反馈结构包装选中层；沙普利反馈机制的结构图如图2所示，所述步骤具体包括：
[0043]
s21：根据被选中层的结构，构建合适的模型装饰器，实现转化被选中层输入数据格式、转化被选中层接受输入数据格式，和转化被选中层的输出数据格式：
[0044]
抽象化沙普利值计算方法为：
[0045]
shapley(model，data)＝f1(model(f2(data)))
[0046]
其中model为被选中层，data为待解释的某个或某组样本，其数据格式为2维(样本数量
×
特征数量)，f2为沙普利值计算方法对输入数据data进行某种方式变换，f1为沙普利值计算方法对model对变换后的输入f2(data)的输出的分析。
[0047]
抽象化被选中层为：
[0048]
layer(inputs)＝outputs
[0049]
其中layer为被选中层，inputs为各种格式的输入数据，outputs为各种格式的输出数据。由于轨迹预测模型的时序输入、输出数据的格式的复杂性，想要将layer和inputs直接等同于model和data输入到沙普利值计算方法中是不现实的，更何况还需要满足outputs需要与f1的输入格式相匹配。
[0050]
因此，所构建的模型装饰器基本功能是：
[0051]
1、转化被选中层的输入inputs为data；
[0052]
2、使被选中层layer可以接受data格式的输入；
[0053]
3、转化被选中层layer的输出格式为f1输入格式。
[0054]
s22：根据被选中层在原模型中的作用，选择是否使用块沙普利值计算方法：
[0055]
沙普利值计算公式为：
[0056][0057]
其中f是所有特征的集合，s是被选中进行可解释性分析的特征(s∈f)，c是集合f-{s}的幂集，s为集合c中的某一个元素，f是被模型装饰器装饰后的被选中层。
[0058]
块沙普利值从特征集合|f|的角度入手，经典沙普利值方法中的特征集合f的元素是每一个特征维度，块沙普利值在f的基础上构建了块特征集合bf(block feature set，简称bf)。块特征集合bf是由特征集合f中的单个元素(单个特征维度)，或多个元素的组合(多个特征维度的组合)作为元素所构成，bf中元素称为块特征，块特征的组合方式满足使用者所制定的规则。
[0059]
故块沙普利值的计算函数为：
[0060][0061]
其中bf是所有块特征的集合，bs是被选中进行可解释性分析的块特征(bs∈bf)，bc是集合bf-{bs}的幂集，bs为集合bc的中的某一个元素，f是被模型装饰器装饰后的被选中层。
[0062]
s23：得到输入特征(即被选中层的每一维数据的意义)的沙普利值后，选择合适的方式将两者进行耦合，所述耦合方式包括但不限于加法耦合、标准化加法耦合、带参加法耦合、乘法耦合、标准化乘法耦合、带参乘法耦合：
[0063]
加法耦合：将沙普利值与输入数据相加，得到新的输入数据输入到被选中层；
[0064]
标准化加法耦合：将沙普利值进行标准化变换(均值标准化、最大最小值标准化，和正态标准化等)后与输入值相加，得到新的输入数据输入到被选中层；
[0065]
带参加法耦合：为沙普利值赋予权重矩阵，并作为模型参数参与训练，沙普利值与权重相乘后于输入数据相加，得到新的输入数据输入到被选中层；
[0066]
乘法耦合：将沙普利值与输入数据相乘，得到新的输入数据输入到被选中层；
[0067]
标准化乘法耦合：将沙普利值进行标准化变换(均值标准化、最大最小值标准化，和正态标准化等)后与输入值相乘，得到新的输入数据输入到被选中层；
[0068]
带参乘法耦合：为沙普利值赋予权重矩阵，并作为模型参数参与训练，沙普利值与权重相乘后于输入数据相承，得到新的输入数据输入到被选中层；
[0069]
s3：训练添加了沙普利反馈机制后的模型，得到迁移学习完成的具有沙普利反馈机制的新模型，完成优化。
[0070]
实施例2
[0071]
本实施例以基于沙普利反馈机制优化车辆轨迹预测模型卷积的社交池化长短期记忆网络(convolutional social pooling long short-term memory，简称cs-lstm)为
例，具体步骤如下：
[0072]
s1：分析模型：cs-lstm基于深度学习框架pytorch开发，使用循环神经网络变体长短期记忆网络对车辆运动信息编码、解码，使用卷积神经网络替代传统池化结构学习车辆之间的交互关系；选择cs-lstm的第一个卷积层作为沙普利机制的添加层。
[0073]
s2：被选中层为卷积机构，在模型中用于提取车辆之间在空间上的交互关系，构建沙普利反馈结构的具体步骤如下：
[0074]
s21：卷积操作的本质是一种特殊的线性变换，故卷积神经网络结构的输出本质上由数个线性方程计算得到的多个单值。故在构建模型装饰时，将卷积核按其输出通道展平为线性函数权重矩阵，得到与输出通道数相同数量的线性模型；根据卷积核参数，将被选中层的输入转换为多组表格型数据；将得到的沙普利值重组回原本的输入数据格式。
[0075]
实现转化被选中层输入数据格式、转化被选中层接受输入数据格式和转化被选中层的输出数据格式的功能。
[0076]
s22：被选中层用于提取车辆之间在空间上的交互关系，由于其输入数据格式已具有相应的物理意义，故选择颗粒度较小的沙普利值计算方法或颗粒度较大的块沙普利值计算方法均可：
[0077]
沙普利值计算公式为：
[0078][0079]
其中f是所有特征的集合，s是被选中进行可解释性分析的特征(s∈f)，c是集合f-{s}的幂集，s为集合c中的某一个元素，f是被模型装饰器装饰后的被选中层。
[0080]
块沙普利值的计算函数为：
[0081][0082]
其中bf是所有块特征的集合，bs是被选中进行可解释性分析的块特征(bs∈bf)，bc是集合bf-{bs}的幂集，bs为集合bc的中的某一个元素，f是被模型装饰器装饰后的被选中层。
[0083]
s23：得到输入特征(即空间中每一辆车的历史轨迹经过长短期记忆网络编码后得到的状态张量)的沙普利值后，选择合适的方式将两者进行耦合：
[0084]
加法耦合：将沙普利值与输入数据相加，得到新的输入数据输入到被选中层；
[0085]
标准化加法耦合：将沙普利值进行标准化变换(均值标准化、最大最小值标准化，和正态标准化等)后与输入值相加，得到新的输入数据输入到被选中层；
[0086]
带参加法耦合：为沙普利值赋予权重矩阵，并作为模型参数参与训练，沙普利值与权重相乘后于输入数据相加，得到新的输入数据输入到被选中层；
[0087]
乘法耦合：将沙普利值与输入数据相乘，得到新的输入数据输入到被选中层；
[0088]
标准化乘法耦合：将沙普利值进行标准化变换(均值标准化、最大最小值标准化，和正态标准化等)后与输入值相乘，得到新的输入数据输入到被选中层；
[0089]
带参乘法耦合：为沙普利值赋予权重矩阵，并作为模型参数参与训练，沙普利值与权重相乘后于输入数据相承，得到新的输入数据输入到被选中层；
[0090]
s3：在原cs-lstm模型参数的基础上继续训练，得到迁移学习完成的具有沙普利反
馈机制的新模型的具体步骤如下：
[0091]
s31：对原cs-lstm模型增加沙普利反馈机制后，得到新模型；
[0092]
s32：加载原cs-lstm的长短期记忆网络参数、卷积核参数等至新模型对应位置；
[0093]
s33：基于反向传播算法，使用原训练集继续训练，对新模型的参数进行调整；使用原验证集初步评估新模型性能、辅助调整模型超参数；使用原测试集评估新模型性能及泛化能力。
[0094]
测试部分
[0095]
本实施例中，选中车辆轨迹预测模型cs-lstm的第一个卷积层添加沙普利反馈机制，该层的沙普利值计算结果显示越靠近被预测轨迹的邻居车辆对于该层的输出结果有越大的贡献度，推断知该轨迹预测模型以邻居车辆的运动状态作为轨迹预测的依据，据此对模型工作原理做出了解释；将沙普利值计算结果与该层的输入张量以标准化加法方式耦合后，提升了该层的特征提取能力，优化了模型性能。
[0096]
表1为cs-lstm模型在添加不同耦合方式的沙普利反馈机制后，模型性能与原模型在均方根误差(root mean square error，简称rmse)、平均位移误差(average displacement error，简称ade)和最终位移误差(final displacement error，简称fde)三个评价指标下的性能比较表，可以看出加法耦合方式的沙普利反馈机制实现了模型性能的提升。
[0097]
表1 cs-lstm添加不同耦合方式的沙普利反馈机制的性能比较
[0098][0099]
表注：数值单位为米；o代表原始模型，a代表加法耦合方式，na代表标准化加法耦合，pna代表带参标准化耦合，m代表乘法耦合，nm代表标准化乘法耦合，pnm代表带参标准化乘法耦合。
[0100]
对数据集中某一在主车辆周围有5个其他车辆的样本进行分析，分析如图3-图5所示，图3中黑色方块表示主车辆周围其他车辆的位置；模型所添加的沙普利机制为标准化加法耦合，图4为未标准化前周围其他车辆的沙普利值的热力图，可以看到沙普利反馈机制准确反映了该层卷积网络的特征提取情况，方块颜色的深浅程度与该位置数据对输出的影响程度大小成正比，可见模型该层主要提取与主车辆同一车道前后的两辆车的特征，而不提取其他无车辆的区域的数据特征，据此沙普利反馈机制实现了对该层网络结构的工作机制解释。
[0101]
图5为对反馈回来的沙普利值标准化后的值的热力图，由图可见原本无色区域变为浅色，这表示原本对输出影响程度为0的区域会叠加大于0的标准化后的沙普利值，故而从图5与图4的区别，可以分析出：因为加入了标准化的操作，导致原本无车辆的区域出现噪声，影响模型判断，该结论同时可以解释为什么标准化加法耦合在预测精确度上要差于加法耦合的沙普利反馈机制。
[0102]
综上，本发明方法在基于深度学习的轨迹预测模型内部选择一层网络结构作为沙普利反馈机制的添加层，使用沙普利反馈结构作为层包装器，实现对被包装层的可解释性分析、提升被包装层特征提取能力的功能，从可解释性和模型性能两个方面实现对轨迹预测模型的优化。
[0103]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

技术特征：
1.一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：在基于深度学习的轨迹预测模型内部选择一层网络结构作为沙普利反馈机制的添加层，使用沙普利反馈结构作为层包装器。2.如权利要求1所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：所述沙普利反馈结构至少包括卷积沙普利反馈结构、循环沙普利反馈结构和图沙普利反馈结构。3.如权利要求2所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于，包括如下步骤：s1：分析基于深度学习的轨迹预测模型，确定其中预备增加沙普利反馈机制的一层神经网络结构；所述分析中，至少包括确认每一层神经网络结构的输入张量、输出张量的数据格式，明确轨迹预测模型内部每一层神经网络结构的作用；s2：基于步骤s1确定的选中层，根据选中层的结构和作用，构建沙普利反馈结构包装选中层；所述构建过程包括：s21：根据被选中层的结构，构建合适的模型装饰器，实现转化被选中层输入数据格式、转化被选中层接受输入数据格式和转化被选中层的输出数据格式；s22：根据被选中层的作用，确认是否使用块沙普利值计算方法；s23：根据步骤s21及s22后得到的输入特征沙普利值后，将两者进行耦合；s3：训练添加了沙普利反馈机制后的模型，得到迁移学习完成的具有沙普利反馈机制的新模型，完成优化。4.如权利要求3所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：所述步骤s21中，抽象化沙普利值计算方法为：shapley(model，data)＝f1(model(f2(data)))其中，model为被选中层，data为待解释的某个或某组样本，f2为沙普利值计算方法对输入数据data进行某种方式变换，f1为沙普利值计算方法对model对变换后的输入f2(data)的输出的分析；抽象化被选中层：layer(inputs)＝outputs其中layer为被选中层，inputs为各种格式的输入数据，outputs为各种格式的输出数据；因而步骤s21具体为：转化被选中层的输入inputs为data、使被选中层layer可以接受data格式的输入及转化被选中层layer的输出格式为f1输入格式。5.如权利要求3所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：所述步骤s23中块沙普利值的计算函数为：其中，bf是所有块特征的集合，bs是被选中进行可解释性分析的块特征(bs∈bf)，bc是集合bf-{bs}的幂集，bs为集合bc的中的某一个元素，f是被模型装饰器装饰后的被选中层。6.如权利要求3所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：所述步骤s23的耦合方式包括但不限于加法耦合、标准化加法耦合、带参加法耦合、乘法
耦合、标准化乘法耦合、带参乘法耦合。7.如权利要求4或5或6所述的一种基于沙普利反馈机制的轨迹预测模型优化方法，其特征在于：所述步骤s3中加载原模型参数至添加了沙普利反馈机制后的模型对应位置，基于反向传播算法，使用原训练集继续训练模型，对新模型的参数进行调整。

技术总结
本发明公开了一种基于沙普利反馈机制的轨迹预测模型优化方法，在基于深度学习的轨迹预测模型内部选择一层网络结构作为沙普利反馈机制的添加层，使用沙普利反馈结构作为层包装器，所述沙普利反馈结构至少包括卷积沙普利反馈结构、循环沙普利反馈结构和图沙普利反馈结构，实现对被包装层的可解释性分析、提升被包装层特征提取能力的功能，从可解释性和模型性能两个方面实现对轨迹预测模型的优化。性能两个方面实现对轨迹预测模型的优化。性能两个方面实现对轨迹预测模型的优化。


技术研发人员：李煊鹏 韩旭
受保护的技术使用者：东南大学
技术研发日：2023.05.15
技术公布日：2023/8/14