一种面向开放环境的人机协作意图理解方法、系统及设备与流程

1.本发明涉及人机协作意图理解技术领域，特别涉及一种面向开放环境的人机协作意图理解方法、系统及设备。


背景技术：

2.目前，实现对目标意图进行检测与理解的方法主要有两种，一种是基于先验知识的意图理解识别方法，代表技术为dempster-shafer(d-s)证据理论、产生式系统、贝叶斯推理，主要利用大量经验知识构建专家知识库，再依据专家知识库对目标意图进行理解识别。虽然该类意图理解方法速度比较快，但极其依赖于经验知识。如果对于问题领域的知识储备不充足，会导致意图识别的准确率大大降低，且构建专家知识库复杂困难。另一种是基于机器学习模型的意图理解方法，这类方法虽然不需要大量经验知识，但是可解释性不足，且模型常常比较复杂。


技术实现要素：

3.本发明的目的是提供一种面向开放环境的人机协作意图理解方法、系统及设备，以解决现有技术中意图识别的准确率低，且模型复杂的问题。
4.为实现上述目的，本发明提供了如下方案：
5.一种面向开放环境的人机协作意图理解方法，包括：
6.定义任务需求的意图集合；
7.获取设备运行的历史多维时间序列数据；
8.对所述历史多维时间序列数据进行特征融合，构建训练集；
9.以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练；
10.构建基于决策树的产生式规则模型；
11.将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接；
12.基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。
13.可选地，在获取设备运行的历史多维时间序列数据之后，还包括：
14.通过k-均值聚类算法对所述历史多维时间序列数进行聚类；
15.根据聚类结果判断是否有新的意图出现；若有新的意图出现，将新的意图增加到所述意图集合中。
16.可选地，所述历史多维时间序列数据和所述当前时刻的多维时间序列数据融合后的特征数据均包括环境变量和状态变量；所述环境变量包括：局部路面表面倾角、最近前车距离、前车数量、最近后车距离、后车数量、最近前车与我车方位角、最近后车与我车方位角以及最近后车朝向；所述状态变量包括：我车三维速度、我车三维角速度、我车三维加速度、
我车朝向以及我车轮胎滑动角。
17.可选地，基于当前时刻的多维时间序列数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图，具体包括：
18.将拼接后的数据分别输入至训练好的神经网络模型和所述产生式规则模型中；
19.当训练好的神经网络模型和所述产生式规则模型的分类结果不一致时，判断所述产生式规则模型的决策树内部节点数量是否小于等于2；
20.若是，则将所述产生式规则模型的输出结果确定为最终分类结果；
21.若否，则将训练好的神经网络模型的分类结果确定为最终分类结果。
22.本发明还提供了一种面向开放环境的人机协作意图理解系统，包括：
23.意图集合定义模块，用于定义任务需求的意图集合；
24.历史多维时间序列数据获取模块，用于获取设备运行的历史多维时间序列数据；
25.训练集构建模块，用于对所述历史多维时间序列数据进行特征融合，构建训练集；
26.训练模块，用于以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练；
27.产生式规则模型构建模块，用于构建基于决策树的产生式规则模型；
28.数据拼接模块，用于将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接；
29.意图识别模块，用于基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。
30.可选地，还包括：
31.聚类模块，用于通过k-均值聚类算法对所述历史多维时间序列数进行聚类；
32.聚类结果判断及意图增加模块，用于根据聚类结果判断是否有新的意图出现；若有新的意图出现，将新的意图增加到所述意图集合中。
33.可选地，所述意图识别模块，具体包括：
34.输入单元，用于将拼接后的数据分别输入至训练好的神经网络模型和所述产生式规则模型中；
35.判断单元，用于当训练好的神经网络模型和所述产生式规则模型的分类结果不一致时，判断所述产生式规则模型的决策树内部节点数量是否小于等于2；
36.第一结果确定单元，用于当所述产生式规则模型的决策树内部节点数量小于等于2时，将所述产生式规则模型的输出结果确定为最终分类结果；
37.第二结果确定单元，用于当所述产生式规则模型的决策树内部节点数量大于2时，将训练好的神经网络模型的分类结果确定为最终分类结果。
38.本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的面向开放环境的人机协作意图理解方法。
39.本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的面向开放环境的人机协作意图理解方法。
40.根据本发明提供的具体实施例，本发明公开了以下技术效果：
41.本发明使用神经网络模型与基于决策树的产生式规则模型结合的融合模型，完成
意图识别，克服了基于先验知识的意图理解识别方法对专家经验依赖性强、构建知识库复杂，基于机器学习模型方法模型复杂性高、可解释性不足等缺点。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例一提供的面向开放环境的人机协作意图理解方法的流程图；
44.图2为本发明使用的神经网络结构的示意图；
45.图3为本发明实施例二提供的面向开放环境的人机协作意图理解系统的框图；
46.图4为本发明提供的面向开放环境的人机协作意图理解方法的数据流向的示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.本发明的目的是提供一种面向开放环境的人机协作意图理解方法、系统及设备，以解决现有技术中意图识别的准确率低，且模型复杂的问题。
49.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
50.实施例一
51.本发明实施例一提供了一种面向开放环境的人机协作意图理解方法，如图1所示，该方法包括以下步骤：
52.s1：定义任务需求的意图集合。
53.以赛车模拟驾驶平台为例，定义意图集合{启动、制动、超车、防御后车超车
…
}。
54.s2：获取设备运行的历史多维时间序列数据。
55.s3：对所述历史多维时间序列数据进行特征融合，构建训练集。
56.通过统计一定范围内的对手赛车信息(100米)，依次计算出各个敌方赛车距离我车的距离，并获取其朝向、方位角的相关数据。计算出局部路面表面倾角、最近前车距离、前车数量、最近后车距离、后车数量、最近前车与我车方位角、最近后车与我车方位角以及最近后车朝向八个变量，让模型学习到赛场的态势信息，属于环境变量。通过我车三维速度、我车三维角速度、我车三维加速度、我车朝向以及我车轮胎滑动角这五个变量可以使模型学习到本车应对不同态势做出的反馈，属于状态变量。
57.s4：以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练。
58.本实施例中采用的神经网络为长短时记忆-卷积神经网络，如图2所示，构建神经
网络模型，模型的输入是上述步骤s3得到的数据集，模型的输出是各个意图对应的概率分布，选取概率最大的意图作为识别结果。利用训练集进行模型训练，利用测试集测试模型精度并进行微调。
59.s5：构建基于决策树的产生式规则模型。
60.构建基于决策树的产生式规则模型，根据数据自动提取领域规则，将神经网络模型与决策树模型结合。根据计算属性的信息增益，最终选择信息增益最大的属性作为根节点。其中0表示数据的一维二分类属性，x1，x2表示属性的可选状态。子节点的确认方式相同。以此构建决策树。
61.s6：将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接。
62.s7：基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。
63.将拼接后的数据输入到训练好的神经网络模型和所述产生式规则模型中，若神经网络模型与决策树模型的分类结果一致，则取之为最终识别结果，若不一致，按照决策树内部节点数量判断，若决策树内部节点小于等于2个，则取决策树分类的结果，否则，取神经网络模型的分类结果。
64.神经网络模型与基于决策树的产生式规则模型结合的融合模型输出结果为历史及当前时刻的意图分布序列，将t时刻输出的意图分布序列与t+1时刻的数据进行拼接，确保在融合模型的输入上是相同尺度的，共同识别t+1时刻目标意图。
65.本发明使用神经网络模型与基于决策树的产生式规则模型结合的融合模型，完成待识别意图的实体的意图识别，克服了基于先验知识的意图理解识别方法对专家经验依赖性强、构建知识库复杂，基于机器学习模型方法模型复杂性高、可解释性不足等缺点。且增加反馈通路，将t时刻识别的结果与t+1时刻的时间序列数据共同作为输入，增加准确率。同时，模型的设计基于开放环境，以面向不同领域或不同任务需求的意图理解问题。
66.实施例二
67.为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供了一种面向开放环境的人机协作意图理解系统。
68.如图3所示，该系统包括：
69.意图集合定义模块，用于定义任务需求的意图集合。
70.历史多维时间序列数据获取模块，用于获取设备运行的历史多维时间序列数据。
71.训练集构建模块，用于对所述历史多维时间序列数据进行特征融合，构建训练集。
72.训练模块，用于以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练。
73.产生式规则模型构建模块，用于构建基于决策树的产生式规则模型。
74.数据拼接模块，用于将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接。
75.意图识别模块，用于基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。具体包括：输入单元，用于将拼接后的数据分别输入至训练好的神经网络模型和所述产生式规则模型中；判断单元，用于当训练好的神经网络
模型和所述产生式规则模型的分类结果不一致时，判断所述产生式规则模型的决策树内部节点数量是否小于等于2；第一结果确定单元，用于当所述产生式规则模型的决策树内部节点数量小于等于2时，将所述产生式规则模型的输出结果确定为最终分类结果；第二结果确定单元，用于当所述产生式规则模型的决策树内部节点数量大于2时，将训练好的神经网络模型的分类结果确定为最终分类结果。具体过程如图4所示。
76.上述系统还包括：
77.聚类模块，用于通过k-均值聚类算法对所述历史多维时间序列数进行聚类；
78.聚类结果判断及意图增加模块，用于根据聚类结果判断是否有新的意图出现；若有新的意图出现，将新的意图增加到所述意图集合中。
79.实施例三
80.本发明实施例三提供了一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的面向开放环境的人机协作意图理解方法。
81.上述电子设备可以是服务器。
82.实施例四
83.本发明实施例四提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的面向开放环境的人机协作意图理解方法。
84.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
85.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种面向开放环境的人机协作意图理解方法，其特征在于，包括：定义任务需求的意图集合；获取设备运行的历史多维时间序列数据；对所述历史多维时间序列数据进行特征融合，构建训练集；以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练；构建基于决策树的产生式规则模型；将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接；基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。2.根据权利要求1所述的面向开放环境的人机协作意图理解方法，其特征在于，在获取设备运行的历史多维时间序列数据之后，还包括：通过k-均值聚类算法对所述历史多维时间序列数进行聚类；根据聚类结果判断是否有新的意图出现；若有新的意图出现，将新的意图增加到所述意图集合中。3.根据权利要求1所述的面向开放环境的人机协作意图理解方法，其特征在于，所述历史多维时间序列数据和所述当前时刻的多维时间序列数据融合后的特征数据均包括环境变量和状态变量；所述环境变量包括：局部路面表面倾角、最近前车距离、前车数量、最近后车距离、后车数量、最近前车与我车方位角、最近后车与我车方位角以及最近后车朝向；所述状态变量包括：我车三维速度、我车三维角速度、我车三维加速度、我车朝向以及我车轮胎滑动角。4.根据权利要求1所述的面向开放环境的人机协作意图理解方法，其特征在于，基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图，具体包括：将拼接后的数据分别输入至训练好的神经网络模型和所述产生式规则模型中；当训练好的神经网络模型和所述产生式规则模型的分类结果不一致时，判断所述产生式规则模型的决策树内部节点数量是否小于等于2；若是，则将所述产生式规则模型的输出结果确定为最终分类结果；若否，则将训练好的神经网络模型的分类结果确定为最终分类结果。5.一种面向开放环境的人机协作意图理解系统，其特征在于，包括：意图集合定义模块，用于定义任务需求的意图集合；历史多维时间序列数据获取模块，用于获取设备运行的历史多维时间序列数据；训练集构建模块，用于对所述历史多维时间序列数据进行特征融合，构建训练集；训练模块，用于以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练；产生式规则模型构建模块，用于构建基于决策树的产生式规则模型；数据拼接模块，用于将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接；意图识别模块，用于基于拼接后的数据，通过训练好的神经网络模型和所述产生式规
则模型识别设备当前时刻的意图。6.根据权利要求5所述的面向开放环境的人机协作意图理解系统，其特征在于，还包括：聚类模块，用于通过k-均值聚类算法对所述历史多维时间序列数进行聚类；聚类结果判断及意图增加模块，用于根据聚类结果判断是否有新的意图出现；若有新的意图出现，将新的意图增加到所述意图集合中。7.根据权利要求5所述的面向开放环境的人机协作意图理解系统，其特征在于，所述意图识别模块，具体包括：输入单元，用于将拼接后的数据分别输入至训练好的神经网络模型和所述产生式规则模型中；判断单元，用于当训练好的神经网络模型和所述产生式规则模型的分类结果不一致时，判断所述产生式规则模型的决策树内部节点数量是否小于等于2；第一结果确定单元，用于当所述产生式规则模型的决策树内部节点数量小于等于2时，将所述产生式规则模型的输出结果确定为最终分类结果；第二结果确定单元，用于当所述产生式规则模型的决策树内部节点数量大于2时，将训练好的神经网络模型的分类结果确定为最终分类结果。8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-4中任一项所述的面向开放环境的人机协作意图理解方法。9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的面向开放环境的人机协作意图理解方法。

技术总结
本发明公开了一种面向开放环境的人机协作意图理解方法、系统及设备。该方法包括：定义任务需求的意图集合；获取设备运行的历史多维时间序列数据；对所述历史多维时间序列数据进行特征融合，构建训练集；以所述训练集为输入，以所述训练集对应的所述意图集合中的意图分布概率为输出，对神经网络模型进行训练；构建基于决策树的产生式规则模型；将当前时刻的多维时间序列数据进行特征融合后与上一时刻的意图进行数据拼接；基于拼接后的数据，通过训练好的神经网络模型和所述产生式规则模型识别设备当前时刻的意图。本发明能够解决现有技术中意图识别的准确率低，且模型复杂的问题。且模型复杂的问题。且模型复杂的问题。


技术研发人员：吴春国 李朋洋 刘仲 蒋贵虎 杨博 黄晶 杜伟 伊函函 姜英东 苑云歌 霍永康
受保护的技术使用者：中国航空工业集团公司沈阳飞机设计研究所
技术研发日：2023.05.11
技术公布日：2023/8/9