飞行模拟实验飞行员状态改变识别方法

1.本发明涉及一种飞行员状态分析技术，尤其涉及一种飞行模拟实验飞行员状态改变识别方法。


背景技术：

2.大多数航空事故是由人为因素导致的。航空人为因素研究的重要内容是飞行员信息处理的过程。飞行员在飞行过程中，80％以上的信息是通过视觉通道获取的。因此，飞行员的视觉扫描模式是驾舱人为因素研究的重要内容。
3.识别飞行员视觉扫描模式转换的时间点可以反映飞行员的信息处理过程以及飞行员状态的改变,为检测飞行员在告警任务执行中是否出错提供参考，评估飞行员的绩效水平，从而降低人为错误发生的可能性。
4.目前主流的研究飞行员视觉扫描模式的方法是：分析飞行员的各项眼动指标，包括：注视时间、注视次数、扫视频率、扫视次数、扫描路径、眨眼频率、熵值等。通过这些眼动指标可以研究不同任务时间段飞行员的视觉扫描模式的差异和变化规律，以及视觉扫描模式和飞行任务的相关性。
5.目前的问题在于：
6.上述提及的眼动指标都仅能从某个特定角度描述飞行员视觉扫描模式，不能全面地体现飞行员视觉扫描模式的特征，对不同飞行任务下飞行员的视觉扫描模式的区分能力有限。此外，现有的对于飞行员各项眼动指标的研究分析是不考虑时序的，然而，眼动在航空中的应用大多研究的是独立的飞行任务段，实际的飞行是一个完整连续且包含多个飞行任务的飞行过程，因此，在时序上对飞行员的视觉扫描模式进行分析是至关重要的。


技术实现要素：

7.本发明的目的在于提供一种飞行模拟实验飞行员状态改变识别方法，该飞行员状态改变识别方法能够准确确定飞行员状态改变的时间点。
8.为了实现上述技术目的，本发明采用如下技术方案：
9.一种飞行模拟实验飞行员状态改变识别方法，包括：
10.获取飞行员在飞行模拟实验中的眼动数据，并且标记告警时间点；
11.根据眼动数据来构建飞行员的眼动aoi序列；
12.在所述飞行员的眼动aoi序列上使用时间滑动窗口；
13.对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型；
14.对于每个窗口的视觉扫描模式模型，计算两两窗口之间皮尔逊相关性系数，将所有窗口两两之间的皮尔逊相关性系数组成相关性矩阵；
15.根据预先标记的告警时间点，并依据所有窗口两两之间的皮尔逊相关性系数，在告警后的窗口中找到一个和告警前各窗口的相关性最低的窗口，将该窗口确定为转换时间点；
16.通过对比得出所述转换时间点与标记告警时间点的窗口之间的时间差，将该时间差确定为飞行员状态改变时间差。
17.进一步地，所述获取飞行员在飞行模拟实验中的眼动数据，其具体实现的方法包括：
18.将采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，从而生成每个注视点在驾舱前景图的二维坐标；
19.对应驾舱前景图上的每一个注视点，将与该注视点相关的驾舱前景图二维坐标、时间戳以及眼动事件类型组合构成眼动行为数据，将所有眼动行为数据归集后构成所述眼动数据。
20.进一步地，所述将采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，其具体实现的方法包括：
21.导入飞行模拟实验的驾舱前景图至眼动仪配套的眼动软件中；
22.在眼动仪配套的眼动软件中将眼动仪采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，生成每个注视点在驾舱前景图的二维坐标。
23.进一步地，所述根据眼动数据来构建飞行员的眼动aoi序列，其具体实现的方法包括：
24.设飞行员眼动aoi序列为x＝{x1,x2,x3,...,xn}，n为时间戳长度，xk为第k个采样点的注视点落在的aoi，xk∈[0,11],xk∈z；
[0025]
对于每一个采样点，首先根据眼动数据中的眼动类型判断是否为注视点，如果不是，则该采样点在眼动aoi序列中标示为0，如果是注视点，则通过驾舱前景图上注视点的二维坐标判断注视点落在哪一个aoi，该采样点在眼动aoi序列中设置为所在aoi对应的元素。
[0026]
进一步地，所述对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型，其具体实现的方法包括：
[0027]
计算每个眼动aoi序列中两两aoi之间的转移的条件转移矩阵；
[0028]
对应条件转移矩阵中的每个元素p
ij
(t)设定两个参数，分别为延迟时间td和上升趋势λ；
[0029]
对应条件转移矩阵中的每个元素p
ij
(t)，计算延迟时间td和上升趋势λ；
[0030]
将条件转移矩阵中所有元素的延迟时间td和上升趋势λ按照固定顺序组合成和然后将两者的结合作为定义参数组配置给条件转移矩阵，完成对每个窗口内的视觉扫描模式模型的建立。
[0031]
进一步地，对于所述相关性矩阵，统计其每个窗口内的视觉扫描模式和告警前的窗口内的视觉扫描模式的相关性，并且取均值，得到各窗口的相关性均值vi；
[0032]
相关性均值的计算公式为
[0033][0034]
式中，ρ
ij
为第i个窗口的视觉扫描模式和第j个窗口的视觉扫描模式的相关性，wb为告警前窗口的个数；
[0035]
找到告警后的窗口内相关性均值vi最低的窗口i，即为通过视觉扫描模式模型识别到的扫描模式的转换时间点。
[0036]
进一步地，所述时间滑动窗口的宽度设置为1分钟，时间滑动窗口的滑动步长设置为2秒。
[0037]
进一步地，所述aoi包括：空速、姿态、高度、主飞行显示器、导航显示器、备用板、电子集中监视系统、控制显示组件、飞行控制组件和窗外。
[0038]
在本发明的飞行员状态改变识别方法中，获取飞行员的眼动数据，并根据眼动数据来构建飞行员的眼动aoi序列，在眼动aoi序列上使用时间滑动窗口，对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型，然后确定飞行员状态改变的时间点。
[0039]
在本发明的飞行员状态改变识别方法中，将飞行员的眼动过程看成连续时间马尔科夫过程，这样一来，相较于传统的眼动指标，能够更全面地从各个角度反映飞行员的视觉扫描模式特征，区分不同的视觉扫描模式的效果更好，确定飞行员状态改变的时间点则更为准确。
附图说明
[0040]
图1为基于本发明的飞行员状态改变识别方法的总体流程图；
[0041]
图2为基于ctmc构造视觉扫描模式模型的流程图；
[0042]
图3为对条件转移矩阵中每个元素曲线进行拟合的示意图。
具体实施方式
[0043]
下面用具体实施例对本发明作进一步说明：
[0044]
本实施方式提供了一种飞行模拟实验飞行员状态改变识别方法。
[0045]
本实施方式所涉及的飞行模拟实验，其是指：飞行员在飞行模拟器上进行操控实验，当每个任务开始时，模拟器解冻并设置飞机所处于的初始位置、高度和空速，然后飞行员开始执行进近任务，当故障发生时，会有声音告警并亮起相应的警示灯，飞行员按照检查单程序开始处置故障。故障处置结束后，飞行员继续执行进近任务直到模拟器冻结。在实验的过程中，会模拟发出一些告警信号，以测试飞行员对告警任务的响应能力以及故障处置能力。
[0046]
在飞行模拟实验过程中，飞行员佩戴头戴式眼动仪，所述眼动仪用于实时地扫描采集飞行员的眼动数据。所述眼动仪是一种现有技术的装置，眼动仪能够对飞行员瞳孔中心位置以及角膜反射点进行计算，获取眼球运动情况的数据。
[0047]
本领域技术人员可以理解，本实施方式中所提及的“ctmc”，其是现有的连续时间马尔科夫链理论，在本实施方式中，将飞行员的眼动过程看成是连续时间马尔科夫过程。
[0048]
参见图1，本实施方式的飞行员状态改变识别方法包括如下步骤s1至s7。
[0049]
s1，获取飞行员在飞行模拟实验中的眼动数据，并且标记告警时间点。
[0050]
所述眼动数据中包括一系列眼动行为数据，每个眼动行为数据中包括驾舱前景图二维坐标、时间戳以及眼动事件类型，这些数据可以通过操作眼动仪导出来获取。
[0051]
具体来说，
[0052]
所述“获取飞行员在飞行模拟实验中的眼动数据”，其具体包括：
[0053]
s11，将眼动仪采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图(就是飞行模拟器的驾舱前景图)上，从而生成每个注视点在驾舱前景图的二维坐标。
[0054]
在本实施方式中，该步骤s11具体做法包括：
[0055]
s111，导入飞行模拟实验的驾舱前景图至眼动仪配套的眼动软件中。
[0056]
s112，在眼动仪配套的眼动软件中将眼动仪采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，从而生成每个注视点在驾舱前景图的二维坐标。
[0057]
s12，对应驾舱前景图上的每一个注视点，将与该注视点相关的驾舱前景图二维坐标、时间戳以及眼动事件类型组合构成眼动行为数据，将所有眼动行为数据归集后构成所述眼动数据。
[0058]
在本实施方式中，可以从眼动仪中导出眼动数据，导出的眼动数据如表1所示。
[0059]
最终生成的的眼动数据如表1所示，包括：时间戳、驾舱前景图上映射的注视点的x坐标、驾舱前景图上映射的注视点的y坐标、映射的眼动事件类型。
[0060]
表1导出的眼动参数
[0061][0062]
需要说明的是，所述眼动数据是由飞行员佩戴的眼动仪采集获取的。
[0063]
s2，根据步骤s1中获得的眼动数据来构建飞行员的眼动aoi序列。
[0064]
具体来说，具体包括，
[0065]
s21，设飞行员眼动aoi序列为x＝{x1,x2,x3,...,xn}，n为时间戳长度，xk为第k个采样点的注视点落在的aoi，xk∈[0,11],xk∈z。
[0066]
s22，对于每一个采样点，首先根据眼动数据中的眼动类型判断是否为注视点，如果不是，则该采样点在眼动aoi序列中标示为0，如果是注视点，则通过驾舱前景图上注视点的二维坐标判断注视点落在哪一个aoi，该采样点在眼动aoi序列中设置为所在aoi对应的元素。
[0067]
本领域技术人员可以理解，这里所述的采样点就是对应之前所述的时间戳。
[0068]
需要说明的是，本实施方式中所提及的aoi包括：空速(airspeed)、姿态(attitude)、高度(altitude)、主飞行显示器(pfd，除airspeed、attitude、altitude三者以外的pfd区域)、导航显示器(mcp)、备用板(standby)、电子集中监视系统(ecam)、控制显示组件(cdu)、飞行控制组件(fcp)、窗外(otw)和其他共11个感兴趣区域，在序列中分别用元素1-11表示。
[0069]
驾舱的各个感兴趣区域和元素1-11的对应关系如表2所示。
[0070]
表2飞行员眼动感兴趣区域(aoi)和元素对应表
[0071]
面板airspeedattitudealtitudemcpstandbyecamcudfcpotwpfdothers元素1234567891011
[0072]
s3，在步骤s2获得的飞行员的眼动aoi序列上使用时间滑动窗口。
[0073]
在本实施方式中，时间滑动窗口的宽度设置为1分钟，时间滑动窗口的滑动步长设置为2秒。
[0074]
s4，对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型。
[0075]
参见图2，其具体过程如下：
[0076]
s41，计算每个“眼动aoi序列中两两aoi之间的转移”的条件转移矩阵。
[0077]
具体来说，
[0078]
所述条件转移矩阵定义为在宽度为win的时间范围内的所述条件转移矩阵定义为在宽度为win的时间范围内的n为窗口内aoi的总个数，条件转移矩阵中的每个元素p
ij
(t)的计算公式为：
[0079]
p
ij
(t)＝n
ij
(t)/n
ij
(win)，
[0080]
式中，n
ij
(t)为从win时间范围起始时间开始后的t时间内从aoi i转移到aoi j的次数，n
ij
(win)为在win时间范围内从aoi i转移到aoi j的总次数。考虑到在每个aoi上会有一定大小的注视时间，转移的时间点选取为注视点离开aoi i后转移到aoi j上的起始时间；
[0081]
需要说明的是，由n个aoi构成的条件转移矩阵共有n2个元素，每个元素对应两两aoi之间的一个转移。
[0082]
s42，对应条件转移矩阵中的每个元素p
ij
(t)设定两个参数，分别为延迟时间td和上升趋势λ，该延迟时间td和上升趋势λ的意义在于反映“延迟时间条件转移矩阵中元素对应的转移在窗口内初次出现的时刻，上升趋势表示条件转移矩阵中元素对应的转移在整个窗口时间内的整体分布”。
[0083]
y＝-e-λx
+c
[0084]
具体来说，
[0085]
条件转移矩阵中的每个元素p
ij
(t)对应一条曲线，如图3中的实线为条件转移矩阵中的一个元素示例，p
ij
(t)最小为0，经过一个延迟时间td后开始上升，上升趋势用参数λ表示，经过一段时间的上升后最终值为1。因此，用延迟时间td和上升趋势λ来表示一个元素p
ij
(t)，所有元素的延迟时间td和上升趋势λ按照固定顺序组合成和就可以用来描述条件转移矩阵p
win
(t)。在本实施方式中，将称之为条件转移矩阵的定义参数组，
[0086]
s43，对应条件转移矩阵中的每个元素p
ij
(t)，计算延迟时间td和上升趋势λ。
[0087]
具体来说，计算过程包括：
[0088]
s431，条件转移矩阵中元素对应的转移在窗口内初次出现的时刻记为延迟时间td。如图3示例中，实线部分首个非零值出现的时间点即为延迟时间td；
[0089]
s432，对“条件转移矩阵中元素所对应的曲线”使用指数函数
[0090]
y＝-e-λx
+c
[0091]
进行拟合，得到上升趋势λ。
[0092]
拟合后的曲线如图3中虚线所示。
[0093]
s44，将条件转移矩阵中所有元素的延迟时间td和上升趋势λ按照固定顺序组合成
和然后将两者的结合作为定义参数组配置给条件转移矩阵，从而完成对每个窗口内的视觉扫描模式模型的建立。
[0094]
s5，对于每个窗口的视觉扫描模式模型，使用公式
[0095][0096]
来计算两两窗口之间皮尔逊相关性系数，用以量化两者之间的相关性。
[0097]
将所有窗口两两之间的皮尔逊相关性系数组成相关性矩阵r：
[0098][0099]
其中，m为窗口总个数，其中ρ
ij
为第i个窗口和第j个窗口的皮尔逊相关性系数。
[0100]
需要说明的是，皮尔逊相关性系数的绝对值越接近于1，说明对应的两个窗口的视觉扫描模式的相关性越大，模式越相似；皮尔逊相关性系数越接近0，说明对应的两个窗口的视觉扫描模式的相关性越小，模式差异性越大。
[0101]
s6，根据预先标记的告警时间点，并依据步骤s5中得出的“所有窗口两两之间的皮尔逊相关性系数”，在告警后的窗口中找到一个和告警前各窗口的相关性最低的窗口(即，两者之间的皮尔逊相关性系数的绝对值最小)，从而认定在该窗口时间内，飞行员的视觉扫描模式发生了显著的转换，即飞行员状态发生改变。
[0102]
对于相关性矩阵，统计其每个窗口内的视觉扫描模式和告警前的窗口内的视觉扫描模式的相关性，并且取均值，得到各窗口的相关性均值vi。
[0103]
相关性均值的计算公式如下：
[0104][0105]
式中，ρ
ij
为第i个窗口的视觉扫描模式和第j个窗口的视觉扫描模式的相关性，wb为告警前窗口的个数。
[0106]
找到告警后的窗口内相关性均值vi最低的窗口i，即为通过视觉扫描模式模型识别到的扫描模式的转换时间点。该转换时间点则可视其为飞行员状态改变的时间点。
[0107]
s7、通过对比“步骤s6中得出的转换时间点”与“标记告警时间点的窗口”，得出两者之间的时间差，该时间差就可以确认为视觉扫描模式的转换时间点和告警时间之间的时间差。通俗来说，这也就是飞行员对于告警事件的反应时间。
[0108]
至此，完成识别。
[0109]
在本实施方式的飞行员状态改变识别方法中，获取飞行员的眼动数据，并根据眼动数据来构建飞行员的眼动aoi序列，在眼动aoi序列上使用时间滑动窗口，对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型，然后确定飞行员状态改变的时间点。也就是说，在本实施方式中，将飞行员的眼动过程看成连续时间马尔科夫过程，这样一
来，相较于传统的眼动指标，能够更全面地从各个角度反映飞行员的视觉扫描模式特征，区分不同的视觉扫描模式的效果更好，确定飞行员状态改变的时间点则更为准确。
[0110]
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种飞行模拟实验飞行员状态改变识别方法，其特征在于：包括：获取飞行员在飞行模拟实验中的眼动数据，并且标记告警时间点；根据眼动数据来构建飞行员的眼动aoi序列；在所述飞行员的眼动aoi序列上使用时间滑动窗口；对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型；对于每个窗口的视觉扫描模式模型，计算两两窗口之间皮尔逊相关性系数，将所有窗口两两之间的皮尔逊相关性系数组成相关性矩阵；根据预先标记的告警时间点，并依据所有窗口两两之间的皮尔逊相关性系数，在告警后的窗口中找到一个和告警前各窗口的相关性最低的窗口，将该窗口确定为转换时间点；通过对比得出所述转换时间点与标记告警时间点的窗口之间的时间差，将该时间差确定为飞行员状态改变时间差。2.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述获取飞行员在飞行模拟实验中的眼动数据，其具体实现的方法包括：将采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，从而生成每个注视点在驾舱前景图的二维坐标；对应驾舱前景图上的每一个注视点，将与该注视点相关的驾舱前景图二维坐标、时间戳以及眼动事件类型组合构成眼动行为数据，将所有眼动行为数据归集后构成所述眼动数据。3.根据权利要求2所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述将采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，其具体实现的方法包括：导入飞行模拟实验的驾舱前景图至眼动仪配套的眼动软件中；在眼动仪配套的眼动软件中将眼动仪采集到的飞行员的注视点映射到飞行模拟实验的驾舱前景图上，生成每个注视点在驾舱前景图的二维坐标。4.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述根据眼动数据来构建飞行员的眼动aoi序列，其具体实现的方法包括：设飞行员眼动aoi序列为x＝{x1,x2,x3,...,x
n
}，n为时间戳长度，x
k
为第k个采样点的注视点落在的aoi，x
k
∈[0,11],x
k
∈z；对于每一个采样点，首先根据眼动数据中的眼动类型判断是否为注视点，如果不是，则该采样点在眼动aoi序列中标示为0，如果是注视点，则通过驾舱前景图上注视点的二维坐标判断注视点落在哪一个aoi，该采样点在眼动aoi序列中设置为所在aoi对应的元素。5.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述对于每个窗口内的眼动aoi序列，基于ctmc来构建视觉扫描模式模型，其具体实现的方法包括：计算每个眼动aoi序列中两两aoi之间的转移的条件转移矩阵；对应条件转移矩阵中的每个元素p
ij
(t)设定两个参数，分别为延迟时间t
d
和上升趋势λ；对应条件转移矩阵中的每个元素p
ij
(t)，计算延迟时间t
d
和上升趋势λ；将条件转移矩阵中所有元素的延迟时间t
d
和上升趋势λ按照固定顺序组合成和然后将两者的结合作为定义参数组配置给条件转移矩阵，完成对每个窗口内的视觉扫
描模式模型的建立。6.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：对于所述相关性矩阵，统计其每个窗口内的视觉扫描模式和告警前的窗口内的视觉扫描模式的相关性，并且取均值，得到各窗口的相关性均值v
i
；相关性均值的计算公式为式中，ρ
ij
为第i个窗口的视觉扫描模式和第j个窗口的视觉扫描模式的相关性，wb为告警前窗口的个数；找到告警后的窗口内相关性均值v
i
最低的窗口i，即为通过视觉扫描模式模型识别到的扫描模式的转换时间点。7.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述时间滑动窗口的宽度设置为1分钟，时间滑动窗口的滑动步长设置为2秒。8.根据权利要求1所述飞行模拟实验飞行员状态改变识别方法，其特征在于：所述aoi包括：空速、姿态、高度、主飞行显示器、导航显示器、备用板、电子集中监视系统、控制显示组件、飞行控制组件和窗外。

技术总结
本发明公开了一种飞行模拟实验飞行员状态改变识别方法。包括：获取飞行员在飞行模拟实验中的眼动数据；根据眼动数据来构建眼动AOI序列；在眼动AOI序列上使用时间滑动窗口；对于每个窗口内的眼动AOI序列，基于CTMC来构建视觉扫描模式模型；对于每个窗口的视觉扫描模式模型，计算两两窗口之间皮尔逊相关性系数，将所有窗口两两之间的皮尔逊相关性系数组成相关性矩阵；在告警后的窗口中找到一个和告警前各窗口的相关性最低的窗口，将该窗口确定为转换时间点；通过对比得出转换时间点与标记告警时间点的窗口之间的时间差，将该时间差确定为飞行员状态改变时间差。本发明的飞行员状态改变识别方法能够准确确定飞行员状态改变的时间点。的时间点。的时间点。


技术研发人员：花玥 陆燕玉 傅山
受保护的技术使用者：上海交通大学
技术研发日：2023.06.26
技术公布日：2023/9/13