一种基于注意力机制的多模态异步时序预测方法及装置

1.本发明涉及人工智能辅助诊疗技术领域，具体涉及一种基于注意力机制的多模态异步时序预测方法及装置。


背景技术：

2.近年来，深度学习在处理时序数据方面获得了极大的进步，如自然语言处理、语音识别等领域，但临床场景中的时序数据处理仍处于探索阶段。在临床实践中，由于需要多次且不定期进行多种检查以关注病情进展，会源源不断地产生多模态、异构且在时间上不对齐的时序数据。这些时序数据通常与病情密切相关，除了临床检测结果本身，其中包含的做检测的时间点、时间间隔信息等均能在一定程度上反映患者的相关病情情况。因此对临床多模态异步时序数据进行建模与深度挖掘，能够有效实现临床早期诊断与预防，具有极大的现实意义。
3.在临床实践中，多模态异步时序数据的建模任务是一项艰巨的挑战，这是由现实世界种临床时序数据的特性决定的：首先，它总是时序性的，并且由于相同指标测量时间间隔不一致、不同指标测量频率不一致等原因，它在时间序列上总是异步的；另外，它总是多模态的，包括但不限于影像数据、临床检验指标、实验室值等。
4.随着深度学习的快速发展，对异步时序数据分析建模的方法越来越多。其中，最经典的方法之一是递归神经网络。传统的神经网络只会关注当前时刻的处理，不会关注上一时刻的处理会有什么信息可以用于下一时刻。但递归神经网络带有一个指向自身的环，用来传递当前时刻处理的信息给下一时刻使用，实现了记忆功能。其中长短期记忆网络还解决了原始递归神经网络中可能出现的梯度消失、梯度爆炸问题，并实现了“长时”记忆。然而递归神经网络本质为某一过程的离散近似，并且默认时序数据的时间间隔是同步的，当数据是不规则采样时，这种离散化方法通常会失效。
5.神经微分方程是目前对某一过程连续建模的常用选择，它描述了一个过程连续的变化。其中，神经常微分方程描述了某些由一个变量决定的过程随时间的变化，如果以恰当的形式给出微分方程，即可通过解析法对其进行求解。神经常微分方程把时序数据建模从离散世界带到了连续世界，但是，它存在一个基本问题：常微分方程的解是由其初始条件决定的，缺乏根据后续观察调整轨迹的机制。然而现实情况中，临床数据包含各种各样的模态，如影像数据、临床检验指标、实验室值等等，并且几乎总是不定期采样的，不同时间点的数据都对预测结果有不同程度的影响，故而神经常微分方程的特点限制了其临床预测性能。有研究提出神经受控微分方程的概念，解决了神经常微分方程的解由初始值决定的问题，使得后续产生的时序数据可以得到进一步利用，同时又保证隐藏状态是连续变化的。然而它没有考虑到不同时间点对预测的权重影响，现实情况中，距离预测时间越久远的临床数据信息，通常情况下对临床预测结果影响越小。
6.因此，需要一种能有效权衡待预测时间点前不同时刻临床信息的多模态异步时序预测方法，该方法能够统一不同模态的临床数据，更好地利用临床异步时序数据，并结合患
者静态人口统计信息，得到更加准确的临床预测结果，实现早诊断、早预防，降低患病率。


技术实现要素：

7.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于注意力机制的多模态异步时序预测方法及装置；用以解决临床场景中出现的时序预测任务，填补了临床场景中异步时序建模的空白，有助于实现疾病的早期筛查与预防，提出了一种简单的非线性注意力机制，能够有效利用异步时序数据中时序信息和数据本身信息，简单高效地生成时序注意力与自注意力，从而提高异步时序预测精度，并保证模型的简单轻量。
8.为达到以上目的，本发明采取的技术方案是：
9.获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；
10.构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；
11.基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果；
12.根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练；
13.基于训练完成的异步时序数据预测模块实现多模态异步时序预测。
14.在上述技术方案的基础上，所述多模态数据包括放射学、实验室和临床检验数据。
15.在上述技术方案的基础上，所述构建非线性的时序注意力矩阵，具体步骤包括：
16.构建非线性时序注意力矩阵生成模块，并将时间点序列转置作差，得到初始化的线性时序注意力矩阵；
17.将初始化的线性时序注意力矩阵输入非线性时序注意力生成模块，得到非线性的时序注意力矩阵；
18.所述得到非线性的时序注意力矩阵，具体实现过程为：
19.t＝[t1,t2,...,t
t
]
[0020]
temporal_attn＝mlp(repeat_t-t
′
)
[0021]
其中，t为1*t的时间间隔序列，t
t
为第个t时间间隔，repeat_t为t重复t次的结果，t
′
为t的转置，temporal_attn为时序注意力矩阵，mlp为多层感知器。
[0022]
在上述技术方案的基础上，在得到非线性的时序注意力矩阵的同时，还包括：
[0023]
根据损失函数的回传训练非线性时序注意力生成模块。
[0024]
在上述技术方案的基础上，在构建非线性的时序注意力矩阵之后，还包括：对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度；
[0025]
所述对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度，具体为：
[0026]
基于稀疏数据的时序数据中每个位置的实际记录，得到针对时序数据的mask，并在时间纬度进行累加操作，得到当前时序数据对应的时刻之前每个特征的记录次数，作为观测强度。
[0027]
在上述技术方案的基础上，所述异步时序数据预测模块包括多个非线性简单异步时序注意层、一个全连接层和一个池化层；
[0028]
所述非线性简单异步时序注意层，具体为：
[0029]
simta_plus(x,t)＝softmax(a)σ(f(x))
[0030]
其中，simta_plus为非线性简单异步时序注意层，x为输入变量，t为时间间隔序列，softmax为激活函数，σ为激活函数，f为全连接层，a为注意力矩阵。
[0031]
在上述技术方案的基础上，所述基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，具体步骤包括：
[0032]
将多模态数据的静态特征和时序特征作为输入，输入当前非线性简单异步时序注意层；
[0033]
将输入的静态特征通过全连接层，得到当前非线性简单异步时序注意层的输出静态特征；
[0034]
拼接输入的静态特征与时序特征并生成自注意力矩阵，将生成的自注意力矩阵与时序注意力矩阵相加，得到总注意力矩阵；
[0035]
将输入的时序特征自通过全连接层，得到处理后时序特征，并将处理后时序特征与总注意力矩阵相乘，得到当前非线性简单异步时序注意层的输出时序特征；
[0036]
将当前非线性简单异步时序注意层的输出静态特征与输出时序特作为输入，输入下一非线性简单异步时序注意层，依此循环，直至最后一非线性简单异步时序注意层输出静态特征和时序特征。
[0037]
在上述技术方案的基础上，所述将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，具体步骤包括：
[0038]
将最后一非线性简单异步时序注意层输出的静态特征和时序特征进行拼接，得到拼接结果；
[0039]
将拼接结果输入分类器，得到不同时间点的预测概率，并且在时间纬度上对拼接结果进行最大池化操作，得到预测结果。
[0040]
在上述技术方案的基础上，所述根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，具体步骤包括：
[0041]
基于损失函数计算预测结果与多模态数据标签之间的交叉熵损失，对所述时序注意力矩阵以及异步时序数据预测模块进行迭代训练；
[0042]
其中，损失函数为：
[0043][0044]
其中，l为损失程度，n为多模态数据的数量，yi为第i个多模态数据的标签，pi为第i个多模态数据预测为正类的概率。
[0045]
本发明还提供一种基于注意力机制的多模态异步时序预测装置包括：
[0046]
获取模块，其用于获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；
[0047]
构建模块，其用于构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；
[0048]
执行模块，其用于基于所述构建模块构建的异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输
出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，根据得到的预测结果与标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，并基于训练完成的异步时序数据预测模块实现多模态异步时序预测。
[0049]
与现有技术相比，本发明的优点在于：
[0050]
(1)本发明提出了一种基于注意力机制的多模态异步时序数据预测方法及装置，用以解决临床场景中出现的时序预测任务，填补了临床场景中异步时序建模的空白，有助于实现疾病的早期筛查与预防。
[0051]
(2)本发明提出了一种简单的非线性注意力机制，能够有效利用异步时序数据中时序信息和数据本身信息，简单高效地生成时序注意力与自注意力，从而提高异步时序预测精度，并保证模型的简单轻量。
[0052]
(3)本发明针对稀疏记录的数据集，加入观测强度指标，充分挖掘数据本身携带的信息，有效利用不同时序特征的发生频率信息，提升异步时序预测准确率。
附图说明
[0053]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1为本发明实施例中一种基于注意力机制的多模态异步时序预测方法的流程示意图；
[0055]
图2为本发明实施例中模型训练阶段时序注意力矩阵可视化示意图；
[0056]
图3为本发明实施例中患者的时序注意力矩阵的可视化效果示意图。
具体实施方式
[0057]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。
[0058]
参见图1所示，本发明实施例提供一种基于注意力机制的多模态异步时序预测方法，包括以下步骤：
[0059]
s1：获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；
[0060]
s2：构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；
[0061]
s3：基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果；
[0062]
s4：根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练；
[0063]
s5：基于训练完成的异步时序数据预测模块实现多模态异步时序预测。
[0064]
即获取医疗实践中的多模态数据，并对获取得到的多模态数据进行预处理，对数
据进行预处理首先要统一数据格式，实施例中的多模态数据包含ct影像、实验室值、临床指标等类别，其中实验室值和临床指标均可以简单转换为特征名与特征值的格式，对于ct影像，首先将其重采样到1*1*1的体积，然后利用影像对应的仿射组学特征代替ct影像本身，完成数据格式的统一。ct影像的影像组学特征提取为本技术领域的公知技术，在此不作赘述。然后将不同时序特征在时间序列上对齐，此处我们将其整理成csv格式的表格，第一行是特征名，第一列为时间点序列，表格中每个位置便表示该特征对应时刻的值，若无记录则用nan填充。另外对于每个患者，也收集其性别、年龄、身高等静态信息。最后，将以上数据进行归一化操作。归一化操作为本技术领域的公知技术，在此不作赘述。
[0065]
然后构建非线性的时序注意力矩阵，通常情况下，距离待预测时间点越近的检测结果，对预测结果影响越大，所述检测结果为获取得到的多模态数据中的检测结果，首先将检测结果中对应的时间点序列转置作差，得到初始化时序注意力矩阵，然后使其通过一个两层的多层感知器(mlp)，得到非线性的时序注意力矩阵。再基于简单注意力机制构建异步时序预测模块。
[0066]
将时序注意力矩阵、多模态数据的静态特征和时序特征输入到构建的异步时序预测模块，得到输出的静态特征和时序特征，并将输出的静态特征和时序特征进行拼接，再基于最大池化操作得到最终的预测结果。
[0067]
基于得到的预测结果与样本标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，所述样本来源于获取得到的多模态数据，然后基于训练完成的异步时序数据预测模块实现多模态异步时序预测。
[0068]
本发明中，所述多模态数据包括放射学、实验室和临床检验数据。
[0069]
即获取的医疗实践中的多模态数据包含放射学、实验室和临床检验数据。
[0070]
本发明中，所述构建非线性的时序注意力矩阵，具体步骤包括：
[0071]
构建非线性时序注意力矩阵生成模块，并将时间点序列转置作差，得到初始化的线性时序注意力矩阵；
[0072]
将初始化的线性时序注意力矩阵输入非线性时序注意力生成模块，得到非线性的时序注意力矩阵；
[0073]
所述得到非线性的时序注意力矩阵，具体实现过程为：
[0074]
t＝[t1,t2,...,t
t
]
[0075]
temporal_attn＝mlp(repeat_t-t
′
)
[0076]
其中，t为1*t的时间间隔序列，t
t
为第个t时间间隔，repeat_t为t重复t次的结果，t
′
为t的转置，temporal_attn为时序注意力矩阵，mlp为多层感知器。
[0077]
即先构建非线性时序注意力矩阵生成模块，对于时间序列为1*t的实施例，将其重复t次得到repeat_t，然后将时间序列转置作差，得到初始化的线性时序注意力矩阵，再将初始化的线性时序注意力矩阵输入构建的非线性时序注意力矩阵生成模块，得到非线性的时序注意力矩阵；所述得到非线性的时序注意力矩阵具体实现过程为：
[0078]
t＝[t1,t2,...,t
t
]
[0079]
temporal_attn＝mlp(repeat_t-t
′
)
[0080]
本发明中，在得到非线性的时序注意力矩阵的同时，还包括：
[0081]
根据损失函数的回传训练非线性时序注意力生成模块。
[0082]
即在得到非线性的时序注意力矩阵的同时，还会根据损失函数的回传对非线性时序注意力生成模块进行训练。
[0083]
本发明中，在构建非线性的时序注意力矩阵之后，还包括：对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度；
[0084]
所述对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度，具体为：
[0085]
基于稀疏数据的时序数据中每个位置的实际记录，得到针对时序数据的mask，并在时间纬度进行累加操作，得到当前时序数据对应的时刻之前每个特征的记录次数，作为观测强度。
[0086]
即针对时序数据大小为t*c的实施例，首先根据每个位置是否有实际记录，得到一个针对时序数据的mask，mask中对应时序数据有真实记录的位置标记为1，无真实记录的位置标记为0，其中，所述mask为遮罩函数；然后在时间维度进行累加操作，即得到时序数据多对应的时刻之前每个特征的记录次数，作为观测强度。训练过程中，观测强度作为一个新的通道输入异步时序数据预测模块。
[0087]
本发明中，所述异步时序数据预测模块包括多个非线性简单异步时序注意层、一个全连接层和一个池化层；
[0088]
所述非线性简单异步时序注意层，具体为：
[0089]
simta_plus(x,t)＝softmax(a)σ(f(x))
[0090]
其中，simta_plus为非线性简单异步时序注意层，x为输入变量，t为时间间隔序列，softmax为激活函数，σ为激活函数，f为全连接层，a为注意力矩阵。
[0091]
即本发明实施例中的异步时序数据预测模块包括多个非线性简单异步时序注意层、一个全连接层和一个最大池化层。
[0092]
所述非线性简单异步时序注意层，具体为：
[0093]
simta_plus(x,t)＝softmax(a)σ(f(x))
[0094]
其中，a为注意力矩阵，此处的注意力包括两个部分，一个是上述步骤中得到时序注意力矩阵生成的时序注意力，另一个是数据本身的自注意力；所述时序注意力矩阵被全部的非线性简单异步时序注意层所共享。
[0095]
本发明中，所述基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，具体步骤包括：
[0096]
将多模态数据的静态特征和时序特征作为输入，输入当前非线性简单异步时序注意层；
[0097]
将输入的静态特征通过全连接层，得到当前非线性简单异步时序注意层的输出静态特征；
[0098]
拼接输入的静态特征与时序特征并生成自注意力矩阵，将生成的自注意力矩阵与时序注意力矩阵相加，得到总注意力矩阵；
[0099]
将输入的时序特征自通过全连接层，得到处理后时序特征，并将处理后时序特征与总注意力矩阵相乘，得到当前非线性简单异步时序注意层的输出时序特征；
[0100]
将当前非线性简单异步时序注意层的输出静态特征与输出时序特作为输入，输入下一非线性简单异步时序注意层，依此循环，直至最后一非线性简单异步时序注意层输出静态特征和时序特征。
[0101]
即参见图2所示，将获取的多模态数据的静态特征和时序特征作为输入，输入到当前非线性简单异步时序注意层，输入之后，将静态特征通过一个全连接层，得到当前非线性简单异步时序注意层的输出静态特征；将输入的静态特征和时序特征进行拼接，并生成自注意力矩阵，将生成的自注意力矩阵与上述步骤中得到的时序注意力矩阵相加，得到总注意力矩阵；将输入的时序特征通过另一个全连接层，得到处理后时序特征，并将处理后时序特征与总注意力矩阵相乘，得到当前非线性简单异步时序注意层的输出时序特征；将当前非线性简单异步时序注意层的输出静态特征与输出时序特作为输入，输入下一非线性简单异步时序注意层，并依此循环，直至最后一非线性简单异步时序注意层输出静态特征和时序特征，得到最后一非线性简单异步时序注意层输出的静态特征和时序特征；在图2中，layer n表示非线性简单异步时序注意层的第n层。
[0102]
本发明中，所述将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，具体步骤包括：
[0103]
将最后一非线性简单异步时序注意层输出的静态特征和时序特征进行拼接，得到拼接结果；
[0104]
将拼接结果输入分类器，得到不同时间点的预测概率，并且在时间纬度上对拼接结果进行最大池化操作，得到预测结果。
[0105]
即将最后一非线性简单异步时序注意层输出的静态特征和时序特征进行拼接，得到拼接结果；将拼接结果输入到一个分类器，所述分类器为一个全连接层，得到不同时间点的预测概率，并在时间维度上进行最大池化操作，得到最终的预测结果。
[0106]
本发明中，所述根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，具体步骤包括：
[0107]
基于损失函数计算预测结果与多模态数据标签之间的交叉熵损失，对所述时序注意力矩阵以及异步时序数据预测模块进行迭代训练；
[0108]
其中，损失函数为：
[0109][0110]
其中，l为损失程度，n为多模态数据的数量，yi为第i个多模态数据的标签，pi为第i个多模态数据预测为正类的概率。
[0111]
即异步时序预测模块得到预测结果之后，还需要基于预测结果和样本标签之间的交叉熵损失，对所述时序注意力矩阵以及异步时序数据预测模块进行迭代训练，所述样本为获取得到的时序数据；其中，所述损失函数为：
[0112][0113]
本发明实施例还提供一种基于注意力机制的多模态异步时序预测装置，包括：
[0114]
获取模块，其用于获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；
[0115]
构建模块，其用于构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；
[0116]
执行模块，其用于基于所述构建模块构建的异步时序预测模块，将时序注意力矩
阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，根据得到的预测结果与标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，并基于所述训练模块训练完成的异步时序数据预测模块实现多模态异步时序预测；
[0117]
即本发明实施例还提供一种基于注意力机制的多模态异步时序预测装置，包括获取模块、构建模块和执行模块；所述获取模块用于获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐，所述医疗实践中的多模态数据包括放射学、实验室和临床检验数据；所述构建模块用于构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；所述执行模块用于基于所述构建模块构建得到的异步时序预测模块，将多模态数据的静态特征和时序特征输入，得到异步时序预测模块输出的静态特征和时序特征，再将输出的静态特征和时序特征进行拼接，并基于最大池化操作得到预测结果，根据得到的预测结果与多模态数据的标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，并基于训练完成的异步时序数据预测模块实现多模态异步时序预测。
[0118]
以下通过对比实验来验证本发明的有益效果。
[0119]
本试验采用的数据包含99例患者的随访数据，共计793例ct影像、1335份实验室值、99份临床数据以及320项反应评估。我们将模型的任务设置为在反应评估前90天用静态数据和所有序列数据预测抗pd-1免疫治疗非小细胞肺癌的反应(nsclc)的进展，具体实施为三分类，cr/pr(完全/部分缓解)、sd(疾病稳定)或pd(疾病进展)。所有的数据被进一步分为动态数据和静态数据。对比方法主要包括：lstm、neuralcde、gru-ode、ode-rnn，本发明方法以具体实施方式的方法为例。
[0120]
预测任务的评价指标为auc，roc曲线下面积。其值在0-1之间，越接近1，说明模型效果越好。
[0121]
表1模型对预测免疫治疗反应的auc
[0122]
方法valauctestauclstm0.7070.713ode-rnn0.7370.732gru-ode0.7490.764neuralcde0.7510.798simta_plus0.8330.831
[0123]
从表1中可见，本发明方法稳定的超过了所有对比方法。并且我们同时对比了验证auc和测试auc，可以看到，虽然neuralcde的测试auc也达到了较高的水平，但其验证auc和测试auc之间有明显较大的差异，这可能是由于神经微分方程对于这个小数据集来说过于复杂，从而鲁棒性较差。二我们的方法在提高预测性能的同时，又保持了简单轻量的模型。
[0124]
进一步的，图3展示了本发明中模型训练阶段几个代表性患者的时序注意力矩阵的可视化效果。每个时序注意力矩阵的形状为t
×
t，其中t是该患者时间序列的长度，位置(i,j)处的值表示时间点t_i和t_j之间的注意力强度，图3中每个方框中左侧的实际颜色为蓝色，右侧的实际颜色为红色，红色表示更强的注意力，蓝色则相反。可以观察到这些注意力矩阵的一个共同点，即随着时间点的延伸，注意力逐渐变强，这与我们的直观认知是相匹
配的。还可以观察到，第一行的两例患者的注意力矩阵强度随时间均匀变化，但第二行的两例患者注意力强度到最后的时间点突然变强，这与对应患者的原始数据是相匹配的，患者p004163与p007957中间大部分数据缺失，在最后几小时甚至一小时有较完整的记录。这也验证了本文提出的方法能同时捕捉线性及非线性的时序注意力。
[0125]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
[0126]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

技术特征：
1.一种基于注意力机制的多模态异步时序预测方法，其特征在于，包括以下步骤：获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果；根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练；基于训练完成的异步时序数据预测模块实现多模态异步时序预测。2.如权利要求1所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，所述多模态数据包括放射学、实验室和临床检验数据。3.如权利要求1所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，所述构建非线性的时序注意力矩阵，具体步骤包括：构建非线性时序注意力矩阵生成模块，并将时间点序列转置作差，得到初始化的线性时序注意力矩阵；将初始化的线性时序注意力矩阵输入非线性时序注意力生成模块，得到非线性的时序注意力矩阵；所述得到非线性的时序注意力矩阵，具体实现过程为：t＝[t1,t2,...,t
t
]temporal_attn＝mlp(repeat_t-t
′
)其中，t为1*t的时间间隔序列，t
t
为第个t时间间隔，repeat_t为t重复t次的结果，t
′
为t的转置，temporal_attn为时序注意力矩阵，mlp为多层感知器。4.如权利要求3所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，在得到非线性的时序注意力矩阵的同时，还包括：根据损失函数的回传训练非线性时序注意力生成模块。5.如权利要求3所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于：在构建非线性的时序注意力矩阵之后，还包括：对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度；所述对于对齐后的多模态数据中的稀疏数据，对稀疏数据添加观测强度，具体为：基于稀疏数据的时序数据中每个位置的实际记录，得到针对时序数据的mask，并在时间纬度进行累加操作，得到当前时序数据对应的时刻之前每个特征的记录次数，作为观测强度。6.如权利要求1所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于：所述异步时序数据预测模块包括多个非线性简单异步时序注意层、一个全连接层和一个池化层；所述非线性简单异步时序注意层，具体为：simta_plus(x,t)＝softmax(a)σ(f(x))其中，simta_plus为非线性简单异步时序注意层，x为输入变量，t为时间间隔序列，
softmax为激活函数，σ为激活函数，f为全连接层，a为注意力矩阵。7.如权利要求6所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，所述基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，具体步骤包括：将多模态数据的静态特征和时序特征作为输入，输入当前非线性简单异步时序注意层；将输入的静态特征通过全连接层，得到当前非线性简单异步时序注意层的输出静态特征；拼接输入的静态特征与时序特征并生成自注意力矩阵，将生成的自注意力矩阵与时序注意力矩阵相加，得到总注意力矩阵；将输入的时序特征自通过全连接层，得到处理后时序特征，并将处理后时序特征与总注意力矩阵相乘，得到当前非线性简单异步时序注意层的输出时序特征；将当前非线性简单异步时序注意层的输出静态特征与输出时序特作为输入，输入下一非线性简单异步时序注意层，依此循环，直至最后一非线性简单异步时序注意层输出静态特征和时序特征。8.如权利要求7所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，所述将输出的静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，具体步骤包括：将最后一非线性简单异步时序注意层输出的静态特征和时序特征进行拼接，得到拼接结果；将拼接结果输入分类器，得到不同时间点的预测概率，并且在时间纬度上对拼接结果进行最大池化操作，得到预测结果。9.如权利要求1所述的一种基于注意力机制的多模态异步时序预测方法，其特征在于，所述根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，具体步骤包括：基于损失函数计算预测结果与多模态数据标签之间的交叉熵损失，对所述时序注意力矩阵以及异步时序数据预测模块进行迭代训练；其中，损失函数为：其中，l为损失程度，n为多模态数据的数量，y
i
为第i个多模态数据的标签，p
i
为第i个多模态数据预测为正类的概率。10.一种基于注意力机制的多模态异步时序预测装置，其特征在于，包括：获取模块，其用于获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理以实现格式统一和时间上的对齐；构建模块，其用于构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；执行模块，其用于基于所述构建模块构建的异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征，并将输出的
静态特征和时序特征进行拼接，基于最大池化操作得到预测结果，根据得到的预测结果与标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练，并基于训练完成的异步时序数据预测模块实现多模态异步时序预测。

技术总结
本发明公开了一种基于注意力机制的多模态异步时序预测方法及装置，涉及人工智能辅助诊疗技术领域，其中，预测方法包括：获取医疗实践中的多模态数据，并对获取的多模态数据进行预处理；构建非线性的时序注意力矩阵和基于简单注意力机制的异步时序预测模块；基于异步时序预测模块，将时序注意力矩阵以及多模态数据的静态特征和时序特征输入，得到输出的静态特征和时序特征并进行拼接，基于最大池化操作得到预测结果；根据得到的预测结果与多模态数据标签之间的交叉熵损失，对时序注意力矩阵和异步时序数据预测模块进行迭代训练；基于训练完成的异步时序数据预测模块实现多模态异步时序预测。本发明有助于实现疾病的早期筛查与预防。防。防。


技术研发人员：杜博 李璟瑜 万国佳
受保护的技术使用者：武汉大学
技术研发日：2023.04.14
技术公布日：2023/7/28