基于视频数据的老年痴呆症辅助诊断系统及其方法

1.本发明涉及视频分析领域，具体涉及基于视频数据的老年痴呆症辅助诊断系统及其方法。


背景技术：

2.随着社会老龄化的加剧，痴呆症的患病率也逐步升高。根据世界卫生组织发布的最新全球痴呆症患病率报告，2020年有5000多万人患有痴呆症，这一数字将每20年翻一番。中国是痴呆症患者最多的国家，痴呆老人的医疗、照料和管理已成为国家重要的公共卫生问题。
3.目前，诊断早期老年痴呆症的技术手段主要是根据临床症状采用认知测验和临床问卷调查进行综合评估。但是作为主要诊断标准的精神量表存在着受患者主观心理因素影响等技术缺陷。除了临床认知、心理等问卷调查外，生物标志物检测和神经影像技术也越来越广泛的使用在临床诊断的实践中。但此类技术检测依赖于专业设备和医疗人员，只能在特定场所使用。
4.随着医疗大数据累积和人工智能技术发展，人工智能在医疗领域应用已取得了一定的进展，智能辅助诊疗是人工智能在医疗领域最重要、最核心的应用场景之一，它通过大量的影像数据和诊断数据，不断对神经网络进行深度学习训练，促使其掌握诊断能力，对减轻医疗负担有很大的帮助。因此本发明提出基于视频数据的老年痴呆症辅助诊断系统及其方法。


技术实现要素：

5.为此，本发明提供基于视频数据的老年痴呆症辅助诊断系统及其方法，诊断准确性高，减轻医生的工作负担，同时有利于实现广大用户在社区或自己在家中进行早期认知异常预警和诊断。
6.为了实现上述目的，本发明提供如下技术方案：基于视频数据的老年痴呆症辅助诊断系统，包括终端、网络、服务器和数据库；
7.所述终端与服务器通过网络进行通信连接，所述终端用于采集受试者泡茶任务操作过程的视频，然后通过网络上传至服务器，服务器对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断，并将相关数据以及原始视频数据信息保存至数据库；
8.所述服务器中包括样本获取模块和模型训练生成模块；
9.所述样本获取模块用于原始视频数据的采集以及数据转换、预处理工作，生成供模块训练的样本数据和文本标签；
10.所述模型训练生成模块用于将训练样本数据和文本标签输入到神经训练网络进行训练。
11.进一步地，所述样本获取模块包括原始视频数据采集单元、视频数据关键帧截取单元、图像样本生成单元和图像样本预处理单元；
12.所述原始视频数据采集单元为具有摄像功能的电子设备；
13.所述视频数据关键帧截取单元用于读取原始视频数据流，根据视频fps和截取时间间隔t，等间隔截取视频帧并保存为静态图像，图像为png或jpg；
14.所述图像样本生成单元通过交互式标注对视频数据关键帧截取单元保存的静态原始图像进行人工筛选和标注，人工筛选对受试者泡茶操作过程中的关键人物交互行为的图像进行随机采样，关键人物交互行为包括打开电源开关、煮水、放茶叶、倒热水、倒茶水；
15.所述图像样本预处理单元在确保当数据顺利加载后将全部样本的尺寸调整为一致，且转换为神经训练网络所要求的tensor形式，并数据集按设定比例划分为训练集和测试集，同时使用数据增强技术减弱数据量不足所带来的影响，提升模型的鲁棒性。
16.进一步地，所述模型训练生成模块包括人物交互行为识别模型训练模块和人物交互行为识别模型预测模块；
17.所述人物交互行为识别模型训练模块采用在大量图像标题对上训练的clip模型，将收集到的图像样本-文本标签对，分别经过image-encoder和text-encoder获取到图像和文本的特征，然后通过点积计算一个batch中文本和图像两两之间的相似度，得到一个batch size x batch size的相似度矩阵，对角线上的相似度值就是正样本的相似度值，因此在训练过程中优化目标就是让正样本的相似度值尽可能大；模型架构分为两部分，图像编码器和文本编码器，图像编码器方面考虑2种不同的架构即残差网络resnet或视觉transformer，残差网络采用即resnet-50、resnet-100及按照efficientnet的思想对resnet-50分别作4倍、16倍和64倍的放缩得到的模型：resnet-50x4，resnet-50x16，resnet-50x64。vit采用vit-b/32、vit-b/16及vit-l/14这3个预训练模型；文本编码器使用深度为12，宽度为512，带有八个注意头的transformer编码器，其权重源自预训练的clip文本编码器；
18.所述人物交互行为识别模型预测模块在对输入图片进行人物交互行为分类任务的推理时，模型首先需要将类别标签转换成和预训练时候一样的句子，即通过prompt操作，获得类别相应的句子，最后计算输入图片和每个类别对应句子的相似度，相似度最高的句子对应的类别的就是预测的类别；
19.类别标签包括：打开电源开关、煮水、放茶叶、倒热水、倒茶水；prompt模板采用a photo of a[mask]，根据类别标签替换mask。
[0020]
进一步地，神经训练网络训练方法为：
[0021]
s210：人物交互行为信息序列预处理：
[0022]
s220：将人物交互行为信息序列预处理结果进行特征向量化；
[0023]
s230：将特征向量样本输入神经网络进行训练；
[0024]
s240：将训练好的网络模型保存，进行认知功能障碍推理预测。
[0025]
进一步地，s210对序列进行去重操作，仅保留前后相临两个数据有变化的部分关键数据，即保留受试者泡茶任务操作过程中的人物交互行为变化信息，序列元素是否保留的判断算法如下：
[0026][0027]
s220对去重后保留受试者泡茶任务操作过程中关键操作行为的序列进行特殊向
量化转换，生成满足神经网络输入数据格式要求的样本；
[0028]
s230完成神经网络模型的训练和验证，采用的网络模型为mlp、1dcnn、rnn、lstm、gru、cnn+lstm、textcnn、bilstm、attention、multiheadattention、attention+bilstm、bigru+attention、transformer、positionalembedding+transformer模型，优化器采用adam，数据批量长度为64，训练批次为10，初始学习率设置为0.001，训练集和测试集划分比例为9:1。
[0029]
本发明还包括一种基于视频数据的老年痴呆症辅助诊断系统的诊断方法，具体步骤如下：
[0030]
步骤s110：通过终端采集受试者泡茶任务操作过程的视频；
[0031]
步骤s120：将受试者泡茶操作视频数据通过网络上传至服务器；
[0032]
步骤s130：服务器对受试者泡茶操作视频数据帧转换为静态图片；
[0033]
步骤s140：服务器对转换后的静态图片进行预处理，生成供模块训练的样本数据和文本标签，再将训练样本数据和文本标签输入到神经训练网络进行训练；
[0034]
步骤s150：服务器对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断；
[0035]
步骤s160：服务器将相关数据以及原始视频数据信息保存至数据库。
[0036]
本发明具有如下优点：
[0037]
1、本发明是一种新型的老年痴呆症智能辅助诊断和早期预警手段，诊断准确性高，减轻医生的工作负担，同时有利于实现广大用户在社区或自己在家中进行早期认知异常预警和诊断。本发明采用预训练的clip模型在下游小小数据集上具备强大的迁移学习能力，大大降低了训练成本；
[0038]
2、本发明采取的泡茶任务来源于日常生活，老年人易理解接受，操作简便，避免长时间的繁琐评估，并且评价结果客观，避免了评估员主体差异带来的结果差别。
附图说明
[0039]
图1为本发明提供的基于视频数据的老年痴呆症辅助诊断系统及其方法的应用场景图；
[0040]
图2为本发明提供的基于视频数据的老年痴呆症辅助诊断系统图；
[0041]
图3为本发明提供的基于视频数据的老年痴呆症辅助诊断方法流程图；
[0042]
图4为本发明提供的人物交互行为识别神经网络的训练及预测方法流程图；
[0043]
图5为本发明提供的认知功能障碍神经网络的训练及预测方法的流程图；
[0044]
图中：101终端、102网络、103服务器、104数据库；
[0045]
310样本获取模块、311原始视频数据采集单元、312视频数据关键帧截取单元、313图像样本生成单元、314图像样本预处理单元；
[0046]
320模型训练生成模块、321人物交互行为识别模型训练模块、322人物交互行为识别模型预测模块。
具体实施方式
[0047]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明
书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
参照说明书附图1，本发明实施例提供基于视频数据的老年痴呆症辅助诊断系统及其方法的应用场景图。在该场景中，通过设置摄像头对受试者与泡茶相关物件的交互行为进行拍摄。通过本发明实施例提供的人物交互行为识别方法，能够检测出受试者的操作行为信息、泡茶相关物件的相关信息，以及受试者与物件的交互动作信息。泡茶场景的物件可以包括烧水壶、茶壶、茶杯、装有茶叶的茶叶罐、矿泉水、可乐、带指示灯的插座、桌子、椅子等。工作人员嘱咐老年人选择合适物品完成泡茶任务即可。具体执行步骤如下：1、工作人员嘱咐受试者坐下，并告知：“在您面前的桌面上，放着日常生活中泡茶所需要的工具，您可以根据您认为正确的操作方式进行实际操作，最终要泡出一杯热茶”；2、被试准备完毕，喊“开始”后录制泡茶过程，录制内容包括受试者所有的操作过程，喊“结束”后停止录制，期间不给与任何的提示。
[0049]
参照说明书附图2，本发明实施例提供基于视频数据的老年痴呆症辅助诊断系统图，包括终端101、网络102、服务器103和数据库104；
[0050]
所述终端101与服务器103通过网络102进行通信连接。所述终端101可以是各种形式的图像采集装置，如摄像头、照相机、手机等。所述服务器103可以是独立的服务器，部署本发明提供的老年痴呆症辅助诊断系统平台，也可以是多个服务器组成的服务器群，其中每一个服务器部署本发明提供的老年痴呆症辅助诊断系统及其方法的一个模块。当然，所述服务器103还可以是云端服务器，将本发明提供的老年痴呆症辅助诊断系统平台部署在云端服务器上。终端101采集受试者泡茶任务操作过程的视频，通过网络102上传至服务器103，服务器103对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断，并将相关数据以及原始视频数据等信息保存至数据库104。
[0051]
参照说明书附图3，本发明实施例提供基于视频数据的老年痴呆症辅助诊断方法流程图，包括：
[0052]
步骤s110：通过终端101采集受试者泡茶任务操作过程的视频；
[0053]
步骤s120：将受试者泡茶操作视频数据通过网络102上传至服务器103；
[0054]
步骤s130：服务器103对受试者泡茶操作视频数据帧转换为静态图片；
[0055]
步骤s140：服务器103对转换后的静态图片进行预处理，生成供模块训练的样本数据和文本标签，再将训练样本数据和文本标签输入到神经训练网络进行训练；
[0056]
步骤s150：服务器103对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断；
[0057]
步骤s160：服务器103将相关数据以及原始视频数据信息保存至数据库104。
[0058]
参照说明书附图4，本发明实施例提供基于视频数据的老年痴呆症辅助诊断系统的神经训练网络训练及预测方法流程图，该神经网络训练方法包括样本获取模块310和模型训练生成模块320；
[0059]
所述样本获取模块310用于原始视频数据的采集以及数据转换、预处理工作，生成供模块训练的样本数据和文本标签；
[0060]
所述模型训练生成模块320用于将训练样本数据和文本标签输入到神经训练网络
进行训练。
[0061]
在上述实施例的基础上，所述样本获取模块310包括原始视频数据采集单元311、视频数据关键帧截取单元312、图像样本生成单元313和图像样本预处理单元314；
[0062]
所述原始视频数据采集单元311为具有摄像功能的电子设备，例如摄像机、手机或者摄像头等；采集场景尽量在特定的光源条件下，对受试者泡茶操作过程进行视频采集，从而使得拍摄环境稳定，采集像素及色彩度高，有利于提高后续分析的准确性；
[0063]
所述视频数据关键帧截取单元312用于读取原始视频数据流，根据视频fps和截取时间间隔t，等间隔截取视频帧并保存为静态图像，图像为png或jpg；
[0064]
所述图像样本生成单元313通过交互式标注对视频数据关键帧截取单元312保存的静态原始图像进行人工筛选和标注，人工筛选是对受试者泡茶操作过程中的关键人物交互行为的图像进行随机采样，关键人物交互行为包括打开电源开关、煮水、放茶叶、倒热水、倒茶水等；
[0065]
所述图像样本预处理单元314在确保当数据顺利加载后将全部样本的尺寸调整为一致，且转换为神经训练网络所要求的tensor形式，并数据集按设定比例划分为训练集和测试集，同时使用数据增强技术减弱数据量不足所带来的影响，提升模型的鲁棒性，可用的数据增强手段包括：尺寸变化、像素值变化、视角变化以及其他变化，即旋转、调整饱和度及亮度，翻转，中心裁剪等操作。
[0066]
在上述实施例的基础上，所述模型训练生成模块320包括人物交互行为识别模型训练模块321和人物交互行为识别模型预测模块322；
[0067]
所述人物交互行为识别模型训练模块321采用在大量图像标题对上训练的clip模型，将收集到的图像样本-文本标签对，分别经过image-encoder和text-encoder获取到图像和文本的特征，然后通过点积计算一个batch中文本和图像两两之间的相似度，得到一个batch size x batch size的相似度矩阵，对角线上的相似度值就是正样本的相似度值，因此在训练过程中优化目标就是让正样本的相似度值尽可能大；模型架构分为两部分，图像编码器和文本编码器，图像编码器方面考虑2种不同的架构即残差网络resnet或视觉transformer，残差网络采用即resnet-50、resnet-100及按照efficientnet的思想对resnet-50分别作4倍、16倍和64倍的放缩得到的模型：resnet-50x4，resnet-50x16，resnet-50x64。vit采用vit-b/32、vit-b/16及vit-l/14这3个预训练模型；文本编码器使用深度为12，宽度为512，带有八个注意头的transformer编码器，其权重源自预训练的clip文本编码器。
[0068]
所述人物交互行为识别模型预测模块322在对输入图片进行人物交互行为分类任务的推理时，模型首先需要将类别标签转换成和预训练时候一样的句子，即通过prompt操作，获得类别相应的句子，最后计算输入图片和每个类别对应句子的相似度，相似度最高的句子对应的类别的就是预测的类别。
[0069]
类别标签包括：打开电源开关、煮水、放茶叶、倒热水、倒茶水等；prompt模板采用a photo of a[mask]，根据类别标签替换mask。
[0070]
可选的，类别标签包括：打开电源开关、煮水、放茶叶、倒热水、倒茶水等。prompt模板采用“aphoto of a[mask]”，根据类别标签替换mask。
[0071]
在本实施例中，痴呆症的识别系统可集成在诸如计算机、手机、平板电脑、中医四
诊仪等的电子设备中。
[0072]
在本实施例中，模型训练生成模块320可以预训练、单独训练或组合训练，以优化整体训练流程。可使用linear-probe固定/冻结预训练网络用于提取特征，然后添加可训练的线性分类器来完成训练；也可使用finetune对整个网络进行微调训练，使得网络中所有的可学习参数权重都得到更新。
[0073]
参照说明书附图5，本发明实施例提供基于视频数据的老年痴呆症辅助诊断系统的认知功能障碍神经网络的训练及预测方法流程图
[0074]
在上述实施例的基础上，神经网络训练方法还包括：
[0075]
s210：人物交互行为信息序列预处理：
[0076]
s220：将人物交互行为信息序列预处理结果进行特征向量化；
[0077]
s230：将特征向量样本输入神经网络进行训练；
[0078]
s240：将训练好的网络模型保存，进行认知功能障碍推理预测。
[0079]
具体的，s210对序列进行去重操作，仅保留前后相临两个数据有变化的部分关键数据，即保留受试者泡茶任务操作过程中的人物交互行为变化信息，序列元素是否保留的判断算法如下：
[0080][0081]
s220对去重后保留受试者泡茶任务操作过程中关键操作行为的序列进行特殊向量化转换，生成满足神经网络输入数据格式要求的样本；为了处理方便，可以序列数据转换为长度为l
seq
的定长特征向量。不够长度的可以尾部填充0，超出长度的可以截断。
[0082]
s230完成神经网络模型的训练和验证，采用的网络模型为mlp、1dcnn、rnn、lstm、gru、cnn+lstm、textcnn、bilstm、attention、multiheadattention、attention+bilstm、bigru+attention、transformer、positionalembedding+transformer等模型，优化器采用adam，数据批量长度为64，训练批次为10，初始学习率设置为0.001，训练集和测试集划分比例为9:1。
[0083]
本发明提供的基于视频数据的老年痴呆症辅助诊断系统及其方法，采取的泡茶任务来源于日常生活，老年人易理解接受，操作简便，避免长时间的繁琐评估，并且评价结果客观，避免了评估员主体差异带来的结果差别；
[0084]
并且，本发明诊断准确性高，减轻医生的工作负担，同时有利于实现广大用户在社区或自己在家中进行早期认知异常预警和诊断。本发明采用预训练的clip模型在下游小小数据集上具备强大的迁移学习能力，大大降低了训练成本。
[0085]
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

技术特征：
1.基于视频数据的老年痴呆症辅助诊断系统，其特征在于：包括终端(101)、网络(102)、服务器(103)和数据库(104)；所述终端(101)与服务器(103)通过网络(102)进行通信连接，所述终端(101)用于采集受试者泡茶任务操作过程的视频，然后通过网络(102)上传至服务器(103)，服务器(103)对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断，并将相关数据以及原始视频数据信息保存至数据库(104)；所述服务器(103)中包括样本获取模块(310)和模型训练生成模块(320)；所述样本获取模块(310)用于原始视频数据的采集以及数据转换、预处理工作，生成供模块训练的样本数据和文本标签；所述模型训练生成模块(320)用于将训练样本数据和文本标签输入到神经训练网络进行训练。2.根据权利要求1所述的基于视频数据的老年痴呆症辅助诊断系统，其特征在于：所述样本获取模块(310)包括原始视频数据采集单元(311)、视频数据关键帧截取单元(312)、图像样本生成单元(313)和图像样本预处理单元(314)；所述原始视频数据采集单元(311)为具有摄像功能的电子设备；所述视频数据关键帧截取单元(312)用于读取原始视频数据流，根据视频fps和截取时间间隔t，等间隔截取视频帧并保存为静态图像，图像为png或jpg；所述图像样本生成单元(313)通过交互式标注对视频数据关键帧截取单元(312)保存的静态原始图像进行人工筛选和标注，人工筛选对受试者泡茶操作过程中的关键人物交互行为的图像进行随机采样，关键人物交互行为包括打开电源开关、煮水、放茶叶、倒热水、倒茶水；所述图像样本预处理单元(314)在确保当数据顺利加载后将全部样本的尺寸调整为一致，且转换为神经训练网络所要求的tensor形式，并数据集按设定比例划分为训练集和测试集，同时使用数据增强技术减弱数据量不足所带来的影响，提升模型的鲁棒性。3.根据权利要求1所述的基于视频数据的老年痴呆症辅助诊断系统，其特征在于：所述模型训练生成模块(320)包括人物交互行为识别模型训练模块(321)和人物交互行为识别模型预测模块(322)；所述人物交互行为识别模型训练模块(321)采用在大量图像标题对上训练的clip模型，将收集到的图像样本-文本标签对，分别经过image-encoder和text-encoder获取到图像和文本的特征，然后通过点积计算一个batch中文本和图像两两之间的相似度，得到一个batch size x batch size的相似度矩阵，对角线上的相似度值就是正样本的相似度值，因此在训练过程中优化目标就是让正样本的相似度值尽可能大；模型架构分为两部分，图像编码器和文本编码器，图像编码器方面考虑2种不同的架构即残差网络resnet或视觉transformer，残差网络采用即resnet-50、resnet-100及按照efficientnet的思想对resnet-50分别作4倍、16倍和64倍的放缩得到的模型：resnet-50x4，resnet-50x16，resnet-50x64；vit采用vit-b/32、vit-b/16及vit-l/14这3个预训练模型；文本编码器使用深度为12，宽度为512，带有八个注意头的transformer编码器，其权重源自预训练的clip文本编码器；所述人物交互行为识别模型预测模块(322)在对输入图片进行人物交互行为分类任务
的推理时，模型首先需要将类别标签转换成和预训练时候一样的句子，即通过prompt操作，获得类别相应的句子，最后计算输入图片和每个类别对应句子的相似度，相似度最高的句子对应的类别的就是预测的类别；类别标签包括：打开电源开关、煮水、放茶叶、倒热水、倒茶水；prompt模板采用a photo of a[mask]，根据类别标签替换mask。4.根据权利要求1所述的基于视频数据的老年痴呆症辅助诊断系统，其特征在于：神经训练网络训练方法为：s210：人物交互行为信息序列预处理：s220：将人物交互行为信息序列预处理结果进行特征向量化；s230：将特征向量样本输入神经网络进行训练；s240：将训练好的网络模型保存，进行认知功能障碍推理预测。5.根据权利要求4所述的基于视频数据的老年痴呆症辅助诊断系统，其特征在于：s210对序列进行去重操作，仅保留前后相临两个数据有变化的部分关键数据，即保留受试者泡茶任务操作过程中的人物交互行为变化信息，序列元素是否保留的判断算法如下：s220对去重后保留受试者泡茶任务操作过程中关键操作行为的序列进行特殊向量化转换，生成满足神经网络输入数据格式要求的样本；s230完成神经网络模型的训练和验证，采用的网络模型为mlp、1dcnn、rnn、lstm、gru、cnn+lstm、textcnn、bilstm、attention、multiheadattention、attention+bilstm、bigru+attention、transformer、positionalembedding+transformer模型，优化器采用adam，数据批量长度为64，训练批次为10，初始学习率设置为0.001，训练集和测试集划分比例为9:1。6.一种权利要求1-5任一项所述的基于视频数据的老年痴呆症辅助诊断系统的诊断方法，其特征在于：具体步骤如下步骤s110：通过终端(101)采集受试者泡茶任务操作过程的视频；步骤s120：将受试者泡茶操作视频数据通过网络(102)上传至服务器(103)；步骤s130：服务器(103)对受试者泡茶操作视频数据帧转换为静态图片；步骤s140：服务器(103)对转换后的静态图片进行预处理，生成供模块训练的样本数据和文本标签，再将训练样本数据和文本标签输入到神经训练网络进行训练；步骤s150：服务器(103)对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断；步骤s160：服务器(103)将相关数据以及原始视频数据信息保存至数据库(104)。

技术总结
本发明公开了基于视频数据的老年痴呆症辅助诊断系统及其方法，具体涉及视频分析领域，包括终端、网络、服务器和数据库，所述终端与服务器通过网络进行通信连接，所述终端用于采集受试者泡茶任务操作过程的视频，然后通过网络上传至服务器，服务器对待检测图像进行人物交互识别以及老年痴呆症患病健康状态诊断，并将相关数据以及原始视频数据信息保存至数据库。本发明是一种新型的老年痴呆症智能辅助诊断和早期预警手段，诊断准确性高，减轻医生的工作负担，同时有利于实现广大用户在社区或自己在家中进行早期认知异常预警和诊断。自己在家中进行早期认知异常预警和诊断。自己在家中进行早期认知异常预警和诊断。


技术研发人员：陶倩 雷小林
受保护的技术使用者：暨南大学
技术研发日：2023.05.05
技术公布日：2023/8/14