建立帕金森症步态受损评估模型、使用方法、设备及介质

1.本技术属于医学图像处理领域，特别是涉及一种建立帕金森症步态受损评估模型及使用的方法、设备及介质。


背景技术：

2.帕金森症(pd)是常见的神经退行性疾病，临床特征主要为静止性震颤、运动迟缓、僵硬和姿势不稳定等，严重影响了患者的生活质量。尽早和及时的诊断对于开启神经保护治疗和后期管理至关重要。
3.目前对于帕金森病运动功能评估的主要依据是评估量表mds-updrs。该估量表的第三部分评价pd的运动症状，要求评分者根据所观察到病人的情况来对步态、上肢灵活性、腿部灵活性等18个项目进行0-4分的严重程度评分，0分表示正常，4分表示重度。
4.临床上，经验丰富的神经科医生会根据该量表对患者的运动和非运动症状进行量化评估。但这这种人工的评估方式有以下两个挑战：一方面，临床医生的评估费时较长，并且存在主观性。另一方面，这种评估方式需要患者定期去到医院，不利于长程疾病管理与控制。中国有世界上最多的帕金森病人，但是由于其早期症状并不明显，且就诊成本较高，其就诊率只有不到40％。
5.而深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。因此如何利用深度学习模型对帕金森病进行步态受损评估是当前亟待研究的问题。


技术实现要素：

6.为了解决现有技术中对帕金森患者的症状进行人工评估的评估时间长且不够客观，并且患者无法居家进行自动评估的问题，本技术提出一种建立帕金森症步态受损评估模型及使用的方法、设备及介质，技术方案如下：
7.一方面，本技术提供一种建立帕金森症步态受损评估模型的方法，包括步骤：
8.s10:对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步态视频是从侧面拍摄的帕金森症患者的行走视频；
9.s20:使用骨架图序列和多周期步态能量图，结合医生根据步态视频诊断得出的步态受损评分标签，对神经网络进行训练，以获得帕金森症步态受损评估模型，其中步态受损评分标签用于划分步态受损程度。
10.进一步地，帕金森症步态受损评估模型为双流神经网络，包括骨架流、轮廓流、向量拼接单元、全连接层、softmax层；
11.骨架流包含多个st-gcn单元，用以对输入的骨架图序列进行处理，获得骨架流输出向量，轮廓流包含多个vgg单元，用以对输入的多周期步态能量图进行处理，获得轮廓流输出向量，将骨架流输出向量和轮廓流输出向量输入向量拼接单元进行拼接，随后通过全
连接层实现双流信息融合，最后经过softmax层，得到对各评分的预测概率值，预测概率值最高的评分为步态视频的步态评分估计值。
12.进一步地，步骤s10中对步态视频进行预处理，提取多周期步态能量图具体包括：
13.s101:从步态视频的每一帧提取轮廓图，将轮廓图按时间顺序排列，获得轮廓图序列；
14.s102:根据轮廓图序列确定步态能量周期；
15.步态能量周期为轮廓图序列中的两脚间距随时间的变化曲线中，相邻的峰值和谷值之间的时间间隔，步态能量周期的起点为峰值或谷值对应的时间点；
16.s103:将所述轮廓图序列按照所述步态能量周期分成a组，每组内的所述轮廓图叠加形成一张步态能量图，对应获得a张步态能量图；
17.s104:将所述a张步态能量图按时间顺序在水平方向连接，对应获得一张多周期步态能量图。
18.进一步地，步骤s103中的每组内的所述轮廓图叠加形成一张步态能量图的计算具体如下：
[0019][0020]
其中，ic(x,y,n)为从步态视频的第n帧提取的轮廓图，n为一个步态能量周期内包含的视频帧数，x为轮廓图中像素点的水平方向坐标，y为轮廓图中像素点的竖直方向坐标，gei(x,y)的取值为像素。
[0021]
进一步地，步骤s10中对步态视频进行预处理，提取骨架图序列具体包括：
[0022]
s111:从步态视频的每一帧提取关节的二维坐标；
[0023]
s112:根据关节的二维坐标及各关节之间的空间连接关系计算步态视频对应的骨架图序列；
[0024]
进一步地，步骤s112中根据关节的二维坐标及各关节之间的空间连接关系计算步态视频对应的骨架图序列的计算具体如下：
[0025]
j＝(v，e)，
[0026]
其中，节点集v包括步态视频的所有帧中的关节的二维坐标；边集e包括两类空间连接关系：近端、远端；近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，远端包括左右下臂、左右小腿；
[0027]
边集e的空间连接关系以邻接矩阵a表示，矩阵a中的第i行第j列的数a
ij
表示关节i与关节j的空间连接关系，若空间连接关系为近端，则a
ij
＝x，若空间连接关系为远端，则a
ij
＝y，其中x,y为正整数，且1《x《y。
[0028]
进一步地，边集e还包括一种时间连接关系：时序连接；时序连接包括每一关节当前时刻节点与其下一时刻节点的连接；
[0029]
边集e的时序连接通过关节沿时间方向的一维卷积实现，如下所示：
[0030]
[0031]
其中，x
t
为某一关节的二维坐标延时间方向的序列，是一个t行2列的矩阵，t为步态视频包含的帧数，n为时序卷积的卷积核个数，wk为第k个时序卷积核，是一个一维向量，b为可学习的线性偏置。
[0032]
进一步地，st-gcn单元的计算如下所示：
[0033][0034]
其中，x
in
为输入特征，x
out
为输出特征，a为邻接矩阵，d
ii
＝∑j(a
ij
+i
ij
)为度矩阵，用于对邻接矩阵a进行归一化，w为可学习的权重系数矩阵，b为可学习的偏置系数。
[0035]
进一步地，vgg单元包括二维卷积层和最大池化层。
[0036]
进一步地，步骤s20中对神经网络进行训练还包括：
[0037]
通过损失函数计算损失值，将损失值反向传播，当误差收敛时，停止训练；
[0038]
损失函数采用交叉熵，具体计算如下：
[0039][0040]
其中，n为样本个数，k为类别数，p
ic
表示第i个样本的类别为c的概率，即
[0041]
进一步地，y
ic
∈{0,1}，当第i个样本的类别为c时，对应y
ic
＝1，否则y
ic
＝0。
[0042]
另一方面，本技术提供一种帕金森症步态受损评估的方法，包括步骤：
[0043]
s1：对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步态视频是从侧面拍摄的待评估者的行走视频；
[0044]
s2：将骨架图序列和多周期步态能量图输入至以上任一项的建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，获得待评估者的步态评分。
[0045]
进一步地，步骤s2包括使用投票机制获得步态评分优化结果，具体为：
[0046]
将同一待评估者的所述步态视频进行分组，对应分别获得多组步态评分，在多组步态评分中选取出现次数最多的评分，即为待评估者的步态评分优化结果。
[0047]
进一步地，在步骤s2之后，还包括以下步骤：
[0048]
s3：计算骨架图序列在帕金森症步态受损评估模型中的关节响应值；
[0049]
s4：将关节响应值进行分类计算，以获得每个身体部位的平均响应值；
[0050]
s5：根据关节响应值和平均响应值，获得精细化步态评估结果。
[0051]
进一步地，关节响应值的计算如下：
[0052][0053]
其中，s为关节响应值向量，n为关节的个数，关节响应值向量中的每个值相应表示帕金森症步态受损评估模型在该关节处的响应值大小，t为输入的骨架图序列长度，c
out
为骨架流的输出通道数，o
it
为骨架流的输出矩阵x
out
中的元素。
[0054]
进一步地，关节分为6组，代表6个身体部位：颈部，躯干，左臂，右臂，左腿，右腿，步骤s3中将关节响应值进行分类计算，以获得每个身体部位的平均响应值具体包括：
[0055]
分别计算每组关节的平均响应值，以获得每个身体部位的平均关节响应值。
[0056]
另一方面，本技术提供一种计算机设备，计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上任一项的建立帕金森症步态受损评估模型的方法，或者实现如上任一项的帕金森症步态受损评估的方法。
[0057]
再一方面，本技术提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上任一项的建立帕金森症步态受损评估模型的方法，或者实现如上任一项的帕金森症步态受损评估的方法。
[0058]
本技术的有益效果是：本技术方案利用从步态视频提取的轮廓与关节产生步态能量周期图和骨架图两种不同形态的数据流，结合神经网络训练产生相应的神经网络模型，该神经网络模型能够对待评估的帕金森病患者的步态视频进行分析，以得到步态评分，基于步态评分对患者状况进行评估，通过该神经网络模型可方便快捷评估帕金森患者的步态受损程度，且精确度高。
附图说明
[0059]
图1a是本技术建立帕金森症步态受损评估模型的方法一实施例的框架示意图；
[0060]
图1b是本技术帕金森症步态受损评估的方法一实施例的框架示意图；
[0061]
图2a是本技术建立帕金森症步态受损评估模型的方法一实施例的流程图；
[0062]
图2b是图2中步骤s10的一实施例的子流程图；
[0063]
图2c是图2中步骤s10的一实施例的子流程图；
[0064]
图3是本技术帕金森症步态受损评估的方法一实施例的流程图；
[0065]
图4是本技术帕金森症步态受损精细化评估的方法一实施例的流程图；
[0066]
图5是本技术帕金森症步态受损量化的方法一实施例的流程图；
[0067]
图6是本技术帕金森症步态受损评估模型的框架示意图；
[0068]
图7是本技术步态视频采集的一实施例的示意图；
[0069]
图8是本技术帕金森症步态受损评估的方法一实施例的全流程示意图；
[0070]
图9是本技术骨架图一实施例的示意图；
[0071]
图10是本技术步态视频中两脚间距随时间变化一实施例的波形图；
[0072]
图11是本技术多周期步态能量图一实施例的示意图；
[0073]
图12是本技术一实施例中各关节平均响应值分布图；
[0074]
图13是本技术一实施例中各身体部位平均响应值分布图；
[0075]
图14是本技术一实施例中不同评分对应的roc曲线图；
[0076]
图15是本技术一实施例中混淆矩阵；
[0077]
图16是本技术建立帕金森症步态受损评估模型的方法或帕金森症步态受损评估的方法一实施例的硬件运行环境的结构示意图。
具体实施方式
[0078]
为了便于理解本技术，下面结合附图和具体实施例，对本技术进行更详细的说明。附图中给出了本技术的较佳的实施例。但是，本技术可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本技术的公开内容的
理解更加透彻全面。
[0079]
需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本技术。例如，术语“多个”包括两个及以上。
[0080]
以下为本技术的一些术语解释：
[0081]
st-gcn：spatial temporal graph convolutional networks for skeleton-based action recognition，一种人体动作识别的时空图卷积网络。
[0082]
vgg：vgg是2014年oxford的visual geometry group提出的一种图像识别网络，使用了更深的网络结构，证明了增加网络深度能够在一定程度上影响网络性能。
[0083]
对于早期帕金森病的鉴别，步态是一种有用的生物标记。目前许多研究尝试采用手环等可穿戴设备进行步态信息的采集，从而实现帕金森病的早期筛查。但由于这些可穿戴设备仅能测量某一特定部位的运动，难以完整的刻画整体的运动特点，偏侧性、协调性等关键因素难以被检测。
[0084]
鉴于此，本技术提供一种建立帕金森症步态受损评估模型及使用的方法、设备及介质，仅需一部智能手机就能实现视频样本的采集，基于该采集的视频样本进行步态分析，获得较好的反应整体的运动特点的评估结果。
[0085]
参考图1a-1b，示出了建立模型和使用模型的方式。
[0086]
具体地，参考图1a，是建立帕金森症步态受损评估模型的方式，在采集到步态视频之后，需要人工对步态视频进行评估，打上标签，例如医生对每一段采集好的步态视频进行观看，然后给出mds-updrs评分，这一段步态视频所对应的标签文件x中就包含该评分信息。然后对步态视频进行预处理，预处理之后的数据送入神经网络进行模型训练，获得一个预测结果y，当预测结果y与标签文件x的差距满足事先设定的阈值，则停止训练，此时的神经网络就是已经完成训练的帕金森症步态受损评估模型。
[0087]
进一步地，参考图1b，是使用训练好的帕金森症步态受损评估模型进行评估的方式。此时，不再对采集的步态视频进行人工评估和打标签，而是将采集的步态视频在预处理后，直接送入帕金森症步态受损评估模型，由该帕金森症步态受损评估模型计算后输出预测结果z，该预测结果z就是模型对步态视频给出的评分，可以由机器进行操作，不需要医生的介入。
[0088]
进一步地，建立模型(训练模型)的过程和使用模型的过程是分离的。一个模型一旦训练完成，就可以无限次使用(例如成千上万次)，且可以在不同的硬件环境上运行使用。
[0089]
进一步地，参考图7，为步态视频的采集方式的一种实施例。如图所示，将手机(或相机)架设于手机支架上，长边平行于地面，距离受试者矢状面距离约5米，使得受试者沿平行于其矢状面的方向行走时，手机(或相机)的视野约5米。受试者需要按要求从视频画面左侧走到右侧，然后转身返回，重复三次。将录制完的该视频裁剪为6段，剔除转身部分，仅保留直线行走片段，这样就可以获得6段步态视频。
[0090]
本技术的步态视频不限于以上的采集方式，只要采集的步态视频满足从侧面拍摄，拍摄时保持水平、稳定，且受试者全身始终完整的呈现在画面中，都是可用的步态视频。这是因为侧面视角下拍摄的步态视频更利于提取人体轮廓特征，从而基于人体轮廓图的变
化来进行步态特征的分析。
[0091]
本技术的步态视频也长度也不限于以上所述范围，也可以针对同一受试者进行多个不同时长和不同距离视频的录制。
[0092]
进一步地，步态视频中的受试者包括不同程度的帕金森症患者和正常人，在图1a所示的训练过程中，受试者称作帕金森症患者，由医生人工给出评分，在图1b所示的评估过程中，受试者称作待评估者，由训练后的模型给出评分。
[0093]
一方面，参考图2a-2c，本技术提供一种建立帕金森症步态受损评估模型的方法，包括步骤：
[0094]
s10:对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步态视频是从侧面拍摄的帕金森症患者的行走视频；
[0095]
s20:使用骨架图序列和多周期步态能量图，结合医生根据步态视频诊断得出的步态受损评分标签，对神经网络进行训练，以获得帕金森症步态受损评估模型，其中步态受损评分标签用于划分步态受损程度。
[0096]
其中，骨架图序列主要来自于步态视频中的关节特征，多周期步态能量图主要来自于步态视频中轮廓特征。
[0097]
通过从侧面拍摄的步态视频，除了可以基于关节提取人体的骨架图特征以外，还可以提取人体轮廓特征，尤其是人体轮廓在行走中的步态变化，从而基于人体轮廓图的变化来进行步态特征的分析。而对于从正面拍摄的视频来说，是无法精确感知人体轮廓图的变化的，例如无法观测到步长、步速等的变化，更无法获知摆臂角度等变化，以及身体的倾斜角度等等，而这些变化特征都从可以侧面较好的提取出来。
[0098]
因此，本技术针对侧面拍摄的步态视频，基于关节和轮廓来提取骨架图序列和多周期步态能量图，并将这两种不同角度体现步态特征的数据流结合进行神经网络训练，从而获得一种轮廓和关节相结合的双流网络模型，相比于现有技术方法具有采样便捷高效，筛查准确等优点，为帕金森症早期筛查评估提供了一种可行的方式。
[0099]
进一步地，参考图2b所示，步骤s10中对步态视频进行预处理，提取多周期步态能量图具体包括：
[0100]
s101:从步态视频的每一帧提取轮廓图，将轮廓图按时间顺序排列，获得轮廓图序列；
[0101]
s102:根据轮廓图序列确定步态能量周期；
[0102]
步态能量周期为轮廓图序列中的两脚间距随时间的变化曲线中，相邻的峰值和谷值之间的时间间隔，步态能量周期的起点为峰值或谷值对应的时间点；
[0103]
s103:将所述轮廓图序列按照步态能量周期分成a组，每组内的轮廓图叠加形成一张步态能量图，对应获得a张步态能量图；
[0104]
s104:将所述a张步态能量图按时间顺序在水平方向连接，对应获得一张多周期步态能量图。
[0105]
具体地，参考图8所示，轮廓图为黑白人体轮廓图，每一帧对应一张轮廓图，按步态视频中的时间顺序提取出的所有轮廓图，最终按顺序组成轮廓图序列(即图中的轮廓序列)。
[0106]
进一步地，参考图10所示，一个步态能量周期为一步，即相邻的峰值和谷值之间的
时间间隔，步态能量周期的起点为峰值或者谷值对应的时间点。例如，当步态能量周期的起点为谷值0.0时，该步态能量周期为相邻的峰值0.5与该谷值0.0之间的时间间隔。将该步态能量周期内的轮廓图叠加，就获得一张步态能量图，对应为图11中连续的6个人体轮廓变化图的第一个。其中，叠加方式为将该步态能量周期内的所有轮廓图以头顶中点为基准进行叠合。
[0107]
进一步地，图11中，a＝6，b为一个步态能量周期内的轮廓图的个数。因此，图11显示了取相连的6张步态能量图，将这6张步态能量图在水平方向上拼接，从而得到了一张多周期步态能量图。
[0108]
进一步地，步骤s103中的每组内的所述轮廓图叠加形成一张步态能量图的计算具体如下：
[0109][0110]
其中，ic(x,y,n)为从步态视频的第n帧提取的轮廓图，n为一个步态能量周期内包含的视频帧数，x为所述轮廓图中像素点的水平方向坐标，y为所述轮廓图中像素点的竖直方向坐标，gei(x,y)的取值为像素。
[0111]
进一步地，参考图2c，步骤s10中对步态视频进行预处理，提取骨架图序列具体包括：
[0112]
s111:从步态视频的每一帧提取关节的二维坐标；
[0113]
s112:根据关节的二维坐标及各关节之间的空间连接关系计算步态视频对应的骨架图序列。
[0114]
具体地，参考图8所示，每一帧步态视频对应一张关节图，一个步态视频对应一组关节序列。关节序列之间具有一定的空间连接关系，根据他们之间的空间连接关系，可以计算获得每一帧步态视频对应的一张骨架图，将骨架图按照时间顺序排列，就获得了图8中所示的骨架图序列。
[0115]
进一步地，步骤s112中根据关节的二维坐标及空间连接关系计算步态视频对应的骨架图序列的计算具体如下：
[0116]
j＝(v，e)，
[0117]
参考图9所示，为本技术一实施例提供的关节分类，一共15个关节，关节的序号分别对应表示为：0颈上部、1颈下部、2左肩、3左肘、4左手腕、5右肩、6右肘、7右手腕、8尾椎、9左髋关节、10左膝、11左脚踝、12右髋关节、13右膝、14右脚踝。
[0118]
其中，节点集v包括步态视频的所有帧中的关节的二维坐标；边集e包括两类空间连接关系：近端、远端；一种时间连接关系：时序连接；近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，远端包括左右下臂、左右小腿；时序连接包括每一关节当前时刻节点的与其下一时刻节点的连接；
[0119]
在其他实施例中，还可以是基于其他空间或时间的条件而选择的边集e。
[0120]
在本技术的一实施例中，边集e的空间连接关系在实际运算中，以邻接矩阵a表示，矩阵a中的第i行第j列的数a
ij
表示关节i与关节j的空间连接关系，若空间连接关系为近端，则a
ij
＝x，若空间连接关系为远端，则a
ij
＝y，其中x,y为正整数，且1《x《y。例如：x＝2，y＝3。
[0121]
边集e的时序连接通过关节沿时间方向的一维卷积实现，如下所示：
[0122][0123]
其中，x
t
为某一关节的二维坐标延时间方向的序列，是一个t行2列的矩阵，t为视频包含的帧数，n为时序卷积的卷积核个数，wk为第k个时序卷积核，是一个一维向量，其长度可根据需要自由调整，b为可学习的线性偏置。
[0124]
进一步地，参考图6，本技术用于训练的神经网络，以及训练以后获得的帕金森症步态受损评估模型为双流神经网络，包括骨架流、轮廓流、向量拼接单元、全连接层、softmax层；
[0125]
骨架流包含多个st-gcn单元，用以对输入的骨架图序列进行处理，获得骨架流输出向量，轮廓流包含多个vgg单元，用以对输入的多周期步态能量图进行处理，获得轮廓流输出向量，将骨架流输出向量和轮廓流输出向量输入向量拼接单元进行拼接，随后通过全连接层实现双流信息融合，最后经过softmax层，得到对各评分的预测概率值，预测概率值最高的评分为步态视频的步态评分估计值。
[0126]
其中，st-gcn的全称是，spatial temporal graph convolutional networks for skeleton-based action recognition，即一种人体动作识别的时空图卷积网络。
[0127]
vgg是2014年oxford的visual geometry group提出的一种图像识别网络，使用了更深的网络结构，证明了增加网络深度能够在一定程度上影响网络性能。
[0128]
进一步地，本技术的st-gcn单元的计算如下所示：
[0129][0130]
其中，x
in
为输入特征，x
out
为输出特征，a为邻接矩阵，d
ii
＝∑j(a
ij
+i
ij
)为度矩阵，用于对邻接矩阵a进行归一化，w为可学习的权重系数矩阵，b为可学习的偏置系数。
[0131]
进一步地，vgg单元包括二维卷积层和最大池化层。
[0132]
具体地，参考图8，本技术一实施例中，骨架流包含10个st-gcn网络单元，轮廓流包含5个vgg网络单元。每个vgg单元由2个或3个二维卷积层和1层最大池化层构成，五个vgg单元中二维卷积层数量和通道数见表1。其中，卷积层均采用3*3卷积核，步长为1。
[0133]
表1
[0134]
vgg块序号卷积核尺寸通道数卷积层数13642231282332563435123535123
[0135]
于本技术一实施例中，双流神经网络通过向量拼接与全连接层实现双流信息的融合，其中骨架流输出向量长度为139264，关节流输出向量长度为25088，向量拼接单元将两者拼接为长度为164362的长向量，随后通过两层全连接层和一个softmax层，得到神经网络模型对不同预设分数类别的预测概率值，概率最高者即为模型对该样本所属患者的步态评
分估计值。
[0136]
例如，参考图8所示，当预设分数类别包括：0、1、2时，将通过softmax分别获得0、1、2三个分数的预测概率值，其中概率最高者即为最终步态评分估计值。
[0137]
进一步地，步骤s20中对神经网络进行训练还包括：
[0138]
通过损失函数计算损失值，将损失值反向传播，当误差收敛时，停止训练；
[0139]
损失函数采用交叉熵，具体计算如下：
[0140][0141]
其中，n为样本个数，k为类别数，p
ic
表示第i个样本的类别为c的概率，即
[0142]
进一步地，y
ic
∈{0,1}，当第i个样本的类别为c时，对应y
ic
＝1，否则y
ic
＝0。
[0143]
通过引入损失函数，可以更快地加速误差收敛，提升训练的效率。
[0144]
另一方面，参考图3，本技术提供一种帕金森症步态受损评估的方法，包括步骤：
[0145]
s1：对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中步态视频是从侧面拍摄的待评估者的行走视频；
[0146]
s2：将骨架图序列和多周期步态能量图输入至以上任一项的建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，获得待评估者的步态评分。
[0147]
本方法是在帕金森症步态受损评估模型建立以后，对该模型的使用。基于统一构思，提取骨架图序列和多周期步态能量图的具体流程参考上面所述，在此不再赘述。
[0148]
进一步地，步骤s2包括使用投票机制获得步态评分优化结果，具体为：
[0149]
将同一待评估者的步态视频进行分组，对应分别获得多组步态评分，在多组步态评分中选取出现次数最多的评分，即为待评估者的步态评分优化结果。
[0150]
例如，当输入同一待评估者的6段步态视频时，获得6个评分结果：1，1，1，2，0，0。则次数最多的为1，所以待评估者的步态评分优化结果应为1。
[0151]
进一步地，当出现次数最多的评分为多个时，选取其中值较高的一个为待评估者的步态评分优化结果。
[0152]
例如，当输入同一待评估者的6段步态视频时，获得6个评分结果：1，1，1，0，0，0。则次数最多的为1和0，且1大于0，所以待评估者的步态评分优化结果应为1。
[0153]
具体地，本技术一实施例中，基于天津市环湖医院平台构建了实验数据集，包含54名pd患者和年龄匹配的26名健康者进行对照。评估过程中，使用准确率(accuracy)、精确率(precision)、召回率(recall)、f1分数(f1-score)以及受试者工作特征曲线(roc)和曲线下的面积(auc)作为性能指标评估模型的分类结果，对实验结果的具体分析如下：
[0154]
1、分类结果分析
[0155]
在实验数据集上采取了五折交叉验证以评估本技术建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，实验结果表明本技术的方法能够取得71.3％的总准确率。如表2所示，给出了本技术建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型在各个类别的分类性能，其中分别计算了每一个分数类别的准确率、召回率、f1分数和auc值，每一分数类别都取得了令人满意的准确率。如图15所示的混淆矩阵也显示了这一点。图14中展示的各个分数类别下的roc曲线，其中，健康人类别
(0分)分类性能最好，1分2分性能接近。因此，本技术建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型能够较好的将帕金森患者与健康人区分开，具备了疾病早期筛查的分类能力。
[0156]
表2
[0157] 准确率召回率f1分数auc00.8400.8080.8240.89210.5860.6540.6180.74520.7310.6790.7040.733
[0158]
2、与先进的帕金森步态评估工作对比
[0159]
表3中，就本技术与世界领先的相关领域工作进行了对比，结果显示，本技术所提方法在更大的样本集获得了更好的分类性能，在该分类任务上显著超越了已有的方法和工作。
[0160]
表3
[0161][0162]
进一步地，参考图4，在获得步态评分之后，本技术还提出了一种精细化的评估方法，通过计算神经网络响应值，获取各关节的受损情况，具体如下：
[0163]
在步骤s2之后，还包括以下步骤：
[0164]
s3：计算骨架图序列在帕金森症步态受损评估模型中的关节响应值；
[0165]
s4：将关节响应值进行分类计算，以获得每个身体部位的平均响应值；
[0166]
s5：根据关节响应值和平均响应值，获得精细化步态评估结果。
[0167]
进一步地，关节响应值的计算如下：
[0168][0169]
其中，s为关节响应值向量，n为关节的个数，关节响应值向量中的每个值相应表示帕金森症步态受损评估模型在该关节处的响应值大小，t为输入的骨架图序列长度，c
out
为骨架流的输出通道数，o
it
为骨架流的输出矩阵x
out
中的元素。
[0170]
进一步地，关节分为6组，代表6个身体部位：颈部(关节0，关节1)，躯干(关节1，关节8)，左臂(关节5-7)，右臂(关节2-4)，左腿(关节12-14)，右腿(关节9-11)，步骤s3中将关节响应值进行分类计算，以获得每个身体部位的平均响应值具体包括：
[0171]
分别计算每组关节的平均响应值，以获得每个身体部位的平均关节响应值。从而进一步获得表征待评估者的以上所述各身体部位的受损情况。
[0172]
具体地，参考图12、图13，在本技术一实施例中，对实验数据集中的54名pd患者的响应值向量作统计分析，求取每一个关节的平均响应值、每一个身体部位的平均响应值，得
到的结果如图12和13所示。
[0173]
图12显示了各关节平均响应值的分布，其中各关节的平均响应值是归一化以后的值，具体是将各关节的平均响应值除以其中最大值以后得到。例如关节0的平均响应值为20，且为最大值，则关节0的平均响应值归一化以后的值为1，相应地，其他平均响应值归一化以后对应为0.8、0.6、0.4、0.2等。
[0174]
从图13中可以看出，对于pd患者，神经网络对颈部、躯干、手臂的响应值更大，意味着神经网络更关注患者上半身的运动情况。其中，响应值最高的三个身体部位分别是：颈部、躯干和左臂。
[0175]
通过以上方法，在获得评分之后，还能进一步确定患者具体的受损身体部位，以及各身体部位的受损程度。
[0176]
进一步地，参考图5，本技术还提出了另一种精细化的步态受损量化方法，通过步态量化参数，获取更细粒度的运动受损情况，具体如下：
[0177]
s6：对步态视频进行预处理，提取骨架图序列，其中步态视频是从侧面拍摄的待评估者的行走视频；
[0178]
s7：根据骨架图序列计算获取量化参数；
[0179]
s8：根据量化参数评估待评估者的运动特征。
[0180]
其中，步骤s6中的骨架图序列的获取方法如前所述，在此不再赘述。
[0181]
一方面，该步态受损量化方法可以在利用模型获取步态评分之后的一种补充量化评估方法，此时可以在步骤s1之后执行，也可以在步骤s2之后执行，还可以是在步骤s5之后执行；
[0182]
另一方面，该步态受损量化方法也可以单独使用。
[0183]
进一步地，运动特征和对应的量化参数及计算方式如下：
[0184]
运动特征为步长时，量化参数为步长，计算方式为：左脚踝关节11和右脚踝关节14间距随时间的变化曲线中，波峰对应的值；
[0185]
运动特征为步速时，量化参数为躯干速度，计算方式为：颈下部关节1的水平速度。
[0186]
运动特征为手臂摆动时，量化参数包括手臂摆荡角和手臂摆荡双侧不对称系数，
[0187]
其中，手臂摆荡角的计算方式为上臂(包括左侧与右侧)前后摆动的最大角度，
[0188]
手臂摆荡双侧不对称系数的计算方式为：
[0189]
较大一侧摆角为θ
max
，较小的一侧为θ
min
。
[0190]
运动特征为颈前屈时，量化参数为颈前屈角，计算方式为：颈上部关节0和颈下部关节1的连线与垂直方向所成的夹角。
[0191]
运动特征为躯干前屈时，量化参数为躯干前屈角，计算方式为颈下部关节1和尾椎关节8的连线与垂直方向所成的夹角。
[0192]
运动特征为步态周期时，量化参数为步态周期，计算方式为左脚踝关节11和右脚踝关节14间距随时间的变化曲线中，两个相邻峰值之间的时间间隔，或者两个相邻谷值之间的时间间隔。需要注意的是，这里的步态周期与前面所述的步态能量周期不同，步态周期为两步一个周期，步态能量周期为一步一个周期。
[0193]
具体地，参考图10所示，从第一个峰值对应的时间节点0.5，至第二个峰值对应的时间节点1.75，为一个步态周期。或者，从第一个谷值对应的时间节点0.0，至第二个谷值对应的时间节点1.25，为一个步态周期。
[0194]
进一步地，步骤s7具体包括：
[0195]
s71：判断量化参数的值是否超出预先设置的阈值区间，若判断结果为超出，则确定运动特征存在异常。
[0196]
以上具有物理意义的量化参数的取值，可以表征相应的运动特征的状态，因此，为精细量化步态受损和个性化的步态评估提供了有效的参考。在获得mds-updrs步态评分的基础上，可以进一步地获知具体哪些运动特征出现问题，从而进一步判断哪些身体部位存在问题。
[0197]
进一步地，在确定运动特征存在异常之后，步骤s7还包括以下步骤：
[0198]
s72：将多个量化参数与待评估者的帕金森症的步态评分做spearman相关性分析，获得相关系数，其中步态评分为步态视频对应的mds-updrs评分；
[0199]
s73：将相关系数进行排序，对应获得运动特征的异常程度的排序。
[0200]
具体地，本技术一实施例中，在54名pd患者中统计以上所述的7个量化参数，分别计算这些量化值与mds-updrs步态评分之间的spearman相关性系数。记54名患者的某一量化值集合为x，他们的步态评分集合为y，将这两个集合分别按照从小到大的顺序排列，得到r(x),r(y)，则spearman相关系数ρ的计算方法如下：
[0201][0202]
其中cov为两个变量的协方差计算，σ为变量的标准差。
[0203]
对七个量化值与步态评分做spearman相关性分析的结果如下表4所示：
[0204]
表4
[0205][0206]
由上表可知，与步态评分最相关的三个指标分别为躯干速度、颈前屈角和手臂摆角最大值。这与以上所述的响应值最高的三个身体部位情况相吻合，进一步地验证了神经网络响应值这一指标的有效性，即其具有反应步态受损的能力。
[0207]
再一方面，本技术提供一种计算机设备，其特征在于，计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现以上所述的建立帕金森症步态受损评估模型的方法，或者帕金森症步态受损评估的方法，又或者帕金森症步态受损量化的方法。
[0208]
又一方面，本技术提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上所述的建立帕金森症步态受损评估模型的方法，或者帕金森症步态受损评估的方法，又或者帕金森症步态受损量化的方法。
[0209]
具体参考图16，在实际应用中，图16为本技术建立帕金森症步态受损评估模型的
方法、或者帕金森症步态受损评估的方法，又或者帕金森症步态受损量化的方法涉及的硬件运行环境的结构示意图。
[0210]
如图16所示，该硬件运行环境可以包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
[0211]
本领域技术人员可以理解，图16中示出的本技术中所述方法运行的硬件结构并不构成对所述方法运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0212]
如图16所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。其中，操作系统是管理和控制程序，支持网络通信模块、用户接口模块、计算机程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1004；用户接口模块用于管理和控制用户接口1003。
[0213]
在图16所示的硬件结构中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；处理器1001可以调用存储器1005中存储的计算机程序，并执行前述的建立帕金森症步态受损评估模型的方法、或者帕金森症步态受损评估的方法，又或者帕金森症步态受损量化的方法的步骤。
[0214]
综上所述，本技术具有以下有益效果：
[0215]
利用从步态视频提取的轮廓与关节产生步态能量周期图和骨架图两种不同形态的数据流，结合神经网络训练产生相应的神经网络模型，该神经网络模型能够对待评估的帕金森病患者的步态视频进行分析，得到步态评分，基于步态评分可方便快捷评估帕金森患者的步态受损程度，且精确度高。
[0216]
进一步地，从侧面拍摄的步态视频，除了可以基于关节提取人体的骨架图特征以外，还可以提取人体轮廓特征，尤其是人体轮廓在行走中的步态变化，从而基于人体轮廓图的变化来进行步态特征的分析。而对于从正面拍摄的视频来说，是无法精确感知人体轮廓图的变化的，例如无法观测到步长、步速等的变化，更无法获知摆臂角度等变化，以及身体的倾斜角度等等，而这些变化特征都从可以侧面较好的提取出来。
[0217]
进一步地，使用投票机制获得步态评分优化结果，获得更为精确的步态评分。
[0218]
进一步地，通过计算网络响应值，在获得评分之后，还能进一步获取各关节的受损情况。
[0219]
进一步地，通过将关节进行分类，对应不同的身体部位，在获得评分之后，还能进一步确定患者具体的受损身体部位，以及各身体部位的受损程度。
[0220]
进一步地，通过步态量化参数，获取更细粒度的运动受损情况，在获得步态评分的基础上，可以进一步地获知具体哪些运动特征出现问题，从而进一步判断哪些身体部位存在问题。
[0221]
进一步地，通过将多个量化参数与待评估者的帕金森症的步态评分做相关性分析获得相关系数，对相关系数进行排序，对应获得运动特征的异常程度的排序，从而进一步地获知出现问题的运动特征的相对异常程度，从而给出应该重点关注的方向。

技术特征：
1.一种建立帕金森症步态受损评估模型的方法，其特征在于，包括步骤：s10:对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中所述步态视频是从侧面拍摄的帕金森症患者的行走视频；s20:使用所述骨架图序列和所述多周期步态能量图，结合医生根据所述步态视频诊断得出的步态受损评分标签，对神经网络进行训练，以获得帕金森症步态受损评估模型，其中所述步态受损评分标签用于划分步态受损程度。2.根据权利要求1所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述帕金森症步态受损评估模型为双流神经网络，包括骨架流、轮廓流、向量拼接单元、全连接层、softmax层；所述骨架流包含多个st-gcn单元，用以对输入的骨架图序列进行处理，获得骨架流输出向量，所述轮廓流包含多个vgg单元，用以对输入的多周期步态能量图进行处理，获得轮廓流输出向量，将所述骨架流输出向量和所述轮廓流输出向量输入所述向量拼接单元进行拼接，随后通过全连接层实现双流信息融合，最后经过softmax层，得到对各评分的预测概率值，所述预测概率值最高的评分为所述步态视频的步态评分估计值。3.根据权利要求1所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述步骤s10中对步态视频进行预处理，提取多周期步态能量图具体包括：s101:从所述步态视频的每一帧提取轮廓图，将所述轮廓图按时间顺序排列，获得轮廓图序列；s102:根据所述轮廓图序列确定步态能量周期；所述步态能量周期为所述轮廓图序列中的两脚间距随时间的变化曲线中，相邻的峰值和谷值之间的时间间隔，所述步态能量周期的起点为所述峰值或谷值对应的时间点；s103:将所述轮廓图序列按照所述步态能量周期分成a组，每组内的所述轮廓图叠加形成一张步态能量图，对应获得a张步态能量图；s104:将所述a张步态能量图按时间顺序在水平方向连接，对应获得一张多周期步态能量图。4.根据权利要求3所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述步骤s103中的每组内的所述轮廓图叠加形成一张步态能量图的计算具体如下：其中，i
c
(x,y,n)为从所述步态视频的第n帧提取的轮廓图，n为一个所述步态能量周期内包含的视频帧数，x为所述轮廓图中像素点的水平方向坐标，y为所述轮廓图中像素点的竖直方向坐标，gei(x,y)的取值为像素。5.根据权利要求4所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述步骤s10中对步态视频进行预处理，提取骨架图序列具体包括：s111:从所述步态视频的每一帧提取关节的二维坐标；s112:根据所述关节的二维坐标及各所述关节之间的空间连接关系计算所述步态视频对应的骨架图序列。6.根据权利要求5所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述步
骤s112中根据所述关节的二维坐标及各所述关节之间的空间连接关系计算所述步态视频对应的骨架图序列的计算具体如下：j＝(v，e)，其中，节点集v包括所述步态视频的所有帧中的关节的二维坐标；边集e包括两类所述空间连接关系：近端、远端；所述近端包括左右肩、脊椎、左右髋、左右上臂、左右大腿，所述远端包括左右下臂、左右小腿；所述边集e的空间连接关系以邻接矩阵a表示，矩阵a中的第i行第j列的数a
ij
表示关节i与关节j的所述空间连接关系，若所述空间连接关系为近端，则a
ij
＝x，若所述空间连接关系为远端，则a
ij
＝y，其中x,y为正整数，且1<x<y。7.根据权利要求6所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述边集e还包括一种时间连接关系：时序连接；所述时序连接包括每一关节当前时刻节点与其下一时刻节点的连接；所述边集e的时序连接通过关节沿时间方向的一维卷积实现，如下所示：其中，x
t
为某一关节的二维坐标延时间方向的序列，是一个t行2列的矩阵，t为所述步态视频包含的帧数，n为时序卷积的卷积核个数，w
k
为第k个时序卷积核，是一个一维向量，b为可学习的线性偏置。8.根据权利要求7所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述st-gcn单元的计算如下所示：其中，x
in
为输入特征，x
out
为输出特征，a为所述邻接矩阵，d
ii
＝∑
j
(a
ij
+i
ij
)为度矩阵，用于对所述邻接矩阵a进行归一化，w为可学习的权重系数矩阵，b为可学习的偏置系数。9.根据权利要求2所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述vgg单元包括二维卷积层和最大池化层。10.根据权利要求2所述的建立帕金森症步态受损评估模型的方法，其特征在于，所述步骤s20中对神经网络进行训练还包括：通过损失函数计算损失值，将所述损失值反向传播，当所述误差收敛时，停止训练；所述损失函数采用交叉熵，具体计算如下：其中，n为样本个数，k为类别数，p
ic
表示第i个所述样本的类别为c的概率，即进一步地，y
ic
∈{0,1}，当第i个所述样本的类别为c时，对应y
ic
＝1，否则y
ic
＝0。11.一种帕金森症步态受损评估的方法，其特征在于，包括步骤：s1：对步态视频进行预处理，提取骨架图序列和多周期步态能量图，其中所述步态视频是从侧面拍摄的待评估者的行走视频；
s2：将所述骨架图序列和多周期步态能量图输入至所述权利要求1至9任一项所述的建立帕金森症步态受损评估模型的方法所获得的帕金森症步态受损评估模型，获得所述待评估者的步态评分。12.根据权利要求11所述的帕金森症步态受损评估的方法，其特征在于，所述步骤s2包括使用投票机制获得步态评分优化结果，具体为：将同一待评估者的所述步态视频进行分组，对应分别获得多组步态评分，在所述多组步态评分中选取出现次数最多的评分，即为所述待评估者的步态评分优化结果。13.根据权利要求11所述的帕金森症步态受损评估的方法，其特征在于，在所述步骤s2之后，还包括以下步骤：s3：计算所述骨架图序列在所述帕金森症步态受损评估模型中的关节响应值；s4：将所述关节响应值进行分类计算，以获得每个身体部位的平均响应值；s5：根据所述关节响应值和所述平均响应值，获得精细化步态评估结果。14.根据权利要求13所述的帕金森症步态受损评估的方法，其特征在于，所述关节响应值的计算如下：其中，s为关节响应值向量，n为所述关节的个数，所述关节响应值向量中的每个值相应表示所述帕金森症步态受损评估模型在该关节处的响应值大小，t为输入的所述骨架图序列长度，c
out
为所述骨架流的输出通道数，o
it
为所述骨架流的输出矩阵x
out
中的元素。15.根据权利要求14所述的帕金森症步态受损评估的方法，其特征在于，所述关节分为6组，代表6个身体部位：颈部，躯干，左臂，右臂，左腿，右腿，步骤s3中将所述关节响应值进行分类计算，以获得每个身体部位的平均响应值具体包括：分别计算所述每组关节的平均响应值，以获得每个身体部位的平均关节响应值。16.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-9中任一项所述的建立帕金森症步态受损评估模型的方法，或者实现如权利要求10-15中任一项所述的帕金森症步态受损评估的方法。17.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的建立帕金森症步态受损评估模型的方法，或者实现如权利要求10-15中任一项所述的帕金森症步态受损评估的方法。

技术总结
本申请公开了一种建立帕金森症步态受损评估模型及使用的方法、设备及介质，建立模型的方法包括步骤：对步态视频进行预处理，提取骨架图序列和多周期步态能量图；使用骨架图序列和多周期步态能量图，结合医生根据步态视频诊断得出的步态受损评分标签，对神经网络进行训练，以获得帕金森症步态受损评估模型，其中步态受损评分标签用于划分步态受损程度。本申请利用从步态视频提取的轮廓与关节产生步态能量周期图和骨架图两种不同形态的数据流，结合神经网络训练产生相应的神经网络模型，该神经网络模型能够对待评估的帕金森病患者的步态视频进行分析，得到步态评分，基于步态评分可方便快捷评估帕金森患者的步态受损程度，且精确度高。精确度高。精确度高。


技术研发人员：霍卫光 韩建达 于宁波
受保护的技术使用者：南开大学深圳研究院
技术研发日：2023.04.03
技术公布日：2023/8/5