一种面向危重症儿童的疼痛表情数据集的构建与验证方法

ill children,pecic)，通过监控摄像机采集儿童疼痛表情视频数据，根据疼痛维度内容对视频图像进行标注，视频数据标注完成后，对挑选出来的视频片段数据进行逐帧处理，自动标注面部紧张程度等级，选定初始相邻帧f1和f2，利用帧间差异法计算两帧图像差异，如果帧间差异小于给定阈值ε，表示儿童面部表情变化较小，舍弃f2帧，计算f1和f3的差异，直至帧间差异大于阈值ε或至视频最后一帧图像，如果帧间差异值大于阈值ε，表示儿童面部表情有明显变化，将该帧作为有效数据纳入pecic数据集，最终形成pecic数据集；
8.s2，基于swin transformer的儿童面部表情评估算法，对上述数据集进行验证，首先将输入图像(h
×w×
3)通过标记分割成相同大小的图像块，将图像块依次进行四个阶段的处理，第一阶段包括线性嵌入层和swin transformer block，其余三个阶段由标记合并块和swin transformer block构成；所述swin transformer block由窗口多头自注意力机制(window multi-head self attention，w-msa)、滑动窗口多头自注意力机制(shifted-window multi-head self-attention，sw-msa)、多层感知机(multilayer perceptron,mlp)和标准化层(layer normalization,ln)交替组成，其计算过程为：
[0009][0010]
模块中的w-msa层利用常规窗口划分策略从左上角划分，包括窗口分割(window partition,wp)模块、窗口重组(window reversw,wr)模块和msa模块，其中窗口分割(wp)模块将输入特征图分割为多个m
×
m相邻像素的互不重叠窗口；窗口重组(wr)模块负责将每个独立窗口的multi-head自注意力特征还原拼接为完整的multi-head自注意力特征图；msa模块将每个独立窗口进行multi-head的缩放点积注意力计算，首先对每个独立窗口的图块向量在通道维度进行线性变换，使通道数倍增，同时在特征维度上分割为h(注意力head个数)个子空间，通过h个参数矩阵wq、wk、wv子空间对每个像素查询q(query)、键k(key)和权重v(value)进行线性变换，并进行缩放点积注意力计算；结果通过可学习权重矩阵wo进行拼接融合，联合不同子空间的特征信息得到multi-head自注意力特征；其中，第i个注意力头的缩放点积注意力计算为：
[0011]
headi＝attention(qw
iq
,kw
ik
,vw
iv
) (2)
[0012]
其中，w
iq
、w
ik
、w
iv
分别表示第i个参数矩阵wq、wk、wv，attention()为归一化的缩放点积模型，数学表达为：
[0013][0014]
其中，qk
t
通过点积计算不同特征的相似度，除以进行缩放操作以保证梯度稳定性，在每个headi中添加可学习的相对位置编码multi-head自注意力特征的拼接融合为：
[0015]
multihead(q,k,v)＝concat(head1,head2,...,headh)w
o (4)
[0016]
s3，对上述算法模型在pecic数据集训练的各项测试性能进行进行评估，得到疼痛等级的评估结果。
[0017]
进一步地，在所述步骤s1中，面部数据采集是采用监控摄像机和固定支架，摄像机架设在床头正上方，镜头垂直向下正对患儿面部，面部角度限定在30度以内，面部占整个画面≥1/2。
[0018]
进一步地，在所述步骤s1中，对采集的视频片段的图像进行相应等级标注，共设置五个等级的面部表情，分别为leve1面部肌肉完全放松，leve2面部肌肉张力正常、无面部肌肉紧张，leve3面部部分肌肉张力增加，leve4面部全部肌肉张力增加，leve5面部扭曲、表情痛苦。
[0019]
进一步地，所述步骤s3中，通过采用准确率(accuracy)、精确率(precision)、召回率(recall)、f1-score、假阳率(false positive rate,fpr)对深度学习模型的性能进行评估；
[0020]
准确率是分类正确的样本占总样本个数的比例，计算公式为：
[0021][0022]
精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例，计算公式为：
[0023][0024]
召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例，计算公式为：f1-score是精确率和召回率的调和平均值，计算公式为：
[0025][0027]
fpr假阳率，即预测错的负样本占全体负样本的比例，计算公式为：
[0028][0029]
发明作用与效果
[0030]
1、本技术的面向危重症儿童的疼痛表情数据集的构建与验证方法构建的pecic数据集具有多样性、权威性、科学性和合理性，建立的pecic数据集在危重症儿童疼痛表情分析上具有更好的可用性和准确性。
[0031]
2、视频采集源于真实临床危重症儿童病例和真实的临床操作，评估结果更具有代表性和客观性。
[0032]
3、pecic涵盖危重症儿童所有年龄阶段的疼痛表情数据集，填补了专门类别下疼痛表情数据集空白。
[0033]
4、pecic在数量上超过了目前可见文献提及的所有数据集规模，能更好的支撑当前先进的深度学习算法训练以取得更优的识别性能。
附图说明
[0034]
图1是本发明swin transformer_base网络结构图；
[0035]
图2是swin transformerblock处理过程示意图；
[0036]
图3是pecic数据集中五种面部表情等级样例图像；
[0037]
图4为儿童面部表情等级评估流程示例图；
[0038]
图5是混淆矩阵图；
[0039]
图6是两种数据集各项指标对比柱状图。
具体实施方式
[0040]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种面向危重症儿童的疼痛表情数据集的构建与验证方法作具体阐述。
[0041]
《实施例1》
[0042]
一种面向危重症儿童的疼痛表情数据集的构建与验证方法，包括如下步骤：
[0043]
s1，构建面向危重症儿童的疼痛表情数据集(pain expression of critically ill children,pecic)，通过监控摄像机采集儿童疼痛表情视频数据，面部数据采集是采用1台海康威视监控摄像机(1920
×
108060hz)和固定支架，摄像机架设在床头正上方，镜头垂直向下正对患儿面部，面部角度限定在30度以内，面部占整个画面≥1/2。
[0044]
对采集的视频片段的图像进行相应等级标注，共设置五个等级的面部表情，分别为leve1面部肌肉完全放松，leve2面部肌肉张力正常、无面部肌肉紧张，leve3面部部分肌肉张力增加，leve4面部全部肌肉张力增加，leve5面部扭曲、表情痛苦。根据疼痛维度内容对视频图像进行标注，视频数据标注完成后，对挑选出来的视频片段数据进行逐帧处理，自动标注面部紧张程度等级，选定初始相邻帧f1和f2，利用帧间差异法计算两帧图像差异，如果帧间差异小于给定阈值ε，表示儿童面部表情变化较小，舍弃f2帧，计算f1和f3的差异，直至帧间差异大于阈值ε或至视频最后一帧图像，如果帧间差异值大于阈值ε，表示儿童面部表情有明显变化，将该帧作为有效数据纳入pecic数据集，最终形成pecic数据集；
[0045]
s2，基于swin transformer的儿童面部表情评估算法，对上述数据集进行验证；
[0046]
如附图1所示，首先将输入图像(h
×w×
3)通过标记分割成相同大小的图像块，将图像块依次进行四个阶段的处理，第一阶段包括线性嵌入层和swin transformer block，其余三个阶段由标记合并块和swin transformerblock构成；所述swin transformerblock由窗口多头自注意力机制(window multi-head selfattention，w-msa)、滑动窗口多头自注意力机制(shifted-window multi-head self-attention，sw-msa)、多层感知机(multilayer perceptron,mlp)和标准化层(layer normalization,ln)交替组成，处理过程如图2的a所示，其计算过程为：
[0047][0048]
模块中的w-msa层利用常规窗口划分策略从左上角划分，如图2的b所示，包括窗口分割(window partition,wp)模块、窗口重组(window reversw,wr)模块和msa模块，其中窗口分割(wp)模块将输入特征图分割为多个m
×
m相邻像素的互不重叠窗口；窗口重组(wr)模块负责将每个独立窗口的multi-head自注意力特征还原拼接为完整的multi-head自注意力特征图；msa模块将每个独立窗口进行multi-head的缩放点积注意力计算，首先对每个独立窗口的图块向量在通道维度进行线性变换，使通道数倍增，同时在特征维度上分割为h(注意力head个数)个子空间，通过h个参数矩阵wq、wk、wv子空间对每个像素查询q(query)、键k(key)和权重v(value)进行线性变换，并进行缩放点积注意力计算；结果通过可学习权重矩阵wo进行拼接融合，联合不同子空间的特征信息得到multi-head自注意力特征；其中，第i个注意力头的缩放点积注意力计算为：
[0049]
headi＝attention(qw
iq
,kw
ik
,vw
iv
) (2)
[0050]
其中，w
iq
、w
ik
、w
iv
分别表示第i个参数矩阵wq、wk、wv，attention()为归一化的缩放点积模型，数学表达为：
[0051][0052]
其中，qk
t
通过点积计算不同特征的相似度，除以进行缩放操作以保证梯度稳定性，在每个headi中添加可学习的相对位置编码multi-head自注意力特征的拼接融合为：
[0053]
multihead(q,k,v)＝concat(head1,head2,...,headh)w
o (4)
[0054]
s3，对上述算法模型在pecic数据集训练的各项测试性能进行进行评估，通过采用准确率(accuracy)、精确率(precision)、召回率(recall)、f1-score、假阳率(false positive rate,fpr)对深度学习模型的性能进行评估；
[0055]
准确率是分类正确的样本占总样本个数的比例，计算公式为：
[0056][0057]
精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例，计算公式为：
[0058][0059]
召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例，计算
公式为：f1-score是精确率和召回率的调和平均值，计算公式为：
[0060][0061]
fpr假阳率，即预测错的负样本占全体负样本的比例，计算公式为：
[0062][0063]
本实施例中，pecic数据集，源于53名危重症儿童的119段操作性疼痛表情视频，其中picu 64段视频、cicu 75段，数据采集总体分布如表1所示，最终形成6951张彩色图像，对应面部表情维度(1级～5级)的数据量分别为375张、1887张、1624张、1499张、1566张，图3为pecic数据集中不同等级的样本图像数据。
[0064]
表1患儿临床操作面部表情数据分布(n＝119)
[0065][0066]
本数据库专门收录危重症儿童疼痛表情，数据规模超过目前所有可见文献中提及的其他面部表情数据集，可支持深度学习算法训练获得更好的识别性能，数据涵盖了7种导致危重症儿童疼痛的主要临床操作，包括41段雾化后吸痰视频、37段气管插管内吸痰视频、20段外科清创/换药视频、16段外周留置针穿刺视频、2段动脉置管视频、2段肌肉/皮下注射视频、1段插导尿管视频。数据集涵盖44天～15岁的儿童，年龄涵盖婴儿期(≥28天～1周岁)到青少年期(13～18周岁)的全部5个阶段，体重范围涵盖3.7公斤～105公斤，在性别和是否机械通气比例考虑了数据均衡性。
[0067]
为了验证pecic数据集对训练和测试深度学习算法模型的有效性，本研究采用准确率(accuracy)、精确率(precision)、召回率(recall)、f1-score、假阳率(false positive rate,fpr)对深度学习模型的性能进行评估，相应混淆矩阵如表2所示。
[0068]
表2
[0069][0070]
分别利用pecic数据集和cope数据集对swin transformer_base算法进行训练和测试，将pecic数据集每个等级均按7:2:1比例分为训练集、验证集和测试集，其中训练集为4949张图像，验证集为1233张图像，测试集为769张图像。训练集中五个等级的样本数据量
分别为267、1344、1156、1067、1115，验证集和测试机按比例分布。由于pecic数据集中存在大量人脸以外的物体如病床背景、医学设备等，因此需要首先进行人脸检测，然后进行表情识别，面部表情等级识别过程如图4所示。针对cope数据集中的疼痛、非疼痛两种类型数据，同样按照7:2:1划分训练集、验证集和测试集，训练集为140张图像，验证集为40张图像，测试集为24张图像。cope数据集图像集中在面部区域，不需要进行人脸检测。
[0071]
本实验基于pytorch1.11深度学习框架，利用8块geforce rtx 1080ti gpu进行实验，模型训练过程中，对数据进行了增强操作以扩充数据量，包括随机水平翻转和随机裁剪，其中随机裁剪尺度为224，模型训练参数batch size设置为16，学习率为0.0001，权重衰减值为0.00001，训练次数为150。
[0072]
实验结果与分析
[0073]
使用了swin transformer_base算法模型对pecic数据集和cope数据集进行疼痛表情分类识别，相应混淆矩阵分别如图5所示，从中可以看出，pecic数据集的疼痛表情类别粒度更小，数据分布更均衡。
[0074]
利用pecic数据集训练的swin transformer_base模型，在pecic数据集上的测试性能结果如表3所示，从表中可以看出，level1、level2和level5的性能明显高于其他两个类别，说明level3和level4的面部表情差异相对较小，更难被区分，总体性能指标达到了较高的水平。
[0075]
表3基于pecic数据集训练并测试的模型性能
[0076][0077][0078]
利用cope数据集训练swin transformer_base模型，在cope数据集上的测试性能结果如表4所示，从表中可以看出，疼痛的识别率不理想，训练样本数据规模不足是主要原因，现在技术采用机器学习svm方法，该方法的小样本学习能力使其利用较少数据就能获得较好性能，但训练数据的不足显然会限制其泛化性能。
[0079]
表4基于cope数据集训练并测试的模型性能
[0080][0081]
将基于swin transformer_base网络模型在pecic数据集和cope数据集训练的各项测试性能进行对比如图6所示，pecic数据集比cope数据集准确率提高17.5％，精准率提高15.8％，召回率提高25.1％，f1-score提高25.4％，假阳率降低33.9％，均明显优于cope
数据集。通过观察pecic数据集的混淆矩阵(图5所示)，pecic数据集通过训练得到预测错误的疼痛等级结果均集中分布在正确标签等级相邻的疼痛等级处，表明pecic数据集标注过程的合理性以及所使用算法模型的科学性。
[0082]
因此，通过swin transformer_base算法模型对pecic数据集和cope数据集进行对比测试表明，本技术建立的pecic数据集在危重症儿童疼痛表情分析上具有更好的可用性和准确性。
[0083]
以上，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

技术特征：
1.一种面向危重症儿童的疼痛表情数据集的构建与验证方法，其特征在于，包括以下步骤：s1，构建面向危重症儿童的疼痛表情数据集(pain expression of critically ill children,pecic)，通过监控摄像机采集儿童疼痛表情视频数据，根据疼痛维度内容对视频图像进行标注，视频数据标注完成后，对挑选出来的视频片段数据进行逐帧处理，自动标注面部紧张程度等级，选定初始相邻帧f1和f2，利用帧间差异法计算两帧图像差异，如果帧间差异小于给定阈值ε，表示儿童面部表情变化较小，舍弃f2帧，计算f1和f3的差异，直至帧间差异大于阈值ε或至视频最后一帧图像，如果帧间差异值大于阈值ε，表示儿童面部表情有明显变化，将该帧作为有效数据纳入pecic数据集，最终形成pecic数据集；s2，基于swin transformer的儿童面部表情评估算法，对上述数据集进行验证，首先将输入图像(h
×
w
×
3)通过标记分割成相同大小的图像块，将图像块依次进行四个阶段的处理，第一阶段包括线性嵌入层和swin transformer block，其余三个阶段由标记合并块和swin transformer block构成；所述swin transformer block由窗口多头自注意力机制(window multi-head self attention，w-msa)、滑动窗口多头自注意力机制(shifted-window multi-head self-attention，sw-msa)、多层感知机(multilayer perceptron,mlp)和标准化层(layer normalization,ln)交替组成，其计算过程为：模块中的w-msa层利用常规窗口划分策略从左上角划分，包括窗口分割(window partition,wp)模块、窗口重组(window reversw,wr)模块和msa模块，其中窗口分割(wp)模块将输入特征图分割为多个m
×
m相邻像素的互不重叠窗口；窗口重组(wr)模块负责将每个独立窗口的multi-head自注意力特征还原拼接为完整的multi-head自注意力特征图；msa模块将每个独立窗口进行multi-head的缩放点积注意力计算，首先对每个独立窗口的图块向量在通道维度进行线性变换，使通道数倍增，同时在特征维度上分割为h(注意力head个数)个子空间，通过h个参数矩阵w
q
、w
k
、wv子空间对每个像素查询q(query)、键k(key)和权重v(value)进行线性变换，并进行缩放点积注意力计算；结果通过可学习权重矩阵w
o
进行拼接融合，联合不同子空间的特征信息得到multi-head自注意力特征；其中，第i个注意力头的缩放点积注意力计算为：head
i
＝attention(qw
iq
,kw
ik
,vw
iv
) (2)其中，w
iq
、w
ik
、w
iv
分别表示第i个参数矩阵w
q
、w
k
、wv，attention()为归一化的缩放点积模型，数学表达为：其中，q,k,qk
t
通过点积计算不同特征的相似度，除以进行缩放操作以保
证梯度稳定性，在每个head
i
中添加可学习的相对位置编码multi-head自注意力特征的拼接融合为：multihead(q,k,v)＝concat(head1,head2,...,head
h
)w
o (4)s3，对上述算法模型在pecic数据集训练的各项测试性能进行进行评估，得到疼痛等级的评估结果。2.根据权利要求1所述的面向危重症儿童的疼痛表情数据集的构建与验证方法，其特征在于：在所述步骤s1中，面部数据采集是采用监控摄像机和固定支架，摄像机架设在床头正上方，镜头垂直向下正对患儿面部，面部角度限定在30度以内，面部占整个画面≥1/2。3.根据权利要求1所述的面向危重症儿童的疼痛表情数据集的构建与验证方法，其特征在于：在所述步骤s1中，对采集的视频片段的图像进行相应等级标注，共设置五个等级的面部表情，分别为leve1面部肌肉完全放松，leve2面部肌肉张力正常、无面部肌肉紧张，leve3面部部分肌肉张力增加，leve4面部全部肌肉张力增加，leve5面部扭曲、表情痛苦。4.根据权利要求1所述的面向危重症儿童的疼痛表情数据集的构建与验证方法，其特征在于：所述步骤s3中，通过采用准确率(accuracy)、精确率(precision)、召回率(recall)、f1-score、假阳率(false positive rate,fpr)对深度学习模型的性能进行评估；准确率是分类正确的样本占总样本个数的比例，计算公式为：精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例，计算公式为：召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例，计算公式为：f1-score是精确率和召回率的调和平均值，计算公式为：fpr假阳率，即预测错的负样本占全体负样本的比例，计算公式为：

技术总结
本发明提供一种面向危重症儿童的疼痛表情数据集的构建与验证方法，通过构建面向危重症儿童的疼痛表情数据集，基于Swin Transformer的儿童面部表情评估算法，对上述数据集进行验证，算法模型在PECIC数据集训练的各项测试性能进行进行评估，得到疼痛等级的评估性能结果。本申请的面向危重症儿童的疼痛表情数据集的构建与验证方法构建的PECIC数据集具有多样性、权威性、科学性和合理性，建立的PECIC数据集在危重症儿童疼痛表情分析上具有更好的可用性和准确性。更好的可用性和准确性。更好的可用性和准确性。


技术研发人员：冯瑞 张晓波 顾莺 傅唯佳 王颖雯 蒋龙泉 吴梦琦 王桢絮
受保护的技术使用者：复旦大学附属儿科医院
技术研发日：2023.05.17
技术公布日：2023/8/14