一种基于深度学习的腰背肌锻炼监测与评估装置及方法

1.本发明涉及锻炼检测、运动医学领域技术领域，具体涉及一种基于深度学习的腰背肌锻炼监测与评估装置及方法。


背景技术：

2.研究显示，因各种不良习惯以及身体疾病导致腰椎间盘突出症高发，同时引发腰腿疼患者日益增多，患者治疗周期长，易复发，严重影响日常生活等一系列问题。有治疗需求的人群数量以惊人的速度逐年增加。需求端的扩大导致医疗领域出现医疗人员紧缺、医疗效率低下的问题。而且在传统的腰椎治疗训练中，一般要依靠专业技术人员进行指导，以此避免手术不当造成的身体伤害，而且还需要特定的环境进行康复训练，因此如何做到通过“术前预防”及“术后护理”的方式，来达到避免手术抑或预防复发的目的，具有很大的研究空间。人工智能技术的发展为运动医学领域提供了新的发展思路，将深度学习算法与腰背肌锻炼模式相结合可以对既有的腰椎间盘突出症患者及术后患者的功能锻炼与康复提供有效干预，预防再次复发或尽量避免手术，提高患者的主动训练参与度与自信度。
3.基于深度学习的人体姿态估计算法被广泛应用于人脸识别、智能安防、无人驾驶等领域。在人体姿态检测方面的研究算法主要分为两个方面：（1）自上而下方法，主要包括人体检测和单个人体关键点检测两个部分，即先通过目标检测算法将图像中存在的人体检测出来，然后在检测出人体的基础上，对每个人体的关键点进行检测。该类算法的优势在于识别效率一般比较高，但由于算法需要对图像中的每个个体进行检测，因此运行速度较慢。（2）自下而上的方法，主要包含关键点检测以及对检测出来的关键点进行聚类组合两部分，即首先将图像中的所有人的关键点检测出来，而后对检测出来的关键点进行聚类分析组合成不同的个体。该类算法主要优势在于速度快，且不受图像中人数的影响，但由于聚类本身的不确定性就会导致整个算法的识别准确率较低。
4.目前对于医疗锻炼辅助装置大都是通用性医疗设备，不仅针对性有待提高，而且价格昂贵，不利于携带。虽然现有腰背肌专用设备可以解决没有机械辅助的情况下，患者独立完成小飞燕等锻炼非常困难的问题，但是还存在着锻炼方式单一，不方便患者选择合适的康复训练方式，且调节装置高度不便，导致患者不方便根据实际情况调节装置训练的强度的问题。
5.从上述背景中可以清晰地得到利用深度学习的多功能腰背肌辅助锻炼监测与评估装置必须要解决的四个关键点是：（1）算法模型必须能够有效抑制环境因素的影响，如光线、遮挡等，具有强鲁棒性，克服普通图像的局限性。（2）算法模型必须保障高分辨率、高处理性能，这样才能代替现医疗人员的指导并且还要保证评估的标准性。（3）装置必须具有性价比高、实用性强、自由度高、灵活性好等特点。（4）评估标准需要进行量化表示，能够对待检测动作做出打分并对危险动作进行报警。


技术实现要素：

6.针对上述问题，本发明提供一种基于深度学习的腰背肌锻炼监测与评估装置及方法,本发明采用下述的技术方案：一种基于深度学习的腰背肌锻炼监测与评估方法，包括以下步骤：s1、实时采集锻炼者的锻炼动作数据；s2、基于深度学习的人体姿态估计模型对步骤s1所述锻炼动作数据先进行目标识别，识别到人体位置后再进行人体关键点回归，得到人体关键点坐标向量空间；s3、采用knn算法计判断人体关键点坐标向量空间的锻炼动作种类并计数；s4、将所述步骤s3判断出的锻炼动作种类的人体关键点坐标向量空间与标准动作的向量空间计算余弦相似度，根据余弦相似度大小采用动作标准度评分公式进行动作标准度评分；s5、根据所述步骤s4评分结果进行评估；进一步的，步骤s3中，所述knn算法的具体步骤包括：s31、计算每个测试样本与训练集中每个样本的距离；s32、根据步骤s31计算出的每个测试样本与训练集中每个样本的距离后，选择距离最近的k个样本作为预测该测试样本类别；s33、预测类别。
7.进一步的，步骤s31中，计算距离的方法采用欧式距离数学表达式，公式表达如下：其中，为输入值的向量空间，为标准样本的向量空间。
8.进一步的，根据步骤s3判断锻炼动作种类进行计数。
9.进一步的，所述余弦相似度具体计算公式为：其中，x和y是两个向量，x
·
y表示向量x和向量y的内积，||x||和||y||分别表示向量x和向量y的模长。
10.进一步的，所述动作标准度评分公式为：其中，x表示输入的人体关键点向量空间，s表示评判某个动作的关键人体部位的集合，表示输入的关键人体部位的向量，表示标准的关键人体部位向量,表示该关键人体部位的向量的权重。
11.本发明的另一方面，提供了一种基于深度学习的腰背肌锻炼监测与评估装置，包括：获取图像模块，用于采集锻炼者锻炼动作的图像；
目标识别模块，用于识别人体位置；锻炼动作判断模块，用于判断锻炼者锻炼动作；评分模块，用于对锻炼动作进行评分。
12.本发明的有益效果是：本发明将基于深度学习的人体姿态估计模型与传统机器学习算法knn相结合，不仅能够精准回归出人体关键点，还能够对动作进行分类识别。这种创新的方法不仅适用于当前的腰背肌锻炼，而且可以应用到未来更多的锻炼动作中。整个算法可以自动地判断锻炼者的腰背肌锻炼状态，同时提供引导和提示，使得康复训练更加高效。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
14.图1为本发明方法流程图；图2为本发明提供的实施例装置示意图；图中：1-装置外壳 2-摄像装置 3-触摸显示装置 4-音响 5-核心板图3为本发明提供的实施例多功能锻炼装置人机交互界面；图中：101-锻炼目标设置 102-动作类型选择 103-存储锻炼结果按钮 104-音乐播放器 105-开始锻炼按钮 106-退出锻炼监测和评估系统
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.下面结合附图和实施例对本发明进一步说明。
16.如图1所示，一种基于深度学习的腰背肌锻炼监测与评估方法，包括以下步骤：步骤一、实时采集锻炼者的锻炼动作数据。
17.将装置（如图2所示）固定于距离人体1.5米左右的距离，使整个人体侧面都能进入其视野范围内。借助装置上配备的摄像装置2，实时采集锻炼者的锻炼动作数据。之后会利用采样到的视频进行实时处理。
18.进一步的，所述装置还包括装置外壳1、触摸显示装置3、音响4、核心板5；所述核心板为jetson nano核心板。
19.步骤二、基于深度学习的blazepose人体姿态估计模型对步骤s1所述锻炼动作数据先进行目标识别，识别到人体位置后再进行人体关键点回归。
20.blazepose神经网络是基于卷积神经网络（convolutional neural network，cnn）的深度学习模型。网络由两个主要的部分组成：姿态估计（pose estimation）和关键点定位（keypoint localization）。其中姿态估计是通过一个基于卷积神经网络的分类器来实现的，该分类器将输入的人体图像划分到几个离散的姿态中。而关键点定位是通过一个回归器来实现的，该回归器会对每个关键点的坐标进行预测，最终形成一组完整的人体姿态。
blazepose神经网络使用了多个损失函数来进行训练，以提高训练效果和稳定性。其中最主要的损失函数是smoothl1 loss，用于估计关键点的坐标。此外，还使用了cross-entropy loss和binary cross-entropy loss等损失函数来进行训练。
21.步骤三、采用knn算法判断人体关键点坐标向量空间的锻炼动作种类。
22.根据采集到的关键点数据，采用knn算法将其与标准动作样本进行比对，计算输入的人体关键点向量与处于“锻炼”状态的样本的欧氏距离，以此判断锻炼的状态。
23.knn算法的基本思想是通过计算样本之间的距离，找出与新样本最近的k个训练样本，然后根据这k个训练样本的类别来预测新样本的类别。knn算法的流程可以概括为以下几个步骤：1、准备数据集：将数据集划分为训练集和测试集。
24.2、计算距离：对于每个测试样本，计算其与训练集中每个样本的距离。常用的距离度量方法包括欧氏距离、曼哈顿距离、闵可夫斯基距离等。其中，计算欧氏距离的数学表达式如下：其中，为输入值的向量空间，为标准样本的向量空间。
25.3、选择k值：根据距离度量计算出每个测试样本与训练集中所有样本的距离后，选择距离最近的k个样本作为预测该测试样本类别的依据。k值的选择通常通过交叉验证来确定。
26.4、预测类别：对于分类问题，将k个样本的类别进行统计，选择出现次数最多的类别作为测试样本的类别。
27.进一步的，根据步骤s3判断锻炼动作种类进行计数，动作计数的算法原理是，根据步骤三的knn算法判断人体是否处于锻炼状态，进行一轮锻炼时，人体进入锻炼状态和退出锻炼状态后计数增加，以飞燕式动作为例，锻炼者俯卧与硬板床上，头，双上肢，双下肢后伸，腹部接触床的面积尽量小，呈飞燕状，根据关键点向量判断锻炼者处于飞燕式状态，之后锻炼者身体放松后，计数增加。
28.步骤四、将所述步骤s3判断出的锻炼动作种类的人体关键点坐标向量空间与标准动作的向量空间计算余弦相似度，根据余弦相似度大小采用动作标准度评分公式进行动作标准度评分。
29.余弦相似度是一种常用的相似度度量方法，用于比较两个向量之间的相似程度。在机器学习和自然语言处理等领域，余弦相似度常用于计算两个向量之间的相似度。余弦相似度的值范围在[-1,1]之间，值越接近1表示两个向量越相似，即动作与标准动作越相似，得分越高，越接近-1则表示两个向量越不相似，即动作与标准动作不相似，得分就越低，而值为0则表示两个向量之间没有相似性。具体计算公式为：其中，x和y是两个向量，x
·
y表示向量x和向量y的内积，||x||和||y||分别表示向量x和向量y的模长。内积是两个向量对应元素的乘积之和，模长是向量的长度，计算方法为
对应元素平方和的平方根。
[0030]
动作标准度的评分公式为：其中，x表示输入的人体关键点向量空间，s表示评判某个动作的关键人体部位的集合，以飞燕式动作为例，s={arm,leg,trunk},因为该动作的关键评判指标为手臂、腿和躯干标准度，表示输入的关键人体部位的向量，表示标准的关键人体部位向量,表示该关键人体部位的向量的权重。
[0031]
进一步的，本发明提供的实施例人机交互界面如图3所示，旨在为使用者提供方便、高效、全面的锻炼监测和评估体验，下面将依次介绍每个按钮的功能：锻炼目标设置101：使用者可以自行调节锻炼的目标时间和目标个数，达到目标后，监测和评估过程会自动停止，从而达到个性化锻炼的目的。
[0032]
动作类型选择102：装置提供了四种常见的腰背肌锻炼种类：飞燕式锻炼、五点支撑、三点支撑、平板支撑。使用者可以根据自己的健康状况和身体状况选择适合自己的锻炼种类，每种锻炼方法都有不同的评分、计数标准，以满足不同用户的需求。
[0033]
存储锻炼结果按钮103：装置提供了数据存储按钮，一轮锻炼结束后可以进行数据存储，结果保存在本地的csv文件中，用户可以通过蓝牙或者读取sd卡的方式将数据转移到手机或者电脑中进行数据分析，以便更好地掌握自己的锻炼情况。
[0034]
音乐播放器104：装置提供了音乐播放器功能，可以在锻炼进行的同时播放背景音乐，用户可以自行调节曲目、音量等，以提高锻炼的乐趣和效果。
[0035]
开始锻炼按钮105：使用者设置好锻炼目标、动作类别、音乐等功能后，可以点击“打开摄像头”按钮开始锻炼的监测与评估。装置会实时显示评估和处理的结果，并伴随语音计数、播报等功能，以便使用者更好地掌握自己的锻炼情况。
[0036]
退出锻炼监测和评估系统106：用户可以随时退出腰背肌锻炼监测与评估系统，以结束当前的锻炼过程。
[0037]
整个人机交互界面的设计，能够为使用者提供方便、高效、全面的腰背肌锻炼监测和评估服务，帮助使用者更好地了解自己的身体状况，达到健康的目的。
[0038]
本发明的整体方案具有一个完善的从监测到分析再到评估的流程，用于视频采集的广角摄像头可以夹持在距离人体1.5米左右，使整个人体侧面都能进入其视野范围内。借助装置上配备的摄像头，实时采集锻炼者的锻炼动作数据。
[0039]
本发明采用了基于深度学习的动作监测评估方法，通过大量样本训练的深度学习模型，实现了对不同场景下的人体姿态识别工作。具有泛化性强、适应性强、可移植性好等优点，可以实时判断锻炼者的状态，并给出得分和评价，同时可以在没有其他人的监督下完成锻炼的评估过程。在该方法中，采用了blazepose算法进行目标识别和人体关键点定位，该算法能够在不同场景下实现高精度的人体姿态识别。通过回归出的人体关键点坐标向量空间，我们采用了knn分类算法进行分类，以判断当前状态下人体的动作种类。最后，将向量空间与标准动作的向量空间计算余弦相似度，设置权重和阈值，从而完成打分和评估的效果。这种方法的可靠性和准确性能够有效地评估锻炼者的运动状态，提高锻炼效率，为人们的健康保驾护航。
[0040]
本发明的腰背肌锻炼监测和评估系统是一款易于操作的装置，其监测和评估系统界面包含多个功能，可以通过触摸屏进行人机交互，具有便利性和易用性。用户可以通过设定锻炼目标和时间，选择音乐播放等功能，系统将实时显示评估和处理的结果，并配有语音计数、播报等功能，使用户更加方便、高效地进行锻炼监测和评估。该装置的设计针对腰背肌锻炼，可以为需要康复训练的锻炼者提供更大的帮助作用。此外，该装置不具备通信模块，可在需要保密性的场所进行部署和使用，例如军队宿舍等。综合以上特点，本发明的腰背肌锻炼监测和评估系统旨在为用户提供方便、高效、全面的锻炼监测和评估体验。
[0041]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，包括以下步骤：s1、实时采集锻炼者的锻炼动作数据；s2、基于深度学习的人体姿态估计模型对步骤s1所述锻炼动作数据先进行目标识别，识别到人体位置后再进行人体关键点回归，得到人体关键点坐标向量空间；s3、采用knn算法判断人体关键点坐标向量空间的锻炼动作种类；s4、将所述步骤s3判断出的锻炼动作种类的人体关键点坐标向量空间与标准动作的向量空间计算余弦相似度，根据余弦相似度大小采用动作标准度评分公式进行动作标准度评分；s5、根据所述步骤s4评分结果进行评估。2.根据权利要求1所述一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，步骤s3中，所述knn算法的具体步骤包括：s31、计算每个测试样本与训练集中每个样本的距离；s32、根据步骤s31计算出的每个测试样本与训练集中每个样本的距离后，选择距离最近的k个样本作为预测该测试样本类别；s33、预测类别。3.根据权利要求2所述一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，步骤s31中，计算距离的方法采用欧式距离数学表达式，公式表达如下：其中，为输入值的向量空间，为标准样本的向量空间。4.根据权利要求1所述一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，根据步骤s3判断锻炼动作种类进行计数。5.根据权利要求1所述一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，所述余弦相似度具体计算公式为：其中，x和y是两个向量，x
·
y表示向量x和向量y的内积，||x||和||y||分别表示向量x和向量y的模长。6.根据权利要求1所述一种基于深度学习的腰背肌锻炼监测与评估方法，其特征在于，所述动作标准度评分公式为：其中，x表示输入的人体关键点向量空间，s表示评判某个动作的关键人体部位的集合，表示输入的关键人体部位的向量，表示标准的关键人体部位向量, 表示该关键人体部位的向量的权重。7.采用权利要求1-6任一所述一种深度学习的腰背肌锻炼监测与评估方法的装置，其特征在于，包括：
获取图像模块，用于采集锻炼者锻炼动作的图像；目标识别模块，用于识别人体位置；锻炼动作判断模块，用于判断锻炼者锻炼动作；评分模块，用于对锻炼动作进行评分。

技术总结
本发明公开了一种基于深度学习的腰背肌锻炼监测与评估装置及方法，采用BlazePose算法进行目标识别和人体关键点定位，该算法能够在不同场景下实现高精度的人体姿态识别。通过回归出的人体关键点坐标向量空间，采用KNN分类算法进行分类，以判断当前状态下人体的动作种类。最后，将向量空间与标准动作的向量空间计算余弦相似度，设置权重和阈值，从而完成打分和评估。本发明将基于深度学习的blazepose网络与学习算法KNN相结合，不仅能够精准回归出人体关键点，还能够对动作进行分类识别，同时提供引导和提示，使得康复训练更加高效。使得康复训练更加高效。使得康复训练更加高效。


技术研发人员：秦娜 尹子杰 黄德青 李志强 张坤
受保护的技术使用者：西南交通大学
技术研发日：2023.07.10
技术公布日：2023/8/13