一种幼儿教育可视化互动方法及系统

1.本技术涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统。


背景技术：

2.随着以更加注重人与人之间的互动为特征的网络时代的到来，可视化交互方式应用越来越广泛。可视化交互方式改进我们访问信息或与信息交互的方式，可视化交互必须与人类互动，可视化可以让用户能够根据查询或者交互、互动过程实现探索、操作，比如根据人的身体姿态、手势以及单击按钮、移动滑块等来显示输入输出之间的真实关系，以便实现可视化的交互方式。
3.对于幼儿教育，可视化互动教学可以有助于培养幼儿的实践能力，可让幼儿主动参与教学互动过程，根据幼儿互动时身体姿态以及手势等信息，来完成幼儿教育过程的可视化互动效果，提高幼儿教育效率。
4.现有可采用姿态检测算法simdr对幼儿图像中的关键点进行检测，以获取幼儿互动时身体姿态以及手势等信息。但是在采用姿态检测算法simdr进行关键点检测时，通常是根据经验来设定固定的缩放因子，当该缩放因子设定的过小时，则影响关键点的预测精度，进而影响到幼儿教育可视化互动效果，而当该缩放因子设定的过大时，又会大幅度增加数据计算量，提高神经网络的训练成本。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种幼儿教育可视化互动方法及系统，以解决现有的问题。
6.本发明的一种幼儿教育可视化互动方法及系统采用如下技术方案：本发明一个实施例提供了一种幼儿教育可视化互动方法，该方法包括以下步骤：摄像头采集幼儿图像，通过去噪增强得到幼儿优化图像；设定simdr姿态检测算法中缩放因子最大值、最小值，依次从缩放因子最小值开始，根据simdr姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，根据各关键点的编码坐标以及simdr姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标；根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差；根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度；根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度；将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子；通过各关键点的自适应缩放因子结合simdr姿态检测算法以及cnn-based网络提取
幼儿优化图像中的幼儿各关键点；通过可视化互动时幼儿各种姿态得到标准库，根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。
7.优选的，所述根据simdr姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，表达式为：式中，是关键点p编码后的坐标表示，为关键点p编码后的坐标，为四舍五入操作，为关键点p在幼儿优化图像中的坐标，k为缩放因子。
8.优选的，所述所述根据各关键点的编码坐标以及simdr姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为：得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为：式中，为关键点p的预测点坐标，为取最大值操作，为缩放因子，为关键点p编码后的坐标。
9.优选的，所述根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差，表达式为：式中，为缩放因子为k时关键点p的初步量化误差，为取最大值操作，为关键点p的预测点坐标，为关键点p在幼儿优化图像中的坐标，为避免分母为零的极小值。
10.优选的，所述根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度，表达式为：式中，为缩放因子为k时关键点p的预测置信度，为缩放因子为k时关键点p的初步量化误差。
11.优选的，所述根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：式中，为关键点p的近邻关键点总数，为置信度截止值，为缩放因子为k时关键点p的预测置信度，为缩放因子为k时关键点i的预测置信度。
12.优选的，所述根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，表达式为：式中，为关键点p的第n个移动速度，n为关键点的移动速度数量、移动方向数量，为关键点p的第n个移动方向，为关键点p的局部关注度。
13.优选的，所述根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适
应缩放因子，表达式为：式中，为关键点p的自适应缩放因子，为缩放因子最大值、最小值，关键点p的初始缩放因子，为关键点p的局部关注度，为四舍五入取整函数。
14.优选的，所述根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，表达式为：式中，为幼儿姿态与标准库中的姿态a的匹配度，p为幼儿关键点总数，为幼儿的关键点p，为标准库中姿态a的关键点p，为欧式距离符号。
15.第二方面，本发明提供了一种幼儿教育可视化互动系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令，以实现上述的一种幼儿教育可视化互动方法。
16.本发明至少具有如下有益效果：本发明通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合simdr姿态检测算法以及cnn-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；本发明考虑到姿态检测算法simdr在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明具有较高的检测精度以及具有较高可视化智能交互效率等有益效果。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
18.图1为本发明提供的一种幼儿教育可视化互动方法的流程图；图2为幼儿身体关键点图。
具体实施方式
19.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种幼儿教育可视化互动方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另
一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
20.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
21.下面结合附图具体的说明本发明所提供的一种幼儿教育可视化互动方法及系统的具体方案。
22.本发明一个实施例提供的一种幼儿教育可视化互动方法及系统。
23.具体的，本实施例的一种幼儿教育可视化互动方法及系统提供了如下的一种幼儿教育可视化互动方法，请参阅图1，该方法包括以下步骤：步骤s001，通过摄像头采集幼儿图像。
24.首先，在可视化互动系统上安装摄像头，用于对用户图像进行采集，对于摄像头的安装角度以及安装位置实施者根据实际情况自行设置。本实施例中通过可视化互动系统的摄像头对幼儿图像进行采集，作为幼儿姿态检测特征提取的基础数据。
25.至此，即可通过可视化互动系统上的摄像头对幼儿进行图像采集，获取幼儿图像，用于对幼儿姿态进行检测分析，便于后续可视化交互过程。
26.步骤s002，对幼儿图像进行分析并特征提取，准确提取幼儿姿态信息。
27.对于采集的幼儿图像，在进行图像采集过程中，摄像头内部半导体等器件将产生不连续的散粒噪声以及低频噪声等，导致所采集的幼儿图像中存在大量的噪点，同时，图像采集过程中极易受到外界环境因素的影响，环境噪声对幼儿图像也会存在一定的影响，因此，为避免噪点对幼儿图像质量的影响，本实施例将采用中值滤波算法对幼儿图像进行去噪处理，并对去噪后的图像进行直方图均衡化，对幼儿图像进行增强处理，以提高幼儿图像对比度，便于对幼儿姿态状况进行准确检测。需要说明的是，中值滤波去噪以及直方图均衡化过程均为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。为便于后续描述及分析，将去噪增强处理后的幼儿图像记为幼儿优化图像。
28.对于幼儿优化图像，为实现快速检测幼儿姿态信息，本实施例基于幼儿优化图像对幼儿关键点进行表征提取，对于身体关键点检测大多采用heatmap-based方法（基于热图的方法），但是该方法在低分辨率的图像上掉点严重的情况；为提高精度，需要多个采样层来将特征图分辨率由低到高进行灰度，这个过程耗费大额开销以及更大的计算量；同时，还需要额外的后处理来减小尺度下降带来的量化误差等，因此，为降低系统计算量，提高幼儿关键点检测速度，保证检测精度，本实施例将采用姿态检测算法simdr(simple disentagled coordinate representation)结合神经网络对关键点进行表征提取，将关键点坐标(x, y)用两条独立的、长度等于或高于原图片尺寸的一维向量进行表征，simdr在cnn(convolutional neural network)-based和transformer-based人体姿态估计模型上均取得了更好的表现。simdr首先采用cnn-based卷积神经网络提取关键点表示，给定获得的关键点表示后，然后simdr分别对垂直坐标和水平坐标进行坐标分类，以得到最终的关键点预测。
29.传统的heatmap-based方法通过二维高斯分布生成高斯热图作为标签，监督模型输出，通过均方差损失函数来进行优化。而这种方法下得到的heatmap（热图）尺寸往往是小于图片原尺寸的，因而最后通过argmax得到的坐标放大回原图中，会承受不可避免的量化
误差，在这个过程中，姿态检测算法simdr通过设置缩放因子k以解决由于坐标转换而产生严重量化误差的问题。以幼儿优化图像中幼儿的关键点p为例，通过编码后的坐标表示为：式中，是关键点p编码后的坐标表示，为关键点p编码后的坐标，为四舍五入操作，为关键点p在幼儿优化图像中的坐标，为缩放因子，缩放因子k的作用是将定位精度增强到比单个像素更小的级别；然后，对于关键点p编码完成的坐标，将编码坐标作为坐标分类器的输入，水平坐标分类器对坐标进行解码生成关键点p的横坐标，垂直坐标分类器对坐标解码生成关键点p的纵坐标，分类结果是从一维向量上的最大值点所在的位置除以缩放因子以还原定位关键点在幼儿优化图像中的预测位置，解码后关键点p的预测点坐标为：
ꢀꢀ
式中，为关键点p的解码坐标，也即关键点p在幼儿优化图像中对应的预测点坐标，为取最大值操作，为缩放因子，为关键点p编码后的坐标。需要说明的是，对于幼儿关键点的位置实施者可自行确定，本实施例中使用simdr姿态检测算法进行幼儿关键点的检测，关键点包括左右眼、左右耳、鼻子、颈、左右肩、左右肘关节、左右腕关节、左右髋关节、左右膝关节、左右踝关节。
30.考虑到simdr姿态检测算法结合卷积神经网络在进行关键点检测时，缩放因子的设定会对关键点的坐标产生影响，目前大多通过人为设定固定的缩放因子，但是，对于simdr姿态检测算法在进行不同关键点的预测时，由于关键点位置不同因此量化误差会具有较大差异，设置固定的缩放因子具有较强主观性且无法根据关键点的自身特征属性对缩放因子进行自适应设定，导致关键点的定位出现误差，影响幼儿姿态信息，因此，为提高幼儿关键点的检测提取精度，保证幼儿姿态检测准确性，本实施例将对关键点预测过程中的缩放因子进行自适应设定，simdr姿态检测算法缩放因子自适应设定过程具体为：为防止缩放因子过大过小导致幼儿关键点预测不准确的问题，本实施例将设定缩放因子范围，缩放因子范围实施者可自行设定，本实施例设置为。首先，依次从最小缩放因子开始结合simdr对幼儿关键点进行预测，获取幼儿各关键点对应的预测点，根据幼儿各关键点的标签以及各关键点的预测点得到各关键点在不同缩放因子下所对应的初步量化误差：式中，为缩放因子为k时关键点p的初步量化误差，为取最大值操作，为关键点p的解码坐标，也即关键点p在幼儿优化图像中对应的预测点坐标，为关键点p在幼儿优化图像中的坐标，为避免分母为零的极小值，实施者可自行设定，本实施例设置为；然后，本实施例将根据各关键点的初步量化误差对各关键点的预测置信度进行计算，关键点的预测置信度表达式为：式中，为缩放因子为k时关键点p的预测置信度，为缩放因子为k时关键点p的初步量化误差，用于对进行归一化处理，实施者也可采用其他归一化方式。考虑到对于人体来说，不同关键点位置之间的关系是存在固定约束的，关键点之间会存在影响，对于某个关键点，当其近邻关键点的预测置信度较低时，则该关键点的预测置信度也将会出现一定的偏差，因此，本实施例将根据各关键点的近
邻关键点不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：式中，为关键点p的近邻关键点总数，为缩放因子为k时关键点p的预测置信度，为缩放因子为k时关键点i的预测置信度，为置信度截止值，实施者可自行设置，本实施例设置为。需要说明的是关键点的近邻关键点实施者根据情况可自行设定，本实施例中，将与关键点直接相连的关键点均作为关键点的近邻关键点，如图2，关键点1的近邻关键点包括0,2,5,8,11，共五个近邻关键点，需要说明的是，图2中数字0-17分别代表幼儿关键点，具体为：0代表鼻子，1代表颈，2、5代表左右肩，3、6代表左右肘关节，4、7代表左右腕关节，8、11代表左右髋关节，9、12代表左右膝关节，10、13代表左右踝关节，14、15代表左右眼，16、17代表左右耳；重复上述方法，依次获取不同缩放因子下各关键点的优化预测置信度；关键点的优化预测置信度越大，则对应缩放因子下关键点的预测精度越高，也即关键点检测越准确，因此，本实施例中将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；重复上述方法，获取每个关键点的初始缩放因子；进一步，考虑到仅根据关键点的预测位置差异对关键点的缩放因子进行设定，具有一定的局限性，没有综合考虑幼儿身体姿态之间的关系，为提高幼儿身体关键点缩放因子自适应设定效果，保证各关键点检测精度的同时降低关键点检测提取过程中的计算量，降低神经网络训练成本，本实施例将对于关键点的局部关注度进行分析，对于不同的动作来说，对幼儿身体不同关键点的调度是不同的，比如与上半身相关的手势等动作时，对于左右肩关节、肘关节以及腕关节的调动较多，而对幼儿的髋关节、膝关节等位置的调动较少，因此可以根据不同动作对幼儿身体不同关键点的局部关注度进行检测，局部关注度不同的关键点在进行预测时预测误差差异较大，同时，对于缩放因子，当缩放因子越小时，神经网络训练速度快成本低，但是将会影响关键点的预测精度；而缩放因子越大，则神经网络输出的一维向量越长，预测精度会有所提升，但是神经网络的训练成本高，计算量大，因此，本实施例中将进一步根据各关键点的局部关注度对关键点的缩放因子进行自适应调控，局部关注度高的关键点赋予更大的缩放因子，以提高定位精度；对于局部关注度低的关键点可以自适应的缩小缩放因子，以提供更大的动作变形空间，降低模型的训练难度以训练成本。当实现某一动作时，若对某个关键点位置的位移和移动方向变化越大，则应对该关键点赋予更高的关注；对于当前分析的幼儿图像，选取其后连续多帧的n张图像并进行相同的去噪及增强处理，因此，共有n+1张连续的幼儿优化图像。然后计算各关键点在相邻幼儿优化图像的移动速度和移动方向，则每个关键点可得到n个移动速度及移动方向，需要说明的是，关键点的移动速度以及移动方向的计算为现有公知技术，本实施例中关键点的移动方向为：相邻两帧对应关键点的连线与水平线的夹角作为该关键点的移动方向，根据各关键点在连续多帧的移动速度以及移动方向得到关键点的局部关注度，表达式为：式中，为关键点p的第n个移动速度，n为关键点移动速度数量、移动方向数量，为关键点p的第n个移动方向，为关键点p的局部关注度，关键点在时序上的变化程度越大，则关键点调动程度越大，对于幼儿姿态检测中的重要
性越高，需要越高的预测精度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，自适应缩放因子表达式为：式中，为关键点p的自适应缩放因子，为缩放因子最大值、最小值，为关键点p的初始缩放因子，为关键点p的局部关注度，为四舍五入取整函数，作用为保证缩放因子为正整数，符合缩放因子取值要求；重复上述方法，获取各关键点所对应的自适应缩放因子，可实现对幼儿身体各关键点检测的缩放因子进行自适应设定，具有较高的适用性，可提高关键点检测精度同时保证神经网络的训练速度，降低训练成本。
31.获取各关键点的自适应缩放因子后，通过cnn-based网络结合simdr姿态检测算法完成幼儿关键点的检测提取，并得到幼儿身体姿态信息，需要说明的是， cnn-based网络结合simdr姿态检测算法提取幼儿身体关键点以及得到幼儿身体姿态信息的具体过程为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。
32.步骤s003，根据所提取的幼儿姿态信息，实现幼儿教育可视化互动过程。
33.根据本实施例上述幼儿关键点提取过程以及幼儿身体姿态信息，本实施例将对幼儿姿态进行匹配识别，以实现可视化交互过程。为实现对幼儿姿态的准确检测，本实施例将构建标准库，标准库中包含可视化互动时幼儿的各种姿态，通过本发明上述方法对可视化互动时幼儿各种姿态图像的关键点进行提取，得到幼儿各种姿态图像对应的关键点检测图像，构成标准库，需要说明的是，幼儿教育可视化互动幼儿姿态的设定实施者可自行选取，标准库的构建过程为现有技术，在此不做一一详细阐述。根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，幼儿姿态匹配度表达式为：式中，为幼儿姿态与标准库中的姿态a的匹配度，p为幼儿关键点总数，为幼儿的关键点p，为标准库中的姿态a的关键点p，为欧式距离，匹配度越大，则幼儿姿态与对应标准库中的姿态的相似度越高；重复上述方法，获取幼儿姿态与标准库中各个姿态的匹配度，将匹配度最高对应的姿态作为幼儿姿态，根据幼儿姿态的识别结果，完成相应的输出，实现可视化互动过程。
34.综上所述，本发明实施例通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合simdr姿态检测算法以及cnn-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；本发明实施例考虑到姿态检测算法simdr在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明实施例结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明实施例具有较高的检测精度以及可视化智能交互
等有益效果。
35.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
36.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
37.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种幼儿教育可视化互动方法，其特征在于，该方法包括以下步骤：摄像头采集幼儿图像，通过去噪增强得到幼儿优化图像；设定simdr姿态检测算法中缩放因子最大值、最小值，依次从缩放因子最小值开始，根据simdr姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，根据各关键点的编码坐标以及simdr姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标；根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差；根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度；根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度；将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子；通过各关键点的自适应缩放因子结合simdr姿态检测算法以及cnn-based网络提取幼儿优化图像中的幼儿各关键点；通过可视化互动时幼儿各种姿态得到标准库，根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。2.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据simdr姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，表达式为：式中，是关键点p编码后的坐标表示，为关键点p编码后的坐标，为四舍五入操作，为关键点p在幼儿优化图像中的坐标，k为缩放因子。3.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点的编码坐标以及simdr姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为：表达式为：式中，为关键点p的预测点坐标，为取最大值操作，为缩放因子，为关键点p编码后的坐标。4.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差，表达式为：式中，为缩放因子为k时关键点p的初步量化误差，为取最大值操作，为关键点p的预测点坐标，为关键点p在幼儿优化图像中的坐标，为避免分母为零的极小值。5.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度，表达式为：式中，为缩放因子为k时关键点p的预测置信度，为缩放因
子为k时关键点p的初步量化误差。6.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：式中，为关键点p的近邻关键点总数，为置信度截止值，为缩放因子为k时关键点p的预测置信度，为缩放因子为k时关键点i的预测置信度。7.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，表达式为：式中，为关键点p的第n个移动速度，n为关键点的移动速度数量、移动方向数量，为关键点p的第n个移动方向，为关键点p的局部关注度。8.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，表达式为：式中，为关键点p的自适应缩放因子，为缩放因子最大值、最小值，为关键点p的初始缩放因子，为关键点p的局部关注度，为四舍五入取整函数。9.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，表达式为：式中，为幼儿姿态与标准库中的姿态a的匹配度，p为幼儿关键点总数，为幼儿的关键点p，为标准库中姿态a的关键点p，为欧式距离符号。10.一种幼儿教育可视化互动系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现所述权利要求1-9中任一项所述的一种幼儿教育可视化互动方法。

技术总结
本发明涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统，获取幼儿优化图像；根据SimDR姿态检测算法计算幼儿各关键点的编码坐标，并得到各关键点的预测点坐标；计算各关键点在不同缩放因子下的初步量化误差及优化预测置信度，根据优化预测置信度获取各关键点的初始缩放因子；根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，进而计算各关键点的自适应缩放因子并提取幼儿优化图像中的幼儿各关键点；计算幼儿姿态与标准库中幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。从而幼儿教育可视化互动过程，具有较高可视化互动效率。动效率。动效率。


技术研发人员：毛玉蕊 毛蔚
受保护的技术使用者：青岛黄海学院
技术研发日：2023.06.20
技术公布日：2023/7/25