一种全息远程教学方法及系统与流程

1.本发明属于虚拟现实技术领域，尤其涉及一种全息远程教学方法及系统。


背景技术：

2.全息投影技术也称虚拟成像技术，目前，全息投影技术已在展览、广告、教学等领域得到初步运用，该技术的主要优点是能够将三维影像悬浮呈现于半空中，营造出亦幻亦真的氛围。随着教育系统对计算机多媒体教学系统技术的普遍需要，多媒体教学系统研发就显得尤其重要，将全息投影技术运用于教学领域可以很好地解决空间结构难以理解，立体视图难以弄清，繁琐复杂的运动难以全方位研究等问题，以便于学生对教学对象空间结构的理解，加深对教学对象的认识。
3.而现有的全息远程教学技术可能面临一些挑战：可能会受到网络延迟、抖动和设备等因素的影响，导致教学内容在还原端展示时出现不稳定的现象；对不同教学场景的适应性有限，教学模式通常是统一的，无法满足不同学习场景的个性化需求，尤其在一对多的教学场景中，即一个采集端对应多个还原端的情况。


技术实现要素：

4.本发明提供一种全息远程教学方法及系统，旨在解决上述背景技术提到的问题。
5.本发明是这样实现的，提供一种全息远程教学方法，步骤包括：收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据；根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器；通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器；根据全局模型参数对各个边缘服务器的本地模型参数进行优化；重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型；授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据；对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端；根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影
像实时呈现给学习者。
6.更进一步的，所述根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器的步骤包括：对训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据分别进行特征提取以得到历史的教师特征向量及历史的真实标签；通过每个边缘服务器将教师的特征向量作为种子模型对本地的神经网络模型进行初始化；将每个样本历史的教师特征向量传递给神经网络的输入层，并在每一层的隐含层中进行前向传播，对于每一层的隐含层，计算其加权和再通过激活函数以得到输出，并将输出作为下一层的隐含层的输入，直至经过输出层得到预测值，计算公式为：a（l）=σ(z（l）)，z（l）=w（l）*a（l-1）+b（l），其中，l是输出层的索引，w(l)是输出层的权重矩阵，a（l-1）是倒数第二层的输出，b（l）是输出层的偏置项，a（l）是输出层的输出，即预测值，σ是激活函数；通过损失函数对模型的预测值与真实标签之间的损失误差进行计算，loss=(1/n)*σ(ai（l）-yi)2，其中，ai（l）是模型对第i个样本的预测值，yi是第i样本的真实标签，n是样本的数量；通过反向传播计算损失函数对模型参数的梯度；根据损失函数对模型参数的梯度对模型每一层的参数进行调整更新，调整公式为：θ
新
(i)=θ
原
(i)-α*(1/n)*σdi(i)，其中，θ
新
(i)为更新后的第i个隐藏层的参数，θ
原
(i)为更新前的第i个隐藏层的参数，α为第一学习率，用于控制参数更新的步长，n为样本的数量，di(i)为输入第i个样本时模型的第i个隐藏层的梯度，σdi(i)表示输入每个样本时对模型的第i个隐藏层的梯度进行求和；进行迭代训练，不断调整本地模型参数直至本地模型参数趋于稳定，则对边缘服务器上的本地模型训练完成；将训练后的本地模型参数发送给云端服务器。
7.更进一步的，所述通过反向传播计算损失函数对模型参数的梯度的步骤包括：对模型输出层的梯度进行计算，输出层的梯度d(l)=δ(l)*(a(l-1))
t
，δ(l)=(a(l)-y)
⊙
σ'(z（l）)，其中，l为输出层的索引，δ(l)为型输出层的误差项，
⊙
表示按元素相乘，a（l）为输出层的输出，即预测值，y为真实标签，σ'(z（l）)为输出层激活函数的导数；从倒数第二层开始，通过链式法则依次计算除输出层以外的各隐含层的梯度，各隐含层的梯度d(i)=δ(i)*(a(i-1))
t
，δ(i)=((θ(i+1))
t
*δ(i+1))
⊙
σ'(z(i))，其中，i为隐藏层的索引，i=l-1，l-2，...，1，δ(i)为第i个隐藏层的误差项，(a(i-1))
t
为第i-1个隐藏层的输出的转置，δ(i+1)为第i+1个隐藏层的误差项，θ(i+1)为第i+1个隐藏层的参数，包括权重矩阵和偏置项，(θ(i+1))
t
为第i+1个隐藏层参数的转置，σ'(z(i))为第i个隐藏层激活函数的导数。
8.更进一步的，所述通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器的步骤包括：在云端服务器上初始化一个全局的神经网络模型；
通过云端服务器接收来自多个边缘服务器的本地模型参数并对本地模型参数进行聚合以得到全局模型参数，全局模型参数θ(global)=(1/n) *σθj(local)，其中，n为边缘服务器的数量，θj(local)为第j个边缘服务器上传的本地模型参数，σθj(local)为各个边缘服务器上传的本地模型参数的总和；根据聚合后的全局模型参数对全局模型参数进行优化及更新，优化公式为：θ
新
(global)=θ(global)-β*
▽
(loss(θ(global)))，其中，β为第二学习率，
▽
(loss(θ(global)))为全局模型在训练数据上的梯度；将优化后的全局模型参数发送回每个边缘服务器。
9.更进一步的，所述根据全局模型参数对各个边缘服务器的本地模型参数进行优化的步骤包括：每个边缘服务器接收到全局模型参数后，根据全局模型参数来优化及更新本地模型参数，边缘服务器的本地模型参数优化公式为：θ
new
=θ(local)-γ*
▽
(loss(θ(local)))，其中，θ
new
为边缘服务器的本地模型更新后的参数，θ(local)为边缘服务器的本地模型更新前的参数，γ为第三学习率，
▽
(loss(θ(local)))是边缘服务器的本地模型在本地数据上的梯度。
10.更进一步的，所述根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像的步骤包括：将实时的教师特征向量作为输入传递给全息影像模型的输入层；从输入层开始向前传播数据，并通过逐层计算以得到输出层的预测结果，即教师的全息影像。
11.本发明还提供一种全息远程教学系统，用于执行全息远程教学方法，包括：历史数据收集模块：用于收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据；训练模块：用于根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器；第一优化模块：用于通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器；第二优化模块：用于根据全局模型参数对各个边缘服务器的本地模型参数进行优化；模型完成模块：用于重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型；实时数据采集模块：用于授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据；特征提取模块：用于对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端；
全息影像生成模块：用于根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影像实时呈现给学习者。
12.本发明的有益效果在于，与现有技术相比，本发明的全息远程教学方法及系统通在一对多的教学场景中，每个边缘服务器可以收集并处理各自学习者的数据，从而生成个性化的本地模型参数，这些个性化的本地模型参数会被上传至云端服务器，并通过聚合和优化得到全局模型参数，再根据全局模型参数继续对每个边缘服务器进行优化。由于不同边缘服务器面对不同的教学场景和学习者，会拥有不同的本地数据，而通过聚合多个边缘服务器的模型参数，实际上相当于将多样化的数据信息整合在全局模型中，这样得到的全息影像模型便可以从更丰富、多样的数据中学习，并更好地适应不同的教学场景，为学习者提供更全面和个性化的教学体验；且由于单个边缘服务器在训练过程中可能会受到不稳定网络环境、设备差异或其他因素的影响，导致本地模型参数的波动和不稳定性。而通过聚合多个边缘服务器的模型参数，可以消除个别边缘服务器本地模型参数的不稳定影响，从而获得更加稳定的全局模型参数。使得全息影像模型在各个边缘服务器上的表现更为一致，增加了系统对复杂环境和异常情况的鲁棒性，为学习者提供更稳定可靠的教学体验；在全局模型的训练过程中，通过多个边缘服务器同时进行模型参数的优化，加快了全局模型的优化速度，提高了优化效率。多次迭代优化后，全局模型的参数将更加趋于稳定和收敛，从而获得更优的全息影像模型。
附图说明
13.图1是本发明提供的全息远程教学方法的流程示意图；图2是本发明提供的全息远程教学系统的系统框图。
具体实施方式
14.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
15.参考图1，实施例一提供一种全息远程教学方法，包括步骤s101~ s108：s101，收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据。
16.需要说明的是，采集端的教师3d扫描数据是指在教学过程中，通过使用3d扫描设备（如智能手机或专用扫描仪）对教师进行实时扫描和拍摄，以获取的教师的三维形态信息，这些3d扫描数据可以包含教师的身体姿态、表情、动作等特征，构成一个完整的三维模型。对应呈现在还原端的教师全息影像数据是指根据教师的3d扫描数据，在还原端（学习者端）上生成教师的全息影像，全息影像是一种高级的图像显示技术，它能够以全方位的方式
呈现三维物体的影像，使得学习者可以在虚拟的教室中观看和与教师进行实时互动。
17.具体来说，全息影像是通过将教师的3d扫描数据进行处理和渲染，生成的一个虚拟的教师影像，这个影像可以在还原端的设备上以全息的方式呈现，让学习者感觉教师就像在真实的教室里一样。
18.s102，根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器。
19.需要说明的是，边缘服务器是部署在靠近还原端（学习者端）的位置，它作为云端服务器的辅助节点，负责接收来自采集端的教师3d扫描数据及教师全息影像数据，并根据这些历史数据对本地模型进行训练。每个还原端附近都部署有一个边缘服务器，这样可以使得数据传输和处理更加高效和实时，减少延迟，提高教学体验。
20.边缘服务器从采集端接收实时的教师3d扫描数据和对应的教师全息影像数据，这些数据可以通过无线网络等方式传输到边缘服务器。
21.边缘服务器利用接收到的历史教师3d扫描数据及历史教师全息影像数据，对本地模型进行训练。这样，边缘服务器可以根据教师的历史教学特征来优化本地模型，使得模型更加适应当前的教学场景和学习者需求。训练后，边缘服务器会得到本地模型的参数，这些参数是经过优化的模型参数，反映了本地教学特点和历史教学经验。边缘服务器将本地模型参数发送给云端服务器，这些参数将用于全局模型的聚合和优化，以得到更稳定和个性化的全局模型。
22.具体的，所述根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器的步骤包括：对训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据分别进行特征提取以得到历史的教师特征向量及历史的真实标签；通过每个边缘服务器将教师的特征向量作为种子模型对本地的神经网络模型进行初始化；将每个样本历史的教师特征向量传递给神经网络的输入层，并在每一层的隐含层中进行前向传播，对于每一层的隐含层，计算其加权和再通过激活函数以得到输出，并将输出作为下一层的隐含层的输入，直至经过输出层得到预测值，计算公式为：a（l）=σ(z（l）)，z（l）=w（l）*a（l-1）+b（l），其中，l是输出层的索引，w(l)是输出层的权重矩阵，a（l-1）是倒数第二层的输出，b（l）是输出层的偏置项，a（l）是输出层的输出，即预测值，σ是激活函数（如relu、sigmoid等）；通过损失函数对模型的预测值与真实标签之间的损失误差进行计算，loss=(1/n)*σ(ai（l）-yi)2，其中，ai（l）是模型对第i个样本的预测值，yi是第i样本的真实标签，n是样本的数量；通过反向传播计算损失函数对模型参数的梯度；根据损失函数对模型参数的梯度对模型每一层的参数进行调整更新，调整公式为：θ
新
(i)=θ
原
(i)-α*(1/n)*σdi(i)，其中，θ
新
(i)为更新后的第i个隐藏层的参数，θ
原
(i)为更新前的第i个隐藏层的参数，α为第一学习率，用于控制参数更新的步长，n为样本的数量，di
(i)为输入第i个样本时模型的第i个隐藏层的梯度，σdi(i)表示输入每个样本时对模型的第i个隐藏层的梯度进行求和；进行迭代训练，不断调整本地模型参数直至本地模型参数趋于稳定，则对边缘服务器上的本地模型训练完成；在此过程中，边缘服务器使用本地数据来优化模型的参数，以使模型在本地数据上达到更好的拟合效果，从而更好地适应学生。
23.将训练后的本地模型参数发送给云端服务器。
24.进一步，所述通过反向传播计算损失函数对模型参数的梯度的步骤包括：对模型输出层的梯度进行计算，输出层的梯度d(l)=δ(l)*(a(l-1)) t
，δ(l)=( a (l)-y)
⊙
σ'(z（l）)，其中，l为输出层的索引，δ(l)为型输出层的误差项，
⊙
表示按元素相乘，a（l）为输出层的输出，即预测值，y为真实标签，σ'(z（l）)为输出层激活函数的导数；从倒数第二层开始，通过链式法则依次计算除输出层以外的各隐含层的梯度，各隐含层的梯度d(i)=δ(i)*(a(i-1)) t
，δ(i)=((θ(i+1))
t
*δ(i+1))
⊙
σ'(z (i))，其中，i为隐藏层的索引，i=l-1，l-2，...，1，δ(i)为第i个隐藏层的误差项，(a(i-1)) t
为第i-1个隐藏层的输出的转置，δ(i+1)为第i+1个隐藏层的误差项，θ(i+1) 为第i+1个隐藏层的参数，包括权重矩阵和偏置项，(θ(i+1))
t
为第i+1个隐藏层参数的转置，σ'(z (i))为第i个隐藏层激活函数的导数。
25.s103，通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器。
26.需要说明的是，全局模型由云端服务器对各个边缘服务器的本地模型参数进行聚合和优化得到，在全局模型中，通过集成多个边缘服务器的本地模型参数，使得全局模型能够综合各个边缘服务器的优势，具有更稳定、更鲁棒和更个性化的特性。
27.云端服务器收集来自各个边缘服务器的本地模型参数，这些本地模型参数是在边缘服务器上根据历史的教师3d扫描数据及历史的教师全息影像数据进行训练得到的，云端服务器利用聚合算法，例如联邦学习算法，将这些本地模型参数进行汇总和聚合，得到一个全局的模型参数。
28.在模型参数聚合的基础上，云端服务器进行全局模型的优化。通过对全局模型参数进行优化，可以进一步调整模型的权重和偏置，使得全局模型在各个边缘服务器的本地数据上都能够表现出更好的性能。
29.优化完成后，云端服务器将全局模型参数发送给各个还原端的边缘服务器。每个边缘服务器收到全局模型参数后，将其应用于本地模型，并进行本地模型参数的更新。
30.在边缘服务器上，本地模型参数可以是加密传输的，只有经过云端服务器的聚合和优化后，全局模型参数才会传回给各个边缘服务器，这样可以保证数据的隐私和安全性，不会泄露教师和学生的个人信息。
31.在一对多的教学场景中，每个边缘服务器可以收集并处理各自学习者的数据，从而生成个性化的本地模型参数。这些个性化的本地模型参数会被上传至云端服务器，并通过聚合和优化得到全局模型参数。这样，全局模型就可以更好地适应不同学习者的需求，生成更个性化的教学内容。例如，对于学习进度较快的学习者，全局模型可以生成更加深入的教学内容，而对于学习进度较慢的学习者，全局模型可以生成更为详细的解释和提示，以帮助他们更好地理解。
32.具体的，所述通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器的步骤包括：在云端服务器上初始化一个全局的神经网络模型；通过云端服务器接收来自多个边缘服务器的本地模型参数并对本地模型参数进行聚合以得到全局模型参数，全局模型参数θ(global)=(1/n) *σθj(local)，其中，n为边缘服务器的数量，θj(local)为第j个边缘服务器上传的本地模型参数，σθj(local)为各个边缘服务器上传的本地模型参数的总和；根据聚合后的全局模型参数对全局模型参数进行优化及更新，优化公式为：θ
新
(global)=θ(global)-β*
▽
(loss(θ(global)))，其中，β为第二学习率，
▽
(loss(θ(global)))为全局模型在训练数据上的梯度；将优化后的全局模型参数发送回每个边缘服务器。
33.s104，根据全局模型参数对各个边缘服务器的本地模型参数进行优化。
34.需要说明的是，云端服务器将优化后的全局模型参数发送给各个边缘服务器，这些全局模型参数包含了在云端优化后的权重和偏置等模型参数。每个边缘服务器收到全局模型参数后，将其应用于本地模型，本地模型通过替换原有的模型参数，使用全局模型参数进行更新，使得边缘服务器的本地模型得到了一次优化。
35.更新后的本地模型可以继续在边缘服务器上进行训练和优化。边缘服务器可以使用本地的教师3d扫描数据及对应的教师全息影像数据，利用优化后的模型参数进行训练，以进一步提升模型性能。
36.在教学过程中，边缘服务器可能会持续收集实时的教师特征向量及实时的教师全息影像数据，这些实时数据可以用于不断优化边缘服务器上的本地模型。通过反复的模型训练和优化，边缘服务器的本地模型会逐渐收敛到更优状态，之后将更优的本地模型参数传输给云端服务器用于全局模型参数的聚合及优化，以指导全局模型达到更稳定、更鲁棒和更个性化的效果。
37.全局模型和本地模型的结合使得系统能够在实时性和个性化需求之间取得平衡，提供更可靠、稳定和优质的教学体验。
38.具体的，所述根据全局模型参数对各个边缘服务器的本地模型参数进行优化的步骤包括：每个边缘服务器接收到全局模型参数后，根据全局模型参数来优化及更新本地模型参数，边缘服务器的本地模型参数优化公式为：θ
new
=θ(local)-γ*
▽
(loss(θ(local)))，其中，θ
new
为边缘服务器的本地模型更新后的参数，θ(local)为边缘服务器的本地模型更新前的参数，γ为第三学习率，
▽
(loss(θ(local)))是边缘服务器的本地模型在本地数据上的梯度。
39.s105，重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型。
40.s106，授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据。
41.需要说明的是，授课时，采集端通过专门的3d扫描设备，如专用扫描仪，对教师进行实时扫描和拍摄。3d扫描设备是通过激光或摄像头等技术，对教师进行扫描和拍摄。这个过程可以捕捉到教师的真实姿态和表情，并将这些信息转化为3d模型的形式，形成教师的实时3d扫描数据。
42.s107，对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端。
43.需要说明的是，教师特征向量是代表教师的3d特征信息，可以视为教师的唯一标识。
44.在实时3d扫描数据中，教师的姿态和动作信息被表示为一个复杂的3d模型，这些模型通常包含大量的数据点和面片。为了将教师的动作和姿态信息以一种简洁有效的方式传输到云端服务器，可以对实时3d扫描数据中的特定关键点进行特征提取，从而生成实时的教师特征向量。
45.具体步骤如下：在实时3d扫描数据中，首先需要确定一组关键点，这些关键点用于表示教师的动作和姿态信息。例如，头部的位置、手臂的姿态、腿部的位置等都可以作为特定关键点。
46.对于选定的特定关键点，可以从实时3d扫描数据中提取相应的特征，这些特征可以包括关键点的坐标、角度、速度等信息，用于表示教师在当前时刻的动作和姿态状态。
47.将从不同关键点提取的特征组合成一个教师特征向量，这个特征向量将包含教师在实时3d扫描数据中的关键动作和姿态信息。
48.为了保护教师的隐私和安全，可以对生成的教师特征向量进行加密处理，然后将加密后的数据上传至云端服务器，这样可以确保教师的个人信息不被泄露。
49.通过以上步骤，实时3d扫描数据中教师的特定关键点被提取出来，形成了一个加密的教师特征向量，并传输到云端服务器。在云端服务器上，利用这些特征向量可以进行全息影像的生成，将教师的实时全息影像呈现给学习者，实现全息远程教学。同时，由于特征向量具有较小的数据量，相比于直接传输整个3d扫描数据，可以显著降低数据传输的压力，提高传输效率。
50.s108，根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影像实时呈现给学习者。
51.需要说明的是，使用预先训练好的全息影像模型，将接收到的实时教师特征向量输入到模型中进行前向传播，全息影像模型会对输入的特征向量进行处理，并生成实时的教师全息影像数据。将实时生成的教师全息影像数据打包成数据包，数据包中包含了教师的全息影像信息，可以用于呈现教师的实时形象。打包好的数据包被发送给各个还原端的边缘服务器，每个还原端都有附近部署的边缘服务器，这些边缘服务器负责接收和处理数据。各个还原端的边缘服务器收到数据包后，解析其中的教师全息影像数据，然后通过相应的设备和技术将教师的实时全息影像实时呈现给学习者。
52.教师的实时全息影像由采集端的实时教师特征向量通过云端服务器的全息影像模型进行生成，然后经过数据包的传输发送给各个还原端的边缘服务器，最终实现教师全息影像的实时呈现给学习者。这样的全息远程教学方法可以为学习者提供更加真实和生动
的教学体验，增强学习的趣味性和参与感。同时，由于教师全息影像数据是实时生成的，教学内容也可以根据实时需求进行调整和优化，进一步提高教学效果。
53.具体的，所述根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像的步骤包括：将实时的教师特征向量作为输入传递给全息影像模型的输入层；从输入层开始向前传播数据，并通过逐层计算以得到输出层的预测结果，即教师的全息影像。
54.本发明的全息远程教学方法及系统通在一对多的教学场景中，每个边缘服务器可以收集并处理各自学习者的数据，从而生成个性化的本地模型参数，这些个性化的本地模型参数会被上传至云端服务器，并通过聚合和优化得到全局模型参数，再根据全局模型参数继续对每个边缘服务器进行优化。由于不同边缘服务器面对不同的教学场景和学习者，会拥有不同的本地数据，而通过聚合多个边缘服务器的模型参数，实际上相当于将多样化的数据信息整合在全局模型中，这样得到的全息影像模型便可以从更丰富、多样的数据中学习，并更好地适应不同的教学场景，为学习者提供更全面和个性化的教学体验；且由于单个边缘服务器在训练过程中可能会受到不稳定网络环境、设备差异或其他因素的影响，导致本地模型参数的波动和不稳定性。而通过聚合多个边缘服务器的模型参数，可以消除个别边缘服务器本地模型参数的不稳定影响，从而获得更加稳定的全局模型参数。使得全息影像模型在各个边缘服务器上的表现更为一致，增加了系统对复杂环境和异常情况的鲁棒性，为学习者提供更稳定可靠的教学体验；在全局模型的训练过程中，通过多个边缘服务器同时进行模型参数的优化，加快了全局模型的优化速度，提高了优化效率。多次迭代优化后，全局模型的参数将更加趋于稳定和收敛，从而获得更优的全息影像模型。
实施例二
55.参考图2，实施例二提供一种全息远程教学系统，包括：历史数据收集模块：用于收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据。
56.训练模块：用于根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器。
57.训练模块还用于：对训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据分别进行特征提取以得到历史的教师特征向量及历史的真实标签；通过每个边缘服务器将教师的特征向量作为种子模型对本地的神经网络模型进行初始化；将每个样本历史的教师特征向量传递给神经网络的输入层，并在每一层的隐含层中进行前向传播，对于每一层的隐含层，计算其加权和再通过激活函数以得到输出，并将输出作为下一层的隐含层的输入，直至经过输出层得到预测值，计算公式为：a（l）=σ(z（l）)，
z（l）=w（l）*a（l-1）+b（l），其中，l是输出层的索引，w(l)是输出层的权重矩阵，a（l-1）是倒数第二层的输出，b（l）是输出层的偏置项，a（l）是输出层的输出，即预测值，σ是激活函数；通过损失函数对模型的预测值与真实标签之间的损失误差进行计算，loss=(1/n)*σ(ai（l）-yi)2，其中，ai（l）是模型对第i个样本的预测值，yi是第i样本的真实标签，n是样本的数量；通过反向传播计算损失函数对模型参数的梯度；根据损失函数对模型参数的梯度对模型每一层的参数进行调整更新，调整公式为：θ
新
(i)=θ
原
(i)-α*(1/n)*σdi(i)，其中，θ
新
(i)为更新后的第i个隐藏层的参数，θ
原
(i)为更新前的第i个隐藏层的参数，α为第一学习率，用于控制参数更新的步长，n为样本的数量，di(i)为输入第i个样本时模型的第i个隐藏层的梯度，σdi(i)表示输入每个样本时对模型的第i个隐藏层的梯度进行求和；进行迭代训练，不断调整本地模型参数直至本地模型参数趋于稳定，则对边缘服务器上的本地模型训练完成；将训练后的本地模型参数发送给云端服务器。
58.训练模块还用于：对模型输出层的梯度进行计算，输出层的梯度d(l)=δ(l)*(a(l-1)) t
，δ(l)=( a (l)-y)
⊙
σ'(z（l）)，其中，l为输出层的索引，δ(l)为型输出层的误差项，
⊙
表示按元素相乘，a（l）为输出层的输出，即预测值，y为真实标签，σ'(z（l）)为输出层激活函数的导数；从倒数第二层开始，通过链式法则依次计算除输出层以外的各隐含层的梯度，各隐含层的梯度d(i)=δ(i)*(a(i-1)) t
，δ(i)=((θ(i+1))
t
*δ(i+1))
⊙
σ'(z (i))，其中，i为隐藏层的索引，i=l-1，l-2，...，1，δ(i)为第i个隐藏层的误差项，(a(i-1)) t
为第i-1个隐藏层的输出的转置，δ(i+1)为第i+1个隐藏层的误差项，θ(i+1) 为第i+1个隐藏层的参数，包括权重矩阵和偏置项，(θ(i+1))
t
为第i+1个隐藏层参数的转置，σ'(z (i))为第i个隐藏层激活函数的导数。
59.第一优化模块：用于通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器。
60.第一优化模块还用于：在云端服务器上初始化一个全局的神经网络模型；通过云端服务器接收来自多个边缘服务器的本地模型参数并对本地模型参数进行聚合以得到全局模型参数，全局模型参数θ(global)=(1/n) *σθj(local)，其中，n为边缘服务器的数量，θj(local)为第j个边缘服务器上传的本地模型参数，σθj(local)为各个边缘服务器上传的本地模型参数的总和；根据聚合后的全局模型参数对全局模型参数进行优化及更新，优化公式为：θ
新
(global)=θ(global)-β*
▽
(loss(θ(global)))，其中，β为第二学习率，
▽
(loss(θ(global)))为全局模型在训练数据上的梯度；将优化后的全局模型参数发送回每个边缘服务器。
61.第二优化模块：用于根据全局模型参数对各个边缘服务器的本地模型参数进行优化。
62.第二优化模块还用于：
每个边缘服务器接收到全局模型参数后，根据全局模型参数来优化及更新本地模型参数，边缘服务器的本地模型参数优化公式为：θ
new
=θ(local)-γ*
▽
(loss(θ(local)))，其中，θ
new
为边缘服务器的本地模型更新后的参数，θ(local)为边缘服务器的本地模型更新前的参数，γ为第三学习率，
▽
(loss(θ(local)))是边缘服务器的本地模型在本地数据上的梯度。
63.模型完成模块：用于重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型；实时数据采集模块：用于授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据；特征提取模块：用于对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端；全息影像生成模块：用于根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影像实时呈现给学习者。
64.全息影像生成模块还用于：将实时的教师特征向量作为输入传递给全息影像模型的输入层；从输入层开始向前传播数据，并通过逐层计算以得到输出层的预测结果，即教师的全息影像。
65.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种全息远程教学方法，其特征在于，步骤包括：收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据；根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器；通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器；根据全局模型参数对各个边缘服务器的本地模型参数进行优化；重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型；授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据；对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端；根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影像实时呈现给学习者。2.根据权利要求1所述的全息远程教学方法，其特征在于，所述根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器的步骤包括：对训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据分别进行特征提取以得到历史的教师特征向量及历史的真实标签；通过每个边缘服务器将教师的特征向量作为种子模型对本地的神经网络模型进行初始化；将每个样本历史的教师特征向量传递给神经网络的输入层，并在每一层的隐含层中进行前向传播，对于每一层的隐含层，计算其加权和再通过激活函数以得到输出，并将输出作为下一层的隐含层的输入，直至经过输出层得到预测值，计算公式为：a（l）=σ(z（l）)，z（l）=w（l）*a（l-1）+b（l），其中，l是输出层的索引，w(l)是输出层的权重矩阵，a（l-1）是倒数第二层的输出，b（l）是输出层的偏置项，a（l）是输出层的输出，即预测值，σ是激活函数；通过损失函数对模型的预测值与真实标签之间的损失误差进行计算，loss=(1/n)*σ(a
i
（l）-y
i
)2，其中，a
i
（l）是模型对第i个样本的预测值，y
i
是第i样本的真实标签，n是样本的数量；通过反向传播计算损失函数对模型参数的梯度；根据损失函数对模型参数的梯度对模型每一层的参数进行调整更新，调整公式为：θ
新
(i)=θ
原
(i)-α*(1/n)*σd
i
(i)，其中，θ
新
(i)为更新后的第i个隐藏层的参数，θ
原
(i)为更新前的第i个隐藏层的参数，α为第一学习率，用于控制参数更新的步长，n为样本的数量，d
i
(i)为输入第i个样本时模型的第i个隐藏层的梯度，σd
i
(i)表示输入每个样本时对模型的第i
个隐藏层的梯度进行求和；进行迭代训练，不断调整本地模型参数直至本地模型参数趋于稳定，则对边缘服务器上的本地模型训练完成；将训练后的本地模型参数发送给云端服务器。3.根据权利要求2所述的全息远程教学方法，其特征在于，所述通过反向传播计算损失函数对模型参数的梯度的步骤包括：对模型输出层的梯度进行计算，输出层的梯度d(l)=δ(l)*(a(l-1)) t
，δ(l)=( a (l)-y)
⊙
σ'(z（l）)，其中，l为输出层的索引，δ(l)为型输出层的误差项，
⊙
表示按元素相乘，a（l）为输出层的输出，即预测值，y为真实标签，σ'(z（l）)为输出层激活函数的导数；从倒数第二层开始，通过链式法则依次计算除输出层以外的各隐含层的梯度，各隐含层的梯度d(i)=δ(i)*(a(i-1)) t
，δ(i)=((θ(i+1))
t
*δ(i+1))
⊙
σ'(z (i))，其中，i为隐藏层的索引，i=l-1，l-2，...，1，δ(i)为第i个隐藏层的误差项，(a(i-1)) t
为第i-1个隐藏层的输出的转置，δ(i+1)为第i+1个隐藏层的误差项，θ(i+1) 为第i+1个隐藏层的参数，包括权重矩阵和偏置项，(θ(i+1))
t
为第i+1个隐藏层参数的转置，σ'(z (i))为第i个隐藏层激活函数的导数。4.根据权利要求1所述的全息远程教学方法，其特征在于，所述通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器的步骤包括：在云端服务器上初始化一个全局的神经网络模型；通过云端服务器接收来自多个边缘服务器的本地模型参数并对本地模型参数进行聚合以得到全局模型参数，全局模型参数θ(global)=(1/n) *σθ
j
(local)，其中，n为边缘服务器的数量，θ
j
(local)为第j个边缘服务器上传的本地模型参数，σθ
j
(local)为各个边缘服务器上传的本地模型参数的总和；根据聚合后的全局模型参数对全局模型参数进行优化及更新，优化公式为：θ
新
(global)=θ(global)-β*
▽ꢀ
(loss(θ(global)))，其中，β为第二学习率，
▽ꢀ
(loss(θ(global)))为全局模型在训练数据上的梯度；将优化后的全局模型参数发送回每个边缘服务器。5.根据权利要求4所述的全息远程教学方法，其特征在于，所述根据全局模型参数对各个边缘服务器的本地模型参数进行优化的步骤包括：每个边缘服务器接收到全局模型参数后，根据全局模型参数来优化及更新本地模型参数，边缘服务器的本地模型参数优化公式为：θ
new
=θ(local)-γ*
▽ꢀ
(loss(θ(local)))，其中，θ
new
为边缘服务器的本地模型更新后的参数，θ(local)为边缘服务器的本地模型更新前的参数，γ为第三学习率，
▽ꢀ
(loss(θ(local)))是边缘服务器的本地模型在本地数据上的梯度。6.根据权利要求1所述的全息远程教学方法，其特征在于，所述根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像的步骤包括：将实时的教师特征向量作为输入传递给全息影像模型的输入层；从输入层开始向前传播数据，并通过逐层计算以得到输出层的预测结果，即教师的全息影像。
7.一种全息远程教学系统，其特征在于，包括：历史数据收集模块：用于收集大量包含历史的全息互动教学数据的样本并生成训练集，每个样本的全息互动教学数据包括采集端的教师3d扫描数据及对应呈现在还原端的教师全息影像数据；训练模块：用于根据训练集每个样本的历史的教师3d扫描数据及历史的教师全息影像数据对各个还原端的边缘服务器进行训练以获取训练后的各个边缘服务器的本地模型参数，并发送给云端服务器，其中，每个还原端附近部署有一个边缘服务器；第一优化模块：用于通过云端服务器对各个边缘服务器的本地模型参数进行聚合及优化以得到全局模型参数，并将全局模型参数发送给各个还原端的边缘服务器；第二优化模块：用于根据全局模型参数对各个边缘服务器的本地模型参数进行优化；模型完成模块：用于重复执行步骤：边缘服务器上传本地模型参数至云端服务器、云端服务器进行模型参数聚合优化得到全局模型参数、根据全局模型参数对边缘服务器的本地模型参数进行优化及更新，直至全局模型参数趋于稳定，以得到优化完成的全局模型，设为全息影像模型；实时数据采集模块：用于授课时，通过采集端的3d扫描设备对教师进行实时扫描及拍摄以生成实时3d扫描数据；特征提取模块：用于对实时3d扫描数据中教师的特定关键点进行特征提取以生成实时的教师特征向量，并将实时的教师特征向量加密上传至云端；全息影像生成模块：用于根据实时的教师特征向量并通过云端服务器的全息影像模型生成实时的教师全息影像，并将实时的教师全息影像数据打包成数据包发送给各个还原端以将教师的全息影像实时呈现给学习者。

技术总结
本发明涉及一种全息远程教学方法及系统。步骤包括：收集历史数据并对各个边缘服务器进行训练，每个边缘服务器处理各自学习者的数据，从而生成个性化的本地模型参数，将本地模型参数上传至云端服务器，并通过聚合和优化得到全局模型参数，再根据全局模型参数继续对每个边缘服务器进行优化，将接收到的实时教师特征向量输入训练好的全息影像模型中进行前向传播，生成实时的教师全息影像数据。本发明通过聚合多个边缘服务器的模型参数，实际上相当于将多样化的数据信息整合在全局模型中，这样得到的全息影像模型便可以从更丰富、多样的数据中学习，更好地适应不同的教学场景，且可以消除个别边缘服务器本地模型参数的不稳定影响，增强稳定性。增强稳定性。增强稳定性。


技术研发人员：汪文才
受保护的技术使用者：云视图研智能数字技术（深圳）有限公司
技术研发日：2023.08.22
技术公布日：2023/9/20