基于多人交互的虚拟医学教学系统及其构建方法

1.本发明涉及教学设备技术领域，尤其涉及一种基于多人交互的虚拟医学教学系统及其构建方法。


背景技术：

2.传统医学教学模式教材和实验成本高，真实设备少则几百万，多则上千万,医学教育中认识血管神经分布解剖动物尸体需要消耗大量的能源和资源，同时也会产生大量的废物和二氧化碳等温室气体，动物实验价格贵，且不能重复利用，不能达到节能减排的效果。检验科设备模体不能拆分，书本教授和实物没有拆分，导致很难看到设备内部结构，难以理解设备原理，检验方面练习时容易导致试剂的浪费和医学器材的损耗，且信息反馈慢，错误步骤在缺少老师的情况下，无法纠正。虚拟现实(vr)教学应运而生，使得教学更加生动真实，打破地理界限的限制，随时随地都可以感受医学实验和手术的真实场景体验。
3.现在市面上的医学仿真平台均为手动建模，耗费大量人力物力且会放弃一些不重要模型的构建，导致场景与真实场景不能等比例还原，且没有交互协作功能，个人遇到问题时没有沟通解决，影响用户体验。
4.所述内容仅用于辅助理解本发明的技术方案，并不代表承认所述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种基于多人交互的虚拟医学教学系统及其构建方法，旨在解决现有技术中传统的医学仿真平台手动建模场景效果较差且没有交互协作功能，影响用户体验的技术问题。
6.为实现所述目的，本发明提供了一种基于多人交互的虚拟医学教学系统，所述基于多人交互的虚拟医学教学系统包括场景构建模块、功能选择模块、教学功能模块以及数据交互模块；
7.所述场景构建模块，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景；
8.所述功能选择模块，用于获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景；
9.所述教学功能模块，用于向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作；
10.所述数据交互模块，用于获取所述当前用户在所述目标医学教学场景中的场景操作数据，并将所述场景操作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。
11.可选地，所述场景构建模块包括视频场景构建单元与三维场景构建单元；
12.所述视频场景构建单元，用于通过预设球状模型对所述素材数据进行立体化，并采用全景贴图策略得到初始视频场景模型，在所述初始视频场景模型中添加预设视频播放组件并设定旋转策略，得到所述视频场景模式下的医学教学场景模型；
13.所述三维场景构建单元，用于根据所述素材数据，确定模型输入数据，并基于改进的神经辐射场模型对所述模型输入数据进行模型构建，得到所述三维场景模式下的医学教学场景模型，所述改进的神经辐射场模型为通过对样本数据进行粗采样后对光线分布进行估计，根据估计结果进行细采样预测后对初始神经辐射场模型进行训练得到的模型。
14.可选地，所述改进的神经辐射场模型包括融入位置编码策略的编码器与解码器；
15.所述编码器，用于提取所述素材数据中的位置数据与方向数据，并通过位置编码将所述位置数据与方向数据映射至高频，得到解码输入数据；
16.所述解码器，用于根据所述解码输入数据，得到颜色密度数据，根据所述颜色密度数据生成所述视频场景模式下的医学教学场景模型。
17.可选地，所述教学功能模块包括练习功能单元与考核功能单元；
18.所述功能选择模块，还用于在所述目标场景模式为三维场景模式时，获取所述当前用户的目标教学模式；
19.所述练习功能单元，用于在所述目标教学模式为练习模式时，向所述当前用户呈现所述目标医学教学场景，并向所述当前用户提供学习信息，以使所述当前用户在所述目标医学教学场景中进行学习操作；
20.所述考核功能单元，用于在所述目标教学模式为考核模式时，向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行考核操作，并根据场景规范对所述考核操作进行评分，所述场景规范包括采分点、知识点、操作规范以及操作要求。
21.可选地，所述练习功能单元包括实训操作子单元与基础学习子单元；
22.所述实训操作子单元，用于在所述目标医学教学场景中，向所述当前用户提供提示信息，以使所述当前用户根据所述提示信息进行学习操作；
23.所述基础学习子单元，用于在所述目标医学教学场景中，向用户提供基础知识信息，所述基础知识信息至少包括操作简介、操作原理、操作内容以及操作仪器介绍；
24.所述基础学习子单元，还用于向所述当前用户提供题库数据，以使所述当前用户根据所述题库数据进行学习操作。
25.可选地，所述教学功能模块还包括教学课程单元；
26.所述教学课程单元，用于在所述目标场景模式为视频场景模式时，向所述当前用户提供直播课程与回播课程。
27.可选地，所述基于多人交互的虚拟医学教学系统还包括数据分析模块；
28.所述数据分析模块，用于获取所述当前用户在所述练习模式下的练习数据与在所述考核模式下的考核数据，根据所述练习数据与考核数据，确定所述当前用户的缺乏知识点，以使所述当前用户根据所述缺乏知识点进行学习操作；
29.所述数据分析模块，还用于根据所述练习数据与考核数据，确定操作得分、操作时间以及操作过程，并根据所述操作得分、操作时间以及操作过程生成成绩分析图表。
30.可选地，所述基于多人交互的虚拟医学教学系统还包括手术制定模块；
31.所述三维场景构建单元，还用于根据样本医学影像构建三维器官模型；
32.所述手术制定模块，用于获取目标分析影像，将所述目标分析影像导入所述三维器官模型，在所述三维器官模型中确定患病位置，向所述当前用户展示存在所述患病位置的三维器官模型，以使所述当前用户根据所述患病位置确定手术策略。
33.可选地，所述数据交互模块，还用于通过可穿戴设备获取所述当前用户的实际位姿数据与实际操作数据，并根据所述实际位姿数据与实际操作数据，在所述目标医学教学场景中呈现对应的场景位姿与场景操作。
34.此外，为实现所述目的，本发明还提出一种基于多人交互的虚拟医学教学系统构建方法，所述基于多人交互的虚拟医学教学系统构建方法包括：
35.场景构建模块根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景；
36.功能选择模块获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景；
37.教学功能模块向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作；
38.数据交互模块获取所述当前用户在所述目标医学教学场景中的操作数据，并将所述操作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。
39.在本发明中，基于多人交互的虚拟医学教学系统包括场景构建模块、功能选择模块、教学功能模块以及数据交互模块，场景构建模块，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对医学教学场景模型进行逻辑交互，以使医学教学场景模型实现环境仿真，得到各预设场景模式下的医学教学场景，功能选择模块，用于获取当前用户的目标场景模式与目标场景名称，并根据目标场景模式与目标场景名称在医学教学场景中确定目标医学教学场景，教学功能模块，向当前用户呈现目标医学教学场景，以使当前用户在目标医学教学场景中进行操作，数据交互模块，用于获取当前用户在目标医学教学场景中的场景操作数据，并将场景操作数据渲染后发送至目标用户，以使目标用户与当前用户进行交互。相较于传统的医学仿真平台使用手动建模方式，本发明可以采用自动建模方式构建医学教学场景，提高场景效果，并且能够构建不同的实验场景与手术场景，使场景多样化，相较于传统的医学仿真平台没有交互协作功能，本发明可以将各用户端操作收集并结合场景处理渲染，实时传送实现多人交互，提高用户体验。
附图说明
40.图1是本发明基于多人交互的虚拟医学教学系统第一实施例的结构示意图；
41.图2为本发明基于多人交互的虚拟医学教学系统一实施例的细化结构示意图；
42.图3为本发明基于多人交互的虚拟医学教学系统一实施例的视频场景模式实现流程示意图；
43.图4为本发明基于多人交互的虚拟医学教学系统一实施例的渲染流程示意图；
44.图5为本发明基于多人交互的虚拟医学教学系统一实施例的分层采样示意图；
45.图6为本发明基于多人交互的虚拟医学教学系统第二实施例的结构示意图；
46.图7为本发明基于多人交互的虚拟医学教学系统构建方法第一实施例的流程示意图。
47.附图标号说明：
48.标号名称标号名称10场景构建模块102三维场景构建单元20功能选择模块301练习功能单元30教学功能模块302考核功能单元40数据交互模块303教学课程单元50数据分析模块3011实训操作子单元60手术制定模块3012基础学习子单元101视频场景构建单元
ꢀꢀ
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
53.另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
54.参照图1，图1为本发明基于多人交互的虚拟医学教学系统第一实施例的结构示意图。本发明提出基于多人交互的虚拟医学教学系统的第一实施例。
55.如图1所示，在本实施例中，所述基于多人交互的虚拟医学教学系统包括场景构建模块10、功能选择模块20、教学功能模块30以及数据交互模块40。
56.在具体实现中，所述场景构建模块10，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景。
57.需要说明的是，所述素材数据指的是用于构建场景所需要的素材，可以是视频素材，也可以是静态图片素材，视频素材可以是通过360
°
全景拍摄摄像机采集得到的视频，所述静态图片素材可以是通过相机采集得到是图片，本实施例对此不做限制，素材数据可以由高校实验室或附属医院上传，也可由用户上传，本实施例对此不做限制。采用视频素材构建的场景通常是全景视频播放模式的场景，该模式只支持vr直播或视频播放，无法移动用户位置，缺少与虚拟环境交互，相对来说缺乏沉浸感，采用静态图片素材构建的场景可以是沉浸式vr模式，相对来说沉浸感更强，可根据实际需求选择素材进行场景构建，本实施例对此不做限制。所述预设场景模式指的是预先设定的可以实现的场景模式，本实施例中的预设场景模式可以分为视频场景模式与三维场景模式，即全景视频播放模式与vr沉浸模式。
58.可以理解的是，所述医学教学场景模型指的是在构建场景过程中建立的场景模型，不同的场景模式需要构建不同的场景模型，所述医学教学场景即为本实施例中构建的仿真场景，至少包括实验教学场景与手术教学场景这两种类型，实验教学场景可以通过实验教学场景模型仿真得到，手术教学场景可以通过手术教学场景仿真得到，不同类型的场景都可以实现视频场景模式与三维场景模式，用户可以在实验教学场景中学习实验相关知识与操作，以在手术教学场景中学习手术相关知识与操作，实验教学场景可以包括多个不同的实验项目，手术教学场景可以包括多个不同的手术项目，具体数量与具体形式可根据实际需求进行确定，本实施例对此不做限制。
59.应当理解的是，实验教学场景可以是检验实验教学场景，检验实验教学场景中可以有全血细胞分析仪、离心机、开盖机、孵化箱、烘干箱、二氧化碳培养箱、显微镜、全自动免疫分析仪、电泳仪、全自动粪便分析仪、全自动尿液分析流水线、血培养仪、全自动微生物鉴定及药敏分析仪、采血用具、各种试管、材料、天平、实验桌椅、电脑、打印机、空调等等，本实施例对此不做限制。手术教学场景中可以有手术室、手术刀、手术台、监护仪、注射泵、高频电刀、腹腔镜、c型臂、手术台、手术灯等等，本实施例对此不做限制。
60.需要说明的是，三维场景模式下的场景模型需在构建完成后导入unity3d平台，而视频场景模式下的场景模型直接是在unity3d平台中构建的。为确保完全仿真，建模后需要进行逻辑交互，调用相关引擎、脚本、组件等设计灯光、贴图、相机视角的环境仿真，以得到最终的各个医学教学场景。
61.在具体实现中，所述功能选择模块20，用于获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景。
62.可以理解的是，所述当前用户指的是当前使用本实施例所述基于多人交互的虚拟医学教学系统的用户。所述目标场景模式指的是用户想要使用的场景模式，所述目标场景名称指的是用户想要使用的场景名称，所述目标医学教学场景即为最终向用户呈现的教学场景。
63.应当理解的是，本实施例的基于多人交互的虚拟医学教学系统支持“iv-h-dv”多教学模式。“iv”即vr沉浸式模式，配套的vr设备，例如：vr头显和反馈手套，内置定位系统，身体移动步长与虚拟环境比例保持一比一，佩戴者身临其境，其中手套可进行仿真交互，交互包括设备触摸、物品拾取、器官切割、消毒和导尿等操作。“h”即全息裸眼3d模式，该模式只适用于人体器官和物品的认识，例如：三维旋转全息动画和解剖结构的拆解动画，设备使
用便携式全息金字塔罩、浮空全息投影机等均可实现。“dv”即全景视频播放模式，沉浸感不强，感官上没有进入虚拟世界，例如：可以通过将系统打包成软件形式，电脑使用键盘和鼠标控制方向，手机可以通过陀螺仪控制方向。因此，用户可以通过vr可穿戴设备、电脑平台软件、手机app、输入网站登入基于多人交互的虚拟医学教学系统，不同的登入方式，对应不同的场景模式，例如：通过vr可穿戴设备登入，可以选择所有的场景模式，用户登陆后系统会提示用户选择场景模式，若用户选择了不匹配的场景模式，系统会自动感应修正。
64.需要说明的是，用户进入系统后，首先需要输入用户个人账号进行登录，登陆后，先选择是手术教学场景还是实验教学场景，再选中具体场景名称，接着选择场景模式，系统自动感应修正。
65.可以理解的是，vr可穿戴设备可以包括vr头显与触觉手套，头显屏幕支持全域高像素，搭配双2.5k micro显示屏120hz刷新率，dci-p3 95％色域，搭配近视调节功能，瞳距调节，hdmi和type-c支持手机、平板、电脑的视频传输，搭载wifi 6和5g电信/移动/联通模块实时解码高清视频流，外置双立体音效喇叭或者使用耳机插孔、5.0蓝牙模块传输空间立体音频，内置4个定位朝向不同的红外摄像头，结合由三轴陀螺仪、加速度计和重力计组成的imu传感器信息，slam建图可综合各种传感器信息计算6dof位姿，实现检测并传输人体在空间中的位姿变化，通过算法计算回馈用户vr虚拟平台的视觉变化。手套末端由环状电池构成，手套每个手指中节和近节指骨都安装有惯性传感器和弯曲传感器，用于空间位置的数据获取，传输到头显综合计算输入系统，手背搭载x轴线性马达，得到触感的震动反馈，搭载温度升温器可模拟触摸人体时间感知温度，无包裹指尖设计增加透气和指尖触感，背部磁吸设计可防止手套分离丢失。
66.在具体实现中，所述教学功能模块30，用于向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作。
67.应当理解的是，根据当前用户的选择，向其呈现需要的医学教学场景。
68.在具体实现中，所述数据交互模块40，用于获取所述当前用户在所述目标医学教学场景中的场景操作数据，并将所述场景操作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。
69.需要说明的是，所述场景操作数据指的是当前用户的操作数据，所述目标用户指的是当前用户想要进行交互的用户，可以是一个，也可以是多个，本实施例对此不做限制。
70.可以理解的是，多人交互可以基于vr可穿戴设备上的定位传感器和麦克风硬件，麦克风将外界信号转为数字信号最终实现多人交互式语音交流。通过调用api实现多人远程交互，运用云流渲染、容量化管理、多设备交互实现多人远程交互推流和多硬件设备输入系统映射。终端模块提供交互操作服务、视点追踪服务、端侧自适应绘制服务，并行绘制容量模块提供网络简化服务、语义抽取服务、宽视角区域渲染服务，云端运用阿里云高性能处理绘制渲染，实现实时高清交互。
71.应当理解的是，多人交互功能是系统的特色功能，将各用户的操作数据收集并结合场景处理，通过在线服务器渲染，通过5g或者wifi6模式实时传送实现多人交互。
72.进一步地，参考图2，所述场景构建模块包括视频场景构建单元101与三维场景构建单元102。
73.在具体实现中，所述视频场景构建单元101，用于通过预设球状模型对所述素材数
据进行立体化，并采用全景贴图策略得到初始视频场景模型，在所述初始视频场景模型中添加预设视频播放组件并设定旋转策略，得到所述视频场景模式下的医学教学场景模型。
74.需要说明的是，所述预设球状模型指的是unity3d平台中内置的球状模型，所述全景贴图策略指的是使用create材质球并设置全景贴图，所述初始视频场景模型指的是设置全景贴图后得到的初始模型，所述预设视频播放组件指的是预先设定的视频组件，本实施例中的预设视频播放组件为videoplayer视频播放组件，所述旋转策略指的是控制旋转的方式，例如：自定义脚本控制相机旋转，使用父子结构实现父物体y轴自身旋转，子物体x轴自身旋转。
75.可以理解的是，如图3所示的视频场景模式实现流程示意图，将素材导入到unity3d平台，使用内置球状模型将其立体化，使用create材质球，设置全景贴图，增加videoplayer视频播放组件并设置视频clip，最后自定义脚本控制相机旋转，使用父子结构实现父物体y轴自身旋转，子物体x轴自身旋转，该模式只支持vr直播或视频播放。
76.在具体实现中，所述三维场景构建单元102，用于根据所述素材数据，确定模型输入数据，并基于改进的神经辐射场模型对所述模型输入数据进行模型构建，得到所述三维场景模式下的医学教学场景模型，所述改进的神经辐射场模型为通过对样本数据进行粗采样后对光线分布进行估计，根据估计结果进行细采样预测后对初始神经辐射场模型进行训练得到的模型。
77.应当理解的是，所述模型输入数据指的是输入改进的神经辐射场模型的数据。为降低三维内容的制作成本，本实施例在构建医学教学场景上使用神经辐射场(neural radiance field，nerf)模型，对少量静态的图片生成多视角逼真的3d效果。运用colmap进行稀疏重建，并转换成liff格式输入nerf模型进行训练。如图4所示，在原有基础上对模型进行了位置编码和体积渲染的分层采样的优化，运用位置编码的方式(位置编码策略)可以将位置信息映射到高频，能有效提升画质，网络更容易建模3d位置信息。由于模型计算量大，每条射线上有很多空白区域和遮挡区域，增加了计算反而对结果没有多大影响。如图5所示，为提升模型训练速度，通过改变采样策略减小估计积分式的计算，使用分层采样训练方式，先进行粗采样，对光线的分布进行估计，估计的分布结果再进行细采样预测。
78.需要说明的是，所述改进的神经辐射场模型包括融入位置编码策略的编码器与解码器，所述编码器，用于提取所述素材数据中的位置数据与方向数据，并通过位置编码将所述位置数据与方向数据映射至高频，得到解码输入数据，所述解码器，用于根据所述解码输入数据，得到颜色密度数据，根据所述颜色密度数据生成所述视频场景模式下的医学教学场景模型。
79.可以理解的是，所述位置数据与方向数据指的是从素材数据中提取的每个点的空间位置和视角特征。所述解码输入数据即输入解码器的数据，所述颜色密度数据指的是场景中每个点的颜色和密度的函数。
80.应当理解的是，nerf的输入是一组二维图像和相应的摄像机参数(包括相机位置和方向)，输出是一个表示三维场景中每个点的颜色和密度的函数。
81.进一步地，参考图2，所述教学功能模块30包括练习功能单元301与考核功能单元302。
82.在具体实现中，所述功能选择模块20，还用于在所述目标场景模式为三维场景模
式时，获取所述当前用户的目标教学模式，所述练习功能单元301，用于在所述目标教学模式为练习模式时，向所述当前用户呈现所述目标医学教学场景，并向所述当前用户提供学习信息，以使所述当前用户在所述目标医学教学场景中进行学习操作。
83.需要说明的是，三维场景模式下有两种教学模式可以选择，分别为练习模式和考核模式，分别对应练习功能单元301与考核功能单元302。所述学习信息指的是学习实验或是学习手术相关的信息，所述学习操作指的是学习相关的操作。选择练习模式后，每个项目具有虚拟实训和基础知识学习两部分，分别对应实训操作子单元3011与基础学习子单元3012，可进行实训项目操作或基础知识学习。选择考核模式后直接进行实训操作。
84.可以理解的是，所述练习功能单元301包括实训操作子单元3011与基础学习子单元3012。所述实训操作子单元3011，用于在所述目标医学教学场景中，向所述当前用户提供提示信息，以使所述当前用户根据所述提示信息进行学习操作。所述基础学习子单元3012，用于在所述目标医学教学场景中，向用户提供基础知识信息，所述基础知识信息至少包括操作简介、操作原理、操作内容以及操作仪器介绍。所述基础学习子单元3012，还用于向所述当前用户提供题库数据，以使所述当前用户根据所述题库数据进行学习操作。
85.应当理解的是，所述提示信息指的是场景中对用户的提示，练习模式中的三维场景每一步操作过程有提示，可vr自动漫游熟悉场景和仪器，多人协助下可语音沟通协同学习讨论。所述基础知识信息指的是与实验和手术相关的知识，例如：操作简介、操作原理、操作内容以及操作仪器介绍，可根据实际情况设定，本实施例对此不做限制。所述题库数据指的是相关的题库，例如：执业医师考试题库。
86.在具体实现中，所述考核功能单元302，用于在所述目标教学模式为考核模式时，向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行考核操作，并根据场景规范对所述考核操作进行评分，所述场景规范包括采分点、知识点、操作规范、操作要求。
87.可以理解的是，所述考核操作指的是考核相关的操作。所述场景规范指的是对于实验教学场景和手术教学场景设定的相关规范，至少包括采分点、知识点、操作规范、操作要求，具体内容可根据实际需求设定，本实施例对此不做限制。
88.应当理解的是，所述教学功能模块还包括教学课程单元303。所述教学课程单元303，用于在所述目标场景模式为视频场景模式时，向所述当前用户提供直播课程与回播课程。场景模式则只能360
°
观看vr录播、直播课程，无交互模式。
89.进一步地，所述数据交互模块40，还用于通过可穿戴设备获取所述当前用户的实际位姿数据与实际操作数据，并根据所述实际位姿数据与实际操作数据，在所述目标医学教学场景中呈现对应的场景位姿与场景操作。
90.需要说明的是，所述实际位姿数据指的是用户在实际空间中的位姿，所述实际操作数据指的是用户在实际空间中的操作，分别可以通过vr头显以及触感手套采集。数据交互模块40会将用户在实际空间中的操位姿与操作呈现在目标医学教学场景中。
91.可以理解的是，为实现用户无本地硬件的渲染压力，系统使用gpu服务工作站调用inputsystem、webrtc、unity render streaming等将编码帧进行5g信号流传输到用户使用设备的页面。用户的数据交可以回送到服务器传输到所有vr设备，实现协同交互仿真。gpu服务器使用webrtc c++dll综合c++、webjs接口文档、音视频数据rtp的数据调用处理，传输
到webapp(网页、电脑软件、手机app、vr预设系统)。用户的设备对服务器信息进行解码和播放，交互信息再次传入服务器，形成传输闭环，实时保存用户数据，防止数据丢失。
92.在本实施例中，基于多人交互的虚拟医学教学系统包括场景构建模块10、功能选择模块20、教学功能模块30以及数据交互模块40，场景构建模块10，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对医学教学场景模型进行逻辑交互，以使医学教学场景模型实现环境仿真，得到各预设场景模式下的医学教学场景，功能选择模块20，用于获取当前用户的目标场景模式与目标场景名称，并根据目标场景模式与目标场景名称在医学教学场景中确定目标医学教学场景，教学功能模块30，向当前用户呈现目标医学教学场景，以使当前用户在目标医学教学场景中进行操作，数据交互模块40，用于获取当前用户在目标医学教学场景中的场景操作数据，并将场景操作数据渲染后发送至目标用户，以使目标用户与当前用户进行交互。本实施例采用自动建模方式构建医学教学场景，提高场景效果，不但能模拟医院检验科现场真实场景，也能模拟手术室现场真实场景，使场景多样化，此外，可以将各用户端操作收集并结合场景处理渲染，实时传送实现多人交互，提高用户体验。
93.参照图6，图6为本发明基于多人交互的虚拟医学教学系统第而实施例的结构示意图。本发明提出基于多人交互的虚拟医学教学系统的第二实施例。
94.基于上述实施例，所述基于多人交互的虚拟医学教学系统还包括数据分析模块50。
95.需要说明的是，所述数据分析模块50，用于获取所述当前用户在所述练习模式下的练习数据与在所述考核模式下的考核数据，根据所述练习数据与考核数据，确定所述当前用户的缺乏知识点，以使所述当前用户根据所述缺乏知识点进行学习操作。
96.可以理解的是，所述练习数据与考核数据分别指的是用户在练习模式与考核模式下的相关数据。数据分析模块50会对练习和考核记录进行智能分析，得出缺乏的知识点，将知识点罗列出来提供用户学习。
97.应当理解的是，所述数据分析模块50，还用于根据所述练习数据与考核数据，确定操作得分、操作时间以及操作过程，并根据所述操作得分、操作时间以及操作过程生成成绩分析图表。
98.需要说明的是，所述成绩分析图表可以是折线图、饼状图，也可是其他形式的图表，本实施例对此不做限制。数据分析模块50可以对用户的成绩进行分析，绘制训练成绩的折线图、饼状图，详细显示学生每个操作得分、操作时间以及操作过程等。
99.进一步地，所述基于多人交互的虚拟医学教学系统还包括手术制定模块60。
100.可以理解的是，所述三维场景构建单元102，还用于根据样本医学影像构建三维器官模型。所述手术制定模块60，用于获取目标分析影像，将所述目标分析影像导入所述三维器官模型，在所述三维器官模型中确定患病位置，向所述当前用户展示存在所述患病位置的三维器官模型，以使所述当前用户根据所述患病位置确定手术策略。
101.应当理解的是，三维场景构建单元102可以使用3d slicer对器官进行三维建模。所述目标分析影像指的是用于分析手术方案的影像，例如：ct文件，所述手术策略即为制定的手术方案。输入患者的ct，医生佩戴vr头显或者登录平台，可以在三维器官模型中确认患者患病位置并为其制定相应手术。对于内脏、器官和肿瘤的观察，可以在应用程序的“细分
编辑器”模块中使用nvidia ai辅助分割，目前有两种分割模式，全自动分割和基于边界点的分割。全自动分割，输入ct后，选择所需的模型，可自动实现相应部位分割。基于边界点分割，在导入ct的3个方向视图中选择每个视图对应器官，用几个左右的点将部位框选出来，计算机自动识别并标记相应部位面积，通过切换平面，手动调整面积覆盖错误边缘，实现分割。
102.进一步地，所述基于多人交互的虚拟医学教学系统还可以实现vr离线实训，软件可离线下载实验/手术数据包，其中包括图片、视频、语音、背景音乐等等，在完成作业后数据缓存到本地，在连接网络时，完成的相关数据自动上传。
103.在本实施例中，所述基于多人交互的虚拟医学教学系统还包括数据分析模块50与手术制定模块60，可以对用户的练习和考核记录进行智能分析，得出缺乏的知识点，将知识点罗列出来提供用户学习，医生可以将患者个人的ct导入平台中，病变部位可视化，从而模拟并制定最优质的手术方案，提高真实感与沉浸感，提高用户体验。
104.本发明实施例提供了一种基于多人交互的虚拟医学教学系统构建方法，参照图7，图7为本发明一种基于多人交互的虚拟医学教学系统构建方法第一实施例的流程示意图。
105.本实施例中，所述基于多人交互的虚拟医学教学系统构建方法包括以下步骤：
106.步骤s10：场景构建模块根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景。
107.需要说明的是，所述素材数据指的是用于构建场景所需要的素材，可以是视频素材，也可以是静态图片素材，视频素材可以是通过360
°
全景拍摄摄像机采集得到的视频，所述静态图片素材可以是通过相机采集得到是图片，本实施例对此不做限制，素材数据可以由高校实验室或附属医院上传，也可由用户上传，本实施例对此不做限制。采用视频素材构建的场景通常是全景视频播放模式的场景，该模式只支持vr直播或视频播放，无法移动用户位置，缺少与虚拟环境交互，相对来说缺乏沉浸感，采用静态图片素材构建的场景可以是沉浸式vr模式，相对来说沉浸感更强，可根据实际需求选择素材进行场景构建，本实施例对此不做限制。所述预设场景模式指的是预先设定的可以实现的场景模式，本实施例中的预设场景模式可以分为视频场景模式与三维场景模式，即全景视频播放模式与vr沉浸模式。
108.可以理解的是，所述医学教学场景模型指的是在构建场景过程中建立的场景模型，不同的场景模式需要构建不同的场景模型，所述医学教学场景即为本实施例中构建的仿真场景，至少包括实验教学场景与手术教学场景这两种类型，实验教学场景可以通过实验教学场景模型仿真得到，手术教学场景可以通过手术教学场景仿真得到，不同类型的场景都可以实现视频场景模式与三维场景模式，用户可以在实验教学场景中学习实验相关知识与操作，以在手术教学场景中学习手术相关知识与操作，实验教学场景可以包括多个不同的实验项目，手术教学场景可以包括多个不同的手术项目，具体数量与具体形式可根据实际需求进行确定，本实施例对此不做限制。
109.应当理解的是，实验教学场景可以是检验实验教学场景，检验实验教学场景中可以有全血细胞分析仪、离心机、开盖机、孵化箱、烘干箱、二氧化碳培养箱、显微镜、全自动免疫分析仪、电泳仪、全自动粪便分析仪、全自动尿液分析流水线、血培养仪、全自动微生物鉴
定及药敏分析仪、采血用具、各种试管、材料、天平、实验桌椅、电脑、打印机、空调等等，本实施例对此不做限制。手术教学场景中可以有手术室、手术刀、手术台、监护仪、注射泵、高频电刀、腹腔镜、c型臂、手术台、手术灯等等，本实施例对此不做限制。
110.需要说明的是，三维场景模式下的场景模型需在构建完成后导入unity3d平台，而视频场景模式下的场景模型直接是在unity3d平台中构建的。为确保完全仿真，建模后需要进行逻辑交互，调用相关引擎、脚本、组件等设计灯光、贴图、相机视角的环境仿真，以得到最终的各个医学教学场景。
111.进一步地，所述步骤s10包括：根据所述素材数据，确定模型输入数据，并基于改进的神经辐射场模型对所述模型输入数据进行模型构建，得到所述三维场景模式下的医学教学场景模型，所述改进的神经辐射场模型为通过对样本数据进行粗采样后对光线分布进行估计，根据估计结果进行细采样预测后对初始神经辐射场模型进行训练得到的模型。
112.可以理解的是，所述模型输入数据指的是输入改进的神经辐射场模型的数据。为降低三维内容的制作成本，本实施例在构建医学教学场景上使用神经辐射场(neural radiance field，nerf)模型，对少量静态的图片生成多视角逼真的3d效果。运用colmap进行稀疏重建，并转换成liff格式输入nerf模型进行训练。如图4所示在原有基础上对模型进行了位置编码和体积渲染的分层采样的优化，运用位置编码的方式(位置编码策略)可以将位置信息映射到高频，能有效提升画质，网络更容易建模3d位置信息。由于模型计算量大，每条射线上有很多空白区域和遮挡区域，增加了计算反而对结果没有多大影响。如图5所示，为提升模型训练速度，通过改变采样策略减小估计积分式的计算，使用分层采样训练方式，先进行粗采样，对光线的分布进行估计，估计的分布结果再进行细采样预测。
113.应当理解的是，所述改进的神经辐射场模型包括融入位置编码策略的编码器与解码器，所述编码器，用于提取所述素材数据中的位置数据与方向数据，并通过位置编码将所述位置数据与方向数据映射至高频，得到解码输入数据，所述解码器，用于根据所述解码输入数据，得到颜色密度数据，根据所述颜色密度数据生成所述视频场景模式下的医学教学场景模型。
114.需要说明的是，所述位置数据与方向数据指的是从素材数据中提取的每个点的空间位置和视角特征。所述解码输入数据即输入解码器的数据，所述颜色密度数据指的是场景中每个点的颜色和密度的函数。
115.步骤s20：功能选择模块获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景。
116.可以理解的是，所述当前用户指的是当前使用本实施例所述基于多人交互的虚拟医学教学系统的用户。所述目标场景模式指的是用户想要使用的场景模式，除了全景视频播放模式或vr沉浸模式，还可以是全息裸眼3d模式。所述目标场景名称指的是用户想要使用的场景名称，所述目标医学教学场景即为最终向用户呈现的教学场景。
117.步骤s30：教学功能模块向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作。
118.进一步地，所述步骤s30包括：在所述目标教学模式为练习模式时，向所述当前用户呈现所述目标医学教学场景，并向所述当前用户提供学习信息，以使所述当前用户在所述目标医学教学场景中进行学习操作。所述步骤s30还包括：在所述目标教学模式为考核模
式时，向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行考核操作，并根据场景规范对所述考核操作进行评分，所述场景规范包括采分点、知识点、操作规范、操作要求。
119.应当理解的是，所述学习信息指的是学习实验或是学习手术相关的信息，所述学习操作指的是学习相关的操作。所述考核操作指的是考核相关的操作。所述场景规范指的是对于实验教学场景和手术教学场景设定的相关规范，至少包括采分点、知识点、操作规范、操作要求，具体内容可根据实际需求设定，本实施例对此不做限制。三维场景模式下有两种教学模式可以选择，分别为练习模式和考核模式。选择练习模式后，每个项目具有虚拟实训和基础知识学习两部分，可进行实训项目操作或基础知识学习。选择考核模式后直接进行实训操作。
120.步骤s40：数据交互模块获取所述当前用户在所述目标医学教学场景中的操作数据，并将所述操作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。
121.需要说明的是，所述场景操作数据指的是当前用户的操作数据，所述目标用户指的是当前用户想要进行交互的用户，可以是一个，也可以是多个，本实施例对此不做限制。
122.可以理解的是，多人交互可以基于vr可穿戴设备上的定位传感器和麦克风硬件，麦克风将外界信号转为数字信号最终实现多人交互式语音交流。通过调用api实现多人远程交互，运用云流渲染、容量化管理、多设备交互实现多人远程交互推流和多硬件设备输入系统映射。终端模块提供交互操作服务、视点追踪服务、端侧自适应绘制服务，并行绘制容量模块提供网络简化服务、语义抽取服务、宽视角区域渲染服务，云端运用阿里云高性能处理绘制渲染，实现实时高清交互。
123.应当理解的是，将各用户的操作数据收集并结合场景处理，通过在线服务器渲染，通过5g或者wifi6模式实时传送实现多人交互。
124.进一步地，所述数据交互模块通过可穿戴设备获取所述当前用户的实际位姿数据与实际操作数据，并根据所述实际位姿数据与实际操作数据，在所述目标医学教学场景中呈现对应的场景位姿与场景操作。
125.需要说明的是，所述实际位姿数据指的是用户在实际空间中的位姿，所述实际操作数据指的是用户在实际空间中的操作，分别可以通过vr可穿戴设备采集，例如：vr头显和触感手套。
126.在本实施例中，基于多人交互的虚拟医学教学系统包括场景构建模块、功能选择模块、教学功能模块以及数据交互模块，场景构建模块，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对医学教学场景模型进行逻辑交互，以使医学教学场景模型实现环境仿真，得到各预设场景模式下的医学教学场景，功能选择模块，用于获取当前用户的目标场景模式与目标场景名称，并根据目标场景模式与目标场景名称在医学教学场景中确定目标医学教学场景，教学功能模块，向当前用户呈现目标医学教学场景，以使当前用户在目标医学教学场景中进行操作，数据交互模块，用于获取当前用户在目标医学教学场景中的场景操作数据，并将场景操作数据渲染后发送至目标用户，以使目标用户与当前用户进行交互。本实施例采用自动建模方式构建医学教学场景，提高场景效果，不但能模拟医院检验科现场真实场景，也能模拟手术室现场真实场景，使场景多样化，此外，可以将各
用户端操作收集并结合场景处理渲染，实时传送实现多人交互，提高用户体验。
127.应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
128.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
129.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于多人交互的虚拟医学教学方法，此处不再赘述。
130.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
131.所述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
132.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到所述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
133.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于多人交互的虚拟医学教学系统，其特征在于，所述基于多人交互的虚拟医学教学系统包括场景构建模块、功能选择模块、教学功能模块以及数据交互模块；所述场景构建模块，用于根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景；所述功能选择模块，用于获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景；所述教学功能模块，用于向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作；所述数据交互模块，用于获取所述当前用户在所述目标医学教学场景中的场景操作数据，并将所述场景操作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。2.如权利要求1所述的系统，其特征在于，所述场景构建模块包括视频场景构建单元与三维场景构建单元；所述视频场景构建单元，用于通过预设球状模型对所述素材数据进行立体化，并采用全景贴图策略得到初始视频场景模型，在所述初始视频场景模型中添加预设视频播放组件并设定旋转策略，得到所述视频场景模式下的医学教学场景模型；所述三维场景构建单元，用于根据所述素材数据，确定模型输入数据，并基于改进的神经辐射场模型对所述模型输入数据进行模型构建，得到所述三维场景模式下的医学教学场景模型，所述改进的神经辐射场模型为通过对样本数据进行粗采样后对光线分布进行估计，根据估计结果进行细采样预测后对初始神经辐射场模型进行训练得到的模型。3.如权利要求2所述的系统，其特征在于，所述改进的神经辐射场模型包括融入位置编码策略的编码器与解码器；所述编码器，用于提取所述素材数据中的位置数据与方向数据，并通过位置编码将所述位置数据与方向数据映射至高频，得到解码输入数据；所述解码器，用于根据所述解码输入数据，得到颜色密度数据，根据所述颜色密度数据生成所述视频场景模式下的医学教学场景模型。4.如权利要求1所述的系统，其特征在于，所述教学功能模块包括练习功能单元与考核功能单元；所述功能选择模块，还用于在所述目标场景模式为三维场景模式时，获取所述当前用户的目标教学模式；所述练习功能单元，用于在所述目标教学模式为练习模式时，向所述当前用户呈现所述目标医学教学场景，并向所述当前用户提供学习信息，以使所述当前用户在所述目标医学教学场景中进行学习操作；所述考核功能单元，用于在所述目标教学模式为考核模式时，向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行考核操作，并根据场景规范对所述考核操作进行评分，所述场景规范包括采分点、知识点、操作规范以及操作要求。
5.如权利要求4所述的系统，其特征在于，所述练习功能单元包括实训操作子单元与基础学习子单元；所述实训操作子单元，用于在所述目标医学教学场景中，向所述当前用户提供提示信息，以使所述当前用户根据所述提示信息进行学习操作；所述基础学习子单元，用于在所述目标医学教学场景中，向用户提供基础知识信息，所述基础知识信息至少包括操作简介、操作原理、操作内容以及操作仪器介绍；所述基础学习子单元，还用于向所述当前用户提供题库数据，以使所述当前用户根据所述题库数据进行学习操作。6.如权利要求4所述的系统，其特征在于，所述教学功能模块还包括教学课程单元；所述教学课程单元，用于在所述目标场景模式为视频场景模式时，向所述当前用户提供直播课程与回播课程。7.如权利要求4所述的系统，其特征在于，所述基于多人交互的虚拟医学教学系统还包括数据分析模块；所述数据分析模块，用于获取所述当前用户在所述练习模式下的练习数据与在所述考核模式下的考核数据，根据所述练习数据与考核数据，确定所述当前用户的缺乏知识点，以使所述当前用户根据所述缺乏知识点进行学习操作；所述数据分析模块，还用于根据所述练习数据与考核数据，确定操作得分、操作时间以及操作过程，并根据所述操作得分、操作时间以及操作过程生成成绩分析图表。8.如权利要求2所述的系统，其特征在于，所述基于多人交互的虚拟医学教学系统还包括手术制定模块；所述三维场景构建单元，还用于根据样本医学影像构建三维器官模型；所述手术制定模块，用于获取目标分析影像，将所述目标分析影像导入所述三维器官模型，在所述三维器官模型中确定患病位置，向所述当前用户展示存在所述患病位置的三维器官模型，以使所述当前用户根据所述患病位置确定手术策略。9.如权利要求1至8任一项所述的系统，其特征在于，所述数据交互模块，还用于通过可穿戴设备获取所述当前用户的实际位姿数据与实际操作数据，并根据所述实际位姿数据与实际操作数据，在所述目标医学教学场景中呈现对应的场景位姿与场景操作。10.一种基于多人交互的虚拟医学教学系统构建方法，其特征在于，所述基于多人交互的虚拟医学教学系统构建方法应用于如权利要求1至9任一项所述的基于多人交互的虚拟医学教学系统，所述基于多人交互的虚拟医学教学系统构建方法，包括：场景构建模块根据素材数据，构建各预设场景模式下的医学教学场景模型，并对所述医学教学场景模型进行逻辑交互，以使所述医学教学场景模型实现环境仿真，得到所述各预设场景模式下的医学教学场景，所述预设场景模式包括视频场景模式与三维场景模式，所述医学教学场景至少包括实验教学场景与手术教学场景；功能选择模块获取当前用户的目标场景模式与目标场景名称，并根据所述目标场景模式与所述目标场景名称在所述医学教学场景中确定目标医学教学场景；教学功能模块向所述当前用户呈现所述目标医学教学场景，以使所述当前用户在所述目标医学教学场景中进行操作；数据交互模块获取所述当前用户在所述目标医学教学场景中的操作数据，并将所述操
作数据渲染后发送至目标用户，以使所述目标用户与所述当前用户进行交互。

技术总结
本发明属于教学设备技术领域，公开了一种基于多人交互的虚拟医学教学系统及其构建方法。该系统包括场景构建模块、功能选择模块、教学功能模块以及数据交互模块；场景构建模块，用于根据素材数据，构建各预设场景模式下的医学教学场景；功能选择模块，用于根据目标场景模式与目标场景名称在医学教学场景中确定目标医学教学场景；教学功能模块，向当前用户呈现目标医学教学场景，以使当前用户在目标医学教学场景中进行操作；数据交互模块，用于获取当前用户在目标医学教学场景中的场景操作数据，渲染后发送至目标用户，以使目标用户与当前用户进行交互。本发明可以自动构建场景，且能够实时传送用户操作数据实现多人交互，提高用户体验。用户体验。用户体验。


技术研发人员：江华 刘子源 胡成 张悦
受保护的技术使用者：湖北文理学院
技术研发日：2023.04.28
技术公布日：2023/8/14