基于XR技术的虚拟手术操作系统的制作方法

基于xr技术的虚拟手术操作系统
技术领域
1.本发明涉及数字化医学以及计算机辅助外科领域，具体涉及一种基于xr(extended reality)技术的虚拟手术操作系统。


背景技术：

2.由于传统手术过程存在风险高，病人痛苦大，手术效果受医生个人业务水平影响很大，术后效果不理想等问题，手术教学和术前练习显得尤为重要。然而，目前传统手术教学的做法还通常是采用模型人进行教学、手术录像的演示播放、器官实物标本讲解、人体尸体解剖教学、动物活体解剖教学以及专家手术观摩等形式。手术教学一般需要在专门的实验室或手术间内进行，这种教学方法存在以下不足：(1)采用模型人教学，模型人一般采用树脂或乳胶材料制得，易老化，使用过多次后就需要更换，教学成本较高。(2)采用人体解剖结构教学，在实验室里通过看录像或尸体解剖教学，难以直观、轻松学习解剖结构。(3)动物活体解剖教学，一方面动物活体十分昂贵，且涉及到动物保护等较敏感的问题，另一方面由于动物与人体的差异性，在进行手术训练时，对提高手术熟练度的作用十分有限。(4)采用专家手术观摩形式，医务工作者无法完全沉浸于实际的场景内，也不能亲自操作并与专家操作方法及时进行比对，发现自己的错误和不足，难以获得良好的受训效果。


技术实现要素：

3.本发明的目的在于克服上述现有技术的不足，提供一种基于xr技术的虚拟手术操作系统，能够让医生进行术前练习和模拟操作精准手术方案以及手术教学。
4.为实现上述目的，本发明的技术方案是：
5.一种基于xr技术的虚拟手术操作系统，其特征在于，包括：
6.虚拟手术环境模块，用于建立仿真医学模型库，所述医学模型库包括3d虚拟手术环境，虚拟手术环境包括但不限于患者3d模型、手术室、手术器械和设备的3d模型；
7.手术操作脚本模块，用于制作手术操作脚本；
8.虚拟手术课件模块，基于所述手术操作脚本来制作虚拟手术课件，所述虚拟手术课件通过使用交互设备让受训者沉浸在所建立的3d虚拟环境中，允许受训者在3d虚拟环境中四处走动；
9.xr显示模块，用以为受训者提供交互设备硬件，以让受训者沉浸在3d虚拟环境中；
10.虚拟手术练习模块，用于让受训者使用交互设备硬件在3d虚拟环境进行交互式地练习手术操作；
11.录虚拟手术视频模块，用于将整个虚拟手术操作模拟过程记录成视频；
12.记录和分析数据模块，用于在虚拟手术操作模拟过程练习期间，自动记录和分析测量数据。
13.进一步地，所述医学模型库还包括视觉效果和触觉反馈；所述视觉效果通过计算机图形学算法实现虚拟手术操作过程中画面的呈现；所述触觉反馈用于区分反馈手术操作
过程中不同的软组织和骨头，以真实体验手术操作。
14.进一步地，所述手术操作脚本模块是基于术前规划、虚拟手术环境来制作手术操作脚本。
15.进一步地，所述手术操作脚本呈现一个虚拟的三维手术环境带有患者3d模型、虚拟手术环境以及手术流程。
16.进一步地，所述手术操作脚本导出为fbx格式。
17.进一步地，所述测量数据包括受训者置放3d模型位置与术前规划之间的距离和角度，整个模拟手术流程的时间，超出安全范围的次数，流程下一步所需的提示数。
18.进一步地，所述术前规划用于为患者制定若干模拟手术方案动画，基于模拟手术方案动画预览术后的效果为医生所满意的那一模拟手术方案动画来作为模拟练习手术方案。
19.进一步地，所述3d虚拟手术环境包括患者3d模型、手术室、手术床、手术器械和设备。
20.本发明与现有技术相比，其有益效果在于：
21.本发明提供的基于xr技术的虚拟手术操作系统基于虚拟现实技术能够提高手术教学的效率及质量，弥补目前传统医学教学中存在的不足，提升医学生的学习兴趣；同时也可以为医生在实际手术操作前进行虚拟练习，给医生提供了更多的操作机会，提高医生的手术操作熟练度，提高术中准确率以及从容度，另外还可为术前方案制定提供决策，加强医生的手术思维。
附图说明
22.图1为本发明实施例提供的基于xr技术的虚拟手术操作系统的组成示意图；
具体实施方式
23.实施例：
24.下面结合附图和实施例对本发明的技术方案做进一步的说明。
25.本实施例提供的虚拟手术操作系统为临床医生提供了一个仿真、低成本、可重复、无限的骨科手术操作教学环境。图1中的虚拟手术操作系统100包括虚拟手术环境模块110、手术操作脚本模块120、虚拟手术课件模块130，xr显示模块140，虚拟手术练习模块150、虚拟手术视频模块160和记录和分析数据模块模块170。xr是所有通过计算机生成的虚拟“现实”环境的总称，技术包括但不限于vr、ar、mr等。
26.虚拟手术环境模块110是建立仿真的医学模型库。医学模型库的仿真模型包括视觉效果和触觉反馈，视觉效果画面包括皮肤、脂肪、肌肉、骨头、血管和血液等等，尤其是在切割过程中，这些视觉效果可以通过计算机图形学算法实现。触觉反馈可以区分不同的软组织和骨头，可以更真实的体验手术操作，犹如在尸体标本练习，而触觉反馈取决于不同软组织和骨头的力学性能。该医学模型库还包括但不限于手术室、手术床、手术器械和设备模型等。
27.手术操作脚本模块120基于术前规划、虚拟手术环境制作手术操作脚本，使用的cad软件，包括但不限于3dmax、solidworks、maya和blender。手术操作脚本可以导出为fbx
格式，可以很容易地导入虚拟现实开发平台。由于手术操作脚本模块120基于术前规划、虚拟手术环境来制作手术操作脚本的，所制作出来的手术操作脚本基本和实际手术操作流程相同，术前规划是指基于手术前规划创建3d手术前动画，医生根据3d手术前动画的预览效果来更改不同的手术方案直至预览术后的效果直到外科医生满意为止，从而制定精准手术方案，也就是说，受训者是基于该精准手术方案进行模拟操作训练，以便于在操作过程中发现自己的错误和不足，从而能够提高实际手术操作时的精准性
28.虚拟手术课件模块130是基于手术操作脚本来进行虚拟课件制作。手术操作脚本fbx文件可导入到unity3d或unrealvr或自主研发的开发引擎。手术操作脚本为开发人员呈现了整个手术操作流程与步骤。该脚本呈现了一个虚拟的三维(3d)手术环境带有患者3d模型、手术器械和设备模型以及手术流程。xr课件通过使用交互设备让受训者沉浸在3d虚拟环境中，允许受训者在虚拟环境中四处走动；交互设备通过硬件设备包括但不限于vr头显和ar眼镜发送和接收信息，手柄配备了力反馈装置，可提供触觉允许受训者拿起和操作他在虚拟环境中看到的手术器械和设备。
29.xr显示模块140是受训者通过xr硬件设备让受训者沉浸在3d虚拟环境中，允许受训者在虚拟环境中四处走动，允许受训者拿起和操作他在虚拟环境中看到的手术器械和设备模型。手术操作练习/培训常用的是vr头显，包括但不限于pico、htc和oculus。
30.虚拟手术练习模块150是受训者使用xr交互设备在3d虚拟环境中交互式地练习手术操作。在练习期间，受训者可能会执行以下操作，包括但不限于截骨、骨骼模型复位、置放假体模型以及置入螺丝钉模型。
31.录虚拟手术视频模块160将整个虚拟手术操作模拟过程记录成视频，记录手术流程、不同的手术操作如截骨、骨骼模型复位操作，置放个性化假体模型动作和打螺丝钉的过程。
32.记录和分析数据模块170在虚拟手术练习模块150练习期间，自动记录测量的数据，数据包括但不限于受训者置放模型位置与术前规划之间的距离和角度，整个模拟手术流程的时间(分钟)，超出安全范围的次数，流程下一步所需的提示数(特定秒数后vr课件自动协助)。可以对测量数据结果进行分析并对结果进行排序，以显示受训者的技能和准确性的进步。
33.由此可见，本发明提供的基于xr技术的虚拟手术操作系统基于虚拟现实技术能够提高手术教学的效率及质量，弥补目前传统医学教学中存在的不足，提升医学生的学习兴趣；同时也可以为医生在实际手术操作前进行虚拟练习，给医生提供了更多的操作机会，提高医生的手术操作熟练度，提高术中准确率以及从容度，另外还可为术前方案制定提供决策，加强医生的手术思维。
34.上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的年轻医生能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

技术特征：
1.基于xr技术的虚拟手术操作系统，其特征在于，包括：虚拟手术环境模块，用于建立医学模型库，所述医学模型库包括3d虚拟手术环境；手术操作脚本模块，用于制作手术操作脚本；虚拟手术课件模块，基于所述手术操作脚本来制作虚拟手术课件，所述虚拟手术课件通过使用交互设备让受训者沉浸在所建立的3d虚拟环境中，允许受训者在3d虚拟环境中四处走动；xr显示模块，用以为受训者提供交互设备，以让受训者沉浸在3d虚拟环境中；虚拟手术练习模块，用于让受训者使用交互设备在3d虚拟环境进行交互式地练习手术操作；录虚拟手术视频模块，用于将整个虚拟手术操作模拟过程记录成视频；记录和分析数据模块，用于在虚拟手术操作模拟过程练习期间，自动记录测量和分析数据。2.如权利要求1所述的基于xr技术的虚拟手术操作系统，其特征在于，所述医学模型库还包括视觉效果和触觉反馈；所述视觉效果通过计算机图形学算法实现虚拟手术操作过程中画面的呈现；所述触觉反馈用于区分反馈手术操作过程中不同的软组织和骨头，以真实体验手术操作。3.如权利要求1所述的基于xr技术的虚拟手术操作系统，其特征在于，所述手术操作脚本模块是基于术前规划和虚拟手术环境来制作手术操作脚本。4.如权利要求1或3所述的基于xr技术的虚拟手术操作系统，其特征在于，所述手术操作脚本呈现一个虚拟的三维手术环境带有患者3d模型、手术器械和设备模型以及手术流程。5.如权利要求1所述的基于xr技术的虚拟手术操作系统，其特征在于，所述手术操作脚本导出为fbx格式。6.如权利要求1所述的基于xr技术的虚拟手术操作系统，其特征在于，所述测量数据包括受训者置放模型位置与术前规划之间的距离和角度，整个模拟手术流程的时间，超出安全范围的次数，流程下一步所需的提示数。7.如权利要求3或6所述的基于xr技术的虚拟手术操作系统，其特征在于，所述术前规划用于为患者制定若干模拟手术方案动画，基于模拟手术方案动画预览术后的效果为医生所满意的那一模拟手术方案动画来作为模拟练习手术方案。8.如权利要求1所述的基于xr技术的虚拟手术操作系统，其特征在于，所述虚拟手术环境包括患者3d模型、手术室、手术床、手术器械和设备3d模型。

技术总结
本发明公开了一种于XR技术的虚拟手术操作系统，主要包括虚拟手术环境模块、手术操作脚本模块、虚拟手术课件模块，XR显示模块、虚拟手术练习模块、录虚拟手术视频模块、记录和分析数据模块。本发明提供的基于XR技术的虚拟手术操作系统基于虚拟现实技术能够提高手术教学的效率及质量，弥补目前传统医学教学中存在的不足，提升医学生的学习兴趣；同时也可以为医生在实际手术操作前进行虚拟练习，给医生提供了更多的操作机会，提高医生的手术操作熟练度，提高术中准确率以及从容度，另外还可为术前方案制定提供决策，加强医生的手术思维。加强医生的手术思维。加强医生的手术思维。


技术研发人员：林淑玉
受保护的技术使用者：辰星医疗科技（佛山）有限公司
技术研发日：2023.03.17
技术公布日：2023/8/14