一种可视可感智能手术导航系统

1.本发明涉及手术导航技术领域，尤其是一种可视可感智能手术导航系统。


背景技术：

2.传统手术过程中，病灶的定位依赖术前的影像学检查读片、术者视觉、经验判断，无法精确定位术区，也没有可靠的术中定位引导。因此传统手术无法避免较高的临近组织、血管损伤的发生率，严重时可导致患者遗留残疾甚至死亡。而手术导航系统是降低致残率的有效措施，使用手术导航系统后致残率可以降低50％。
3.然而现有的手术导航方案存在不够智能、不够直观、不够灵活的问题，在术前诊断阶段极度依赖医生的经验和手工操作，诊断主观性强，不够智能；在术前规划阶段，病灶信息呈现多为二维医学影像，呈现不够直观；在术中操作阶段，凭借医生的肉眼和触觉，无力度和位姿的反馈，不够灵活。


技术实现要素：

4.本发明所要解决的技术问题在于，提供一种可视可感智能手术导航系统，于术前诊断阶段实现ai辅助诊断，手术规划阶段实现三维医学影像重建，术中力度反馈从而达到引导医生手术操作、减少手术失误、降低手术致残率的目的。
5.为解决上述技术问题，本发明提供一种可视可感智能手术导航系统，包括：辅助诊断模块、多尺度病灶信息呈现模块和术中力度保护模块；辅助诊断模块实现病灶的自动分割和自动重建，自动分割实现病灶区域的精细化勾画，病灶自动重建实现病灶的自动三维重建，辅助医生进行病灶信息识别和判断，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，术中力度保护模块实现术中实时力反馈和误触预警，引导手术操作。
6.优选的，辅助诊断模块实现病灶的自动分割，具体包括如下步骤：
7.步骤1、设置网络，网络包括两个u-net网络级联，每个u-net包括四层下采样的编码器与四层上采样的解码器；
8.步骤2、将尺寸为256
×
256的超声图像送入第一个u-net网络中能够获得粗分割结果，分别包含每个像素预测为各类别的概率，尺寸为256
×
256
×
c，其中c为类别数量；
9.步骤3、通过一个基于通道注意力机制的自适应不确定特征融合模块，将不确定性特征、超声图像特征与粗分割得到的结构特征进行自适应融合，并将其作为输入送入级联网络的第二个u-net中；
10.步骤4、在第二个u-net的编码层中，引入基于不确定性的注意力子模块uam，通过交叉注意力计算与自注意力计算调整特征权重，用于提取病灶区域的关键特征，将uam分别添加在第二个u-net编码器的每一层卷积层前面，通过不确定性特征与注意力子模块对第二个u-net的特征提取进行调节，网络能够对粗分割结果进行调整，并且重新解码得到精分割的结果。
11.优选的，设置基于不确定性的迭代边缘修正子模块，在病灶边界区域，增加不确定性高的特征周边置信特征的权重，修正低置信度特征导致的模糊边界预测错误，通过迭代的方式，对预测的边界不断进行修正，在降低由于低置信度特征导致的边界预测错误的同时，提升边界正确预测的置信度，实现模糊边界的精确分割，最终将边缘修正后的结果作为整个网络的最终预测输出。
12.优选的，辅助诊断模块实现病灶的自动重建，网络结构包括图像特征提取分支与光流特征提取分支。
13.优选的，图像特征提取分支的输入为两帧尺寸256
×
256的超声图像，光流特征提取分支的输入通过将超声图像送入flownetcss模块后获得。
14.优选的，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，病灶信息的二维显示以医学图像“平面”的形式实现，三维显示以医学模型“立体”的方式直观呈现，混合现实显示则是利用混合现实mr技术、虚拟现实vr技术及增强现实ar技术，实现虚拟图像和现实环境的融合，数字和物理对象在虚拟和现实环境中的共存。
15.优选的，在手术规划阶段，用户需戴上混合现实显示的眼镜即实现病灶信息的混合现实显示，用户和病灶信息进行交互触摸，观察病灶信息的细节，进行手术预演，细化手术操作，从而以更加直观的方式进行手术规划，同时将不同的病灶解剖三维结构导入混合现实显示设备，实现不同手术的规划和预演。
16.优选的，术中力度保护模块包括术中力反馈辅助单元和基于磁定位的手术器械位姿追踪单元，力反馈辅助单元实现术中实时力反馈和误触预警，引导医生手术操作，基于磁定位的手术器械位姿追踪单元实现手术器械和病灶之间位姿关系的呈现。
17.优选的，术中误触预警单元包括术中力型模拟模块、误触检测模块以及交互形变计算模块，其中用户经交互接口对手术器械做出相应操作，交互接口将手术器械与器官组织间的模拟力反馈至误触检测模块，由误触检测模块进行误触判断预警，若判断为虚拟碰撞则向用户发出误触预警，若为真实触碰则接着将处理后的反馈力输入至交互形变模块，该模块处理后将病灶产生的形变信息进行三维化的呈现，同时相应的形变位移信息的力型大小及方向，由交互接口实时反馈给用户。
18.优选的，基于磁定位的手术器械位姿追踪单元利用磁定位技术实现手术器械实时追踪，手术器械内嵌磁定位装置，在磁场发生器产生的磁场中，手术器械的移动引起磁场变化，最终实现位置的定位追踪。
19.本发明的有益效果为：于“脑”——在术前诊断阶段，该系统利用自动分割算法实现病灶区域的精细识别，辅助医生诊断；于“眼”——在手术规划阶段，该系统利用二维、三维以及vr+ar的形式实现病灶信息的直观呈现，辅助医生指定手术方案；于“手”——在术中操作阶段，该系统借助磁定位技术和力反馈技术实现手术器械位姿跟踪以及术中误触反馈，引导医生手术操作，本发明实现医生“眼”“脑”“手”的协同，实现术前诊断的“智能化”，手术规划的“直观化”，术中操作的“灵活化”。
附图说明
20.图1为本发明的图像分割算法示意图。
21.图2为本发明的三维重建算法示意图。
22.图3为本发明的多尺度病灶信息呈现示意图。
23.图4为本发明的术中误触预警辅助单元结构示意图。
具体实施方式
24.一种可视可感智能手术导航系统，包括：辅助诊断模块、多尺度病灶信息呈现模块和术中力度保护模块；辅助诊断模块实现病灶的自动分割和自动重建，自动分割实现病灶区域的精细化勾画，病灶自动重建实现病灶的自动三维重建，辅助医生进行病灶信息识别和判断，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，术中力度保护模块实现术中实时力反馈和误触预警，引导手术操作。
25.自动分割：在图像分割任务中，网络预测的不确定性高像素区域往往与超声图像中分割困难的复杂病灶区域、模糊甚至消失的边界区域重合。因此通过增强神经网络预测结果的置信度能够提升对超声图像复杂病灶区域、模糊边界区域的分割性能。因此本系统提出一种基于网络分割预测不确定性特征增强的分割方法，通过引入不确定性特征，改进网络对富含噪声的病灶区域以及模糊边界区域的分割效果，从而提升网络对超声图像的分割性能。一方面，通过级联网络结构，我们能够通过第一个网络的分割结果计算预测的不确定性特征，并将其作为特征加入第二个网络中，从而提升之前粗分割结果中不确定性高区域即复杂病灶区域的分割结果；另一方面，根据最终预测结果的不确定性特征，我们引入一个迭代的边缘修正模块，根据预测的不确定性迭代地调整边缘特征的权重，提升网络对边界区域分割的性能。
26.网络框架如图1所示，网络由两个u-net网络级联组成，每个u-net均由四层下采样的编码器与四层上采样的解码器组成。将尺寸为256
×
256的超声图像送入第一个u-net网络中能够获得粗分割结果，分别包含每个像素预测为各类别的概率，尺寸为256
×
256
×
c，其中c为类别数量。根据此概率图，我们能够计算每个像素预测的熵值，用于反映该预测的不确定性。然后通过一个基于通道注意力机制的自适应不确定特征融合模块，我们将不确定性特征、超声图像特征与粗分割得到的结构特征进行自适应融合，并将其作为输入送入级联网络的第二个u-net中。与此同时，在第二个u-net的编码层中，我们引入基于不确定性的注意力子模块(uam)，通过交叉注意力计算与自注意力计算调整特征权重，用于提取病灶区域的关键特征。由于u-net的编码层包含4次下采样操作，为了充分利用不同尺度信息，我们将uam分别添加在第二个u-net编码器的每一层卷积层前面。通过不确定性特征与注意力子模块对第二个u-net的特征提取进行调节，网络能够对粗分割结果进行调整，并且重新解码得到精分割的结果。
27.为了针对病灶区域的模糊边界进行进一步的修正，我们针对精分割结果进行进一步的边缘修正。我们提出一个基于不确定性的迭代边缘修正子模块，在病灶边界区域，增加不确定性高的特征周边置信特征的权重，修正低置信度特征导致的模糊边界预测错误。通过迭代的方式，我们对预测的边界不断进行修正，在降低由于低置信度特征导致的边界预测错误的同时，提升边界正确预测的置信度，实现模糊边界的精确分割。最终将边缘修正后的结果作为整个网络的最终预测输出。
28.自动重建：本系统利用的自动重建算法为一种基于深度学习的网络模型，该模型能够学习超声图像内的特征信息，预测相邻图像之间的空间位姿信息，且加入光流、惯性测
量单元等模态特征，提升网络对空间位姿的估计精度。
29.网络的结构如图2所示，其主要可以分为图像特征提取分支与光流特征提取分支。图像特征提取分支的输入为两帧尺寸256
×
256的超声图像，而光流特征提取分支的输入则是通过将超声图像送入flownetcss模块后获得的。
30.多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，病灶信息的二维显示以医学图像“平面”的形式实现，三维显示以医学模型“立体”的方式直观呈现，而混合现实显示则是利用vr+ar实现虚拟图像和现实环境的融合，数字和物理对象在虚拟和现实环境中的共存，使得医师可以在现实环境中和病灶直接进行交互。
31.如图3所示，在手术规划阶段，借助本模块，医生只需戴上混合现实显示的眼镜即实现病灶信息的混合现实显示，医生和病灶信息进行交互触摸，观察病灶信息的细节，进行手术预演，细化手术操作，从而以更加直观的方式进行手术规划，同时将不同的病灶解剖三维结构导入混合现实显示设备，可以实现不同手术的规划和预演。
32.术中力度保护模块包括术中误触预警辅助单元和基于磁定位的手术器械位姿追踪单元，误触预警辅助单元实现术中实时力反馈和误触预警，引导医生手术操作，基于磁定位的手术器械位姿追踪单元实现手术器械和病灶之间位姿关系的呈现。
33.术中误触预警辅助单元：误触预警单元主要实现在操作者即将误触到器官组织时发出警示，以免因为手术失误对病人造成伤害。如图4所示，该单元采取模块化设计，主要模块包括术中力型模拟模块、误触检测模块以及交互形变计算模块，其中用户经交互接口对手术器械做出相应操作，交互接口将手术器械与器官组织间的模拟力反馈至误触检测模块，由误触检测模块进行误触判断预警，若判断为虚拟碰撞则向用户发出误触预警，若为真实触碰则接着将处理后的反馈力输入至交互形变模块，该模块处理后将病灶产生的形变信息进行三维化的呈现，同时相应的形变位移信息的力型大小及方向，由交互接口实时反馈给用户。其中力型模拟模块是对虚拟手术器械与病灶三维模型之间交互而产生的类似于弹力、摩擦力等各种力型进行模拟。我们基于openhaptics设计了可作为交互接口的力反馈设备，使其能够将力型模拟模块的输出真实的反应给用户，从而实现术中操作实时力反馈；同时我们设计了交互形变模块，该模块能够模拟出将因碰撞产生的形变信息。
34.基于磁定位的手术器械位姿追踪单元：利用磁定位技术实现手术器械实时追踪，手术器械内嵌磁定位装置，在磁场发生器产生的磁场中，手术器械的移动引起磁场变化，最终实现位置的定位追踪。

技术特征：
1.一种可视可感智能手术导航系统，其特征在于，包括：辅助诊断模块、多尺度病灶信息呈现模块和术中力度保护模块；辅助诊断模块实现病灶的自动分割和自动重建，自动分割实现病灶区域的精细化勾画，病灶自动重建实现病灶的自动三维重建，辅助医生进行病灶信息识别和判断，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，术中力度保护模块实现术中实时力反馈和误触预警，引导手术操作。2.如权利要求1所述的可视可感智能手术导航系统，其特征在于，辅助诊断模块实现病灶的自动分割，具体包括如下步骤：步骤1、设置网络，网络包括两个u-net网络级联，每个u-net包括四层下采样的编码器与四层上采样的解码器；步骤2、将尺寸为256
×
256的超声图像送入第一个u-net网络中能够获得粗分割结果，分别包含每个像素预测为各类别的概率，尺寸为256
×
256
×
c，其中c为类别数量；步骤3、通过一个基于通道注意力机制的自适应不确定特征融合模块，将不确定性特征、超声图像特征与粗分割得到的结构特征进行自适应融合，并将其作为输入送入级联网络的第二个u-net中；步骤4、在第二个u-net的编码层中，引入基于不确定性的注意力子模块uam，通过交叉注意力计算与自注意力计算调整特征权重，用于提取病灶区域的关键特征，将uam分别添加在第二个u-net编码器的每一层卷积层前面，通过不确定性特征与注意力子模块对第二个u-net的特征提取进行调节，网络能够对粗分割结果进行调整，并且重新解码得到精分割的结果。3.如权利要求2所述的可视可感智能手术导航系统，其特征在于，设置基于不确定性的迭代边缘修正子模块，在病灶边界区域，增加不确定性高的特征周边置信特征的权重，修正低置信度特征导致的模糊边界预测错误，通过迭代的方式，对预测的边界不断进行修正，在降低由于低置信度特征导致的边界预测错误的同时，提升边界正确预测的置信度，实现模糊边界的精确分割，最终将边缘修正后的结果作为整个网络的最终预测输出。4.如权利要求1所述的可视可感智能手术导航系统，其特征在于，辅助诊断模块实现病灶的自动重建，网络结构包括图像特征提取分支与光流特征提取分支。5.如权利要求4所述的可视可感智能手术导航系统，其特征在于，图像特征提取分支的输入为两帧尺寸256
×
256的超声图像，光流特征提取分支的输入通过将超声图像送入flownetcss模块后获得。6.如权利要求1所述的可视可感智能手术导航系统，其特征在于，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，病灶信息的二维显示以医学图像“平面”的形式实现，三维显示以医学模型“立体”的方式直观呈现，混合现实显示则是利用混合现实mr技术、虚拟现实vr技术及增强现实ar技术，实现虚拟图像和现实环境的融合，数字和物理对象在虚拟和现实环境中的共存。7.如权利要求6所述的可视可感智能手术导航系统，其特征在于，在手术规划阶段，用户需戴上混合现实显示的眼镜即实现病灶信息的混合现实显示，用户和病灶信息进行交互触摸，观察病灶信息的细节，进行手术预演，细化手术操作，从而以更加直观的方式进行手术规划，同时将不同的病灶解剖三维结构导入混合现实显示设备，实现不同手术的规划和预演。
8.如权利要求1所述的可视可感智能手术导航系统，其特征在于，术中力度保护模块包括术中误触预警辅助单元和基于磁定位的手术器械位姿追踪单元，误触预警辅助单元实现术中实时力反馈和误触预警，引导医生手术操作，基于磁定位的手术器械位姿追踪单元实现手术器械和病灶之间位姿关系的呈现。9.如权利要求8所述的可视可感智能手术导航系统，其特征在于，术中误触预警单元包括术中力型模拟模块、误触检测模块以及交互形变计算模块，其中用户经交互接口对手术器械做出相应操作，交互接口将手术器械与器官组织间的模拟力反馈至误触检测模块，由误触检测模块进行误触判断预警，若判断为虚拟碰撞则向用户发出误触预警，若为真实触碰则接着将处理后的反馈力输入至交互形变模块，该模块处理后将病灶产生的形变信息进行三维化的呈现，同时相应的形变位移信息的力型大小及方向，由交互接口实时反馈给用户。10.如权利要求8所述的可视可感智能手术导航系统，其特征在于，基于磁定位的手术器械位姿追踪单元利用磁定位技术实现手术器械实时追踪，手术器械内嵌磁定位装置，在磁场发生器产生的磁场中，手术器械的移动引起磁场变化，最终实现位置的定位追踪。

技术总结
本发明公开了一种可视可感智能手术导航系统，包括：辅助诊断模块、多尺度病灶信息呈现模块和术中力度保护模块；辅助诊断模块实现病灶的自动分割和自动重建，自动分割实现病灶区域的精细化勾画，病灶自动重建实现病灶的自动三维重建，辅助医生进行病灶信息识别和判断，多尺度病灶信息呈现模块实现病灶信息的二维、三维以及混合现实显示，术中力度保护模块实现术中实时力反馈和误触预警，引导手术操作。本发明于术前诊断阶段实现AI辅助诊断，手术规划阶段实现从而达到引导医生手术操作、减少手术失误、降低手术致残率的目的。降低手术致残率的目的。降低手术致残率的目的。


技术研发人员：杜庆节 徐天泽 陈凌钰 韩浩杰 王见 陈芳 张道强
受保护的技术使用者：南京航空航天大学
技术研发日：2023.04.17
技术公布日：2023/8/14