面向微创术中辅助决策的体内三维信息测量系统

1.本发明涉及微创手术技术领域，具体涉及一种面向微创术中辅助决策的体内三维信息测量系统。


背景技术：

2.相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。
3.术中三维信息的测量可以为医生提供手术中感兴趣区域的组织结构信息，让医生更清楚地了解手术区域的结构和特征，帮助医生确定手术方案，比如选择手术器械和手术路径等，提高手术的准确性和效率；同时，术中测量可以提供数据反馈，让医生根据测量数据调整手术步骤和方法，避免手术错误或不必要的切割和损伤。现有手术辅助系统中，多数聚焦于某种特定手术场景，并且测量数据为术前测量所得，不具有广泛适用性；通过系统测量的数据多固定于特定部位(如手术切割面)且种类单一，限制医生主动选择性和参考性；通过算法模型和运动模型的控制，测量参考信息存在误差，难以保障精度。
4.为了克服上述技术缺陷，有必要提供一种新的手术测量系统。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种面向微创术中辅助决策的体内三维信息测量系统，解决了测量受限于特定部位的技术问题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种面向微创术中辅助决策的体内三维信息测量系统，包括：
10.建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；
11.接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；
12.测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。
13.优选的，所述建模模块用于：
14.采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：
[0015][0016]
[0017]
z＝d
[0018]
其中，d为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；c
x
,cy,f
x
,fy为双目相机中左目或者右目内窥镜的内参；
[0019]
将所述指定的双目内窥镜图像帧转换成术中组织点云模型v
in
＝{v
in,a
|a＝1,2,
…
n1}，v
in,a
表示第a个像素点的空间坐标，模型共有n1个像素点。
[0020]
优选的，所述三维信息为长度时：
[0021]
(1)线段长度
[0022]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；
[0023]
所述测量模块，用于：
[0024]
连接标注的两点并在连接线上均匀取样，得到n个采样点；
[0025]
对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；
[0026]
将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度
[0027][0028]
其中，表示两点及其连接线上所有采样点在相机坐标下的空间坐标集合；相机坐标下的空间坐标集合；分别表示线段line上的第a、a-1个点在相机坐标下的空间坐标；
[0029]
或(2)曲线段长度
[0030]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；
[0031]
所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；
[0032]
根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度
[0033][0034]
其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a-1个像素点在相机坐标下的空间坐标空间坐标。
[0035]
优选的，所述双线性插值操作，具体是指：
[0036]
定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为
[0037]
选取其最近四个整数像素点选取其最近四个整数像素点
[0038]
根据所述术中组织点云模型v
in
，获取其对应的深度值分别为，获取其对应的深度值分别为
[0039]
执行如下操作，获取像素坐标不为整数的采样点对应的深度值
[0040][0041]
同理，获取像素坐标不为整数的采样点在相机坐标系下的和
[0042]
优选的，所述三维信息为面积时：
[0043]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；
[0044]
所述测量模块，用于：
[0045]
根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；
[0046]
获取单个像素块在相机坐标下的真实面积：
[0047]
在图像像素坐标系下，沿x轴方向相邻两点
△
x
pixel
与沿y轴方向相邻两点
△ypixel
，获取像素块在物理成像平面上的投影面积s
pixel
′
；
[0048]spixel
′
＝
△
x
pixel
*
△ypixel
[0049]
根据投影面积s
pixel
′
，获取像素块在相机坐标系下的真实面积
[0050][0051][0052]
其中，像素块的两条对角线叉乘求得其法向量f
pixel
表示垂直于物理成像平面的向量；cosθi表示与s
pixel
′
的夹角θi的余弦值；
[0053]
累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积s
pixel
；
[0054][0055]
优选的，所述三维信息为体积时：
[0056]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域；
[0057]
所述测量模块，用于：
[0058]
采用delaunay法对待切除区域的表面的离散点云进行三角形剖分，将三维空间坐标投影至切割平面上，按照构网规则获取平面的不规则三角网，从而形成具有空间立体的三角网模型；
[0059]
在得到切除区域空间三角形后,分别求出单个三角形的三个顶点距离切割面投影点长度的平均值，并作为三棱柱的高,获取对应三棱柱的体积；
[0060]
对所有三棱锥体积求和，获取所述待切除区域的真实体积。
[0061]
优选的，所述建模模块采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；
[0062]
在实时重建模式下，所述建模模块具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：
[0063]
提取单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0064]
融合单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
[0065]
转化单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0066]
第一估计单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0067]
优选的，在精准测量模式下，所述建模模块具体用于对关键影像视频帧进行过拟合，包括：
[0068]
第二估计单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计
网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。
[0069]
(三)有益效果
[0070]
本发明提供了一种面向微创术中辅助决策的体内三维信息测量系统。与现有技术相比，具备以下有益效果：
[0071]
本发明中，建模模块用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模块用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量，减少了手术的创伤。
附图说明
[0072]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0073]
图1为本发明实施例提供的一种面向微创术中辅助决策的体内三维信息测量系统的结构框图；
[0074]
图2为本发明实施例提供的一种面向微创术中辅助决策的体内三维信息测量系统中面积求解方法的概念图；
[0075]
图3为本发明实施例提供的一种面积求解方法中真实空间像素块在物理成像面上投影示意图；
[0076]
图4为本发明实施例提供的一种面积求解方法中真实空间像素块与物理成像面偏转角度示意图；
[0077]
图5为本发明实施例提供的一种待切除区域的真实体积求解示例；
[0078]
图6为本发明实施例提供的一种基于双目内窥镜的在线自监督学习深度估计方法的技术框架示意图。
具体实施方式
[0079]
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080]
本技术实施例通过提供一种面向微创术中辅助决策的体内三维信息测量系统，解决了测量受限于特定部位的技术问题。
[0081]
本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
[0082]
本发明实施例主要应用但不局限于手术内窥镜场景例如腹腔镜手术场景。具体的，建模模块用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模
块用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。
[0083]
此外，本发明实施例中采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景。并且在线自监督学习深度估计方法还提供实时重建模式和精准测量模式两种模式，用于确定指定的双目内窥镜图像帧的深度值。
[0084]
双模式切换的深度估计，既可以提供术中解剖结构的实时点云，辅助医生直观理解术中三维结构，还可以基于单帧过拟合实现医生指定的双目内窥镜图像帧的高精度重构，为后续处理提供基础，使得在应用中兼顾速度与精度。
[0085]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0086]
实施例：
[0087]
如图1所示，本发明实施例提供了一种面向微创术中辅助决策的体内三维信息测量系统，包括：
[0088]
建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；
[0089]
接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；
[0090]
测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。
[0091]
本发明实施例提出通过精准重建的数字化模型获取手术部位的三维信息，经计算提供医生感兴趣区域的体内手术部位的真实长度、面积、体积等，辅助医生在术中更精准决策，有效避免手术意外、术中大出血等风险，保障手术安全性，有效提高手术医疗质量。
[0092]
接下来将详细介绍上述技术方案的各个组成模块：
[0093]
对于建模模块，其用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型。
[0094]
示例性的，本模块采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：
[0095][0096][0097]
z＝d
[0098]
其中，d为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；c
x
,cy,f
x
,fy为双目相机中左目或者右目内窥镜的内参(使用双目腔镜左目或者右内窥镜的内参是因为双目内窥镜中两个内窥镜的内参不同，而此处的目标是得到一个内窥镜坐标系下的点云即可，无论是使用左目腔镜还是右目腔镜的参数获取点云都可行，例如可以使用左目腔镜参数获取点云)；
[0099]
将所述指定的双目内窥镜图像帧转换成术中组织点云模型v
in
＝{v
in,a
|a＝1,2,
…
n1}，v
in,a
表示第a个像素点的空间坐标，模型共有n1个像素点。
[0100]
对于接收模块，其用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注。
[0101]
对于测量模块，其用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。
[0102]
不难看出的是，本发明实施例提出基于点云数据的高精度测量算法，分别通过曲线划分、像素块面积累加、体积切分等方法，获得精准的长度、面积以及体积等多方面测量信息，从而帮助医生基于数据和患者个体化情况可以做出准确决策，确定最合适的术中操作。
[0103]
具体的：
[0104]
(一)、所述三维信息为长度时：
[0105]
(1)线段长度
[0106]
接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；
[0107]
所述测量模块，用于：
[0108]
连接标注的两点并在连接线上均匀取样，得到n个采样点；
[0109]
对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标(深度估计无法估计像素坐标不为整数点的深度信息)；
[0110]
特别的，所述双线性插值操作具体是指：
[0111]
定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为
[0112]
选取其最近四个整数像素点选取其最近四个整数像素点根据所述术中组织点云模型v
in
，获取其对应的深度值分别为，获取其对应的深度值分别为
[0113]
执行如下操作，获取像素坐标不为整数的采样点对应的深度值
[0114][0115]
同理，获取像素坐标不为整数的采样点在相机坐标系下的和
[0116]
将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度
[0117][0118]
其中，表示两点及其连接线上所有采样点在相机坐标下的空间坐标集合；相机坐标下的空间坐标集合；分别表示线段line上的第a、a-1个点在相机坐标下的空间坐标。
[0119]
或(2)曲线段长度
[0120]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；
[0121]
所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；
[0122]
根据所述曲线段在相机坐标下的空间坐标集合，通过将空间曲线段理想化切分为曲线段上点之间的线段，获取二维的曲线段投射到三维空间的真实长度
[0123][0124]
其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a-1个像素点在相机坐标下的空间坐标空间坐标。
[0125]
(二)、所述三维信息为面积时：
[0126]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标
注的闭合曲线；
[0127]
所述测量模块，用于：
[0128]
根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；
[0129]
如图2所示，获取单个像素块在相机坐标下的真实面积(假设任一像素块在物理成像面投影面积均相等)：
[0130]
如图3所示，在图像像素坐标系下，沿x轴方向相邻两点
△
x
pixel
与沿y轴方向相邻两点
△ypixel
，获取像素块在物理成像平面上的投影面积s
pixel
′
；
[0131]spixel
′
＝
△
x
pixel
*
△ypixel
[0132]
根据投影面积s
pixel
′
，获取像素块在相机坐标系下的真实面积
[0133][0134][0135]
其中，如图4所示，像素块的两条对角线叉乘求得其法向量f
pixel
表示垂直于物理成像平面的向量；cosθi表示与s
pixel
′
的夹角θi的余弦值；
[0136]
累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积s
pixel
；
[0137][0138]
(三)、所述三维信息为体积时：
[0139]
以手术中切除场景为例，医生在内窥镜图像上圈取封闭的待切除区域，以待切除区域周围组织为底(即切割平面)，待切除区域的表面为顶部，构建封闭三维模型。具体而言：
[0140]
所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域；
[0141]
所述测量模块，用于：
[0142]
采用delaunay法对待切除区域的表面的离散点云进行三角形剖分，将三维空间坐标投影至切割平面上，按照构网规则获取平面的不规则三角网，从而形成具有空间立体的三角网模型；
[0143]
在得到切除区域空间三角形后,分别求出单个三角形的三个顶点距离切割面投影点长度的平均值，并作为三棱柱的高,获取对应三棱柱的体积；
[0144]
对所有三棱锥体积求和，获取所述待切除区域的真实体积。
[0145]
以图5为例，面abcd为待切除区域的表面，将其投影到切除平面上得到面a0b0c0d0，组成不规则四棱柱abcd-a0b0c0d0。
[0146]
假设顶点a的坐标为(x1,y1,z1),顶点b的坐标为(x2,y2,z2),顶点c的坐标为(x3,y3,z3),顶点d的坐标为(x4,y4,z4),顶点a0的坐标为(x1′
,y1′
,z1′
),顶点b0的坐标为(x2′
,y2′
,z2′
),顶点c0的坐标为(x
′3,y3′
,z3′
),顶点d0的坐标为(x
′4,y4′
,z4′
)。
[0147]
利用海伦公式计算出
△
a0b0d0和
△
c0b0d0的面积。以
△
a0b0d0面积计算为例，先计算
△
a0b0d0的3个边长a0b0、a0d0、b0d0,分别为:
[0148][0149][0150][0151]
根据边长可计算
△
a0b0d0的周长为:
[0152][0153]
根据海伦公式计算得出
△
a0b0d0的面积为:
[0154][0155]
同理,可得出
△
c0b0d0的面积。
[0156]
再取aa0、bb0、cc0为a、b、d三点高程，取平均值：
[0157][0158]
则三棱柱abd-a0b0d0的体积为:
[0159][0160]
同理,三棱柱cbd-c0b0d0的体积为volume2。
[0161]
由此得出四棱柱abcd-a1b1c1d1的体积，并作为待切除区域的真实体积：
[0162]
volume＝volume1+volume2。
[0163]
本发明实施在术中根据待切除区域体积测量结果，对标术前ct、mr等影像检查结果，准确判断所观测病灶是否为待切除病灶，辅助切除操作，避免出现误差，做到精准切除,使手术更加精准、更加安全。
[0164]
此外，针对体内柔性动态环境的特性，在体内环境特征不明显、镜面区域等特性影响下，本发明实施例利用术中影像可以精准估计深度信息，保证了在复杂多变的环境下对三维测量信息计算的准确性。
[0165]
正如上文所言，所述建模模块采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；
[0166]
在实时重建模式下，所述建模模块具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：
[0167]
提取单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0168]
融合单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融
合，获取当前帧图像中每个像素点的视差；
[0169]
转化单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0170]
第一估计单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0171]
该种深度估计方案利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
[0172]
所述双目深度估计网络的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
[0173]
如图6中b部分所示，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：
[0174]
s100、随机选取偶数对双目图像{e1,e2,
…
,e
2k
}，并平均切分为支持集和查询集和中的图像随机配对形成k个任务
[0175]
s200、内循环训练：根据中的支持集图像计算损失进行一次参数更新；
[0176][0177]
其中，表示内循环更新后的网络参数；表示求导，α为内循环的学习率，为第k个任务的支持集图像，是根据模型初始参数φm计算出的损失；f表示双目深度估计网络；
[0178]
s300、外循环训练：根据中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φm为φ
m+1
；
[0179][0180]
其中，β为外循环的学习率；是第k个任务的查询集图像，为元学习损失。
[0181]
以下是对于所述建模模块包括的各个单元的详细说明：
[0182]
对于提取单元，如图6中a部分所示，其获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征。
[0183]
示例性的，本单元中双目深度估计网络的编码器采用resnet18网络，用于对当前帧图像(左目和右目)分别提取5个尺度的特征图。
[0184]
对于融合单元，如图6中a部分所示，其采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；具体包括：
[0185]
采用所述解码器网络将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼
接，再次经过卷积块进行特征融合，其中结合反射填充层(reflection padding)、卷积层、非线性激活单元elu构建所述卷积块；
[0186]
根据网络分辨率最高的输出直接计算视差：
[0187]
d＝k
·
(sigmoid(conv(y))-th)
[0188]
其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，y是分辨率最高的输出；th表示与双目内窥镜的类型有关的参数，当内窥镜图像存在负视差时取0.5，当内窥镜图像均为正视差时取0；conv是卷积层；sigmoid进行范围归一化。
[0189]
对于转化单元，其根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出
[0190]
本单元中将视差转化为深度是指：
[0191][0192]
其中，c
x1
、分别为双目内窥镜中左目和右目内窥镜与相机内参矩阵中对应的参数；如果f
x
取左目相机对应内参时，则d取左目像素点的视差估计值，此时d为左目像素点深度估计值；如果f
x
取右目相机对应内参则d取右目像素点的视差估计值，此时d为右目像素点深度估计值；b为基线长度，即双目相机外参。
[0193]
对于第一估计模块，如图6中b部分所示，其在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0194]
不难理解的是，本发明实施例中所提及的“外部真值”即为标签(或者称为“监督信息”)，此乃本领域内公知表述。
[0195]
本单元中，如图6中b部分所示，所述自监督损失表示为：
[0196][0197]
其中，l
self
表示自监督损失；α1、α2、α3、α4均为超参数，l对应左图，r对应右图。
[0198]
因为双目观察到的是同一个场景，所以左右深度图上对应像素点，变换到同一坐标系下的值应该相等，引入和
[0199]
(1)表示左图的几何一致性损失：
[0200][0201]
其中，p1表示第一有效像素点集合(即右目有效像素点)；表示有效像素点p由右目深度图，经过相机位姿变换后获得的左目深度，d
l
′
(p)表示有效像素点p利用预测的右图视差disr，在左目深度图上采样获得的左目深度。
[0202]
(2)表示右图的几何一致性损失：
[0203][0204]
其中，p2表示第二有效像素点集合(即左目有效像素点)；表示有效像素点p由左目深度图，经过相机位姿变换后获得的右目深度，dr′
(p)表示有效像素点p利用预测的左图视差dis
l
，在右目深度图上采样获得的右目深度。
[0205]
通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
[0206]
假设内窥镜手术中亮度恒定和空间平滑，利用左右目图片间的重投影可以实现另一目的重构，同时增加了结构相似度损失，对两幅图像的亮度、对比度和结构进行了归一化和比较，引入和
[0207]
(3)表示左图的光度损失：
[0208][0209]
其中，i
l
(p)表示左图，i
l
′
(p)表示利用右图与预测的左图视差dis
l
(p)生成的左目内窥镜重构图像，λi和λs为平衡参数，ssim
ll
′
(p)表示i
l
(p)与i
l
′
(p)的图像结构相似度；
[0210]
(4)表示右图的光度损失：
[0211][0212]
其中，ir(p)表示右图，i
′r(p)表示利用左图与预测的右图视差disr(p)生成的右目内窥镜重构图像，ssim
rr
′
(p)表示ir(p)与i
′r(p)的图像结构相似度。
[0213]
在低纹理和单一颜色的组织区域，采用平滑先验辅助推理并且对深度进行正则化，引入和
[0214]
(5)表示左图的平滑损失：
[0215][0216]
其中，表示归一化的左目深度图，和表示沿着图像水平与垂直方向的一阶导数；
[0217]
(6)表示右图的平滑损失：
[0218][0219]
其中，表示归一化的右目深度图，和表示沿着图像水平与垂直方向的
一阶导数。
[0220]
特别的，所述第一有效像素点集合p1和第二有效像素点集合p2的获取过程如下：
[0221]
定义当前双目深度估计网络预测的左目视差值为右目视差值为则左目和右目交叉验证掩码的公式化表达如下：
[0222][0223][0224]
其中，分别用于判断左右目图像中(i,j)位置的像素是否在立体匹配范围内；i取值范围为[1,w]间所有整数；j取值范围为[1,h]间所有整数；w表示图像宽度，h表示图像高度；
[0225]
令c取l或r，当时，表示当前计算方法下(i,j)位置的像素在立体匹配范围内，否则不在立体匹配范围内；
[0226]
利用针孔相机模型、双目位姿变换与预测深度进行投影，获取基于3d点的有效区域掩码取0或1，当时，表示当前计算方法下(i,j)位置的像素在立体匹配范围内，否则不在立体匹配范围内；
[0227]
获取最终的有效区域掩码
[0228][0229]
若像素点p满足当c取r则获取第一有效像素点集合p1，当c取l则获取第二有效像素点集合p2。
[0230]
在校正后的立体图像中，由于视角偏移引起的额外区域，无法找到匹配的像素。然而，本发明实施例考虑到体内组织的低纹理和光照不均匀会导致局部特征更加不明显，这些无效区域内的像素往往会在邻近区域中找到相似的像素。因此如上文所言，本发明实施例提出了基于交叉验证双目有效区域识别算法，排除了无效区域像素的自监督损失对网络学习的误导，提升了深度估计的精度。
[0231]
此外，为避免在纯纹理或低光照场景的深度估计鲁棒性不足，还引入
[0232]
(7)表示稀疏光流损失：
[0233][0234]
其中，dis
l
(p)表示预测的左目视差图，of
l
(p)表示左目稀疏视差图，disr(p)表示预测的右目视差图，ofr(p)表示右目稀疏视差图；p3表示左目稀疏视差图of
l
(p)中的第三有效像素集合；p4表示右目稀疏视差图ofr(p)中的第四有效像素集合；γ1和γ2为平衡参数，均为非负数且不同时取0。
[0235]
特别的，所述第三有效像素点集合p3和第四有效像素点集合p4的获取过程如下：
[0236]
利用lk(lucas-kanade)光流求解算法，在行列方向每隔n个像素计算稀疏光流(δx,δy)，其中δx表示像素点水平方向的偏移量，δy表示像素点垂直方向的偏移量；
[0237]
当求解左图到右图的光流时，仅当且δx》thred1，保留该像素位置的视差为δx，其中kt与thred1为相应的预设阈值，不满足上述条件或不计算稀疏光流位置的视差置0，以获取最终的稀疏视差图of
l
(p)，of
l
(p)≠0的像素点构成第三有效像素点集合p3；
[0238]
当求解右图到左图的光流时，仅当且δx《thred2，保留该像素位置的视差为δx，其中thred2为相应的预设阈值，不满足上述条件或不计算稀疏光流位置的视差置0，以获取最终的稀疏视差图ofr(p)，ofr(p)≠0的像素点构成第四有效像素点集合p4。
[0239]
正如上文所言本发明实施例引入传统lucas-kanade光流推导双目图像之间的稀疏视差，给予网络合理的学习方向，提高快速学习能力并降低陷入局部最优的概率。
[0240]
特别强调的是，除了实时重建模式以外，本发明实施例中所述建模模块采用的在线自监督学习深度估计方法还设置了精准测量模式。如图6中b部分所示，在精准测量模式下，所述建模模块具体用于对关键影像视频帧进行过拟合，包括：
[0241]
第二估计单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。
[0242]
值得注意的是，精准测量模式下的深度估计网络、自监督损失函数、有效区域掩码计算、元学习预训练方式等技术细节均与实时重建模式中拓展的技术细节保持一致，此处不再赘述。
[0243]
综上所述，与现有技术相比，具备以下有益效果：
[0244]
1、接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量，减少了手术的创伤。
[0245]
2、本发明实施例提出通过精准重建的数字化模型获取手术部位的三维信息，经计算提供医生感兴趣区域的体内手术部位的真实长度、面积、体积等，辅助医生在术中更精准决策，有效避免手术意外、术中大出血等风险，保障手术安全性，有效提高手术医疗质量。
[0246]
3、本发明实施例介绍了一种基于双目内窥镜的在线自监督学习深度估计方法，其有益效果至少包括：
[0247]
3.1切换的深度估计，既可以提供术中解剖结构的实时点云，辅助医生直观理解术中三维结构，还可以基于单帧过拟合实现医生手选关键帧的高精度重构，为后续测量提供基础，使得在应用中兼顾速度与精度。
[0248]
3.2利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
[0249]
3.3、网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络
学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
[0250]
3.4、通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
[0251]
3.5、将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
[0252]
3.6、基于交叉验证双目有效区域识别算法，排除了无效区域像素的自监督损失对网络学习的误导，提升了深度估计的精度。
[0253]
3.7、引入传统lucas-kanade光流推导双目图像之间的稀疏视差，给予网络合理的学习方向，提高快速学习能力并降低陷入局部最优的概率。
[0254]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0255]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种面向微创术中辅助决策的体内三维信息测量系统，其特征在于，包括：建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。2.如权利要求1所述的体内三维信息测量系统，其特征在于，所述建模模块用于：采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：型计算像素点在相机坐标系下的空间坐标，其公式为：z＝d其中，d为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；c
x
,c
y
,f
x
,f
y
为双目内窥镜中左目或者右目内窥镜与相机内参矩阵中对应的参数；将所述指定的双目内窥镜图像帧转换成术中组织点云模型v
in
＝{v
in，a
|a＝1，2，
…
n1}，v
in，a
表示第a个像素点的空间坐标，模型共有n1个像素点。3.如权利要求1所述的体内三维信息测量系统，其特征在于，所述三维信息为长度时：(1)线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；所述测量模块，用于：连接标注的两点并在连接线上均匀取样，得到n个采样点；对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度度其中，表示两点及其连接线上所有采样点在相机
坐标下的空间坐标集合；坐标下的空间坐标集合；分别表示线段line上的第a、a-1个点在相机坐标下的空间坐标；或(2)曲线段长度所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度真实长度其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a-1个像素点在相机坐标下的空间坐标空间坐标。4.如权利要求3所述的体内三维信息测量系统，其特征在于，所述双线性插值操作，具体是指：定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为选取其最近四个整数像素点选取其最近四个整数像素点根据所述术中组织点云模型v
in
，获取其对应的深度值分别为，获取其对应的深度值分别为执行如下操作，获取像素坐标不为整数的采样点对应的深度值
同理，获取像素坐标不为整数的采样点在相机坐标系下的和5.如权利要求1所述的体内三维信息测量系统，其特征在于，所述三维信息为面积时：所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；所述测量模块，用于：根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；获取单个像素块在相机坐标下的真实面积：在图像像素坐标系下，沿x轴方向相邻两点
△
x
pixel
与沿y轴方向相邻两点
△
y
pixel
，获取像素块在物理成像平面上的投影面积s
pixel
′
；s
pixel
′
＝δx
pixel
*δy
pixel
根据投影面积s
pixel
′
，获取像素块在相机坐标系下的真实面积，获取像素块在相机坐标系下的真实面积，获取像素块在相机坐标系下的真实面积其中，像素块的两条对角线叉乘求得其法向量f
pixel
表示垂直于物理成像平面的向量；cosθ
o
表示与s
pixel
′
的夹角θ
i
的余弦值；累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积s
pixrl
；6.如权利要求1所述的体内三维信息测量系统，其特征在于，所述三维信息为体积时：所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的
待切除区域；所述测量模块，用于：采用delaunay法对待切除区域的表面的离散点云进行三角形剖分，将三维空间坐标投影至切割平面上，按照构网规则获取平面的不规则三角网，从而形成具有空间立体的三角网模型；在得到切除区域空间三角形后,分别求出单个三角形的三个顶点距离切割面投影点长度的平均值，并作为三棱柱的高,获取对应三棱柱的体积；对所有三棱锥体积求和，获取所述待切除区域的真实体积。7.如权利要求1～6任一项所述的体内三维信息测量系统，其特征在于，所述建模模块采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；在实时重建模式下，所述建模模块具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：提取单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；融合单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；转化单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；第一估计单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。8.如权利要求7所述的体内三维信息测量系统，其特征在于，在精准测量模式下，所述建模模块具体用于对关键影像视频帧进行过拟合，包括：第二估计单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。

技术总结
本发明提供一种面向微创术中辅助决策的体内三维信息测量系统，涉及微创手术技术领域。本发明中接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量；提出通过精准重建的数字化模型获取手术部位的三维信息，经计算提供手术部位的真实长度、面积和体积，辅助医生在术中更精准决策，有效避免手术意外、术中大出血等风险，保障手术安全性，有效提高手术医疗质量。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而保证在复杂多变的环境下计算三维测量信息的准确性。性。性。


技术研发人员：杨善林 李霄剑 曲仪 莫杭杰 李玲 欧阳波 屈炎伟 张林
受保护的技术使用者：合肥工业大学
技术研发日：2023.04.14
技术公布日：2023/7/21