联合单目稠密SLAM与残差网络的肠壁重建方法

联合单目稠密slam与残差网络的肠壁重建方法
技术领域
1.本发明属于肠道内窥镜图像处理技术领域，尤其是一种联合单目稠密slam与残差网络的肠壁重建方法。


背景技术：

2.三维重建是计算机视觉技术中的一个重要分支，被广泛应用于检测和观察中。三维重建是将现实中的三维物体通过确定其相应的数学模型在计算机中显示出来，并可进行相应处理，完成其性质的分析等基本过程。肠壁重建主要是针对单目肠道内窥镜图像来进行肠道内壁三维重建过程。
3.三维重建作为当今社会的一项核心技术，可作用于一类具有共性的实际问题，应用场景十分广泛，包括医学图像处理、自动驾驶、文物修复等相关场景。例如，在医学图像处理中，三维重建利用医学成像设备获取的二维图像构建组织或者器官的三维几何模型进而提供更加清晰准确的病灶体现；在自动驾驶中，轻量级三维几何深度生成模型，可用于实时、在线的室外场景导航、建图和语义理解、生成、预测及臆想；在当今的文化遗产数字化保护领域，利用三维数字化扫描重建和虚拟现实技术已经成为主要的手段。
4.图像三维重建可分为传统处理方法和深度学习方法。传统处理图像的三维重建方法主要有：(1)基于光流的三维重建技术，先提取图像序列中运动物体或场景表面的图像特征，如图像中的角点、直线、曲线等、然后对提取的特征跟踪、匹配并计算出其对应的图像坐标变化，从而根据特征光流与三维运动和空间结构的投影关系重建三维运动与结构。由于只是采用图像序列中感兴趣的图像特征对物体或场景进行描述，基于光流的三维重建技术能够克服亮度突变现象对重建结果的影响。当图像序列中存在运动遮挡情况时，光流估计在遮挡区域会有较大误差。(2)基于明暗恢复法是计算机视觉领域从图像恢复三维形状的的经典算法，其利用单幅图像优化迭代进行三维形状重建，但是只能重建反照率一致的图像，且只对无投射阴影的图像有效。(3)基于光度立体技术(pms)是基于非平面表面的多幅辐照度图像对物体表面形状进行重建，pms扩展了sfs的约束条件，从3幅或者3幅以上的辐照度图像重建物体的三维结构，是基于图像的三维重建中较准确且可靠的技术。当空间三维场景被投影为二维图像时，同一景物在不同视点下的全图会有很大不同，而且场景中的诸多因数，如光照条件，景物几何形状和物理特性，噪声干扰和畸变以及摄像机特性等，都会对三维重建的效果产生很大的影响。
5.而对于使用内窥镜的三维重建方法，使用阴影形状或双目立体技术已被提出。然而，这些技术通常对处理的图像有着严格的假设。在一些技术上，需要专门的内窥镜，而且连接到镜头的单线激光扫描仪需要平行于目标，这限制了该技术的实用性。有研究人员使用sfs技术根据结肠表面的亮度重建了一小段肠壁，但当光源太靠近肠壁时，结果会变得不准确。有研究人员使用sfm方法从短帧序列中重建了一小部分3d肠内壁作为稀疏点。然而，sfm算法要求摄像机移动非常慢，不适合重建完整或大块的3d肠壁。
6.随着深度学习的发展，深度神经网络凭借其自动提取特征和强大的非线性映射能
力被广泛应用于各领域，成为了图像处理的重要手段。有研究人员训练了一个深度卷积神经网络，使用模拟结肠镜数据集和地面真实摄像机运动进行姿态估计。有研究人员使用从一个虚拟合成的数据集来训练深度估计的深度网络。有研究人员训练了一个条件生成对抗网络pix2pix，使用从分割结肠ct模型生成的合成数据进行结肠镜图像三维重建。有研究人员利用光学结肠镜(oc)的纹理信息和虚拟结肠镜(vc)的几何信息训练了一个cycle gan，用于两个模态之间的有损的未成对的图像的平移。有研究人员利用通过sfm获得的稀疏重建，开发了一种多视角立体重建方法，可以从短序列的内镜图像中生成一小段肠壁图像。上述所有方法都只能重建肠壁结构的单个框架或非常小的部分。
7.基于深度学习的三维重建继承了图像三维重建成本低、应用场景广泛的特点，与此同时，通过使用深度神经网络，可直接估计相机到物体的距离，相比传统的sfm，计算过程耗时少，且重建效果更优。但是基于深度学习的三维重建方法的一大弊端是规模受限：loss的优化需要很大的算力消耗、数据集的采集也存在限制，这使基于深度学习的三维重建很难应用到大分辨率的场景。
8.深度学习对于训练的数据集合硬件要求比较高，所以对于三维重建还有很有待提升。传统的三维重建方法需要较多的人力资源进行监督；且由于自身蠕动和胶囊内窥镜挤压，致使肠道内壁形状不定，现有三维重建方法面对多个形状修改与生成任务时，无法精确地识别对象形状地几何与拓扑结构差异；出现精细的几何细节时，由于无法实现全局性操作，三维重建的准确性不够高；由于无法输出各个部件的关系，对3d形状的结构编号进行建模的难度较高；最终重建的模型中可能会有孔洞、纹理混叠、由于体素分辨率限制丢失很多细节等。


技术实现要素：

9.本发明所要解决的技术问题是提供一种联合单目稠密slam与残差网络的肠壁重建方法，解决由于自身蠕动和胶囊内窥镜挤压，致使肠道内壁形状不定的问题，提高重建效果。
10.为解决上述问题，本发明采用的技术方案为：联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，包括
11.s1、对单目肠道内窥镜图像进行预处理；
12.s2、使用单目稠密slam算法tandem计算每个视角下的深度图像；
13.s3、通过c3dpo对图像序列进行形变分解，得到形变参数和姿态参数；
14.s4、根据形变参数和姿态参数对深度图像进行形变校正和缩放校正，得到校正后的深度图像；
15.s5、通过体积融合算法将不同视角下的深度图像融合，以构建三维肠壁图像；
16.其中，步骤s2和步骤s3并行进行。
17.进一步地，步骤s2包括：
18.s21、通过视觉里程计估计全局位姿；
19.s22、通过cva-mvsnet估计每一帧的稠密深度。
20.进一步地，步骤s21中，以稠密前端跟踪作为前端，粗略地提供相机的位姿估计，作为窗口优化后端的初始化；以直接法稀疏里程计作为后端，将一个稀疏深度图合并
一个稠密的深度图对于关键帧n中的每个像素p，对其赋予一个深度值，该深度值来自于直接法稀疏里程计中稀疏vo点深度图或者是来自于稠密深度图从而用接近稠密的组合深度图用于两帧图像的直接对齐。
21.进一步地，步骤s22包括：在cva-mvsnet中，将活动关键帧定义为其中ii是大小为(h，w)的图像，ti是视觉里程计中估计的全局位姿；
22.利用共享权重的2d u-net提取关键帧的多尺度深度特征其中i∈[1，n]是帧索引，s∈[1，3]是尺度索引；
[0023]
因此，的形状为(fs，hs，ws)，其中fs是尺度s的特征维度，hs＝h/2
3-s
，ws＝w/2
3-s
；
[0024]
参考坐标系的深度图分层用3个阶段进行估计，每个阶段以特征集为输入，并预测形状为(hs，ws)的参考深度图；
[0025]
对于每个阶段，使用深度特征构建代价体cs，对于参考系的每个像素，定义ds为深度假设，从而得到形状为(ds，hs，ws)的一个张量利用深度假设、相对姿态和相机内参，对各帧的深度特征进行可微弯曲；由此为每一帧构造一个形状为(fs，ds，hs，ws)的特征体移
[0026]
为了将来自多视图特征体的信息聚合到一个代价体cs中，平等地对待不同的视图，并使用基于方差的代价度量：
[0027][0028]
利用自适应的视觉集成来构造代价体：
[0029][0030]
其中，视角聚合权重的形状为(1，ds，hs，ws)且
⊙
是逐元素与广播相乘；通过浅层3d卷积网络分别为每个估计视角聚合权重其取作为输入；然后，使用3d u-net对代价体积cs进行正则化，并通过sonmax非线性以获得形状为(ds，hs，ws)的概率体积ps；给定形状为(ds，hs，ws)的帧的每个像素的假设深度估计深度由下式计算：
[0031][0032]
该网络利用从前一阶段估计的深度d
s-1
(s＞1)来定义细粒度深度假设张量由于第一阶段不存在先验阶段，的每个像素有着相同的深度范围[d
min
，d
max
]；对于之后的阶段(s＞1)，深度d
s-1
通过上采样，然后用作先验信息定义
[0033]
使用应用于三个阶段的相对于深度真值的l1损失的总和作为最终的损失函数并用于指导网络训练，即：
[0034][0035]
进一步地，步骤s3包括：
[0036]
采用正交相机投影方式，则该投影方式可表示为：
[0037]
ψ＝[i2，0]
[0038]
其中，i2∈r2×2为单位矩阵；
[0039]
设计线性模型对结构s进行约束，即有：
[0040][0041]
其中，αn为sn对应的视角参数，b表示形状基，d表示形状基的维度，表示克罗内克积；
[0042]
根据上式可得：
[0043]
s＝γb∈r
3d
×
p
[0044]
其中，γ∈r
3f
×
3d
，从而将问题转化为：
[0045][0046][0047]
其中，w∈r
2f
×
p
，r
oi
(i＝1，2，...，f表示第i帧输入图像对应的旋转矩阵；
[0048]
对于形状基b，采用iresnet结构f替代传统的因式分解，从而获得对应的重建形变参数θ和形变姿态参数α；
[0049]
损失函数采用：
[0050][0051]
其中，为pseudo-huber损失，∈＝0.01。
[0052]
本发明的有益效果是：1、本发明构建了双支线深度学习模型，支线一通过c3dpo对图像序列进行形变分解，得到形变参数和姿态参数，支线二使用单目稠密slam算法tandem计算每个视角下的深度图像，通过正则损失学习肠道内部形变特征并分解视点，很好地解决了由于自身蠕动和胶囊内窥镜挤压，致使肠道内壁形状不定的问题。
[0053]
2、为了预测稠密的深度图，提出了级联视图聚合网络cascade view-aggregation mvsnet(cva-mvsnet)，利用整个活动关键帧窗口，通过使用自适应视图聚合分层构建3d代价体素(cost volume)，以平衡关键帧之间的不同立体基线。最后，将预测的深度图融合成一个一致的全局图，用截断有符号距离函数(tsdf)体素网格表示，提高了肠壁三维重建的准确性。
附图说明
[0054]
图1是本发明的算法流程图；
[0055]
图2是本发明提供的tandem总体结构图；
[0056]
图3是本发明提供的cva-mvsnet总体结构图；
[0057]
图4是本发明提供的c3dpo结构图。
具体实施方式
[0058]
下面结合附图和实施例对本发明进一步说明。
[0059]
本发明的联合单目稠密slam与残差网络的肠壁重建方法，如图1所示，包括以下步骤：
[0060]
s1、对单目肠道内窥镜图像进行预处理，具体包括图像去畸变、裁剪、缩放等操作，使其适合于后续的处理。
[0061]
s2、使用单目稠密slam算法tandem计算每个视角下的深度图像。
[0062]
s3、通过c3dpo对图像序列进行形变分解，得到形变参数和姿态参数。
[0063]
s4、根据形变参数和姿态参数对深度图像进行形变校正和缩放校正，得到校正后的深度图像。
[0064]
s5、通过体积融合算法将不同视角下的深度图像融合，以构建三维肠壁图像。
[0065]
其中，步骤s2和步骤s3并行进行。
[0066]
步骤s2包括：
[0067]
s21、通过视觉里程计估计全局位姿。
[0068]
视觉里程计采用了稠密前端跟踪(dense front-end tracking)作为前端和直接法稀疏里程计(direct sparse odometry，dso)作为后端。前端粗略地提供了相机的位姿估计，作为窗口优化后端的初始化。在后端中，将一个稀疏深度图合并一个稠密的深度图对于关键帧n中的每个像素p，对其赋予一个深度值，这个深度值来自于直接法稀疏里程计(dso)中稀疏vo点深度图或者是来自与稠密深度图这样用接近稠密的组合深度图用于两帧图像的直接对齐。
[0069]
s22、通过cva-mvsnet估计每一帧的稠密深度。
[0070]
在cva-mvsnet中，将活动关键帧定义为其中ii是大小为(h，w)的图像，ti是视觉里程计中估计的全局位姿。
[0071]
首先利用共享权重的2d u-net提取关键帧的多尺度深度特征其中i∈[1，n]是帧索引，s∈[1，3]是尺度索引。因此，的形状为(fs，hs，ws)，其中fs是尺度s的特征维度，hs＝h/2
3-s
，ws＝w/2
3-s
。参考坐标系的深度图分层用3个阶段进行估计，每个阶段以特征集为输入，并预测形状为(hs，ws)的参考深度图。
[0072]
对于每个阶段，需要使用深度特征来构建一个代价体cs。对于参考系的每个像素，定义ds为深度假设，从而得到形状为(ds，hs，ws)的一个张量利用深度假设、相对姿态和相机内参，对各帧的深度特征进行可微弯曲。由此为每一帧构造一个形状为(fs，ds，hs，ws)的特征体积
[0073]
为了将来自多视图特征体的信息聚合到一个代价体cs中，平等地对待不同的视图，并使用基于方差的代价度量：
[0074][0075]
然而，在滑动窗口slam的设置中，关键帧并不是均匀地分布在优化窗口内，通常较新的关键帧之间的距离比旧关键帧之间的距离要小得多。这造成了相当大的遮挡和不重叠的图像。基于方差的代价体是不合理的，因为它公平地权衡了不同的图像。为了缓解这个问题，利用自适应的视觉集成来构造代价体：
[0076][0077]
其中，视角聚合权重的形状为(1，ds，hs，ws)且
⊙
是逐元素与广播相乘。通过浅
层3d卷积网络分别为每个估计视角聚合权重其取作为输入。该聚合模块允许网络自适应地降低错误信息的权重。然后，使用3d u-net对代价体积cs进行正则化，并最终通过softmax非线性以获得形状为(ds，hs，ws)的概率体积ps。给定形状为(ds，hs，ws)的帧的每个像素的假设深度估计深度由下式计算：
[0078][0079]
该网络利用从前一阶段估计的深度d
s-1
(s＞1)来定义细粒度深度假设张量由于第一阶段不存在先验阶段，的每个像素有着相同的深度范围[d
min
，d
max
]。对于之后的阶段(s＞1)，深度d
s-1
通过上采样，然后用作先验信息去定义具体来说，对于像素位置(h，w)，使用上采样的d
s-1
(h，w)定义为中心，然后使用预定义的偏移量在其周围采样ds个值。这样对于具有更高分辨率的阶段，能减少需要的深度平面数量，即d1≥d2≥d3。本发明使用应用于三个阶段的相对于深度真值的l1损失的总和作为最终的损失函数用于指导网络训练，即：
[0080][0081]
步骤s3包括：
[0082]
常规的sfm问题，主要是从输入二维关键点的观测矩阵w_n＝(w_n1，w_n2，...，w_np)∈r^(2
×
p)获取对应的三维姿态坐标s＝(s_1，s_2，，...，s_p)∈r^(3
×
p)。其中，w_n表示在第n帧时p个特征点对应的二维坐标。将共有f帧的序列视为一个整体，整个问题可转化为：
[0083]
w＝ros
[0084]
w＝(w1，w2，...，wf)
t
∈r
2f
×
p
[0085]ro
＝(ψr1，ψr2，...，ψrf)
t
∈r
2f
×3[0086]
其中，ψ：r3→
r2为相机投影方式。rn为对应第n帧中的旋转。
[0087]
本发明选择正交相机投影方式，则该投影方式可表示为：
[0088]
ψ＝[i2，0]
[0089]
其中，f2∈r2×2为单位矩阵。
[0090]
本发明基于sfm问题推广的nrsfm构建，因此设计线性模型对结构s进行约束，即有：
[0091][0092]
其中，αn为sn对应的视角参数，b表示形状基，d表示形状基的维度。表示克罗内克积(kronecker products)。
[0093]
由上式可得：
[0094]
s＝γb∈r
3d
×
p
[0095]
其中，γ∈r
3f
×
3d
。
[0096]
因此，本方案问题可转化为：
[0097]
[0098][0099]
其中，w∈r
2f
×
p
，r
oi
(i＝1，2，...，f表示第i帧输入图像对应的旋转矩阵。
[0100]
对于形状基b，本发明采用iresnet结构f替代传统的因式分解，从而获得对应的重建形变参数θ和形变姿态参数α。
[0101]
损失函数的设计上，本发明拟选择与c3dpo相似设计，由此构建损失函数为：
[0102][0103]
其中，为pseudo-huber损失，∈＝0.01。
[0104]
本发明构建了双支线深度学习模型，支线一通过c3dpo对图像序列进行形变分解，得到形变参数和姿态参数，支线二使用单目稠密slam算法tandem计算每个视角下的深度图像，通过正则损失学习肠道内部形变特征并分解视点，很好地解决了由于自身蠕动和胶囊内窥镜挤压，致使肠道内壁形状不定的问题。
[0105]
为了预测稠密的深度图，提出了级联视图聚合网络cascade view-aggregation mvsnet(cva-mvsnet)，利用整个活动关键帧窗口，通过使用自适应视图聚合分层构建3d代价体素(cost volume)，以平衡关键帧之间的不同立体基线。最后，将预测的深度图融合成一个一致的全局图，用截断有符号距离函数(tsdf)体素网格表示，提高了肠壁三维重建的准确性。
[0106]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，包括s1、对单目肠道内窥镜图像进行预处理；s2、使用单目稠密slam算法tandem计算每个视角下的深度图像；s3、通过c3dpo对图像序列进行形变分解，得到形变参数和姿态参数；s4、根据形变参数和姿态参数对深度图像进行形变校正和缩放校正，得到校正后的深度图像；s5、通过体积融合算法将不同视角下的深度图像融合，以构建三维肠壁图像；其中，步骤s2和步骤s3并行进行。2.如权利要求1所述的联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，步骤s2包括：s21、通过视觉里程计估计全局位姿；s22、通过cva-mvsnet估计每一帧的稠密深度。3.如权利要求2所述的联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，步骤s21中，以稠密前端跟踪作为前端，粗略地提供相机的位姿估计，作为窗口优化后端的初始化；以直接法稀疏里程计作为后端，将一个稀疏深度图合并一个稠密的深度图对于关键帧n中的每个像素p，对其赋予一个深度值，该深度值来自于直接法稀疏里程计中稀疏vo点深度图或者是来自于稠密深度图从而用接近稠密的组合深度图用于两帧图像的直接对齐。4.如权利要求3所述的联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，步骤s22包括：在cva-mvsnet中，将活动关键帧定义为其中i
i
是大小为(h，w)的图像，t
i
是视觉里程计中估计的全局位姿；利用共享权重的2d u-net提取关键帧的多尺度深度特征其中i∈[1，n]是帧索引，s∈[1，3]是尺度索引；因此，的形状为(f
s
，h
s
，w
s
)，其中f
s
是尺度s的特征维度，h
s
＝h/2
3-s
，w
s
＝w/2
3-s
；参考坐标系的深度图分层用3个阶段进行估计，每个阶段以特征集为输入，并预测形状为(h
s
，w
s
)的参考深度图；对于每个阶段，使用深度特征构建代价体c
s
，对于参考系的每个像素，定义d
s
为深度假设，从而得到形状为(d
s
，h
s
，w
s
)的一个张量利用深度假设、相对姿态和相机内参，对各帧的深度特征进行可微弯曲；由此为每一帧构造一个形状为(f
s
，d
s
，h
s
，w
s
)的特征体积为了将来自多视图特征体的信息聚合到一个代价体c
s
中，平等地对待不同的视图，并使用基于方差的代价度量：利用自适应的视觉集成来构造代价体：
其中，视角聚合权重的形状为(1，d
s
，h
s
，w
s
)且
⊙
是逐元素与广播相乘；通过浅层3d卷积网络分别为每个估计视角聚合权重其取作为输入；然后，使用3d u-net对代价体积c
s
进行正则化，并通过softmax非线性以获得形状为(d
s
，h
s
，w
s
)的概率体积p
s
；给定形状为(d
s
，h
s
，w
s
)的帧的每个像素的假设深度估计深度由下式计算：该网络利用从前一阶段估计的深度d
s-1
(s＞1)来定义细粒度深度假设张量由于第一阶段不存在先验阶段，的每个像素有着相同的深度范围[d
min
，d
max
]；对于之后的阶段(s＞1)，深度d
s-1
通过上采样，然后用作先验信息定义使用应用于三个阶段的相对于深度真值的l1损失的总和作为最终的损失函数并用于指导网络训练，即：5.如权利要求1、2、3或4所述的联合单目稠密slam与残差网络的肠壁重建方法，其特征在于，步骤s3包括：采用正交相机投影方式，则该投影方式可表示为：ψ＝[i2，0]其中，i2∈r2×2为单位矩阵；设计线性模型对结构s进行约束，即有：s
n
＝γ
n
b，α
n
∈r
d
，b∈r
3d
×
p
其中，α
n
为s
n
对应的视角参数，b表示形状基，d表示形状基的维度，表示克罗内克积；根据上式可得：s＝γb∈r
3d
×
p
其中，γ∈r
3f
×
3d
，从而将问题转化为：，从而将问题转化为：其中，w∈r
2f
×
p
，r
oi
(i＝1，2，...，f表示第i帧输入图像对应的旋转矩阵；对于形状基b，采用iresnet结构f替代传统的因式分解，从而获得对应的重建形变参数θ和形变姿态参数α；损失函数采用：其中，为pseudo-huber损失，∈＝0.01。

技术总结
本发明涉及联合单目稠密SLAM与残差网络的肠壁重建方法，包括：S1、对单目肠道内窥镜图像进行预处理，具体包括图像去畸变、裁剪、缩放等操作，使其适合于后续的处理。S2、使用单目稠密SLAM算法TANDEM计算每个视角下的深度图像。S3、通过C3DPO对图像序列进行形变分解，得到形变参数和姿态参数。S4、根据形变参数和姿态参数对深度图像进行形变校正和缩放校正，得到校正后的深度图像。S5、通过体积融合算法将不同视角下的深度图像融合，以构建三维肠壁图像。其中，步骤S2和步骤S3并行进行。本发明解决了由于自身蠕动和胶囊内窥镜挤压，致使肠道内壁形状不定的问题，且提高肠壁三维重建的准确性。性。性。


技术研发人员：蒋鑫 丁一洲 陈智超 夏清玲 肖汉光
受保护的技术使用者：重庆理工大学
技术研发日：2023.04.28
技术公布日：2023/7/20