基于三维重建与多模态医学图像配准的超声穿刺导航系统的制作方法

1.本发明涉及医学图像处理技术领域，具体涉及一种基于三维重建与多模态医学图像配准的超声穿刺导航系统。


背景技术：

2.癌症是严重威胁人类生命健康的重要疾病之一，早发现，早诊断，早治疗，可提高癌症的治疗效果，所以癌症的前期诊断就显的尤为重要。随着中国经济的高速发展，生活水平不断提高，中国前列腺癌的发病率呈上升趋势，成为影响中国中老年男性健康的重要癌症之一。
3.目前确诊前列腺癌的最有效的手段就是穿刺活检。其原理是将穿刺针刺入待检测的器官，提取待检测器官不同部位的组织，然后对这些组织进行观察化验，以确定是否有癌变及癌变的程度。如何将穿刺针精准地刺入待检测器官，减少穿刺耗时，避免用时过长引发并发症成为临床技术的重点与难点。


技术实现要素：

4.本发明的目的是针对如何精准穿刺的问题，提出一种基于三维重建与多模态医学图像配准的超声穿刺导航系统。
5.本发明的技术方案是：一种基于三维重建与多模态医学图像配准的超声穿刺导航系统，该系统包括：术前规划模块：接收人体mri序列图像，分割出前列腺区域并且重建生成三维模型；在所述前列腺区域的中间帧图像上构建若干个系统穿刺点，向前后帧延伸构建各系统穿刺点对应的椭球的系统穿刺体；超声数据获取及定位模块：接收人体超声序列图像，提取每帧超声序列图像四个顶点在电磁坐标系下的坐标；配准模块：使用icp迭代算法对超声数据和mri三维模型进行配准，将超声数据的坐标系由电磁坐标系换算到mri坐标系；穿刺导航模块：接收超声图像，获取与当前超声平面相切的系统穿刺体，基于系统穿刺体在超声图像平面y方向投影的物理距离匹配最近的进针孔，进行穿刺导航。
6.进一步地，所述术前规划模块中，系统穿刺体的构建步骤如下：对于分割出前列腺区域的mri图像，提取中间帧图像并且均匀地选取若干个系统穿刺点，坐标为；n表示系统穿刺点总数，i表示系统穿刺点序号，xiyi分别表示序号为i的系统穿刺点在x方向的像素坐标值和y方向的像素坐标值，z为前列腺区域的中间帧对应的z方向的像素坐标值；设定系统穿刺体的总帧数n作为椭球穿刺体在z轴方向上的长度；在前列腺区域的中间帧以各系统穿刺点坐标为圆心，半径为r构建圆形，接着在中
间帧前后各n/2帧分别以rj为半径，为圆心，构建圆形；j为穿刺体帧数的索引，，为第j帧的第i个圆心点，zj为系统穿刺体第j帧的z方向坐标值，rj从中间帧向前后帧依次减小；前列腺中间帧上各系统穿刺点构建的圆形以及对应穿刺点前后各n/2帧上构建的圆形分别形成对应系统穿刺点的椭球的系统穿刺体；若某一帧构建的圆形超出当前帧的前列腺轮廓，则取两者的交集构建系统穿刺体。
7.进一步地，半径rj采用下述公式计算：；其中：rj为第j帧构建的圆形的半径，abs（）表示绝对值，r为中间帧上系统穿刺点构建圆形的半径。
8.进一步地，所述的穿刺点为12个，避免尿道同时能够均匀覆盖整个前列腺区域。
9.进一步地，总帧数n采用下述公式获取：；其中：［］表示取整，length表示待穿刺腺体在z方向的长度， pixelspacingz表示mri数据在z方向的点间距。
10.进一步地，所述穿刺导航模块执行以下步骤：接收超声图像，获取当前超声平面四个顶点的坐标，判断当前超声平面与各系统穿刺体是否相切；若当前超声平面与系统穿刺体相切，则计算系统穿刺体中间帧穿刺点到超声图像平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与该系统穿刺体距离最近的进针孔；遍历所有系统穿刺体后，记录与当前超声平面相切的所有系统穿刺体对应的进针孔号。
11.进一步地，判断当前超声平面与各系统穿刺体是否相切的步骤包括：计算当前超声平面的法向量vec=（p
1-p0）
×
（p
2-p0）；其中：p0表示超声平面左上顶点坐标，p1表示超声平面右上顶点坐标，p2表示超声平面左下顶点坐标；计算各系统穿刺体上所有像素点p（x，y，z）到超声平面的距离dis，，若距离dis小于设定阈值一，则判断该像素点在超声平面上；若任一系统穿刺体有大于预设数量m的像素点在超声平面内，则判断当前超声平面与该系统穿刺体相切。
12.进一步地，该系统还执行靶向穿刺导航；术前规划模块：接收操作者标记的疑似病灶区域，计算各疑似病灶区域的重心坐标作为靶向穿刺点；
穿刺导航模块：判断靶向穿刺点是否在当前超声平面上，如果靶向穿刺点在超声平面内，则计算该靶向穿刺点在超声平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与靶向穿刺点距离最近的进针孔；循环遍历所有靶向穿刺点，记录在当前超声平面上的所有靶向穿刺点对应的进针孔号。
13.进一步地，判断靶向穿刺点是否在当前超声平面上的步骤包括：计算各靶向穿刺点与超声图像左上顶点的空间向量，基于超声平面的法向量vec计算靶向穿刺点与超声平面的余弦值，将该余弦值与阈值二进行比较，若该余弦值小于阈值二，则判断该靶向穿刺点在超声平面上。
14.进一步地，该系统还包括显示模块，通过渲染显示术前规划模块构建的三维模型，同时在超声平面上显示穿刺导航模块获得的进针孔，导航穿刺路线。
15.本发明的有益效果：本发明提出的基于三维重建与多模态医学图像配准的超声穿刺导航系统，通过对mri序列图像和实时超声图像配准融合，集合了两种影像的优点；通过构建椭球的系统穿刺体和操作者或医生标记的靶向穿刺点，在超声平面上进行精准穿刺部署。提高准确率的同时也有效减少了穿刺耗时，方便医生能更快更好地完成穿刺。
16.本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
17.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
18.图1示出了本发明的系统构架图。
19.图2示出了本发明的一个实施例中前列腺横断面的12针系统穿刺分布图。
20.图3示出了本发明的一个实施例中构建的1个椭球系统穿刺体的三维结构图。
21.图4示出了本发明的一个实施例中构建的12个椭球系统穿刺体的三维结构图。
22.图5示出了本发明的一个实施例中进针孔号与系统穿刺体或靶向穿刺点的对应关系图。
23.图6示出了本发明的一个实施例中进针导航路线规划图。
具体实施方式
24.下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
25.如图1所示，本发明提供一种基于三维重建与多模态医学图像配准的超声穿刺导航系统，该系统包括：术前规划模块：接收人体mri序列图像，分割出前列腺区域并且重建生成三维模
型；在所述前列腺区域的中间帧图像上构建若干个系统穿刺点，向前后帧延伸构建各系统穿刺点对应的椭球的系统穿刺体；其中，系统穿刺体的构建步骤如下：对于分割出前列腺区域的mri图像，提取中间帧图像并且选取若干个系统穿刺点，如图2所示，以12个为例，避免尿道同时能够均匀覆盖整个前列腺区域；坐标为；n表示系统穿刺点总数，i表示系统穿刺点序号，xiyi分别表示序号为i的系统穿刺点在x方向的像素坐标值和y方向的像素坐标值，z为前列腺区域的中间帧对应的z方向的像素坐标值；设定系统穿刺体的总帧数n（设定n=7）作为椭球穿刺体在z轴方向上的长度；；其中：［］表示取整，length表示待穿刺腺体在z方向的长度， pixelspacingz表示mri数据在z方向的点间距。
26.在前列腺区域的中间帧以各系统穿刺点坐标为圆心，半径为r构建圆形，接着在中间帧前后各n/2帧分别以rj为半径，为圆心，构建圆形；j为穿刺体帧数的索引，，为第j帧的第个圆心点，zj为系统穿刺体第j帧的z方向坐标值，rj从中间帧向前后帧依次减小；；其中：rj为第j帧构建的圆形的半径，abs（）表示绝对值，r为中间帧上系统穿刺点构建圆形的半径。
27.前列腺中间帧上各系统穿刺点构建的圆形以及对应穿刺点前后各n/2帧上构建的圆形分别形成对应系统穿刺点的椭球的系统穿刺体；若某一帧构建的圆形超出当前帧的前列腺轮廓，则取两者的交集构建系统穿刺体。
28.超声数据获取及定位模块：接收人体超声序列图像，提取每帧超声序列图像四个顶点在电磁坐标系下的坐标。
29.配准模块：使用icp迭代算法对超声数据和mri三维模型进行配准，将超声数据的坐标系由电磁坐标系换算到mri坐标系；基于超声序列图像生成三维源点云，对前列腺区域的三维模型进行平滑处理后生成三维目标点云，接着通过迭代icp算法完成配准操作。得到最终的配准变换矩阵t
us-mri
，通过该变换矩阵能够将获取的超声图像顶点坐标由电磁坐标系空间换算到mri坐标系空间中。
30.穿刺导航模块：接收超声图像，获取与当前超声平面相切的系统穿刺体，基于系统穿刺体在超声图像平面y方向投影的物理距离匹配最近的进针孔，进行穿刺导航；所述穿刺导航模块执行以下步骤：接收超声图像，获取当前超声平面四个顶点的坐标，p0表示超声平面左上顶点坐标，p1表示超声平面右上顶点坐标，p2表示超声平面左下顶点坐标；计算当前超声平面的法向量vec=（p
1-p0）
×
（p
2-p0）；
计算各系统穿刺体上所有像素点p（x，y，z）到超声平面的距离dis，，若距离dis小于设定阈值一，则判断该像素点在超声平面上；若任一系统穿刺体有大于预设数量m（m=20）的像素点在超声平面内，则判断当前超声平面与该系统穿刺体相切，进一步计算系统穿刺体中间帧穿刺点到超声图像平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与该系统穿刺体距离最近的进针孔；遍历所有系统穿刺体后，记录与当前超声平面相切的所有系统穿刺体对应的进针孔号。
31.显示模块：通过渲染显示术前规划模块构建的三维模型，并在超声平面上显示穿刺导航模块获取的进针孔号及导航穿刺路线；在本实施方式中，通过对mri序列图像和实时超声图像配准融合，集合了两种影像的优点；通过系统穿刺体的构建，便于判断当前超声平面与系统穿刺体的相交情况，针对探头的转动过程中的影像，若显示的相交轮廓由小变大，则可以判断超声平面是从系统穿刺体的周边向中间转动，若显示的相交轮廓由大变小，则可以判断超声平面是从系统穿刺体的中间向四周转动，这样便于在穿刺过程中，通过识别超声影像，帮助操作者判断超声平面是否位于当前穿刺体的中间位置，然后找到相对偏中间位置进行穿刺，提高系统穿刺的精度，同时也有效减少了穿刺耗时，避免了因耗时过长带来的不必要的术后并发症。
32.进一步地，该系统还执行靶向穿刺导航；术前规划模块：接收操作者标记的疑似病灶区域，计算各疑似病灶区域的重心坐标作为靶向穿刺点；穿刺导航模块：判断靶向穿刺点是否在当前超声平面上；计算各靶向穿刺点与超声图像左上顶点的空间向量，基于超声平面的法向量vec计算靶向穿刺点与超声平面的余弦值，将该余弦值与阈值二进行比较，若该余弦值小于阈值二，则判断该靶向穿刺点在超声平面上；
33.如果靶向穿刺点在超声平面内，则计算该靶向穿刺点在超声平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与靶向穿刺点距离最近的进针孔；循环遍历所有靶向穿刺点，记录在当前超声平面上的所有靶向穿刺点对应的进针孔号。
34.在本实施方式中，构建靶向穿刺点，判断靶向穿刺点是否在超声平面上，如果在则选择最近的进针孔进行穿刺导航。由于靶向穿刺点在超声平面上的投影只是一个像素点，只显示该像素点不易被看见，不利于医生进行穿刺，本发明以该像素点为圆心，半径r=1，在超声平面上显示一个小圆形。
35.具体实施时：
如图1至图6所示，本发明的基于三维重建与多模态医学图像配准的超声穿刺导航系统，应用于前列腺超声穿刺引导规划中，执行以下步骤：s1、采用术前规划模块接收人体mri序列图像，分割出前列腺区域并且重建生成三维模型；对于分割出前列腺区域的mri图像，构建系统穿刺体或者接收操作者标记的疑似病灶区域，计算各疑似病灶区域的重心坐标作为靶向穿刺点；其中：系统穿刺体步骤为：s11、提取中间帧图像并且选取若干个系统穿刺点，如图2所示，以12个为例，避免尿道同时能够均匀覆盖整个前列腺区域；s12、设定系统穿刺体的总帧数n=7作为椭球穿刺体在z轴方向上的长度；s13、在前列腺区域的中间帧以各系统穿刺点坐标为圆心，半径为r构建圆形，接着在中间帧前后各3帧分别以rj为半径构建圆形，rj从中间帧向前后帧依次减小；如图3所示，为构建的1个椭球系统穿刺体的三维结构图；s14、在前列腺中间帧上各系统穿刺点构建的圆形以及对应穿刺点前后各3帧上构建的圆形分别形成对应系统穿刺点的椭球的系统穿刺体；如图4所示，为构建的12个椭球系统穿刺体的三维结构图；s2、超声数据获取及定位模块接收人体超声序列图像，提取每帧超声序列图像四个顶点在电磁坐标系下的坐标；s3、基于超声序列图像生成三维源点云，对前列腺区域的三维模型进行平滑处理后生成三维目标点云，接着通过迭代icp算法完成配准操作。得到最终的配准变换矩阵t
us-mri
，通过该变换矩阵能够将获取的超声图像顶点坐标由电磁坐标系空间换算到mri坐标系空间中；s4、接收超声图像，获取当前超声平面四个顶点的坐标；计算各系统穿刺体上所有像素到超声平面的距离dis，若距离dis小于设定阈值一，则判断该像素点在超声平面上；若任一系统穿刺体有大于预设数量m（m=20）的像素点在超声平面内，则判断当前超声平面与该系统穿刺体相切，获取该系统穿刺体与超声平面相切的轮廓与进针孔号；遍历所有系统穿刺体后，记录与当前超声平面相切的所有系统穿刺体对应的轮廓及进针孔号；计算各靶向穿刺点与超声图像左上顶点的空间向量，基于超声平面的法向量计算靶向穿刺点与超声平面的余弦值，将该余弦值与阈值二进行比较，若该余弦值小于阈值二，则判断该靶向穿刺点在超声平面上，选择与靶向穿刺点距离最近的进针孔；遍历所有靶向穿刺点，记录在当前超声平面上的所有靶向穿刺点对应的进针孔号；s5、通过渲染显示术前规划模块构建的三维模型，在超声平面上显示所有进针孔号和导航穿刺路线。
36.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于该系统包括：术前规划模块：接收人体mri序列图像，分割出前列腺区域并且重建生成三维模型；在所述前列腺区域的中间帧图像上构建若干个系统穿刺点，向前后帧延伸构建各系统穿刺点对应的椭球的系统穿刺体；超声数据获取及定位模块：接收人体超声序列图像，提取每帧超声序列图像四个顶点在电磁坐标系下的坐标；配准模块：使用icp迭代算法对超声数据和mri三维模型进行配准，将超声数据的坐标系由电磁坐标系换算到mri坐标系；穿刺导航模块：接收超声图像，获取与当前超声平面相切的系统穿刺体，基于系统穿刺体在超声图像平面y方向投影的物理距离匹配最近的进针孔，进行穿刺导航。2.根据权利要求1所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于，所述术前规划模块中，系统穿刺体的构建步骤如下：对于分割出前列腺区域的mri图像，提取中间帧图像并且均匀地选取若干个系统穿刺点，坐标为；n表示系统穿刺点总数，i表示系统穿刺点序号，x
i y
i
分别表示序号为i的系统穿刺点在x方向的像素坐标值和y方向的像素坐标值，z为前列腺区域的中间帧对应的z方向的像素坐标值；设定系统穿刺体的总帧数n作为椭球穿刺体在z轴方向上的长度；在前列腺区域的中间帧以各系统穿刺点坐标为圆心，半径为r构建圆形，接着在中间帧前后各n/2帧分别以r
j
为半径，为圆心，构建圆形；j为穿刺体帧数的索引，，为第j帧的第i个圆心点，z
j
为系统穿刺体第j帧的z方向坐标值，r
j
从中间帧向前后帧依次减小；前列腺中间帧上各系统穿刺点构建的圆形以及对应穿刺点前后各n/2帧上构建的圆形分别形成对应系统穿刺点的椭球的系统穿刺体；若某一帧构建的圆形超出当前帧的前列腺轮廓，则取两者的交集构建系统穿刺体。3.根据权利要求2所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于，半径r
j
采用下述公式计算：；其中：r
j
为第j帧构建的圆形的半径，abs（）表示绝对值，r为中间帧上系统穿刺点构建圆形的半径。4.根据权利要求2所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于，所述的穿刺点为12个，避免尿道同时能够均匀覆盖整个前列腺区域。5.根据权利要求2所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于总帧数n采用下述公式获取：；其中：［］表示取整，length表示待穿刺腺体在z方向的长度， pixelspacingz表示mri数
据在z方向的点间距。6.根据权利要求1所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于所述穿刺导航模块执行以下步骤：接收超声图像，获取当前超声平面四个顶点的坐标，判断当前超声平面与各系统穿刺体是否相切；若当前超声平面与系统穿刺体相切，则计算系统穿刺体中间帧穿刺点到超声图像平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与该系统穿刺体距离最近的进针孔；遍历所有系统穿刺体后，记录与当前超声平面相切的所有系统穿刺体对应的进针孔号。7.根据权利要求6所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于判断当前超声平面与各系统穿刺体是否相切的步骤包括：计算当前超声平面的法向量vec=（p
1-p0）
×
（p
2-p0）；其中：p0表示超声平面左上顶点坐标，p1表示超声平面右上顶点坐标，p2表示超声平面左下顶点坐标；计算各系统穿刺体上所有像素点p（x，y，z）到超声平面的距离dis，，若距离dis小于设定阈值一，则判断该像素点在超声平面上；若任一系统穿刺体有大于预设数量m的像素点在超声平面内，则判断当前超声平面与该系统穿刺体相切。8.根据权利要求1所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于该系统还执行靶向穿刺导航；术前规划模块：接收操作者标记的疑似病灶区域，计算各疑似病灶区域的重心坐标作为靶向穿刺点；穿刺导航模块：判断靶向穿刺点是否在当前超声平面上，如果靶向穿刺点在超声平面内，则计算该靶向穿刺点在超声平面y方向的投影distancey，单位为像素；采用下述公式换算为物理距离phydis = distancey
×
pixelspacing_y；其中：pixelspacing_y为超声平面y轴的点间距，单位为毫米每像素mm/pixel；基于物理距离phydis选择与靶向穿刺点距离最近的进针孔；循环遍历所有靶向穿刺点，记录在当前超声平面上的所有靶向穿刺点对应的进针孔号。9.根据权利要求7所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于判断靶向穿刺点是否在当前超声平面上的步骤包括：计算各靶向穿刺点与超声图像左上顶点的空间向量，基于超声平面的法向量vec计算靶向穿刺点与超声平面的余弦值，将该余弦值与阈值二进行比较，若该余弦值小于阈值二，则判断该靶向穿刺点在超声平面上。10.根据权利要求1所述的基于三维重建与多模态医学图像配准的超声穿刺导航系统，其特征在于，该系统还包括显示模块，通过渲染显示术前规划模块构建的三维模型，同时在
超声平面上显示穿刺导航模块获得的进针孔，导航穿刺路线。

技术总结
本发明提供一种基于三维重建与多模态医学图像配准的超声穿刺导航系统，该系统包括术前规划模块，用于构建系统穿刺体；超声数据获取及定位模块、配准模块以及穿刺导航模块，用于获取与当前超声平面相切的系统穿刺体，基于系统穿刺体在超声图像平面y方向投影的物理距离匹配最近的进针孔，进行穿刺导航。本发明通过对MRI序列图像和超声图像配准融合，集合了两种影像的优点；通过构建椭球的系统穿刺体和操作者或医生标记的靶向穿刺点，在超声平面上进行精准穿刺部署，提高准确率的同时也有效减少了穿刺耗时，有助于医生能更快更好地完成穿刺。刺。刺。


技术研发人员：董丽君 王杉杉 吴梦麟
受保护的技术使用者：卡本（深圳）医疗器械有限公司
技术研发日：2023.08.10
技术公布日：2023/9/13