动态模型建立方法、模拟操作方法、装置、设备和介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种动态模型建立方法、模拟操作方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.经导管主动脉瓣置换术(transcatheter aortic value replacement，tavr)是微小创口介入主动脉瓣手术的一种，该手术通过在人体心脏器官内病变的主动脉瓣膜处放置人工瓣膜，恢复心脏的正常泵血功能。
3.在tavr手术施行前，需要进行术前筛查，术前筛查包括术前评估与方案设计。其中，术前评估包括临床评估及影像学评估，临床评估主要用于评估tavr手术的必要性与可行性，影像学评估主要用于术前规划设计与选取合适的瓣膜型号。
4.影像学评估是tavr术前评估的重点，现有的影像学评估手段使用多排螺旋计算机断层显像(msct，简称ct)对断层影像进行三维重建，达到三维环境下量化测量瓣膜的目的，根据量化测量结果选取合适的人工瓣膜尺寸。
5.然而，对断层影像进行三维重建后的三维模型是静态的，使得仿真静态模型不准确。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种生成更准确的动态模型建立方法、模拟操作方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
7.第一方面，本技术提供一种动态模型建立方法，所述方法包括：
8.获取目标区域操作之前的第一医学图像和第二医学图像；
9.将所述第一医学图像和所述第二医学图像进行配准得到配准结果；
10.对所述配准结果中所述第一医学图像进行重建，得到静态模型；
11.对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；
12.建立各所述动态数学方程模型与所述静态模型的映射关系；
13.根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。
14.第二方面，本技术还提供一种模拟操作方法，所述模拟操作方法包括：
15.获取根据上述动态模型建立方法生成的动态模型；
16.获取医疗器械模型；
17.在所述动态模型中控制所述医疗器械模型进行操作模拟。
18.第三方面，本技术还提供一种动态模型建立装置，所述装置包括：
19.医学图像获取模块，用于获取目标区域操作之前的第一医学图像和第二医学图像；
20.配准模块，用于将所述第一医学图像和所述第二医学图像进行配准得到配准结
果；
21.重建模块，用于对所述配准结果中所述第一医学图像进行重建，得到静态模型；
22.模型处理模块，用于对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；
23.映射关系建立模块，用于建立各所述动态数学方程模型与所述静态模型的映射关系；
24.动态模型生成模块，用于根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。
25.第四方面，本技术还提供一种模拟操作装置，所述模拟操作装置包括：
26.动态模型获取模块，用于获取根据所述动态模型建立装置生成的动态模型；
27.医疗器械模型获取模块，用于获取医疗器械模型；
28.操作模拟模块，用于在所述动态模型中控制所述医疗器械模型进行操作模拟。
29.第五方面，本技术还提供一种动态模型建立系统，所述系统包括图像处理设备以及图像采集设备，所述图像处理设备与所述图像采集设备相通信；
30.所述图像采集设备用于获取目标区域操作之前的第一医学图像和第二医学图像；
31.所述图像处理设备用于实现上述的动态模型建立方法。
32.第六方面，本技术还提供一种模拟操作系统，所述模拟操作系统包括显示设备以及上述的动态模型建立系统；
33.所述显示设备用于获取基于上述的动态模型建立系统生成的动态模型以及所述医疗器械模型，并显示在所述动态模型中控制所述医疗器械模型进行的模拟操作。
34.第七方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
35.上述动态模型建立方法、装置、计算机设备、存储介质和计算机程序产品，将操作之前的第一医学图像和第二医学图像进行配准，这样基于第一医学图像建立静态模型，基于第二医学图像得到以时间为自变量的动态数学方程模型，从而基于以时间为自变量的动态数学方程模型来修正静态模型得到动态模型，得到的动态模型更为准确。
附图说明
36.图1为一个实施例中的动态模型建立系统的示意图；
37.图2为一个实施例中的模拟操作系统的示意图；
38.图3为一个实施例中动态模型建立方法的流程示意图；
39.图4为一个实施例中动态模型的应用场景示意图；
40.图5为一个实施例中动态模型的建立和应用示意图；
41.图6为一个实施例中模拟操作系统的流程示意图；
42.图7为一个实施例中模拟操作系统的组成部件的组成示意图；
43.图8为一个实施例中模拟操作系统的另一组成部件的组成示意图；
44.图9为一个实施例中模拟操作系统的数据加载示意图；
45.图10为一个实施例中动态模型建立方法中的静态模型建立示意图；
46.图11为一个实施例中动态模型建立方法中的图像配准示意图；
47.图12为一个实施例中动态模型建立方法中的静态模型建立示意图；
48.图13为一个实施例中动态模型建立方法中的动态模型建立示意图；
49.图14为一个实施例中动态模型建立方法中的图像处理示意图；
50.图15为一个实施例中动态模型建立方法中的动态数学方程模型建立示意图；
51.图16为一个实施例中模拟操作方法的示意图；
52.图17为另一个实施例中模拟操作方法的示意图；
53.图18为另一个实施例中模拟操作方法的示意图；
54.图19为另一个实施例中模拟操作方法的示意图；
55.图20为一个实施例中计算机设备的内部结构图。
具体实施方式
56.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
57.结合图1所示，本技术的一个实施例中提供一种动态模型建立系统，该系统包括图像处理设备104以及图像采集设备102，图像处理设备104与图像采集设备102相通信。其中，此处的图像处理设备104可以理解为处理器。其中，图像处理设备104将通过图像采集设备102获取目标区域操作之前的第一医学图像和第二医学图像。图像处理设备104将第一医学图像和第二医学图像进行配准得到配准结果；对配准结果中第一医学图像进行重建，得到静态模型；对配准结果中第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；建立各动态数学方程模型与静态模型的映射关系；根据映射关系对静态模型进行处理，得到实时变化的动态模型。
58.在一个实施例中，图像采集设备包括超声设备和三维图像采集设备。通过超声设备可以采集到目标区域的扫描图像，可选地，扫描图像包括至少一个心动周期的目标区域超声数据。通过三维图像采集设备可以采集到目标区域的扫描图像，该扫描图像为目标区域的静态图像。可选地，三维图像采集设备为多排螺旋计算机断层显像(msct，简称ct)。
59.结合图2所示，本技术的一个实施例中提供一种模拟操作系统，模拟操作系统包括显示设备106以及动态模型建立系统108。其中，显示设备106用于获取动态模型建立系统108生成的动态模型以及医疗器械模型，以通过在动态模型中控制医疗器械模型进行操作模拟。可选地，显示设备106可以为普通显示设备、虚拟现实设备、增强现实设备、混合现实设备，并可以支持现场显示以及远程显示，虚拟现实设备可以为vr眼镜。
60.在一个实施例中，如图3所示，提供了一种动态模型建立方法，该方法应用于图1中的图像处理设备。本实施例中，该方法包括以下步骤：
61.步骤202，获取目标区域操作之前的第一医学图像和第二医学图像。
62.其中，目标区域为后续的操作区域，例如操作区域为心脏时，则目标区域可以包括心脏的主动脉瓣的区域。第一医学图像为ct设备获取到的数据，可以包含常规影像数据和/或cta影像数据。可选地，第一医学图像为大腿股动脉到颈部动脉的区域对应的ct影像数据。第二医学图像为超声设备获取到的4d超声影像数据。可选地，第二医学图像为超声设备获取到的包括至少一个完整心跳周期的三维超声数据。
63.可选地，图像处理设备获取用户进行主动脉瓣在手术操作之前的大腿股动脉到颈部动脉的区域对应的ct影像数据，图像处理设备获取用户进行主动脉瓣在手术操作之前的一个完整心跳周期的三维超声数据。
64.步骤204，将第一医学图像和第二医学图像进行配准得到配准结果。
65.其中，配准结果为位于同一坐标系下且特征点位置匹配的第一医学图像集与第二医学图像集。
66.可选地，图像处理设备通过特征点匹配算法将第一医学图像和第二医学图像进行特征配准，得到位于同一坐标系下且特征点位置匹配的第一医学图像集与第二医学图像集，其中配准的过程可以看做是对第一医学图像和第二医学图像的初次过滤过程，将可以配准的第一医学图像和第二医学图像分别存储至第一医学图像集和第二医学图像集中。
67.步骤206，对配准结果中第一医学图像进行重建，得到静态模型。
68.其中，静态模型为用户的静态心脏模型。具体地识别第一医学图像中的目标，从第一医学图像中将目标分割出来，然后基于分割出来的目标进行三维重建得到静态模型。其中识别第一医学图像中的目标可以仅是对配准结果中的第一医学图像中的目标进行识别，而无需对未配准的部分进行识别，以提高效率。也就是说先根据配准结果从第一医学图像中提取出待重建部分，然后对待重建部分进行目标分割，最后再对分割得到的目标进行三维重建。
69.可选地，图像处理设备对配准结果中第一医学图像进行图像分割与三维重建，得到静态模型。需要说明的是，一个静态心脏组织具有一个唯一的名称标识，从而本技术中所生成的静态模型可以包括多个，可选地，静态模型包括主动脉、静脉、肺静脉、肺动脉、心包、左心房、左心室、右心房、右心室、左侧房室瓣、右侧房室瓣、左侧动脉瓣、右侧动脉瓣等三维模型中的至少一个。
70.步骤208，对配准结果中第二医学图像进行处理，得到以时间为自变量的动态数学方程模型。
71.其中，以时间为自变量的动态数学方程模型为，目标区域对应的心脏的各个心脏组织以时间为自变量的动态数学方程模型。
72.可选地，图像处理设备对配准结果中第二医学图像进行图像分割与数学模型构建，得到以时间为自变量的动态数学方程模型。
73.可选地，图像处理设备对第二医学图像中的目标进行识别，从第二医学图像将目标分割出来，然后基于时间戳序列和分割出来的目标进行数学模型构建，得到以时间为自变量的动态数学方程模型。其中识别第二医学图像中的目标可以仅是对配准结果中的第二医学图像中的目标进行识别，而无需对未配准的部分进行识别，以提高效率。也就是说先根据配准结果从第二医学图像中提取出待数学模型构建部分，然后对待数学模型构建部分进行目标分割，最后再对分割得到的目标进行数学模型构建，例如对提取出的每个心脏组织按照时间戳构建数学方程，得到各个心脏组织以时间为自变量的动态学方程模型，可选地，每个动态学数据方程模型可以用心脏组织名称进行命名。
74.步骤210，建立各动态数学方程模型与静态模型的映射关系。
75.可选地，图像处理设备建立各个心脏组织动态数学方程模型与静态心脏模型的映射关系，一个静态心脏组织模型对应一个动态数学方程。需要说明的是，静态心脏模型分别
对应各静态心脏组织。在其中一个可选的实施例中，通过静态心脏组织模型的名称与动态数学方程模型的名称建立上述映射关系。
76.步骤212，根据映射关系对静态模型进行处理，得到实时变化的动态模型。
77.可选地，图像处理设备根据各个静态心脏组织模型及其对应动态数学方程，对各个静态心脏组织模型进行旋转、平移、缩放等矩阵变换操作，完成动态心脏模型(实时变化的动态模型)的构建，也就是说每一个心脏组织的静态模型可以根据对应的动态数学方程进行变化模拟，从而实现静态模型到动态模型的转换。
78.在实际应用中还可以构建模拟血液流动模型，这样将动态心脏模型和模拟血液流动模型进行可视化显示，可以实现心脏动态变化的可视化仿真模拟。
79.上述动态模型建立方法中，将操作之前的第一医学图像和第二医学图像进行配准，这样基于第一医学图像建立静态模型，基于第二医学图像得到以时间为自变量的动态数学方程模型，从而基于以时间为自变量的动态数学方程模型来修正静态模型得到动态模型，得到的动态模型更为准确。
80.在一个实施例中，获取目标区域操作之前的第一医学图像和第二医学图像，包括：通过三维医学成像设备在操作之前，获取目标区域的三维影像数据作为第一医学图像；通过超声影像设备在操作之前，获取目标区域的超声数据作为第二医学图像。
81.其中，三维医学成像设备为ct设备。
82.可选地，图像处理设备通过ct设备在对主动脉瓣进行操作之前，获取包括从大腿股动脉到颈部动脉的常规影像数据或cta影像数据，作为第一医学图像。图像处理设备通过超声影像设备在对主动脉瓣进行操作之前，获取4d超声影像数据，并将上述4d超声影像数据作为第二医学图像。上述4d超声数据为包含一个完整心跳周期的三维超声数据。
83.上述动态模型建立方法中，获取的第一医学图像具有分辨率高的特点，获取的第二医学图像具有实时性，能够获取包括一定时间内的连续立体三维图像。
84.在一个实施例中，将第一医学图像和第二医学图像进行配准得到配准结果，包括：将第一医学图像和第二医学图像进行特征配准得到第一配准关系；基于第一配准关系对第一医学图像或第二医学图像进行处理，得到位于同一坐标系下且特征点位置匹配的第一目标医学图像和第二目标医学图像作为配准结果。
85.可选地，图像处理设备通过特征点匹配算法进行4d超声影像数据(第二医学图像)与ct影像数据(第一医学图像)的融合配准，得到位于同一坐标系下且特征点位置匹配的4d超声图像集(第二目标医学图像)与ct图像数据(第一目标医学图像)。
86.可选地，图像处理设备对4d超声影像进行特征提取，并生成其特征对应的特征子，得到4d超声影像特征描述子。图像处理设备对ct影像进行特征提取，并生成其特征描述子，得到ct影像特征描述子。图像处理设备根据4d超声影像特征描述子与ct影像特征描述子的相似程度进行特征匹配，并分别对4d超声数据、ct影像数据进行矩阵变换操作，分别得到配准后的4d超声图像集及配准后的ct图像数据集。其中，矩阵变换包含平移、旋转操作参数。
87.上述动态模型建立方法中，将第一医学图像与第二医学图像进行配准，得到位于同一坐标系下且特征点位置匹配的第一目标医学图像和第二目标医学图像，使得配准后的第一医学图像和配准后的第二医学图像处于同一坐标系下，利于后续数据处理。
88.在一个实施例中，对配准结果中的第一医学图像进行重建，得到静态模型，包括：
对配准后的第一医学图像进行分割得到目标对象；对目标对象进行三维重建，得到静态模型。
89.其中，目标对象为心脏的各个心脏组织。
90.可选地，如图12所示，图像处理设备采用神经网络方法(unet)对配准后的ct图像数据集进行图像分割，得到包含多个标签属性的3d图像的心脏组织模型。图像处理设备基于体素级重建算法(marching cube)，对心脏组织模型进行三维重建，得到静态的心脏模型(静态模型)。
91.上述动态模型建立方法中，建立分辨率高的静态模型。
92.在一个实施例中，对配准结果中的第二医学图像进行处理，得到以时间为自变量的动态数学方程模型，包括：对配准后的第二医学图像按照时间顺序排列，并对按照时间顺序排列后的配准后的第二医学图像进行图像分割，得到每一配准后的第二医学图像对应的目标对象；对目标对象进行分割得到多个部位；对每一部位进行特征点提取；基于提取的特征点的位置和对应的时间，构建各部位以时间为自变量的动态数学方程模型。
93.可选地，图像处理设备对配准后的4d超声图像集按时间戳序列进行心脏组织识别分割，提取出心包、心脏各腔室及瓣膜(各个心脏组织)的多时间序列心脏组织超声图像集合。图像处理设备对提取出的各个心脏组织按时间戳序列构建数学方程，得到各个心脏组织以时间为自变量的动态数学方程模型。
94.可选地，图像处理设备对每一帧4d超声图像集进行遍历，执行以下操作：基于unet方法对每一帧4d超声图像集进行图像分割，得到包含多个心脏组织标签的三维图像；对包含多个心脏组织标签的三维图像进行多标签分割，得到该帧4d超声图像集的心脏图像模型；对每一帧4d超声图像集遍历并执行完1、2步骤后，最终得到多时间序列三维图像集合。图像处理设备对每个时间戳序列的超声图像，沿着横断面提取每张图片的特征点；基于提取的特征点按位置、时间构建数学方程；进行数学方程优化，得到该心脏组织数学模型(以时间为自变量的动态数学方程模型)。
95.上述动态模型建立方法中，建立以时间为自变量的动态数学方程模型，可以动态的表示心脏的跳动。
96.在一个实施例中，建立各动态数学方程模型与静态模型的映射关系，包括：获取静态模型中各个部位的静态子模型；建立各动态数学方程模型与各个静态子模型的映射关系。
97.可选地，图像处理设备根据名称建立各个心脏组织动态数学方程模型与静态心脏模型的映射关系，一个静态心脏组织模型对应一个动态数学方程。例如一个静态心脏组织模型具有唯一的名称标识，如"leftatrium"标识左心房静态模型，"rightatrium"标识右心房静态模型；一个动态数学模型具有唯一的名称标识，该名称只能从已有的静态心脏组织模型名称中选取，如："leftatrium"标识左心房动态数学模型，"rightatrium"标识右心房动态数学模型，从而可以通过动态数学模型名称与静态心脏组织名称构建各个心脏组织动态数学方程模型与静态心脏模型的映射关系。
98.根据各个静态心脏组织模型(静态子模型)及其对应的动态数学方程，对各个静态心脏组织模型进行旋转、平移、缩放等矩阵变换操作，完成动态心脏模型的构建。可选地，图像处理设备构建模拟血液流动模型。
99.上述动态模型建立方法中，基于静态模型分辨率高的特点和动态数学模型实时变化的特点，根据静态模型与动态模型的映射关系，建立了仿真度高的动态心脏模型，提高了动态模型的模拟效果。
100.在一个实施例中，提供了一种模拟操作方法，该方法应用于图2中的显示设备。本实施例中，该方法包括以下步骤：获取根据动态模型建立方法生成的动态模型；获取医疗器械模型；通过在动态模型中控制医疗器械模型进行操作模拟。
101.其中，医疗器械模型包括但不限于进行主动脉瓣置换术所需的医疗器械以及医疗耗材，医疗器械模型可以包括tavr手术耗材模型以及常规器械模型。
102.可选地，显示设备获取根据动态模型建立方法生成的动态模型；获取医疗器械模型；根据用户的指令在动态模型中控制医疗器械模型进行主动脉瓣置换术的操作模拟。上述操作模拟方法中，基于动态模型进行操作模拟，有利于提高手术的熟练度和正确率。
103.在一个实施例中，通过在动态模型中控制医疗器械模型进行操作模拟，包括：将操作模拟的过程可视化，操作模拟的过程包括动态模型和医疗器械模型的运动过程。
104.上述操作模拟方法中，将操作模拟的过程可视化，可以看到模拟操作的全过程。
105.在一个实施例中，医疗器械模型为导丝模型、导管模型、球囊模型和瓣膜模型中的至少一种；通过在动态模型中控制医疗器械模型进行操作模拟，包括以下至少一种：在动态模型中控制导丝模型模拟导丝穿刺操作；在动态模型中控制导丝模型或导管模型模拟导丝或导管放置操作和/或退出操作；在动态模型中控制球囊模型模拟球囊预扩操作；在动态模型中控制球囊模型模拟球囊扩张操作；以及在动态模型中控制瓣膜模型模拟瓣膜装载及放置操作。
106.需要说明的是，tavr手术中，导丝穿刺成功的关键在于找到合适的血管部位入路，然后沿着股动脉血管的方向顺利将导丝穿刺到血管中。为让医护工作者尽快熟悉tavr手术中穿刺导丝的手术操作，结合tavr手术中导丝穿丝的手术要求，设计了如图16的导丝穿刺模拟方法。可选地，通过在动态模型中控制导丝模拟导丝穿刺操作，包括：显示设备获取并可视化目标穿刺针；根据目标指令控制并显示目标穿刺针穿刺到动态模型的血管中；穿刺过程包括碰撞检测、角度计算及出血模拟中的至少一个。
107.其中，将操作模拟的过程可视化，包括以下至少一种：计算穿刺过程中所述导丝模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果；计算所述导丝模型或导管模型与所述动态模型对应血管的拓扑关系和/或角度关系，并将所述拓扑关系和/或角度关系可视化；可视化所述导丝模型或导管模型进入或退出所述动态模型对应血管的长度/或速度信息；计算所述球囊模型与所述动态模型的对应血管的拓扑关系，并可视化所述拓扑关系；以及计算所述瓣膜模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果。
108.为了方便本领域技术人员的理解，结合图17至19所示，给出几种常见的模拟过程，但是本领域技术人员可知，本技术的动态模型不仅可以应用在以下所列举的模拟过程中，还可以应用在其他的模拟过程中以及术前规划中等，在此不做具体限定。
109.可选地，如图17所示，通过在动态模型中控制导丝模拟导丝穿刺操作，包括以下6个步骤：
110.步骤1：虚拟现实设备获取用户选择的穿刺针及导丝模型，与虚拟现实设备相连的vr显示器上高亮显示选中的穿刺针及导丝模型。
111.步骤2：平移导丝模型。当用户按下与虚拟现实设备相连的vr控制器上的穿刺针控制按钮平移导丝针头达到股动脉上部的体表时，虚拟现实设备实时进行碰撞检测、角度计算及出血模拟。其中，碰撞检测为，虚拟现实设备实时求解穿刺过程中穿刺针头及穿刺针与血管壁之间的距离及接触位置，并将生成的碰撞检测结果模型发送到可视化模块处理并进行可视化显示。角度计算为，虚拟现实设备实时计算导丝针头所在横截面对应的股动脉血管与体数据横断面、矢状面、冠状面的夹角，计算导丝针头与体数据横断面、矢状面、冠状面的夹角，并将生成的信息发送到可视化模块处理并进行可视化显示。出血模拟为，虚拟现实设备模拟导丝穿刺过程中因穿刺针操作不当导致的血管破裂而出现的血液溢出情况。
112.步骤3：微调穿刺针角度。当用户按下与虚拟现实设备相连的vr控制器上的穿刺针四个方向按钮可以微调穿刺针的姿态；当穿刺针与股动脉血管之间的角度在20
°
～30
°
时，进入步骤4，执行步骤4操作；若微调过程发现位置不对，回到步骤2，执行步骤2操作。
113.步骤4：推送穿刺针进入血管。用户向前推vr控制器上的穿刺针推杆可以将穿刺针推进皮肤、血管，vr控制器上的穿刺针指示灯显示绿色；向后拉vr控制器上的穿刺针推杆可以将穿刺针退出皮肤、血管，vr控制器上的穿刺针指示灯显示蓝色；推送穿刺针进入血管过程中，若针头还未进入血管，可返回步骤2、3进行操作。
114.步骤5：穿刺成功。穿刺针接触到血管瞬间，接触点变为蓝色，继续往前推穿刺针操纵杆将穿刺针完全推入血管；当穿刺针完全进入血管后，按下停止穿刺操作按键，停止穿刺针进入操作。
115.步骤6：退出穿刺针。按下退出穿刺针按键，将穿刺针缓缓从股动脉血管中退出体外，只留穿刺针外包裹的导管在股动脉血管内，虚拟现实设备实时更新显示穿刺针退出时的模拟效果，最终完成了经皮穿刺操作。
116.可选地，通过在动态模型中控制导丝或导管模拟导丝或导管放置操作和/或退出操作，包括：虚拟现实设备实时获取导丝和/或导管进入动态模型的血管及瓣膜过程中导丝和/或导管与血管壁及心脏瓣膜之间的拓扑关系，生成拓扑关系模型，并将拓扑关系模型显示。计算导丝和/或导管在动态模型的横截面对应的股动脉血管与体数据横断面、矢状面、冠状面的夹角，并将夹角发送到可视化模块处理并进行可视化显示。实时更新显示导丝和/或导管进入或退出动态模型的血管可视化效果及相应长度、速度等信息。
117.可选地，通过在动态模型中控制导丝或导管模拟导丝或导管放置操作和/或退出操作，包括以下七个步骤：
118.步骤1：启动导丝推送。用户按下导丝推送按钮，vr控制器上的导丝推送指示灯显示为红色，虚拟现实设备将导丝送到穿刺导管尾部。
119.步骤2：推送导丝。用户往前推导丝推杆，虚拟现实设备将导丝缓缓从穿刺导管尾部进入到股动脉血管，并在主动脉血管中向靠近心脏部位运动。
120.用户往后推导丝推杆，导丝将沿反方向运动；用户通过改变导丝推送推杆与控制台水平面的角度可控制导丝推送速度。
121.步骤3：导丝穿过瓣膜。1)当导丝达到与房室瓣膜的距离在设定的警戒距离时，导丝推杆立即复位，导丝停止运动；2)当vr显示器上显示的房室瓣膜正好处于舒张状态时，立
即往前推导丝推杆，目的是让导丝在瓣膜处于舒张状态时成功穿过瓣膜；3)导丝成功穿过瓣膜后，vr控制器控上的导丝推送状态指示灯显示为绿色；4)当导丝位于心室中部时，将推杆控制台上的启动按钮复位，导丝穿刺及过瓣操作完成。
122.步骤4：启动导管推送。用户按下导管推送按钮，vr控制器上的导管推送指示灯显示为红色，虚拟现实设备将导管送到穿刺导管尾部。
123.步骤5：导管推送。用户操纵vr控制器上的导管推杆，虚拟现实设备控制导管沿着导丝在血管中运动并达到近瓣膜位置，方法与导丝推送相同。
124.步骤6：导管穿过瓣膜。用户操纵vr控制器上的导管推杆，方法与导丝推送相同。
125.步骤7：退出导丝。用户往后推导丝推杆，虚拟现实设备控制导丝缓慢退出心脏及血管与体外。
126.需要说明的是，上述模拟导丝或导管放置操作和/或退出操作的原理包括：拓扑关系模型求解：实时导丝、导管进入血管及瓣膜过程中导丝/导管与血管壁及心脏瓣膜之间的拓扑关系，生成拓扑关系模型，并将该拓扑模型发送到可视化模块处理并进行可视化显示；角度计算：实时计算导丝所在横截面对应的股动脉血管与体数据横断面、矢状面、冠状面的夹角，计算导丝与体数据横断面、矢状面、冠状面的夹角，并将生成的信息发送到可视化模块处理并进行可视化显示；可视化：除了可视化上述的拓扑模型、角度信息外，还实时更新显示导丝、导管进入/退出血管的可视化效果及相应长度、速度等信息。
127.可选地，通过在动态模型中控制球囊模拟球囊预扩和/或扩张操作，包括：根据动态模型和目标球囊模拟球囊预扩/球囊扩张的过程。
128.可选地，如图18所示，通过在动态模型中控制球囊模拟球囊预扩和/或扩张操作，包括以下6个步骤：
129.步骤1：启动球囊扩张。用户按下vr控制器上的球囊扩张启动按钮，vr控制器上的球囊扩张启动指示灯显示为红色，vr显示器上高亮显示选择的球囊模型，同时虚拟现实设备将球囊平移到猪尾巴导管尾端。
130.步骤2：推送球囊进入血管。用户往前操纵vr控制台上的球囊推杆，球囊运动指示灯显示为绿色，虚拟现实设备缓慢将球囊沿着猪尾巴导管送入主动脉血管中。当球囊进入到主动脉血管，继续保持球囊推杆的前推状态，让球囊在主动脉血管中缓慢运动到房室瓣环的位置。当球囊达到方式瓣环位置时，球囊推杆复位，球囊运动指示灯显示蓝色，标识球囊推进完成。
131.步骤3：球囊扩张。用户按下vr控制台上的球囊扩张按钮，球囊扩张指示灯显示为绿色，虚拟现实设备模拟球囊在心房的扩张，并实时计算球囊与血管内壁的接触面情况及距离等信息。当球囊与血管内壁的距离低于设定的警戒距离时，球囊扩张指示灯显示为红色。
132.步骤4：球囊扩张停止。用户再次按下vr控制台上的球囊扩张按钮，球囊扩张指示灯关闭，虚拟现实设备上停止球囊扩张，并实时可视化血心房壁受球囊挤压的状态等信息。
133.步骤5：球囊收缩。用户按下vr控制台上的球囊收缩按钮，球囊收缩指示灯显示为绿色，虚拟现实设备对扩张的球囊进行收缩操作并将收缩过程发送到vr显示设备进行实时可视化，并实时计算球囊与血管内壁的接触面情况及距离等信息，当球囊收缩到贴近导管状态时，球囊收缩指示灯显示为蓝色，虚拟现实设备停止球囊收缩。
134.步骤6：球囊退出。用户按下vr控制器上的球囊退出启动按钮，vr控制器上的球囊退出启动指示灯显示为红色。用户向后操纵vr控制台上的球囊推杆，球囊运动指示灯显示为绿色，虚拟现实设备缓慢将球囊沿着猪尾巴导管向后退出心房、主动脉血管；当球囊回到原始位置时，球囊运动指示灯显示为蓝色；球囊回到原始位置后，将球囊推杆复位，用户再次按下vr控制器上的球囊退出启动按钮，虚拟现实设备关闭所有球囊退出的指示灯。
135.需要说明的是，在整个模拟球囊放置、扩张、收缩及退出等过程中，虚拟现实设备的处理器实时进行球囊可视化模拟与血管壁扩张模拟。
136.可选地，通过在动态模型中控制瓣膜模拟瓣膜装载及放置操作，包括：根据动态模型和目标瓣膜模拟人工瓣膜加载与放置的过程，放置过程包括第二碰撞检测。
137.可选地，如图19所示，通过在动态模型中控制瓣膜模拟瓣膜装载及放置操作，包括以下5个步骤：
138.步骤1：启动瓣膜装载。用户按下vr控制器上的启动瓣膜装载按钮，瓣膜装载指示灯显示为红色，vr显示器上高亮显示选择的人工瓣膜模型，并将该瓣膜的型号、尺寸信息显示在立体显示器的左上角，同时虚拟现实设备将人工瓣膜平移到猪尾巴导管尾端。
139.步骤2：推送瓣膜进入血管。用户向前推vr控制器上的瓣膜运动推杆，瓣膜运动指示灯显示为绿色，虚拟现实设备缓慢将人工瓣膜从猪尾巴导管推进到股动脉血管中，当人工瓣膜完全进入到股动脉血管中，瓣膜运动指示灯显示为黄色。
140.步骤3：推送瓣膜在血管运动。用户继续向前推vr控制器上的瓣膜运动推杆，瓣膜运动指示灯保持黄色显示状态，虚拟现实设备缓慢将人工瓣膜从股动脉血管推进到心脏瓣膜部位。当人工瓣膜到达与心脏瓣膜距离在设定的警戒值时，瓣膜运动指示灯显示为红色，相关区域以设定的颜色可视化显示。
141.步骤4：瓣膜停止运动。用户将vr控制器上的瓣膜运动推杆进行复位，瓣膜运动指示灯显示为蓝色，虚拟现实设备中的人工瓣膜停止运动。
142.步骤5：瓣膜放置。用户按下vr控制器上的瓣膜释放按钮，虚拟现实设备在当前位置自动释放人工瓣膜。
143.需要说明的是，在整个过程中，虚拟现实设备的处理器实时进行碰撞检测模拟；在启动瓣膜装载到瓣膜停止运动过程，系统实时进行瓣膜装载模拟；在瓣膜释放过程，系统实施进行瓣膜释放模拟；在瓣膜释放后，系统自动进行瓣膜工作模拟。
144.在一个具体地实施例中，一种动态模型建立方法所建立的动态模型主要有如图4所示的3个方面的应用场景，术前诊疗方案模拟验证、临床医生手术模拟训练和医学院校tavr解剖课。其中，术前诊疗方案模拟验证场景包括：tavr术前规划模拟的心脏模型实时动态变化模拟(动态模型)与手术过程模拟(模拟操作方法)，融合ct影像数据(第一医学图像)与4d超声影像数据(第二医学图像)的优势进行tavr手术的心脏动态(动态模型)模拟，解决了单独由ct影像数据或超声影像数据进行tavr手术模拟过程的局限性，方便医护人员对tavr手术设计方案进行模拟验证，提高手术规划的安全性和可靠性。临床医生手术模拟训练场景包括：一套简易的tavr术前模拟装置(模拟操作系统)，操作简单，成本低，提供给临床医生接近真实tavr手术的模拟训练方法与设备。其中，tavr术前模拟装置中包括动态模型、上述实施例这虚拟现实设备和医疗器械模型。医学院校tavr解剖课场景包括：按照tavr手术流程进行设计，贴近教材，符合tavr手术仿真模拟要求，医学院校的临床专业学生可使
用上述实施例中的模拟操作系统进行实操训练模拟，提高tavr手术实战的规范性。
145.在一个具体地实施例中，如图5所示，一种动态模型建立方法，包括：图像配准融合、图像分割与三维重建、构建动态心脏组织模型(动态模型)三个步骤。需要说明的是图像处理设备在执行步骤1图像配准融合前，获取ct影像数据(第一医学图像)和超声影像数据(第二医学图像)。在动态模型的基础上，结合vr控制设备及装置，实现了tavr术前仿真模拟的过程。上述tavr术前仿真模拟包括加载外部模型、手术仿真模拟。其中，加载外部模型包括加载常规器械模型和tavr耗材模型。常规器械模型包括但不限于手术刀、手术剪、手术钳、缝合线等三维表面模型；tavr耗材模型包括但不限于穿刺针、导丝、导管、球囊、人工瓣膜等三维模型。其中，将外部模型导入后，可以获取外部模型对应的中心位置、角度姿态、尺寸大小等参数，实现外部模型的动态变化也就是更新外部模型的中心位置、角度姿态、尺寸大小中的一种或多种参数，中心位置通过更新外部模型中心坐标实现，角度姿态通过更新x、y、z三轴的任一轴旋转矩阵实现，尺寸大小变换通过更新x、y、z三轴的任一轴缩放因子实现。
146.在一个具体地实施例中，如图6所示，一种模拟操作系统，包括：图像处理单元、vr控制器、vr显示器。vr控制器：提供了用于实现tavr手术模拟的人机交互装置，由推杆、控制按钮、指示灯、电源及指示灯、电子元件5部分组成，如图7是vr控制器组成示意图。推杆，由穿刺针推杆、导丝推杆、导管推杆、球囊推杆、人工瓣膜推杆组成，分别用于控制tavr手术过程的穿刺针、导丝、导管、球囊、人工瓣膜等模型的运动、运动速度及方向；控制按钮，包含由多个控制按钮，用于模拟tavr手术过程的手术器械移动等动作；指示灯，与推杆对应，标识其前进方向及其他指示状态；电源及指示灯，给vr控制器提供持续电源；电子元件，将操纵杆、控制按钮的命令转换成电信号后传入给图像处理单元进行处理。图像处理单元(图像处理设备)：提供了图像处理及tavr手术模拟的控制，由数据管理模块、三维重建模块、心脏控制器、瓣膜植入模拟器、vr控制模块、vr显示模块等6个子模块组成，每一个部分执行单独的功能，组合在一起实现tavr术前模拟仿真的功能。数据管理模块，用于对患者影像数据及生成的心脏模型进行管理；三维重建模块，用于对心脏ct影像数据与4d超声影像数据进行配准，并对配准后的心脏ct影像数据进行图像分割，最后对分割得到的心脏多标签模型进行三维重建；心脏控制器，用于对配准后的4d超声影像数据进行图像识别提取与数学建模，提取出心脏超声数据上的心脏瓣膜及四个腔室的图像并构建心脏瓣膜及四个腔室的形态变化的心跳数学方程模型，最后建立心跳数学模型与三维模型的映射关系，构建实时变化的心脏组织模型；瓣膜植入模拟器，用于控制模拟tavr手术的全过程；vr控制模块，用于实现人机交互的数据通讯传输；vr显示模块，用于处理待可视化的图像。vr显示器：提供了tavr手术模拟全过程的图形、图像可视化显示设备，包括但不仅限于立体显示器、mpr显示器、vr头盔。立体显示器，提供具有左右视差的tavr手术模拟图像可视化效果，穿戴上3d眼镜后可完整呈现tavr手术模拟图像的立体效果；mpr显示器，提供了多视角图像的可视化显示，配合立体显示器使用，左侧放置mpr显示器，右侧配置立体显示器；vr头盔，提供另一种设备的tavr手术模拟过程的立体显示效果。vr显示器：提供了tavr手术模拟全过程的图形、图像可视化显示设备，vr显示器组成如图8所示，由显示屏、图形显卡、传感器、电源四部分组成，其类别包括但不仅限于立体显示器、mpr显示器、vr头盔。
147.显示屏，用于显示最终的可视化；图形显卡，用于对渲染的图像进行加速处理；传
感器，用于外部电信号的接入；电源，用于提供显示器的供电。立体显示器，提供具有左右视差的tavr手术模拟图像可视化效果，穿戴上3d眼镜后可完整呈现tavr手术模拟图像的立体效果；mpr显示器，提供了多视角图像的可视化显示，配合立体显示器使用，左侧放置mpr显示器，右侧配置立体显示器；vr头盔，提供另一种设备的tavr手术模拟过程的立体显示效果。
148.在一个具体地实施例中，如图9所示，模拟操作系统数据加载可视化包括：模拟操作系统需要的数据包括ct影像数据(第一医学图像)、心脏超声影像数据(第二医学图像)、tavr手术耗材模型(医疗器械模型)、常规器械模型(医疗器械模型)。ct影像数据是术前由ct设备获取到的数据，可以包含常规影像数据、cta影像数据，本发明使用的患者ct影像数据范围从大腿股动脉到颈部动脉的血管影像；超声影像数据是由超声设备获取到的4d超声影像数据，该数据包含一个完整心跳周期的心脏和血管的三维超声数据；tavr手术耗材模型是通过3d建模软件创建的符合tavr手术规范的导丝、导管及不同型号的人工瓣膜模型；常规手术模型参照tavr手术中使用的手术器械而使用3d建模软件创建的1：1的三维模型集合。虚拟现实设备使用数据管理模块对使用的三维图像及手术仿真模型进行加载与管理，数据的加载如图9所示。首先加载使用的tavr手术耗材模型、常规器械模型、患者ct影像数据、心脏超声影像数据，同时对加载的心脏超声影像数据按时间序列进行排序的预处理操作；若加载的ct影像数据中包含患者多个不同范围的数据，则系统对所加载的ct影像数据进行预处理，只留下范围从大腿骨动脉到颈部动脉的大范围影像数据。然后将加载的三维数据存放到三维数据池中。最后将三维数据发送到vr显示模块进行可视化管理，由vr显示模块决定是否在vr显示设备上进行可视化。
149.在一个具体地实施例中，如图10所示，ct影像数据(第一医学图像)与超声影像数据(第二医学图像)配准融合与三维重建，包括：从数据管理模块的三维数据池中选择ct影像与包含一个完整心跳周期的心脏超声影像数据(4d超声影像数据)；在三维重建模块中通过特征点匹配算法进行4d超声影像数据与ct影像数据的融合配准(影像配准融合方法如图11所示)，得到位于同一坐标系下且特征点位置匹配的4d超声图像集(配准结果中第一目标医学图像)与ct图像数据(配准结果中第二目标医学图像)，并将配准后的4d超声图像集返回三维数据池中并替换原先的4d超声影像数据。对配准后的ct影像数据进行图像分割与三维重建(图像分割与三维重建方法如图12所示)，得到静态心脏模型(静态模型)，静态心脏模型由主动脉、静脉、肺静脉、肺动脉、心包、左心房、左心室、右心房、右心室、左侧房室瓣、右侧房室瓣、左侧动脉瓣、右侧动脉瓣等三维模型组成，并将静态心脏模型存放到三维数据池模块，最终完成影像数据的配准融合与三维重建。
150.在一个具体地实施例中，如图11所示，将第一医学图像和第二医学图像进行配准得到配准结果，包括：对4d超声影像(第二医学图像)进行特征提取，并生成其特征子，得到4d超声影像特征描述子；对ct影像(第一医学图像)进行特征提取，并生成其特征描述子，得到ct影像特征描述子；根据4d超声影像特征描述子与ct影像特征描述子的相似程度进行特征匹配，并分别对4d超声数据、ct影像数据进行矩阵变换操作，分别得到配准后的4d超声图像集(第一目标医学图像)及配准后的ct图像数据集(第二目标医学图像)；矩阵变换包含平移、旋转操作参数。
151.在一个具体地实施例中，如图13所示，为动态模型的建立包括：从三维数据池中选
择配准后的4d超声图像集(第二目标医学图像)；对获取到的4d超声图像集按时间戳序列进行心脏组织识别分割(具体方法如图14所示)，提取出心包、心脏各腔室及瓣膜的多时间序列心脏组织超声图像集合；对提取出的各个心脏组织按时间戳序列构建数学方程(以时间为自变量的动态数学方程模型)，得到各个心脏组织以时间为自变量的动态数学方程模型；从三维数据池中提取出静态心脏模型；建立各个心脏组织动态数学方程模型(以时间为自变量的动态数学方程模型)与静态心脏模型(静态模型)的映射关系，一个静态心脏组织模型对应一个动态数学方程；发送指令给心脏模拟器，标识启动模拟；心脏控制器根据各个静态心脏组织模型及其对应动态数学方程，对各个静态心脏组织模型进行旋转、平移、缩放等矩阵变换操作，完成动态心脏模型的构建，同时构建模拟血液流动模型。将构建的动态心脏模型及模拟血液流动模型发送到vr显示模块进行可视化处理；依次重复“心脏控制器根据各个静态心脏组织模型及其对应动态数学方程，对各个静态心脏组织模型进行旋转、平移、缩放等矩阵变换操作，完成动态心脏模型的构建，同时构建模拟血液流动模型；将构建的动态心脏模型及模拟血液流动模型发送到vr显示模块进行可视化处理”过程，实现心脏动态变化的可视化仿真模拟。
152.在一个具体地实施例中，如图14所示，基于4d超声图像集进行心脏组织识别分割(对配准结果中的第二医学图像进行处理)，包括：对每一帧4d超声图像集(第二目标医学图像)进行遍历，执行以下操作：基于unet方法对每一帧4d超声图像集进行图像分割，得到包含多个心脏组织标签的三维图像；对包含多个心脏组织标签的三维图像进行多标签分割，得到该帧4d超声图像集的心脏图像模型；对每一帧4d超声图像集遍历并执行上述步骤后，最终得到多时间序列三维图像集合。
153.在一个具体地实施例中，如图15所示，对提取出的各个心脏组织按时间戳序列构建数学方程(以时间为自变量的动态数学方程模型的建立包括)，方法如下：对每个时间戳序列的超声图像，沿着横断面提取每张图片的特征点；基于提取的特征点按位置、时间构建数学方程；进行数学方程优化，得到该心脏组织数学模型。
154.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
155.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的动态模型建立方法以及模拟操作方法的动态模型建立装置以及模拟操作装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个动态模型建立装置以及模拟操作装置实施例中的具体限定可以参见上文中对于动态模型建立方法以及模拟操作方法的限定，在此不再赘述。
156.在一个实施例中，提供了一种动态模型建立装置，包括：
157.医学图像获取模块，用于获取目标区域操作之前的第一医学图像和第二医学图像；
158.配准模块，用于将所述第一医学图像和所述第二医学图像进行配准得到配准结果；
159.重建模块，用于对所述配准结果中所述第一医学图像进行重建，得到静态模型；
160.模型处理模块，用于对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；
161.映射关系建立模块，用于建立各所述动态数学方程模型与所述静态模型的映射关系；
162.动态模型生成模块，用于根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。
163.在其中一个实施例中，上述医学图像获取模块还用于通过三维医学成像设备在操作之前，获取目标区域的三维影像数据作为第一医学图像；通过超声影像设备在操作之前，获取所述目标区域的超声数据作为第二医学图像。
164.在其中一个实施例中，上述配准模块还用于将所述第一医学图像和所述第二医学图像进行特征配准得到第一配准关系；基于所述第一配准关系对所述第一医学图像或所述第二医学图像进行处理，得到位于同一坐标系下且特征点位置匹配的第一目标医学图像和第二目标医学图像作为配准结果。
165.在其中一个实施例中，上述重建模块还用于对配准后的所述第一医学图像进行分割得到目标对象；对所述目标对象进行三维重建，得到所述静态模型。
166.在其中一个实施例中，模型处理模块还用于对所述配准后的第二医学图像按照时间顺序排列，并对按照时间顺序排列后的所述配准后的第二医学图像进行图像分割，得到每一所述配准后的第二医学图像对应的目标对象；对所述目标对象进行分割得到多个部位；对每一所述部位进行特征点提取；基于提取的所述特征点的位置和对应的时间，构建各所述部位以时间为自变量的动态数学方程模型。
167.在其中一个实施例中，映射关系建立模块还用于获取所述静态模型中各个部位的静态子模型；建立各所述动态数学方程模型与各个静态子模型的映射关系。
168.在一个实施例中，提供了一种动态模型建立装置，包括：
169.动态模型获取模块，用于获取根据动态模型建立装置生成的动态模型；
170.医疗器械模型获取模块，用于获取医疗器械模型；
171.操作模拟模块，用于在所述动态模型中控制所述医疗器械模型进行操作模拟。
172.在其中一个实施例中，上述操作模拟模块还用于将操作模拟的过程可视化，所述操作模拟的过程包括所述动态模型和所述医疗器械模型的运动过程。
173.在其中一个实施例中，所述医疗器械模型为导丝模型、导管模型、球囊模型和瓣膜模型中的至少一种；上述操作模拟模块还用于通过以下至少一种通过在所述动态模型中控制所述医疗器械模型进行操作模拟：在所述动态模型中控制所述导丝模型模拟导丝穿刺操作；在所述动态模型中控制所述导丝模型或所述导管模型模拟导丝或导管放置操作和/或退出操作；在所述动态模型中控制所述球囊模型模拟球囊预扩操作；在所述动态模型中控制所述球囊模型模拟球囊扩张操作；以及在所述动态模型中控制所述瓣膜模型模拟瓣膜装载、瓣膜放置操作以瓣膜工作中的至少一个。
174.在其中一个实施例中，上述操作模拟模块还用于通过以下至少一种将操作模拟的
过程可视化：计算穿刺过程中所述导丝模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果；计算所述导丝模型或导管模型与所述动态模型对应血管的拓扑关系和/或角度关系，并将所述拓扑关系和/或角度关系可视化；可视化所述导丝模型或导管模型进入或退出所述动态模型对应血管的长度/或速度信息；计算所述球囊模型与所述动态模型的对应血管的拓扑关系，并可视化所述拓扑关系；以及计算所述瓣膜模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果。
175.上述动态模型建立装置以及模拟操作装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图20所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种动态模型建立方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
176.本领域技术人员可以理解，图20中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
177.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
178.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
179.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
180.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器
(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
181.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
182.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种动态模型建立方法，其特征在于，所述方法包括：获取目标区域操作之前的第一医学图像和第二医学图像；将所述第一医学图像和所述第二医学图像进行配准得到配准结果；对所述配准结果中所述第一医学图像进行重建，得到静态模型；对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；建立各所述动态数学方程模型与所述静态模型的映射关系；根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。2.根据权利要求1所述的动态模型建立方法，其特征在于，所述获取目标区域操作之前的第一医学图像和第二医学图像，包括：通过三维医学成像设备在操作之前，获取目标区域的三维影像数据作为第一医学图像；通过超声影像设备在操作之前，获取所述目标区域的超声数据作为第二医学图像。3.根据权利要求1所述的动态模型建立方法，其特征在于，所述将所述第一医学图像和所述第二医学图像进行配准得到配准结果，包括：将所述第一医学图像和所述第二医学图像进行特征配准得到第一配准关系；基于所述第一配准关系对所述第一医学图像或所述第二医学图像进行处理，得到位于同一坐标系下且特征点位置匹配的第一目标医学图像和第二目标医学图像作为配准结果。4.根据权利要求1所述的动态模型建立方法，其特征在于，所述对所述配准结果中的所述第一医学图像进行重建，得到静态模型，包括：对配准后的所述第一医学图像进行分割得到目标对象；对所述目标对象进行三维重建，得到所述静态模型。5.根据权利要求4所述的动态模型建立方法，其特征在于，所述对所述配准结果中的所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型，包括：对所述配准后的第二医学图像按照时间顺序排列，并对按照时间顺序排列后的所述配准后的第二医学图像进行图像分割，得到每一所述配准后的第二医学图像对应的目标对象；对所述目标对象进行分割得到多个部位；对每一所述部位进行特征点提取；基于提取的所述特征点的位置和对应的时间，构建各所述部位以时间为自变量的动态数学方程模型。6.根据权利要求5所述的动态模型建立方法，其特征在于，所述建立各所述动态数学方程模型与所述静态模型的映射关系，包括：获取所述静态模型中各个部位的静态子模型；建立各所述动态数学方程模型与各个静态子模型的映射关系。7.一种模拟操作方法，其特征在于，所述模拟操作方法包括：获取根据权利要求1至6任意一项所述动态模型建立方法生成的动态模型；获取医疗器械模型；在所述动态模型中控制所述医疗器械模型进行操作模拟。
8.根据权利要求7所述的模拟操作方法，其特征在于，所述通过在所述动态模型中控制所述医疗器械模型进行操作模拟，包括：将操作模拟的过程可视化，所述操作模拟的过程包括所述动态模型和所述医疗器械模型的运动过程。9.根据权利要求8所述的模拟操作方法，其特征在于，所述医疗器械模型为导丝模型、导管模型、球囊模型和瓣膜模型中的至少一种；所述通过在所述动态模型中控制所述医疗器械模型进行操作模拟，包括以下至少一种：在所述动态模型中控制所述导丝模型模拟导丝穿刺操作；在所述动态模型中控制所述导丝模型或所述导管模型模拟导丝或导管放置操作和/或退出操作；在所述动态模型中控制所述球囊模型模拟球囊预扩操作；在所述动态模型中控制所述球囊模型模拟球囊扩张操作；以及在所述动态模型中控制所述瓣膜模型模拟瓣膜装载、瓣膜放置操作以瓣膜工作中的至少一个。10.根据权利要求9所述的模拟操作方法，其特征在于，所述将操作模拟的过程可视化，包括以下至少一种：计算穿刺过程中所述导丝模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果；计算所述导丝模型或导管模型与所述动态模型对应血管的拓扑关系和/或角度关系，并将所述拓扑关系和/或角度关系可视化；可视化所述导丝模型或导管模型进入或退出所述动态模型对应血管的长度/或速度信息；计算所述球囊模型与所述动态模型的对应血管的拓扑关系，并可视化所述拓扑关系；以及计算所述瓣膜模型与所述动态模型的对应的血管之间的距离以及接触位置，并基于所述距离以及接触位置生成碰撞检测结果，可视化所述碰撞检测结果。11.一种动态模型建立装置，其特征在于，所述装置包括：医学图像获取模块，用于获取目标区域操作之前的第一医学图像和第二医学图像；配准模块，用于将所述第一医学图像和所述第二医学图像进行配准得到配准结果；重建模块，用于对所述配准结果中所述第一医学图像进行重建，得到静态模型；模型处理模块，用于对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；映射关系建立模块，用于建立各所述动态数学方程模型与所述静态模型的映射关系；动态模型生成模块，用于根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。12.一种模拟操作装置，其特征在于，所述模拟操作装置包括：动态模型获取模块，用于获取根据权利要求11所述动态模型建立装置生成的动态模型；医疗器械模型获取模块，用于获取医疗器械模型；
操作模拟模块，用于在所述动态模型中控制所述医疗器械模型进行操作模拟。13.一种动态模型建立系统，其特征在于，所述系统包括图像处理设备以及图像采集设备，所述图像处理设备与所述图像采集设备相通信；所述图像采集设备用于获取目标区域操作之前的第一医学图像和第二医学图像；所述图像处理设备用于实现权利要求1至6任意一项所述的动态模型建立方法。14.根据权利要求13所述的系统，其特征在于，所述图像采集设备包括超声设备和三维图像采集设备。15.一种模拟操作系统，其特征在于，所述模拟操作系统包括显示设备以及权利要求13或14所述的动态模型建立系统；所述显示设备用于获取基于权利要求11或12所述的动态模型建立系统生成的动态模型以及所述医疗器械模型，并显示在所述动态模型中控制所述医疗器械模型进行的模拟操作。16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6或7至9中任一项所述的方法的步骤。

技术总结
本申请涉及一种动态模型建立方法、模拟操作方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标区域操作之前的第一医学图像和第二医学图像；将所述第一医学图像和所述第二医学图像进行配准得到配准结果；对所述配准结果中所述第一医学图像进行重建，得到静态模型；对所述配准结果中所述第二医学图像进行处理，得到以时间为自变量的动态数学方程模型；建立各所述动态数学方程模型与所述静态模型的映射关系；根据所述映射关系对所述静态模型进行处理，得到实时变化的动态模型。采用本方法能够生成更准确的动态模型。模型。采用本方法能够生成更准确的动态模型。模型。采用本方法能够生成更准确的动态模型。


技术研发人员：请求不公布姓名
受保护的技术使用者：深圳心玑医疗机器人有限公司
技术研发日：2023.04.04
技术公布日：2023/7/12