适用于多模态的脑血管分割方法、装置、设备和存储介质

1.本发明涉及计算机技术领域，尤其涉及一种适用于多模态的脑血管分割方法、装置、设备和存储介质。


背景技术：

2.在相关技术中，cn114708280a提供了一种可适用于多模态的脑血管分割算法，包括获取真实患者的临床病例并进行数据预处理，分别处理得到三个视角的切片数据，将其进行二值化处理及感兴趣区域分割，得到粗提取的脑血管二值图像，通过算法处理得到粗提取脑血管边缘，求取为粗提取脑血管中心线上的点，将预处理后的mra、cta数据与粗提取中心线进行空间对齐，将三维粗提取中心线注册到对应体积的脑部dicom数据上，并使用多图像作为网络模型的输入，构建可适用于多模态的脑血管分割模型，对得到的分割结果进行三维重建，具有提高血管分割精度和准确率、放置血管断裂、增强网络模型鲁棒性和复用性的优点。
3.cn107507212a提供了一种数字脑可视化方法、装置、计算设备及存储介质，该方法包括：当接收到数字脑可视化请求时，获取数字脑可视化请求中的待可视化脑图像，该待可视化脑图像包括tof模态下磁共振造影脑图像和t1模态下磁共振造影脑图像，使用预设的脑血管分割算法提取tof模态下磁共振造影脑图像中的脑血管结构，使用预设的提取算法提取t1模态下磁共振造影脑图像中的脑组织结构，对提取的脑血管结构和脑组织结构进行三维配准，得到配准后的脑部图像并绘制输出，从而提高了脑组织与脑血管配准融合的准确性，提高了数字脑可视化的准确性，进而提高了数字脑可视化效果。
4.cn115661135a提供了一种心脑血管造影的病灶区域分割方法，涉及图像处理技术领域。包括以下步骤：获取心脑血管造影图像；对造影图像中的噪声像素点进行标记，并获取造影图像的噪声密度；根据造影图像的噪声密度设置初始滤波窗口；获取每个像素点对应的自适应滤波窗口；获取去噪后的心脑血管图像，并对其阈值分割获取待检测的血管脉络图；将待检测的血管脉络图通过训练好的神经网络获取血管脉络图的病灶区域。
5.综上，在相关技术中，在进行脑血管分割时，并未针对脑血管中毛细血管较多的特点，使用对于边界更敏感的梯度信息来脑血管的边界，也未对三维的医学图像进行充分利用。
6.公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

7.本发明实施例提供一种适用于多模态的脑血管分割方法、装置、设备和存储介质，能够充分利用三维的医学图像的信息，通过梯度信息提升脑血管的分割精度。
8.本发明实施例的第一方面，提供一种适用于多模态的脑血管分割方法,包括：
对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。
9.根据本发明的实施例，根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域，包括：对所述第一三维特征信息进行解码，获得脑血管所在的第一区域；根据所述三维梯度信息，在所述体素的多个方向的梯度中，确定是否存在梯度的模大于或等于第一阈值的第一方向；在存在梯度的模大于或等于第一阈值的第一方向的情况下，确定所述第一方向的第一法平面，其中，所述体素位于所述第一法平面上；获取多个体素的第一法平面的交集，获得脑血管所在的第一验证区域；根据所述第一区域和所述第一验证区域，确定脑血管所在的第二区域；根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域；根据所述第二验证区域和所述第二区域，确定脑血管所在的所述目标区域。
10.根据本发明的实施例，根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域，包括：将各个第一二维特征信息进行解码，获得各个二维图像块中脑血管所在的第三区域；根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域；确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，其中，i为大于1的正整数；在第i个交并比小于交并比阈值的情况下，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域；在第i个交并比大于或等于交并比阈值的情况下，将第i个二维图像块中的第三区域确定为第i个二维图像块的第三验证区域；根据各个二维图像块中的第三验证区域，获得所述第二验证区域。
11.根据本发明的实施例，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域，包括：
根据第i个二维图像块对应的二维梯度信息，在第i个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第i个二维图像块中脑血管所在的第四区域；根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域。
12.根据本发明的实施例，根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域，包括：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布函数；在所述第四区域中设置第二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式，确定第一概率分布函数和第二概率分布函数之间的分布误差，其中，q3为第三区域，q4为第四区域，p1(x,y)为第一概率分布函数，p2(x,y)为第一概率分布函数；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。
13.根据本发明的实施例，所述方法还包括：对样本三维医学图像进行预处理，获得多个样本三维图像块，以及与所述样本三维图像块对应的多个样本二维图像块；通过所述三维图像处理模型获取所述样本三维图像块的样本三维特征信息，并对所述样本三维特征信息进行解码，获得第一预测区域；通过所述二维图像处理模型获取所述样本二维图像块的样本二维特征信息，并对所述样本二维特征信息进行解码，获得第二预测区域；获取所述样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息；根据所述样本三维梯度信息，确定第三预测区域；获取所述样本二维图像块中每个体素相对于周边多个方向的样本二维梯度信息；根据所述样本二维梯度信息，确定第四预测区域；根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数；
根据所述损失函数，训练三维图像处理模型和二维图像处理模型，获得训练后的三维图像处理模型和训练后的二维图像处理模型。
14.根据本发明的实施例，根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数，包括：根据公式
15.确定所述损失函数loss，其中，t为样本三维图像块的数量，n为每个样本三维图像块中的像素数量，n为每个样本二维图像块中的像素数量m为每个样本三维图像块切分出的样本二维图像块的数量，p
1tj
为根据所述第一预测区域确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg
为根据标注信息确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg3
为根据标注信息与第三预测区域的并集确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
2tkj
为根据所述第二预测区域确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg
为根据所述标注信息确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg4
为根据所述标注信息与所述第四预测区域的并集确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，α1、α2、α3和α4均为预设权重。
16.本发明实施例的第二方面，提供一种适用于多模态的脑血管分割装置,包括：预处理模块，用于对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；三维特征信息模块，用于将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；三维梯度信息模块，用于获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；二维特征信息模块，用于将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；二维梯度信息模块，用于获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；目标区域模块，用于根据所述第一三维特征信息、所述三维梯度信息、所述第一二
维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；分割结果模块，用于根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。
17.根据本发明的实施例，所述目标区域模块进一步用于：对所述第一三维特征信息进行解码，获得脑血管所在的第一区域；根据所述三维梯度信息，在所述体素的多个方向的梯度中，确定是否存在梯度的模大于或等于第一阈值的第一方向；在存在梯度的模大于或等于第一阈值的第一方向的情况下，确定所述第一方向的第一法平面，其中，所述体素位于所述第一法平面上；获取多个体素的第一法平面的交集，获得脑血管所在的第一验证区域；根据所述第一区域和所述第一验证区域，确定脑血管所在的第二区域；根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域；根据所述第二验证区域和所述第二区域，确定脑血管所在的所述目标区域。
18.根据本发明的实施例，所述目标区域模块进一步用于：将各个第一二维特征信息进行解码，获得各个二维图像块中脑血管所在的第三区域；根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域；确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，其中，i为大于1的正整数；在第i个交并比小于交并比阈值的情况下，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域；在第i个交并比大于或等于交并比阈值的情况下，将第i个二维图像块中的第三区域确定为第i个二维图像块的第三验证区域；根据各个二维图像块中的第三验证区域，获得所述第二验证区域。
19.根据本发明的实施例，所述目标区域模块进一步用于：根据第i个二维图像块对应的二维梯度信息，在第i个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第i个二维图像块中脑血管所在的第四区域；根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域。
20.根据本发明的实施例，所述目标区域模块进一步用于：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布
函数；在所述第四区域中设置第二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式，确定第一概率分布函数和第二概率分布函数之间的分布误差，其中，q3为第三区域，q4为第四区域，p1(x,y)为第一概率分布函数，p2(x,y)为第一概率分布函数；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。
21.根据本发明的实施例，所述装置还包括训练模块，用于：对样本三维医学图像进行预处理，获得多个样本三维图像块，以及与所述样本三维图像块对应的多个样本二维图像块；通过所述三维图像处理模型获取所述样本三维图像块的样本三维特征信息，并对所述样本三维特征信息进行解码，获得第一预测区域；通过所述二维图像处理模型获取所述样本二维图像块的样本二维特征信息，并对所述样本二维特征信息进行解码，获得第二预测区域；获取所述样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息；根据所述样本三维梯度信息，确定第三预测区域；获取所述样本二维图像块中每个体素相对于周边多个方向的样本二维梯度信息；根据所述样本二维梯度信息，确定第四预测区域；根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数；根据所述损失函数，训练三维图像处理模型和二维图像处理模型，获得训练后的三维图像处理模型和训练后的二维图像处理模型。
22.根据本发明的实施例，所述训练模块进一步用于：根据公式
23.确定所述损失函数loss，其中，t为样本三维图像块的数量，n为每个样本三维图像块中的像素数量，n为每个样本二维图像块中的像素数量m为每个样本三维图像块切分出的样本二维图像块的数量，p
1tj
为根据所述第一预测区域确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg
为根据标注信息确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg3
为根据标注信息与第三预测区域的并集确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
2tkj
为根据所述第二预测区域确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg
为根据所述标注信息确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg4
为根据所述标注信息与所述第四预测区域的并集确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，α1、α2、α3和α4均为预设权重。
24.本发明实施例的第三方面，提供一种适用于多模态的脑血管分割设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
25.本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
26.根据本发明的实施例的适用于多模态的脑血管分割方法，可将脑部三维图像切分为多个三维图像块及多个二维图像块，并分别获取三维图像块中的三维梯度信息及二维图像块中的二维梯度信息，从而通过三维梯度信息和二维梯度信息对于边界的敏感性来增强边界，提升脑血管分割的准确性，减少脑血管漏检的概率。并且，在确定第二验证区域时，可通过蒙特卡洛模拟的方式确定通过特征信息和梯度信息获得的脑血管所在区域的差别，进而基于该差别验证脑血管所在区域，使得第二验证区域中脑血管漏检的概率降低。进一步地，在模型训练时，引入梯度信息进行训练，提升模型的客观性并减少模型漏检的概率。本发明可融合多种模态的信息，来分割脑血管，提升脑部三维医学图像的信息利用率以及脑血管分割的准确性。
27.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将更清楚。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例，图1示例性地示出本发明实施例的适用于多模态的脑血管分割方法的流程示意图；图2示例性地示出本发明实施例的适用于多模态的脑血管分割装置的框图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
31.图1示例性地示出本发明实施例的适用于多模态的脑血管分割方法的流程示意图，如图1所示，所述方法包括：步骤s101，对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；步骤s102，将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；步骤s103，获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；步骤s104，将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；步骤s105，获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；步骤s106，根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；步骤s107，根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。
32.根据本发明的实施例的适用于多模态的脑血管分割方法，可将脑部三维图像切分为多个三维图像块及多个二维图像块，并分别获取三维图像块中的三维梯度信息及二维图像块中的二维梯度信息，从而通过三维梯度信息和二维梯度信息对于边界的敏感性来增强边界，提升脑血管分割的准确性。并使用将三维图像块和二维图像块的特征信息和梯度信息综合的方式，融合多种模态的信息，来分割脑血管，提升脑部三维医学图像的信息利用率以及脑血管分割的准确性。
33.根据本发明的实施例，脑部三维医学图像可包括多种医学图像，例如，脑部的mri（magnetic resonance imaging，核磁共振）图像，脑部ct（computed tomography，计算机断层扫描）图像等，本发明对脑部三维医学图像的类型不做限制。
34.根据本发明的实施例，在步骤s101中，可对脑补三维医学图像进行预处理，获得多个三维图像块和多个二维图像块。三维医学图像可以是三维立体图像，且分辨率较高，从而可适应脑部的特点，例如，毛细血管较多等特点。由于三维医学图像的分辨率较高，尺寸较大，可将三维医学图像切分成多个三维图像块，以对每个三维图像块进行处理。为了更充分地利用脑部三维医学图像的信息，还可对每个三维图像块进行切分，例如，按照三维图像块的高度方向进行切分，获得多个二维图像块。在示例中，还可对脑部三维医学图像进行其他预处理，例如，对每个体素的值进行归一化等，并对归一化处理后的脑部三维医学图像进行
上述切分处理。
35.根据本发明的实施例，在步骤s102中，三维图像处理模型可以是深度学习神经网络模型，例如，卷积核为三维卷积核的卷积神经网络模型，本发明对三维图像处理模型的类型不做限制。
36.根据本发明的实施例，可将每个三维图像块输入三维图像处理模型进行处理，从而获得三维图像块的第一三维特征信息。例如，通过三维卷积核的卷积处理，获得第一三维特征信息。
37.根据本发明的实施例，在步骤s103中，由于脑血管所在的区域和背景区域之间存在差异，例如，体素值存在统计学意义上的显著差异，因此，在脑血管所在区域的边界位置处，体素值的梯度较高，即，体素值在脑血管所在的区域和背景区域之间发生显著的变化，因此，脑血管所在区域的边界对于梯度信息较为敏感。因此，可获取三维图像块中每个体素相对于周边多个方向的三维梯度信息，以三维图像块中任意体素为例，如果该体素不是处于三维图像块边缘的体素，则该体素周围存在26个体素点，可基于该体素的体素值，以及周围26个体素点的体素值，确定该体素周围26个方向的三维梯度信息。可依次或同时对三维图像块中的各个体素点执行上述处理，从而确定各个体素点相对于周边多个方向的三维梯度信息。
38.根据本发明的实施例，在步骤s104中，可将三维图像块切分出的二维图像块分别输入二维图像处理模型，所述二维图像处理模型可以是深度学习神经网络模型，例如，卷积核为二维卷积核的卷积神经网络模型，本公开对二维图像处理模型的类性不做限制。二维图像处理模型可对二维图像块进行二维卷积处理，获得每个二维图像块对应的第一二维特征信息。
39.根据本发明的实施例，在步骤s105中，如上所述，脑血管所在区域的边界对于梯度信息较为敏感，因此，可获取二维图像块每个像素相对于周边多个方向的二维梯度信息，以二维图像块中任意像素为例，如果该像素不是处于二维图像块边缘的像素，则该像素周围存在8个像素点，可基于该像素的像素值，以及周围8个像素点的像素值，确定该像素周围8个方向的二维梯度信息。可依次或同时对二维图像块中的各个像素点执行上述处理，从而确定各个像素点相对于周边多个方向的二维梯度信息。
40.根据本发明的实施例，在步骤s106中，在获得第一三维特征信息、三维梯度信息、第一二维特征信息和二维梯度信息后，可综合上述多种信息，来确定三维图像块中脑血管所在的目标区域，例如，可分别基于第一三维特征信息、三维梯度信息、第一二维特征信息和二维梯度信息来确定脑血管所在区域，并进行相互验证，从而确定最终的目标区域。
41.根据本发明的实施例，步骤s106可包括：对所述第一三维特征信息进行解码，获得脑血管所在的第一区域；根据所述三维梯度信息，在所述体素的多个方向的梯度中，确定是否存在梯度的模大于或等于第一阈值的第一方向；在存在梯度的模大于或等于第一阈值的第一方向的情况下，确定所述第一方向的第一法平面，其中，所述体素位于所述第一法平面上；获取多个体素的第一法平面的交集，获得脑血管所在的第一验证区域；根据所述第一区域和所述第一验证区域，确定脑血管所在的第二区域；根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域；根据所述第二验证区域和所述第二区域，确定脑血管所在的所述目标区域。
42.根据本发明的实施例，可对第一三维特征信息进行解码，获得脑血管所在的第一区域，例如，通过反卷积模型来进行解码，获得脑血管所在的第一区域。但该第一区域可能存在误差，可通过三维梯度信息来进一步验证。
43.根据本发明的实施例，如上所述，脑血管所在区域的边界的体素对于梯度信息敏感，即，在边界处，边界上的体素点相对于边界外的体素点的梯度较大。在所述三维梯度信息中，可获取每个体素相对于周围26个方向的梯度信息，可在每个体素的26个梯度信息中，确定是否存在梯度的模大于或等于第一阈值的第一方向，例如，坐标为（x，y，z）的体素相对于其正上方的体素的梯度的模大于或等于第一阈值，则该体素点的第一方向为正上方。可按照上述方式，确定在三维图像块的多个体素点中，存在梯度的模大于或等于第一阈值的体素点，并确定这些体素点的第一方向。
44.根据本发明的实施例，可基于上述存在梯度的模大于或等于第一阈值的体素点，绘制这些体素点的第一方向的第一法平面，且上述体素点位于第一法平面上。
45.根据本发明的实施例，上述体素点位于第一法平面可围成脑血管所在的区域，在示例中，可获取上述多个体素点的第一法平面的交集，由第一法平面的交集围成脑血管所在的第一验证区域。在示例中，每个第一法平面的交集为第一法平面在体素点所在位置周围的微小的邻域内的平面组成的较大的曲面，该曲面围成的区域即为第一验证区域。
46.根据本发明的实施例，根据第一区域和第一验证区域可确定脑血管所在的第二区域，例如，由于脑血管中毛细血管较多，通过上述两种方式检测出的第一区域和第一验证区域均可能存在漏检的情况，因此，可将第一区域和第一验证区域的并集确定为第二区域，从而减少漏检的情况。本发明对通过第一区域和第一验证区域确定第二区域的具体方式不做限制。
47.根据本发明的实施例，所述第二区域可作为通过第一验证区域验证后的脑血管所在区域。进一步地，还可通过第一二维特征信息和二维梯度信息获得第二验证区域，并通过第二验证区域进一步对第二区域进行验证，来确定脑血管所在的目标区域，从而进一步提升目标区域的准确性。
48.根据本发明的实施例，根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域，包括：将各个第一二维特征信息进行解码，获得各个二维图像块中脑血管所在的第三区域；根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域；确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，其中，i为大于1的正整数；在第i个交并比小于交并比阈值的情况下，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域；在第i个交并比大于或等于交并比阈值的情况下，将第i个二维图像块中的第三区域确定为第i个二维图像块的第三验证区域；根据各个二维图像块中的第三验证区域，获得所述第二验证区域。
49.根据本发明的实施例，可通过适用于二维图像的解码网络对第一二维特征信息进行解码，获得二维图像块中脑血管所在的第三区域，但该第三区域可能存在误差，可通过二维梯度信息进行进一步验证。
50.根据本发明的实施例，可根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域，即，通过第1个二维图像
块的二维梯度信息对第1个二维图像块的第三区域进行验证，获得第三验证区域。
51.根据本发明的实施例，根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域：根据第1个二维图像块对应的二维梯度信息，在第1个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第1个二维图像块中脑血管所在的第四区域；根据所述第1个二维图像块中的第三区域和第四区域，获得第1个二维图像块的第三验证区域。
52.根据本发明的实施例，与以上求解第一方向的方式类似，可确定每个像素点相对于周围8个方向的像素点的梯度中，是否存在梯度的模大于或等于第二阈值的第二方向，从而确定出存在所述第二方向的像素点。并可过这些像素点，绘制各个像素点的第二方向的垂线，由这些垂线围成的区域即为脑血管所在的区域，即，第四区域，例如，这些垂线的交集可围成脑血管所在的区域，区域的边界是由每个垂线在像素点周围微小范围内的邻域的直线围成的曲线。
53.根据本发明的实施例，可通过第三区域和第四区域获得第三验证区域。例如，脑血管中的毛细血管易被漏检，可通过获取第三区域和第四区域的并集来减少漏检的情况，从而可将第三区域和第四区域的并集确定为第三验证区域。
54.根据本发明的实施例，根据所述第1个二维图像块中的第三区域和第四区域，获得第1个二维图像块的第三验证区域，包括：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布函数；在所述第四区域中设置第二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式（1）确定第一概率分布函数和第二概率分布函数之间的分布误差：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，q3为第三区域，q4为第四区域，p1(x,y)为第一概率分布函数，p2(x,y)为第一概率分布函数；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。
55.根据本发明的实施例，可通过蒙特卡洛模拟的方式来确定第三验证区域。可在第三区域中设置第一测试点，该点为可移动的点，可为第一测试点设置第一运动向量和第一运动规律。第一运动向量为第一测试点的初始运动向量，例如，给予第一测试点在某个方向上的初速度。第一运动规律为第一测试点在第三区域内的运动规律，例如，在第三区域内受到的阻力，碰到第三区域的边缘时反弹的角度，反弹时能量的损失率等运动规律。类似地，可在第四区域中设置第二测试点，以及第二测试点的第二运动向量和其在第四区域中的第
二运动规律。在示例中，每次模拟过程中，第一测试点和第二测试点的初始位置相同，第一运动向量和第二运动向量相同，第一运动规律和第二运动规律相同，从而可在相同的初始条件下，对两个测试点在两个区域中的运动过程进行模拟。
56.根据本发明的实施例，在多次模拟后，可统计第一测试点在第三区域中的第一运动结束位置，并拟合获得第一运动结束位置的第一概率分布函数。使用相同的方式，可统计第二测试点在第四区域中的第二运动结束位置，并拟合获得第二运动结束位置的第二概率分布函数。
57.根据本发明的实施例，如上所述，第一测试点和第二测试点的初始条件是相同的，如果结束位置不同，则表明第三区域和第四区域存在差别，例如，边界的位置存在差别。可利用第一概率分布函数和第二概率分布函数的差别来表示第三区域和第四区域的差别。在示例中，可通过公式（1）来表示第三区域和第四区域的差别，即，通过两种概率分布函数在第三区域和第四区域的并集内的每个位置处的差距的积分值，来表示第三区域和第四区域的差别。如果该差别小于或等于预设误差阈值，则可利用第三区域和第四区域的并集作为第三验证区域，以减小对于脑血管的漏检的可能性。如果第三区域和第四区域的差距过大，例如，公式（1）求解的结果差距过大，则可对二维图像处理模型和/或二维图像处理模型对应的解码模型重新训练，从而获得准确性更高的第三区域，进而提升第三验证区域的准确性。
58.根据本发明的实施例，在获得第1个二维图像块的第三验证区域后，可基于对后续的二维图像块的第三验证区域进行求解。在示例中，后续每个第三验证区域的求解方式均可与第1个二维图像块的第三验证区域的求解方式一致。在另一示例中，为了节约运算资源，也可不对全部二维图像块的第三验证区域通过蒙特卡洛模拟的方式进行求解。
59.在示例中，以第i个二维图像块为例，可解码获得第i个二维图像块的第三区域，并将其与第i-1个二维图像块中的第三验证区域进行比较。由于脑血管在各个二维图像块之间具有延续性，则两个二维图像块中的脑血管所在区域的相似性较高，因此，可确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，如果交并比大于或等于交并比阈值，则可直接将第i个二维图像块的第三区域确定为第i个二维图像块的第三验证区域。如果交并比小于交并比阈值，则可参照第1个二维图像块中的第三验证区域的求解方式，获取第i个二维图像块的第三验证区域。即，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域，包括：根据第i个二维图像块对应的二维梯度信息，在第i个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第i个二维图像块中脑血管所在的第四区域；根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域。其中，根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域，包括：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布函数；在所述第四区域中设置第
二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式（1），确定第一概率分布函数和第二概率分布函数之间的分布误差；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。
60.根据本发明的实施例，在获得各个二维图像块中的第三验证区域后，可将第三验证区域进行组合，例如，按照将三维图像块切分为多个二维图像块的方式进行反向操作，从而将第三验证区域组合成第二验证区域。
61.根据本发明的实施例，可基于第二验证区域和第二区域，确定脑血管所在的所述目标区域。例如，为了进一步减少脑血管中的毛细血管漏检的概率，可将第二验证区域和第二区域的并集，确定为脑血管所在的目标区域。
62.通过这种方式，可通过三维梯度信息对第一区域进行验证，减少脑血管漏检的概率。并可通过第一二维特征信息和二维梯度信息获得第二验证区域，对第二区域进行进一步验证，进一步减少脑血管漏检的概率。并且，在确定第二验证区域时，可通过蒙特卡洛模拟的方式确定通过特征信息和梯度信息获得的脑血管所在区域的差别，进而基于该差别验证脑血管所在区域，使得第二验证区域中脑血管漏检的概率降低。
63.根据本发明的实施例，在步骤s107中，在获得每个三维图像块中脑血管所在的目标区域后，可对各个目标区域进行组合，获得脑部三维医学图像的脑血管分割结果。例如，通过将脑部三维医学图像切分成多个三维图像块的方式进行反向操作，从而将各个目标区域组合成为所述脑血管分割结果。
64.根据本发明的实施例，上述三维图像处理模型和二维图像处理模型在使用之前可预先进行训练。所述方法还包括：对样本三维医学图像进行预处理，获得多个样本三维图像块，以及与所述样本三维图像块对应的多个样本二维图像块；通过所述三维图像处理模型获取所述样本三维图像块的样本三维特征信息，并对所述样本三维特征信息进行解码，获得第一预测区域；通过所述二维图像处理模型获取所述样本二维图像块的样本二维特征信息，并对所述样本二维特征信息进行解码，获得第二预测区域；获取所述样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息；根据所述样本三维梯度信息，确定第三预测区域；获取所述样本二维图像块中每个体素相对于周边多个方向的样本二维梯度信息；根据所述样本二维梯度信息，确定第四预测区域；根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数；根据所述损失函数，训练三维图像处理模型和二维图像处理模型，获得训练后的三维图像处理模型和训练后的二维图像处理模型。
65.根据本发明的实施例，样本三维医学图像中具有标注信息，即，由医生等专业人士对脑血管所在区域进行判断后做出的标注，可认为具有一定的准确性。但由于不同的人的专业水平、标注偏好、操作误差等区别，标注信息也可能存在一定误差，且具有一定的不客观性，因此，除了基于标注信息训练上述两个模型外，还可通过梯度信息等客观信息来进一步训练模型，从而使得模型的识别结果更准确和客观。
66.根据本发明的实施例，在预处理后，可获得样本三维医学图像的多个样本三维图像块，以及样本三维图像块对应的多个样本二维图像块。与处理方式与脑部三维医学图像的与处理方式相似，在此不再赘述。
67.根据本发明的实施例，通过三维图像处理模型及其对应的解码模型，可获得样本三维图像块的第一预测区域，即，三维图像处理模型预测的脑血管所在的区域，该预测结果可能存在误差。
68.根据本发明的实施例，通过二维图像处理模型及其对应的解码模型，可获得样本二维图像块的第二预测区域，即，二维图像处理模型预测的脑血管所在的区域，该预测结果可能存在误差。
69.根据本发明的实施例，可获得样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息，并基于样本三维梯度信息确定样本三维图像块中的第三预测区域，第三预测区域虽然可能存在误差，但第三预测区域是根据样本三维图像块中各个体素的体素值确定的，因此，第三预测区域具有客观性。
70.根据本发明的实施例，可获得样本二维图像块中每个像素相对于周边多个方向的样本二维梯度信息，并基于样本二维梯度信息确定样本二维图像块中的第四预测区域，第四预测区域虽然可能存在误差，但第四预测区域是根据样本二维图像块中各个像素的像素值确定的，因此，第四预测区域具有客观性。
71.根据本发明的实施例，可基于以上获得的所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域，以及样本三维医学图像的标注信息，来求解三维图像处理模型和二维图像处理模型的损失函数。如上所述，为了提升模型的准确性和客观性，可参考基于梯度信息获得的第三预测区域和第四预测区域，来计算损失函数。
72.根据本发明的实施例，根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数，包括：根据公式（2）确定所述损失函数loss，（2）其中，t为样本三维图像块的数量，n为每个样本三维图像块中的像素数量，n为每个样本二维图像块中的像素数量m为每个样本三维图像块切分出的样本二维图像块的数量，p
1tj
为根据所述第一预测区域确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg
为根据标注信息确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg3
为根据标注信息与第三预测区域的并集确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
2tkj
为根据所述第二预测区域
确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg
为根据所述标注信息确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg4
为根据所述标注信息与所述第四预测区域的并集确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，α1、α2、α3和α4均为预设权重。
73.根据本发明的实施例，公式（2）中第一项为第一预测区域与标注信息确定的各个样本三维图像块中脑血管所在区域的像素点的交叉熵损失函数。为了提升模型预测结果的客观性和准确性，可参考梯度信息确定的脑血管所在区域，公式（2）的第二项为第一预测区域，以及标注信息和第三预测区域的并集确定的各个样本三维图像块中脑血管所在区域的像素点的交叉熵损失函数。公式（2）中第三项为第二预测区域与标注信息确定的各个样本二维图像块中脑血管区域的像素点的交叉熵损失函数。为了提升模型预测结果的客观性和准确性，可参考梯度信息确定的脑血管所在区域，公式（2）的第四项为第二预测区域，以及标注信息和第四预测区域的并集确定的各个样本二维图像块中脑血管所在区域的像素点的交叉熵损失函数。可将上述四种交叉熵损失函数进行加权求和，获得三维图像处理模型和二维图像处理模型的损失函数。
74.根据本发明的实施例，可使用上述损失函数进行训练，在重复多次训练后，可确定三维图像处理模型和二维图像处理模型的精度，在精度符合要求后，可获得训练后的三维图像处理模型和训练后的二维图像处理模型。
75.通过这种方式，可参考由梯度信息确定的第三预测区域和第四预测区域来构造损失函数，从而提升模型的客观性，减少由于人工标注误差和偏好造成的模型精度的影响。并且，在引入由梯度信息确定的第三预测区域和第四预测区域后，还可使模型提升检测精度，减少对脑血管漏检的可能性。
76.根据本发明的实施例的适用于多模态的脑血管分割方法，可将脑部三维图像切分为多个三维图像块及多个二维图像块，并分别获取三维图像块中的三维梯度信息及二维图像块中的二维梯度信息，从而通过三维梯度信息和二维梯度信息对于边界的敏感性来增强边界，提升脑血管分割的准确性，减少脑血管漏检的概率。并且，在确定第二验证区域时，可通过蒙特卡洛模拟的方式确定通过特征信息和梯度信息获得的脑血管所在区域的差别，进而基于该差别验证脑血管所在区域，使得第二验证区域中脑血管漏检的概率降低。进一步地，在模型训练时，引入梯度信息进行训练，提升模型的客观性并减少模型漏检的概率。本发明可融合多种模态的信息，来分割脑血管，提升脑部三维医学图像的信息利用率以及脑血管分割的准确性。
77.图2示例性地示出本发明实施例的适用于多模态的脑血管分割装置的框图，如图2所示，所述装置包括：预处理模块101，用于对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；三维特征信息模块102，用于将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；三维梯度信息模块103，用于获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；
二维特征信息模块104，用于将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；二维梯度信息模块105，用于获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；目标区域模块106，用于根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；分割结果模块107，用于根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。
78.根据本发明的实施例，所述目标区域模块进一步用于：对所述第一三维特征信息进行解码，获得脑血管所在的第一区域；根据所述三维梯度信息，在所述体素的多个方向的梯度中，确定是否存在梯度的模大于或等于第一阈值的第一方向；在存在梯度的模大于或等于第一阈值的第一方向的情况下，确定所述第一方向的第一法平面，其中，所述体素位于所述第一法平面上；获取多个体素的第一法平面的交集，获得脑血管所在的第一验证区域；根据所述第一区域和所述第一验证区域，确定脑血管所在的第二区域；根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域；根据所述第二验证区域和所述第二区域，确定脑血管所在的所述目标区域。
79.根据本发明的实施例，所述目标区域模块进一步用于：将各个第一二维特征信息进行解码，获得各个二维图像块中脑血管所在的第三区域；根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域；确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，其中，i为大于1的正整数；在第i个交并比小于交并比阈值的情况下，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域；在第i个交并比大于或等于交并比阈值的情况下，将第i个二维图像块中的第三区域确定为第i个二维图像块的第三验证区域；根据各个二维图像块中的第三验证区域，获得所述第二验证区域。
80.根据本发明的实施例，所述目标区域模块进一步用于：根据第i个二维图像块对应的二维梯度信息，在第i个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第i个二维图像块中脑血管所在的第四区域；根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域。
81.根据本发明的实施例，所述目标区域模块进一步用于：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布函数；在所述第四区域中设置第二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式，确定第一概率分布函数和第二概率分布函数之间的分布误差，其中，q3为第三区域，q4为第四区域，p1(x,y)为第一概率分布函数，p2(x,y)为第一概率分布函数；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。
82.根据本发明的实施例，所述装置还包括训练模块，用于：对样本三维医学图像进行预处理，获得多个样本三维图像块，以及与所述样本三维图像块对应的多个样本二维图像块；通过所述三维图像处理模型获取所述样本三维图像块的样本三维特征信息，并对所述样本三维特征信息进行解码，获得第一预测区域；通过所述二维图像处理模型获取所述样本二维图像块的样本二维特征信息，并对所述样本二维特征信息进行解码，获得第二预测区域；获取所述样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息；根据所述样本三维梯度信息，确定第三预测区域；获取所述样本二维图像块中每个体素相对于周边多个方向的样本二维梯度信息；根据所述样本二维梯度信息，确定第四预测区域；根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数；根据所述损失函数，训练三维图像处理模型和二维图像处理模型，获得训练后的三维图像处理模型和训练后的二维图像处理模型。
83.根据本发明的实施例，所述训练模块进一步用于：根据公式
84.确定所述损失函数loss，其中，t为样本三维图像块的数量，n为每个样本三维图像块中的像素数量，n为每个样本二维图像块中的像素数量m为每个样本三维图像块切分出的样本二维图像块的数量，p
1tj
为根据所述第一预测区域确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg
为根据标注信息确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg3
为根据标注信息与第三预测区域的并集确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
2tkj
为根据所述第二预测区域确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg
为根据所述标注信息确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg4
为根据所述标注信息与所述第四预测区域的并集确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，α1、α2、α3和α4均为预设权重。
85.本发明可以是方法、装置、设备、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
86.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法、设备、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
87.本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
88.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术
方案的范围。

技术特征：
1.一种适用于多模态的脑血管分割方法，其特征在于，包括：对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。2.根据权利要求1所述的适用于多模态的脑血管分割方法，其特征在于，根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域，包括：对所述第一三维特征信息进行解码，获得脑血管所在的第一区域；根据所述三维梯度信息，在所述体素的多个方向的梯度中，确定是否存在梯度的模大于或等于第一阈值的第一方向；在存在梯度的模大于或等于第一阈值的第一方向的情况下，确定所述第一方向的第一法平面，其中，所述体素位于所述第一法平面上；获取多个体素的第一法平面的交集，获得脑血管所在的第一验证区域；根据所述第一区域和所述第一验证区域，确定脑血管所在的第二区域；根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域；根据所述第二验证区域和所述第二区域，确定脑血管所在的所述目标区域。3.根据权利要求2所述的适用于多模态的脑血管分割方法，其特征在于，根据多个第一二维特征信息和所述二维梯度信息，获得脑血管所在的第二验证区域，包括：将各个第一二维特征信息进行解码，获得各个二维图像块中脑血管所在的第三区域；根据第1个二维图像块对应的二维梯度信息，和所述第1个二维图像块的第三区域，确定第1个二维图像块的第三验证区域；确定第i个二维图像块中的第三区域与第i-1个二维图像块中的第三验证区域的第i个交并比，其中，i为大于1的正整数；在第i个交并比小于交并比阈值的情况下，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块的第三验证区域；在第i个交并比大于或等于交并比阈值的情况下，将第i个二维图像块中的第三区域确定为第i个二维图像块的第三验证区域；根据各个二维图像块中的第三验证区域，获得所述第二验证区域。4.根据权利要求2所述的适用于多模态的脑血管分割方法，其特征在于，根据第i个二维图像块中的第三区域，与第i个二维图像块对应的二维梯度信息，确定第i个二维图像块
的第三验证区域，包括：根据第i个二维图像块对应的二维梯度信息，在第i个二维图像块的像素的多个方向的梯度中，确定是否存在梯度的模大于或等于第二阈值的第二方向；在存在梯度的模大于或等于第二阈值的第二方向的情况下，确定所述第二方向的垂线，其中，所述像素在所述垂线上；获取多个像素的垂线的交集，获得第i个二维图像块中脑血管所在的第四区域；根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域。5.根据权利要求4所述的适用于多模态的脑血管分割方法，其特征在于，根据所述第i个二维图像块中的第三区域和第四区域，获得第i个二维图像块的第三验证区域，包括：在所述第三区域中设置第一测试点，并设置所述第一测试点的第一运动向量和所述第一测试点在所述第三区域中的第一运动规律，所述第一运动向量为随机向量；确定所述第一测试点在所述第三区域中的第一运动结束位置；根据多次测试的第一运动结束位置，获得所述第一运动结束位置的第一概率分布函数；在所述第四区域中设置第二测试点，并设置所述第二测试点的第二运动向量和所述第二测试点在所述第四区域中的第二运动规律，所述第二运动向量为随机向量；确定所述第二测试点在所述第四区域中的第二运动结束位置；根据多次测试的第二运动结束位置，获得所述第二运动结束位置的第二概率分布函数；根据公式 ，确定第一概率分布函数和第二概率分布函数之间的分布误差，其中，q3为第三区域，q4为第四区域，p1(x,y)为第一概率分布函数，p2(x,y)为第一概率分布函数；在所述分布误差小于或等于预设误差阈值的情况下，将第四区域和第三区域的并集确定为所述第三验证区域。6.根据权利要求1所述的适用于多模态的脑血管分割方法，其特征在于，所述方法还包括：对样本三维医学图像进行预处理，获得多个样本三维图像块，以及与所述样本三维图像块对应的多个样本二维图像块；通过所述三维图像处理模型获取所述样本三维图像块的样本三维特征信息，并对所述样本三维特征信息进行解码，获得第一预测区域；通过所述二维图像处理模型获取所述样本二维图像块的样本二维特征信息，并对所述样本二维特征信息进行解码，获得第二预测区域；获取所述样本三维图像块中每个体素相对于周边多个方向的样本三维梯度信息；根据所述样本三维梯度信息，确定第三预测区域；获取所述样本二维图像块中每个体素相对于周边多个方向的样本二维梯度信息；根据所述样本二维梯度信息，确定第四预测区域；根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和
所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数；根据所述损失函数，训练三维图像处理模型和二维图像处理模型，获得训练后的三维图像处理模型和训练后的二维图像处理模型。7.根据权利要求6所述的适用于多模态的脑血管分割方法，其特征在于，根据所述第一预测区域、所述第二预测区域、所述第三预测区域、所述第四预测区域和所述样本三维医学图像的标注信息，确定三维图像处理模型和二维图像处理模型的损失函数，包括：根据公式；确定所述损失函数loss，其中，t为样本三维图像块的数量，n为每个样本三维图像块中的像素数量，n为每个样本二维图像块中的像素数量m为每个样本三维图像块切分出的样本二维图像块的数量，p
1tj
为根据所述第一预测区域确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg
为根据标注信息确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
tjg3
为根据标注信息与第三预测区域的并集确定的第t个样本三维图像块中第j个像素点为脑血管区域的像素点的概率，p
2tkj
为根据所述第二预测区域确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg
为根据所述标注信息确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，p
tkjg4
为根据所述标注信息与所述第四预测区域的并集确定的第t个样本三维图像块切分出的第k个样本二维图像块中第j个像素点为脑血管区域的像素点的概率，α1、α2、α3和α4均为预设权重。8.一种适用于多模态的脑血管分割装置，其特征在于，包括：预处理模块，用于对脑部三维医学图像进行预处理，获得多个三维图像块，以及与所述三维图像块对应的多个二维图像块；三维特征信息模块，用于将所述三维图像块输入三维图像处理模型，获得所述三维图像块的第一三维特征信息；三维梯度信息模块，用于获取所述三维图像块中每个体素相对于周边多个方向的三维梯度信息；二维特征信息模块，用于将所述三维图像块对应的多个二维图像块分别输入二维图像处理模型，分别获得每个二维图像块的第一二维特征信息；
二维梯度信息模块，用于获取所述二维图像块中每个像素相对于周边多个方向的二维梯度信息；目标区域模块，用于根据所述第一三维特征信息、所述三维梯度信息、所述第一二维特征信息和所述二维梯度信息，确定所述三维图像块中脑血管所在的目标区域；分割结果模块，用于根据各个三维图像块中脑血管所在的目标区域，获得所述脑部三维医学图像的脑血管分割结果。9.一种适用于多模态的脑血管分割设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。

技术总结
本发明提供一种适用于多模态的脑血管分割方法、装置、设备和存储介质。所述方法包括：获得三维医学图像的三维图像块和二维图像块；将三维图像块输入三维图像处理模型，获得第一三维特征信息；获取三维图像块的三维梯度信息；将二维图像块输入二维图像处理模型，获得第一二维特征信息；获取二维图像块的二维梯度信息；根据第一三维特征信息、三维梯度信息、第一二维特征信息和二维梯度信息，确定三维图像块的目标区域；根据各目标区域，获得脑部三维医学图像的脑血管分割结果。根据本发明，可通过梯度信息增强边界，提升脑血管分割的准确性，可融合多种模态的信息，提升脑部三维医学图像的信息利用率以及脑血管分割的准确性。图像的信息利用率以及脑血管分割的准确性。图像的信息利用率以及脑血管分割的准确性。


技术研发人员：刘清源 陈磊 于慧敏 吴俊 姜朋军
受保护的技术使用者：首都医科大学附属北京天坛医院
技术研发日：2023.09.04
技术公布日：2023/10/11