医学图像生成方法、装置、电子设备和存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种医学图像生成方法、装置、电子设备和存储介质。


背景技术：

2.随着科技的迅速发展，医学领域越来越智能化，可以通过各种加权的mri（magnetic resonance imaging，磁共振成像）、ct（computed tomography，计算机断层扫描）图像、超声波图像等医学图像进行临床诊断。不同模态的医学图像提供了不同的信息，因此基于不同模态的医学图像进行临床诊断，可以提高临床诊断的准确性和效率。然而，采集不同模态的医学图像需要对患者进行多次重复检查，因此，需要基于一个模态的医学图像，生成其他模态的医学图像。
3.目前，通过对cyclegan（cycle generative adversarial network，循环式生成对抗神经网络）模型进行训练得到可以转换模态的图像生成模型。然而，cyclegan模型的训练仅仅对图像生成对抗损失和循环损失进行约束，这两种约束都存在多个可行解，进而使图像生成模型的生成准确性降低，进而降低多模态医学图像的生成准确性。


技术实现要素：

4.本发明提供一种医学图像生成方法、装置、电子设备和存储介质，用以解决现有技术中多模态医学图像的生成准确低的缺陷。
5.本发明提供一种医学图像生成方法，包括：获取当前模态对应的医学图像，并确定待生成的目标模态；将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
6.根据本发明提供的一种医学图像生成方法，所述样本医学图像的低频分量是基于如下步骤确定：对所述样本医学图像进行非线性处理，得到处理后的样本医学图像；将所述处理后的样本医学图像转换为频谱图像；对所述频谱图像进行低通滤波，得到所述频谱图像的低频分量；将所述频谱图像的低频分量转换为所述样本医学图像的低频分量。
7.根据本发明提供的一种医学图像生成方法，所述对所述样本医学图像进行非线性处理，得到处理后的样本医学图像，包括：将所述样本医学图像输入至卷积神经网络模型，得到所述卷积神经网络模型输出的所述处理后的样本医学图像；其中，所述卷积神经网络模型包括基于激活函数构建的激活层。
8.根据本发明提供的一种医学图像生成方法，所述将所述频谱图像的低频分量转换为所述样本医学图像的低频分量，包括：将所述频谱图像的低频分量转换为空间域图像的低频分量；基于所述空间域图像的低频分量的绝对值，生成所述样本医学图像的低频分量。
9.根据本发明提供的一种医学图像生成方法，所述第一图像生成模型是基于如下步骤训练：将所述样本医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的第一预测目标医学图像；将所述第一预测目标医学图像输入至所述目标模态对应的图像判别模型，得到所述图像判别模型输出的所述第一判别结果，并将所述样本目标医学图像输入至所述图像判别模型，得到所述图像判别模型输出的所述第二判别结果；基于预设归一化值与所述第二判别结果的差值，确定第三判别结果；基于所述第三判别结果和所述第一判别结果，确定所述生成器损失函数；基于所述生成器损失函数和所述频率分解损失函数，对所述第一图像生成模型进行训练。
10.根据本发明提供的一种医学图像生成方法，所述第一图像生成模型的损失函数是基于生成器损失函数、频率分解损失函数和一致性损失函数确定的；所述一致性损失函数是基于第一预测医学图像与所述样本医学图像的第一差异确定的，所述第一预测医学图像是将所述第一预测目标医学图像输入至第二图像生成模型得到的；所述第二图像生成模型用于将所述目标模态对应的图像转换为所述当前模态对应的图像。
11.根据本发明提供的一种医学图像生成方法，所述一致性损失函数是基于所述第一差异和第二差异确定的；所述第二差异是基于第二预测目标医学图像与所述样本目标医学图像的差异确定的；所述第二预测目标医学图像是将第二预测医学图像输入至所述第一图像生成模型得到的，所述第二预测医学图像是将所述样本目标医学图像输入至所述第二图像生成模
型得到的。
12.本发明还提供一种医学图像生成装置，包括：图像获取模块，用于获取当前模态对应的医学图像，并确定待生成的目标模态；图像生成模块，用于将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述医学图像生成方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述医学图像生成方法。
15.本发明提供的医学图像生成方法、装置、电子设备和存储介质，用于转换模态的第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的，且频率分解损失函数是基于低频分量差异和高频分量差异确定的；低频分量差异是基于将样本医学图像的低频分量输入至第一图像生成模型得到的低频分量预测图像与第一预测目标医学图像的低频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的低频分量，同时约束生成图像的低频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；高频分量差异是基于将样本医学图像的高频分量输入至第一图像生成模型得到的高频分量预测图像与第一预测目标医学图像的高频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的高频分量，同时约束生成图像的高频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；通过上述方式，可以同时关注图像的高频信息和低频信息，进而关注图像的身份特性和风格特性，以保留原始图像的高频信息和低频信息，以使生成图像的身份信息和风格信息得以保留，进而提高多模态医学图像的生成准确性；此外，将当前模态对应的医学图像输入至第一图像生成模型，得到第一图像生成模型输出的目标模态对应的目标医学图像，从而在不增加第一图像生成模型大小的情况下，实现了模型的单输入单输出，进而提高第一图像生成
模型的稳定性和鲁棒性，最终提高多模态医学图像的生成准确性。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明提供的医学图像生成方法的流程示意图之一；图2为本发明提供的医学图像生成方法的流程示意图之二；图3为本发明提供的医学图像生成方法的流程示意图之三；图4为本发明提供的一致性损失函数的确定方式示意图之一；图5为本发明提供的一致性损失函数的确定方式示意图之二；图6为本发明提供的频率分解损失函数的确定方式示意图；图7为本发明提供的医学图像生成装置的结构示意图；图8为本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.随着科技的迅速发展，医学领域越来越智能化，可以通过各种加权的mri（magnetic resonance imaging，磁共振成像）、ct（computed tomography，计算机断层扫描）图像、超声波图像等医学图像进行临床诊断。不同模态的医学图像提供了不同的信息，如mri可以显示组织结构，ct可以提供解剖结构的高分辨率图像，超声波图像可以观察实时血流动态等，因此基于不同模态的医学图像进行临床诊断，以获得更全面和准确的信息，可以提高临床诊断的准确性和效率。然而，采集不同模态的医学图像需要对患者进行多次重复检查，从而提高了患者的不适和辐射暴露等风险，因此，需要基于一个模态的医学图像，生成其他模态的医学图像，即多模态医学图像翻译，换言之，需要将不同模态的医学图像进行整合和相互转换。此外，在临床操作中，受限于某些客观条件，例如机器故障、病人个体敏感度差异、外界环境干扰等，医护人员并无法精确采集到所有模态的医学图像，因此，需要实现多模态医学图像翻译。
20.可以理解的是，通过将不同模态的医学图像进行翻译和融合，可以综合各种信息，帮助医生全面了解病情，制定更准确的诊断和治疗方案。多模态医学图像翻译通过整合和翻译不同的医学图像，医生可以在一个图像集中获取所需的信息，减少患者不必要的重复检查。
21.目前，基于深度学习实现多模态医学图像翻译，具体地，通过对cyclegan（cycle generative adversarial network，循环式生成对抗神经网络）模型进行训练得到可以转换模态的图像生成模型。然而，cyclegan模型的训练仅仅对图像生成对抗损失和循环损失
进行约束，这两种约束都存在多个可行解，进而使图像生成模型的生成准确性降低，进而降低多模态医学图像的生成准确性。
22.此外，目前还基于fdit（基于频率的图像转换框架）训练得到可以转换模态的图像生成模型。然而，其训练仅对图像的重构损失与转换损失进行约束，并且在转换分支中只对高频信息进行了约束，而对于低频信息，仅通过生成对抗损失进行弱约束，这导致图像生成模型过于关注高频信息的保留与重建，而忽视低频信息的转换性能，且通过实验表明低频信息包含了图像大部分的信息，对低频信息进行约束的效果要好于对高频信息进行约束，基于此，过于关注高频信息的保留与重建将会使图像生成模型的生成准确性降低，进而降低多模态医学图像的生成准确性。同时，图像生成模型的输入为两个张量（目标模态对应的样本图像的风格张量，以及源模态对应的样本图像的内容张量），这两个张量均由频域滤波得到；这种多输入单输出的图像生成模型的稳定性易受到输入参数的影响，进而降低多模态医学图像的生成准确性；且多输入单输出的图像生成模型需要多种模态的输入数据，进而降低多模态医学图像的生成便捷性。
23.针对上述问题，本发明提出以下各实施例。图1为本发明提供的医学图像生成方法的流程示意图之一，如图1所示，该医学图像生成方法包括：步骤110，获取当前模态对应的医学图像，并确定待生成的目标模态。
24.此处，当前模态为源模态，该医学图像的模态为当前模态，该医学图像为待转换（待翻译）的图像，该当前模态可以包括但不限于：mri的t1加权成像模态、mri的t2加权成像模态、mri的flair加权成像模态、ct模态、超声波模态等等。目标模态为待转换的模态，即将医学图像从当前模态转换为目标模态，该目标模态可以包括但不限于：ct模态、超声波模态、mri的t1加权成像模态、mri的t2加权成像模态、mri的flair加权成像模态等等。
25.需要说明的是，mri技术是利用强磁场和无线电波来产生图像的，这些图像可以用来观察组织的结构和功能，以及检测任何异常，即磁共振成像可用于多种疾病的诊断与分析。mri可以生成详细的三维图像，显示出人体内部组织的结构和功能。在临床医学中，mri已经成为一种非常有用的诊断工具，可以帮助医生对各种疾病进行准确的诊断和治疗。mri可以帮助医生对许多疾病进行准确的诊断，包括脑卒中、肿瘤、多发性硬化症、椎间盘突出、软骨损伤、癫痫等等。mri可以产生高分辨率的图像，显示出不同的组织结构和功能，这使得医生可以更好地诊断和治疗疾病。
26.此外，还需要说明的是，在磁共振成像中，有多种基于不同加权的模态，例如，t1加权、t2加权和flair等等。每种模态所包含的信息各有侧重。对于某些特定的疾病，某种模态可以提供必要的关键信息，因此，在临床诊断中，应当尽可能采集所有模态的磁共振成像。
27.步骤120，将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像。
28.其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像。不同的当前模态和目标模态对应不同的图像生成模型，即该第一图像生成模型用于将当前模态对应的图像翻译为目标模态对应的图像，例如，该第一图像生成模型用于将mri翻译为ct图像。
29.该第一图像生成模型为gan（generative adversarial network，生成对抗神经网络）模型。gan是一种流行的生成式深度学习框架，其通过判别器与生成器的不断对抗，从而
不断优化生成图像的效果。在一具体实施例中，将医学图像输入至第一图像生成模型的编码层（encoder层），得到编码层输出的图像特征，将该图像特征输入至第一图像生成模型的解码层（decoder层），得到解码层输出的目标医学图像；进一步地，编码层包括多层卷积层，以提取医学图像的各级图像特征。例如，第一图像生成模型可以基于cyclegan模型或pix2pix模型或unit模型进行构建。
30.其中，所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的。该样本医学图像的模态为当前模态，该样本目标医学图像的模态为目标模态。
31.此处，样本医学图像和样本目标医学图像为同一部位的图像。样本医学图像和样本目标医学图像可以为配对的图像，也可以为未配对的图像。例如，该第一图像生成模型用于将mri翻译为ct图像，则样本医学图像可以为24例脑肿瘤患者的脑部mri，样本目标医学图像可以为24例脑肿瘤患者的脑部ct图像；其中18例患者的样本作为训练集，6例患者的样本作为测试集；进一步地，样本医学图像为3维的t1加权成像。
32.其中，所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的。
33.在一实施例中，第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数的和值确定的。例如，第一图像生成模型的损失函数如下所示：；式中，为第一图像生成模型的损失函数，为生成器损失函数，为频率分解损失函数。
34.在另一实施例中，第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数的加权聚合结果确定的。例如，第一图像生成模型的损失函数如下所示：；式中，为第一图像生成模型的损失函数，为生成器损失函数，为频率分解损失函数，为生成器损失函数对应的权重，为频率分解损失函数对应的权重。
35.其中，所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的。
36.具体地，将第一预测目标医学图像输入至目标模态对应的图像判别模型，得到图像判别模型输出的第一判别结果，并将样本目标医学图像输入至该图像判别模型，得到图像判别模型输出的第二判别结果。即将第一预测目标医学图像输入至目标模态对应的判别器，得到目标模态对应的第一判别结果；将样本目标医学图像输入至目标模态对应的判别器，得到目标模态对应的第二判别结果。进一步地，生成器损失函数也可以用于训练该图像判别模型。
37.其中，所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异
确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
38.在一些实施例中，频率分解损失函数是基于低频分量差异和高频分量差异的和值确定的。在另一些实施例中，频率分解损失函数是基于低频分量差异和高频分量差异的加权聚合结果确定的。
39.此处，低频分量预测图像与第一预测目标医学图像的低频分量的差异可以通过l1范数、l2范数等等确定。该第一预测目标医学图像的低频分量为空间域的图像。
40.此处，高频分量预测图像与第一预测目标医学图像的高频分量的差异可以通过l1范数、l2范数等等确定。该第一预测目标医学图像的高频分量为空间域的图像。
41.具体地，将样本医学图像的低频分量输入至第一图像生成模型，得到第一图像生成模型输出的低频分量预测图像；将样本医学图像的高频分量输入至第一图像生成模型，得到第一图像生成模型输出的高频分量预测图像。
42.示例性的，频率分解损失函数如下所示：；式中，为频率分解损失函数；为样本医学图像，为空间域，空间域；为样本医学图像的低频分量，为低频分量预测图像；为第一预测目标医学图像，为第一预测目标医学图像的低频分量；为低频分量差异；为样本医学图像的高频分量，为高频分量预测图像；为第一预测目标医学图像的高频分量；为高频分量差异。
43.本发明实施例提供的医学图像生成方法，用于转换模态的第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的，且频率分解损失函数是基于低频分量差异和高频分量差异确定的；低频分量差异是基于将样本医学图像的低频分量输入至第一图像生成模型得到的低频分量预测图像与第一预测目标医学图像的低频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的低频分量，同时约束生成图像的低频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；高频分量差异是基于将样本医学图像的高频分量输入至第一图像生成模型得到的高频分量预测图像与第一预测目标医学图像的高频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的高频分量，同时约束生成图像的高频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；通过上述方式，可以同时关注图像的高频信息和低频信息，进而关注图像的身份特性和风格特性，以保留原始图像的高频信息和低频信息，以使生成图像的身份信息和风格信息得以保留，进而提高多模态医学图像的生成准确性；此外，将当前模态对应的医学图像输入至第一图像生成模型，得到第一图像生成模型输出的目标模态对应的目标医学图像，从而在不增加第一图像生成模型大小的情况下，实现了模型的单输入单输出，进而提高第一图像生成模型的稳定性和鲁棒性，
最终提高多模态医学图像的生成准确性。
44.基于上述实施例，考虑到频率分解损失函数是基于低频分量差异和高频分量差异确定的，导致第一图像生成模型强制使生成图像与原始图像的高频分量和低频分量相等，然而这种约束是不合理的，且不适用于医学图像转换，第一图像生成模型是一个非线性的处理模型，映射后的生成图像的线性分量一般也会发生改变，同一脏器的不同模态的医学图像的高频分量和低频分量并不满足该约束；换言之，考虑到第一图像生成模型存在非线性激活函数等算子，故其不满足齐次性与叠加性，因此该约束是存在偏差的，基于此，图2为本发明提供的医学图像生成方法的流程示意图之二，如图2所示，所述样本医学图像的低频分量是基于如下步骤确定：步骤210，对所述样本医学图像进行非线性处理，得到处理后的样本医学图像。
45.此处，非线性处理的方式可以包括但不限于：非线性神经网络处理、激活函数处理等等。样本医学图像和处理后的样本医学图像均为空间域图像。
46.在一实施例中，将样本医学图像输入至非线性神经网络模型，得到非线性神经网络模型输出的处理后的样本医学图像。
47.步骤220，将所述处理后的样本医学图像转换为频谱图像。
48.具体地，将处理后的样本医学图像转换为属于频域的频谱图像。
49.在一具体实施例中，对处理后的样本医学图像进行傅立叶变换,将其映射到频域，得到频谱图像。需要说明的是，傅立叶变换具有线性可加性，即原始图像等于其高频分量与其低频分量的代数和，基于此，在傅立叶变换之前，对样本医学图像进行非线性处理，解决非线性不足的问题。
50.示例性的，对h
×
w的样本医学图像进行离散傅立叶变换，具体的变换公式如下所示：；式中，为频谱图像在坐标上的频谱信息，n（）表示非线性处理。
51.步骤230，对所述频谱图像进行低通滤波，得到所述频谱图像的低频分量。
52.在一具体实施例中，在频域上，对频谱图像进行低通高斯滤波，得到频谱图像的低频分量。示例性的，低通高斯滤波器如下所示：；式中，为低通高斯滤波器，为滤波器的标准差，是频谱图中的坐标。
53.示例性的，低通高斯滤波如下所示：；式中，为频谱图像的低频分量在坐标上的频谱信息，为频谱图像在坐标上的频谱信息，为在坐标上的低通高斯滤波器。
54.步骤240，将所述频谱图像的低频分量转换为所述样本医学图像的低频分量。
55.具体地，将频谱图像的低频分量转换为属于空间域的样本医学图像的低频分量。
56.在一具体实施例中，对频谱图像的低频分量进行逆傅立叶变换,将其映射到空间域，得到样本医学图像的低频分量。
57.本发明实施例提供的医学图像生成方法，针对上述非线性不足的问题，在转换为频谱图像之前，对样本医学图像进行非线性处理，解决非线性不足的问题，从而进一步提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性。
58.基于上述任一实施例，该方法中，上述步骤210包括：将所述样本医学图像输入至卷积神经网络模型，得到所述卷积神经网络模型输出的所述处理后的样本医学图像；其中，所述卷积神经网络模型包括基于激活函数构建的激活层。
59.此处，激活函数可以包括但不限于：relu函数和sigmoid函数等等。
60.在一实施例中，卷积神经网络模型包括多层卷积神经网络层，每一层卷积神经网络层包括依次连接的卷积层、池化层、激活层。优选地，卷积神经网络模型包括三层卷积神经网络层。
61.示例性的，处理后的样本医学图像如下所示：；其中，表示样本医学图像在坐标上的图像信息，n（）表示卷积神经网络模型的非线性处理。
62.本发明实施例提供的医学图像生成方法，针对上述非线性不足的问题，在转换为频谱图像之前，使用激活函数对样本医学图像进行非线性处理，解决非线性不足的问题，从而进一步提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性。
63.基于上述任一实施例，该方法中，上述步骤240包括：将所述频谱图像的低频分量转换为空间域图像的低频分量；基于所述空间域图像的低频分量的绝对值，生成所述样本医学图像的低频分量。
64.具体地，可以直接基于该绝对值确定样本医学图像的低频分量，也可以对该绝对值进行进一步数据处理得到样本医学图像的低频分量。
65.在一具体实施例中，对频谱图像的低频分量进行逆傅立叶变换,将其映射到空间域，得到空间域图像的低频分量。
66.示例性的，样本医学图像的低频分量的确定公式如下所示：；式中，为样本医学图像的低频分量在上的图像信息，样本医学图像的低频分量为h
×
w的图像，为频谱图像的低频分量在坐标上的频谱信息。
67.本发明实施例提供的医学图像生成方法，基于空间域图像的低频分量的绝对值，生成样本医学图像的低频分量，从而剔除因计算机误差产生的异常像素值，进而进一步提高多模态医学图像的生成准确性；例如，在空间域图像的低频分量存在负像素值时可以转换为正数，从而避免将其取零。同时，针对上述非线性不足的问题，使用绝对值进行非线性处理，解决非线性不足的问题，从而进一步提高多模态医学图像的生成准确性。
68.基于上述任一实施例，针对上述非线性不足的问题，所述样本医学图像的高频分
量是基于如下步骤确定：对所述样本医学图像进行非线性处理，得到处理后的样本医学图像；将所述处理后的样本医学图像转换为频谱图像；对所述频谱图像进行高通滤波，得到所述频谱图像的高频分量；将所述频谱图像的高频分量转换为所述样本医学图像的高频分量。
69.需要说明的是，样本医学图像的高频分量的具体确定过程可以参照上述样本医学图像的低频分量的确定过程，此处不再一一赘述。
70.在一具体实施例中，在频域上，对频谱图像进行高通高斯滤波，得到频谱图像的高频分量。示例性的，高通高斯滤波器如下所示：；式中，为高通高斯滤波器，为低通高斯滤波器。
71.示例性的，高通高斯滤波如下所示：；式中，为频谱图像的高频分量在坐标上的频谱信息，为频谱图像在坐标上的频谱信息，为在坐标上的高通高斯滤波器。
72.在一实施例中，将频谱图像的高频分量转换为空间域图像的高频分量；基于空间域图像的高频分量的绝对值，生成样本医学图像的高频分量。
73.在一具体实施例中，对频谱图像的高频分量进行逆傅立叶变换,将其映射到空间域，得到空间域图像的高频分量。
74.示例性的，样本医学图像的低频分量的确定公式如下所示：；式中，为样本医学图像的高频分量在上的图像信息，样本医学图像的高频分量为h
×
w的图像，为频谱图像的高频分量在坐标上的频谱信息。
75.可以理解的是，基于空间域图像的高频分量的绝对值，生成样本医学图像的高频分量，从而剔除因计算机误差产生的异常像素值，进而进一步提高多模态医学图像的生成准确性；例如，在空间域图像的高频分量存在负像素值时可以转换为正数，从而避免将其取零。同时，针对上述非线性不足的问题，使用绝对值进行非线性处理，解决非线性不足的问题，从而进一步提高多模态医学图像的生成准确性。
76.基于上述任一实施例，针对上述非线性不足的问题，所述第一预测目标医学图像的高频分量是基于如下步骤确定：对所述第一预测目标医学图像进行非线性处理，得到处理后的第一预测目标医学图像；将所述处理后的第一预测目标医学图像转换为频谱图像；对所述频谱图像进行高通滤波，得到所述频谱图像的高频分量；将所述频谱图像的高频分量转换为所述第一预测目标医学图像的高频分量。
77.需要说明的是，第一预测目标医学图像的高频分量的具体确定过程可以参照上述样本医学图像的高频分量的确定过程，此处不再一一赘述。
78.基于上述任一实施例，针对上述非线性不足的问题，所述第一预测目标医学图像
的低频分量是基于如下步骤确定：对所述第一预测目标医学图像进行非线性处理，得到处理后的第一预测目标医学图像；将所述处理后的第一预测目标医学图像转换为频谱图像；对所述频谱图像进行低通滤波，得到所述频谱图像的低频分量；将所述频谱图像的低频分量转换为所述第一预测目标医学图像的低频分量。
79.需要说明的是，第一预测目标医学图像的低频分量的具体确定过程可以参照上述样本医学图像的低频分量的确定过程，此处不再一一赘述。
80.基于上述任一实施例，图3为本发明提供的医学图像生成方法的流程示意图之三，如图3所示，所述第一图像生成模型是基于如下步骤训练：步骤310，将所述样本医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的第一预测目标医学图像。
81.步骤320，将所述第一预测目标医学图像输入至所述目标模态对应的图像判别模型，得到所述图像判别模型输出的所述第一判别结果，并将所述样本目标医学图像输入至所述图像判别模型，得到所述图像判别模型输出的所述第二判别结果。
82.可以理解的是，通过图像判别模型（判别器）与第一图像生成模型（生成器）的不断对抗，优化第一图像生成模型和图像判别模型。
83.步骤330，基于预设归一化值与所述第二判别结果的差值，确定第三判别结果。
84.此处，预设归一化值可以根据实际需要进行设定，优选地，该预设归一化值为1。
85.示例性的，第三判别结果的确定公式如下所示：；式中，为第三判别结果，预设归一化值为1，为样本目标医学图像，为第二判别结果。
86.步骤340，基于所述第三判别结果和所述第一判别结果，确定所述生成器损失函数。
87.在一些实施例中，基于第三判别结果和第一判别结果的平方和，确定生成器损失函数。可以直接将该平方和作为生成器损失函数；也可以对该平方和做进一步的数据处理得到生成器损失函数。进一步地，该平方和还可以为加权平方和。
88.示例性的，生成器损失函数如下所示：；式中，为第一图像生成模型的生成器损失函数，预设归一化值为1，为样本目标医学图像，为第二判别结果，为样本医学图像，为第一预测目标医学图像，为第一判别结果。
89.在另一些实施例中，可以将第三判别结果和第一判别结果的和值直接作为生成器损失函数；也可以对该和值做进一步的数据处理得到生成器损失函数。
90.步骤350，基于所述生成器损失函数和所述频率分解损失函数，对所述第一图像生成模型进行训练。
91.本发明实施例提供的医学图像生成方法，通过上述方式确定生成器损失函数，从
而为第一图像生成模型的训练提供支持，进而实现多模态医学图像的生成。
92.基于上述任一实施例，所述第一图像生成模型的损失函数是基于生成器损失函数、频率分解损失函数和一致性损失函数确定的。进一步地，一致性损失函数也可以用于优化目标模态对应的图像判别模型。
93.其中，所述一致性损失函数是基于第一预测医学图像与所述样本医学图像的第一差异确定的，所述第一预测医学图像是将所述第一预测目标医学图像输入至第二图像生成模型得到的。第一差异可以通过l1范数、l2范数等等确定。
94.具体地，可以直接将第一差异确定为一致性损失函数，也可以对该第一差异做进一步的数据处理得到一致性损失函数。
95.示例性的，一致性损失函数如下所示：；式中，为一致性损失函数，为样本医学图像，为第一预测目标医学图像，为第一预测医学图像。基于该第一差异，可以计算第一预测医学图像与样本医学图像的体素级l1损失。
96.具体地，将第一预测目标医学图像输入至第二图像生成模型，得到第二图像生成模型输出的第一预测医学图像。
97.其中，所述第二图像生成模型用于将所述目标模态对应的图像转换为所述当前模态对应的图像。不同的目标模态和当前模态对应不同的图像生成模型，即该第二图像生成模型用于将目标模态对应的图像翻译为当前模态对应的图像，例如，该第二图像生成模型用于将ct图像翻译为mri。
98.该第二图像生成模型为gan模型。在一具体实施例中，将第一预测目标医学图像输入至第二图像生成模型的编码层（encoder层），得到编码层输出的图像特征，将该图像特征输入至第二图像生成模型的解码层（decoder层），得到解码层输出的第一预测医学图像。例如，第二图像生成模型可以基于cyclegan模型或pix2pix模型或unit模型进行构建。
99.其中，第二图像生成模型是基于目标模态对应的样本目标医学图像和当前模态对应的样本医学图像训练得到的。该第二图像生成模型与第一图像生成模型的训练过程基本相同，此处不再一一赘述。
100.示例性的，第二图像生成模型的生成器损失函数如下所示：；式中，为第二图像生成模型的生成器损失函数，预设归一化值为1，为样本医学图像，为样本医学图像的判别结果，为样本目标医学图像，为第二预测医学图像，为第二预测医学图像的判别结果。
101.本发明实施例提供的医学图像生成方法，用于转换模态的第一图像生成模型的损失函数是基于生成器损失函数、频率分解损失函数和一致性损失函数确定的，且一致性损失函数是基于第一预测医学图像与样本医学图像的第一差异确定的，从而进一步提高第一图像生成模型的生成准确性，进而进一步提高多模态医学图像的生成准确性。
102.基于上述任一实施例，考虑到样本医学图像和样本目标医学图像可能是非配对的
图像，而非对配的图像可能无法获得样本医学图像和样本目标医学图像的期望分布，进而无法训练得到正确的梯度，基于此，所述一致性损失函数是基于所述第一差异和第二差异确定的；所述第二差异是基于第二预测目标医学图像与所述样本目标医学图像的差异确定的。
103.其中，所述第二预测目标医学图像是将第二预测医学图像输入至所述第一图像生成模型得到的，所述第二预测医学图像是将所述样本目标医学图像输入至所述第二图像生成模型得到的。
104.该第二预测目标医学图像与样本目标医学图像的差异可以通过l1范数、l2范数等等确定。
105.具体地，可以直接将第二预测目标医学图像与样本目标医学图像的差异确定为第二差异，也可以对第二预测目标医学图像与样本目标医学图像的差异做进一步的数据处理得到第二差异。
106.在一些实施例中，基于第一差异与第二差异的和值，确定一致性损失函数。
107.示例性的，一致性损失函数如下所示：；式中，为一致性损失函数，为样本医学图像，为第一预测目标医学图像，为第一预测医学图像，为样本目标医学图像，为第二预测医学图像，为第二预测目标医学图像。基于该第一差异，可以计算第一预测医学图像与样本医学图像的体素级l1损失；基于该第二差异，可以计算第二预测目标医学图像与样本目标医学图像的体素级l1损失。
108.在另一些实施例中，基于第一差异与第二差异的加权聚合结果，确定一致性损失函数。
109.具体地，将样本目标医学图像输入至第二图像生成模型，得到第二图像生成模型输出的第二预测医学图像；将第二预测医学图像输入至第一图像生成模型，得到第一图像生成模型输出的第二预测目标医学图像。
110.在一些实施例中，为了更为准确地确定第一差异和第二差异，对同一患者的样本医学图像和样本目标医学图像进行刚性配准，以对齐样本医学图像和样本目标医学图像。进一步地，对配准后的样本目标医学图像进行重采样，以得到与样本医学图像相同体素大小的样本目标医学图像，从而提高第一图像生成模型的训练效果，进而提高多模态医学图像的生成准确性。
111.在一实施例中，刚性配准的方法可以为互信息法。
112.更为具体地，参照图4和图5，一致性损失函数是基于如下步骤确定：将所述样本医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的第一预测目标医学图像；将所述第一预测目标医学图像输入至所述第二图像生成模型，得到所述第二图像生成模型输出的当前模态对应的第一预测医学图像；将所述样本目标医学图像输入至所述第二图像生成模型，得到所述第二图像生成模型输出的所述当前模态对应的第二预测医学图像；
将所述第二预测医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的目标模态对应的第二预测目标医学图像；基于所述第一预测医学图像与所述样本医学图像的差异，以及所述第二预测目标医学图像与所述样本目标医学图像的差异，确定所述一致性损失函数。
113.可以理解的是，通过双向的循环结构（双向循环的gan结构）实现一致性损失函数的确定，即一个循环分为前向过程（参照图4）与反向过程（参照图5），前向过程实现当前模态到目标模态的生成，反向过程实现目标模态到当前模态的生成。
114.需要说明的是，通过上述一致性损失函数训练得到的第一图像生成模型的性能较优。具体地，使用均方误差（mean squared error，mse）、峰值信噪比(peak signal to noise ratio，psnr)、ssim和fid来评价第一图像生成模型，其相比现有技术性能指标均较优。
115.本发明实施例提供的医学图像生成方法，通过上述方式，实现了非配对医学图像的生成，且其一致性损失函数是基于第一差异和第二差异确定的，实现双向循环结构，从而进一步提高第一图像生成模型的生成准确性，进而进一步提高多模态医学图像的生成准确性。
116.进一步地，参照图6，频率分解损失函数是基于如下步骤确定：将所述样本医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的第一预测目标医学图像；将所述样本医学图像的低频分量输入至所述第一图像生成模型，得到所述第一图像生成模型输出的低频分量预测图像；将所述样本医学图像的高频分量输入至所述第一图像生成模型，得到所述第一图像生成模型输出的高频分量预测图像；基于所述低频分量预测图像与所述第一预测目标医学图像的低频分量的差异，确定低频分量差异；基于所述高频分量预测图像与所述第一预测目标医学图像的高频频分量的差异，确定高频分量差异；基于所述低频分量差异和所述高频分量差异确定所述频率分解损失函数。
117.基于上述各实施例，本发明提出了一种基于gans与频域分解损失的单输入单输出网络（第一图像生成模型），实现了强鲁棒性的非配对医学图像和配对医学图像的全频域约束。
118.为便于理解本发明的技术效果，以下通过实验数据说明。本实验使用脑部多模态mri数据（如brats2021）的一个随机子集进行训练与验证。样本图像尺寸均为 ，选取的两个mri模态为t2加权模态与flair模态，且分别以cyclegan、pix2pix、unit作为基线模型。本发明主要进行了对比实验，实验结果如下表所示：
119.表中，cyclegan+ours、unit+ ours、pix2pix+ours、pix2pix+fdit+ ours为本发明的方案；t2 to flair表示当前模态为t2加权模态，目标模态为flair模态；flair to t2表示当前模态为flair模态，目标模态为t2加权模态；mse（mean square error，均方误差）；fid（frechet inception distance），fid是基于高斯分布的frechet距离确定的。pix2pix+fdit+ ours的实验中，使用了配对的数据，所以高频约束使用fdit中的空域高频约束，而低频约束使用了本发明使用的低频约束。cyclegan+fdit的实验中，由于fdit约束的不稳定性与系统偏差，flair to t2方向出现了模式崩溃现象。由于基线模型存在reconstruction约束（空域约束），且fdit论文表明仅在空域进行约束的效果比仅在频域进行约束的效果要好，且很接近空域+频域约束，同时频域约束会带来训练不稳定的问题和消耗大量计算资
源，故本发明中使用的fdit只选取了translation部分的空域约束。需要说明的是，ssim越高越好，psnr越高越好，mse越低越好，fid越低越好。
120.可以理解的是，通过上述表可知，本发明方案的性能指标较优。
121.下面对本发明提供的医学图像生成装置进行描述，下文描述的医学图像生成装置与上文描述的医学图像生成方法可相互对应参照。
122.图7为本发明提供的医学图像生成装置的结构示意图，如图7所示，该医学图像生成装置，包括：图像获取模块710，用于获取当前模态对应的医学图像，并确定待生成的目标模态；图像生成模块720，用于将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
123.本发明实施例提供的医学图像生成装置，用于转换模态的第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的，且频率分解损失函数是基于低频分量差异和高频分量差异确定的；低频分量差异是基于将样本医学图像的低频分量输入至第一图像生成模型得到的低频分量预测图像与第一预测目标医学图像的低频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的低频分量，同时约束生成图像的低频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；高频分量差异是基于将样本医学图像的高频分量输入至第一图像生成模型得到的高频分量预测图像与第一预测目标医学图像的高频分量的差异确定的，从而使第一图像生成模型学习样本医学图像的高频分量，同时约束生成图像的高频信息，从而提高第一图像生成模型的生成准确性，进而提高多模态医学图像的生成准确性；通过上述方式，可以同时关注图像的高频信息和低频信息，进而关注图像的身份特性和风格特性，以保留原始图像的高频信息和低频信息，以使生成图像的身份信息和风格信息得以保留，进而提高多模态医学图像的生成准确性；此外，将当前模态对应的医学图像输入至第一图像生成模型，得到第一图像生成模型输出的目标模态对应的目标医学图像，从而在不增加第一图像生成模型大
小的情况下，实现了模型的单输入单输出，进而提高第一图像生成模型的稳定性和鲁棒性，最终提高多模态医学图像的生成准确性。
124.图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行医学图像生成方法，该方法包括：获取当前模态对应的医学图像，并确定待生成的目标模态；将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
125.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
126.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的医学图像生成方法，该方法包括：获取当前模态对应的医学图像，并确定待生成的目标模态；将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低
频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。
127.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
128.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
129.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种医学图像生成方法，其特征在于，包括：获取当前模态对应的医学图像，并确定待生成的目标模态；将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。2.根据权利要求1所述的医学图像生成方法，其特征在于，所述样本医学图像的低频分量是基于如下步骤确定：对所述样本医学图像进行非线性处理，得到处理后的样本医学图像；将所述处理后的样本医学图像转换为频谱图像；对所述频谱图像进行低通滤波，得到所述频谱图像的低频分量；将所述频谱图像的低频分量转换为所述样本医学图像的低频分量。3.根据权利要求2所述的医学图像生成方法，其特征在于，所述对所述样本医学图像进行非线性处理，得到处理后的样本医学图像，包括：将所述样本医学图像输入至卷积神经网络模型，得到所述卷积神经网络模型输出的所述处理后的样本医学图像；其中，所述卷积神经网络模型包括基于激活函数构建的激活层。4.根据权利要求2所述的医学图像生成方法，其特征在于，所述将所述频谱图像的低频分量转换为所述样本医学图像的低频分量，包括：将所述频谱图像的低频分量转换为空间域图像的低频分量；基于所述空间域图像的低频分量的绝对值，生成所述样本医学图像的低频分量。5.根据权利要求1所述的医学图像生成方法，其特征在于，所述第一图像生成模型是基于如下步骤训练：将所述样本医学图像输入至所述第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的第一预测目标医学图像；将所述第一预测目标医学图像输入至所述目标模态对应的图像判别模型，得到所述图像判别模型输出的所述第一判别结果，并将所述样本目标医学图像输入至所述图像判别模型，得到所述图像判别模型输出的所述第二判别结果；
基于预设归一化值与所述第二判别结果的差值，确定第三判别结果；基于所述第三判别结果和所述第一判别结果，确定所述生成器损失函数；基于所述生成器损失函数和所述频率分解损失函数，对所述第一图像生成模型进行训练。6.根据权利要求1所述的医学图像生成方法，其特征在于，所述第一图像生成模型的损失函数是基于生成器损失函数、频率分解损失函数和一致性损失函数确定的；所述一致性损失函数是基于第一预测医学图像与所述样本医学图像的第一差异确定的，所述第一预测医学图像是将所述第一预测目标医学图像输入至第二图像生成模型得到的；所述第二图像生成模型用于将所述目标模态对应的图像转换为所述当前模态对应的图像。7.根据权利要求6所述的医学图像生成方法，其特征在于，所述一致性损失函数是基于所述第一差异和第二差异确定的；所述第二差异是基于第二预测目标医学图像与所述样本目标医学图像的差异确定的；所述第二预测目标医学图像是将第二预测医学图像输入至所述第一图像生成模型得到的，所述第二预测医学图像是将所述样本目标医学图像输入至所述第二图像生成模型得到的。8.一种医学图像生成装置，其特征在于，包括：图像获取模块，用于获取当前模态对应的医学图像，并确定待生成的目标模态；图像生成模块，用于将所述医学图像输入至所述当前模态和所述目标模态对应的第一图像生成模型，得到所述第一图像生成模型输出的所述目标模态对应的目标医学图像；其中，所述第一图像生成模型用于将所述当前模态对应的图像转换为所述目标模态对应的图像；所述第一图像生成模型是基于所述当前模态对应的样本医学图像和所述目标模态对应的样本目标医学图像训练得到的；所述第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；所述生成器损失函数是基于第一预测目标医学图像的第一判别结果和所述样本目标医学图像的第二判别结果确定的，所述第一预测目标医学图像是将所述样本医学图像输入至所述第一图像生成模型得到的；所述频率分解损失函数是基于低频分量差异和高频分量差异确定的，所述低频分量差异是基于低频分量预测图像与所述第一预测目标医学图像的低频分量的差异确定的，所述高频分量差异是基于高频分量预测图像与所述第一预测目标医学图像的高频分量的差异确定的，所述低频分量预测图像是将所述样本医学图像的低频分量输入至所述第一图像生成模型得到的，所述高频分量预测图像是将所述样本医学图像的高频分量输入至所述第一图像生成模型得到的。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述医学图像生成方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述医学图像生成方法。

技术总结
本发明提供一种医学图像生成方法、装置、电子设备和存储介质，涉及图像处理技术领域。其中方法包括：获取当前模态对应的医学图像，并确定待生成的目标模态；将医学图像输入至当前模态和目标模态对应的第一图像生成模型，得到第一图像生成模型输出的目标模态对应的目标医学图像；第一图像生成模型的损失函数是基于生成器损失函数和频率分解损失函数确定的；频率分解损失函数是基于低频分量差异和高频分量差异确定的，低频分量差异是基于低频分量预测图像与第一预测目标医学图像的低频分量的差异确定的，高频分量差异是基于高频分量预测图像与第一预测目标医学图像的高频分量的差异确定的。本发明可以提高多模态医学图像的生成准确性。生成准确性。生成准确性。


技术研发人员：罗家佳 王珠辉
受保护的技术使用者：北京大学
技术研发日：2023.08.22
技术公布日：2023/9/20