图像类别识别方法和装置、电子设备及存储介质与流程

1.本技术涉及数字医疗技术领域，尤其涉及一种图像类别识别方法和装置、电子设备及存储介质。


背景技术：

2.知识合并，是指基于知识蒸馏的方式将多个教师模型的知识合并至一个学生模型中。例如，在医疗应用场景中，教师模型a擅长对脑部图像识别，教师模型b擅长对眼部图像识别，当对教师模型a和教师模型b进行知识合并时，能够得到同时擅长对脑部图像和眼部图像进行图像类别识别的学生模型。由于教师模型的结构复杂多样，使得相关技术中只能对模型结构一致的多个教师模型进行知识合并，从而限制了知识合并的通用性，进而限制了学生模型的图像类别识别能力。


技术实现要素：

3.本技术实施例的主要目的在于提出一种图像类别识别方法和装置、电子设备及存储介质，旨在提高目标识别模型的图像类别识别能力。
4.为实现上述目的，本技术实施例的第一方面提出了一种图像类别识别方法，所述方法包括：获取由预设的目标生成器生成的样本图像；
5.将所述样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，所述第一样本图像类别数据用于表征所述样本图像在预设的第一图像类别集的分布情况；
6.将所述样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，所述第二样本图像类别数据用于表征所述样本图像在预设的第二图像类别集的分布情况；
7.将所述样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，所述第三样本图像类别数据用于表征所述样本图像在预设的第三图像类别集的分布情况，所述第三图像类别集为对所述第一图像类别集和所述第二图像类别集求并集得到；
8.根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型；
9.将取待识别的目标图像输入至所述目标识别模型进行图像类别识别，得到目标图像类别数据；其中，所述目标图像类别数据用于表征所述目标图像在所述第三图像类别集的分布情况。
10.在一些实施例，所述根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型，包括：
11.对所述第一样本图像类别数据、所述第二样本图像类别数据进行拼接，得到第一
类别拼接数据；
12.根据所述第一类别拼接数据、所述第三样本图像类别数据对所述初始识别模型进行参数调整，得到所述目标识别模型。
13.在一些实施例，在所述获取由预设的目标生成器生成的样本图像之前，所述方法还包括训练所述目标生成器，具体包括：
14.获取训练图像噪声数据；
15.将所述训练图像噪声数据输入至预设的原始生成器进行图像生成，得到训练图像；
16.将所述训练图像输入至所述第一识别模型进行图像类别预测，得到第一训练图像类别数据；其中，所述第一训练图像类别数据用于表征所述训练图像在所述第一图像类别集的分布情况；
17.将所述训练图像输入至所述第二识别模型进行图像类别预测，得到第二训练图像类别数据；其中，所述第二训练图像类别数据用于表征所述训练图像在所述第二图像类别集的分布情况；
18.根据所述第一训练图像类别数据、所述第二训练图像类别数据对所述原始生成器进行参数调整，得到所述目标生成器。
19.在一些实施例，所述根据所述第一训练图像类别数据、所述第二训练图像类别数据对所述原始生成器进行参数调整，得到所述目标生成器，包括：
20.根据所述第一训练图像类别数据、所述第二训练图像类别数据计算得到类别损失数据；
21.根据所述第一图像类别集的第一类别数量、所述第二图像类别集的第二类别数量计算得到概率值；
22.根据所述概率值、所述损失数据对所述原始生成器进行参数调整，得到所述目标生成器。
23.在一些实施例，所述根据所述第一训练图像类别数据、所述第二训练图像类别数据计算得到类别损失数据，包括：
24.对所述第一训练图像类别数据和所述第二训练图像类别数据进行拼接，得到第二类别拼接数据；
25.对所述第二类别拼接数据进行编码，得到类别编码值；
26.根据所述第二类别拼接数据、所述类别编码值计算得到所述类别损失数据。
27.在一些实施例，所述目标生成器包括批归一化模块和上采样模块；
28.所述获取由预设的目标生成器生成的样本图像，包括：
29.获取样本图像噪声数据；
30.将所述样本图像噪声数据输入至所述批归一化模块进行归一化处理，得到噪声特征；
31.将所述噪声特征输入至所述上采样模块进行上采样处理，得到所述样本图像。
32.在一些实施例，所述上采样模块包括卷积层、批归一化层、激活层；
33.所述将所述噪声特征输入至所述上采样模块进行上采样处理，得到所述样本图像，包括：
34.将所述噪声特征输入至所述卷积层进行特征提取，得到初始图像特征；
35.将所述初始图像特征输入至所述批归一化层进行归一化处理，得到目标图像特征；
36.将所述目标图像特征输入至所述激活层进行特征变换，得到所述样本图像。
37.为实现上述目的，本技术实施例的第二方面提出了一种图像类别识别装置，所述装置包括：
38.样本图像生成模块，用于获取由预设的目标生成器生成的样本图像；
39.第一预测模块，用于将所述样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，所述第一样本图像类别数据用于表征所述样本图像在预设的第一图像类别集的分布情况；
40.第二预测模块，用于将所述样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，所述第二样本图像类别数据用于表征所述样本图像在预设的第二图像类别集的分布情况；
41.第三预测模块，用于将所述样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，所述第三样本图像类别数据用于表征所述样本图像在预设的第三图像类别集的分布情况，所述第三图像类别集为对所述第一图像类别集和所述第二图像类别集求并集得到；
42.参数调整模块，用于根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型；
43.图像类别识别模块，用于将取待识别的目标图像输入至所述目标识别模型进行图像类别识别，得到目标图像类别数据；其中，所述目标图像类别数据用于表征所述目标图像在所述第三图像类别集的分布情况。
44.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
45.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
46.本技术提出的图像类别识别方法和装置、电子设备及存储介质,其通过将目标生成器生成的样本图像分别作为第一识别模型、第二识别模型、初始识别模型的输入数据，并根据上述三个模型的输出数据(包括第一样本图像类别数据、第二样本图像类别数据、第三样本图像类别)对初始识别模型进行参数调整，得到对第一识别模型和第二识别模型图像类别识别能力合并的目标识别模型。由此可知，本技术实施例通过目标生成器进行知识合并的方法，避免了使用第一识别模型和第二识别模型的原始训练数据。并且，仅利用第一识别模型和第二识别模型的输出数据作为知识表征，避免了使用第一识别模型和第二识别模型的内部结构特征，因此本技术实施例可以对具有不同模型结构的第一识别模型和第二识别模型进行知识合并，从而避免了模型结构对知识合并的限制，进而在一定程度上提高了目标识别模型的图像类别识别能力，即扩大了目标识别模型图像类别识别范围。当将本技术应用于数字医疗场景时，能够提高目标识别模型对医疗图像的识别能力和识别范围。
附图说明
47.图1是本技术实施例提供的图像类别识别方法的一流程图；
48.图2是本技术实施例提供的图像类别识别方法的另一流程图；
49.图3是本技术实施例提供的图像类别识别方法的另一流程图；
50.图4是本技术实施例提供的图像类别识别方法的另一流程图；
51.图5是本技术实施例提供的图像类别识别方法的另一流程图；
52.图6是本技术实施例提供的图像类别识别方法的另一流程图；
53.图7是本技术实施例提供的图像类别识别方法的另一流程图；
54.图8是本技术实施例提供的图像类别识别装置的结构示意图；
55.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
56.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
57.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
58.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
59.首先，对本技术中涉及的若干名词进行解析：
60.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
61.知识蒸馏(knowledge distilling)：是一种模型压缩技术，其通过将复杂、规模大的教师模型的“知识”“蒸馏”至规模较小的学生模型，使得学生模型具备教师模型的能力。当将学生模型部署至设备上时，能够降低对设备内存、cup等性能的要求，从而节省了计算资源。
62.独热编码(one-hot encoding)：又称为一位有效编码，其方法是使用n位寄存器来对n个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。即只有一位是1，其余位都是零值。独热编码是利用0和1表示一些参数，使用n位状态寄存器来对n个状态进行编码。在独热编码出现之前，针对无序离散的分类特征，机器学习算法的分类器并不能进行数据处理。因为，分类器通常处理的数据是连续且有序的。但可以对
这些离散的特征数据建立映射表，使其有序并且连续。
63.知识合并，是指基于知识蒸馏的方式将多个教师模型的知识合并至一个学生模型中。例如，在医疗应用场景中，教师模型a擅长对脑部图像识别，教师模型b擅长对眼部图像识别，当对教师模型a和教师模型b进行知识合并时，能够得到同时擅长对脑部图像和眼部图像进行图像类别识别的学生模型。由于教师模型的结构复杂多样，使得相关技术中只能对模型结构一致的多个教师模型进行知识合并，从而限制了知识合并的通用性，进而限制了学生模型的图像类别识别能力。可以理解的是，脑部图像、眼部图像等医学影像可以为电子计算机断层扫描(computed tomography，ct)、磁共振成像(magnetic resonance imaging，mri)、超声(ultrasonic，us)、x光图像、脑电图以及光学摄影灯等由医学仪器生成的图像。
64.基于此，本技术实施例提供了一种图像类别识别方法和装置、电子设备及存储介质，旨在提高学生模型图像类别识别的能力。
65.本技术实施例提供的图像类别识别方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的图像类别识别方法。
66.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
67.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
68.本技术实施例提供的图像类别识别方法，涉及数字医疗技术领域。本技术实施例提供的图像类别识别方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像类别识别方法的应用等，但并不局限于以上形式。
69.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
70.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用
户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
71.图1是本技术实施例提供的图像类别识别方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s106。
72.步骤s101、获取由预设的目标生成器生成的样本图像；
73.步骤s102、将样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，第一样本图像类别数据用于表征样本图像在预设的第一图像类别集的分布情况；
74.步骤s103、将样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，第二样本图像类别数据用于表征样本图像在预设的第二图像类别集的分布情况；
75.步骤s104、将样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，第三样本图像类别数据用于表征样本图像在预设的第三图像类别集的分布情况，第三图像类别集为对第一图像类别集和第二图像类别集求并集得到；
76.步骤s105、根据第三样本图像类别数据、第一样本图像类别数据、第二样本图像类别数据对初始识别模型进行参数调整，得到目标识别模型；
77.步骤s106、将取待识别的目标图像输入至目标识别模型进行图像类别识别，得到目标图像类别数据；其中，目标图像类别数据用于表征目标图像在第三图像类别集的分布情况。
78.本技术实施例所示意的步骤s101至步骤s106，通过将目标生成器生成的样本图像分别作为第一识别模型、第二识别模型、初始识别模型的输入数据，并根据上述三个模型的输出数据(包括第一样本图像类别数据、第二样本图像类别数据、第三样本图像类别)对初始识别模型进行参数调整，得到对第一识别模型和第二识别模型图像类别识别能力合并的目标识别模型。由此可知，本技术实施例通过目标生成器进行知识合并的方法，避免了使用第一识别模型和第二识别模型的原始训练数据。并且，仅利用第一识别模型和第二识别模型的输出数据作为知识表征，避免了使用第一识别模型和第二识别模型的内部结构特征，因此本技术实施例可以对具有不同模型结构的第一识别模型和第二识别模型进行知识合并，从而避免了模型结构对知识合并的限制，进而在一定程度上提高了目标识别模型的图像类别识别能力，即扩大了目标识别模型图像类别识别范围。
79.需要说明的是，在本技术实施例提供的图像类别识别方法中，第一识别模型和第二识别模型作为待进行知识合并的教师模型，初始识别模型作为学生模型。由此可知，本技术实施例提供的图像类别识别方法是对两个教师模型的图像类别识别能力进行合并。但应理解的是，本技术实施例提供的图像类别识别方法对进行知识合并的教师模型数量不作限定，即可以对r个教师模型进行知识合并，r为大于或等于2的正整数。在下列各实施例中，以本技术实施例应用于数字医疗场景为例进行说明。
80.参照图2，在一些实施例中，在步骤s101之前，本技术实施例提供的图像类别识别
方法还包括训练目标生成器，具体包括但不限于包括有步骤s201至步骤s205。
81.步骤s201、获取训练图像噪声数据；
82.步骤s202、将训练图像噪声数据输入至预设的原始生成器进行图像生成，得到训练图像；
83.步骤s203、将训练图像输入至第一识别模型进行图像类别预测，得到第一训练图像类别数据；其中，第一训练图像类别数据用于表征训练图像在第一图像类别集的分布情况；
84.步骤s204、将训练图像输入至第二识别模型进行图像类别预测，得到第二训练图像类别数据；其中，第二训练图像类别数据用于表征训练图像在第二图像类别集的分布情况；
85.步骤s205、根据第一训练图像类别数据、第二训练图像类别数据对原始生成器进行参数调整，得到目标生成器。
86.在一些实施例的步骤s201中，根据预设的随机数生成器等方式得到训练图像噪声数据z。
87.在一些实施例的步骤s202中，将训练图像噪声数据z作为预设的原始生成器g的输入数据，其中，该原始生成器g具备根据输入数据生成图像的能力。因此，原始生成器g根据该训练图像噪声数据z生成对应的训练图像x＝g(z)。
88.在一些实施例的步骤s203中，第一识别模型为待进行知识合并的其中一个教师模型，第一识别模型具备对输入图像在第一图像类别集的分布情况进行预测的能力。例如，第一识别模型具备识别输入图像分别为胃部图像、腹部图像、心脏图像概率的能力，即第一图像类别集包括胃部、腹部、心脏共三种类别图像。因此，当将训练图像作为第一识别模型的输入数据时，得到的第一训练图像类别数据t1(x)包括训练图像为胃部图像的概率、训练图像为腹部图像的概率、训练图像为心脏类图像的概率，即第一训练图像类别数据t1(x)是长度为1
×
3的向量。
89.在一些实施例的步骤s204中，第二识别模型为待进行知识合并的另一个教师模型，第二识别模型具备对输入图像在第二图像类别集的分布情况进行预测的能力。例如，第二识别模型具备识别输入图像分别为脑部图像、眼部图像概率的能力，即第二图像类别集包括脑部、眼部共两种类别图像。因此，当将训练图像作为第二识别模型的输入数据时，得到的第二训练图像类别数据t2(x)包括训练图像为脑部图像的概率、训练图像为眼部图像的概率，即第二训练图像类别数据t2(x)是长度为1
×
2的向量。
90.在一些实施例的步骤s205中，将第一识别模型和第二识别模型作为原始生成器的判断器，以训练得到目标生成器，该目标生成器生成的图像为第一识别模型和第二识别模型识别决策边界的图像。因此，根据第一训练图像类别数据t1(x)、第二训练图像类别数据t2(x)对原始生成器进行参数调整。重复上述步骤，直至原始生成器收敛，得到目标生成器。
91.本技术实施例提供的图像类别识别方法，将第一识别模型和第二识别模型作为原始生成器的判别器，使得训练得到的目标生成器能够生成接近第一识别模型和第二识别模型识别决策边界的样本图像，从而在后续知识合并操作中，能够根据该样本图像进行知识蒸馏，即避免了相关技术中需获取第一识别模型和第二识别模型原始训练数据进行知识蒸馏的现象。
92.参照图3，在一些实施例中，步骤s205包括但不限于有步骤s301至步骤s303。
93.步骤s301、根据第一训练图像类别数据、第二训练图像类别数据计算得到类别损失数据；
94.步骤s302、根据第一图像类别集的第一类别数量、第二图像类别集的第二类别数量计算得到概率值；
95.步骤s303、根据概率值、损失数据对原始生成器进行参数调整，得到目标生成器。
96.在一些实施例的步骤s301中，根据预设的损失函数、第一训练图像类别数据t1(x)、第二训练图像类别数据t2(x)计算得到类别损失数据l
oh
。可以理解的是，类别损失数据l
oh
用于激励原始生成器生成“以假乱真”的训练图像，即当该训练图像作为第一识别模型的输入数据时，第一识别模型能够输出某一个数据位为高激励的第一训练图像类别数据t1(x)；或，当该训练图像作为第二识别模型的输入数据时，第二识别模型能够输出某一个数据位为高激励的第二训练图像类别数据t2(x)。
97.参照图4，在一些实施例中，步骤s301包括但不限于包括有步骤s401至步骤s403。
98.步骤s401、对第一训练图像类别数据和第二训练图像类别数据进行拼接，得到第二类别拼接数据；
99.步骤s402、对第二类别拼接数据进行编码，得到类别编码值；
100.步骤s403、根据第二类别拼接数据、类别编码值计算得到类别损失数据。
101.在一些实施例的步骤s401中，对第一训练图像类别数据t1(x)和第二训练图像类别数据t2(x)进行拼接，得到第二类别拼接数据t(x)。即当第一训练图像类别数据t1(x)为长度1
×
3的向量、第二训练图像类别数据t2(x)为长度1
×
2的向量时，拼接得到的第二类别拼接数据t(x)为长度1
×
5的向量。
102.在一些实施例的步骤s402中，对第二类别拼接数据t(x)进行独热编码，得到类别编码值pred。可以理解的是，根据实际需要，还可以采用其他方式对第二类别拼接数据t(x)进行编码，对此本技术实施例不作具体限定。
103.在一些实施例的步骤s403中，根据预设的交叉熵损失函数对第二类别拼接数据t(x)、类别编码值pred进行计算，得到类别损失数据l
oh
＝l
ce
(t(x)，pred)。其中，l
ce
表示交叉熵损失函数。可以理解的是，根据实际需要，还可以采用其他损失函数计算类别损失数据l
oh
，对此本技术实施例不作具体限定。
104.在一些实施例的步骤s302中，获取第一图像类别集中图像类别的数量，得到第一类别数量。获取第二图像类别集中图像类别的数量，得到第二类别数量。根据第一类别数据和第二类别数据计算得到训练图像类别数据(包括第一训练图像类别数据和第二训练图像类别数据)中每一个数据位的信息熵(即概率值)。
105.具体地，根据如下式(1)计算得到该概率值l
ie
。
[0106][0107]
其中，m为对第一类别数量和第二类别数据进行求和计算得到的总类别数量。可以理解的是，概率值l
ie
用于平衡第一训练图像类别数据t1(x)和第二训练图像类别数据t2(x)每一位数据位的数值相似，从而能够正确判断第一训练图像类别数据t1(x)或第二训练图像类别数据t2(x)是否存在某一个数据位为高激励输出。
[0108]
在一些实施例的步骤s303中，根据损失数据l
oh
、概率值l
ie
得到原始生成器的总损失数据l＝l
oh
+αl
ie
。其中，α为可调节的超参数。根据总损失数据l对原始生成器进行参数调整，得到目标生成器。可以理解的是，该目标生成器生成的样本图像在语义信息层面上与第一识别模型的原始训练数据，或第二识别模型的原始训练数据接近。
[0109]
在一些实施例的步骤s101中，根据随机数生成器等方式生成随机图像数据，将该随机图像数据输入至预先训练好的目标生成器，得到样本图像。可以理解的是，可将待进行知识合并的第一识别模型和第二识别模型作为判断器，并根据该判断器对目标生成器进行训练，使得目标生成器生成的样本图像更接近第一识别模型和第二识别模型的决策边界图像，从而在根据该决策边界图像对初始识别模型进行训练时，能够提高训练得到的目标识别模型的图像类别识别准确性。
[0110]
参照图5，在一些实施例中，目标生成器包括批归一化模块和上采样模块，步骤s101包括但不限于包括有步骤s501至步骤s503。
[0111]
步骤s501、获取样本图像噪声数据；
[0112]
步骤s502、将样本图像噪声数据输入至批归一化模块进行归一化处理，得到噪声特征；
[0113]
步骤s503、将噪声特征输入至上采样模块进行上采样处理，得到样本图像。
[0114]
在一些实施例的步骤s501中，根据随机数生成器等方式生成图像噪声数据，该图像噪声数据可以为128维或其他维数。
[0115]
在一些实施例的步骤s502中，目标生成器包括一个批归一化模块和多个上采样模块。将生成的样本图像噪声数据作为批归一化模块的输入数据，通过批归一化模块对该样本图像噪声数据进行归一化处理，以解决样本图像噪声数据中特征分散的情况，从而得到对应的噪声特征。
[0116]
在一些实施例的步骤s503中，多个上采样模块依次拼接，将批归一化模块输出的噪声特征作为第一个上采样模块的输入数据，通过多个上采样模块对噪声特征进行上采样处理，以不断增强噪声特征中的有用信息，从而得到对应的样本图像。在一些具体的实施例中，目标生成器包括三个上采样模块，目标生成器生成32*32像素的样本图像。
[0117]
参照图6，在一些实施例中，上采样模块包括卷积层、批归一化层、激活层，步骤s503包括但不限于包括有步骤s601至步骤s603。
[0118]
步骤s601、将噪声特征输入至卷积层进行特征提取，得到初始图像特征；
[0119]
步骤s602、将初始图像特征输入至批归一化层进行归一化处理，得到目标图像特征；
[0120]
步骤s603、将目标图像特征输入至激活层进行特征变换，得到样本图像。
[0121]
在一些实施例的步骤s601中，每一个上采样模块均包括一层卷积层、一层批归一化层和一层激活层。以第一个上采样模块为例，将批归一化模块输出的噪声特征作为卷积层的输入数据，通过卷积层对噪声特征进行反卷积处理，以对噪声特征中用于表征图像细节的特征进行还原，得到初始图像特征。在一些具体的实施例中，该卷积层的卷积核大小为3
×
3。
[0122]
在一些实施例的步骤s602中，将初始图像特征作为批归一化层的输入数据，通过批归一化层对初始图像特征进行归一化处理，以解决初始图像特征中特征分散的情况，从
而得到对应的目标图像特征。
[0123]
在一些实施例的步骤s603中，将目标图像特征作为激活层的输入数据，通过激活层预设的激活函数对目标图像特征进行非线性变化，以增强输出数据的表达能力。例如，预设的激活函数为relu激活函数，通过relu激活函数对与目标图像特征的相关特征进行挖掘，并进行特征拟合，从而得到对应的样本图像。
[0124]
可以理解的是，当多个上采样模块均进行上述实施例描述的上采样处理时，相当于对对应特征进行多次循环上采样处理，从而了实现对有用信息的增强，并能够得到更接近于第一识别模块和第二识别模块原始训练数据的样本图像。
[0125]
在一些实施例的步骤s102中，第一识别模型为待进行知识合并的其中一个教师模型，第一识别模型具备对输入图像在第一图像类别集的分布情况进行预测的能力。例如，第一识别模型具备识别输入图像分别为鸟类图像、鱼类图像、象类图像概率的能力，即第一图像类别集包括胃部、腹部、心脏共三种类别图像。因此，当将样本图像作为第一识别模型的输入数据时，得到的第一样本图像类别数据包括样本图像为胃部图像的概率、样本图像为腹部图像的概率、样本图像为心脏图像的概率。
[0126]
在一些实施例的步骤s103中，第二识别模型为待进行知识合并的另一个教师模型，第二识别模型具备对输入图像在第二图像类别集的分布情况进行预测的能力。例如，第二识别模型具备识别输入图像分别为脑部图像、眼部图像概率的能力，即第二图像类别集包括脑部、眼部共两种类别图像。因此，当将样本图像作为第二识别模型的输入数据时，得到的第二样本图像类别数据包括样本图像为脑部图像的概率、样本图像为眼部图像的概率。
[0127]
可以理解的是，第一图像类别集和第二图像类别集包括的图像类别可以存在重合或不重合，对此本技术实施例不作具体限定。但为了扩大目标识别模型能够识别的图像类别范围，第一图像类别集和第二图像类别集包括的图像类别应不重合。
[0128]
可以理解的是，本技术实施例虽以第一图像类别集和第二图像类别集均为医学类别集为例进行说明，但对第一图像类别集和第二图像类别集所包括的图像类别种类不作具体限定。即第一图像类别集的图像类别种类与第二图像类别集的图像类别种类可以相同或不同，例如，第一图像类别集可以为医学类别集，第二图像类别集可以为对象类别集。
[0129]
在一些实施例的步骤s104中，预设的初始识别模型作为待进行知识合并的学生模型，初始识别模型具备对输入图像在第三图像类别集的分布情况进行预测的能力。其中，对第一图像类别集和第二图像类别集进行图像类别并集处理，得到第三图像类别集，即第三图像类别集包括胃部、腹部、心脏、脑部、眼部共五类图像类别。因此，当将样本图像作为初始识别模型的输入数据时，得到的第三样本图像类别数据包括样本图像为鸟类图像的概率、样本图像为胃部图像的概率、样本图像为腹部图像的概率、样本图像为心脏图像的概率、样本图像为脑部图像的概率、样本图像为眼部图像的概率。
[0130]
在一些实施例的步骤s105中，根据第一样本图像类别数据、第二样本图像类别数据对第三样本图像类别数据进行损失计算，根据计算得到的损失值对初始识别模型进行参数调整，以得到图像类别识别能力更接近第一识别模型和第二识别模型能力集合的目标识别模型。
[0131]
参照图7，在一些实施例中，步骤s105包括但不限于包括有步骤s701至步骤s702。
[0132]
步骤s701、对第一样本图像类别数据、第二样本图像类别数据进行拼接，得到第一类别拼接数据；
[0133]
步骤s702、根据第一类别拼接数据、第三样本图像类别数据对初始识别模型进行参数调整，得到目标识别模型。
[0134]
在一些实施例的步骤s701中，第一样本图像类别数据是长度为1
×
m1的向量，第二样本图像类别数据是长度为1
×
m2的向量。其中，m1为第一图像类别集中图像类别的数量，m2为第二图像类别集中图像类别的数量。因此，通过对第一样本图像类别数据和第二样本图像类别数据进行拼接处理，得到长度为w的第一类别拼接数据。其中，w＝1
×
(m1+m2)。
[0135]
在一些实施例的步骤s702中，根据预设的损失函数对第一类别拼接数据和第三样本类别数据进行损失计算，例如根据预设的kl散度损失函数进行损失计算，得到对应的损失值。根据该损失值对初始识别模块进行参数调整，得到图像类别识别能力更接近第一识别模型和第二识别模型能力集合的目标识别模型。
[0136]
本技术实施例提供的图像类别识别方法，通过第一识别模型输出的第一样本图像类别数据、第二识别模型输出的第二样本图像类别数据对初始识别模型的参数进行调整。由此可知，本技术实施例只使用教师模型(包括第一识别模型和第二识别模型)的输出数据对初始识别模型进行模型训练，避免了使用教师模型的内部模型结构，从而能够对具备不同模型结构的教师模型进行知识合并，进而扩大了学生模型(即目标识别模型)图像类别识别的识别范围。
[0137]
在一些实施例的步骤s106中，获取待识别的目标图像，并将该目标图像输入至目标识别模型进行图像类别识别，得到目标图像类别数据。该目标图像类别数据包括目标图像为胃部图像的概率、目标图像为腹部图像的概率、目标图像为心脏图像的概率、目标图像为脑部图像的概率、目标图像为眼部图像的概率。将上述多个概率中数值最大的概率作为目标概率，将该目标概率对应的图像类别作为目标图像的识别类别，从而实现对目标图像的图像类别识别，即实现对医学影像的分类，进而便于下游健康管理、图像分析等任务的实现。
[0138]
本技术实施例提供的图像类别识别方法，通过将目标生成器生成的样本图像分别作为第一识别模型、第二识别模型、初始识别模型的输入数据，并根据上述三个模型的输出数据(包括第一样本图像类别数据、第二样本图像类别数据、第三样本图像类别)对初始识别模型进行参数调整，得到对第一识别模型和第二识别模型图像类别识别能力合并的目标识别模型。由此可知，本技术实施例通过目标生成器进行知识合并，避免了使用第一识别模型和第二识别模型的原始训练数据。并且，本技术实施例仅使用第一识别模型和第二识别模型的输出数据作为知识表征，即将第一识别模型和第二识别模型视为“黑盒”，避免了使用第一识别模型和第二识别模型的内部结构特征，因此本技术实施例可以对具有任意模型结构的第一识别模型和第二识别模型进行知识合并，从而避免了模型结构对知识合并的限制，进而在一定程度上提高了目标识别模型的图像类别识别能力，即扩大了目标识别模型图像类别识别范围。
[0139]
请参阅图8，本技术实施例还提供一种图像类别识别装置，可以实现上述图像类别识别方法，该装置包括：
[0140]
样本图像生成模块801，用于获取由预设的目标生成器生成的样本图像；
[0141]
第一预测模块802，用于将样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，第一样本图像类别数据用于表征样本图像在预设的第一图像类别集的分布情况；
[0142]
第二预测模块803，用于将样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，第二样本图像类别数据用于表征样本图像在预设的第二图像类别集的分布情况；
[0143]
第三预测模块804，用于将样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，第三样本图像类别数据用于表征样本图像在预设的第三图像类别集的分布情况，第三图像类别集为对第一图像类别集和第二图像类别集求并集得到；
[0144]
参数调整模块805，用于根据第三样本图像类别数据、第一样本图像类别数据、第二样本图像类别数据对初始识别模型进行参数调整，得到目标识别模型；
[0145]
图像类别识别模块806，用于将取待识别的目标图像输入至目标识别模型进行图像类别识别，得到目标图像类别数据；其中，目标图像类别数据用于表征目标图像在第三图像类别集的分布情况。
[0146]
该图像类别识别装置的具体实施方式与上述图像类别识别方法的具体实施例基本相同，在此不再赘述。
[0147]
本技术实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像类别识别方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0148]
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0149]
处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0150]
存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的图像类别识别方法；
[0151]
输入/输出接口903，用于实现信息输入及输出；
[0152]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0153]
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
[0154]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0155]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像类别识别方法。
[0156]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非
暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0157]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0158]
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0159]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0160]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0161]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0162]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0163]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0164]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0165]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0166]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0167]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种图像类别识别方法，其特征在于，所述方法包括：获取由预设的目标生成器生成的样本图像；将所述样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，所述第一样本图像类别数据用于表征所述样本图像在预设的第一图像类别集的分布情况；将所述样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，所述第二样本图像类别数据用于表征所述样本图像在预设的第二图像类别集的分布情况；将所述样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，所述第三样本图像类别数据用于表征所述样本图像在预设的第三图像类别集的分布情况，所述第三图像类别集为对所述第一图像类别集和所述第二图像类别集求并集得到；根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型；将取待识别的目标图像输入至所述目标识别模型进行图像类别识别，得到目标图像类别数据；其中，所述目标图像类别数据用于表征所述目标图像在所述第三图像类别集的分布情况。2.根据权利要求1所述的方法，其特征在于，所述根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型，包括：对所述第一样本图像类别数据、所述第二样本图像类别数据进行拼接，得到第一类别拼接数据；根据所述第一类别拼接数据、所述第三样本图像类别数据对所述初始识别模型进行参数调整，得到所述目标识别模型。3.根据权利要求1所述的方法，其特征在于，在所述获取由预设的目标生成器生成的样本图像之前，所述方法还包括训练所述目标生成器，具体包括：获取训练图像噪声数据；将所述训练图像噪声数据输入至预设的原始生成器进行图像生成，得到训练图像；将所述训练图像输入至所述第一识别模型进行图像类别预测，得到第一训练图像类别数据；其中，所述第一训练图像类别数据用于表征所述训练图像在所述第一图像类别集的分布情况；将所述训练图像输入至所述第二识别模型进行图像类别预测，得到第二训练图像类别数据；其中，所述第二训练图像类别数据用于表征所述训练图像在所述第二图像类别集的分布情况；根据所述第一训练图像类别数据、所述第二训练图像类别数据对所述原始生成器进行参数调整，得到所述目标生成器。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一训练图像类别数据、所述第二训练图像类别数据对所述原始生成器进行参数调整，得到所述目标生成器，包括：根据所述第一训练图像类别数据、所述第二训练图像类别数据计算得到类别损失数
据；根据所述第一图像类别集的第一类别数量、所述第二图像类别集的第二类别数量计算得到概率值；根据所述概率值、所述损失数据对所述原始生成器进行参数调整，得到所述目标生成器。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一训练图像类别数据、所述第二训练图像类别数据计算得到类别损失数据，包括：对所述第一训练图像类别数据和所述第二训练图像类别数据进行拼接，得到第二类别拼接数据；对所述第二类别拼接数据进行编码，得到类别编码值；根据所述第二类别拼接数据、所述类别编码值计算得到所述类别损失数据。6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标生成器包括批归一化模块和上采样模块；所述获取由预设的目标生成器生成的样本图像，包括：获取样本图像噪声数据；将所述样本图像噪声数据输入至所述批归一化模块进行归一化处理，得到噪声特征；将所述噪声特征输入至所述上采样模块进行上采样处理，得到所述样本图像。7.根据权利要求6所述的方法，其特征在于，所述上采样模块包括卷积层、批归一化层、激活层；所述将所述噪声特征输入至所述上采样模块进行上采样处理，得到所述样本图像，包括：将所述噪声特征输入至所述卷积层进行特征提取，得到初始图像特征；将所述初始图像特征输入至所述批归一化层进行归一化处理，得到目标图像特征；将所述目标图像特征输入至所述激活层进行特征变换，得到所述样本图像。8.一种图像类别识别装置，其特征在于，所述装置包括：样本图像生成模块，用于获取由预设的目标生成器生成的样本图像；第一预测模块，用于将所述样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；其中，所述第一样本图像类别数据用于表征所述样本图像在预设的第一图像类别集的分布情况；第二预测模块，用于将所述样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；其中，所述第二样本图像类别数据用于表征所述样本图像在预设的第二图像类别集的分布情况；第三预测模块，用于将所述样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；其中，所述第三样本图像类别数据用于表征所述样本图像在预设的第三图像类别集的分布情况，所述第三图像类别集为对所述第一图像类别集和所述第二图像类别集求并集得到；参数调整模块，用于根据所述第三样本图像类别数据、所述第一样本图像类别数据、所述第二样本图像类别数据对所述初始识别模型进行参数调整，得到目标识别模型；图像类别识别模块，用于将取待识别的目标图像输入至所述目标识别模型进行图像类
别识别，得到目标图像类别数据；其中，所述目标图像类别数据用于表征所述目标图像在所述第三图像类别集的分布情况。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请实施例提供了一种图像类别识别方法和装置、电子设备及存储介质，属于数字医疗技术领域。该方法包括：获取由预设的目标生成器生成的样本图像；将样本图像输入至预设的第一识别模型进行图像类别预测，得到第一样本图像类别数据；将样本图像输入至预设的第二识别模型进行图像类别预测，得到第二样本图像类别数据；将样本图像输入至预设的初始识别模型进行图像类别预测，得到第三样本图像类别数据；对初始识别模型进行参数调整，得到目标识别模型；将取待识别的目标图像输入至目标识别模型进行图像类别识别，得到目标图像类别数据。本申请实施例能够提高目标识别模型的图像类别识别能力。识别能力。识别能力。


技术研发人员：瞿晓阳 王健宗 赵晨栋
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.31
技术公布日：2023/8/13