一种基于融合视觉信息的广义零样本图像分类方法

1.本发明属于深度学习领域，用于处理图像分类问题，特别涉及了一种基于融合视觉信息的广义零样本图像分类方法。


背景技术：

2.现有的深度神经网络模型往往采用监督学习的训练方式，通过大量标注数据训练使模型的各参数达到最优状态。对所有图像进行标注带来了极高的成本，同时针对濒危物种识别、医疗影像处理等缺乏训练数据的场景，不足量的数据使得传统模型难以对这些类别起到很好的识别效果。为了缓解部分特殊任务中，模型对标注数据的依赖，研究者们提出了一种新的研究领域—零样本学习。在2009年，awa数据集被提出，继而有学者提出了基于属性进行类别预测的算法，同年，零样本学习这个概念被首次提出，拉开了零样本学习的序幕。
3.零样本，即无训练样本，旨在让深度学习模型能够识别没有训练过的新类别，实现训练集与测试集在数据的类别没有交集，或测试集数据类别大于训练集数据类别的情况下，通过知识迁移的方式对模型没有训练过的不可见类图像进行分类。零样本学习依赖于有标签的可见类别，以及不可见类别与可见类别相关联的语义信息。根据可见类样本训练得到图像中视觉特征对应的公用语义属性，将可见类属性特征迁移到不可见类中，在类别相关联的语义信息下建立可见类与不可见类的耦合关系，从而实现在没有不可见类标签作为训练样本的前提下完成对不可见类的分类。测试阶段可以分为传统零样本学习和广义零样本学习，传统零样本学习表示只对不可见类进行预测，广义零样本学习表示同时对可见类和不可见类进行预测，广义零样本学习往往更符合现实任务的需要，但同时也带来了更大的难度，对模型提出更高的要求。
4.零样本学习方法和传统的分类方法相比，有着如下几种优势：
5.1、针对某些未建立数据集的特定类(如濒危物种、最新设计工业产品等)，可以通过零样本学习的方法实现识别与分类；
6.2、零样本学习的实现方法与人类的学习方法有许多共通之处，可以提高模型的可解释性；
7.3、零样本学习和深度学习方法可以有机结合，融合发展，更好地满足对象识别任务的需求。
8.零样本学习的相关研究具备很高的理论价值和潜在的应用能力，也是目标分类技术发的必然趋势之一，零样本学习已经成为了图像识别分类任务中的研究重点之一。


技术实现要素：

9.本发明的目的在于：针对上述现有技术，本发明提出一种基于融合视觉信息的广义零样本图像分类方法，提升视觉特征处理和多分辨率信息交互能力，获得性能更优的零样本图像分类模型。
10.为实现上述目的，本发明提供如下技术方案：一种基于融合视觉信息的广义零样本图像分类方法，通过步骤s1至步骤s4，获得广义零样本图像分类模型，并按步骤i至步骤j，应用广义零样本图像分类模型，针对待分类图像进行分类：
11.步骤s1、基于预设数据集获得所有类别标签、所有语义属性，以及各类别标签分别与各语义属性的对应关系；
12.步骤s2、基于预设数据集的所有语义属性构建广义零样本图像分类模型，广义零样本图像分类模型以图像为输入，输出图像的语义属性组合；所述广义零样本图像分类模型包括图像预处理模块、特征融合嵌入模块和属性提取模块；所述图像预处理模块根据图像获得图像的局部编码特征向量；所述特征融合嵌入模块用于对局部编码特征向量进行特征融合处理，得到融合视觉信息；所述属性提取模块实现融合视觉信息到预设语义属性的映射；
13.步骤s3、基于预设数据集中具备训练样本的可见类构建训练集；训练集中各训练样本包含图像、图像的语义属性组合、以及图像所属的类别标签；
14.步骤s4、利用上述训练集对广义零样本图像分类模型进行训练，学习图像与语义属性之间的映射关系；
15.步骤i、将待分类图像输入已训练的广义零样本图像分类模型，获得待分类图像的语义属性组合；
16.步骤j、将待分类图像的语义属性组合与预设数据集中所有类别标签下的语义属性组合分别进行余弦相似度计算，将相似度最高的语义属性组合所对应的类别标签作为待分类图像的类别标签，实现广义零样本图像分类任务。
17.进一步地，前述的步骤s2中，图像预处理模块对图像进行预处理的步骤包括：
18.步骤s201、利用特征提取器对图像进行视觉特征提取，获得图像的视觉特征图；
19.步骤s202、将步骤s201得到的视觉特征图进行图块划分，并对各图块进行向量化；具体方法为：先将图像的视觉特征图统一重塑至224
×
224分辨率，然后以4
×
4分辨率为一个区域图块对重塑后的视觉特征图进行划分，生成不重叠的56
×
56个区域图块，之后将各图块进行向量化，得到192维图块特征向量；
20.步骤s203、对各图块特征向量添加相对位置编码，获得图像的局部编码特征向量。
21.进一步地，前述的步骤s201中，采用在imagenet数据集上预训练得到的卷积神经网络作为特征提取器。
22.进一步地，前述的步骤s203中，对图块向量添加相对位置编码的步骤，具体方法为：在图块向量中添加相对位置向量和通过如下公式得到图块间的相对位置关系：
[0023][0024][0025]
[0026]
其中xi、xj为输入向量，dk为嵌入维数，e
ij
为xi、xj的点积相似度，α
ij
为e
ij
经过softmax函数得到的xi、xj间相似权重，wq、wk、wv为进行更新优化的查询(query，q)、键(key，k)、值(value，v)参数矩阵，zi表示处理得到的局部编码特征向量。
[0027]
进一步地，前述的步骤s2中，特征融合嵌入模块由deit、图块融合和特征融合组成；图块融合用于实现不同分辨率之间的转换；特征融合采用串并行结合的策略融合；首层级的deit对输入的局部编码特征向量进行处理，处理后的特征向量输入后一层级的同时经特征融合重构为首层特征图，输入后一层级的特征向量先经过图块融合将4个相邻图块合并为1个4倍尺寸的图块，分辨率增大，再由该层级的deit进行处理，处理得到的特征向量继续输入下一层级，同时也经特征融合重构生成二层特征图，通过这样的三个图块融合层，可以实现模型对四个依次增大的分辨率层次的视觉信息处理；特征融合将各层级deit处理的特征向量重构为对应的特征图，再将各层级deit输出的特征图并行输入特征融合层，之后加权得到兼顾局部和全局的融合视觉信息。其中，deit由多头自注意力层msa和mlp组成，msa和mlp前进行层归一化处理，再进行残差连接，网络关系可以由下式表示：
[0028][0029][0030]
式中，z
l-1
为前层的输出特征，为后层的输入特征，z
l
为后层的输出特征。
[0031]
进一步地，前述的步骤s2中，属性提取模块包括全局平均池化层gap和语义属性预测器两部分；语义属性预测器是基于预设数据集中所有语义属性构建的，先通过全局平均池化层gap处理融合视觉信息得到融合视觉特征图，再将融合视觉特征图输入语义属性预测器得到相应的语义属性。
[0032]
进一步地，前述的步骤s4中，对广义零样本图像分类模型进行训练的步骤包括：
[0033]
步骤s401、将样本图像输入广义零样本图像分类模型，获得样本图像的语义属性组合，将该语义属性组合标记为样本图像的预测语义属性组合；
[0034]
步骤s402、基于样本图像的类别标签从预设数据库获得样本图像对应类别的语义属性组合；
[0035]
步骤s403、基于样本图像的语义属性组合、预测语义属性组合、对应类别的语义属性组合，使用损失函数计算模型整体损失，并根据模型整体损失值对广义零样本图像分类模型的参数进行优化；
[0036]
步骤s404、利用训练集中的样本图像迭代地更新广义零样本图像分类模型的参数，直至参数收敛，得到已训练的广义零样本图像分类模型；
[0037]
进一步地，前述的步骤s403中，使用损失函数计算模型整体损失具体包含：
[0038]
基于样本图像的语义属性组合和预测语义属性组合中的各单一属性，计算属性回归损失l
ar
，计算公式如下：
[0039][0040]
式中，m为预设数据集包含的语义属性总数量，为预测语义属性组合中各单一属性的值，ai为样本图像的语义属性组合中各单一属性的值；
[0041]
基于样本图像的预测语义属性组合、对应类别的语义属性组合，计算属性交叉熵
损失l
ace
，计算公式如下：
[0042][0043]
式中，ys为使用的可见类训练集，为可见类中包含的属性组合；
[0044]
基于属性回归损失l
ar
、属性交叉熵损失l
ace
，计算模型整体损失l，计算公式如下：
[0045]
l＝l
ar
+al
ace
[0046]
式中，α为两个损失间的加权系数。
[0047]
进一步地，前述的步骤j中，余弦相似度计算的具体公式如下：
[0048][0049]
式中，代表对比类别(包含可见类和不可见类)中包含的属性组合。
[0050]
本发明所述一种基于融合视觉信息的广义零样本图像分类方法，采用以上技术方案与现有技术相比，具有以下技术效果：
[0051]
1、本发明方法采用有效的视觉信息融合提高模型对不同分辨率层级信息处理能力，使零样本学习分类模型的性能更优，精度更高；
[0052]
2、本发明所提方法通过多分辨率的视觉信息融合，使模型兼顾了图像全局分析能力和局部特征提取能力，具有较好的视觉-语义嵌入效果，实现可见类到不可见类的迁移。
附图说明
[0053]
图1是本发明提出的基于融合视觉信息的广义零样本图像分类方法的步骤流程图；
[0054]
图2是本发明提出的特征融合嵌入模块的框架示意图；
[0055]
图3是本实施例中基于融合视觉信息的广义零样本图像分类模型的图像处理示意图。
具体实施方式
[0056]
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
[0057]
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0058]
如图1所示，本发明提出的一种基于融合视觉信息的广义零样本图像分类方法，包括如下步骤：
[0059]
(1)获得数据集所有类别标签、语义属性、以及两者的对应关系；
[0060]
(2)构建广义零样本图像分类模型；
[0061]
(3)构建可见类训练样本集；
[0062]
(4)用训练样本集训练广义零样本图像分类模型；
[0063]
(5)将待分类图像输入已训练的模型，获得对应语义属性组合；
[0064]
(6)将获得的语义属性组合与所有类别的语义属性组合对比，输出相似度最高的类别标签。
[0065]
本实施例中，分别采用三个广义零样本图像分类通用数据集：awa2、cub、sun。其中，awa2为动物数据集，包含37322张图片，50种类别，85个语义属性。cub为鸟类识别数据集，包含11788张图片，200个类别，102个语义属性。sun为场所识别数据集，包含14340张图片，717个类别，312个语义属性，每个样本数据包含图像、所属类别标签，以及对应语义属性组合。数据集的具体信息如表1：
[0066]
表1
[0067]
数据集训练样本可见/不可见测试样本数可见/不可类别数语义属性数awa2235275882/791340/1085cub70571440/2580150/50102sun103207924/1483645/72312
[0068]
广义零样本图像分类模型以图像为输入，输出图像的语义属性组合，由图像预处理模块、特征融合嵌入模块和属性提取模块构成。本实施例中，广义零样本图像分类模型使用pytorch作为深度学习框架，使用adam optmizer以0.0001的固定学习率进行参数优化，batch size设置为64，损失权重系数设置为0.01，使用nvidia rtx 3090gpu 24gb进行实验，迭代轮次设置为100个epoch。
[0069]
如图2所示，特征融合嵌入模块包含deit、图块融合和特征融合；图块融合实现不同分辨率之间的转换，在首层以外的deit前使用图块融合使各层级的分辨率依次增大，实现不同层级deit对不同分辨率图块向量进行自注意力计算；特征融合部分采用串并行结合的融合策略，保持不同层级间串行结构的同时，将各层级输出的特征图并行输入特征融合层进行融合。其中，deit由多头自注意力层msa和mlp组成，msa和mlp前进行层归一化处理，再进行残差连接，网络关系可以由下式表示：
[0070][0071][0072]
式中，z
l-1
为前层的输出特征，为后层的输入特征，z
l
为后层的输出特征。
[0073]
属性提取模块包含全局平均池化层gap和语义属性预测器两部分；语义属性预测器是分别基于各相应数据集中所有语义属性构建的，先通过全局平均池化层gap处理融合视觉信息得到融合视觉特征图，再将融合视觉特征图输入语义属性预测器得到相应的语义属性组合。
[0074]
如图3所示，使用训练样本集训练广义零样本图像分类模型的过程包括以下步骤：利用在imagenet数据集上预训练得到的卷积神经网络作为特征提取器对输入的图像进行视觉特征提取，获得图像的视觉特征图；然后将视觉特征图统一重塑至224
×
224分辨率，以4
×
4分辨率为一个区域图块对重塑后的视觉特征图进行划分，生成不重叠的56
×
56个区域图块，之后将各图块进行向量化，得到192维图块特征向量；最后，对各图块特征向量添加相对位置编码，获得图像的局部编码特征向量。其中，添加相对位置编码具体方法为：在图块
向量中添加相对位置向量和通过如下公式得到图块间的相对位置关系：
[0075][0076][0077][0078]
其中xi、xj为输入向量，dk为嵌入维数，e
ij
为xi、xj的点积相似度，α
ij
为e
ij
经过softmax函数得到的xi、xj间相似权重，wq，wk，wv为进行更新优化的查询(query，q)、键(key，k)、值(value，v)参数矩阵，zi表示处理得到的局部编码特征向量。
[0079]
对图像的局部编码特征向量输入特征融合嵌入模块进行特征融合嵌入，首层级的deit对输入的局部编码特征向量进行处理，处理后的特征向量输入后一层级的同时经特征融合重构为首层特征图，输入后一层级的特征向量先经过图块融合将4个相邻图块合并为1个4倍尺寸的图块，分辨率增大，再由该层级的deit进行处理，处理得到的特征向量继续输入下一层级，同时也经特征融合重构生成二层特征图，通过这样的三个图块融合层，可以实现模型对四个依次增大的分辨率层次的视觉信息处理；特征融合将各层级deit处理的特征向量重构为对应的特征图，再将各层级deit输出的特征图并行输入特征融合层，之后加权得到兼顾局部和全局的融合视觉信息。
[0080]
将融合视觉信息输入属性提取模块进行语义属性预测，获得语义属性预测值，将语义属性预测值与图像的语义属性真实值进行对比，模型整体损失，并根据模型整体损失值对广义零样本图像分类模型的参数进行优化；其中，模型整体损失计算方法如下：
[0081]
基于样本图像的语义属性组合和预测语义属性组合中的各单一属性，计算属性回归损失l
ar
，计算公式如下：
[0082][0083]
式中，m为预设数据集包含的语义属性总数量，为预测语义属性组合中各单一属性的值，ai为样本图像的语义属性组合中各单一属性的值；
[0084]
基于样本图像的预测语义属性组合、对应类别的语义属性组合，计算属性交叉熵损失l
ace
，计算公式如下：
[0085][0086]
式中，ys为使用的可见类训练集，为可见类中包含的属性组合；
[0087]
基于属性回归损失l
ar
、属性交叉熵损失l
ace
，计算模型整体损失l，计算公式如下：
[0088]
l＝l
ar
+αl
ace
[0089]
式中，α为两个损失间的加权系数。
[0090]
分别利用awa2、cub、sun数据集中的训练样本对模型进行训练，迭代地更新广义零样本图像分类模型的参数，直至参数收敛，得到已训练的广义零样本图像分类模型。
[0091]
将待分类图像输入已训练的广义零样本图像分类模型，基于广义零样本图像分类模型训练生成的图像与各语义属性的映射关系，获得该图像对应的语义属性组合，将获得的语义属性组合与对应数据集中所有类别的语义属性组合分别进行余弦相似度计算，取相似度最高的语义属性组合所对应的类别标签作为广义零样本图像分类模型的分类结果输出。其中，余弦相似度计算的具体公式如下：
[0092][0093]
式中，代表对比类别(包含可见类和不可见类)中包含的属性组合。
[0094]
在本实施例中，在gzsl设置下进行实验，测试阶段同时对可见类和不可见类样本进行分类，并与近期主流的三种分类方法进行了精度对比，三种分类方法分别为基于生成对抗的零样本学习方法gazsl、语义保持对抗嵌入网络sp-aen、基于vit的零样本学习方法vit-zsl；对比结果详见表2，在各数据集上的不同指标中，最高精度以加粗表示，其中accs、accu分别表示对可见类和不可见类样本进行类别预测的top-1精度，acch表示accs和accu的调和平均数，代表模型对两大类别预测的综合分辨性能；从表2中可以看出，本发明方法在三个零样本学习常用数据集上的各项分类精度均达到了最高，证明了本发明方法采用的视觉信息融合的有效性。且在三个数据集的综合指标acch上较次优方法得到1.2％、3.5％、6.3％的显著提升，表明本发明方法在可见类和不可见类的预测上做到了较好的平衡，使模型整体的精度相较其他近期零样本学习模型处在领先水平。
[0095]
表2
[0096][0097]
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

技术特征：
1.一种基于融合视觉信息的广义零样本图像分类方法，用于对模型没有训练过的不可见类图像进行分类，其特征在于，通过步骤s1至步骤s4，获得广义零样本图像分类模型，并按步骤i至步骤j，应用广义零样本图像分类模型，针对待分类图像进行分类：步骤s1、基于预设数据集获得所有类别标签、所有语义属性，以及各类别标签分别与各语义属性的对应关系；步骤s2、基于预设数据集的所有语义属性构建广义零样本图像分类模型，广义零样本图像分类模型以图像为输入，输出图像的语义属性组合；所述广义零样本图像分类模型包括图像预处理模块、特征融合嵌入模块和属性提取模块；所述图像预处理模块根据图像获得图像的局部编码特征向量；所述特征融合嵌入模块用于对局部编码特征向量进行特征融合处理，得到融合视觉信息；所述属性提取模块实现融合视觉信息到预设语义属性的映射；步骤s3、基于预设数据集中具备训练样本的可见类构建训练集；训练集中各训练样本包含图像、图像的语义属性组合、以及图像所属的类别标签；步骤s4、利用上述训练集对广义零样本图像分类模型进行训练，学习图像与语义属性之间的映射关系；步骤i、将待分类图像输入已训练的广义零样本图像分类模型，获得对应的语义属性组合；步骤j、将待分类图像的语义属性组合与预设数据集中所有类别标签下的语义属性组合分别进行余弦相似度计算，将相似度最高的语义属性组合所对应的类别标签作为待分类图像的类别标签，实现广义零样本图像分类任务。2.根据权利要求1所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s2中，图像预处理模块对图像进行预处理的步骤包括：步骤s201、利用特征提取器对图像进行视觉特征提取，获得图像的视觉特征图；步骤s202、将步骤s201得到的视觉特征图进行图块划分，并对各图块进行向量化；具体方法为：先将图像的视觉特征图统一重塑至224
×
224分辨率，然后以4
×
4分辨率为一个区域图块对重塑后的视觉特征图进行划分，生成不重叠的56
×
56个区域图块，之后将各图块进行向量化，得到192维图块特征向量；步骤s203、对各图块特征向量添加相对位置编码，获得图像的局部编码特征向量。3.根据权利要求2所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s201中，采用在imagenet数据集上预训练得到的卷积神经网络作为特征提取器。4.根据权利要求2所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s203中，对图块向量添加相对位置编码的步骤，具体方法为：在图块向量中添加相对位置向量和通过如下公式得到图块间的相对位置关系：通过如下公式得到图块间的相对位置关系：
其中x
i
、x
j
为输入向量，d
k
为嵌入维数，e
ij
为x
i
、x
j
的点积相似度，α
ij
为e
ij
经过softmax函数得到的x
i
、x
j
间相似权重，w
q
、w
k
、wv为进行更新优化的查询(query，q)、键(key，k)、值(value，v)参数矩阵，z
i
表示处理得到的局部编码特征向量。5.根据权利要求1所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s2中，特征融合嵌入模块由deit、图块融合和特征融合组成；图块融合用于实现不同分辨率之间的转换；特征融合采用串并行结合的策略融合；deit由多头自注意力层msa和mlp组成，msa和mlp前进行层归一化处理，再进行残差连接，网络关系可以由下式表示：接，网络关系可以由下式表示：其中，z
l-1
为前层的输出特征，为后层的输入特征，z
l
为后层的输出特征；首层级的deit对输入的局部编码特征向量进行处理，处理后的特征向量输入后一层级的同时经特征融合重构为首层特征图，输入后一层级的特征向量先经过图块融合将4个相邻图块合并为1个4倍尺寸的图块，分辨率增大，再由该层级的deit进行处理，处理得到的特征向量继续输入下一层级，同时也经特征融合重构生成二层特征图，通过这样的三个图块融合层，可以实现模型对四个依次增大的分辨率层次的视觉信息处理；特征融合将各层级deit处理的特征向量重构为对应的特征图，再将各层级deit输出的特征图并行输入特征融合层，之后加权得到兼顾局部和全局的融合视觉信息。6.根据权利要求1所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s2中，属性提取模块包括全局平均池化层gap和语义属性预测器两部分；语义属性预测器是基于预设数据集中所有语义属性构建的，先通过全局平均池化层gap处理融合视觉信息得到融合视觉特征图，再将融合视觉特征图输入语义属性预测器得到相应的语义属性。7.根据权利要求1所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤s4中，对广义零样本图像分类模型进行训练的步骤包括：步骤s401、将样本图像输入广义零样本图像分类模型，获得样本图像的语义属性组合，将该语义属性组合标记为样本图像的预测语义属性组合；步骤s402、基于样本图像的类别标签从预设数据库获得样本图像对应类别的语义属性组合；步骤s403、基于样本图像的语义属性组合、预测语义属性组合、对应类别的语义属性组合，使用损失函数计算模型整体损失，并根据模型整体损失值对广义零样本图像分类模型的参数进行优化；步骤s404、利用训练集中的样本图像迭代地更新广义零样本图像分类模型的参数，直至参数收敛，得到已训练的广义零样本图像分类模型。8.根据权利要求7所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，步骤s403中，使用损失函数计算模型整体损失具体包含：
基于样本图像的语义属性组合和预测语义属性组合中的各单一属性，计算属性回归损失l
ar
，计算公式如下：式中，m为预设数据集包含的语义属性总数量，为预测语义属性组合中各单一属性的值，a
i
为样本图像的语义属性组合中各单一属性的值；基于样本图像的预测语义属性组合、对应类别的语义属性组合，计算属性交叉熵损失l
ace
，计算公式如下：式中，y
s
为使用的可见类训练集，为可见类中包含的属性组合；基于属性回归损失l
ar
、属性交叉熵损失l
ace
，计算模型整体损失l，计算公式如下：l＝l
ar
+αl
ace
式中，α为两个损失间的加权系数。9.根据权利要求1所述的一种基于融合视觉信息的广义零样本图像分类方法，其特征在于，所述步骤j中，余弦相似度计算的具体公式如下：式中，代表对比类别(包含可见类和不可见类)中包含的属性组合。

技术总结
本发明公开了一种基于融合视觉信息的广义零样本图像分类方法，该方法首先使用预训练特征提取器对图像特征信息进行提取，并针对特征信息添加相对位置编码及向量化。然后将特征向量输入特征融合嵌入模块，采用多层级架构对不同分辨率的视觉信息进行差异性处理，并使用特征融合得到融合视觉信息，预测包含的语义属性；最后根据语义属性预测值计算属性回归损失和属性交叉熵损失，更新优化模型参数，得到最优模型用于测试。测试阶段将测试图像输入模型，获取图像中语义属性组合，根据余弦相似度分数预测图像类别。本发明采用融合视觉信息的方式，提高模型对不同分辨率信息处理能力，得到更优的零样本图像分类性能。到更优的零样本图像分类性能。到更优的零样本图像分类性能。


技术研发人员：潘杰 潘强烽 邹筱瑜
受保护的技术使用者：中国矿业大学
技术研发日：2023.05.24
技术公布日：2023/9/23