图像特征分解方法、装置、设备及存储介质与流程

未命名 10-19 阅读:143 评论:0


1.本技术涉及人工智能技术领域,尤其涉及一种图像特征分解方法、装置、设备及存储介质。


背景技术:

2.因果分析是目前神经网络可解释性工作的一个主流方向,它的主要思想是通过分析图片的不同特征,从而推断特征与神经网络输出结果之间的因果关系,进而对神经网络这个黑匣子做更好的解释。而grad-cam是一种比较成熟的用于做特征可视化的方法,在一定程度上可以对神经网络所学习到的结果做一定的解释。把grad-cam的方法用在因果分析上是一个值得挖掘的技术,但grad-cam本身还存在着很大的不足,比如可视化范围较广,无法区分图像不同特征,无法给出不同特征之间重要性等。例如,无法区分医疗影像中不同图像特征,无法给不不同特征之间的重要性。又例如,图1中虽然给出了神经网络学习到的鸟的重要性区域,但是并没有区分开鸟的不同特征,比如鸟的头部和鸟的身体这两个特征没有很好地解耦,也没有给出两者的相对重要性。这对于后续的因果分析来说存在很大的阻碍。


技术实现要素:

3.针对上述技术问题,本技术的目的在于提供一种图像特征分解方法、装置、设备及存储介质,旨在区分图像不同特征且能够显示不同特征之间的相对重要性。
4.第一方面,本发明实施例提供一种图像特征分解方法,包括:
5.获取神经网络输出的特征图集;
6.对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;
7.分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;
8.分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
9.进一步的,所述对所述特征图集中的特征图进行聚类,得到不同类别的特征图,包括:
10.按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。
11.进一步的,对所述特征图子集中的特征图进行归一化处理的步骤包括:
12.将所述特征图中的每一像素点除以所述特征图集中的最大像素值。
13.进一步的,对归一化后的所述特征图子集中的特征图进行加权求和的步骤,包括:
14.获取归一化后的所述特征图子集中各特征图对应的梯度图;
15.根据各特征图对应的梯度图计算各特征图的权重;
16.根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。
17.进一步的,所述根据各特征图对应的梯度图计算各特征图的权重,包括:
18.分别对各特征图对应的梯度图进行全局平均处理,得到各特征图的权重。
19.第二方面,本发明实施例提供一种图像特征分解装置,包括:
20.获取模块,用于获取神经网络输出的特征图集;
21.聚类模块,用于对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;
22.归一化处理模块,用于分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;
23.加权求和模块,用于分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
24.进一步的,所述聚类模块具体用于:
25.按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。
26.进一步的,所述加权求和模块具体用于:
27.获取归一化后的所述特征图子集中各特征图对应的梯度图;
28.根据各特征图对应的梯度图计算各特征图的权重;
29.根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。
30.第三方面,本技术实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
31.第四方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
32.本发明实施例通过获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图,这样,有效地将不同特征进行分解,并且能够显示出不同特征之间相对重要性。
附图说明
33.为了更清楚地说明本技术的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
34.图1是本技术实施例提供的图像特征分解方法的流程示意图;
35.图2是本技术实施例提供的图像特征分解方法的另一流程示意图;
36.图3是本技术实施例提供的鸟的特征分解图;
37.图4是本技术实施例提供的对特征图子集中的特征图进行加权求和的流程示意图;
38.图5是本技术实施例提供的一种图像特征分解装置的结构示意图;
39.图6是本技术实施例提供的计算机设备的结构示意框图。
具体实施方式
40.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
41.实施例一:
42.grad-cam(gradient-weighted class activation mapping,梯度加权类激活映射)是一种比较成熟的用于做特征可视化的方法,在一定程度上可以对神经网络所学习到的结果做一定的解释。把grad-cam的方法用在因果分析上是一个值得挖掘的技术,但grad-cam本身还存在着很大的不足,比如可视化范围较广,无法区分图像不同特征,无法给出不同特征之间重要性等。为解决该问题,本发明实施例在grad-cam的基础上做了一定的改良,以区分图片的不同特征,为因果分析做一个较好的铺垫。
43.请参阅图1、图2,本技术实施例提供一种图像特征分解方法,包括步骤s1-s4:
44.s1、获取神经网络输出的特征图集;
45.s2、对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;
46.s3、分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;
47.s4、分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
48.如上述步骤s1,由于神经网络最终输出的特征图包括多个特征图,因此,将神经网络最终输出的所有特征图作为一个特征图集。所述神经网络可以是卷积神经网络等神经网络,本发明实施例对此不作限制。
49.如上述步骤s2,应当理解的是,聚类是按照某个特定标准把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。本发明实施例通过按照设定的规则对特征图集中的特征图进行聚类,能够得到不同类别的特征图子集,从而实现了不同特征的分解。
50.如上述步骤s3,需要说明的是,如果直接对各类别的特征图做加权求和,只能得到各类别的相对重要区域,而无法对网络最关注的区域和特征做出解释,因此,需要对所有特征图进行归一化。
51.如上述步骤s4,通过分别对归一化后各类别的特征图子集中的特征图进行加权求和,能够得到对应类别最终的特征图,从而完成图像特征的最终分解。
52.将本发明实施例应用于鸟的图像的特征分解,特征分解图如图3所示,由图3可以发现,本发明实施例可以有效将鸟的头部和腹部区分开,并且能得出鸟的头部相对于鸟的腹部对网络而言更重要。在此基础之上,我们可以对不同的特征进行操作,以研究不同特征之间,以及不同特征和网络输出之间的因果关系。
53.本发明实施例也应用于医疗影像中图像的特征分解,例如,肺炎检测特征可视化。
54.本发明实施例通过获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行
归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图,这样,有效地将不同特征进行分解,并且显示出不同特征之间相对重要性。
55.此外,在此基础上,可以很好地研究网络关注的不同特征之间以及不同特征与网络输出之间的关系,方便后续的因果分析。最后,本发明实施例提供的图像特征分解方法可以在不改变网络架构的基础上,很方便地应用于不同的网络,且本发明方法简单,具有很好的推广性。
56.在一个实施例中,所述对所述特征图集中的特征图进行聚类,得到不同类别的特征图,包括:
57.按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。
58.在本发明实施例中,需要说明的是,通过按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到的不同类别的特征图区别更大,从而实现了对不同特征的分解。
59.为便于理解选择特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类的原因,下面列举一个例子进行解释说明。
60.以resnet50网络为例,网络最后输出2048个特征图,每个特征图的大小为8*8。在通过grad-cam做特征可视化的时候,一般采用插值的方法对加权求和之后的特征图上采样到原图大小。由此可知,8*8的特征图,每一个像素点对应原图的一块固定区域。另一方面,基于实验验证可以得出,每一个特征图有其各自最关注的区域,具体来说,每一个特征图有其各自的最大像素值,并且最大像素值周围的像素点的像素值往往也较大,这也是为什么grad-cam最后得到的热力图范围较广的原因。基于以上原因,按照特征图最大像素值所在像素点的不同对2048个特征图进行聚类,以此完成对不同特征的分解。
61.在一个实施例中,对所述特征图子集中的特征图进行归一化处理的步骤包括:
62.将所述特征图中的每一像素点除以所述特征图集中的最大像素值。
63.在本发明实施例中,需要说明的是,步骤s3是分别对不同类别的所述特征图子集中的特征图进行归一化处理,由于不同类别的所述特征图子集中的特征图进行归一化处理进行归一化的处理方式相同,因此,对每一类别的特征图子集中的特征图,均按照上述归一化处理的步骤对特征图进行归一化处理,即可得到归一化后各类别的特征图子集。为便于理解,下面列举一个例子进行说明。
64.假设对特征图集中的特征图进行聚类后得到3个类别的特征图子集,分别为第一类别的特征图子集、第二类别的特征图子集以及第三类别的特征图子集。由于对每一类别的特征图子集中的特征图进行归一化的方法相同,因此,下面仅以第一类别的特征图子集为例进行解释说明。假设第一类别的特征图子集中有两张特征图,分别为第一特征图和第二特征图,而特征图集中有2048个特征图,且这2048个特征图的最大像素值为240,那么对于第一特征图进行归一化的方法为:将第一特征图中的每一像素值除以240。同理,对第二特征图进行归一化的方法为:将第二特征图中的每一像素值除以240。对第一类别的特征图子集中的所有特征图做完归一化处理后,即得到了归一化后第一类别的特征图子集。
65.此外,为便于理解对聚类后的特征图进行归一化的原因,下面对此进行解释说明。
66.同样以resnet50网络为例,在对resnet50网络输出的2048个特征图进行聚类后,最多可以得到64个类别的属性,因此特征图大小是8*8,所以相似点只有64个,但也会出现不足64个类别的情况,原因即某些像素点对应的区域不是网络最关注的。此时,如果直接对各类别的特征图做加权求和,只能得到各个类别的相对重要区域,而无法对网络最关注的区域做出解释,原因即在于grad-cam的方法是对所有特征图做加权求和的,所以整体需要做归一化。
67.请参阅图4,在一个实施例中,对归一化后的所述特征图子集中的特征图进行加权求和的步骤,包括:
68.s21、获取归一化后的所述特征图子集中各特征图对应的梯度图;
69.s22、根据各特征图对应的梯度图计算各特征图的权重;
70.s23、根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。
71.在本发明实施例中,需要说明的是,步骤s4是分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,由于对归一化后每一类别的特征图子集中的特征图进行加权求和的方式相同,因此,对于每一类别的特征图子集,按照上述加权求和的方式对特征图子集中的特征图进行加权求和,可得到各类别最终的特征图。为便于理解,下面列举一个例子进行说明。
72.假设有三个类别的特征图子集,分别为第一类别的特征图子集、第二类别的特征图子集以及第三类别的特征图子集。由于对每一特征图子集中的特征图进行加权求和的方式是相同的,因此,下面仅以第一类别的特征图子集为例进行解释说明。
73.假设归一化后的第一类别的特征图子集有两张特征图,分别归一化后的第一特征图和归一化后的第二特征图。获取归一化后的第一特征图对应的梯度图,根据该梯度图计算归一化后的第一特征图对应的权重。获取归一化后的第二特征图对应的梯度图,根据该梯度图计算归一化后的第二特征图对应的权重。根据归一化后的第一特征图的权重、归一化后的第二特征图的权重对归一化后的第一特征图和归一化后的第二特征图进行加权求和,得到第一类别最终的特征图。
74.在一个实施例中,所述根据各特征图对应的梯度图计算各特征图的权重,包括:
75.分别对各特征图对应的梯度图进行全局平均处理,得到各特征图的权重。
76.在本发明实施例中,通过对各特征图对应的梯度图进行全局平均处理,能够得到各特征图的权重,从而能够根据各特征图的权重对特征图进行加权求和,得到最终的特征图。
77.实施例二:
78.请参阅图5,本发明实施例提供一种图像特征分解装置,包括:
79.获取模块1,用于获取神经网络输出的特征图集;
80.聚类模块2,用于对所述特征图集中的特征图进行聚类,得到各类特征图子集;
81.归一化处理模块3,用于分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;
82.加权求和模块4,用于分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
83.如上述步骤获取模块1,由于神经网络最终输出的特征图包括多个特征图,因此,将神经网络最终输出的所有特征图作为一个特征图集。所述神经网络可以是卷积神经网络等神经网络,本发明实施例对此不作限制。
84.如上述聚类模块2,应当理解的是,聚类是按照某个特定标准把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。本发明实施例通过按照设定的规则对特征图集中的特征图进行聚类,能够得到不同类别的特征图子集,从而实现了不同特征的分解。
85.如上述归一化处理模块3,需要说明的是,如果直接对各类别的特征图做加权求和,只能得到各类别的相对重要区域,而无法对网络最关注的区域和特征做出解释,因此,需要对所有特征图进行归一化。
86.如上述加权求和模块4,通过分别对归一化后各类别的特征图子集中的特征图进行加权求和,能够得到对应类别最终的特征图,从而完成图像特征的最终分解。
87.本发明实施例通过获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图,这样,有效地将不同特征进行分解,并且显示出不同特征之间相对重要性。
88.在一个实施例中,所述聚类模块2具体用于:
89.按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。
90.在本发明实施例中,需要说明的是,通过按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到的不同类别的特征图区别更大,从而实现了对不同特征的分解。
91.为便于理解选择特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类的原因,下面列举一个例子进行解释说明。
92.以resnet50网络为例,网络最后输出2048个特征图,每个特征图的大小为8*8。在通过grad-cam做特征可视化的时候,一般采用插值的方法对加权求和之后的特征图上采样到原图大小。由此可知,8*8的特征图,每一个像素点对应原图的一块固定区域。另一方面,基于实验验证可以得出,每一个特征图有其各自最关注的区域,具体来说,每一个特征图有其各自的最大像素值,并且最大像素值周围的像素点的像素值往往也较大,这也是为什么grad-cam最后得到的热力图范围较广的原因。基于以上原因,按照特征图最大像素值所在像素点的不同对2048个特征图进行聚类,以此完成对不同特征的分解。
93.在一个实施例中,所述归一化处理模3块,具体用于:
94.将所述特征图中的每一像素点除以所述特征图集中的最大像素值。
95.在本发明实施例中,需要说明的是,由于不同类别的所述特征图子集中的特征图进行归一化处理进行归一化的处理方式相同,因此,对每一类别的特征图子集中的特征图,均按照上述归一化处理的步骤对特征图进行归一化处理,即可得到归一化后各类别的特征图子集。为便于理解,下面列举一个例子进行说明。
96.假设对特征图集中的特征图进行聚类后得到3个类别的特征图子集,分别为第一类别的特征图子集、第二类别的特征图子集以及第三类别的特征图子集。由于对每一类别的特征图子集中的特征图进行归一化的方法相同,因此,下面仅以第一类别的特征图子集为例进行解释说明。假设第一类别的特征图子集中有两张特征图,分别为第一特征图和第二特征图,而特征图集中有2048个特征图,且这2048个特征图的最大像素值为240,那么对于第一特征图进行归一化的方法为:将第一特征图中的每一像素值除以240。同理,对第二特征图进行归一化的方法为:将第二特征图中的每一像素值除以240。对第一类别的特征图子集中的所有特征图做完归一化处理后,即得到了归一化后第一类别的特征图子集。
97.此外,为便于理解对聚类后的特征图进行归一化的原因,下面对此进行解释说明。
98.同样以resnet50网络为例,在对resnet50网络输出的2048个特征图进行聚类后,最多可以得到64个类别的属性,因此特征图大小是8*8,所以相似点只有64个,但也会出现不足64个类别的情况,原因即某些像素点对应的区域不是网络最关注的。此时,如果直接对各类别的特征图做加权求和,只能得到各个类别的相对重要区域,而无法对网络最关注的区域做出解释,原因即在于grad-cam的方法是对所有特征图做加权求和的,所以整体需要做归一化。
99.在一个实施例中,所述加权求和模块4具体用于:
100.获取归一化后的所述特征图子集中各特征图对应的梯度图;
101.根据各特征图对应的梯度图计算各特征图的权重;
102.根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。
103.在本发明实施例中,需要说明的是,由于对归一化后每一类别的特征图子集中的特征图进行加权求和的方式相同,因此,对于每一类别的特征图子集,按照上述加权求和的方式对特征图子集中的特征图进行加权求和,可得到各类别最终的特征图。为便于理解,下面列举一个例子进行说明。
104.假设有三个类别的特征图子集,分别为第一类别的特征图子集、第二类别的特征图子集以及第三类别的特征图子集。由于对每一特征图子集中的特征图进行加权求和的方式是相同的,因此,下面仅以第一类别的特征图子集为例进行解释说明。
105.假设归一化后的第一类别的特征图子集有两张特征图,分别归一化后的第一特征图和归一化后的第二特征图。获取归一化后的第一特征图对应的梯度图,根据该梯度图计算归一化后的第一特征图对应的权重。获取归一化后的第二特征图对应的梯度图,根据该梯度图计算归一化后的第二特征图对应的权重。根据归一化后的第一特征图的权重、归一化后的第二特征图的权重对归一化后的第一特征图和归一化后的第二特征图进行加权求和,得到第一类别最终的特征图。
106.在一个实施例中,所述根据各特征图对应的梯度图计算各特征图的权重,包括:
107.分别对各特征图对应的梯度图进行全局平均处理,得到各特征图的权重。
108.在本发明实施例中,通过对各特征图对应的梯度图进行全局平均处理,能够得到各特征图的权重,从而能够根据各特征图的权重对特征图进行加权求和,得到最终的特征图。
109.实施例三:
110.参照图6,本技术实施例还提供一种计算机设备,该计算机设备可以是服务器,其
内部结构可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、神经网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存适用于一种图像特征分解方法等数据。该计算机设备的神经网络接口用于与外部的终端通过神经网络连接通信。该计算机程序被处理器执行时以实现一种图像特征分解方法,包括:获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
111.本发明实施例通过获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图,这样,有效地将不同特征进行分解,并且显示出不同特征之间相对重要性。
112.实施例四:
113.本技术实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种图像特征分解方法,包括步骤:获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。
114.本发明实施例通过获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;
115.分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图,这样,有效地将不同特征进行分解,并且显示出不同特征之间相对重要性。
116.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
117.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有
的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
118.以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。

技术特征:
1.一种图像特征分解方法,其特征在于,包括:获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。2.根据权利要求1所述的图像特征分解方法,其特征在于,所述对所述特征图集中的特征图进行聚类,得到不同类别的特征图,包括:按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。3.根据权利要求1所述的图像特征分解方法,其特征在于,对所述特征图子集中的特征图进行归一化处理的步骤包括:将所述特征图中的每一像素点除以所述特征图集中的最大像素值。4.根据权利要求1所述的图像特征分解方法,其特征在于,对归一化后的所述特征图子集中的特征图进行加权求和的步骤,包括:获取归一化后的所述特征图子集中各特征图对应的梯度图;根据各特征图对应的梯度图计算各特征图的权重;根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。5.根据权利要求4所述的图像特征分解方法,其特征在于,所述根据各特征图对应的梯度图计算各特征图的权重,包括:分别对各特征图对应的梯度图进行全局平均处理,得到各特征图的权重。6.一种图像特征分解装置,其特征在于,包括:获取模块,用于获取神经网络输出的特征图集;聚类模块,用于对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;归一化处理模块,用于分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;加权求和模块,用于分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。7.根据权利要求6所述的图像特征分解装置,其特征在于,所述聚类模块具体用于:按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类,得到不同类别的特征图。8.根据权利要求6所述的图像特征分解装置,其特征在于,所述加权求和模块具体用于:获取归一化后的所述特征图子集中各特征图对应的梯度图;根据各特征图对应的梯度图计算各特征图的权重;根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本申请涉及人工智能技术领域,提供一种图像特征分解方法,装置、设备及存储介质,其可具体可应用于医疗领域、金融领域的图像特征分解,方法包括:获取神经网络输出的特征图集;对所述特征图集中的特征图进行聚类,得到不同类别的特征图子集;分别对不同类别的所述特征图子集中的特征图进行归一化处理,得到归一化后各类别的特征图子集;分别对归一化后各类别的所述特征图子集中的特征图进行加权求和,得到各类别最终的特征图。本发明实施例能够有效地将不同特征进行分解,并且能够显示出不同特征之间相对重要性,从而可以很好地研究不同任务,例如医疗、金融任务中网络关注的不同特征之间以及不同特征与网络输出之间的关系,方便后续的因果分析。后续的因果分析。后续的因果分析。


技术研发人员:郑喜民 先健铭 舒畅 陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2023.02.15
技术公布日:2023/9/23
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐