模型可解释性信息生成方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种模型可解释性信息生成方法、装置、电子设备和存储介质。


背景技术：

2.随着ai(artificial intelligence，人工智能)解决方案在金融、监管、司法、医疗和教育等领域的广泛应用，如何提升对模型工作机理的直接理解，打开人工智能的黑盒子，就变得愈发重要。在工业场景下，了解模型的输出结果以及对ai模型的解释的计算方法，对维护人员来说非常有帮助。
3.目前，对ai模型进行解释的方法有很多，比如可视化探索、基于特征、基于样本等。
4.然而，基于这些方法，将样本中的多个特征进行降维后，降维后的特征对模型并没有足够的可解释性。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种模型可解释信息生成方法、装置、电子设备和存储介质，能够增强对模型的可解释性。
6.根据本技术实施例的第一方面，提供了一种模型可解释性信息生成方法，包括：获取用于训练目标模型的第一样本集，其中，所述第一样本集包括多个样本，每个样本包括多个特征；根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息，其中，所述特征重要性信息用于指示所述多个特征的特征重要性；获得包括所述特征重要性信息和所述第一样本集中各样本的第二样本集；对所述第二样本集进行降维处理，得到降维处理结果，其中，所述降维处理结果用于指示所述第二样本集中每个样本在二维坐标系中的位置，所述二维坐标系以降维后两个维度为坐标轴；根据所述降维处理结果，将所述多个特征分别作为新增坐标轴映射到所述二维坐标系中，获得映射处理结果；根据所述映射处理结果，获得所述目标模型的模型可解释性信息。
7.在一种可能的实现方式中，所述根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息包括：当所述目标模型为逻辑回归模型时，确定在所述目标模型的模型参数中，所述第一样本集中样本包括的多个特征对应的多个系数，将每个所述系数对应的绝对值确定为所述特征重要性信息；当所述目标模型为基于树的模型时，确定在所述目标模型的模型参数中，所述第一样本集中样本包括的多个特征在树节点的对应出现次数信息，分别将每个所述特征对应的出现次数信息确定为所述特征重要性信息；当所述目标模型为深度神经网络模型时，确定在所述目标模型的模型参数中，所述第一样本集中样本包括的多个特征对应的多个沙普利加和解释值，将每个所述多个沙普利加和解释值确定为所述特征重要性信息。
8.在一种可能的实现方式中，所述降维处理采用的方法包括多维标度分析法或主成分分析法。
9.在一种可能的实现方式中，所述方法还包括：将所述第一样本集中的样本输入所述目标模型，获得所述目标模型输出的预测结果；根据所述预测结果，在所述二维坐标系中对所述第一样本集中样本对应的映射点进行标示。
10.在一种可能的实现方式中，所述根据所述映射处理结果，获得所述目标模型的模型可解释性信息，包括：根据所述映射处理结果，确定所述第二样本集中样本在所述新增坐标轴上的投影值；将所述第二样本集中样本在所述新增坐标轴上的投影值，确定为所述目标模型的模型可解释性信息。
11.在一种可能的实现方式中，所述目标模型包括工业预测性维护模型。
12.根据本技术实施例的第二方面，提供了一种模型可解释性信息生成装置，包括：第一获取模块，用于获取用于训练目标模型的第一样本集，其中，所述第一样本集包括多个样本，每个样本包括多个特征；确定模块，用于根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息，其中，所述特征重要性信息用于指示所述多个特征的特征重要性；第二获取模块，用于获得包括所述特征重要性信息和所述第一样本集中各样本的第二样本集；处理模块，用于对所述第二样本集进行降维处理，得到降维处理结果，其中，所述降维处理结果用于指示所述第二样本集中每个样本在二维坐标系中的位置，所述二维坐标系以降维后两个维度为坐标轴；映射模块，用于根据所述降维处理结果，将所述多个特征分别作为新增坐标轴映射到所述二维坐标系中，获得映射处理结果；第三获取模块，用于根据所述映射处理结果，获得所述目标模型的模型可解释性信息。
13.根据本技术实施例的第三方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述第一方面所提供的模型可解释性信息生成方法对应的操作。
14.根据本技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面所提供的模型可解释性信息生成方法对应的操作。
15.根据本技术实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行如上述第一方面所提供的模型可解释性信息生成方法。
16.由上述技术方案，首先获取用于训练目标模型的第一样本集，根据第一样本集和目标模型的模型参数，确定特征重要性信息；进而通过将特征重要性信息与第一样本集中各样本进行合并，得到第二样本集；接着对第二样本集进行降维处理，得到降维处理结果；根据降维处理结果，将多个特征分别作为新增坐标轴映射到二维坐标轴中，获得映射处理结果；最后根据映射处理结果，获得目标模型的模型可解释性信息。由于第二样本集中样本的特征有多个，通过对多个特征进行降维处理，并将多个特征分别作为新增坐标轴映射到二维坐标轴中，获得映射处理结果，从而根据映射处理结果获得目标模型的模型可解释性信息，根据模型可解释性信息可以确定特征和样本对于目标模型的重要性，从而提高模型的可解释性。
附图说明
17.图1是本技术一个实施例提供的模型可解释性信息生成方法的流程图；
18.图2是本技术一个实施例提供的使用多维标度分析法的示意图；
19.图3是本技术再一个实施例提供的模型可解释性信息生成方法的流程图；
20.图4是本技术一个实施例提供的模型可解释性信息生成装置的示意图；
21.图5是本技术一个实施例提供的电子设备的示意图。
22.附图标记列表：
23.100：模型可解释性信息生成方法500：模型可解释性信息生成装置
24.201：主机温度202：润滑油油压203：主机轴向测点振动有效值
25.401：第一获取模块402：确定模块403：第二获取模块
26.404：处理模块405：映射模块406：第三获取模块
27.500：电子设备502：处理器504：通信接口
28.506：存储器508：通信总线510：程序
29.p：特征重要性点m：样本点
30.101：获取用于训练目标模型的第一样本集
31.102：根据第一样本集和目标模型的模型参数，确定特征重要性信息
32.103：获得包括特征重要性信息和第一样本集中各样本的第二样本集
33.104：对第二样本集进行降维处理，得到降维处理结果
34.105：根据降维处理结果，将多个特征分别作为新增坐标轴映射到二维坐标系中，获得映射处理结果
35.106：根据映射处理结果，获得目标模型的模型可解释性信息
36.301：将第一样本集中的样本输入目标模型，获得目标模型输出的预测结果
37.302：根据预测结果，在二维坐标系中对第一样本集中样本对应的映射点进行标示
具体实施方式
38.随着ai解决方案在各种领域的广泛应用，通过提升对模型工作机理的直接理解，打开人工智能的黑盒子，变得越来越重要。尤其是在工业场景下，了解模型的输出结果和ai模型的解释的计算方法，对维护人员非常有帮助。目前，对ai模型进行解释的方法有很多，比如可视化探索、基于特征、基于样本等。然而，基于这些方法，将样本中的多个特征进行降维后，降维后的特征对模型没有足够的可解释性。
39.在本技术实施例中，通过获取用于训练目标模型的第一样本集，根据第一样本集和目标模型的模型参数，确定特征重要性信息，获取包括特征重要性信息和第一样本集中各样本的第二样本集，对第二样本集进行降维处理，得到降维处理结果，根据降维处理结果，将多个特征分别作为新增坐标轴映射到二维坐标系中，获得映射处理结果，根据映射处理结果，获得目标模型的模型可解释性信息。由于将第二样本集中的多个特征映射到二维坐标系中，得到多个特征对应新增坐标轴相对二维坐标系的映射处理结果，从而获得目标模型的模型可解释性信息，根据模型可解释性信息，就可以判断出个样本和特征对目标模型的重要程度，从而提高模型的可解释性。
40.下面结合附图对本技术实施例提供的模型可解释性信息生成方法、装置、电子设
备和存储介质。
41.模型可解释性信息生成方法
42.图1是本技术一个实施例的模型可解性信息生成方法的流程图。如图1所示，模型可解释性信息生成方法100包括步骤101至步骤106：
43.步骤101、获取用于训练目标模型的第一样本集。
44.第一样本集就是训练目标模型的样本集。将第一样本集的多个样本以及多个样本对应的预测结果输入到目标模型中，将输入的多个样本作为目标模型的变量，将多个样本对应的预测结果作为目标模型的变量对应的结果，通过不断的输入样本变量，进而调整目标模型的参数以确定目标模型的最终参数，进而生成目标模型。
45.获取用于训练目标模型的第一样本集。第一样本集包括多个样本，每个样本包括多个特征。比如，一个样本集中至少包括有3样本，每个样本有三个特征。
46.在一个例子中，目标模型为用于预测压缩机否正常工作的预警模型，用于训练该预警模型的第一样本集如下表1所示。
47.表1
[0048][0049]
由上述表1可知，第一样本集中每个样本包括三个特征，三个特征分别为主机温度、润滑油油压、和主机轴向测点振动有效值。以样本1为例，主机温度对应的值为85℃，润滑油油压对应的值为20mpa，主机轴向测点振动有效值对应的值为5m/s2。
[0050]
步骤102、根据第一样本集和目标模型的模型参数，确定特征重要性信息。
[0051]
特征重要性信息用于指示多个特征的特征重要性，特征重要性是指某个特征对目标模型的影响力。
[0052]
特征重要性信息是一个分布于[0，+∞)的浮点值，一个特征的特征重要性信息中的数值越大，表示这个特征对目标模型越重要，数值越接近0表示对目标模型无影响。
[0053]
在一个例子中，在表1所示第一样本集的基础上，如下表2示出了特征重要性信息。
[0054]
表2
[0055]
特征名称特征重要性信息润滑油油压5主机温度2.5主机轴向测点振动有效值1
……
[0056]
如上述表2所示，润滑油油压对应的重要性信息为5，主机温度对应的重要性信息
为2.5，主机轴向测点震动有效值对应的重要性信息为1，由此可见，润滑油油压对应的重要性信息大于主机温度对应的重要性信息，主机温度对应的重要性信息大于主机轴向测点震动有效值对应的重要性信息，说明相对于主机温度和主机轴向测点震动有效值，润滑油油压这个特征对目标模型更重要，即润滑油油压对目标模型的影响力更大。
[0057]
步骤103、获取包括特征重要性信息和第一样本集中各样本的第二样本集。
[0058]
将特征重要性信息作为一个样本加入到第一样本集中，获得第二样本集，因此第二样本集比第一样本集多一个样本，该样本包括个特征对应的特征重要性信息。
[0059]
在一个例子中，在表1所示第一样本集和表2所示特征重要性信息的基础上，如下表3示出了第二样本集。
[0060]
表3
[0061][0062]
由上述表3所示，第二样本集不仅包括第一样本集中的各样本，还包括样本编码为样本重要性信息的样本，该样本记录了润滑油油压、主机温度、主机轴向测点振动有效值等特征对应的样本重要性信息。
[0063]
步骤104、对第二样本集进行降维处理，得到降维处理结果。
[0064]
降维处理结果用于指示第二样本集中每个样本在二维坐标系中的位置，二维坐标系以降维后两个维度为坐标轴。通过对第二样本集进行降维处理，可以将第二样本集中样本包括的多维特征降低至二维特征，进而可以确定第二样本集中每个样本在降维后两个特征维度上的值，从而可以获得指示第二样本集中每个样本在二维坐标中的位置，该二维坐标系以降维后两个特征维度为坐标轴。在一个例子中，以降维后两个维度为坐标轴的坐标系为直角坐标系。
[0065]
在一个例子中，对上述表3所示的第二样本集进行降维处理后，获得图2所示的降维处理结果。如图2所示，将第二样本集中样本包括的多个维度降维为维度x和维度y，三个自由度方向的三个特征对应的新增坐标轴分别为主机温度201、润滑油油压202和主机轴向测点振动有效值203，第二样本集中的样本点在新增坐标轴上投影的绝对值越高，表示该样本对该特征越重要；降维后也会显示特征重要性点p，特征重要性点p在三个新增坐标轴中的任意一个新增坐标轴上的投影的绝对值越高，表示该新增坐标轴对应的特征的重要度越高。
[0066]
步骤105、根据降维处理结果，将多个特征分别作为新增坐标轴映射到二维坐标系中，获得映射处理结果。
[0067]
经过降维处理，第二样本集中的多个特征作为新增坐标轴投射到二维坐标系中，通过确定多个特征中的特征重要性点在该特征对应的新增坐标轴投影的绝对值，得到映射处理结果。
[0068]
步骤106、根据映射处理结果，获得目标模型的模型可解释性信息。
[0069]
在一个可实施的例子中，映射处理结果中当多个特征中的特征重要性点在该特征对应的新增坐标轴投影的绝对值越高，则表明该特征越重要，根据该映射处理结果，从而生成目标模型的模型可解释性信息。
[0070]
在本技术的实施例中，首先获取用于训练目标模型的第一样本集，根据第一样本集和目标模型的模型参数，确定特征重要性信息，进而获取包括特征重要性信息和第一样本集各样本的第二样本集，接着对第二样本集进行降维处理，得到降维处理结果，根据降维处理结果，对多个特征分别作为新增坐标轴映射到二维坐标系中，获得映射处理结果，最后根据映射处理结果，获得目标模型的模型可解释性信息。由此可见，通过将第二样本集中的多个特征作为新增坐标轴映射到二维坐标系中后，获得映射处理结果，从而获得目标模型的模型可解释型信息，多个特征映射到二维坐标系中，通过确定多个特征中的特征重要性点以及该特征重要性点对应的新增坐标轴投影的绝对值，从而得知哪个特征及样本对目标模型的影响力更强，从而提高目标模型的可解释性。
[0071]
在一种可能的实现方式中，模型可解释性信息生成方法100中的步骤102中目标模型可以是不同的模型：
[0072]
当目标模型为逻辑回归模型时，确定在目标模型的模型参数中，第一样本集中样本包括的多个特征对应的多个系数，将每个系数对应的绝对值确定为特征重要性信息。
[0073]
目标模型不同，确定目标模型的模型参数的方法也是不同的。当目标模型是逻辑回归模型时，第一样本集中样本中的每个特征对应一个系数，将多个参数对应的绝对值确定为特征重要性信息。比如，第一样本集中样本中有3个特征，特征1对应的系数为2，则将该系数2的绝对值确定为特征1的特征重要性信息；特征2对应的系数为-3，将系数-3的绝对值3确定为特征2的特征重要性信息；特征3对应的系数为3，将系数3的绝对值3确定为特征3的特征重要性信息。
[0074]
当目标模型为基于树的模型时，确定在目标模型的模型参数中，第一样本集中样本包括的多个特征在树节点的出现次数信息，分别将每个特征对应的出现次数信息确定为特征重要性信息。
[0075]
当目标模型为基于树的模型时，在第一样本集中样本包括的多个特征分别在树的节点对应出现的多个次数信息，将多个次数信息确定特征重要性信息。比如，第一样本集中样本有4个特征，特征a在树的节点对应出现的次数为3，将次数3确定为特征a的特征重要性信息；特征b在树的节点对应出现的次数为1，将次数1确定为特征b的特征重要性信息；特征c在树的节点对应出现的次数为2，将次数2确定为特征c的特征重要性信息；特征d在树的节点对应出现的次数为5，将次数5确定为特征d的特征重要信息。
[0076]
当目标模型为深度神经网络模型时，确定在目标模型的模型参数中，第一样本集中样本包括的多个特征对应的多个沙普利加和解释值，将每个沙普利加和解释值确定为特征重要性信息。
[0077]
当目标模型为深度神经网络模型时，对于第一样本集中的每个样本都会产生一个
预测值，沙普利加和解释值就是该样本中每个特征所分配到的数值，每个特征所分配到的数值可能不同也可能相同，进而将每个特征所对应的沙普利加和解释值确定为特征重要性信息。比如，第一样本集中样本中有3个特征，特征a对应的沙普利加和解释值为0.5，将0.5确定为特征a重要性信息；特征b对应的沙普利加和解释值为1，将1确定为特征b的特征重要性信息；特征c对应的沙普利加和解释值为2.5，将2.5确定为特征c的特征重要性信息。
[0078]
在本技术实施例中，通过对目标模型进行分类，不同的目标模型在确定特征重要性信息时，采用的确定方法不同，通过使用不同的确定方法，从而确定出更加符合该目标模型的特征重要性信息，以得出更加精确的特征重要性信息。
[0079]
在一种可能的实现方式中，降维处理采用的方法可以是多维标度分析法或主成分分析法。
[0080]
多维标度分析法(multidimensional scaling，mds)，是基于第二样本集的相似程度，计算各样本数据点和特征数据点在k维空间中的位置，并要求将高维数据转换为低维数据后，样本数据点和特征数据点的相对位置关系不变。
[0081]
主成分分析法(principal components analysis，pca)，通过某种线性投影，将高维的第二样本集中的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大，以此使用较少的数据维度，同时保留较多的原数据点的特性。
[0082]
在本技术实施例中，通过使用多维标度分析法或主成分分析法对第二样本集进行降维处理，得到第二样本集投射在二维坐标系中的样本点和特征重要性点p，从而根据样本点在新增坐标轴上的投影系的绝对值和特征重要性点p在新增坐标轴中任一新增坐标轴上的投影的绝对值，确定样本对特征的重要程度和特征的重要程度，从而判断样本和特征对于目标模型的影响力。
[0083]
图3是本技术再一个实施例的模型可解性信息生成方法的流程图。如图3所示，模型可解释性信息生成方法100中除了步骤101至步骤106之外还包括步骤301至步骤302：
[0084]
步骤301、将第一样本集中的样本输入所述目标模型，获得目标模型输出的预测结果。
[0085]
将第一样本集输入到目标模型中，对第一样本集中的多个特征进行预测，基于上述示例，对压缩机是否正常工作进行预测，通过预测得出压缩机是否正常工作中的三个不同的样本中的不同特征的预测结果分别是高风险、低风险和中风险，从而得知，第一样本集中不同的样本的特征的预测结果。
[0086]
步骤302、根据预测结果，在二维坐标系中对第一样本集中样本对应的映射点进行标示。
[0087]
基于上述示例，第二样本集经过降维处理后，将第二样本集中每个样本在二维坐标系中的映射点进行标示。
[0088]
基于现有方法，将第一样本集中的样本在二维坐标系中进行映射后，并不有足够的解释性，用户使用的时候也不直观。
[0089]
通过使用对映射点进行标示的方法，以提高映射点的直观性。
[0090]
标示方法可以用不同的颜色或不同的符号等方法标示。比如，使用不同的颜色对上述实力中样本点进行标示，对具有高风险的样本点标成红色，对具有低风险的样本点标成蓝色，对具有中风险的样本点标成橙色。
[0091]
在本技术实施例中，对第一样本集中的样本通过目标模型进行预测，获得预测结果，根据预测结果，对第一样本集中样本对应的映射点进行标示，通过已标示的映射点，可以很直观的在二维坐标系中查看样本点的预测结果，方便用户获取信息。
[0092]
在一种可能的实现方式中，模型可解释性信息生成方法100中的步骤106包括以下子步骤：
[0093]
根据映射处理结果，确定第二样本集中样本在新增坐标轴上的投影值。
[0094]
通过对第二样本集中样本进行降维处理后，将多个样本投影成在二维坐标轴上的样本点，样本点在每一条新增坐标轴上对应有相应的投影值。如图2所示，样本点m在三个新增坐标轴上的投影分别是：在润滑油油压202的投影值是15，在主机温度201上的投影值是1，在主机轴向测点振动有效值203的投影值是-8。
[0095]
将第二样本集中样本在新增坐标轴上的投影值，确定为目标模型的模型可解释性信息。
[0096]
根据第二样本集中样本在新增坐标轴上的投影值，投影值的绝对值越高，则说明该样本对该特征越重要，从而确定为目标模型的模型可解释性信息。
[0097]
在本技术实施例中，根据映射处理结果，确定第二样本集中样本在新增坐标轴上的投影值，进而将投影值确定为目标模型的模型可解释性信息。实现了将第二样本集中的多个样本数据转化为固定数值即投影值，从而方便用户通过读取投影值获取模型可解释性信息，提高了目标模型的可解释性。
[0098]
在一个可能的实现方式中，目标模型包括工业预测性维护模型。
[0099]
在工业制造业中如果一个设备停机时间超过1小时损失可高达几十万美元，通过对工业设备进行预测性维护，可以避免故障隐患的发生。
[0100]
工业数据都是属于高维度和大容量的数据。在一个例子中，高维度可以是特征数量大于50，大容量可以是样本数量大于1万的数据。
[0101]
在本技术实施例中，通过限定目标模型为工业预测性维护模型，确定本技术的应用场景，从而使得本技术的方法适用于工业场景中，提高目标模型的可解释性。
[0102]
模型可解释性信息生成装置
[0103]
基于上述实施例中的模型可解释性信息生成方法100，本技术实施例提供了一种模型可解释性信息生成装置。图5是本技术一个实施例的模型可解释性信息生成装置的示意图。如图5所示，模型可解释性信息生成装置400包括如下模块：
[0104]
第一获取模块401，用于获取用于训练目标模型的第一样本集，其中，第一样本集包括多个样本，每个样本包括多个特征。
[0105]
确定模块402，用于根据第一样本集和目标模型的模型参数，确定特征重要性信息，其中，特征重要性信息用于指示多个特征的特征重要性。
[0106]
第二获取模块403，用于获得包括特征性信息和第一样本集中各样本的第二样本集。
[0107]
处理模块404，用于对第二样本集进行降维处理，得到降维处理结果，其中，降维处理结果用于指示第二样本集中每个样本在二维坐标系中的位置，二维坐标系以降维后两个维度为坐标轴。
[0108]
映射模块405，用于根据降维处理结果，将多个特征分别作为新增坐标轴映射到二
维坐标系中，获得映射处理结果。
[0109]
第三获取模块406，用于根据映射处理结果，获得目标模型的模型可解释性信息。
[0110]
在本技术实施例中，第一获取模401获取目标模型被训练的第一样本集，确定模块402根据第一样本集和目标模型的模型参数，确定特征重要性信息；第二获取模块403进而通过将特征重要性信息与第一样本集中各样本进行合并，得到第二样本集；处理模块404对第二样本集进行降维处理，得到降维处理结果；映射模块405根据降维处理结果，将多个特征分别作为新增坐标轴映射到二维坐标轴中，获得映射处理结果；第三获取模块406根据映射处理结果，获得目标模型的模型可解释性信息。由于第二样本集中样本的特征有多个，通过对多个特征进行降维处理，并将多个特征分别作为新增坐标轴映射到二维坐标轴中，获得映射处理结果，从而根据映射处理结果获得目标模型的模型可解释性信息，根据模型可解释性信息以确定哪个特征对样本具有重要性，从而提高模型的可解释性。
[0111]
电子设备
[0112]
参照图5是本技术实施例提供的一种电子设备的示意图，本技术具体实施例并不对电子设备的具体实现做限定。如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506以及通信总线508。其中：
[0113]
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
[0114]
通信接口504，用于与其它电子设备或服务器进行通信。
[0115]
处理器502，用于执行程序510，具体可以执行前述任一模型可解释性信息生成方法实施例中的相关步骤。
[0116]
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
[0117]
处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0118]
存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0119]
程序510具体可以用于使得处理器502执行前述任一实施例中的模型可解释性信息生成方法。
[0120]
程序510中各步骤的具体实现可以参见前述任一模型可解释性信息生成方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
[0121]
在本技术实施例中，首先获取用于训练目标模型的第一样本集，根据第一样本集和目标模型的模型参数，确定特征重要性信息，进而获取包括特征重要性信息和第一样本集各样本的第二样本集，接着对第二样本集进行降维处理，得到降维处理结果，根据降维处理结果，对多个特征分别作为新增坐标轴映射到二维坐标系中，获得映射处理结果，最后根据映射处理结果，获得目标模型的模型可解释性信息。由此可见，通过将第二样本集中的多个特征作为新增坐标轴映射到二维坐标系中后，获得映射处理结果，从而获得目标模型的模型可解释型信息，多个特征映射到二维坐标系中，通过确定多个特征中的特征重要性点
以及该特征重要性点对应的新增坐标轴投影的绝对值，从而得知哪个特征对目标模型的影响力更强，从而提高目标模型的可解释性。
[0122]
计算机存储介质
[0123]
本技术实施例还提供了一种计算机可读存储介质，存储用于使一机器执行如本文所述的模型可解释性信息生成方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0124]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本技术的一部分。
[0125]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0126]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0127]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0128]
计算机程序产品
[0129]
本技术实施例还提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行上述各实施例提供的模型可解释性信息生成方法。应理解，本实施例中的各方案具有上述方法实施例中对应的技术效果，此处不再赘述。
[0130]
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
[0131]
以上各实施例中，硬件模块可以通过机械方式或电气方式实现。例如，一个硬件模块可以包括永久性专用的电路或逻辑(如专门的处理器，fpga或asic)来完成相应操作。硬件模块还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
[0132]
上文通过附图和优选实施例对本技术进行了详细展示和说明，然而本技术不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本技术更多的实施例，这些实施例也在本技术的保护范围之内。

技术特征：
1.一种模型可解释性信息生成方法(100)，包括：获取用于训练目标模型的第一样本集，其中，所述第一样本集包括多个样本，每个样本包括多个特征；根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息，其中，所述特征重要性信息用于指示所述多个特征的特征重要性；获得包括所述特征重要性信息和所述第一样本集中各样本的第二样本集；对所述第二样本集进行降维处理，得到降维处理结果，其中，所述降维处理结果用于指示所述第二样本集中每个样本在二维坐标系中的位置，所述二维坐标系以降维后两个维度为坐标轴；根据所述降维处理结果，将所述多个特征分别作为新增坐标轴映射到所述二维坐标系中，获得映射处理结果；根据所述映射处理结果，获得所述目标模型的模型可解释性信息。2.根据权利要求1所述的方法，其中，所述根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息包括：当所述目标模型为逻辑回归模型时，确定在所述目标模型的模型参数中所述第一样本集中样本包括的多个特征对应的多个系数，将每个所述系数对应的绝对值确定为所述特征重要性信息；当所述目标模型为基于树的模型时，确定在所述目标模型的模型参数中所述第一样本集中样本包括的多个特征在树节点的出现次数信息，分别将每个所述特征对应的出现次数信息确定为所述特征重要性信息；当所述目标模型为深度神经网络模型时，确定在所述目标模型的模型参数中，所述第一样本集中样本包括的多个特征对应的多个沙普利加和解释值，将每个所述沙普利加和解释值确定为所述特征重要性信息。3.根据权利要求1所述的方法，其中，所述降维处理采用的方法包括多维标度分析法或主成分分析法。4.根据权利要求1所述的方法，其中，所述方法还包括：将所述第一样本集中的样本输入所述目标模型，获得所述目标模型输出的预测结果；根据所述预测结果，在所述二维坐标系中对所述第一样本集中样本对应的映射点进行标示。5.根据权利要求1所述的方法，其中，所述根据所述映射处理结果，获得所述目标模型的模型可解释性信息，包括：根据所述映射处理结果，确定所述第二样本集中样本在所述新增坐标轴上的投影值；将所述第二样本集中样本在所述新增坐标轴上的投影值，确定为所述目标模型的模型可解释性信息。6.根据权利要求1-5任一所述的方法，其中，所述目标模型包括工业预测性维护模型。7.一种模型可解释性信息生成装置(500)，包括：第一获取模块(501)，用于获取用于训练目标模型的第一样本集，其中，所述第一样本集包括多个样本，每个样本包括多个特征；确定模块(502)，用于根据所述第一样本集和所述目标模型的模型参数，确定特征重要
性信息，其中，所述特征重要性信息用于指示所述多个特征的特征重要性；第二获取模块(503)，用于获得包括所述特征重要性信息和所述第一样本集中各样本的第二样本集；处理模块(504)，用于对所述第二样本集进行降维处理，得到降维处理结果，其中，所述降维处理结果用于指示所述第二样本集中每个样本在二维坐标系中的位置，所述二维坐标系以降维后两个维度为坐标轴；映射模块(505)，用于根据所述降维处理结果，将所述多个特征分别作为新增坐标轴映射到所述二维坐标系中，获得映射处理结果；第三获取模块(506)，用于根据所述映射处理结果，获得所述目标模型的模型可解释性信息。8.一种电子设备(600)，包括：处理器(602)、通信接口(604)、存储器(606)和通信总线(608)，所述处理器(602)、所述存储器(606)和所述通信接口(604)通过所述通信总线(608)完成相互间的通信；所述存储器(606)用于存放至少一可执行指令，所述可执行指令使所述处理器(602)执行如权利要求1-6中任一所述的模型可解释性信息生成方法(100)对应的操作。9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1-6中任一所述的方法。10.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1-6中任一所述的方法。

技术总结
本申请提供了模型可解释性信息生成方法、装置、电子设备和存储介质，该模型可解释性信息生成方法包括：获取用于训练目标模型的第一样本集；根据所述第一样本集和所述目标模型的模型参数，确定特征重要性信息；获得包括所述特征重要性信息和所述第一样本集中各样本的第二样本集；对所述第二样本集进行降维处理，得到降维处理结果；根据所述降维处理结果，将所述多个特征分别作为新增坐标轴映射到所述二维坐标系中，获得映射处理结果；根据所述映射处理结果，获得所述目标模型的模型可解释性信息。本方案能够增强对模型的可解释性。本方案能够增强对模型的可解释性。本方案能够增强对模型的可解释性。


技术研发人员：杨镇恺 郑毅贤 吴文超 王达一 张琪萱
受保护的技术使用者：西门子（中国）有限公司
技术研发日：2023.02.15
技术公布日：2023/8/24