一种针对推理过程效果的可回溯检测指标构建方法

1.本发明属于人工智能技术领域，具体涉及一种可回溯检测指标构建方法。


背景技术：

2.在当前人工智能的知识推理领域，有许多的推理方式，最常见的几种推理方式比如基于嵌入的推理方式，基于神经网络的推理方式。这些方式都有着不错的推理效果，但是我们无法直观的理解模型是如何推理出结果的。除了上述推理方法外，还有一些基于知识图谱的多跳推理模型，这些模型可以给出模型推理的路径，直观的展示推理的过程。但是对于这一类推理模型却没有一个很好的指标去检验模型推理的过程是否可回溯，即可解释。现有的检测指标中，一般只是将模型推理的准确率当作推理的可回溯率，但是这个指标并没有考虑推理过程的路径问题，不能准确的解释推理的可回溯，得出可回溯率也是不准确的。


技术实现要素：

3.为了克服现有技术的不足，本发明提供了一种针对推理过程效果的可回溯检测指标构建方法，包括推理模块和回溯模块两部分。其中推理模块负责通过bi-rads数据特征推理出结果的分类，并给出推理的路线。回溯模块负责根据推理模块的推理路线，与医生标记的数据进行对比，确定推理路径是否可回溯。推理模块给出推理路径以及每个路径的置信度，回溯模块根据路径推理的结果与置信度两部分，按照不同的结果与置信度对推理路径进行判断是否可回溯。对所有样本推理路径进行可回溯判断后得出回溯率。本发明可回溯检测指标能够很好的检测模型推理的可回溯性。
4.本发明解决其技术问题所采用的技术方案包括如下步骤：
5.步骤1：推理模块；通过bi-rads特征数据推理出结果的分类，并给出推理的路径及其置信度；
6.步骤2：回溯模块；根据推理模块的推理路径结果与置信度，判断推理路径结是否可回溯；
7.步骤2-1：根据推理模块给出的路径，对路径按照置信度从高到低进行排序，选择置信度最高的路径，判断推理结果是否正确；
8.步骤2-2：如果正确，则计算推理路径与医生标记的数据的距离，如果距离小于设定的阈值，则说明推理可回溯，否则不可回溯；
9.步骤2-3：对于推理不正确的路径，查询是否有其他的路径可以正确推理，若有其他的路径则说明推理模块存在问题，该条推理路径可回溯；
10.步骤2-4：如果没有其他正确推理的路径，则计算置信度最高的推理路径与医生标记的数据之间的距离，如果距离小于一定的阈值则说明推理存在热感知，说明可回溯，否则说明推理不可回溯。
11.优选地，所述推理模块为检测指标的前置要求，推理模块满足显示推理路径的条
件。
12.本发明的有益效果如下：
13.本发明能够很好的检测推理模型的可回溯性。
附图说明
14.图1为本发明方法流程图。
具体实施方式
15.下面结合附图和实施例对本发明进一步说明(图中的bi-rads特征数据只是示例，专利不限于这一种数据)。
16.一种针对推理过程效果的可回溯检测指标构建方法，包括如下步骤：
17.步骤1：推理模块；通过bi-rads特征数据推理出结果的分类，并给出推理的路径及其置信度；
18.步骤2：回溯模块；根据推理模块的推理路径结果与置信度，判断推理路径结是否可回溯；
19.步骤2-1：根据推理模块给出的路径，对路径按照置信度从高到低进行排序，选择置信度最高的路径，判断推理结果是否正确；
20.步骤2-2：如果正确，则计算推理路径与医生标记的数据的距离，如果距离小于设定的阈值，则说明推理可回溯，否则不可回溯；
21.步骤2-3：对于推理不正确的路径，查询是否有其他的路径可以正确推理，若有其他的路径则说明推理模块存在问题，该条推理可回溯；
22.步骤2-4：如果没有其他正确推理的路径，则计算置信度最高的推理路径与医生标记的数据之间的距离，如果距离小于一定的阈值则说明推理存在热感知，说明可回溯，否则说明推理不可回溯。
23.具体实施例：
24.参考图1，图1是本发明实施例提供的一种针对推理过程效果的可回溯检测指标的结构示意图。
25.推理模块为该检测指标的前置条件，要求该模块通过各种数据特征推理出结果的分类，并给出推理的路径及其置信度。接下来对于回溯模块，会根据推理模块给出的路径，路径按照置信度从高到低进行排序，选择置信度最高的路径，判断推理结果是否正确，如果正确，计算推理路径与医生标记的数据的距离，如果距离小于一定的阈值，则说明推理可回溯，否则不可回溯。对于推理不正确的路径，查询是否有其他的路径可以正确推理，若有说明推理模块存在问题该条推理可回溯，如果没有其他正确推理的路径，则计算置信度最高的推理路径与医生标记数据之间的距离，如果距离小于一定的阈值则说明推理存在热感知说明可回溯，否则说明推理不可回溯。


技术特征：
1.一种针对推理过程效果的可回溯检测指标构建方法，其特征在于，包括以下步骤：步骤1：推理模块；通过bi-rads特征数据推理出结果的分类，并给出推理的路径及其置信度；步骤2：回溯模块；根据推理模块的推理路径结果与置信度，判断推理路径结是否可回溯；步骤2-1：根据推理模块给出的路径，对路径按照置信度从高到低进行排序，选择置信度最高的路径，判断推理结果是否正确；步骤2-2：如果正确，则计算推理路径与医生标记的数据的距离，如果距离小于设定的阈值，则说明推理可回溯，否则不可回溯；步骤2-3：对于推理不正确的路径，查询是否有其他的路径可以正确推理，若有其他的路径则说明推理模块存在问题，该条推理路径可回溯；步骤2-4：如果没有其他正确推理的路径，则计算置信度最高的推理路径与医生标记的数据之间的距离，如果距离小于一定的阈值则说明推理存在热感知，说明可回溯，否则说明推理不可回溯。2.根据权利要求1所述的一种针对推理过程效果的可回溯检测指标构建方法，其特征在于，所述推理模块为检测指标的前置要求，推理模块满足显示推理路径的条件。

技术总结
本发明公开了一种针对推理过程效果的可回溯检测指标构建方法，包括推理模块和回溯模块两部分。其中推理模块负责通过BI-RADS数据特征推理出结果的分类，并给出推理的路线。回溯模块负责根据推理模块的推理路线，与医生标记的数据进行对比，确定推理路径是否可回溯。推理模块给出推理路径以及每个路径的置信度，回溯模块根据路径推理的结果与置信度两部分，按照不同的结果与置信度对推理路径进行判断是否可回溯。对所有样本推理路径进行可回溯判断后得出回溯率。本发明可回溯检测指标能够很好的检测模型推理的可回溯性。好的检测模型推理的可回溯性。好的检测模型推理的可回溯性。


技术研发人员：黄庆华 王永臻
受保护的技术使用者：西北工业大学
技术研发日：2023.04.11
技术公布日：2023/8/5