人工智能模型的BMS检测方法

人工智能模型的bms检测方法
技术领域
1.本发明涉及的是一种人工智能领域的技术，具体是一种人工智能模型的大脑仿真相似度(brain-model-similarity，bms)检测方法。


背景技术：

2.深度人工神经网络(ann)部分源自大脑视觉神经科学的发现，现在是众多人工智能领域的先进模型。越来越多的工作借鉴大脑处理信息的机制和神经编码的方式构建出新的神经网络模型结构。目前缺少评估人工智能模型的大脑相似度的方法，而通过有效地评估大脑与神经网络模型之间的相似度，可以研究如何提高神经网络模型的精度和稳定性并且可用于研究大脑的结构和功能，发现新的神经元连接模式、活动模式和响应模式等。


技术实现要素：

3.本发明针对现有技术无法描述人工智能模型特征与大脑特征关系以及通过仿真来评估人工智能模型与大脑的相似度不足，提出一种人工智能模型的bms检测方法，通过双向模拟大脑神经元活动数据特征和神经网络特征，得到两者的相似度。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种人工智能模型的bms检测方法，分别采集基于大脑神经元对图像反应的大脑活动特征以及基于相同图像数据输入待测神经网络后得到的人工智能模型中间层特征，进行双向模拟，即利用人工智能模型中间层特征模拟大脑活动特征以及利用大脑活动特征模拟神经网络特征，再分别计算双向模拟得到的结果相似性，实现仿真相似度检测。
6.所述的大脑活动特征是指：采用公开数据集，具体包括猕猴观察8类物体共计2560张图像数据时，88个v4神经元和168个it神经元的神经活动记录(v1,v2,...,v
88
,i1,i2,...,i
168
)。
7.所述的图像数据是指：公开数据集中刺激猕猴视觉产生大脑活动所采用的图像。
8.所述的人工智能模型中间层特征是指：利用数据增强技术将增加图像数据的数量后，用于对待评估的模型进行微调训练，使得神经网络模型对图像分类有较好效果，之后输入对应图像获取人工智能模型中间层特征(f1,f2,...,fn)。
9.所述的数据增强技术是指：每次通过将图像进行顺时针旋转10度得到一张新的图像，一共旋转35次，从而得到图像数量是原始图像数量的35倍。
10.所述的公开数据集采用但不限于majaj,najib j,et al.在《simple learned weighted sums of inferior temporal neuronal firing rates accurately predict human core object recognition performance》([j].journal of neuroscience 35.39(2015):13402-13418.)中所采集的数据集。
[0011]
所述的微调训练是指：在人工智能模型已经训练好的基础上，输入较小的新的数据集再进行训练。
[0012]
所述的双向模拟，具体包括：
[0013]
1)将所述每张的图像数据输入待测人工智能模型提取出的人工智能模型中间层特征x＝(f1,f2,...,fn)。
[0014]
2)将待测人工智能模型提取出的所有神经网络中间层特征x和大脑活动特征y，按对应的图像进行数据集划分，得到训练集x
train
,y
train
以及测试集x
test
,y
test
，通过训练集训练回归模型y＝αx+β。
[0015]
3)利用训练好的回归模型以及测试集中的人工智能模型中间层特征x
test
得到模拟大脑活动特征y
pred
，即y
pred
＝αx
test
+β。
[0016]
4)利用训练好的回归模型以及测试集中的大脑活动特征y
test
得到模拟神经网络特征x
pred
＝ωy
test
+δ。
[0017]
所述的结果相似性，具体为：其中：其中：yi为大脑神经元活动数据y
test
中的第i个数据，为y
test
中的所有数据平均值。y
′i为神经网络模型特征模拟的大脑神经元活动数据y
pred
中的第i个数据，为y
pred
中的所有数据平均值，xi为神经网络模型特征x
test
中的第i个数据，为x
test
中的所有数据平均值x
′i为大脑神经元活动数据模拟的神经网络模型特征x
pred
中的第i个数据，为x
pred
中的所有数据平均值。
[0018]
所述的结果相似性，其范围为[0,1]，结果相似性越大表示神经网络模型与大脑相似度越高，反之值越小则神经网络模型与大脑相似度越低。
[0019]
本发明涉及一种实现上述方法的系统，包括：数据处理模块、模型微调模块、双向模拟模块以及相关性评估模块，其中：数据处理模块分别对数据集中的图像进行数据增强后输入待测人工智能模型得到中间层特征、对大脑活动数据进行预处理得到大脑活动特征；模型微调模块根据数据增强后的图像数据集，对待测人工智能模型进行训练处理，得到微调后的模型结果；双向模拟模块分别进行人工智能模型中间层特征对大脑活动特征的模拟以及大脑活动特征对人工智能模型中间层特征的模拟，得到模拟大脑活动特征以及模拟人工智能模型中间层特征；相关性评估模块根据大脑活动特征、模拟大脑活动特征、中间层特征以及模拟中间层特征进行相关性计算，实现仿真相似度检测。技术效果
[0020]
本发明通过将人工智能模型中间层特征与大脑活动特征互相进行模拟，显著提升评估人工智能模型与大脑相似度的准确性。
附图说明
[0021]
图1为本发明的流程图；
[0022]
图2为本发明评估常见模型结果；
[0023]
图3为本发明评估模拟视皮层结构网络模型结果。
具体实施方式
[0024]
如图1所示，为本实施例涉及一种人工智能模型的bms检测方法，包括：
[0025]
步骤一、根据公开的包括诱发大脑神经活动的图像以及大脑神经活动数据的数据集进行预处理，将同一张图像对应的同一个神经元的10个数据进行平均后，将神经活动数据展开到一维，得到神经活动特征；针对待评估人工智能模型中间层特征，考虑到模型可能无法有效提取出数据集中图像特征，需要利用数据集中的图像数据对模型进行再次训练。又考虑到图像数据较少模型体量又较大的情况，利用旋转图像等措施来进行数据增强，增加图像数量，最后图像数量为10240张。微调之后将原始图像输入到待测人工智能模型中，提取人工智能模型的中间层输出作为模型特征。
[0026]
所述的数据集中，关于大脑神经元活动数据，包括猕猴88个v4神经元和168个it神经元的神经活动记录，关于图像数据，包含8类物体共计2560张灰度图。
[0027]
所述的预处理是指：根据数据集说明细节去除掉无关数据。
[0028]
步骤二、双向模拟数据，具体包括：
[0029]
2.1)将步骤一得到的神经活动特征数据和对应的人工智能模型特征数据进行划分，分别按照7:3比例划分为训练集和测试集。
[0030]
2.2)利用步骤2.1得到的训练集训练回归模型来拟合神经活动特征训练数据集，训练后将步骤2.1得到的测试集输入训练后的回归模型，得到模拟的神经活动特征，实现利用神经网络特征模拟大脑活动特征。
[0031]
2.3)利用步骤2.1得到的神经活动特征训练数据集训练步骤2.2训练后的回归模型拟合模型特征训练数据集，将步骤2.1得到的神经活动特征测试数据集输入训练后的回归模型得到模拟的人工智能模型特征，实现利用大脑神经元活动数据模拟神经网络特征。
[0032]
2.4)将步骤2.2和步骤2.3重复10次，得到10组数据，其中每组数据包括：神经活动特征数据测试集、模拟的神经活动特征数据、人工智能模型特征数据测试集和模拟的人工智能模型特征数据。
[0033]
步骤三、对于步骤二得到的每组数据，分别计算得到相关性r1和r2，经取平均值得到得分r；将10组数据的r取平均得到最后的人工智能模型大脑仿真相似度结果。
[0034]
经过具体实际实验，在操作系统是ubuntu18.1,64位操作系统，开发语言是python采用pytorch机器学习库的具体环境设置下，回归模型以随机参数启动该方法，能够得到的实验数据是:各个模型的识别准确率以及仿真相似度结果如表1以及表2所示。
[0035]
首先对应用广泛的7个常规模型cnn、vgg19、resnet18、alexnet、vgg11、squeezenet、densenet进行评估，表1列出了各个常规模型的在图像数据集上的识别准确率以及得到的与大脑相似度bms得分，图2展示了不同模型识别准确率与bms关系曲线。
[0036]
表1：实验一针对常规模型相似度评估结果模型识别准确率bmscnn0.8620.128vgg190.9000.186resnet180.98770.193alexnet0.93040.2158vgg110.98330.2088
squeezenet0.95220.1988densenet0.99470.2018
[0037]
根据实验结果，可以看到，模型的大脑相似度bms并不是由识别准确率决定，与模型结构也有关系。而实际上，识别准确率越高的模型不一定与大脑越相似，某些模型的识别准确率实际上已经超过了人脑。而实验结果得出结论模型的大脑相似度bms并不是由识别准确率决定，这与该事实相印证。复杂网络模型alexnet、vgg11、densenet相比于简单网络模型cnn得分更高，因为其中神经元个数以及神经元之间的连接更多，与大脑在一定程度更加相似。
[0038]
接下来针对模拟视皮层结构网络模型进行评估，选取了inhabited_alexnet、csnn以及inhabited_csnn模型，选取alexnet来作为基准，对未微调的inhabited_alexnet、微调后的inhabited_alexnet、未微调的csnn、微调后的csnn以及inhabited_csnn分别进行评估，结果呈现在表2中，在图3中呈现了准确率与bms曲线以及柱状图。
[0039]
表2：实验二针对模拟视皮层结构网络模型相似度评估结果表2：实验二针对模拟视皮层结构网络模型相似度评估结果
[0040]
根据实验结果可以发现模拟视皮层结构网络模型相比于常规模型，尽管模拟视皮层结构网络模型识别准确率下降，但其相似度得分bms更高，侧面印证了该方法的有效性。并且未微调时模型相比于微调后bms更低，说明模型参数也会影响到相似度的评估，与事实相符，模型参数会影响到不同神经元的工作状态，从而影响到模型与大脑的相似度。
[0041]
与现有技术相比，本方法采用双向模拟技术，使得模型的大脑仿真相似度结果更准确。
[0042]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

技术特征：
1.一种人工智能模型的bms检测方法，其特征在于，分别采集基于大脑神经元对图像反应的大脑活动特征以及基于相同图像数据输入待测神经网络后得到的人工智能模型中间层特征，进行双向模拟，即利用人工智能模型中间层特征模拟大脑活动特征以及利用大脑活动特征模拟神经网络特征，再分别计算双向模拟得到的结果相似性，实现仿真相似度检测。2.根据权利要求1所述的人工智能模型的bms检测方法，其特征是，所述的大脑活动特征是指：采用公开数据集，具体包括猕猴观察8类物体共计2560张图像数据时，88个v4神经元和168个it神经元的神经活动记录(v1,v2,...,v
88
,i1,i2,...,i
168
)；所述的图像数据是指：公开数据集中刺激猕猴视觉产生大脑活动所采用的图像。3.根据权利要求1所述的人工智能模型的bms检测方法，其特征是，所述的人工智能模型中间层特征是指：利用数据增强技术将增加图像数据的数量后，用于对待评估的模型进行微调训练，使得神经网络模型对图像分类有较好效果，之后输入对应图像获取人工智能模型中间层特征(f1,f2,...,f
n
)。4.根据权利要求3所述的人工智能模型的bms检测方法，其特征是，所述的数据增强技术是指：每次通过将图像进行顺时针旋转10度得到一张新的图像，一共旋转35次，从而得到图像数量是原始图像数量的35倍。5.根据权利要求3所述的人工智能模型的bms检测方法，其特征是，所述的微调训练是指：在人工智能模型已经训练好的基础上，输入较小的新的数据集再进行训练。6.根据权利要求1所述的人工智能模型的bms检测方法，其特征是，所述的双向模拟，具体包括：1)将所述每张的图像数据输入待测人工智能模型提取出的人工智能模型中间层特征x＝(f1,f2,...,f
n
)；2)将待测人工智能模型提取出的所有神经网络中间层特征x和大脑活动特征y，按对应的图像进行数据集划分，得到训练集x
train
,y
train
以及测试集x
test
,y
test
，通过训练集训练回归模型y＝αx+β；3)利用训练好的回归模型以及测试集中的人工智能模型中间层特征x
test
得到模拟大脑活动特征y
pred
，即y
pred
＝αx
test
+β；4)利用训练好的回归模型以及测试集中的大脑活动特征y
test
得到模拟神经网络特征x
pred
＝ωy
test
+δ。7.根据权利要求1所述的人工智能模型的bms检测方法，其特征是，所述的结果相似性，具体为：其中：y
i
为大脑神经元活动数据y
test
中的第i个数据，为y
test
中的所有数据平均值，y
′
i
为神经网络模型特征模拟的大脑神经元活动数据y
pred
中的第i个数据，为y
pred
中的所有数据平均值，x
i
为神经网络模型特征x
test
中的第i个数据，为x
test
中的所有数据平均值x
′
i
为大脑神经元活动数据模拟的神经网络模型特征x
pred
中的第i个数据，为x
pred
中的所有数据平均值。8.根据权利要求1-7中任一所述的人工智能模型的bms检测方法，其特征是，具体包括：步骤一、根据公开的包括诱发大脑神经活动的图像以及大脑神经活动数据的数据集进
行预处理，将同一张图像对应的同一个神经元的10个数据进行平均后，将神经活动数据展开到一维，得到神经活动特征；针对待评估人工智能模型中间层特征，利用数据集中的图像数据对模型进行再次训练，利用旋转图像等措施来进行数据增强，增加图像数量，最后图像数量为10240张；微调之后将原始图像输入到待测人工智能模型中，提取人工智能模型的中间层输出作为模型特征；所述的预处理是指：根据数据集说明细节去除掉无关数据；步骤二、双向模拟数据，具体包括：2.1)将步骤一得到的神经活动特征数据和对应的人工智能模型特征数据进行划分，分别按照7∶3比例划分为训练集和测试集；2.2)利用步骤2.1得到的训练集训练回归模型来拟合神经活动特征训练数据集，训练后将步骤2.1得到的测试集输入训练后的回归模型，得到模拟的神经活动特征，实现利用神经网络特征模拟大脑活动特征；2.3)利用步骤2.1得到的神经活动特征训练数据集训练步骤2.2训练后的回归模型拟合模型特征训练数据集，将步骤2.1得到的神经活动特征测试数据集输入训练后的回归模型得到模拟的人工智能模型特征，实现利用大脑神经元活动数据模拟神经网络特征；2.4)将步骤2.2和步骤2.3重复10次，得到10组数据，其中每组数据包括：神经活动特征数据测试集、模拟的神经活动特征数据、人工智能模型特征数据测试集和模拟的人工智能模型特征数据；步骤三、对于步骤二得到的每组数据，分别计算得到相关性r1和r2，经取平均值得到得分r；将10组数据的r取平均得到最后的人工智能模型大脑仿真相似度结果。9.一种实现权利要求1-8中任一所述人工智能模型的bms检测方法的系统，其特征在于，包括：数据处理模块、模型微调模块、双向模拟模块以及相关性评估模块，其中：数据处理模块分别对数据集中的图像进行数据增强后输入待测人工智能模型得到中间层特征、对大脑活动数据进行预处理得到大脑活动特征；模型微调模块根据数据增强后的图像数据集，对待测人工智能模型进行训练处理，得到微调后的模型结果；双向模拟模块分别进行人工智能模型中间层特征对大脑活动特征的模拟以及大脑活动特征对人工智能模型中间层特征的模拟，得到模拟大脑活动特征以及模拟人工智能模型中间层特征；相关性评估模块根据大脑活动特征、模拟大脑活动特征、中间层特征以及模拟中间层特征进行相关性计算，实现仿真相似度检测。

技术总结
一种人工智能模型的BMS检测方法，分别采集基于大脑神经元对图像反应的大脑活动特征以及基于相同图像数据输入待测神经网络后得到的人工智能模型中间层特征，进行双向模拟，即利用人工智能模型中间层特征模拟大脑活动特征以及利用大脑活动特征模拟神经网络特征，再分别计算双向模拟得到的结果相似性，实现仿真相似度检测。本发明通过双向模拟大脑神经元活动数据特征和神经网络特征，得到两者的相似度。度。度。


技术研发人员：肖勇 易平
受保护的技术使用者：上海交通大学
技术研发日：2023.05.05
技术公布日：2023/8/4