基于脑电信号和结构不确定性的图像质量评价方法

1.本发明属于图像质量评价技术领域，具体涉及基于脑电信号和结构不确定性的图像质量评价方法。


背景技术：

2.图像是日常生活中重要的视觉载体，在采集、传输和处理过程中难免出现质量损失的现象，影响人们对图像的感知。因此，设计有效的质量评价方法对图像中视觉信息的传递具有重大意义。
3.图像质量评价方法主要分为主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人类观察者对图像质量进行主观评价。主观图像质量评价方法建立在大量数据的统计上，因此为保证主观图像质量评价在统计上有意义，需要大量的观察者参与质量评价实验，实验成本很高。另一方面，主观图像质量评价在实验过程中容易受到观察者的偏好、经验、心理预期等方面的影响，导致质量评价结果无法很好反应人类的图像质量感知规律。客观图像质量评价方法主要通过构建算法模型分析图像，以低成本的方式获得图像质量分数。虽然通过构建算法模型的方法可以考虑到图像的各个因素对质量评价的影响，但是由于人类视觉系统的复杂性，客观图像质量评价方法无法完全模拟人眼的感知机制，存在质量评价分数与主观评价不符的问题。
4.随着计算机科学、生物医学工程、数据科学等领域的不断发展和进步，越来越多的生理测量技术被开发和应用于各个领域，如脑电图测量、眼动仪、皮肤电反应测量等等。利用生理测量技术，研究人员可以测量和分析人体在面对各种刺激时的生理指标，更好地理解人体生理机制。其中，脑电图测量(electroencephalography，eeg)在图像质量评价领域中体现了很好的应用前景。在图像质量评价中，以非侵入的方式记录人类观察者在观看不同质量图像时的脑电信号响应，从而分析图像质量对人的感知和认知产生的影响。
5.目前，现有的脑电信号研究中已经表明结构确定性相异的图像刺激使得大脑的注意力和认知产生了不同的反应，这种现象通过脑电信号的事件相关电位被揭露，有助于对基于脑电信号的图像质量评价方法的进一步研究。基于脑电信号的图像质量评价，相比于客观质量评价可以更好地反应人眼的质量感知机制，又克服了主观质量评价实验成本高的问题，具有很大的研究价值。
6.清华大学在其申请的专利文献“基于脑电特征的图像质量评价方法及装置”(专利申请号：cn202110700519.0，申请公布号：cn 113554597 a)中公开了一种基于脑电特征的图像质量评价方法。该方法的实现步骤为，首先获取待评价彩色图像，将所述待评价彩色图像输入分数预测网络，获得由所述分数预测网络输出的彩色图像质量分数。该方法存在的不足之处在于，由于图像的结构不确定性在人眼感知失真时，对人类视觉心理的期望、策略会产生影响，并且大量的视觉心理实验也验证了图像结构不确定性对失真感知有重大影响。因此，该方法在进行图像质量评价时，未将人类视觉系统在感知图像的失真时受到图像结构不确定性的影响纳入考虑，导致该模型预测结果准确度较低。


技术实现要素：

7.为了克服以上现有技术存在的问题，本发明的目的在于提供基于脑电信号和结构不确定性的图像质量评价方法，根据结构不确定值计算公式和图像刺激选取原则，选取出具有不同结构不确定性的图像；进行恰可察觉失真获取实验，得到不同结构不确定性图像的平均恰可察觉失真；进行脑电信号采集实验，采集受试者观看不同质量等级下的不同结构不确定性的图像刺激所产生的脑电信号；构建并训练脑电信号质量评价网络，该评价方法预测结果准确度高。
8.为了实现上述目的，本发明采用的技术方案是：
9.基于脑电信号和结构不确定性的图像质量评价方法，包括以下步骤；
10.步骤1：根据结构不确定值计算公式和图像刺激选取原则，选取出具有不同结构不确定性的图像，选取多张图像构成图像集p；
11.步骤2：对图像集p中的图像进行不同等级的失真处理，进行恰可察觉失真获取实验，得到不同结构不确定性图像的平均恰可察觉失真；
12.步骤3：进行脑电信号采集实验，选取图像恰可察觉失真所对应的质量等级对图像刺激进行失真处理，采集受试者观看不同质量等级下的不同结构不确定性的图像刺激所产生的脑电信号；
13.步骤4：对脑电信号进行预处理；
14.步骤5：构建并训练脑电信号质量评价网络，获取脑电信号所对应的图像的质量预测分数。
15.所述步骤1中，所述选取多张图像，选取原则如下：
16.(1)所选取的图像中不应出现显著目标物；
17.(2)所选取的图像应包含自然纹理，且没有语义上有意义的内容；所述自然纹理指自然成像(通过摄像设备拍摄的而非计算机生成)的图片中的纹理；
18.纹理是一种反映图像中同质现象的视觉特征，体现了物体表面共有的内在属性，包含了物体表面结构组织排列的重要信息以及它们与周围环境的关系。
19.(3)要求所选取的图像的纹理分布在空间上是基本均匀的；所述基本均匀，指图像内局部区域的统计特征在整个图像空间中呈周期性出现；
20.(4)所选取的图像按照其结构不确定性包含三类，分别为高结构不确定性图像，中结构不确定性图像，低结构不确定性图像；
21.定义hu为一张图像的结构不确定性值，根据该值，三类结构不确定性图像的定义如下所示：
22.低结构不确定性图像，hu《1.7，中结构不确定性图像，hu为1.7～2.2，高结构不确定性图像，hu》2.2。
23.所述图像的结构不确定性hu的计算方式如下：
24.逐像素点计算图像中每个像素点的预测值，其计算公式如下：
[0025][0026]
其中，g'表示中心像素的预测值，χ表示以中心像素为中心的21x21的像素区域，gi表示区域χ中第i个像素点的灰度值，ε表示白噪声，自回归系数ci的计算公式如下式所示：
[0027][0028]
其中，x表示中心像素点，xi表示区域χ中的第i个像素点，xk表示区域χ中的第k个像素点，i表示像素点间的互信息；
[0029]
设原始图像为m，经上式逐像素点进行预测的预测图像为m'，将原始图像与预测图像之间的差视为预测误差图像u，其计算公式如下所示：
[0030]
u＝m-m'
[0031]
利用香农熵公式计算u中各个像素的信息熵并求平均值作为图像的结构不确定值：
[0032][0033]
其中xi表示预测误差图像u中第i个像素点，pb(xi)表示图像u中像素点xi的灰度值出现的概率，n表示像素的总数量。所述步骤2具体为：
[0034]
2.1对图像进行不同等级的失真处理；
[0035]
利用matlab软件的videowriter工具调整图像的质量参数(quality parameter，qp)，对图像集p中的图像分别进行失真处理，获得图像序列集；
[0036]
qp的范围是0到100，当qp为100时表示图像未失真，qp为0时表示图像失真最严重，并且qp参数数值越大，失真程度越低，受试者也越难察觉到图像的失真；
[0037]
将步骤1中选定的图片集p中的每张图像分别生成质量参数qp从11到80的失真图像，按照质量由高到低排序，形成由失真图像组成的图像序列；
[0038]
将图像集p中每张图像对应的图像序列集合起来，得到图像序列集p'；将低结构不确定性图像集p
l
中每张图像对应的图像序列集合起来，得到低结构不确定性图像序列集p
l
'；将中结构不确定性图像集pm中每张图像对应的图像序列集合起来，得到中结构不确定性图像序列集pm'；将高结构不确定性图像集ph中每张图像对应的图像序列集合起来，得到高结构不确定性图像序列集ph'；
[0039]
2.2受试者通过观看图像序列，分别得到低结构不确定性图像、中结构不确定性图像、高结构不确定性图像的平均恰可察觉失真。
[0040]
进一步的，每位受试者都将观看低结构不确定性图像序列集p
l
'、中结构不确定性图像序列集pm'、高结构不确定性图像序列集ph'中的所有图像序列各一次，具体流程为：
[0041]
受试者依次观看包含图像序列的低结构不确定性图像序列集p
l
'、包含图像序列的中结构不确定性图像序列集pm'、包含图像序列的高结构不确定性图像序列集ph'；
[0042]
观看单个图像序列的流程包括注视点呈现阶段、实验刺激呈现阶段；其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激，向受试者传递图像序列将开始播放的信号，接着，在实验刺激呈现阶段，播放步骤2.1中所述的图像的图像序列，其中的图像按照质量由高到低排列，每张图像停留0.5秒；
[0043]
在图像序列播放过程中，受试者对图像出现失真的时刻进行判断，此时系统记录下受试者做出判断时所播放图像的质量参数qp，将此qp记录为该图像的恰可察觉失真，受试者做出判断时，当前图像序列的播放流程立即结束，等待5秒后进入下一个图像序列的播
放流程。
[0044]
所述步骤3具体为：
[0045]
3.1获取不同失真程度的失真图像；
[0046]
选取3个质量参数qp，以获取不同失真程度的失真图像，3个质量参数qp由步骤2的恰可失真获取实验得到，分别为低结构不确定性图像的平均恰可察觉失真qp1、中结构不确定性图像的平均恰可察觉失真qp2、高结构不确定性图像的平均恰可察觉失真所对应的qp3；利用matlab软件的videowriter工具，分别进行质量参数为qp1、qp2、qp3的失真处理；
[0047]
3.2受试者观看失真图像；
[0048]
将失真处理后的图像作为实验刺激，向每位受试者随机呈现3.1中所述失真图像；具体实验流程为：
[0049]
进一步的，观看单个试次的流程包括注视点呈现阶段、实验刺激呈现阶段和失真判断阶段；其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激；接着，在实验刺激呈现阶段，首先播放未失真图像2秒，再播放失真图像2秒；在失真判断阶段，受试者对是否察觉到失真进行判断。
[0050]
3.3脑电信号采集；
[0051]
在受试者的每个单个试次进行脑电信号采集，使用的脑电信号采集系统为neuroscan。
[0052]
进一步的，在脑电数据采集过程中，需要满足如下的采集条件：(1)要求受试者保持精力充沛，防止采集过程中出现注意力不集中、频繁眨眼和瞌睡现象；(2)保证导电极帽所有电极的电阻小于20千欧姆，且避免各个电极之间粘连；(3)实验场地内光线充足，温度适宜，无噪声；(4)保证受试者眼睛到图像刺激的距离为图像刺激显示高度的4倍左右。
[0053]
所述步骤4具体为：
[0054]
对脑电的数据进行预处理，预处理的步骤包括转参考、基线校正、滤波、去除伪迹；
[0055]
4.1转参考；
[0056]
将位于双侧耳后乳突的m1和m2电极作为参考电极，将m1和m2电极采集到的信号平均值作为脑电信号的参考值，基于参考值对所有电极的脑电信进行重新计算；
[0057]
4.2基线校正；
[0058]
从图像刺激呈现前200毫秒至图像刺激开始呈现时的脑电信号段，计算该脑电信号段的均值作为基线对整段脑电信号进行校正；
[0059]
4.3带通滤波；
[0060]
选取带通滤波器截取低于0.1hz和高于20hz的噪声信号，保留0.1至20hz的脑电信号；
[0061]
4.4去除伪迹；
[0062]
在脑电信号的采集过程中，受到眨眼、肌肉运动和心跳等干扰源的影响，在脑电信号中会留下类似脑电信号的伪迹，使用处理软件对伪迹进行去除。
[0063]
所述步骤5具体为：
[0064]
5.1划分训练集和测试集；
[0065]
选取脑电样本，其中一部分作为训练集，另一部分作为测试集，每个脑电信号数据样本的维度为c
×
t；
[0066]
5.2构建脑电信号质量评价网络；
[0067]
构建脑电信号质量评价网络s，包括模块1、模块2和模块3，其中，模块1为时空卷积-平均池化模块，模块2为可分离卷积模块，模块3为分类输出模块；脑电信号的输入维度为c
×
t,其中c表示脑电信号的通道数，t表示采样点数；
[0068]
在模块1中，第一层为时间卷积层，使用8个大小为1
×
64卷积核提取脑电信号的时间特征；第二层为空间卷积层，使用4个大小为c
×
1的深度卷积核学习空间滤波器；然后沿着特征图维度应用批量归一化，使用指数线性单元作为激活函数进行激活；最后采用一个尺寸为1x4的平均池化层进行降采样；另外，采用了dropout技术防止过拟合，通过对每个空间滤波器的权值使用1的最大范数约束对其进行正则化；
[0069]
在模块2中，首先使用4个大小为1x16的卷积核进行可分离卷积，其次使用8个1x1的卷积核进行点式卷积，然后使用指数线性单元作为激活函数，最后采用尺寸为1x8的平均池化层进行降维；采用了dropout技术防止过拟合；
[0070]
在模块3中，使用一个全连接层，将全连接层的输出使用4类的softmax激活函数进行输出，输出为图像的质量预测分数；
[0071]
5.3训练脑电信号质量评价网络；
[0072]
训练阶段，所有训练过程均采用adam优化算法；计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为：
[0073][0074]
b表示对脑电信号质量评价网络s进行迭代训练时从训练样本集b中不放回地随机选取训练样本的个数，qg表示第g个训练样本对应的质量分数标签，表示第g个训练样本对应的质量预测分数。
[0075]
本发明的有益效果：
[0076]
本发明在于利用人类视觉感知机制中，对于观看不同结构不确定性图像引发的大脑注意力和认知系统的不同反应，通过采集受试者观看不同结构不确定和不同失真等级的图像刺激，设计一种基于脑电信号和结构不确定性的图像质量评价方法，该评价方法预测结果准确度高。
附图说明
[0077]
图1为本发明流程示意图。
[0078]
图2为不确定性图像，其中，图2a为低结构不确定性图像，图2b为中结构不确定性图像，图2c为高结构不确定性图像。
[0079]
图3为受试者通过观看图像序列实验流程示意图。
[0080]
图4为受试者观看失真图像实验流程示意图。
[0081]
图5为构建脑电信号质量评价网络示意图。
具体实施方式
[0082]
下面结合附图和实施例对本发明作进一步详细说明。
[0083]
如图1所示：
[0084]
步骤1选取多张图像构成图片集：
[0085]
从texturelib网站中选取多张图像，texturelib网站中的图像专为图像纹理相关的实验提供素材。其选取原则如下：
[0086]
(1)所选取的图像中不应出现显著目标物，防止图像中显著目标物的出现干扰受试者的视觉注意力，影响受试者对图像质量判断产生影响；
[0087]
(2)所选取的图像应包含自然纹理，且没有语义上有意义的内容，尽量避免图像意义理解给受试者带来影响；
[0088]
(3)要求所选取的图像的纹理分布在空间上是基本均匀的，避免图像不同区域的结构不确定性差异较大，进而难以探究图像整体结构不确定性对图像质量感知的影响；
[0089]
(4)所选取的图像按照其结构不确定性包含三类，分别为高结构不确定性图像，中结构不确定性图像，低结构不确定性图像。定义hu为一张图像的结构不确定性值，根据该值，三类结构不确定性图像的定义如下表所示：
[0090][0091]
具体的，一张图像的结构不确定性hu的计算方式如下：
[0092]
逐像素点计算图像中每个像素点的预测值，其计算公式如下：
[0093][0094]
其中，g'表示中心像素的预测值，χ表示以中心像素为中心的21x21的像素区域，gi表示区域χ中第i个像素点的灰度值，ε表示白噪声。自回归系数ci的计算公式如下式所示：
[0095][0096]
其中，x表示中心像素点，xi表示区域χ中的第i个像素点，xk表示区域χ中的第k个像素点，i表示像素点间的互信息。
[0097]
设原始图像为m，经上式逐像素点进行预测的预测图像为m'，将原始图像与预测图像之间的差视为预测误差u，其计算公式如下所示：
[0098]
u＝m-m'
[0099]
利用香农熵公式计算u中各个像素的信息熵并求平均值作为图像的结构不确定值：
[0100][0101]
其中pb(x)表示x在u中的概率，n表示像素的总数量。
[0102]
本实施例中，共根据上述图像选取的原则选取30张图像构成图像集p，其中低结构不确定性图像、中结构不确定性图像、高结构不确定性图像各10张。表示为p＝{p
l
,pm,ph}，其中低结构不确定性图像集p
l
＝{p
l1
,p
l2
……
p
l10
}，中结构不确定性图像集pm＝{p
m1
,
p
m2
……
p
m10
}，高结构不确定性图像集ph＝{p
h1
,p
h2
……
p
h10
}。图像的分辨率统一为1920x1080。为控制变量，防止图像的内容和颜色对受试者的判断产生影响，图像的内容都为墙壁，颜色基本一致。其中一组如图2所示：
[0103]
采用上述的结构不确定值计算公式，对不同结构不确定性图像分别进行计算。低结构不确定性图像的平均结构不确定值为1.27，中结构不确定性图像的平均结构不确定值为2.05，高结构不确定性图像的平均结构不确定值为2.54。由此可见三组图像的结构不确定值符合图像选取原则。
[0104]
步骤2恰克察觉失真获取实验
[0105]
2.1对图像进行不同等级的失真处理
[0106]
利用matlab软件的videowriter工具调整图像的质量参数(quality parameter，qp)，对图像集p中的30张图像分别进行失真处理，获得图像序列集
[0107]
qp的范围是0到100，当qp为100时表示图像未失真，qp为0时表示图像失真最严重，并且qp参数数值越大，失真程度越低，受试者也越难察觉到图像的失真。根据经验，当qp在0到10时图像失真非常明显，当qp在80到100时无法察觉到图像失真。因此，将步骤1中选定的图片集p中的每张图像分别生成质量参数qp从11到80的70张失真图像，按照质量由高到低排序，形成由70张失真图像组成的图像序列。
[0108]
将图像集p中每张图像对应的图像序列集合起来，得到图像序列集p'；将低结构不确定性图像集p
l
中每张图像对应的图像序列集合起来，得到低结构不确定性图像序列集p
l
'；将中结构不确定性图像集pm中每张图像对应的图像序列集合起来，得到中结构不确定性图像序列集pm'；将高结构不确定性图像集ph中每张图像对应的图像序列集合起来，得到高结构不确定性图像序列集ph'；
[0109]
2.2受试者通过观看图像序列，分别得到低结构不确定性图像、中结构不确定性图像、高结构不确定性图像的平均恰可察觉失真。
[0110]
恰可察觉失真(just-noticeable distortion，jnd)指人类视觉系统无法感知的最大失真，在图像处理领域，恰可察觉失真可以用来度量人眼对图像的失真敏感度。
[0111]
本实验选取6位受试者(3位男性，3位女性)，每位受试者都将观看低结构不确定性图像序列集p
l
'、中结构不确定性图像序列集pm'、高结构不确定性图像序列集ph'中的所有图像序列各一次，具体实验流程如图3所示：
[0112]
受试者依次观看包含10个图像序列的低结构不确定性图像序列集p
l
'、包含10个图像序列的中结构不确定性图像序列集pm'、包含10个图像序列的高结构不确定性图像序列集ph'。
[0113]
具体地，观看单个图像序列的流程包括注视点呈现阶段、实验刺激呈现阶段。其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激，向受试者传递图像序列将开始播放的信号。接着，在实验刺激呈现阶段，播放2.1中所述的包含70张图像的图像序列，其中的图像按照质量由高到低排列，每张图像停留0.5秒。
[0114]
在图像序列播放过程中，受试者对图像出现失真的时刻进行判断，此时系统记录下受试者做出判断时所播放图像的质量参数qp，将此qp记录为该图像的恰可察觉失真。受试者做出判断时，当前图像序列的播放流程立即结束，等待5秒后进入下一个图像序列的播放流程。
[0115]
本实施例中，6位受试者观看p
l
'、pm'、ph'的记录表如下：
[0116]
恰可察觉失真获取实验记录表
[0117]
受试者p
l
'pm'ph's1453832s2423731s3433629s4413329s5443532s6433733平均值433631
[0118]
其中，表中数值表示受试者感受到恰可察觉失真时图像的质量参数qp。由表可知，低结构不确定性图像的平均恰可察觉失真出现在qp为43时，中结构不确定性图像的平均恰可察觉失真出现在qp为36时，高结构不确定性图像的平均恰可察觉失真出现在qp为31时。
[0119]
步骤3：脑电信号采集实验
[0120]
3.1获取不同失真程度的失真图像
[0121]
选取3个质量参数qp，以获取不同失真程度的失真图像，3个质量参数qp由步骤2的恰可失真获取实验得到，分别为低结构不确定性图像的平均恰可察觉失真qp1、中结构不确定性图像的平均恰可察觉失真qp2、高结构不确定性图像的平均恰可察觉失真所对应的qp3。在本实施例中，qp1＝43、qp2＝36、qp3＝31。将图像集p中的30张图像，利用matlab软件的videowriter工具，分别进行质量参数为qp1、qp2、qp3的失真处理，得到90张失真图像。
[0122]
3.2受试者观看失真图像
[0123]
本实验选取6位受试者(3位男性，3位女性)，将失真处理后的图像作为实验刺激，向每位受试者随机呈现3.1中所述90张失真图像，其中每张图像重复播放10次，每位受试者共需完成900个试次。具体实验流程如图4所示：
[0124]
具体地，观看单个试次的流程包括注视点呈现阶段、实验刺激呈现阶段和失真判断阶段。其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激。接着，在实验刺激呈现阶段，首先播放未失真图像2秒，再播放失真图像2秒。在失真判断阶段，受试者对是否察觉到失真进行判断。
[0125]
3.3脑电信号采集
[0126]
在受试者的每个单个试次进行脑电信号采集，使用的脑电信号采集系统为neuroscan，该系统包含quik-cap64导电极帽、synamps2 64导脑电信号放大器和专业脑信号采集处理软件curry7。
[0127]
在脑电数据采集过程中，需要满足如下的采集条件：(1)要求受试者保持精力充沛，防止采集过程中出现注意力不集中、频繁眨眼和瞌睡现象；(2)保证导电极帽所有电极的电阻小于20千欧姆，且避免各个电极之间粘连；(3)实验场地内光线充足，温度适宜，无噪声；(4)保证受试者眼睛到图像刺激的距离为图像刺激显示高度的4倍左右。
[0128]
本实施例中，共采集到6名受试者共5400个脑电信号样本。每个脑电信号数据样本的维度为c
×
t，其中c表示脑电信号的通道数，t表示采样点数。
[0129]
在本实施例中，c为64，t为1000。
[0130]
步骤4脑电信号预处理
[0131]
为了更准确地分析脑电信号的特征和变化，需要对原始脑电的数据进行预处理，以实现数据清洗和数据变换。预处理的步骤包括转参考、基线校正、滤波、去除伪迹。
[0132]
4.1转参考
[0133]
本实验采用的neuroscan采集系统默认quik-cap电极帽中的ref电极作为参考电极。由于ref电极常常因为受试者的头型大小不同，导致各个受试者的参考电极位置不同。因此选择将位于双侧耳后乳突的m1和m2电极作为参考电极，将m1和m2电极采集到的信号平均值作为脑电信号的参考值，基于参考值对所有电极的脑电信进行重新计算。
[0134]
4.2基线校正
[0135]
基线校正可以避免由于噪声干扰和不同电极的不平衡性导致的脑电信号漂移的问题。因此，选取从图像刺激呈现前200毫秒至图像刺激开始呈现时的脑电信号段，计算该脑电信号段的均值作为基线对整段脑电信号进行校正。
[0136]
4.3带通滤波
[0137]
脑电信号在采集过程中包含大量的生理和非生理噪声，生理噪声中的肌电和眼电噪声都为高频信号，非生理噪声中的直流偏移等为低频信号。因此，本实验选取带通滤波器截取低于0.1hz和高于20hz的噪声信号，保留0.1至20hz的脑电信号。
[0138]
4.4去除伪迹
[0139]
在脑电信号的采集过程中，受到眨眼、肌肉运动和心跳等干扰源的影响，在脑电信号中会留下类似脑电信号的伪迹。伪迹会干扰脑电信号的解释和分析，并且这些伪迹无法通过带通滤波完全去除。因此本实验中使用处理软件curry7中的独立成分分析功能对伪迹进行去除。
[0140]
步骤5构建并训练脑电信号质量评价网络
[0141]
5.1划分训练集和测试集
[0142]
共有5400个脑电样本，选取其中80％作为训练集(4320)，20％作为测试集(1080)，每个脑电信号数据样本的维度为c
×
t，在本实施例中，c为64，t为1000。
[0143]
5.2构建脑电信号质量评价网络
[0144]
构建脑电信号质量评价网络s。网络结构如图5所示，其中，模块1为时空卷积-平均池化模块，模块2为可分离卷积模块，模块3为分类输出模块。脑电信号的输入维度为c
×
t,其中c表示脑电信号的通道数，t表示采样点数。
[0145]
在模块1中，第一层为时间卷积层，使用8个大小为1
×
64卷积核提取脑电信号的时间特征。第二层为空间卷积层，使用4个大小为c
×
1的深度卷积核学习空间滤波器。然后沿着特征图维度应用批量归一化，使用指数线性单元作为激活函数进行激活。最后采用一个尺寸为1x4的平均池化层进行降采样。另外，采用了dropout技术防止过拟合，通过对每个空间滤波器的权值使用1的最大范数约束对其进行正则化。
[0146]
在模块2中，首先使用4个大小为1x16的卷积核进行可分离卷积，其次使用8个1x1的卷积核进行点式卷积，然后使用指数线性单元作为激活函数，最后采用尺寸为1x8的平均池化层进行降维。采用了dropout技术防止过拟合。
[0147]
在模块3中，使用一个全连接层，将全连接层的输出使用4类的softmax激活函数进行输出，输出为图像的质量预测分数。
[0148]
5.3训练脑电信号质量评价网络
[0149]
训练阶段，batchsize大小设为64，初始学习率ir＝5
×
10-4
，每50个训练迭代后学习率下降为上一阶段的1/10，总共运行200个训练迭代。所有训练过程均采用adam优化算法。计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为：
[0150][0151]
b表示对脑电信号质量评价网络s进行迭代训练时从训练样本集b中不放回地随机选取训练样本的个数，qg表示第g个训练样本对应的质量分数标签，表示第g个训练样本对应的质量预测分数。

技术特征：
利用香农熵公式计算u中各个像素的信息熵并求平均值作为图像的结构不确定值：其中x
i
表示预测误差图像u中第i个像素点，p
b
(x
i
)表示图像u中像素点x
i
的灰度值出现的概率，n表示像素的总数量。4.根据权利要求2所述的基于脑电信号和结构不确定性的图像质量评价方法，其特征在于，所述步骤2具体为：2.1对图像进行不同等级的失真处理；利用matlab软件的videowriter工具调整图像的质量参数，对图像集p中的图像分别进行失真处理，获得图像序列集；qp的范围是0到100，当qp为100时表示图像未失真，qp为0时表示图像失真最严重，并且qp参数数值越大，失真程度越低，受试者也越难察觉到图像的失真；将步骤1中选定的图片集p中的每张图像分别生成质量参数qp从11到80的失真图像，按照质量由高到低排序，形成由失真图像组成的图像序列；将图像集p中每张图像对应的图像序列集合起来，得到图像序列集p'；将低结构不确定性图像集p
l
中每张图像对应的图像序列集合起来，得到低结构不确定性图像序列集p
l
'；将中结构不确定性图像集p
m
中每张图像对应的图像序列集合起来，得到中结构不确定性图像序列集p'
m
；将高结构不确定性图像集p
h
中每张图像对应的图像序列集合起来，得到高结构不确定性图像序列集p’h
；2.2受试者通过观看图像序列，分别得到低结构不确定性图像、中结构不确定性图像、高结构不确定性图像的平均恰可察觉失真。5.根据权利要求4所述的基于脑电信号和结构不确定性的图像质量评价方法，其特征在于，每位受试者都将观看低结构不确定性图像序列集p
l’、中结构不确定性图像序列集p’m
、高结构不确定性图像序列集p’h
中的所有图像序列各一次，具体流程为：受试者依次观看包含图像序列的低结构不确定性图像序列集p
l’、包含图像序列的中结构不确定性图像序列集p’m
、包含图像序列的高结构不确定性图像序列集p’h
；观看单个图像序列的流程包括注视点呈现阶段、实验刺激呈现阶段；其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激，向受试者传递图像序列将开始播放的信号，接着，在实验刺激呈现阶段，播放步骤2.1中所述的图像的图像序列，其中的图像按照质量由高到低排列，每张图像停留0.5秒；在图像序列播放过程中，受试者如已察觉到图像失真时刻进行判断，此时系统记录下受试者做出判断时所播放图像的质量参数qp，将此qp记录为该图像的恰可察觉失真，受试者做出判断时，当前图像序列的播放流程立即结束，等待5秒后进入下一个图像序列的播放流程。6.根据权利要求1所述的基于脑电信号和结构不确定性的图像质量评价方法，其特征在于，所述步骤3具体为：3.1获取不同失真程度的失真图像；选取3个质量参数qp，以获取不同失真程度的失真图像，3个质量参数qp由步骤2的恰可
失真获取实验得到，分别为低结构不确定性图像的平均恰可察觉失真qp1、中结构不确定性图像的平均恰可察觉失真qp2、高结构不确定性图像的平均恰可察觉失真所对应的qp3；利用matlab软件的videowriter工具，分别进行质量参数为qp1、qp2、qp3的失真处理；3.2受试者观看失真图像；将失真处理后的图像作为实验刺激，向每位受试者随机呈现3.1中所述失真图像；具体实验流程为：观看单个试次的流程包括注视点呈现阶段、实验刺激呈现阶段和失真判断阶段；其中，在注视点呈现阶段，向受试者展示1秒红色“+”使受试者集中注意力观看图像刺激；接着，在实验刺激呈现阶段，首先播放未失真图像2秒，再播放失真图像2秒；在失真判断阶段，受试者对是否察觉到失真进行判断；3.3脑电信号采集；在受试者的每个单个试次进行脑电信号采集，使用的脑电信号采集系统为neuroscan。7.根据权利要求1所述的基于脑电信号和结构不确定性的图像质量评价方法，其特征在于，所述步骤4具体为：对脑电的数据进行预处理，预处理的步骤包括转参考、基线校正、滤波、去除伪迹；4.1转参考；将位于双侧耳后乳突的m1和m2电极作为参考电极，将m1和m2电极采集到的信号平均值作为脑电信号的参考值，基于参考值对所有电极的脑电信进行重新计算；4.2基线校正；从图像刺激呈现前200毫秒至图像刺激开始呈现时的脑电信号段，计算该脑电信号段的均值作为基线对整段脑电信号进行校正；4.3带通滤波；选取带通滤波器截取低于0.1hz和高于20hz的噪声信号，保留0.1至20hz的脑电信号；4.4去除伪迹；在脑电信号的采集过程中，受到眨眼、肌肉运动和心跳等干扰源的影响，在脑电信号中会留下类似脑电信号的伪迹，使用处理软件对伪迹进行去除。8.根据权利要求1所述的基于脑电信号和结构不确定性的图像质量评价方法，其特征在于，所述步骤5具体为：5.1划分训练集和测试集；选取脑电样本，其中一部分作为训练集，另一部分作为测试集，每个脑电信号数据样本的维度为c
×
t；5.2构建脑电信号质量评价网络；构建脑电信号质量评价网络s，包括模块1、模块2和模块3，其中，模块1为时空卷积-平均池化模块，模块2为可分离卷积模块，模块3为分类输出模块；脑电信号的输入维度为c
×
t,其中c表示脑电信号的通道数，t表示采样点数；在模块1中，第一层为时间卷积层，使用8个大小为1
×
64卷积核提取脑电信号的时间特征；第二层为空间卷积层，使用4个大小为c
×
1的深度卷积核学习空间滤波器；然后沿着特征图维度应用批量归一化，使用指数线性单元作为激活函数进行激活；最后采用一个尺寸为1x4的平均池化层进行降采样；另外，采用了dropout技术防止过拟合，通过对每个空间滤
波器的权值使用1的最大范数约束对其进行正则化；在模块2中，首先使用4个大小为1x16的卷积核进行可分离卷积，其次使用8个1x1的卷积核进行点式卷积，然后使用指数线性单元作为激活函数，最后采用尺寸为1x8的平均池化层进行降维；采用了dropout技术防止过拟合；在模块3中，使用一个全连接层，将全连接层的输出使用4类的softmax激活函数进行输出，输出为图像的质量预测分数；5.3训练脑电信号质量评价网络；训练阶段，所有训练过程均采用adam优化算法；计算每个训练样本对应的质量预测分数与该训练样本对应的质量分数标签的均方误差的公式为：b表示对脑电信号质量评价网络s进行迭代训练时从训练样本集b中不放回地随机选取训练样本的个数，q
g
表示第g个训练样本对应的质量分数标签，表示第g个训练样本对应的质量预测分数。

技术总结
基于脑电信号和结构不确定性的图像质量评价方法，包括以下步骤；步骤1：根据结构不确定值计算公式和图像刺激选取原则，选取出具有不同结构不确定性的图像，选取多张图像构成图像集；步骤2：对图像集中的图像进行不同等级的失真处理，进行恰可察觉失真获取实验，得到不同结构不确定性图像的平均恰可察觉失真；步骤3：进行脑电信号采集实验，选取图像恰可察觉失真所对应的质量等级对图像刺激进行失真处理，采集受试者观看不同质量等级下的不同结构不确定性的图像刺激所产生的脑电信号；步骤4：对脑电信号进行预处理；步骤5：构建并训练脑电信号质量评价网络，获取脑电信号所对应的图像的质量预测分数。该评价方法预测结果准确度高。该评价方法预测结果准确度高。该评价方法预测结果准确度高。


技术研发人员：何立火 张卓远 钟斌 王威力 王笛 高新波 路文
受保护的技术使用者：西安电子科技大学
技术研发日：2023.04.19
技术公布日：2023/7/25