一种基于动态融合的深度无监督显著目标检测方法和系统

1.本发明属于图像处理技术领域，具体涉及一种基于动态融合的深度无监督显著目标检测方法和系统。


背景技术：

2.显著目标检测可以作为预处理步骤提升分割、图像融合、图像检索、图像识别等各种视觉任务的处理速度。显著目标检测的任务致力于模仿人类视觉识别出场景中最吸引人的区域或物体。
3.无监督的深度学习显著目标检测对标签的完全无依赖性。然而，现有的无监督的深度学习显著目标检测方法不能很好的挖掘多种传统手工方法伪标签间的一致性和互补性的问题，生成的伪标签的前景背景分割质量较低。


技术实现要素：

4.本发明所要解决的技术问题是：现有无监督的深度学习显著目标检测方法生成的伪标签的前景背景分割质量较低。
5.本发明解决其技术问题所采用的技术方案是：一种基于动态融合的深度无监督显著目标检测方法，包括：
6.s1，分别将待训练的图像输入到不同的传统手工方法中得到不同的训练集的显著性线索；
7.s2，将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；
8.s3，将不同的显著性预测作为新的不同的显著性线索，输入到步骤s2中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；
9.s4，不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；
10.s5，将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；
11.s6，将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重；
12.s7，将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到步骤s5和步骤s6中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。
13.进一步的，s1中，所述不同的传统手工方法包括mc,hs,dsr,rbd四种算法。
14.进一步的，s2中，所述全卷积网络用于提取图像中显著性特征，并去掉最后的全连接层用上采样层替代来生成显著性预测。
15.进一步的，s2中，所述全卷积网络训练时，使用的误差函数l为：
16.l＝1-f
β
(p,pl)
17.其中，l为损失函数值，f
β
(p,pl)为衡量p和pl的相似度。
18.进一步的，所述f
β
(p,pl)为衡量p和pl的相似度，具体公式如下：
[0019][0020]
其中，p为预测的显著性预测，pl为显著性线索，β为预设参数。
[0021]
进一步的，s5中，所述距离函数，具体公式如下：
[0022]
dis(x,y)＝-ln(1-f
β
(x,y))
[0023]
其中，dis(x,y)为距离，f
β
(x,y)为衡量x和y的相似度。
[0024]
进一步的，所述f
β
(x,y)为衡量x和y的相似度，具体公式如下：
[0025][0026]
其中，x为不同的初始伪标签，y为中间结果。
[0027]
一种基于动态融合的深度无监督显著目标检测系统，包括：
[0028]
存储单元，用于存储不同的传统手工方法，全卷积网络模型和softmax逻辑回归模型；
[0029]
第一处理单元，用于将待训练的图像输入到不同的传统手工方法中计算得到不同的训练集的显著性线索；
[0030]
第二处理单元，用于将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；
[0031]
第一输出单元，用于将不同的显著性预测作为新的不同的显著性线索，输入到步骤s2中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；
[0032]
融合单元，用于不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；
[0033]
距离计算单元，用于将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；
[0034]
权重计算单元，用于将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重；
[0035]
第二输出单元，用于将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到距离计算单元和权重计算单元中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。
[0036]
一种网络侧服务端，包括：
[0037]
至少一个处理器；以及，
[0038]
与所述至少一个处理器通信连接的存储器；其中，
[0039]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一项上述的基于动态融合的深度无监督显著目标检测方法。
[0040]
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于动态融合的深度无监督显著目标检测方法。
[0041]
本发明的有益效果是：本发明采用动态融合方式来发掘不同传统手工方法生成伪标签间的一致性和互补性，相比之前简单的共同使用，根据图像具体情况调节不同伪标签融合的权重生成对应的伪标签，有助于检测尺寸大小不一等复杂场景的显著目标，发明在
复杂场景下检测显著目标时更具有对不同大小显著目标的鲁棒性，在距离函数以常用的显著性衡量方法为基础，并用一个对数函数来放大差异，以得到合适的融合权重，能提升伪标签的质量。
附图说明
[0042]
下面结合附图和实施例对本发明作进一步说明。
[0043]
图1是根据本发明第一实施方式提供的基于动态融合的深度无监督显著目标检测方法流程图；
[0044]
图2是根据本发明第二实施方式提供的基于动态融合的深度无监督显著目标检测系统的结构示意图；
[0045]
图3是根据本发明第三实施方式提供的网络侧服务端的结构示意图；
[0046]
图4是根据根据本发明第一实施方式提供的仿真实验图。
具体实施方式
[0047]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
本发明的第一实施方式涉及一种基于动态融合的深度无监督显著目标检测方法，在本实施方式中，分别将待训练的图像输入到不同的传统手工方法中得到不同的训练集的显著性线索；将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；将不同的显著性预测作为新的不同的显著性线索，输入到步骤s2中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到步骤s5和步骤s6中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。本发明能够发掘不同传统手工方法生成伪标签间的一致性和互补性，通过调节不同伪标签融合的权重，提升最终伪标签的质量，对显著目标检测具有更好的完整性和一致性。
[0049]
下面对本实施方式的基于动态融合的深度无监督显著目标检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施方式的具体流程如图1所示，本实施方式应用于网络侧的服务端。
[0050]
步骤s1，分别将待训练的图像输入到不同的传统手工方法中得到不同的训练集的显著性线索。
[0051]
具体而言，所述传统手工方法采用的是基于不同先验，例如中间先验和全局对比先验等，通过将待训练的图像输入到多种不同的传统手工方法中得到不同的训练集的显著性线索能够增强最终结果的鲁棒性。
[0052]
在一些示例中，所述不同的传统手工方法包括mc,hs,dsr,rbd四种算法。
[0053]
步骤s2，将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测。
[0054]
具体而言，所述全卷积网络用于提取图像中显著性特征，并去掉最后的全连接层用上采样层替代来生成显著性预测。
[0055]
所述全卷积网络训练时，使用的误差函数l为：
[0056]
l＝1-f
β
(p,pl)
[0057]
其中，l为损失函数值，f
β
(p,pl)为衡量p和pl的相似度。
[0058]
所述f
β
(p,pl)为衡量p和pl的相似度，具体公式如下：
[0059][0060]
其中，p为预测的显著性预测，pl为显著性线索，β为预设参数。
[0061]
步骤s3，将不同的显著性预测作为新的不同的显著性线索，输入到步骤s2中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签。
[0062]
具体而言，显著性线索用于监督一个去掉最后全连接层并用上采样层代替的全卷积网络训练，累积训练过程中的历史平均显著性预测，这些显著性预测再替代之前的线索重新监督全卷积网络，这个替代再训练过程会被迭代几次，最终的显著性预测即想要的伪标签。历史平均显著性预测来自全卷积网络训练时生成的预测，这些预测不断以一定的权重融合进入历史平均显著性预测，步骤s4，不同的初始伪标签采用平均权重的方式进行融合，输出中间结果。
[0063]
步骤s5，将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果。
[0064]
具体而言，所述距离函数，具体公式如下：
[0065]
dis(x,y)＝-ln(1-f
β
(x,y))
[0066]
其中，dis(x,y)为距离，f
β
(x,y)为衡量x和y的相似度。
[0067]
所述f
β
(x,y)为衡量x和y的相似度，具体公式如下：
[0068][0069]
其中，x为不同的初始伪标签，y为中间结果。
[0070]
步骤s6，将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重。
[0071]
步骤s7，将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到步骤s5和步骤s6中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。
[0072]
在一些示例中，如图4所示，原始图像img表示数据库中用于实验输入的图像，真值图gt表示人工标定的二值图，次数则表明迭代次数的中间结果；随着迭代次数的增加，动态融合的方法在通过对不同方法的权重进行精细的调节来更进一步的挖掘图像间的一致性，去除了部分方法产生背景噪音对融合结果的影响。
[0073]
在另外一些示例中，将本发明与现有的无监督显著目标检测方法在公共图像数据库ecssd进行显著目标检测实验得到的结果，采用公认的评价指标进行客观评价，即加权平均f-measure值和mae值，评价仿真结果见下表1。
[0074]
表1
[0075][0076][0077]
本发明具有更高的加权平均f-measure值和更低的mae值，从而表明了本发明对显著目标检测具有更好的完整性和一致性，充分表明了本发明方法的有效性和优越性。
[0078]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0079]
如图2所示，本发明第二实施方式涉及了一种基于动态融合的深度无监督显著目标检测系统，包括：存储单元201，第一处理单元202，第二处理单元203，第一输出单元204，融合单元205，距离计算单元206，权重计算单元207，第二输出单元208。
[0080]
具体地说，存储单元201，用于存储不同的传统手工方法，全卷积网络模型和softmax逻辑回归模型；第一处理单元202，用于将待训练的图像输入到不同的传统手工方法中计算得到不同的训练集的显著性线索；第二处理单元203，用于将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；第一输出单元204，第一输出单元，用于将不同的显著性预测作为新的不同的显著性线索，输入到第二处理单元203中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；融合单元205，用于不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；距离计算单元206，用于将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；权重计算单元207，用于将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重；第二输出单元208，用于将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到距离计算单元206和权重计算单元207中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。
[0081]
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0082]
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
[0083]
本发明第三实施方式涉及一种网络侧服务端，如图3所示，包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够
执行上述的数据处理方法。
[0084]
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
[0085]
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
[0086]
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现第一实施方式中的基于动态融合的深度无监督显著目标检测系统。
[0087]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0088]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种基于动态融合的深度无监督显著目标检测方法，其特征在于，包括：s1，分别将待训练的图像输入到不同的传统手工方法中得到不同的训练集的显著性线索；s2，将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；s3，将不同的显著性预测作为新的不同的显著性线索，输入到步骤s2中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；s4，不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；s5，将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；s6，将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重；s7，将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到步骤s5和步骤s6中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。2.根据权利要求1所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，s1中，所述不同的传统手工方法包括mc,hs,dsr,rbd四种算法。3.根据权利要求1所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，s2中，所述全卷积网络用于提取图像中显著性特征，并去掉最后的全连接层用上采样层替代来生成显著性预测。4.根据权利要求1所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，s2中，所述全卷积网络训练时，使用的误差函数l为：l＝1-f
β
(p,pl)其中，l为损失函数值，f
β
(p,pl)为衡量p和pl的相似度。5.根据权利要求4所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，所述f
β
(p,pl)为衡量p和pl的相似度，具体公式如下：其中，p为预测的显著性预测，pl为显著性线索，β为预设参数。6.根据权利要求1所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，s5中，所述距离函数，具体公式如下：dis(x,y)＝-ln(1-f
β
(x,y))其中，dis(x,y)为距离，f
β
(x,y)为衡量x和y的相似度。7.根据权利要求6所述的基于动态融合的深度无监督显著目标检测方法，其特征在于，所述f
β
(x,y)为衡量x和y的相似度，具体公式如下：其中，x为不同的初始伪标签，y为中间结果。8.一种基于动态融合的深度无监督显著目标检测系统，其特征在于，包括：存储单元，用于存储不同的传统手工方法，全卷积网络模型和softmax逻辑回归模型；
第一处理单元，用于将待训练的图像输入到不同的传统手工方法中计算得到不同的训练集的显著性线索；第二处理单元，用于将待训练的图像输入到全卷积网络中，将不同的显著性线索分别输入到全卷积网络中进行监督，分别得到不同的显著性预测；第一输出单元，用于将不同的显著性预测作为新的不同的显著性线索，输入到第二处理单元中进行多次迭代，得到不同的最终显著性预测结果作为不同的初始伪标签；融合单元，用于不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；距离计算单元，用于将不同的初始伪标签和中间结果分别代入到距离函数中，输出多个结果；权重计算单元，用于将输出的多个结果代入到softmax逻辑回归模型中得到不同的新的权重；第二输出单元，用于将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，输入到距离计算单元和权重计算单元中进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。9.一种网络侧服务端，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于动态融合的深度无监督显著目标检测方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于动态融合的深度无监督显著目标检测方法。

技术总结
本发明属于图像处理技术领域，具体涉及一种基于动态融合的深度无监督显著目标检测方法和系统，包括分别将待训练的图像输入到不同的传统手工方法和全卷积网络中，得到初始伪标签；不同的初始伪标签采用平均权重的方式进行融合，输出中间结果；将不同的初始伪标签和中间结果分别代入到距离函数再代入到softmax逻辑回归模型中得到不同的新的权重；将不同的新的权重与对应的不同的初始伪标签进行融合后，作为新的中间结果，再进行多次迭代，直至得到的中间结果趋于稳定，将最后一次迭代得到的中间结果作为最终伪标签。本发明能够提升最终伪标签的质量，对显著目标检测具有更好的完整性和一致性。和一致性。和一致性。


技术研发人员：刘毅 董晓辉 蒋广琪 石林 徐守坤
受保护的技术使用者：常州大学
技术研发日：2023.04.20
技术公布日：2023/7/21