一种多视角不完整图像的子空间聚类方法

1.本发明涉及计算机视觉技术领域，尤其是涉及一种多视角不完整图像的子空间聚类方法。


背景技术：

2.由多个视角(multi-view)进行描述获得的数据在计算机视觉等领域很常见，与单视角的特征相比，多视角特征通常能够为探索数据的底层结构提供更全面的信息。
3.在实际应用中，数据可能会因某些样本或特征在某些视角中丢失而受到影响，例如，在疾病诊断中，病患每接受一种检查都可以看作新增一种观点，但由于一些不可控因素，有些病患可能不会接受所有类别的检查。
4.在多视角数据的问题中，由于数据的不完整性，从不完整的多视图数据中探索信息十分的困难。此外，由于不同的视图可能包含不同数量的样本，因此它们在聚类任务中体现的信息量是不平衡的。因此，直接利用传统的多视图聚类方法难以捕捉不完整多视图数据的聚类结构，而旨在以无监督的方式将数据划分到其本应所属的集群中去的多视图聚类近年来得到了广泛研究。
5.在医学领域，虽然有大量的医疗信息可用于数据科学的研究，但许多不完整的数据集缺少许多机器学习算法所需的值。例如，现代重症监护病房(icu)中用于数据采集的信息源的多样性使得生成的数据库特别容易丢失数据。管理缺失数据最常用的有两种策略，一是估算并填补值，二是删除值，前者会导致偏差或折损信息量，而后者会导致偏差和统计能力的损失，使聚类结果被冗余的信息误导。


技术实现要素：

6.基于此，有必要提供一个针对医学数据的，既能够填补缺失数据，又能考虑到融合多视角信息，还能有利于聚类效果的子空间聚类方法。
7.本发明提供一种多视角不完整图像的子空间聚类方法，包括以下步骤：
8.步骤s10，准备形式为三维张量的数据，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；
9.步骤s20，获取各个视角的相似度矩阵；
10.步骤s30，融合各个视角的自表达矩阵，得到总的自表达矩阵；
11.步骤s40，填补不完整部分；
12.步骤s50，使各视角的相似度矩阵具有低秩的特性以逼近块对角结构。
13.优选的，在步骤s10中，对于手写数字图像，将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量；对于医学图像，多次扫描图像产生多个三维张量。
14.优选的，在步骤s10中，切片产生的多个视角包括第一视角、第二视角和第三视角，提取每个切片的d个特征，得到数据χ＝{x
(1)
,x
(2)
,x
(3)
}，其中dv和nv分别为各视角的特征数和样本
量。
15.优选的，第一视角为横断位视角，第二视角为冠状位视角，第三视角为矢状位视角。
16.优选的，第v个视角(v＝1,2,3)的数据表示为优选的，第v个视角(v＝1,2,3)的数据表示为其中和均为置换矩阵，矩阵仅含0元素和1元素，1元素在和中分别为完整样本索引和不完整样本索引。
17.优选的，在步骤s20中，获取各视角的相似度矩阵的计算式为：
[0018][0019][0020]
在目标函数中，e
(v)
＝x
(v)-x
(v)z(v)
，z
(v)
为各视角的相似度矩阵，e
(v)
为各视角的自表达与真实数据的差距，‖
·
‖f为矩阵的f-范数，‖
·
‖
*
为张量的核范数，λ1为平衡系数。
[0021]
优选的，在步骤s30中，总的自表达矩阵的计算式为：
[0022][0023]
其中，是融合了各视角的自表达矩阵而得到总的自表达矩阵，初始化并在迭代中通过进行更新。
[0024]
优选的，在步骤s40中，不完整部分的计算式为：
[0025][0026]
其中，tr(
·
)表示矩阵的迹，l
nh
是根据构建的一种非均匀超图的超拉普拉斯矩阵，f(l
nh
)是l
nh
的函数，此处f(l
nh
)＝x
(v)
l
nh
x
(v)
′
。
[0027]
优选的，在步骤s50中，使各视角的相似度矩阵z
(v)
具有低秩的特性以逼近块对角结构的计算式为：
[0028][0029]
其中，和为对张量进行张量奇异值分解的产物，最终总的计算式为：
[0030][0031]
其中，λ1、λ2、λ3为平衡系数。
[0032]
本发明提供的多视角不完整图像的子空间聚类方法，包括以下步骤：准备形式为三维张量的数据，对于手写数字图像，可将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量，或对于医学图像，可多次扫描图像产生多个三维张量，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；获取各个视角的相似度矩阵；融合各个视角的自表达矩阵，得到总的自表达矩阵；填补不完整部分；使各视角的相似度矩阵具有低秩的特性以逼近块对角结构。通过数据准备、获取各视角的相似度矩阵、融合得到总的自表达矩阵、填补不完整数据、探索数据低秩结构的步骤，考虑了样本和视角的高阶相关性，使用张量奇异值分解、矩阵运算、超图、范数等数学工具，可以有效地恢复多视角不完整三维张量图像样本的缺失特征和不完整多视图数据的子空间结构，最终可实现对多视角不完整图像数据集的无监督的有效聚类。
附图说明
[0033]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1为一个实施例提供的多视角不完整图像的子空间聚类方法的流程图；
[0035]
图2为一个实施例提供的多视角不完整图像的子空间聚类方法的数据准备阶段示意图；
[0036]
图3为一个实施例提供的多视角不完整图像的子空间聚类方法的获取各视角的相似度矩阵的示意图；
[0037]
图4为一个实施例提供的多视角不完整图像的子空间聚类方法的融合得到总的自表达矩阵的示意图；
[0038]
图5为一个实施例提供的多视角不完整图像的子空间聚类方法的填补不完整数据的示意图；及
[0039]
图6为一个实施例提供的多视角不完整图像的子空间聚类方法的探索数据低秩结构的示意图。
具体实施方式
[0040]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
如在本技术中所使用的，术语“组件”、“模块”和“系统”等旨在表示计算机相关的
实体，它可以是硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件可以是但不限于是，在处理器上运行的进程、处理器、对象、可执行码、执行的线程、程序和/或计算机。作为说明，运行在服务器上的应用程序和服务器都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程中，并且组件可以位于一个计算机内和/或分布在两个或更多的计算机之间。
[0042]
在此所使用的术语“推断”或“推论”通常是指从经由事件和/或数据捕捉的一组观察结果中推断或推理系统、环境和/或用户的状态的过程。例如，推断可用于标识特定的上下文或动作，或可生成状态的概率分布。推断可以是概率性的，即，基于对数据和事件的考虑计算所关注状态的概率分布。推断也可以指用于从一组事件和/或数据合成更高级事件的技术。这类推断导致从一组观察到的事件和/或储存的事件数据中构造新的事件或动作，而无论事件是否在相邻时间上相关，也无论事件和数据是来自一个还是若干个事件和数据源。
[0043]
如图1-图6所示，本发明提供一种多视角不完整图像的子空间聚类方法，包括以下步骤：
[0044]
步骤s10，准备形式为三维张量的数据，对于手写数字图像，可将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量，或对于医学图像，可多次扫描图像产生多个三维张量，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；
[0045]
步骤s20，获取各个视角的相似度矩阵；
[0046]
步骤s30，融合各个视角的自表达矩阵，得到总的自表达矩阵；
[0047]
步骤s40，填补不完整部分；
[0048]
步骤s50，使各视角的相似度矩阵具有低秩的特性以逼近块对角结构。
[0049]
具体地，在步骤s10中，一个手写数字图像通常是一个二维矩阵，为实施方法的后续步骤，将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量，“源”的数量即为视角的数量，而一个医学图像通常是一个三维张量，n次扫描就会产生n个三维张量，n即样本量，为实施方法的后续步骤，需将所有三维张量统一大小，并以相同方式进行切片来产生多视角的数据。本方法获得切片的角度是医学中常用的横断位(作为第一视角)、冠状位(作为第二视角)、矢状位(作为第三视角)。再提取每个切片的d个特征，但最简单地也可直接将各切片图像重塑为一条列向量。于是得到数据也可直接将各切片图像重塑为一条列向量。于是得到数据其中dv和nv分别为各视角的特征数和样本量，于是对于不完善的三个视角的数据显然有d≥max或如图2所示，展示了两个不完整的样本，两个不完整的样本分别在视角一&视角二、视角三缺失数据。
[0050]
进一步地，第v个视角(v＝1,2,3)的数据由完整(complete，不缺失特征)和不完整(incomplete)的两部分组成，即(incomplete)的两部分组成，即换一种形式可表示为
其中和均为置换矩阵，矩阵仅含0元素和1元素，1元素在和中分别为完整和不完整的样本的索引。这里需要注意的是，此时还未对缺失数据进行修补，所以的存在相当于是最初始的“无中生有”，此处采取对所有样本取特征平均值的方式。
[0051]
在步骤s20中，获取各视角的相似度矩阵，即为总体流程中的z
(v)
的子问题。此处待解决的优化问题是：
[0052][0053][0054]
在目标函数中，e
(v)
＝x
(v)-x
(v)z(v)
，z
(v)
为各视角的相似度矩阵，e
(v)
则为各视角的自表达与真实数据的差距，‖
·
‖f为矩阵的frobenius范数(f-范数)，相当于多个二维张量(矩阵)沿着第三个维度堆叠成一个三维张量，反之‖
·
‖
*
为张量的核范数，λ1为平衡系数。
[0055]
在约束条件中，diag(z
(v)
)＝0要求对角线上的元素不为0，即避免出现奇异解；要求矩阵z
(v)
中的所有元素非负，即不允许两个样本间表达负相关；z
(v)
＝z
(v)
′
要求矩阵z
(v)
对称。
[0056]
在步骤s30中，融合各视角的自表达矩阵，得到总的自表达矩阵，即为总体流程中的的子问题。此处待解决的优化问题是：
[0057][0058]
其中，是融合了各视角的自表达矩阵而得到总的自表达矩阵，初始化并在迭代中通过进行更新。
[0059]
在步骤s40中，填补数据不完整的部分，也就是此为总体流程中的x
(v)
的子问题。此处待解决的优化问题是：
[0060][0061]
其中，tr(
·
)表示矩阵的迹，l
nh
是根据构建的一种非均匀超图的超拉普拉斯矩阵，f(l
nh
)是l
nh
的函数，此处f(l
nh
)＝x
(v)
l
nh
x
(v)
′
。
[0062]
在步骤s50中，使z
(v)
具有低秩的特性以逼近块对角结构，此为总体流程中的和的子问题。此处待解决的优化问题是：
[0063][0064]
此优化问题形似前文求解相似度矩阵，但用途不同，和实为对张量进行张量奇异值分解的产物，分解是对张量的秩进行限制的替代方案，以此来节约计算资源，同时把握相似度矩阵的块对角结构。
[0065]
于是总的优化问题如下：
[0066][0067]
其中，λ1、λ2、λ3为平衡系数，可人为设定，在某些图像数据集中可设定为分别在{0.01,0.1,0.5,1,2,5,10}中枚举，选取效果最佳的组合。
[0068]
本发明提供的多视角不完整图像的子空间聚类方法，包括以下步骤：准备形式为三维张量的数据，对于手写数字图像，可将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量，或对于医学图像，可多次扫描图像产生多个三维张量，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；获取各个视角的相似度矩阵；融合各个视角的自表达矩阵，得到总的自表达矩阵；填补不完整部分；使各视角的相似度矩阵具有低秩的特性以逼近块对角结构。通过数据准备、获取各视角的相似度矩阵、融合得到总的自表达矩阵、填补不完整数据、探索数据低秩结构的步骤，考虑了样本和视角的高阶相关性，使用张量奇异值分解、矩阵运算、超图、范数等数学工具，可以有效地恢复多视角不完整三维张量图像样本的缺失特征和不完整多视图数据的子空间结构，最终可实现对多视角不完整图像数据集的无监督的有效聚类。
[0069]
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种多视角不完整图像的子空间聚类方法，其特征在于，包括以下步骤：步骤s10，准备形式为三维张量的数据，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；步骤s30，融合所述各个视角的自表达矩阵，得到总的自表达矩阵；步骤s40，填补所述不完整部分；步骤s50，使各视角的相似度矩阵具有低秩的特性并逼近块对角结构。2.根据权利要求1所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s10中，对于手写数字图像，将多源的数据矩阵统一样本量和特征数，并沿着第三维度堆叠为三维张量；对于医学图像，多次扫描图像产生多个三维张量。3.根据权利要求1所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s10中，所述切片产生的多个视角包括第一视角、第二视角和第三视角，提取每个所述切片的d个特征，得到数据其中d
v
和n
v
分别为各视角的特征数和样本量。4.根据权利要求3所述的多视角不完整图像的子空间聚类方法，其特征在于，所述第一视角为横断位视角，所述第二视角为冠状位视角，所述第三视角为矢状位视角。5.根据权利要求3所述的多视角不完整图像的子空间聚类方法，其特征在于，第v个视角(v＝1,2,3)的数据表示为角(v＝1,2,3)的数据表示为其中和均为置换矩阵，矩阵仅含0元素和1元素，1元素在和中分别为完整样本索引和不完整样本索引。6.根据权利要求5所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s20中，所述获取各视角的相似度矩阵的计算式为：s20中，所述获取各视角的相似度矩阵的计算式为：在目标函数中，e
(v)
＝x
(v)-x
(v)
z
(v)
，z
(v)
为各视角的相似度矩阵，e
(v)
为各视角的自表达与真实数据的差距，‖
·
‖
f
为矩阵的f-范数，‖
·
‖
*
为张量的核范数，λ1为平衡系数。7.根据权利要求6所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s30中，所述总的自表达矩阵的计算式为：其中，是融合了各视角的自表达矩阵而得到总的自表达矩阵，初始化
并在迭代中通过进行更新。8.根据权利要求7所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s40中，所述不完整部分的计算式为：其中，tr(
·
)表示矩阵的迹，l
nh
是根据构建的一种非均匀超图的超拉普拉斯矩阵，f(l
nh
)是l
nh
的函数，此处f(l
nh
)＝x
(v)
l
nh
x
(v)
′
。9.根据权利要求8所述的多视角不完整图像的子空间聚类方法，其特征在于，在步骤s50中，使各视角的相似度矩阵z
(v)
具有低秩的特性以逼近块对角结构的计算式为：其中，和为对张量进行张量奇异值分解的产物，最终总的计算式为：其中，λ1、λ2、λ3为平衡系数。

技术总结
本发明提供的多视角不完整图像的子空间聚类方法，包括以下步骤：准备形式为三维张量的数据，将多个三维张量统一大小，并以相同方式进行切片以产生多个视角的数据，其中一个视角的数据由完整部分和不完整部分组成；获取各个视角的相似度矩阵；融合各个视角的自表达矩阵，得到总的自表达矩阵；填补不完整部分；使各视角的相似度矩阵具有低秩的特性并逼近块对角结构。本方法可以有效地恢复多视角不完整三维张量图像样本的缺失特征和不完整多视图数据的子空间结构，最终可实现对视角不完整图像数据集的无监督的有效聚类。数据集的无监督的有效聚类。数据集的无监督的有效聚类。


技术研发人员：朱跃生 詹家鳍语 翁振宇
受保护的技术使用者：北京大学深圳研究生院
技术研发日：2023.05.24
技术公布日：2023/8/2