一种基于扩散模型校正鱼眼图像的行人再辨识方法及系统

1.本发明涉及图像处理领域，特别涉及一种基于扩散模型校正鱼眼图像的行人再辨识方法及系统。


背景技术：

2.行人再辨识是利用多个视角不重叠的常规摄像机对不同行人进行检索判断，从而进行匹配识别的技术手段，广泛应用于智能安防，刑事侦查等方面。常规摄像头的视角较小，需要安装多个摄像头以实现广视角、全方位监控。采用鱼眼镜头监控可覆盖多个常规摄像头的视角，有利于实现在大范围公共空间的行人再辨识。但是，鱼眼镜头会带来的强烈失真和图像畸变，不利于行人再辨识的准确性和研判时的视觉观察。因此，对鱼眼行人图像进行校正，从而提高鱼眼图像下行人再辨识的准确性和研判视觉舒适性，是鱼眼行人图像再辨识关键问题。


技术实现要素：

3.针对现有技术的问题，本发明的目的在于提供一种基于扩散模型校正鱼眼图像的行人再辨识方法及系统，能够解决鱼眼镜头下行人图像畸变失真，难以匹配的问题，提高鱼眼图像行人再辨识的准确性和研判观察的视觉舒适性。
4.本发明采用如下技术方案：
5.一方面，一种基于扩散模型校正鱼眼图像的行人再辨识方法，包括：
6.校正步骤，基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；
7.模型训练步骤，构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；
8.再辨识图像获取步骤，将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。
9.优选的，所述扩散模型为预训练的潜在扩散模型ldm。
10.优选的，所述校正步骤，具体包括：
11.扩散过程：由编码器encoder将常规行人图像v编码获得潜在向量z0＝encoder(v)，并依次增加高斯噪声∈1,
…
,∈
t
,
…
,∈
t
，获得潜在向量z1,
…zt
,
…
,z
t
；高斯噪声∈
t
由归一化的潜在向量z
t-1
经过随机采样获得，具体表示如下公式(1)：
12.∈
t
＝sample(norm(z
t-1
)),t＝1,2,3...,t
ꢀꢀꢀꢀꢀꢀꢀ
(1)
13.其中，sample表示随机采样操作，norm表示归一化操作；
14.增加高斯噪声的过程表示为如下公式(2)：
15.16.其中，α
t
表示噪声权重；
17.反扩散过程：构造去噪模块∈
θ
，将潜在向量z
t
作为输入，将鱼眼行人图像作为条件信息预测z
t
相对于z0加入的噪声，从而获得z
t-1
的条件概率分布，表示如下公式(3)：
[0018][0019]
其中，表示由潜在向量z0加入噪声生成z
t
的噪声权重；
[0020]
经过迭代训练至损失函数达到收敛，使去噪模块∈
θ
的预测噪声接近高斯噪声∈，从而模拟扩散过程中增加噪声的逆过程，获得鱼眼行人图像校正网络；
[0021]
校正过程：使用反扩散过程中训练获得的鱼眼行人图像校正网络，将鱼眼行人图像作为输入，获得校正行人图像。
[0022]
优选的，所述模型训练步骤，具体包括：
[0023]
构造一个双分支深度学习网络net，其第一分支net1用于鱼眼行人图像特征学习，第二分支net2用于校正行人图像特征学习；
[0024]
选取鱼眼行人图像训练集x，及对应的由鱼眼行人图像校正网络获得的校正行人图像训练集y，对双分支深度学习网络net进行迭代训练，直至损失函数达到收敛，获得训练好的行人再辨识模型，其损失函数表示为公式(4)：
[0025][0026]
其中，x表示鱼眼行人图像训练集；y表示校正行人图像训练集；表示由鱼眼行人图像到校正行人图像的行人再辨识损失函数；表示校正行人图像到鱼眼行人图像的行人再辨识损失函数；表示鱼眼行人图像到鱼眼行人图像的行人再辨识损失函数；表示校正行人图像到校正行人图像的行人再辨识损失函数。
[0027]
优选的，行人再辨识损失函数表示如下：
[0028][0029][0030][0031][0032]
其中，dist表示计算距离；xa表示鱼眼行人图像特征的锚点样本；xn表示鱼眼行人图像特征的正样本；x
p
表示鱼眼行人图像特征的负样本；ya表示校正行人图像特征的锚点样本；yn表示校正行人图像特征的正样本；y
p
表示校正行人图像特征的负样本；ρ＞0表示手动设定的间隔常数。
[0033]
优选的，所述再辨识图像获取步骤，具体包括：
[0034]
使用鱼眼行人图像校正网络获取注册鱼眼行人图像对应的注册校正行人图像测试集；
[0035]
使用第一分支net1提取查询鱼眼行人图像特征f
qx
和注册鱼眼行人图像特征
使用第二分支net2提取注册校正行人图像特征k表示注册鱼眼行人图像集的数量；
[0036]
依次计算查询鱼眼行人图像特征f
qx
和每一个注册校正行人图像特征的距离计算查询鱼眼行人图像特征f
qx
和每一个注册鱼眼行人图像特征的距离
[0037]
将特征距离d
x
→y由小到大进行排序，获得距离排序列表list
x
→y，选取列表的前m个距离所对应的注册校正行人图像；将特征距离d
x
→
x
由小到大进行排序，获得距离排序列表list
x
→
x
，选取列表的前m个距离所对应的注册鱼眼行人图像；将选取的注册校正行人图像和注册鱼眼行人图像输出再辨识结果；其中，m≤k。
[0038]
另一方面，一种基于扩散模型校正鱼眼图像的行人再辨识系统，包括：
[0039]
校正模块，用于基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；
[0040]
模型训练模块，用于构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；
[0041]
再辨识图像选取模块，用于将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。
[0042]
与现有技术相比，本发明的有益效果如下：
[0043]
1、本发明能够解决鱼眼镜头下行人图像畸变失真，难以匹配的问题，提高鱼眼图像行人再辨识的准确性和研判观察的视觉舒适性，具体的，首先通过鱼眼行人图像校正网络进行鱼眼行人图像去畸变；然后构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，以充分使用行人图像信息提升再辨识精度；最后使用行人再辨识模型，对查询图像和注册图像进行特征提取，分别选取与查询图像特征距离近的注册图像；
[0044]
2、本发明能够将每张鱼眼行人图像对应的校正行人图像作为再辨识结果，便于用户观察。
[0045]
3、本发明可以应用于智慧城市、平安城市、智慧交通中的智能视频监控系统，具有广泛的应用价值。
附图说明
[0046]
图1为本发明实施例的基于扩散模型校正鱼眼图像的行人再辨识方法的流程图；
[0047]
图2为本发明实施例的鱼眼图像校正网络示意图；
[0048]
图3为本发明实施例的模型训练步骤示意图；
[0049]
图4为本发明实施例的再辨识图像获取步骤示意图；
[0050]
图5为本发明实施例的基于扩散模型校正鱼眼图像的行人再辨识系统的结构框
图。
具体实施方式
[0051]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0052]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
[0053]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0055]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0056]
参见图1所示，本实施例一种基于扩散模型校正鱼眼图像的行人再辨识方法，包括如下步骤：
[0057]
校正步骤1，基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；
[0058]
模型训练步骤2，构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；
[0059]
再辨识图像获取步骤3，将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。
[0060]
本发明基于扩散模型校正鱼眼图像，能够同时返回鱼眼图像和校正图像作为鱼眼图像行人再辨识结果，便于人眼视觉观察。
[0061]
本实施例中，步骤1校正步骤中所述扩散模型为预训练的潜在扩散模型(latent diffusion models,ldm)。本实施例中，参见图2所示，使用预先采集的鱼眼行人图像和对应的常规行人图像(由常规摄像头拍得)微调预训练的ldm以构造鱼眼图像校正网络。其微调包括扩散过程、反扩散过程和校正过程，具体如下：
[0062]
步骤(1.1)扩散过程：由编码器encoder将常规行人图像v编码获得潜在向量z0＝
encoder(v)，并依次增加高斯噪声∈1,
…
,∈
t
,
…
,∈
t
获得潜在向量z1,
…zt
,
…
,z
t
。高斯噪声∈
t
由归一化的潜在向量z
t-1
经过随机采样获得，具体表示为：
[0063]
∈
t
＝sample(norm(z
t-1
)).
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0064]
增加高斯噪声的过程表示为：
[0065][0066]
其中，α
t
表示噪声权重。则由潜在向量z0加噪声到潜在向量z
t
的过程表示为：
[0067][0068]
其中，表示由潜在向量z0加入噪声生成z
t
的噪声权重，即
[0069][0070]
步骤(1.2)反扩散过程：构造去噪模块∈
θ
，将潜在向量z
t
作为输入，将鱼眼图像作为条件信息，来预测z
t
相对于z0加入的噪声，从而获得z
t-1
的条件概率分布，表示为：
[0071][0072]
从而由条件概率分布经随机采样还原潜在向量z
t-1
。经过迭代训练至损失函数达到收敛，使去噪模块∈
θ
的预测噪声接近高斯噪声∈，从而模拟步骤(1.1)扩散过程中增加噪声的逆过程，获得鱼眼图像校正网络。其中，在本实施例中，其损失函数表示为：
[0073][0074]
其中，x表示鱼眼行人图像，此处作为条件信息；encoder
θ
表示条件信息编码器。
[0075]
步骤(1.3)校正过程：使用反扩散过程中训练获得的鱼眼行人图像校正网络，将鱼眼行人图像作为输入，获得校正行人图像，用于步骤(2)训练步骤。
[0076]
在本实施例中，模型训练步骤，具体包括：
[0077]
步骤(2.1)：为避免校正步骤丢失部分图像信息，本实施例中，使用深度网络(如vggnet、resnet、densenet等)构造一个双分支深度学习网络net，参见图3所示，其第一分支net1用于学习鱼眼行人图像特征，第二分支net2用于学习校正行人图像特征。在本实施例中，net1和net2独立浅层网络参数并共享深层网络参数，避免校正行人图像的信息损失并学习具有一致性的高级语义特征。
[0078]
步骤(2.2)：使用鱼眼行人图像训练集x和由步骤(1.3)中获得的校正行人图像训练集y，将步骤(2.1)中所构建的双分支深度学习网络net迭代训练至损失函数达到收敛，得到基于扩散模型校正鱼眼图像行人再辨识模型。其中，鱼眼图像行人再辨识损失函数表示为，
[0079][0080]
其中，x表示鱼眼行人图像域；y表示校正行人图像域；和分别表示由鱼眼行人图像到校正行人图像的行人再辨识损失函数、校正行人图像到鱼眼行人图像的行人再辨识损失函数、鱼眼行人图像到鱼眼行人图像的行人再辨识损失函数，以及校正行人图像到校正行人图像的行人再辨识
损失函数。在本实施例中，行人再辨识损失函数计算如下，
[0081][0082][0083][0084][0085]
其中，dist表示计算距离；x和y分别表示鱼眼行人图像特征和校正行人图像特征；a、p和n分别表示锚点样本、正样本和负样本；ρ＞0表示手动设定的间隔常数，本实施例中将其设置为1。
[0086]
在本实施例中，参见图3所示，再辨识图像获取步骤，具体包括：
[0087]
步骤(3.1)：使用鱼眼行人图像校正网络获取注册鱼眼行人图像对应的注册校正行人图像测试集；
[0088]
步骤(3.2)：使用net1提取查询鱼眼行人图像特征f
qx
和注册鱼眼行人图像特征使用net2提取注册校正行人图像特征k表示注册鱼眼行人图像集的数量。
[0089]
步骤(3.3)：依次计算查询鱼眼行人图像特征f
qx
和每一个注册校正行人图像特征的距离以及和每一个注册鱼眼行人图像特征的距离
[0090]
步骤(3.4)：将特征距离分别由小到大进行排序，分别获得距离排序列表list
x
→y和list
x
→
x
，分别选取列表的前m(m≤k)个距离所对应的注册校正行人图像和注册鱼眼行人图像，即为基于扩散模型校正鱼眼图像的行人再辨识结果。
[0091]
参见图5所示，本实施例还公开了一种基于扩散模型校正鱼眼图像的行人再辨识系统，包括：
[0092]
校正模块501，用于基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；
[0093]
模型训练模块502，用于构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；
[0094]
再辨识图像选取模块503，用于将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。
[0095]
一种基于扩散模型校正鱼眼图像的行人再辨识系统的具体实现同一种基于扩散模型校正鱼眼图像的行人再辨识方法，本实施例不再重复说明。
[0096]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。
[0097]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神范围。

技术特征：
1.一种基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，包括：校正步骤，基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；模型训练步骤，构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；再辨识图像获取步骤，将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。2.根据权利要求1所述的基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，所述扩散模型为预训练的潜在扩散模型ldm。3.根据权利要求1所述的基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，所述校正步骤，具体包括：扩散过程：由编码器encoder将常规行人图像v编码获得潜在向量z0＝encoder(v)，并依次增加高斯噪声∈1,
…
,∈
t
,
…
,∈
t
，获得潜在向量z1,
…
z
t
,
…
,z
t
；高斯噪声∈
t
由归一化的潜在向量z
t-1
经过随机采样获得，具体表示如下公式(1)：∈
t
＝sample(norm(z
t-1
)),t＝1,2,3...,t
ꢀꢀꢀꢀꢀ
(1)其中，sample表示随机采样操作，norm表示归一化操作；增加高斯噪声的过程表示为如下公式(2)：其中，α
t
表示噪声权重；反扩散过程：构造去噪模块∈
θ
，将潜在向量z
t
作为输入，将鱼眼行人图像作为条件信息预测z
t
相对于z0加入的噪声，从而获得z
t-1
的条件概率分布，表示如下公式(3)：其中，表示由潜在向量z0加入噪声生成z
t
的噪声权重；经过迭代训练至损失函数达到收敛，使去噪模块∈
θ
的预测噪声接近高斯噪声∈，从而模拟扩散过程中增加噪声的逆过程，获得鱼眼行人图像校正网络；校正过程：使用反扩散过程中训练获得的鱼眼行人图像校正网络，将鱼眼行人图像作为输入，获得校正行人图像。4.根据权利要求1所述的基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，所述模型训练步骤，具体包括：构造一个双分支深度学习网络net，其第一分支net1用于鱼眼行人图像特征学习，第二分支net2用于校正行人图像特征学习；选取鱼眼行人图像训练集x，及对应的由鱼眼行人图像校正网络获得的校正行人图像训练集y，对双分支深度学习网络net进行迭代训练，直至损失函数达到收敛，获得训练好的行人再辨识模型，其损失函数表示为公式(4)：
其中，x表示鱼眼行人图像训练集；y表示校正行人图像训练集；表示由鱼眼行人图像到校正行人图像的行人再辨识损失函数；表示校正行人图像到鱼眼行人图像的行人再辨识损失函数；表示鱼眼行人图像到鱼眼行人图像的行人再辨识损失函数；表示校正行人图像到校正行人图像的行人再辨识损失函数。5.根据权利要求4所述的基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，行人再辨识损失函数表示如下：行人再辨识损失函数表示如下：行人再辨识损失函数表示如下：行人再辨识损失函数表示如下：其中，dist表示计算距离；x
a
表示鱼眼行人图像特征的锚点样本；x
n
表示鱼眼行人图像特征的正样本；x
p
表示鱼眼行人图像特征的负样本；y
a
表示校正行人图像特征的锚点样本；y
n
表示校正行人图像特征的正样本；y
p
表示校正行人图像特征的负样本；ρ＞0表示手动设定的间隔常数。6.根据权利要求4所述的基于扩散模型校正鱼眼图像的行人再辨识方法，其特征在于，所述再辨识图像获取步骤，具体包括：使用鱼眼行人图像校正网络获取注册鱼眼行人图像对应的注册校正行人图像测试集；使用第一分支net1提取查询鱼眼行人图像特征和注册鱼眼行人图像特征使用第二分支net2提取注册校正行人图像特征k表示注册鱼眼行人图像集的数量；依次计算查询鱼眼行人图像特征和每一个注册校正行人图像特征的距离计算查询鱼眼行人图像特征和每一个注册鱼眼行人图像特征的距离将特征距离d
x
→
y
由小到大进行排序，获得距离排序列表list
x
→
y
，选取列表的前m个距离所对应的注册校正行人图像；将特征距离d
x
→
x
由小到大进行排序，获得距离排序列表list
x
→
x
，选取列表的前m个距离所对应的注册鱼眼行人图像；将选取的注册校正行人图像和注册鱼眼行人图像输出再辨识结果；其中，m≤k。7.一种基于扩散模型校正鱼眼图像的行人再辨识系统，其特征在于，包括：校正模块，用于基于常规行人图像和鱼眼行人图像构造基于扩散模型的鱼眼行人图像校正网络，以对输入的鱼眼行人图像进行校正，获得校正行人图像；模型训练模块，用于构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，获得训练好的行人再辨识模型；再辨识图像选取模块，用于将注册鱼眼行人图像输入鱼眼行人图像校正网络获得注册
校正行人图像；使用训练好的行人再辨识模型，对查询行人图像、注册鱼眼行人图像和注册校正行人图像进行特征提取，选取与查询行人图像特征距离最近的预设个注册鱼眼行人图像及选取与查询行人图像特征距离最近的预设个注册校正行人图像作为行人再辨识结果。

技术总结
本发明公开了一种基于扩散模型校正鱼眼图像的行人再辨识方法及系统，方法包括：校正步骤，构造一个基于扩散模型的鱼眼行人图像校正网络用于鱼眼行人图像去畸变；模型训练步骤，构造一个双分支深度学习网络，联合使用校正行人图像和鱼眼行人图像训练行人再辨识模型，充分使用行人图像信息提升再辨识精度；再辨识图像获取步骤，使用获取的行人再辨识模型，对查询图像和注册图像进行特征提取，分别选取与查询图像特征距离近的注册图像。本发明能够解决鱼眼镜头下行人图像畸变失真，难以匹配的问题，提高鱼眼图像行人再辨识的准确性和研判观察的视觉舒适性。研判观察的视觉舒适性。研判观察的视觉舒适性。


技术研发人员：陈宇涛 吴含笑 黄麟涵 潘文杰 许恒 赵倩倩 朱建清 曾焕强
受保护的技术使用者：华侨大学
技术研发日：2023.06.14
技术公布日：2023/9/6