基于服装迁移的模型训练方法、装置、电子设备及介质

1.本技术涉及步态识别技术领域，尤其是涉及一种基于服装迁移的模型训练方法、装置、电子设备及介质。


背景技术：

2.步态识别是通过识别行人的行走方式，确定行人身份的一种身份识别方式。目前，在采集用于训练步态识别模型的训练数据过程中，可以通过摄像头采集各个样本行人的步态序列。在实际采集的过程中，有些样本行人可能通过换装的方式，分别采集该样本行人身穿每套服装时该样本行人的步态序列。而有些样本行人可能只有一套服装，因此只能采集该样本行人身穿一套服装时该样本行人的步态序列。这就会造成训练数据中各个样本行人的服装不均衡的问题，从而会影响步态识别模型的步态识别精度。并且，若在实际采集的过程中，让每个样本行人均进行换装，则会导致训练样本的成本较大。


技术实现要素：

3.有鉴于此，本技术的目的在于提供一种基于服装迁移的模型训练方法、装置、电子设备及介质，以缓解训练数据中服装不均衡的问题，从而提高步态识别模型的步态识别精度。
4.第一方面，本技术实施例提供了一种基于服装迁移的模型训练方法，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列；所述方法包括：
5.针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，生成该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；所述第一样本步态特征是根据所述第一样本步态序列得到的；
6.在确定出每个所述样本步态特征集合的平均样本步态特征后，针对每个所述第一类样本行人，计算该第一类样本行人对应的任意两个所述平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征；
7.针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；所述第二样本步态特征是根据所述第二样本步态序列得到的；
8.使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型。
9.结合第一方面，本技术实施例提供了第一方面的第一种可能的实施方式，其中，所述针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合之前，所述方法还包括：
10.将所述原始训练集中包含的各个所述第一样本步态序列和所述第二样本步态序列输入至所述步态识别模型中，通过所述步态识别模型提取各个所述第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。
11.结合第一方面，本技术实施例提供了第一方面的第二种可能的实施方式，其中，所述针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征，包括：
12.通过以下公式生成第二类样本行人对应的第三样本步态特征：
[0013][0014]
其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特征，是第二类样本行人的第三样本步态特征。
[0015]
结合第一方面，本技术实施例提供了第一方面的第三种可能的实施方式，其中，所述原始训练集中还包括各个所述第一类样本行人的第一身份标签和各个所述第二类样本行人的第二身份标签；所述使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型，包括：
[0016]
将各个所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征输入至所述步态识别模型中，通过所述步态识别模型提取出各个所述第一样本步态特征的第四样本步态特征、各个所述第二样本步态特征的第五样本步态特征、各个所述第三样本步态特征的第六样本步态特征；所述第四样本步态特征的样本行人身份区分度高于所述第一样本步态特征，所述第五样本步态特征的样本行人身份区分度高于所述第二样本步态特征，所述第六样本步态特征的样本行人身份区分度高于所述第三样本步态特征；
[0017]
根据所述第一样本步态特征与所述第一类样本行人之间的对应关系以及所述第一样本步态特征与所述第四样本步态特征之间的对应关系，确定每个所述第四样本步态特征对应的所述第一身份标签；
[0018]
根据所述第二样本步态特征与所述第二类样本行人之间的对应关系以及所述第二样本步态特征与所述第五样本步态特征之间的对应关系，确定每个所述第五样本步态特征对应的所述第二身份标签；
[0019]
根据所述第二样本步态特征与所述第三样本步态特征之间的对应关系以及所述第三样本步态特征与所述第六样本步态特征之间的对应关系，确定每个所述第六样本步态特征对应的所述第二身份标签；
[0020]
使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型。
[0021]
结合第一方面的第三种可能的实施方式，本技术实施例提供了第一方面的第四种
可能的实施方式，其中，所述使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型，包括：
[0022]
将各个所述第四样本步态特征、所述第五样本步态特征和所述第六样本步态特征输入至所述步态识别模型中，通过所述步态识别模型识别各个所述第四样本步态特征的第一身份识别结果、所述第五样本步态特征的第二身份识别结果和所述第六样本步态特征的第三身份识别结果；
[0023]
根据所述第一身份识别结果及其对应的所述第一身份标签、所述第二身份识别结果及其对应的所述第二身份标签、所述第三身份识别结果及其对应的所述第二身份标签，计算所述步态识别模型的损失值；
[0024]
判断所述损失值是否满足模型训练截止条件；当所述损失值满足模型训练截止条件时，停止训练，将当前的所述步态识别模型作为训练完成后的目标步态识别模型；当所述损失值未满足模型训练截止条件时，使用所述损失值训练所述步态识别模型中的可学习参数，以及重新执行步骤针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合。
[0025]
第二方面，本技术实施例还提供一种基于服装迁移的模型训练装置，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列；所述装置包括：
[0026]
聚类模块，用于针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；所述第一样本步态特征是根据所述第一样本步态序列得到的；
[0027]
计算模块，用于在确定出每个所述样本步态特征集合的平均样本步态特征后，针对每个所述第一类样本行人，计算该第一类样本行人对应的任意两个所述平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征；
[0028]
生成模块，用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；所述第二样本步态特征是根据所述第二样本步态序列得到的；
[0029]
训练模块，用于使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型。
[0030]
结合第二方面，本技术实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括：
[0031]
提取模块，用于将所述原始训练集中包含的各个所述第一样本步态序列和所述第二样本步态序列输入至所述步态识别模型中，通过所述步态识别模型提取各个所述第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。
[0032]
结合第二方面，本技术实施例提供了第二方面的第二种可能的实施方式，其中，所
述生成模块在用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征时，具体用于：
[0033]
通过以下公式生成第二类样本行人对应的第三样本步态特征：
[0034][0035]
其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特征，是第二类样本行人的第三样本步态特征。
[0036]
结合第二方面，本技术实施例提供了第二方面的第三种可能的实施方式，其中，所述原始训练集中还包括各个所述第一类样本行人的第一身份标签和各个所述第二类样本行人的第二身份标签；所述训练模块在用于使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型时，具体用于：
[0037]
将各个所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征输入至所述步态识别模型中，通过所述步态识别模型提取出各个所述第一样本步态特征的第四样本步态特征、各个所述第二样本步态特征的第五样本步态特征、各个所述第三样本步态特征的第六样本步态特征；所述第四样本步态特征的样本行人身份区分度高于所述第一样本步态特征，所述第五样本步态特征的样本行人身份区分度高于所述第二样本步态特征，所述第六样本步态特征的样本行人身份区分度高于所述第三样本步态特征；
[0038]
根据所述第一样本步态特征与所述第一类样本行人之间的对应关系以及所述第一样本步态特征与所述第四样本步态特征之间的对应关系，确定每个所述第四样本步态特征对应的所述第一身份标签；
[0039]
根据所述第二样本步态特征与所述第二类样本行人之间的对应关系以及所述第二样本步态特征与所述第五样本步态特征之间的对应关系，确定每个所述第五样本步态特征对应的所述第二身份标签；
[0040]
根据所述第二样本步态特征与所述第三样本步态特征之间的对应关系以及所述第三样本步态特征与所述第六样本步态特征之间的对应关系，确定每个所述第六样本步态特征对应的所述第二身份标签；
[0041]
使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型。
[0042]
结合第二方面的第三种可能的实施方式，本技术实施例提供了第二方面的第四种可能的实施方式，其中，所述训练模块在用于使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型时，具体用于：
[0043]
将各个所述第四样本步态特征、所述第五样本步态特征和所述第六样本步态特征
输入至所述步态识别模型中，通过所述步态识别模型识别各个所述第四样本步态特征的第一身份识别结果、所述第五样本步态特征的第二身份识别结果和所述第六样本步态特征的第三身份识别结果；
[0044]
根据所述第一身份识别结果及其对应的所述第一身份标签、所述第二身份识别结果及其对应的所述第二身份标签、所述第三身份识别结果及其对应的所述第二身份标签，计算所述步态识别模型的损失值；
[0045]
判断所述损失值是否满足模型训练截止条件；当所述损失值满足模型训练截止条件时，停止训练，将当前的所述步态识别模型作为训练完成后的目标步态识别模型；当所述损失值未满足模型训练截止条件时，使用所述损失值训练所述步态识别模型中的可学习参数，以及重新执行步骤针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合。
[0046]
第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可能的实施方式中的步骤。
[0047]
第四方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面中任一种可能的实施方式中的步骤。
[0048]
本技术实施例提供的一种基于服装迁移的模型训练方法、装置、电子设备及介质，其中，在原始训练集的基础上，为服装变化较少的第二类样本行人新生成了增加服装变化特征的第三样本步态特征，以丰富第二类样本行人的服装变化，平衡训练数据中第一类样本行人和第二类样本行人服装不均衡的问题。通过使用原始训练集中的第一样本步态特征和第二样本步态特征外，还使用了为服装变化较少的第二类样本行人新生成的第三样本步态特征训练步态识别精度，有利于提高步态识别模型的步态识别精度。
[0049]
为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0050]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0051]
图1示出了本技术实施例所提供的一种基于服装迁移的模型训练方法的流程图；
[0052]
图2示出了本技术实施例所提供的第一类样本行人、第一样本步态序列、第一样本步态特征以及样本步态特征集合之间的对应关系的示意图；
[0053]
图3示出了本技术实施例所提供的一种基于服装迁移的模型训练装置的结构示意图；
[0054]
图4示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
[0055]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0056]
考虑到原始训练集中存在各个样本行人的服装不均衡的问题。基于此，本技术实施例提供了一种基于服装迁移的模型训练方法、装置、电子设备及介质，以缓解原始训练集中服装不均衡的问题，从而提高步态识别模型的步态识别精度，下面通过实施例进行描述。
[0057]
实施例一：
[0058]
为便于对本实施例进行理解，首先对本技术实施例所公开的一种基于服装迁移的模型训练方法进行详细介绍。其中，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列。图1示出了本技术实施例所提供的一种基于服装迁移的模型训练方法的流程图，如图1所示，包括以下步骤：
[0059]
s101：针对每个第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，生成该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；第一样本步态特征是根据第一样本步态序列得到的。
[0060]
该实施例中，原始训练集中包含多个第一类样本行人对应的多个第一样本步态序列，以及多个第二类样本行人对应的多个第二样本步态序列。
[0061]
在生成原始训练集的过程中，每个第一类样本行人通过换装的方式，在身穿每一套服装时，分别采集该第一类样本行人在身穿该套服装时的至少一个(或多个)第一样本步态序列，以得到该第一类样本行人在身穿每一套服装时各自对应的多个第一样本步态序列。每个第一类样本行人对应多套不同的服装。
[0062]
图2示出了本技术实施例所提供的第一类样本行人、第一样本步态序列、第一样本步态特征以及样本步态特征集合之间的对应关系的示意图，如图2所示，每个第一类样本行人对应多个样本步态特征集合，每个第一类样本行人对应的样本步态特征集合的数量与该第一类样本行人对应的服装的数量相同。每个样本步态特征集合中包含多个第一样本步态特征，同一样本步态特征集合中包含的各个第一样本步态特征为同一第一类样本行人身穿同一套服装时的第一样本步态特征。
[0063]
在生成原始训练集的过程中，每个第二类样本行人仅对应一套服装，在身穿该套服装时，可以采集该第二类样本行人在身穿该套服装时的至少一个(或多个)第二样本步态序列。
[0064]
在一种可能的实施方式中，在执行步骤s101之前，还可以：将原始训练集中包含的各个第一样本步态序列和第二样本步态序列输入至步态识别模型中，通过步态识别模型提取各个第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。
[0065]
该实施例中，每个第一样本步态序列对应一个第一样本步态特征，每个第二样本步态序列对应一个第二样本步态特征。
[0066]
s102：在确定出每个样本步态特征集合的平均样本步态特征后，针对每个第一类样本行人，计算该第一类样本行人对应的任意两个平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征。
[0067]
该实施例中，针对每个样本步态特征集合，根据该样本步态特征集合中包含的各个第一样本步态特征，计算出同一样本步态特征集合中包含的各个第一样本步态特征的平均特征，得到该样本步态特征集合的平均样本步态特征。每个样本步态特征集合对应一个平均样本步态特征。
[0068]
针对每个第一类样本行人，计算该第一类样本行人对应的任意两个平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征。其中，同一第一类样本行人对应的每两个平均样本步态特征对应一个服装变化特征。
[0069]
该实施例中，服装变化特征表示的是同一第一类样本行人在身穿两套不同的服装时，这两套服装之间的变化特征。每个第一类样本行人分别对应多个服装变化特征。
[0070]
示例性的，如图2所示，当第一类样本行人a1对应三个样本步态特征集合，也就对应三个平均样本步态特征。这三个平均样本步态特征中任意两个平均样本步态特征对应一个服装变化特征，因此第一类样本行人a1对应三个服装变化特征。
[0071]
s103：针对每个第二类样本行人的每个第二样本步态特征，将选取的预设数量的服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；第二样本步态特征是根据第二样本步态序列得到的。
[0072]
该实施例中，针对每个第二类样本行人的每个第二样本步态特征，将随机选取出的预设数量的服装变化特征加入到该第二样本步态特征中，得到该第二样本步态特征对应的第三样本步态特征。
[0073]
该实施例中，第三样本步态特征是在第二步态样本特征的基础上加上服装变化特征得到的，因此，同一个第二类样本行人对应的第三样本步态特征和第二步态样本特征的区别在于包含的服装特征不同，进而实现在特征层面丰富了第二类样本行人的服装。通过该方式，在不需要第二类样本行人真实换装的情况下，仅通过在原第二步态样本特征的基础上加上服装变化特征，即可在步态特征层面丰富第二类样本行人的服装，有利于缓解了原始训练集中第一类样本行人和第二类样本行人的服装不均衡的问题，提高了步态识别模型的识别精度。
[0074]
在一种可能的实施方式中，具体可以通过以下公式生成第二样本步态特征对应的第三样本步态特征：
[0075][0076]
其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特
征，是第二类样本行人的第三样本步态特征。预设数量可以为大于等于1的正整数。
[0077]
在生成同一第二类样本行人的每个第二样本步态特征各自对应的第三样本步态特征后，也即生成了该第二类样本行人对应的多个第三样本步态特征。
[0078]
s104：使用第一样本步态特征、第二样本步态特征和第三样本步态特征训练步态识别模型。
[0079]
在一种可能的实施方式中，原始训练集中还包括各个第一类样本行人的第一身份标签和各个第二类样本行人的第二身份标签。在执行步骤s104时，具体可以按照以下步骤s1041-s1045执行：
[0080]
s1041：将各个第一样本步态特征、第二样本步态特征和第三样本步态特征输入至步态识别模型中，通过步态识别模型提取出各个第一样本步态特征的第四样本步态特征、各个第二样本步态特征的第五样本步态特征、各个第三样本步态特征的第六样本步态特征。
[0081]
其中，第四样本步态特征的样本行人身份区分度高于第一样本步态特征，第五样本步态特征的样本行人身份区分度高于第二样本步态特征，第六样本步态特征的样本行人身份区分度高于第三样本步态特征。
[0082]
s1042：根据第一样本步态特征与第一类样本行人之间的对应关系以及第一样本步态特征与第四样本步态特征之间的对应关系，确定每个第四样本步态特征对应的第一身份标签。
[0083]
s1043：根据第二样本步态特征与第二类样本行人之间的对应关系以及第二样本步态特征与第五样本步态特征之间的对应关系，确定每个第五样本步态特征对应的第二身份标签。
[0084]
s1044：根据第二样本步态特征与第三样本步态特征之间的对应关系以及第三样本步态特征与第六样本步态特征之间的对应关系，确定每个第六样本步态特征对应的第二身份标签。
[0085]
s1045：使用第四样本步态特征及其对应的第一身份标签、第五样本步态特征及其对应的第二身份标签、第六样本步态特征及其对应的第二身份标签训练步态识别模型。
[0086]
该实施例中，使用第四样本步态特征及第四样本步态特征对应的第一身份标签、第五样本步态特征及第五样本步态特征对应的第二身份标签、第六样本步态特征及第六样本步态特征对应的第二身份标签训练步态识别模型。
[0087]
在一种可能的实施方式中，在执行步骤s1045时，具体可以：
[0088]
将各个第四样本步态特征、第五样本步态特征和第六样本步态特征输入至步态识别模型中，通过步态识别模型识别各个第四样本步态特征的第一身份识别结果、第五样本步态特征的第二身份识别结果和第六样本步态特征的第三身份识别结果；
[0089]
根据第一身份识别结果及其对应的第一身份标签、第二身份识别结果及其对应的第二身份标签、第三身份识别结果及其对应的第二身份标签，计算步态识别模型的损失值；
[0090]
判断损失值是否满足模型训练截止条件；当损失值满足模型训练截止条件时，停止训练，将当前的步态识别模型作为训练完成后的目标步态识别模型；当损失值未满足模型训练截止条件时，使用损失值训练步态识别模型中的可学习参数，以及重新执行步骤针
对每个第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合。
[0091]
该实施例中，模型训练截止条件可以为损失值收敛，即损失值不在降低。
[0092]
实施例二：
[0093]
基于相同的技术构思，本技术还提供了一种基于服装迁移的模型训练装置，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列；图3示出了本技术实施例所提供的一种基于服装迁移的模型训练装置的结构示意图，如图3所示，所述装置包括：
[0094]
聚类模块301，用于针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；所述第一样本步态特征是根据所述第一样本步态序列得到的；
[0095]
计算模块302，用于在确定出每个所述样本步态特征集合的平均样本步态特征后，针对每个所述第一类样本行人，计算该第一类样本行人对应的任意两个所述平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征；
[0096]
生成模块303，用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；所述第二样本步态特征是根据所述第二样本步态序列得到的；
[0097]
训练模块304，用于使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型。
[0098]
可选的，所述装置还包括：
[0099]
提取模块，用于将所述原始训练集中包含的各个所述第一样本步态序列和所述第二样本步态序列输入至所述步态识别模型中，通过所述步态识别模型提取各个所述第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。
[0100]
可选的，所述生成模块303在用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征时，具体用于：
[0101]
通过以下公式生成第二类样本行人对应的第三样本步态特征：
[0102][0103]
其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特征，是第二类样本行人的第三样本步态特征。
[0104]
可选的，所述原始训练集中还包括各个所述第一类样本行人的第一身份标签和各
个所述第二类样本行人的第二身份标签；所述训练模块304在用于使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型时，具体用于：
[0105]
将各个所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征输入至所述步态识别模型中，通过所述步态识别模型提取出各个所述第一样本步态特征的第四样本步态特征、各个所述第二样本步态特征的第五样本步态特征、各个所述第三样本步态特征的第六样本步态特征；所述第四样本步态特征的样本行人身份区分度高于所述第一样本步态特征，所述第五样本步态特征的样本行人身份区分度高于所述第二样本步态特征，所述第六样本步态特征的样本行人身份区分度高于所述第三样本步态特征；
[0106]
根据所述第一样本步态特征与所述第一类样本行人之间的对应关系以及所述第一样本步态特征与所述第四样本步态特征之间的对应关系，确定每个所述第四样本步态特征对应的所述第一身份标签；
[0107]
根据所述第二样本步态特征与所述第二类样本行人之间的对应关系以及所述第二样本步态特征与所述第五样本步态特征之间的对应关系，确定每个所述第五样本步态特征对应的所述第二身份标签；
[0108]
根据所述第二样本步态特征与所述第三样本步态特征之间的对应关系以及所述第三样本步态特征与所述第六样本步态特征之间的对应关系，确定每个所述第六样本步态特征对应的所述第二身份标签；
[0109]
使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型。
[0110]
可选的，所述训练模块304在用于使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型时，具体用于：
[0111]
将各个所述第四样本步态特征、所述第五样本步态特征和所述第六样本步态特征输入至所述步态识别模型中，通过所述步态识别模型识别各个所述第四样本步态特征的第一身份识别结果、所述第五样本步态特征的第二身份识别结果和所述第六样本步态特征的第三身份识别结果；
[0112]
根据所述第一身份识别结果及其对应的所述第一身份标签、所述第二身份识别结果及其对应的所述第二身份标签、所述第三身份识别结果及其对应的所述第二身份标签，计算所述步态识别模型的损失值；
[0113]
判断所述损失值是否满足模型训练截止条件；当所述损失值满足模型训练截止条件时，停止训练，将当前的所述步态识别模型作为训练完成后的目标步态识别模型；当所述损失值未满足模型训练截止条件时，使用所述损失值训练所述步态识别模型中的可学习参数，以及重新执行步骤针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合。
[0114]
实施例三：
[0115]
图4为本技术实施例提供的一种电子设备的结构示意图，包括：处理器401、存储器
402和总线403，所述存储器402存储有所述处理器401可执行的机器可读指令，当电子设备运行上述的信息处理方法时，所述处理器401与所述存储器402之间通过总线403通信，所述处理器401执行所述机器可读指令，以执行实施例一中所述的方法步骤。
[0116]
实施例四：
[0117]
本技术实施例四还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
[0118]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、电子设备和计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0119]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0120]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0121]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0122]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0123]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于服装迁移的模型训练方法，其特征在于，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列；所述方法包括：针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，生成该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；所述第一样本步态特征是根据所述第一样本步态序列得到的；在确定出每个所述样本步态特征集合的平均样本步态特征后，针对每个所述第一类样本行人，计算该第一类样本行人对应的任意两个所述平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征；针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；所述第二样本步态特征是根据所述第二样本步态序列得到的；使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型。2.根据权利要求1所述方法，其特征在于，所述针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合之前，所述方法还包括：将所述原始训练集中包含的各个所述第一样本步态序列和所述第二样本步态序列输入至所述步态识别模型中，通过所述步态识别模型提取各个所述第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。3.根据权利要求1所述方法，其特征在于，所述针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征，包括：通过以下公式生成第二类样本行人对应的第三样本步态特征：其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特征，是第二类样本行人的第三样本步态特征。4.根据权利要求1所述方法，其特征在于，所述原始训练集中还包括各个所述第一类样本行人的第一身份标签和各个所述第二类样本行人的第二身份标签；所述使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型，包括：将各个所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征输入至所述步态识别模型中，通过所述步态识别模型提取出各个所述第一样本步态特征的第四样本步态特征、各个所述第二样本步态特征的第五样本步态特征、各个所述第三样本步态
特征的第六样本步态特征；所述第四样本步态特征的样本行人身份区分度高于所述第一样本步态特征，所述第五样本步态特征的样本行人身份区分度高于所述第二样本步态特征，所述第六样本步态特征的样本行人身份区分度高于所述第三样本步态特征；根据所述第一样本步态特征与所述第一类样本行人之间的对应关系以及所述第一样本步态特征与所述第四样本步态特征之间的对应关系，确定每个所述第四样本步态特征对应的所述第一身份标签；根据所述第二样本步态特征与所述第二类样本行人之间的对应关系以及所述第二样本步态特征与所述第五样本步态特征之间的对应关系，确定每个所述第五样本步态特征对应的所述第二身份标签；根据所述第二样本步态特征与所述第三样本步态特征之间的对应关系以及所述第三样本步态特征与所述第六样本步态特征之间的对应关系，确定每个所述第六样本步态特征对应的所述第二身份标签；使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型。5.根据权利要求4所述方法，其特征在于，所述使用所述第四样本步态特征及其对应的所述第一身份标签、所述第五样本步态特征及其对应的所述第二身份标签、所述第六样本步态特征及其对应的所述第二身份标签训练所述步态识别模型，包括：将各个所述第四样本步态特征、所述第五样本步态特征和所述第六样本步态特征输入至所述步态识别模型中，通过所述步态识别模型识别各个所述第四样本步态特征的第一身份识别结果、所述第五样本步态特征的第二身份识别结果和所述第六样本步态特征的第三身份识别结果；根据所述第一身份识别结果及其对应的所述第一身份标签、所述第二身份识别结果及其对应的所述第二身份标签、所述第三身份识别结果及其对应的所述第二身份标签，计算所述步态识别模型的损失值；判断所述损失值是否满足模型训练截止条件；当所述损失值满足模型训练截止条件时，停止训练，将当前的所述步态识别模型作为训练完成后的目标步态识别模型；当所述损失值未满足模型训练截止条件时，使用所述损失值训练所述步态识别模型中的可学习参数，以及重新执行步骤针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合。6.一种基于服装迁移的模型训练装置，其特征在于，用于训练步态识别模型的原始训练集中包含第一类样本行人分别身穿不同套服装时每套服装各自对应的多个第一样本步态序列，以及第二类样本行人身穿一套服装时的多个第二样本步态序列；所述装置包括：聚类模块，用于针对每个所述第一类样本行人，将该第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，得到该第一类样本行人身穿每一套服装时所对应的样本步态特征集合；所述第一样本步态特征是根据所述第一样本步态序列得到的；计算模块，用于在确定出每个所述样本步态特征集合的平均样本步态特征后，针对每个所述第一类样本行人，计算该第一类样本行人对应的任意两个所述平均样本步态特征之
间的特征差，得到该第一类样本行人对应的多个服装变化特征；生成模块，用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；所述第二样本步态特征是根据所述第二样本步态序列得到的；训练模块，用于使用所述第一样本步态特征、所述第二样本步态特征和所述第三样本步态特征训练所述步态识别模型。7.根据权利要求6所述装置，其特征在于，所述装置还包括：提取模块，用于将所述原始训练集中包含的各个所述第一样本步态序列和所述第二样本步态序列输入至所述步态识别模型中，通过所述步态识别模型提取各个所述第一样本步态序列的第一样本步态特征和各个第二样本步态序列的第二样本步态特征。8.根据权利要求6所述装置，其特征在于，所述生成模块在用于针对每个所述第二类样本行人的每个第二样本步态特征，将选取的预设数量的所述服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征时，具体用于：通过以下公式生成第二类样本行人对应的第三样本步态特征：其中，和为第一类样本行人u对应的两个平均样本步态特征，表示服装变化特征，n为预设数量，γ是预设系数，是第二类样本行人的第二样本步态特征，是第二类样本行人的第三样本步态特征。9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述方法的步骤。

技术总结
本申请提供了一种基于服装迁移的模型训练方法、装置、电子设备及介质，其中，该方法包括，将第一类样本行人身穿同一套服装时对应的多个第一样本步态特征聚为一类，生成样本步态特征集合；确定出每个样本步态特征集合的平均样本步态特征，计算同一第一类样本行人对应的两个平均样本步态特征之间的特征差，得到该第一类样本行人对应的多个服装变化特征；针对每个第二类样本行人的每个第二样本步态特征，将选取的预设数量的服装变化特征加入到该第二样本步态特征中，生成该第二类样本行人对应的多个第三样本步态特征；使用第一样本步态特征、第二样本步态特征和第三样本步态特征训练步态识别模型。通过该方式，缓解了训练数据中服装不均衡的问题。服装不均衡的问题。服装不均衡的问题。


技术研发人员：黄永祯 侯赛辉 胡学财 黄攀坚
受保护的技术使用者：北京师范大学
技术研发日：2023.05.16
技术公布日：2023/7/22