一种鲁棒的增量行为识别模型建立方法及装置

1.本发明涉及计算机视觉技术，尤其涉及一种鲁棒的增量行为识别模型建立方法及装置。


背景技术：

2.行为识别是计算机视觉的一个重要的应用，广泛应用于人机交互、自动驾驶、智能监控以及医疗保健等领域。在医疗监护领域，通过该技术可实现对患者的实时监控，确保患者能够得到及时治疗和帮助。
3.现有人体行为识别的工作大多围绕固定类别开展研究。然而，在实际应用场景中，新的视频类别不断出现。例如，在抖音等视频平台上每天有数百万的短视频由用户上传，它们中的一部分视频属于新的类别或者拥有新的标签，所以行为识别的模型需要去适应新类。但现有的行为识别模型面对增量类别时，常常会出现“灾难性遗忘”，即在新的数据集上训练模型，会遗忘掉在旧数据上学到的知识。
4.增量学习(也称持续学习)可以模仿人类具有能够不断地处理现实世界中连续的信息流，在吸收新知识的同时保留甚至整合、优化旧知识的能力。增量学习目前主要的研究内容是图像分类，但在视频行为识别领域没有充分探索。视频数据相比较图像多一个时间维度，它的样本量更大，计算复杂度更高。所以，将行为识别跟增量学习结合起来可以极大提高该技术在生产生活中的实用性，具有十分广阔的应用前景。


技术实现要素：

5.发明目的：本发明针对现有技术存在的问题，提供一种基于视频学习的鲁棒的增量行为识别模型建立方法及装置。
6.技术方案：本发明所述的鲁棒的增量行为识别模型建立方法包括：
7.步骤s1：将包括若干视频样本的数据集划分为训练数据集、验证数据集及测试数据集，并确定数据集中不同类别样本的训练顺序；
8.步骤s2：构建类增量行为识别模型；
9.步骤s3：按照训练顺序获取需要训练的类别样本，将样本进行在线增广；
10.步骤s4：采用在线增广后的训练数据集对类增量行为识别模型进行训练，训练时，如果训练的样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算，如果训练的样本属于新类，则从属于旧类的样本中选择若干代表性样本，并从代表性样本中选取若干关键帧，将这些关键帧与属于新类的样本构成新类训练数据集样本进行训练；所述旧类为之前已经识别到的类别，所述新类为还未识别到的类别；
11.步骤s5：通过验证数据集筛选出识别精度最高的类增量行为识别模型保存；
12.步骤s6：采用测试数据集对保存的模型进行测试，获取当前类别的行为识别准确度和遗忘率，并根据增量类别更新模型；
13.步骤s7：返回执行步骤s3，直至完成所有类的训练，得到训练好的类增量行为识别
模型。
14.进一步的，所述步骤s1中，所述确定数据集中不同类别样本的学习顺序，具体如下：从数据集中选择任一已确定类别的一类视频样本作为基类，进行第一个训练，剩余类别的视频样本作为增量类，进行后续训练。
15.进一步的，所述步骤s2中，所述类增量行为识别模型包括特征提取器和分类器，其中，所述特征提取器用于从输入的样本中提取特征，具体为预训练网络，所述分类器用于将特征提取提取的特征进行分类。
16.进一步的，所述步骤s3中，在线增广的方法具体如下：
17.步骤s3-1：如果当前阶段为基类训练阶段，则将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为h
×
w，其中h和w分别为空间分辨率的高和宽；如果当前阶段属于增量类训练阶段，则对将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为(ah)
×
(aw)，0＜a≤1；其中，对基类的训练阶段为基类训练阶段，对增量类的训练阶段为增量训练阶段；
18.步骤s3-2：将样本的视频帧沿时间维度进行相同的随机水平翻转。
19.进一步的，所述步骤s4中，采用在线增广后的训练数据集对类增量行为识别模型进行训练的方法包括：
20.步骤s4-1：设置训练参数，如果当前阶段为基训练阶段，对类增量行为识别模型进行随机初始化，如果是增量训练阶段，则直接采用之前训练得到的网络参数进行初始化；
21.步骤s4-2：如果当前样本属于新类，则从属于旧类的样本中选择若干代表性样本，并从代表性样本中选取若干关键帧，将这些关键帧与属于新类的样本构成新类训练数据集样本；否则执行步骤s4-3；
22.步骤s4-3：将样本的视频平均分段后对每个片段随机采样，特征提取器对将采样的视频帧进行特征提取；
23.步骤s4-4：分类器对步骤s4-3所提取的特征进行分类；
24.步骤s4-5：利用交叉熵损失进行损失计算；
25.步骤s4-6：如果当前样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算；否则直接执行步骤s4-7；
26.步骤s4-7：结合步骤s4-5和步骤s4-6所计算的损失，对网络参数进行优化。
27.进一步的，所述步骤s4-6中，根据对应标签生成正相关的软标签进行自纠正损失计算的方法包括：
28.采用下式根据对应标签生成正相关的软标签：
[0029][0030]
式中，表示样本x的软标签，θ
t
表示样本x的标签，α∈(0,1]是正则化因子，是与相同维度的校准输入，的取值范围在0到1之间，t表示当前迭代次数；
[0031]
根据软标签进行自纠正损失计算：
[0032]
[0033]
式中，表示自纠正损失，o
t-1
代表属于旧类的样本，o(x)表示旧类样本网络预测的输出，σ(
·
)表示sigmoid运算。
[0034]
进一步的，所述步骤s4-2中，所述代表性样本通过利用herding算法选择。
[0035]
进一步的，所述步骤s4-2中，所述关键帧的选取方法为：
[0036]
对代表性样本按照下式计算每帧的差异性程度值cy(i)，若cy(i)≥β，则将当前帧作为关键帧，β是给定的阈值：
[0037][0038]
式中，cy(i)表示第i帧的差异性程度值，γ是一个超参数，0＜γ≤1，j代表上一关键帧后下一帧的索引，f(
·
)为表征函数，v
·
表示第
·
帧，t表示当前帧所属视频总帧数。
[0039]
进一步的，所述步骤s6中，根据增量任务类别更新模型的方法具体为：
[0040]
利用上一训练阶段分类器的参数来更新下一增量训练阶段分类器中旧类分类头的权重和偏置，并根据后续增量的类别数增加分类器的维度。
[0041]
本发明所述的鲁棒的增量行为识别模型建立装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
[0042]
有益效果：本发明与现有技术相比，其显著优点是：本发明基于视频进行增量行为识别，有效地避免知识复现时的蒸馏策略，降低计算量的同时增强网络的增量性能，在准确率、遗忘率和不同增量阶段平均准确率均取得了非常好的性能；软标签生成稳定而准确，可有效避免增量网络遭受教师网络不正确预测的干扰，进一步通过自纠正损失函数有效指导教师网络回顾旧知识。
附图说明
[0043]
图1是本发明提供的鲁棒的增量行为识别模型建立方法的流程示意图；
[0044]
图2是本发明的增量行为识别模型的训练过程示意图；
[0045]
图3是本发明提供的鲁棒的增量行为识别模型建立装置的结构示意图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0047]
实施例一
[0048]
本实施例提供一种鲁棒的增量行为识别模型建立方法，如图1所示，具体包括如下步骤：
[0049]
步骤s1：将包括若干视频样本的数据集划分为训练数据集、验证数据集及测试数据集，并确定数据集中不同类别样本的学习顺序。
[0050]
其中，从数据集中选择任一已确定类别的一类视频样本作为基类，进行第一个训
练，剩余类别的视频样本作为增量类，进行后续训练。训练时一个类别的样本训练完成后再进行下一类别的样本的训练，对基类的训练阶段称为基类训练阶段，对增量类的训练阶段称为增量训练阶段。
[0051]
步骤s2：构建类增量行为识别模型。
[0052]
如图2所示，所述类增量行为识别模型包括特征提取器和分类器，其中，所述特征提取器用于从输入的样本中提取特征，具体为预训练网络，例如vgg16网络的前10层，所述分类器用于将特征提取提取的特征进行分类，例如全连接层。
[0053]
步骤s3：按照训练顺序获取需要训练的类别样本，将样本进行在线增广。
[0054]
其中，在线增广的方法具体如下：
[0055]
步骤s3-1：如果当前阶段为基类训练阶段，则将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为h
×
w，其中h和w分别为空间分辨率的高和宽；如果当前阶段属于增量类训练阶段，则对将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为(ah)
×
(aw)，0＜a≤1；
[0056]
步骤s3-2：将样本的视频帧沿时间维度进行相同的随机水平翻转，概率为0.5。
[0057]
步骤s4：采用在线增广后的训练数据集对类增量行为识别模型进行训练。
[0058]
训练的方法包括：
[0059]
步骤s4-1：设置训练参数，如果当前阶段为基训练阶段，对类增量行为识别模型进行随机初始化，如果是增量训练阶段，则直接采用之前训练得到的网络参数进行初始化；训练参数包括迭代次数，学习率，旧类视频帧样本保存的数目等必要参数；
[0060]
步骤s4-2：如果当前样本属于新类，则从属于旧类的样本中利用herding算法选择若干代表性样本，并从代表性样本中选取若干关键帧，关键帧的选取方法为：
[0061]
对代表性样本按照下式计算每帧的差异性程度值cy(i)，若cy(i)≥β，则将当前帧作为关键帧，β是给定的阈值：
[0062][0063]
式中，cy(i)表示第i帧的差异性程度值，β是一个超参数，0＜γ≤1，j代表上一关键帧后下一帧的索引，f(
·
)为表征函数，v
·
表示第
·
帧，t表示当前帧所属视频总帧数。
[0064]
将这些关键帧与属于新类的样本构成新类训练数据集样本；否则执行步骤s4-3；
[0065]
步骤s4-3：将样本的视频平均分段后对每个片段随机采样，特征提取器对将采样的视频帧进行特征提取；
[0066]
步骤s4-4：分类器对步骤s4-3所提取的特征进行分类；
[0067]
步骤s4-5：利用交叉熵损失进行损失计算；
[0068]
步骤s4-6：如果当前样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算，具体为：采用下式根据对应标签生成正相关的软标签：
[0069]
[0070]
式中，表示样本x的软标签，θ
t
表示样本x的标签，α∈(0,1]是正则化因子，是与相同维度的校准输入，的取值范围在0到1之间，t表示当前迭代次数；视频v中第i个样本xi的标签表示为one-hot向量其中θ
v,c
＝＝1，θ
v,m
＝0|
m∈[1,c],m≠c
，代表当前样本属于类别c，c代表旧类类别的数目。
[0071]
根据软标签进行自纠正损失计算：
[0072][0073]
式中，表示自纠正损失，o
t-1
代表属于旧类的样本，o(x)表示旧类样本网络预测的输出，σ(
·
)表示sigmoid运算。
[0074]
否则直接执行步骤s4-7；
[0075]
步骤s4-7：结合步骤s4-5和步骤s4-6所计算的损失，对网络参数进行优化。
[0076]
步骤s5：通过验证数据集筛选出识别精度最高的类增量行为识别模型保存。
[0077]
步骤s6：采用测试数据集对保存的模型进行测试，获取当前类别的行为识别准确度和遗忘率，并根据增量类别更新模型。
[0078]
步骤s7：返回执行步骤s3，直至完成所有类的训练，得到训练好的类增量行为识别模型。
[0079]
其中，根据增量任务类别更新模型的方法具体为：利用上一训练阶段分类器的参数来更新下一增量训练阶段分类器中旧类分类头的权重和偏置，并根据后续增量的类别数增加分类器的维度。
[0080]
实施例二
[0081]
图3是本发明实施例提供的一种装置的结构示意图，本发明实施例为本发明上述实施例一的方法的实现提供服务，可配置上述实施例一中的方法的计算装置。图3示出了适于用来实现本发明实施方式的示例性设备12的框图。图3显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0082]
如图3所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件包括系统存储器28和处理单元16的总线18。
[0083]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0084]
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0085]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘
(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0086]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0087]
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图3所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0088]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例一所提供的方法。

技术特征：
1.一种鲁棒的增量行为识别模型建立方法，其特征在于包括：步骤s1：将包括若干视频样本的数据集划分为训练数据集、验证数据集及测试数据集，并确定数据集中不同类别样本的训练顺序；步骤s2：构建类增量行为识别模型；步骤s3：按照训练顺序获取需要训练的类别样本，将样本进行在线增广；步骤s4：采用在线增广后的训练数据集对类增量行为识别模型进行训练，训练时，如果训练的样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算，如果训练的样本属于新类，则从属于旧类的样本中选择若干代表性样本，并从代表性样本中选取若干关键帧，将这些关键帧与属于新类的样本构成新类训练数据集样本进行训练；所述旧类为之前已经识别到的类别，所述新类为还未识别到的类别；步骤s5：通过验证数据集筛选出识别精度最高的类增量行为识别模型保存；步骤s6：采用测试数据集对保存的模型进行测试，获取当前类别的行为识别准确度和遗忘率，并根据增量类别更新模型；步骤s7：返回执行步骤s3，直至完成所有类的训练，得到训练好的类增量行为识别模型。2.根据权利要求1所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s1中，所述确定数据集中不同类别样本的学习顺序，具体如下：从数据集中选择任一已确定类别的一类视频样本作为基类，进行第一个训练，剩余类别的视频样本作为增量类，进行后续训练。3.根据权利要求1所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s2中，所述类增量行为识别模型包括特征提取器和分类器，其中，所述特征提取器用于从输入的样本中提取特征，具体为预训练网络，所述分类器用于将特征提取提取的特征进行分类。4.根据权利要求1所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s3中，在线增广的方法具体如下：步骤s3-1：如果当前阶段为基类训练阶段，则将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为h
×
w，其中h和w分别为空间分辨率的高和宽；如果当前阶段属于增量类训练阶段，则对将该样本的视频帧沿时间维度进行相同的裁剪，裁剪空间分辨率大小为(ah)
×
(aw)，0＜a≤1；其中，对基类的训练阶段为基类训练阶段，对增量类的训练阶段为增量训练阶段；步骤s3-2：将样本的视频帧沿时间维度进行相同的随机水平翻转。5.根据权利要求1所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s4中，采用在线增广后的训练数据集对类增量行为识别模型进行训练的方法包括：步骤s4-1：设置训练参数，如果当前阶段为基训练阶段，对类增量行为识别模型进行随机初始化，如果是增量训练阶段，则直接采用之前训练得到的网络参数进行初始化；步骤s4-2：如果当前样本属于新类，则从属于旧类的样本中选择若干代表性样本，并从代表性样本中选取若干关键帧，将这些关键帧与属于新类的样本构成新类训练数据集样本；否则执行步骤s4-3；步骤s4-3：将样本的视频平均分段后对每个片段随机采样，特征提取器对将采样的视频帧进行特征提取；
步骤s4-4：分类器对步骤s4-3所提取的特征进行分类；步骤s4-5：利用交叉熵损失进行损失计算；步骤s4-6：如果当前样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算；否则直接执行步骤s4-7；步骤s4-7：结合步骤s4-5和步骤s4-6所计算的损失，对网络参数进行优化。6.根据权利要求5所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s4-6中，根据对应标签生成正相关的软标签进行自纠正损失计算的方法包括：采用下式根据对应标签生成正相关的软标签：式中，表示样本x的软标签，θ
t
表示样本x的标签，α∈(0,1]是正则化因子，是与相同维度的校准输入，的取值范围在0到1之间，t表示当前迭代次数；根据软标签进行自纠正损失计算：式中，表示自纠正损失，o
t-1
代表属于旧类的样本，o(x)表示旧类样本网络预测的输出，σ(
·
)表示sigmoid运算。7.根据权利要求5所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s4-2中，所述代表性样本通过利用herding算法选择。8.根据权利要求5所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s4-2中，所述关键帧的选取方法为：对代表性样本按照下式计算每帧的差异性程度值cy(i)，若cy(i)≥β，则将当前帧作为关键帧，β是给定的阈值：式中，cy(i)表示第i帧的差异性程度值，γ是一个超参数，0＜γ≤1，j代表上一关键帧的下一帧的索引，f(
·
)为表征函数，v
·
表示第
·
帧，t表示当前帧所属视频总帧数。9.根据权利要求1所述的鲁棒的增量行为识别模型建立方法，其特征在于：所述步骤s6中，根据增量任务类别更新模型的方法具体为：利用上一训练阶段分类器的参数来更新下一增量训练阶段分类器中旧类分类头的权重和偏置，并根据后续增量的类别数增加分类器的维度。10.一种鲁棒的增量行为识别模型建立装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-9中任意一项所述的方法。

技术总结
本发明公开了一种鲁棒的增量行为识别模型建立方法及装置，本发明首先构建类增量行为识别模型；将样本进行在线增广；然后采用在线增广后的训练数据集对类增量行为识别模型进行训练，训练时，如果训练的样本属于旧类，则根据对应标签生成正相关的软标签进行自纠正损失计算；之后通过验证数据集筛选出识别精度最高的类增量行为识别模型保存；最后采用测试数据集对保存的模型进行测试，获取当前类别的行为识别准确度和遗忘率，并根据增量类别更新模型；直至完成所有类的训练，得到训练好的类增量行为识别模型。本发明鲁棒性高、性能好。性能好。性能好。


技术研发人员：姜胜芹 方耀煜 刘青山
受保护的技术使用者：南京信息工程大学
技术研发日：2023.04.20
技术公布日：2023/7/25