小样本行为识别方法、存储介质、控制器与流程

1.本发明涉及行为识别技术领域，尤其涉及一种小样本行为识别方法、存储介质、控制器。


背景技术：

2.随着深度学习技术的发展，行为识别已经取得突破性进展。深度学习方法需要大量标注数据，在现实世界中，由于隐私性、获取数据成本较高等原因，能够获得的数据较少，而且在安防、医疗等领域，数据标注十分困难。小样本学习是一类利用较少的标注样本（基准视频）对新类别的样本（待识别视频）进行分类的算法，提高模型的泛化性，适用于有标签数据量匮乏的目标识别，能够有效减少对人类标注的依赖。
3.但是，由于相比于图片，视频中存在着大量时间维度上的复杂结构，相关技术中的小样本行为识别仅仅关注了帧级别或者片段级别的对齐，从而导致对齐的模糊性，降低了小样本行为识别的性能。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种小样本行为识别方法，以实现高性能的小样本行为识别。
5.本发明的第二个目的在于提出一种计算机可读存储介质。
6.本发明的第三个目的在于提出一种控制器。
7.为达到上述目的，本发明第一方面实施例提出了一种小样本行为识别方法，所述方法包括：获取待识别视频和第一基准视频，并对所述待识别视频和所述第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对所述帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对所述增强帧特征进行处理，得到对应的高层级时序片段，其中，所述时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据所述增强帧特征和所述高层级时序片段得到所述待识别视频与所述第一基准视频之间的第一距离，根据所述第一距离对所述待识别视频进行行为识别。
8.为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述述的小样本行为识别方法。
9.为达到上述目的，本发明第三方面实施例提出了一种控制器，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现上述的小样本行为识别方法。
10.根据本发明实施例的小样本行为识别方法、存储介质、控制器，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频
之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，通过注意力机制自动发现视频中高层级的时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行为识别的性能。
11.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
12.图1是本发明一个或多个实施例的小样本行为识别方法的流程图；图2是本发明一个示例的小样本行为识别方法的示意图；图3是本发明一个或多个实施例的小样本行为识别方法的流程图。
具体实施方式
13.下面参考附图描述本发明实施例的小样本行为识别方法、存储介质、控制器，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。参考附图描述的实施例是示例性的，不能理解为对本发明的限制。
14.图1是本发明一个或多个实施例的小样本行为识别方法的流程图。
15.如图1所示，小样本行为识别方法，包括：s11，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征。
16.s12，根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段。
17.s13，根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。
18.具体地，在获取得到待识别视频和第一基准视频之后，首先分别对待识别视频和第一基准视频进行特征提取处理，得到对应的帧特征。
19.为了提高运动感知能力，在得到与待识别视频和第一基准视频对应的帧特征后，采用特征增强器对待识别视频和第一基准视频对应的帧特征进行特征增强处理，使得增强后的特征能够感知运动信息。
20.在得到增强帧特征后，使用注意力机制来实现自动的视频片段挖掘。
21.首先引入一系列时序片段原型。时序片段原型的生成方法为首先对时序片段原型进行随机初始化，实现随机生成初始时序片段原型，进而对初始时序片段原型进行动态更新得到时序片段原型，具体而言，可以根据训练损失对时序片段原型以端到端学习的方式进行动态更新，以学习到更好的时序片段原型。
22.在引入时序片段原型之后，采用时序片段原型对增强帧特征进行处理，以获取时序片段原型与视频帧之间的软对应性，从而根据时序片段原型与视频帧之间的软对应性聚合若干数量的语义相关的帧，得到高层级时序片段。由此，通过采用时序片段原型，对视频帧进行聚合得到高层级时序片段，从而根据时序片段原型与视频帧之间的软对应性得到执行视频对齐的数据，提高对齐的精确度，提高了小样本行为识别的性能。
23.其中，在引入时序片段原型后，可以分别获取时序片段原型与待识别视频视频帧之间的软对应性和时序片段原型与第一基准视频视频帧之间的软对应性，从而得到与待识别视频对应的第一高层级时序片段和与第一基准视频对应的第二高层级时序片段。
24.在得到高层级时序片段之后，根据增强帧特征和高层级时序片段原型实现最优的视频匹配，完成匹配后，获取待识别视频和第一基准视频之间的距离，从而可以根据距离确定待识别视频与第一基准视频之间的相似度得分，从而根据待识别视频与第一基准视频之间的相似度得分对待识别视频进行行为识别。
25.由此，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行为识别的性能。
26.在本发明一个或多个实施例中，对待识别视频和第一基准视频分别进行特征提取处理之前，小样本行为识别方法还包括：分别从待识别视频和第一基准视频中均随机提取t帧，t为正整数。即，假设获取得到的视频为o，首先采用t帧，在提取得到t帧后，对t帧进行上述特征提取处理，得到相应的帧特征：。
27.在本发明一个或多个实施例中，记对待识别视频提取得到的帧特征为第一帧特征，并记对第一基准视频提取得到的帧特征为第二帧特征，小样本行为识别方法还包括：获取与多个预设第二基准视频对应的多个第三帧特征，并针对每个基准视频的帧特征，计算后一个帧特征与前一个帧特征的卷积之间的差值，得到与每个基准视频对应的差值集合，根据差值集合得到任务级别运动模式；根据任务级别运动模式得到通道增强参数。
28.具体地，参见图2所示的示例，设置视频特征计算模块，视频特征计算模块包括两个一致的特征提取器，还包括特征增强器、运动编码器和参数生成器，特征提取器对第一基准视频提取得到的第二帧特征，运动编码器获取第二帧特征，并获取多个第三帧特征，多个第三帧特征与多个预设第二基准视频对应，第二基准视频为除第一基准视频之外的其他支撑视频。
29.在获取到与第一基准视频对应的第二帧特征和与第二基准视频对应的第三帧特征后，针对每个基准视频，均计算其的帧特征中后一个帧的帧特征与前一个帧的帧特征的卷积之间的差值，得到差分特征，具体而言，可以通过下式进行计算：，其中，为计算得到的差分特征，为相邻帧的帧特征，h（）为用来进行空间平滑的卷积层。
30.进一步地，可以通过下式得到基准视频的运动特征：
其中，为基准视频的运动特征，（）为用于进行空间平滑的平滑卷积层，gap（）为聚合空间信息的全局平均池，t为针对每个视频提取得到帧的数量，即在图2所示的具体示例中，采用了上述分别从待识别视频和第一基准视频中均随机提取t帧的方法，当然，在实际应用中可不局限于此。
31.在针对每个基准视频均计算得到运动特征之后，根据下式计算得到任务级别运动模式：，其中，为任务级别运动模式，nk为第一基准视频与第二基准视频的数量和，为第i个基准视频运动特征。
32.在得到任务级别运动模式后，参数生成器根据任务级别运动模式生成通道增强参数。
33.在本发明一个或多个实施例中，通道增强参数包括第一通道增强参数和第二通道增强参数，特征增强器采用下式进行特征增强处理：，其中，为第一通道增强参数，为第二通道增强参数，在为第一帧特征时，为对应的第一增强帧特征，在为第二帧特征时，为对应的第二增强帧特征。
34.在本发明一个或多个实施例中，根据时序片段原型对增强帧特征进行处理，包括：根据第一增强帧特征得到第一特征和第二特征，计算得到第一特征与时序片段原型之间的第一注意力得分，并根据第一注意力得分和第二特征得到第一高层级时序片段；根据第二增强帧特征得到第三特征和第四特征，计算得到第三特征与时序片段原型之间的第二注意力得分，根据第二注意力得分和第四特征得到第二高层级时序片段。
35.具体地，在得到增强帧特征后，引入时序片段原型，获取时序片段原型的特征，记为q。
36.继续参见图2所示的示例，针对与待识别视频对应的第一增强帧特征和与第一基准视频对应的第二增强帧特征，将第一增强帧特征经过线性映射层得到对应的第一特征k1和第二特征v1，将第二增强帧特征经过线性映射层得到对应的第三特征k2和第四特征v2，从而根据第一特征、第二特征和时序片段原型得到第一高层级时序片段，根据第三特征、第四特征和时序片段原型得到第二高层级时序片段。
37.针对第一增强帧特征，首先根据下式计算第一特征和时序片段原型特征之间的注
意力得分：，其中，为注意力得分，是比例因子，表示第t帧转换的特征，为除t外的其他视频帧，为其相应的注意力得分，为第j个时序片段原型特征。
38.上述注意力得分即为时序片段原型与待识别视频之间的软对应性，进而可以通过下式聚合若干数量的语义相关的帧，得到第一高层级时序片段：，其中，为高层级时序片段，为对应的第t帧特征。
39.同样的，针对第二增强帧特征，计算得到第二高层级时序片段的方法与上述计算第一高层级时序片段的方法类似。
40.在本发明一个或多个实施例中，参见图3，根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，包括：s31，根据第一增强帧特征和第一高层级时序片段得到第一时序分片，并根据第二增强帧特征和第二高层级时序片段得到第二时序分片。
41.具体地，根据下式得到对应的时序分片：，其中，l为时序分片。
42.s32，获取第一时序分片的第一离散分布、第二时序分片的第二离散分布和第一时序分片与第二时序分片之间的第二距离。
43.具体地，在得到第一时序分片和第二时序分片后，得到第一时序分片的离散分布s和第二时序分片的离散分布d，并得到第一时序分片与第二时序分片之间的距离。
44.s33，根据第一离散分布、第二离散分布和第二距离得到第一距离。
45.在本发明一个或多个实施例中，根据第一离散分布、第二离散分布和第二距离得到第一距离，包括：根据第一离散分布、第二离散分布和第二距离，从多个预设视频匹配矩阵中选取得到待识别视频与第一基准视频之间的目标视频匹配矩阵，其中，目标视频匹配矩阵为使根据目标视频匹配矩阵和第二距离计算得到的距离最小的矩阵；根据视频匹配矩阵得到待识别视频与第一基准视频之间的第一距离。
46.继续以图2所示的示例进行说明，预先获取多个可选的视频匹配矩阵，计算，从而从多个可选的视频匹
配矩阵中确定目标视频匹配矩阵，其中，表示选取与最小的计算结果对应的视频匹配矩阵。
47.上述，，其中，si为离散分布s中的具体元素，dj为离散分布d中的具体元素。
48.由此，可以实现最优匹配。
49.在确定实际使用的视频匹配矩阵f后，得到与该视频匹配矩阵对应的。其中，中的匹配得分可以用来衡量时序片段相似性在全局相似性中的贡献程度。
50.而且，还计算第一时序分片与第二时序分片的余弦相似度，其中，《,》表示计算余弦相似度，lq为第一时序分片，ls为第二时序分片。
51.进一步地，通过下式计算得到待识别视频与第一基准视频之间的第一距离：，其中，为第一距离，为待识别视频，为第一基准视频。
52.在本发明一个或多个实施例中，根据第一距离对待识别视频进行行为识别，包括：根据第一距离得到待识别视频属于第一基准视频的类别的概率。
53.作为一个示例，假设第一基准视频属于类别c，即用表示第一基准视频，则可通过下式计算得到待分类视频属于类别c的概率：，而且，还可通过下式计算得到分类损失函数：，其中，为待分类视频属于类别c的概率，为分类损失函数，为除c外的其他类别，为分类样本数量，为真实标签，为待分类数据集。
54.综上，本发明实施例的小样本行为识别方法，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，通过注意力机制自动发现视频中高层级的时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行
为识别的性能。而且，设置特征增强器对帧特征进行增强处理，使得增强后的特征能感知运动信息，从而进一步提高小样本行为识别的性能。利用最优传输算法实现了多层级的视频时序匹配，加强了视频匹配的鲁棒性，增强小样本特征的可泛化性和迁移性，从而大大提升了小样本行为识别的精度。
55.进一步的，本发明提出一种计算机可读存储介质。
56.在本发明实施例中，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述的小样本行为识别方法。
57.本发明实施例的计算机可读存储介质，通过实现上述的小样本行为识别方法，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，通过注意力机制自动发现视频中高层级的时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行为识别的性能。而且，设置特征增强器对帧特征进行增强处理，使得增强后的特征能感知运动信息，从而进一步提高小样本行为识别的性能。利用最优传输算法实现了多层级的视频时序匹配，加强了视频匹配的鲁棒性，增强小样本特征的可泛化性和迁移性，从而大大提升了小样本行为识别的精度。
58.进一步的，本发明提出一种控制器。
59.在本发明实施例中，控制器，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时，实现上述的小样本行为识别方法。
60.本发明实施例的控制器，通过实现上述的小样本行为识别方法，获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。通过引入时序片段原型得到高层级时序片段，通过注意力机制自动发现视频中高层级的时序片段，提高小样本行为识别的性能。而且，由于时序片段原型为对随机生成的初始时序片段原型进行动态更新得到，可以实现以更加适配的时序片段原型得到高层级时序片段，进一步提高对齐的精确度，提高小样本行为识别的性能。而且，设置特征增强器对帧特征进行增强处理，使得增强后的特征能感知运动信息，从而进一步提高小样本行为识别的性能。利用最优传输算法实现了多层级的视频时序匹配，加强了视频匹配的鲁棒性，增强小样本特征的可泛化性和迁移性，从而大大提升了小样本行为识别的精度。
61.需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以
从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
62.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
63.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
64.在本说明书的描述中，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，不能理解为对本发明的限制。
65.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
66.在本说明书的描述中，除非另有说明，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
67.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
68.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种小样本行为识别方法，其特征在于，所述方法包括：获取待识别视频和第一基准视频，并对所述待识别视频和所述第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对所述帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对所述增强帧特征进行处理，得到对应的高层级时序片段，其中，所述时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据所述增强帧特征和所述高层级时序片段得到所述待识别视频与所述第一基准视频之间的第一距离，根据所述第一距离对所述待识别视频进行行为识别。2.根据权利要求1所述的小样本行为识别方法，其特征在于，记对所述待识别视频提取得到的帧特征为第一帧特征，并记对所述第一基准视频提取得到的帧特征为第二帧特征，所述方法还包括：获取与多个预设第二基准视频对应的多个第三帧特征，并针对每个基准视频的帧特征，计算后一个帧特征与前一个帧特征的卷积之间的差值，得到与每个基准视频对应的差值集合，根据所述差值集合得到任务级别运动模式；根据所述任务级别运动模式得到通道增强参数。3.根据权利要求2所述的小样本行为识别方法，其特征在于，所述通道增强参数包括第一通道增强参数和第二通道增强参数，特征增强器采用下式进行所述特征增强处理：，其中，为所述第一通道增强参数，为第二通道增强参数，在为所述第一帧特征时，为对应的第一增强帧特征，在为所述第二帧特征时，为对应的第二增强帧特征。4.根据权利要求1所述的小样本行为识别方法，其特征在于，所述对所述待识别视频和所述第一基准视频分别进行特征提取处理之前，所述方法还包括：分别从所述待识别视频和所述第一基准视频中均随机提取t帧，t为正整数。5.根据权利要求3所述的小样本行为识别方法，其特征在于，所述根据时序片段原型对所述增强帧特征进行处理，包括：根据所述第一增强帧特征得到第一特征和第二特征，计算得到所述第一特征与所述时序片段原型之间的第一注意力得分，并根据所述第一注意力得分和所述第二特征得到第一高层级时序片段；根据所述第二增强帧特征得到第三特征和第四特征，计算得到所述第三特征与所述时序片段原型之间的第二注意力得分，根据所述第二注意力得分和所述第四特征得到第二高层级时序片段。6.根据权利要求5所述的小样本行为识别方法，其特征在于，所述根据所述增强帧特征和所述高层级时序片段得到所述待识别视频与所述第一基准视频之间的第一距离，包括：根据所述第一增强帧特征和所述第一高层级时序片段得到第一时序分片，并根据所述第二增强帧特征和所述第二高层级时序片段得到第二时序分片；获取所述第一时序分片的第一离散分布、所述第二时序分片的第二离散分布和所述第
一时序分片与所述第二时序分片之间的第二距离；根据所述第一离散分布、所述第二离散分布和所述第二距离得到所述第一距离。7.根据权利要求6所述的小样本行为识别方法，其特征在于，所述根据所述第一离散分布、所述第二离散分布和所述第二距离得到所述第一距离，包括：根据所述第一离散分布、所述第二离散分布和所述第二距离，从多个预设视频匹配矩阵中选取得到所述待识别视频与所述第一基准视频之间的目标视频匹配矩阵，其中，所述目标视频匹配矩阵为使根据所述目标视频匹配矩阵和所述第二距离计算得到的距离最小的矩阵；根据所述视频匹配矩阵得到所述待识别视频与所述第一基准视频之间的第一距离。8.根据权利要求1所述的小样本行为识别方法，其特征在于，所述根据所述第一距离对所述待识别视频进行行为识别，包括：根据所述第一距离得到所述待识别视频属于所述第一基准视频的类别的概率。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的小样本行为识别方法。10.一种控制器，其特征在于，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8中任一项所述的小样本行为识别方法。

技术总结
本发明公开了一种小样本行为识别方法、存储介质、控制器。其中，方法包括：获取待识别视频和第一基准视频，并对待识别视频和第一基准视频分别进行特征提取处理，得到对应的帧特征，以及对帧特征进行特征增强处理，得到增强帧特征；根据时序片段原型对增强帧特征进行处理，得到对应的高层级时序片段，其中，时序片段原型为对随机生成的初始时序片段原型进行动态更新得到；根据增强帧特征和高层级时序片段得到待识别视频与第一基准视频之间的第一距离，根据第一距离对待识别视频进行行为识别。该方法，可以实现高性能的小样本行为识别。可以实现高性能的小样本行为识别。可以实现高性能的小样本行为识别。


技术研发人员：常峰 刘海峰
受保护的技术使用者：合肥中科类脑智能技术有限公司
技术研发日：2023.07.13
技术公布日：2023/8/14