电子信息技术

本发明提供了一种适用于小样本动作识别的基于注意力的双原型网络，包括两个原型网络，两个原型网络分别基于两套注意力机制构建，其中第一个原型网络为基于以查询集为中心的注意力机制，第二个原型网络基于以支持集为中心的注意力机制。本发明双原型网络中，以支持集为中心构造的注意力机制，通过计算类内相似度，加强支持集样本的表征能力，并弱化离群样本和噪声样本；而以查询集为中心构造的注意力机制则主要为了构建特定查询样本的原型，通过计算支持集与查询集之间的相似性，加强原型的表征能力，进而提高动作的识别能力。相比于其他现有同类网络，本发明双原型网络在小样本动作识别领域具有更高准确度。

动作识别是计算机视觉领域的基础性问题，深度学习模型的成功应用使得动作识别任务取得了大跨度的进步。但是深度学习任务往往需要大量的标注数据，成本极高；因而小样本动作学习任务(FSAR)成为未来动作识别领域的一个热点研究方向。小样本学习旨在少量标注数据中学习新的类别，基于度量学习的原型网络便是其中的一种代表网络。

目前，FSAR的解决方法主要是基于二维卷积的方法，通过利用二维卷积获取视频的空间信息的同时，对时序信息进行建模，从而对连贯的动作信息进行提取。

然而，FSAR面临的挑战依然非常突出。由于视频序列较长而样本较少，因此如何更好地获取高质量时空信息成为动作识别任务的关键问题。而注意力机制的出现为推动FSAR发展提供了可能。注意力机制能够提高网络模型对输入数据不同特征的针对性关注能力，可以有效处理长序列的视频数据，最大限度减少动作信息的丢失。然而简单地引入注意力机制，会导致整个模型完全以任务为导向，大大降低其在复杂问题中的泛化能力；当新样本的动作多样以及动作背景复杂的时候，网络就会被样本噪声带偏，导致动作识别出现偏差。

本发明的有益效果为：

(1)本发明提供了一种基于注意力的双原型网络，能够适用于小样本动作识别任务领域。具体分别以查询集为中心和以支持集为中心构造注意力机制，并在上述两套注意力机制的基础上构建双原型网络。其中以支持集为中心构造的注意力机制，通过计算类内相似度，加强支持集样本的表征能力，并弱化离群样本和噪声样本；而以查询集为中心构造的注意力机制则主要为了构建特定查询样本的原型，通过计算支持集与查询集之间的相似性，加强原型的表征能力，进而提高动作的识别能力。

(2)本发明提出的双原型网络，在同等小样本训练情况下，相比其他现有网络具有综合更高的动作识别准确率。