电子信息技术

本发明提出一种时空卷积注意力网络用于视频中动作识别的方法。改方法分别通过本发明设计的空间卷积注意力模块和时序卷积注意力模块来计算两种视频数据信号获得最终的动作识别分类。其中空间卷积注意力模块处理RGB信号特征，时序卷积注意力模块处理由TVL1算法计算得到的光流特征。首先，本方法对原始的视频数据进行预处理，使用稀疏取帧的方式对两种信号输入进行采样得到神经网络的输入对象——RGB帧序列和堆叠的光流帧序列。接着使用残差网络ResNet-50前五层卷积层作为基础网络，再使用ResNet-50前五层卷积层对两种输入信号进行特征提取，得到RGB特征图和光流特征图。

一种时空卷积注意力网络用于视频中动作识别的方法具有广泛的应用前景。动作识别是计算机视觉领域中一个重要的问题，它可以应用于许多领域，如视频监控、人机交互、体育分析、虚拟现实等。

例如，在视频监控领域中，这种方法可以用于识别视频中的异常动作，如入侵、盗窃、火灾等，并发出警报。在人机交互领域中，这种方法可以用于识别用户的动作，并实现自然的交互。在体育分析领域中，这种方法可以用于分析运动员的动作，并评估其表现。在虚拟现实领域中，这种方法可以用于识别用户的动作，并实现更真实的虚拟体验。

总的来说，一种时空卷积注意力网络用于视频中动作识别的方法具有广泛的应用前景，有望在计算机视觉领域的许多领域中发挥重要作用。

本发明公开了一种时空卷积注意力网络用于视频中动作识别的方法，结合了基于自注意力和2D卷积神经网络两种方法的优点，解决了2D卷积网络不具备在全局视角上学习特征相关性的能力和自注意力忽略局部的位置特性的问题。在UCF101和HMDB51数据集上的实验结果表明本发明具有较好的识别效果。