电子信息技术

本发明的目的是提出跨层融合的多模型投票系统的动作识别设计方法。 本发明通过近似排序池化的方法，将视频压缩成一张RGB图像即近似动态图像，该方法可有效压缩视频数据，减少冗余的视频数据。为避免过度压缩视频数据，并增加卷积神经网络模型训练的数据量，对近似动态图像进行水平翻转操作。同时为增加动作识别模型中全连接层训练的数据量，对模型提取到的卷积特征进行水平翻转，使得全连接的参数可得到充分的训练，为便于描述称此模型为无融合模型。在无融合模型的基础上，参考残差网络模型的等值映射结构，构造跨层融合模型。采用三种视频数据划分方式以及两种生成近似动态图像的顺序在无融合模型以及跨层融合模型上分别进行训练，得到多个不同的分类器。通过集成的思想将所有分类器进行融合，构成多模型投票的动作识别系统。事实上，多模型投票的识别系统比其它单个动作识别系统鲁棒性更强，更具有现实意义，因此其具有重要的实际应用价值。

基于跨层融合的多模型投票均值动作识别方法是一种基于深度学习的动作识别方法。它通过融合多个不同的卷积神经网络，对输入的视频进行特征提取，并通过投票均值算法进行动作分类。

这种方法的应用前景非常广泛。首先，在视频监控领域，可以用来识别各种动作，例如人员的行走、跑步、骑车等，或者车辆的行驶、加速、刹车等。这对于安防和智能交通等领域都有很大的应用价值。

其次，在体育分析领域，可以用来识别运动员的各种动作，例如投篮、射门、传球、防守等。这对于教练和运动员的训练和分析都有很大的帮助。

此外，在医疗康复领域，可以用来识别患者的康复动作，例如走路、跑步、抬手等。这对于康复训练和评估效果都有很好的应用前景。

总之，基于跨层融合的多模型投票均值动作识别方法具有广泛的应用前景，可以在各种视频分析领域中发挥重要的作用。

本发明中的基于跨层融合的多模型投票动作识别方法，其中添加了第二层和第五层融合结构的跨层融合模型与原模型相比，可以有效地降低模型特征在网络模型中传输时的损失问题，保证特征的完整性，而且跨层融合模型中在预处理前和全连接层分别对生成的近似动态图像和提取到的特征信息进行水平翻转操作，直接增加了图像的数据量和有效特征的数据量，有利于提高模型的动作识别率，特别是增加有效可区别的特征信息的数据量直接降低了模型的过拟合现象；而多模型投票的方法可以集成多个动作识别模型，通过多个模型计算同一个动作类的识别率，降低深度学习中单一动作识别模型识别率的随机性，因此多模型的动作识别模型分类更加可靠且具有更强的鲁棒性，识别率比其它动作识别方法如基于时间流和空间流的双流网络模型更加优越。