在计算机视觉领域，视频动作识别曾长期面临深度学习效果不如传统方法的困境。2014年前后，图像识别领域已被深度学习全面主导，但视频动作识别中，深度学习方法的准确率仅约65%，而基于“密集轨迹”的传统手工特征方法能达到87%左右。这种差距意味着每识别五个动作，深度学习就可能比传统方法多错一个以上，成为当时该领域亟待突破的难题。
问题的核心在于如何让神经网络理解视频中的“动作”。视频与静态图像的最大区别在于时间维度，早期尝试将视频多帧直接堆叠输入三维卷积网络，希望网络自主学习运动规律，但效果不佳。研究人员发现，原始像素的时序变化包含大量无关信息，如同让未学过物理的人通过晃动的树枝判断风向，运动信号易被颜色、纹理等干扰，导致网络难以抓住关键线索。
转机出现在对“光流”的应用上。光流是一种描述像素点在连续帧间移动方向和速度的表示方法，其场图如同箭头图，箭头指向移动方向，长度代表速度。例如挥手时，手臂区域箭头密集指向挥动方向，背景箭头则接近零。研究人员提出“双流卷积网络”，将运动信息与画面信息分离处理：空间流网络输入单张RGB图像，识别画面中的物体和场景；时间流网络输入连续多帧的光流场，专注捕捉动作模式。两者独立训练，预测时加权融合结果，权重根据网络判断的置信度动态调整。
这种“分工合作”的设计并非偶然。论文作者从神经科学中汲取灵感，发现人类视觉皮层存在两条独立通路——“what通路”处理物体识别，“where/how通路”处理空间和运动信息。双流网络的结构与此高度契合，避免了画面与运动信息统计规律的冲突。实验表明，若强行合并输入，网络性能反而下降，类似人脑同时处理颜色和形状时易混淆，而分工处理则更高效。
光流的计算方式也经过精心选择。论文采用TVL1算法，该算法通过优化图像亮度一致性和运动平滑性，在保持边缘清晰的同时生成稠密准确的运动估计。研究人员还尝试了不同光流输入方式：叠加多帧光流可捕捉动作持续性，提升识别效果；保留运动方向信息（如左右）比仅保留幅度更有效，证明网络能利用方向维度进行判断。
数据不足是深度学习的另一大挑战。当时主流视频数据集规模较小，直接训练易导致过拟合。论文借鉴图像识别经验，用ImageNet预训练权重初始化空间流网络，再通过微调适应视频任务；时间流网络虽无法直接使用预训练权重，但通过数据增强技术（如裁剪、翻转、色彩抖动）扩充样本，缓解了数据稀缺问题。
实验结果验证了双流网络的有效性。在UCF-101和HMDB-51两个主流数据集上，双流网络准确率分别达到88.0%和59.4%，首次追平并小幅超越传统密集轨迹方法。进一步分析发现，仅空间流网络在UCF-101上准确率仅73.0%，而仅时间流网络达83.7%，两者差距达10个百分点，凸显运动信息在动作识别中的核心地位。若仅依赖空间流，准确率会下降15个百分点，证明运动信息是决定成败的关键。
双流网络的思路为后续研究奠定了基础。2016年，TSN（时序分段网络）通过均匀分段采样视频，综合全局信息，将UCF-101准确率推高至94%以上；2017年，I3D（膨胀三维卷积网络）将二维卷积扩展为三维，使空间流网络能直接处理连续帧，配合大规模Kinetics数据集，进一步提升了性能。这些改进均延续了双流网络“运动与画面分离建模”的核心思想，推动了视频动作识别领域的持续发展。
