motions专题

CVPR2021 MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions

动机 1、现实世界的运动是非常复杂的,总是在空间和时间上变化。在降水预报中,要准确预测随时空变化的运动,如雷达回波的变形、积累或消散,具有极大的挑战性。 2、最新的已知的视频预测模型,如PredRNN、MIM和Conv-TT-LSTM,主要关注于捕捉随时间的变化简单的状态转换。它们忽略了运动中复杂的变化,所以在高度变化的情况下不能准确地预测。 3、基于光流的方法使用局部不变状态转换来捕捉短期

光流 GMA : Learning to Estimate Hidden Motions with Global Motion Aggregation

GMA的架构         文中的的全局运动聚合(GMA)模块包含在阴影框中,这是RAFT的一个独立附加模块,具有较低的计算开销,可显著提高性能。它将视觉上下文特征和运动特征作为输入,并输出聚合的运动特征,这些特征在整个图像中共享信息。然后将这些聚合的全局运动特征与局部运动特征和视觉上下文特征连接起来,由GRU解码为剩余流。这使网络能够根据特定像素位置的需要,灵活地选择或组合局部和全局运动特

【论文简述】Learning to Estimate Hidden Motions with Global Motion Aggregation(ICCV 2021)

一、论文简述 1. 第一作者:Shihao Jiang 2. 发表年份:2021 3. 发表期刊:ICCV 4. 关键词:光流、代价体、遮挡区域、全局聚合、GRU 5. 探索动机:遮挡问题是光流最大的挑战之一。 定义遮挡:We first define what we mean by occlusion in the context of optical flow estimatio