Optical Flow Guided Feature(OFF)简单介绍

2023-10-17 21:40

本文主要是介绍Optical Flow Guided Feature(OFF)简单介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这篇论文的code最初只有Caffe版本,这里附上pytorch版本。

JoeHEZHAO/Optical-Flow-Guided-Feature-Pytorch: Optical Flow Guided Feature for Action Recognition-Pytorch (github.com)icon-default.png?t=M85Bhttps://github.com/JoeHEZHAO/Optical-Flow-Guided-Feature-Pytorch由于一些原因,需要对这篇论文介绍的OFF部分代码进行拆解,因此先上论文中的相关部分,再做进一步解释,水平有限,表达不准确敬请谅解。

论文传送门:

Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition (thecvf.com)icon-default.png?t=M85Bhttps://openaccess.thecvf.com/content_cvpr_2018/papers/Sun_Optical_Flow_Guided_CVPR_2018_paper.pdf对于传统的CNN来说,在对视频进行特征提取时比较困难,因为视频不同于图像,空间特征+时间特征更能代表视频。这篇论文基于TSN的网络结构,在此基础上作者设计了一个OFF Unit用来进行时间维度特征的提取,网络的整体结构有兴趣的可以查看论文,在此我仅仅介绍OFF Unit的结构以及代码部分。

首先看看OFF Unit在整体网络结构的位置:

图 1 论文网络结构

上图中有两个特征提取的子网络,提取不同时段的特征,一个由OFF Unit构成的OFF子网通过上面两个子网提取时间信息,最后通过每个子网的Class Score进行融合来进行分类。接下来进一步看OFF Unit的结构图:

图 2 OFF Unit 结构 

论文中Sobel算子和Subtract的结合称为OFF,再加上前面的1*1卷积构成OFF layer。特征经过OFF Unit进行两次卷积,一个分支利用Sobel算子提取空间特征,利用逐元素减法(Subtract)操作提取时间信息,结合图一,经OFF Unit出来的信息通过ReseNet进入下一模块。

OFF模块基本的代码在代码中有所体现,其并未将OFF单独作为Class进行实现,论文中含有多个OFF,部分OFF在进行卷积时输入的通道数以及尺寸均有所不同,此处仅仅以motion_3a为例,至于如何加入到其他的网络结构,需要对里面的shape进行更进一步的计算和设计,否则会出现维度不一致等问题,此处将OFF作为一个Class进行实现,相关代码如下,如有错误敬请指正。

from __future__ import print_function, division, absolute_import
import torch
import torch.nn as nn
import torch.utils.model_zoo as model_zoo
import os
import sys
from torch.autograd import Variable
from util import SobelFilter, SobelFilter_Diagonal
from basic_ops import *
import pdbclass OFFNet(nn.Module):def __init__(self, batch, length, in_channels, h, w):super(OFFNet, self).__init__()self.batch = batchself.length = lengthself.motion_conv_gen = nn.Conv2d(in_channels[0], 128, kernel_size=(1, 1), stride=(1,1))self.motion_spatial_down = nn.Conv2d(in_channels[1], 32, kernel_size=(1,1), stride=(1,1))self.motion_spatial_grad = nn.Conv2d(in_channels[2], 32, kernel_size=(3,3), stride=(1,1), padding=(1,1), groups=32, bias=True)self.motion_relu_gen = nn.ReLU()self.dropout = nn.Dropout(p=0.8)def forward(self, x):# print(x.shape)# motion operating on [batch * length, c, h, w] level# motion_conv_gen = self.motion_conv_gen(x)motion_conv_gen = self.motion_conv_gen(x)motion_relu_gen = self.motion_relu_gen(motion_conv_gen)channel_size = motion_relu_gen.shape[1] # reshape_rgb_frames = motion_relu_gen.view(self.batch, -1, self.h, self.w)# print(reshape_rgb_frames.shape)last_frames = reshape_rgb_frames[:, channel_size:, :, :]# print(last_frames.shape)first_frames = reshape_rgb_frames[:, :-channel_size, :, :]# print(first_frames.shape)eltwise_motion = last_frames - first_frames# print(eltwise_motion.shape)# convert back to [batch * (time - 1), c, h, w]temporal_grad = eltwise_motion.view(-1, channel_size, self.h, self.w) spatial_frames = x[:self.batch * (self.length - 1), :, :, :]# downgrade dimension to 32spatial_down = self.motion_spatial_down(spatial_frames) spatial_grad = self.motion_spatial_grad(spatial_down)spatial_grad = self.dropout(spatial_grad)# print(spatial_grad.shape)# concatenate temporal and spatial dimension# import pdb;pdb.set_trace()# print(spatial_grad.shape)# print(temporal_grad.shape)motion = torch.cat((spatial_grad, temporal_grad), dim=1)return motion#in_channels[motion_3a:[256,256,32],
#            motion_3b:[320,320,32],
#            motion_3c:[576,576,32],
#            motion_4a:[576,576,32],
#            motion_4b:[576,576,32],
#            motion_4c:[608,608,32],
#            motion_4d:[608,608,32],
#            motion_5a:[1024,1024,32],
#            motion_5b:[1024,1024,32]
#            ]]

代码中均有注释,对应于OFF layer的结构即可读懂,由于论文中OFF进行卷积时,输入通道数不一致,此处将输入通道数作为参数传入,方便将模块加入其他模块中,此论文中输出通道数一致,不做进一步处理,也可自行更改作为参数处理, 最下面的为本文中的所有OFF中操作的输入通道数。至于里面的sobel算子等,想要进一步了解的可以自行查阅相关资料。

这篇关于Optical Flow Guided Feature(OFF)简单介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/228115

相关文章

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

MySQL中慢SQL优化的不同方式介绍

《MySQL中慢SQL优化的不同方式介绍》慢SQL的优化,主要从两个方面考虑,SQL语句本身的优化,以及数据库设计的优化,下面小编就来给大家介绍一下有哪些方式可以优化慢SQL吧... 目录避免不必要的列分页优化索引优化JOIN 的优化排序优化UNION 优化慢 SQL 的优化,主要从两个方面考虑,SQL 语

如何使用Python实现一个简单的window任务管理器

《如何使用Python实现一个简单的window任务管理器》这篇文章主要为大家详细介绍了如何使用Python实现一个简单的window任务管理器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 任务管理器效果图完整代码import tkinter as tkfrom tkinter i

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

JAVA SE包装类和泛型详细介绍及说明方法

《JAVASE包装类和泛型详细介绍及说明方法》:本文主要介绍JAVASE包装类和泛型的相关资料,包括基本数据类型与包装类的对应关系,以及装箱和拆箱的概念,并重点讲解了自动装箱和自动拆箱的机制,文... 目录1. 包装类1.1 基本数据类型和对应的包装类1.2 装箱和拆箱1.3 自动装箱和自动拆箱2. 泛型2

Java中数组转换为列表的两种实现方式(超简单)

《Java中数组转换为列表的两种实现方式(超简单)》本文介绍了在Java中将数组转换为列表的两种常见方法使用Arrays.asList和Java8的StreamAPI,Arrays.asList方法简... 目录1. 使用Java Collections框架(Arrays.asList)1.1 示例代码1.