双流网络论文精读笔记

2023-11-22 22:36

本文主要是介绍双流网络论文精读笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

精读视频:双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili

Two-Stream Convolutional Networks for Action Recognition in Videos

传统的神经网络难以学习到物体的运动信息,双流网络则通过光流将物体运动信息抽取出来再传递给神经网络 给模型提供先验信息,再让网络学习动作和输出的映射关系

其他论文:deep video

  • Spatial stream ConvNet:空间流神经网络,关注 appearance 信息,输入是单帧图片 输出分类概率,从静止图像中做动作识别 是图像分类任务,可以预训练
  • Temporal stream ConvNet:时间流神经网络,关注 motion information,输入一系列光流(optical flow)图片 输出也是分类概率
  • 两者分类概率取加权平均 得到最终预测

光流网络

光流

每两张图片得到一张光流 四张连续帧得到三个光流,分为水平运动和垂直运动的两维光流,每个像素点都有对应光流值

两种叠加光流图片输入到神经网络的方法

方法一:左边的图,直接堆叠,在每张图同样位置的像素点处询问该点的运动轨迹

方法二:根据像素点的轨迹,下一帧运动到另一点 再从那一点继续

Bi-directional optical flow 双向光流

上述两种方法都是前向的光流计算,而光流反过来计算也是可以的

作者把一个视频的前半段用于计算前向光流,后半段计算反向光流

光流网络的输入

空间流网络:输入 channel = 3,RGB三通道

时间流网络:L+1 张连续单帧图像得到 L 张光流图,输入的 channel 数是 2L,光流图的叠加是先叠加水平、后叠加竖直方向的光流位移

实现细节

测试部分

  • 不论视频多长,等间隔抽取 25 帧
  • 空间流:对每一帧,取四角和中心得到5张图,将该帧翻转过来后同样操作,共计得到10张;25帧则共250张图,都经过空间流神经网络得到结果
  • 时间流:对每一帧都往后取11帧图 抽取得到10张光流图

如何预处理和计算光流

每一帧、每个像素点都有光流值,处理需要的时间空间都太大,所以进行压缩:把光流值压缩到0~255且变成整数,并把光流存成JPEG图片形式 光流图变小了

这篇关于双流网络论文精读笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/413395

相关文章

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

ASIO网络调试助手之一:简介

多年前,写过几篇《Boost.Asio C++网络编程》的学习文章,一直没机会实践。最近项目中用到了Asio,于是抽空写了个网络调试助手。 开发环境: Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议: UDP + TCP Client + TCP Server 独立的Asio(http://www.think-async.com)只包含了头文件,不依

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学