Awesome-LLMs-for-Video-Understanding - 基于大型语言模型的视频理解研究

本文主要是介绍Awesome-LLMs-for-Video-Understanding - 基于大型语言模型的视频理解研究,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Awesome-LLMs-for-Video-Understanding 是 基于大型语言模型的视频理解研究

  • github : https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding
  • paper:Video Understanding with Large Language Models: A Survey
    https://arxiv.org/pdf/2312.17432

视频理解的发展

image


为什么我们需要 vid-llms ?

image


😎 Vid-LLMs:模型

image


🤖基于llm的视频代理

TitleModelDateCodeVenue
Socratic Models: Composing Zero-Shot Multimodal Reasoning with LanguageSocratic Models04/2022project pagearXiv
Video ChatCaptioner: Towards Enriched Spatiotemporal Descriptions githubVideo ChatCaptioner04/2023codearXiv
VLog: Video as a Long Document githubVLog04/2023code-
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding SystemChatVideo04/2023project pagearXiv
MM-VID: Advancing Video Understanding with GPT-4V(ision)MM-VID10/2023-arXiv
MISAR: A Multimodal Instructional System with Augmented Reality githubMISAR10/2023project pageICCV
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long VideosGrounding-Prompter12/2023-arXiv
NaVid: Video-based VLM Plans the Next Step for Vision-and-Language NavigationNaVid02/2024project page -RSS
VideoAgent: A Memory-augmented Multimodal Agent for Video UnderstandingVideoAgent03/2024project pagearXiv

👾 Vid-LLM 预训练

标题模型日期代码聚会地点
从大型语言模型中学习视频表示 githubLaViLa12/2022代码CVPR的
Vid2Seq:密集视频字幕 视觉语言模型 的大规模预训练Vid2Seq02/2023代码CVPR的
一个 视觉-音频-字幕-文本全模态基础模型和数据集 githubVAST05/2023代码神经IPS
Merlin : 赋予多式联运 LLM 以远见Merlin12/2023-arXiv的

👀Vid-LLM指令调优


使用连接适配器进行微调
标题模型日期代码聚会地点
Video- llama : 一个用于视频理解的教学微调视觉语言模型 githubVideo-LLaMA06/2023代码arXiv的
VALLEY : 视频助手与大语言模型增强能力 githubVALLEY06/2023代码-
视频聊天技术:通过大视觉和语言模型实现详细的视频理解 githubVideo-ChatGPT06/2023代码arXiv的
多模态语言建模与图像、音频、视频和文本集成 githubMacaw-LLM06/2023代码arXiv的
LLMVA-GEBC:用于通用事件边界字幕的带有视频适配器的大型语言模型 githubLLMVA-GEBC06/2023代码CVPR的
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 githubmPLUG-video06/2023代码arXiv的
MovieChat:从密集令牌到稀疏记忆的长视频理解 githubmPLUG-video07/2023代码arXiv的
大型语言模型 是视频问答的时间 和因果推理器 githubLLaMA-VQA10/2023代码EMNLP
Video-LLaVA:通过投影前的对齐学习统一的视觉表现 githubVideo-LLaVA11/2023代码arXiv的
Chat-UniVi:统一的视觉表示使大型语言模型具有图像和视频理解能力 githubChat-UniVi11/2023代码arXiv的
LLaMA-VID:在大型语言模型中,一个图像值2个符号 githubLLaMA-VID11/2023代码arXiv的
VISTA-LLAMA:可靠的视频叙述者通过相等距离的视觉标记VISTA-LLAMA12/2023-arXiv的
**视频理解视听 LLM **-12/2023-arXiv的
AutoAD:上下文中的电影描述AutoAD06/2023代码CVPR的
AutoAD II:续集-谁,什么时候,什么在电影音频描述AutoAD II10/2023-ICCV
多模态大型语言模型的细粒度视听联合表示 githubFAVOR10/2023代码arXiv的
**VideoLLaMA2:推进时空建模和音频理解视频 LLM ** githubVideoLLaMA206/2024代码arXiv的

使用插入适配器进行微调
标题模型日期代码聚会地点
Otter : 具有上下文指令调优的多模态模型 githubOtter06/2023代码arXiv的
VideoLLM : 用大语言模型建模视频序列 github视频 LLM05/2023代码arXiv的

混合适配器微调
标题模型日期代码聚会地点
VTimeLLM:授权 LLM 掌握视频时刻 githubVTimeLLM11/2023代码arXiv的
GPT4Video:用于指令跟随理解和安全意识生成的统一多模态大语言模型GPT4Video11/2023-arXiv的

🦾混合方法

标题模型日期代码聚会地点
VideoChat:以聊天为中心的视频理解 githubVideoChat05/2023代码演示arXiv的
PG-Video-LLaVA:像素接地大型视频语言模型 githubPG-Video-LLaVA11/2023代码arXiv的
TimeChat:用于长视频理解的时间敏感多模态大型语言模型 githubTimeChat12/2023代码CVPR的
Video-GroundingDINO : 走向开放词汇时空视频接地 githubVideo-GroundingDINO12/2023代码arXiv的
一个视频价值4096个代币:用语言描述视频,以零镜头理解它们Video409605/2023EMNLP

🦾免培训方法

标题模型日期代码聚会地点
SlowFast-LLaVA : 视频大型语言模型的强大无训练基线SlowFast-LLaVA07/2024-arXiv的


任务、数据集和基准


认知与预期
名字日期链接聚会地点
Charades家庭中的好莱坞:众包数据收集以了解活动2016链接ECCV
YouTube8MYouTube-8M:一个大规模视频分类基准2016链接-
ActivityNetActivityNet:人类活动理解的大规模视频基准2015链接CVPR的
Kinetics-GEBCGEB:通用事件边界标注、基础和检索的基准2022链接ECCV
**Kinetics-400动力学人类动作视频数据集2017链接-
VidChapters-7MVidChapters-7M : 视频章节的规模2023链接神经IPS

标题和描述
名字日期链接聚会地点
微软研究视频描述语料库 | Microsoft Research Video Description Corpus (MSVD)为释义评估收集高度平行的数据2011链接ACL
微软研究院视频转文本(MSR-VTT)MSR-VTT:用于桥接视频和语言的大型视频描述数据集2016链接CVPR
Tumblr GIF (GIF)TGIF:动画GIF描述的新数据集和基准2016链接CVPR
Charades家庭中的好莱坞:活动理解的众包数据收集2016链接ECCV
Charades-Ego演员和观察者:第一人称和第三人称视频的联合建模2018链接CVPR
ActivityNet Captions视频中的密集字幕事件2017链接ICCV
HowTo100mHowTo100M:通过观看1亿段视频片段来学习文本视频嵌入2019链接ICCV
Movie Audio Descriptions (MAD)一个可扩展的数据集,用于从电影音频描述的视频的语言基础2021链接CVPR的
YouCook2基于网络教学视频的程序自动学习2017链接AAAI
MovieNetMovieNet:电影理解的整体数据集2020链接ECCV
Youku-mPLUGYouku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集2023链接arXiv
Video Timeline Tags (ViTT)密集视频字幕的多模态预训练2020链接AACL-IJCNLP
TVSumTVSum:使用标题总结网络视频2015链接CVPR的
SumMe从用户视频创建摘要2014链接ECCV
VideoXumVideoXum:视频的跨模态视觉和纹理摘要2023链接IEEE Trans Multimedia
Multi-Source Video Captioning (MSVC)**VideoLLaMA2:推进时空建模和音频理解视频 LLM **2024链接arXiv

接地与回收
名字日期链接聚会地点
Epic-Kitchens-100重新调整自我中心视野2021链接IJCV
VCR (Visual Commonsense Reasoning)从识别到认知:视觉常识推理2019链接CVPR的
Ego4D-MQ 和 Ego4D-NLQEgo4D:环游世界在3000小时的自我中心视频2021链接CVPR的
Vid-STG它在哪里:多形式句子的时空视频基础2020链接CVPR的
Charades-STATALL:通过语言查询进行时间活动定位2017链接ICCV
DiDeMo用自然语言定位视频中的瞬间2017链接ICCV

问题回答
名字日期链接聚会地点
MSVD-QA通过对外观和动作的逐渐细化的注意进行视频问答2017链接ACM Multimedia
MSRVTT-QA通过对外观和动作的逐渐细化的注意进行视频问答2017链接ACM Multimedia
TGIF-QATGIF-QA:面向视觉问答的时空推理2017链接CVPR
ActivityNet-QAActivityNet-QA:一个通过问答来理解复杂网络视频的数据集2019链接AAAI
Pororo-QADeepStory:视频故事QA由深度嵌入式记忆网络2017链接IJCAI
TVQATVQA:本地化,组合视频问答2018链接EMNLP

视频教学调优

预训练 数据集
名字日期链接聚会地点
VidChapters-7分钟视频章节- 7m:视频章节的规模2023链接神经IPS
值为1米VALOR:视觉-听觉-语言全感知预训练模型和数据集2023链接arXiv的
Youku-mPLUGYouku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集2023链接arXiv的
InternVid(英语:InternVid)intervid:用于多模态理解和生成的大规模视频文本数据集2023链接arXiv的
VAST-27M一个视觉-音频-字幕-文本全模态基础模型和数据集2023链接神经IPS

微调数据集
名字日期链接聚会地点
模仿它MIMIC-IT:多模态上下文指令调谐2023链接arXiv的
VideoInstruct100K视频聊天技术:通过大视觉和语言模型实现详细的视频理解2023链接arXiv的
TimeIT公司TimeChat:用于长视频理解的时间敏感多模态大型语言模型2023链接CVPR的

基于视频的大型语言模型基准
标题日期代码聚会地点
LVBench:一个极长的视频理解基准06/2024代码-
Video-Bench:用于评估基于视频的大型语言模型的综合基准和工具包11/2023代码-
感知测试:多模态视频模型的诊断基准05/2023代码NeurIPS 2023, ICCV 2023 研讨会
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github07/2023代码-
FETV:开放域文本到视频生成的细粒度评估基准 github11/2023代码神经IPS 2023
MoVQA:理解长篇电影的通用问答基准12/2023代码-
MVBench:一个全面的多模态视频理解基准12/2023代码-
TempCompass:视频 LLM 真的懂视频吗? github03/2024代码ACL 2024
Video- mme:首个视频分析中多模态 LLM 的综合评估基准 github06/2024代码-
视频幻觉:在大型视频语言模型中评估内在和外在幻觉 github06/2024代码-

2024-08-24(六)

这篇关于Awesome-LLMs-for-Video-Understanding - 基于大型语言模型的视频理解研究的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1104912

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

C语言字符函数和字符串函数示例详解

《C语言字符函数和字符串函数示例详解》本文详细介绍了C语言中字符分类函数、字符转换函数及字符串操作函数的使用方法,并通过示例代码展示了如何实现这些功能,通过这些内容,读者可以深入理解并掌握C语言中的字... 目录一、字符分类函数二、字符转换函数三、strlen的使用和模拟实现3.1strlen函数3.2st

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

C语言中的浮点数存储详解

《C语言中的浮点数存储详解》:本文主要介绍C语言中的浮点数存储详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、首先明确一个概念2、接下来,讲解C语言中浮点型数存储的规则2.1、可以将上述公式分为两部分来看2.2、问:十进制小数0.5该如何存储?2.3 浮点

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、