Rethinking overlooked aspects in vision-language models

本文主要是介绍Rethinking overlooked aspects in vision-language models，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

探讨多模态视觉语言模型的一些有趣结论欢迎关注 CVHub！https://mp.weixin.qq.com/s/zouNu-g-33_7JoX3Uscxtw1.Introduction

        多模态模型架构上的变化不大，数据的差距比较大，输入分辨率和输入llm的视觉token大小是比较关键的，适配器，VIT和语言模型则不是那么关键。InternVL-1.5，Qwen-VL-Max和DeepSeek-VL利用了Laion-5B和COYO这样的大规模预训练数据，数据量达到10亿，InternVL-1.5将sft划分为11个子类，并为每个子类收集相应的开源数据，对于预训练数据，LLM存在一个scaling law，但是在LVM中尚未发现。LLaVA在60多万数据上预训练，15w数据上sft效果就很好了。

这篇关于Rethinking overlooked aspects in vision-language models的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---