文章链接：https://arxiv.org/pdf/2403.02330 视觉语言模型（VLMs）通过将大语言模型（LLMs）与图像文本对集成，经历了快速的发展，但由于视觉编码器的空间意识有限以及使用缺乏详细的区域特定字幕的粗粒度训练数据，它们在详细的区域视觉理解方面存在困难。为了解决这个问题，引入了RegionGPT（简称RGPT），这是一个专门设计用于复杂区域级字幕和理解的新框架。