Qwen-VL

2024-01-26 12:28
文章标签 qwen vl

本文主要是介绍Qwen-VL，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

模型架构

  • Large Language Model: Qwen-VL adopts a large language model as its foundation component. The model
    is initialized with pre-trained weights from Qwen-7B
  • Visual Encoder: The visual encoder of Qwen-VL uses the Vision Transformer (ViT) (Dosovitskiy et al., 2021)
    architecture, initialized with pre-trained weights from Openclip’s ViT-bigG
  • 位置感知视觉语言适配器：为了缓解由长图像特征序列引起的效率问题，Qwen-VL引入了一个视觉语言适配器，用于压缩图像特征。该适配器包括一个单层交叉注意模块，随机初始化。
    • 该模块使用一组可训练向量（嵌入）作为查询向量query，并将来自视觉编码器的图像特征作为交叉注意操作的Key。这种机制将视觉特征序列压缩到固定长度的256。
    • 为了对细粒度图像进行理解并保留位置信息，Qwen-VL 在交叉注意机制的Query-Key对中加入了2D绝对位置编码，以减轻在压缩过程中可能出现的位置细节丢失。长度为256的压缩图像特征序列随后被送入大型语言模型进行处理。

在这里插入图片描述

Input

  • 图像输入： and 分割图像，且支持多张图片

  • 包围框输入和输出：为了增强模型对细粒度视觉理解和定位的能力，Qwen-VL的训练包括区域描述、问题和检测的数据形式。与涉及图像文本描述或问题的传统任务不同，这项任务需要模型准确理解并生成指定格式的区域描述。对于给定的边界框，应用规范化处理（在范围[0, 1000]内）并转换为指定的字符串格式：“(Xtopleft, Ytopleft),(Xbottomright, Ybottomright)”。该字符串被标记为文本，不需要额外的位置词汇。

  • 为了区分检测字符串和常规文本字符串，在边界框字符串的开头和结尾分别添加两个特殊标记（< box >和< /box >）。

  • 此外，为了适当将边界框与其对应的描述性词或句子进行关联，引入了另一组特殊标记（< ref>和< /ref>），标记边界框所指的内容。

这篇关于Qwen-VL的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/646801。

相关文章

MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL

MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL

2024年8月29日，阿里发布了 Qwen2-VL！Qwen2-VL 是基于 Qwen2 的最新视觉语言大模型。与 Qwen-VL 相比，Qwen2-VL 具有以下能力： SoTA对各种分辨率和比例的图像的理解：Qwen2-VL在视觉理解基准上达到了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。理解 20 分钟+ 的视频：Qwe
阅读更多...
通义千问Qwen 2大模型的预训练和后训练范式解析

通义千问Qwen 2大模型的预训练和后训练范式解析

LLMs，也就是大型语言模型，现在已经发展得挺厉害的。记得最开始的时候，我们只有GPT这样的模型，但现在，我们有了一些更复杂的、开放权重的模型。以前，训练这些模型的时候，我们主要就是做预训练，但现在不一样了，我们还会加上后训练这个阶段。 咱们今天就以通义千问Qwen 2这个模型为例，来好好分析一下Qwen 2的预训练和后训练都是怎么搞的。它在大型语言模型界里算是挺能打的。不过，虽然它很强
阅读更多...
LLM代码实现-Qwen（挂载知识库）

LLM代码实现-Qwen（挂载知识库）

为什么要挂载知识库？ LLM 在回答用户的问题时可能会产生幻觉，或者由于训练数据中不包含用户想要的内容而无法回答，通常情况下我们可以选择微调模型或者外挂知识库来缓解这类问题。微调模型的对数据和算力都有一定的要求，而知识库的门槛会更低一些，所以通常情况下会选择外挂知识库高效地来解决这类问题。 挂载知识库其实相当于引入外部知识，为了扩展语言模型以减少歧义，从大型文本数据库中检索相关文档。通常将输入
阅读更多...
Qwen-7B-Chat大模型安装训练推理-helloworld

Qwen-7B-Chat大模型安装训练推理-helloworld

初始大模型之helloworld编写 开发环境：modelscope GPU版本上测试的，GPU免费36小时 ps:可以不用conda直接用环境自带的python环境使用 魔搭社区 安装conda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 1.2 bash Minicond
阅读更多...
阿里云Qwen2-VL语言模型：特点与实用性解析

阿里云Qwen2-VL语言模型：特点与实用性解析

最近，阿里云推出了最新的视觉语言模型——Qwen2-VL。作为一款先进的视觉语言模型，Qwen2-VL的发布无疑为AI领域注入了新的活力。那么，这款模型有哪些特别之处？它的实用性又如何呢？今天我们就来详细解析一下Qwen2-VL的特点与实际应用。 一、Qwen2-VL的核心特点 1. 多分辨率与比例图像的理解能力 Qwen2-VL最大的亮点之一，就是它对多分辨率和比例图像的理解能力。
阅读更多...
240831-Qwen2-VL-7B/2B部署测试

240831-Qwen2-VL-7B/2B部署测试

A. 运行效果 B. 配置部署 如果可以执行下面就执行下面： pip install git+https://github.com/huggingface/transformers accelerate 否则分开执行 git clone https://github.com/huggingface/transformerscd transformerspip install .
阅读更多...
通义千问-VL-Chat-Int4

通义千问-VL-Chat-Int4

Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型性能强大，具备多语言对话、多图交错对话等能力，并支持中文开放域定位和细粒度图像识别与理解。 安装要求 (Requirements) python 3.8及以上版本pytor
阅读更多...
AI大模型日报#0830:智谱AI推出多款升级模型、阿里开源多模态Qwen2-VL

AI大模型日报#0830:智谱AI推出多款升级模型、阿里开源多模态Qwen2-VL

导读：AI大模型日报，爬虫+LLM自动生成，一文览尽每日AI大模型要点资讯！目前采用“文心一言”（ERNIE-4.0-8K-latest）、“智谱AI”（glm-4-0520）生成了今日要点以及每条资讯的摘要。欢迎阅读！《AI大模型日报》今日要点：智谱AI在KDD 2024上展示了其全新大模型GLM-4-Plus，该模型在多任务上逼近甚至超越GPT-4o，并推出了支持中英双语的对话机器人等功能，巩
阅读更多...
Qwen-VL模型微调及遇到的一些小问题

Qwen-VL模型微调及遇到的一些小问题

Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。相比较前文提到的llava-llama3的模型，它相对更成熟一些，功能更强大一些。         比较有特点的功能： 多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；
阅读更多...
[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - MultiModal篇

[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - MultiModal篇

[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - MultiModal篇 前情提要源码阅读导包逐行讲解 dataclass部分整体含义逐行解读 模型微调整体含义逐行解读 MultiModal类整体含义逐行解读 参考repo:WatchTower-Liu/VLM-learning; url: VLLM-BASE 前情提要 有关多模态大模型架构中的语言模型部分
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2