240831专题

240831-Qwen2-VL-7B/2B部署测试

A. 运行效果 B. 配置部署 如果可以执行下面就执行下面: pip install git+https://github.com/huggingface/transformers accelerate 否则分开执行 git clone https://github.com/huggingface/transformerscd transformerspip install .

240831-Gradio之RAG文档对话工具Kotaemon的安装与配置

A. 用户界面 该项目既可以作为功能性 RAG UI,既可以用于对文档进行 QA 的最终用户,也可以用作想要构建自己的 RAG 管道的开发人员。对于最终用户:- 一个干净且简约的用户界面,用于基于RAG的QA。- 支持 LLM API 提供程序(OpenAI、AzureOpenAI、Cohere 等)和本地 LLMs(通过 ollama 和 llama-cpp-python)。- 简单