DB-GPT开源项目文档入门

2024-08-24 10:28

本文主要是介绍DB-GPT开源项目文档入门,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

DB-GPT开源项目文档入门 (qq.com)

场景:服务中小金融机构、服务业小微商家

DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架

项目基本信息

简介:一个原生数据应用开发框架

技术能力:

服务化多模型管理框架(SMMF,Service-oriented Multi-model Management Framework)

Text2SQL效果优化

RAG框架以及优化(RAG,Retrieval-Augmented Generation)

Multi-Agents框架协作

AWEL(Agentic Workflow Expression Language,智能体工作流编排)

分层架构:可视化层(GBT-Vis:md、图表、flow编排)、应用层(DB-GPT:生成式BI、DB对话、Excel对话)、服务层(LLMServer、APIServer等)、模块层(SMMF、RAGs、Agents)、协议层(AWEL)、训练层(DB-GPT-Hub)

核心能力:RAG、GBI(生成式BI)、微调框架、数据驱动的Multi-Agents框架、数据工厂(可信知识、数据的清洗加工)、数据源

大模型常规发展方向:

RAG(通过附加知识库,减少输出幻觉)

智能体(多智能体协调,自动完成复杂任务)

微调(添加私有数据训练,修改原大模型权重,增强大模型某领域能力)

RAG生产落地实践架构

可信知识收集(行情、行研百科知识、专业内容、专家认知)->知识加工(知识块处理、抽取实体关系图、知识评分、向量化)->RAG(查询处理、相似召回、Ranking)->大语言模型->chat(知识问答、阅读助手)

子模块

DB-GPT-Hub:通过微调来持续提升Text2SQL效果

DB-GPT-Plugins:插件仓库,兼容Auto-GPT

GPT-Vis:可视化协议

dbgpts:官方提供的数据应用仓库,构建在DB-GPT上的应用,含智能体应用、智能体编排流程模板、通用算子,

落地产品:数据库专家智能体Kevin、报表分析智能助手

官方文档解读

网址:https://www.yuque.com/eosphoros/dbgpt-docs

环境准备:下载minconda,创建虚拟环境python=3.10

模型部署:openai代理、GLM-4-9b本地部署

智能体编排语言AWEL

分层设计:算子层、AgentFrame层以及DSL层

算子层:LLM应用开发过程中最基本的操作原子,如RAG应用开发时,检索、向量化、模型交互、Prompt处理

AgentFrame层:对算子进一步封装,可以基于算子做链式计算,支持如filter、join、map、reduce等一套链式计算操作

DSL层:提供一套标准的结构化表示语言,写DSL语句完成AgentFrame与算子的操作

源码部署:部署模型、配置元数据库、配置测试数据、运行服务(python dbgpt/app/degpt_server.py)

其他部署方式:docker、docker-compose、AutoDL、小程序云

模型服务部署:多模型服务,单机部署、集群部署

进阶:vLLM推理(提高推理速度)、元数据初始化与更新、OpenAI SDK调用本地多模型

操作手册

智能体工作流使用

通过智能体表达式语言AWEL编排智能体形成工作流,现仓库有三个工作流可用,通过dbgp安装。

示例:搜索对话应用,通过搜索引擎搜索相关知识,总结回答。创建时配置工作模式:awel_layout、flows:awel_flow_info_search

APP创建使用

源码位置:开源的dbgpts项目中,eosphoros-ai/dbgpts: Intelligent data apps and assets with LLMs (github.com)

dpgts项目的其他资源:workflows、agents、opeators

教程:应用面板中创建应用,工作模式设置auto_plan,依赖两个agent,DataScientist和Reporter,都依赖database

六大场景入门教程

六大场景:知识库、数据对话、Excel对话、数据库对话、报表分析、Agents

原生对话:即大模型提供的原生对话能力

知识库

简介:私域知识问答,RAG知识检索增强

操作步骤:创建知识空间、上传文档、等待文档切片+向量化、对话

支持的文档类型:纯文本、URL抓取、PDF、Word、md等

数据对话

简介:与结构化或半结构化数据对话,辅助数据分析与洞察

操作步骤:添加数据源、选择对话场景:数据对话、选择数据库、对话

Excel对话:选择对话场景(char Excel)、上传Excel、对话

数据库对话:选择对话场景(chat DB)、添加数据源、选择基础模型与数据库、对话

报表分析

简介:Dashboard场景,通过自然语言进行智能的报表生成与分析。是生成式BI(GBI)的基本能力之一

步骤:数据准备、添加数据源、选择对话场景(Dashboard)、对话

Agents

简介:数据驱动Multi-Agents智能体框架

插件:内置搜索插件(不能用)

插件使用步骤:进入插件市场->查看github仓库中插件列表->下载插件->选择场景(Agent chat)->配置cookie->插入元数据->对话

github插件仓库:eosphoros-ai/DB-GPT-Plugins: Multi-Agents & Plugins repo for DB-GPT, Can complete various tasks around databases. (github.com)

数据分析Agents

简介:典型的GBI应用场景

操作步骤:数据准备->添加数据源->插入元数据->选择对话场景(Agent chat-数据分析助手)->对话

数据爬取Agents

简介:自动编写程序抓取互联网数据并分析的Agents

操作步骤:编写智能体(已写好代码编写助手CodeAssistantAgent,源码dbgpt/agent/agents/expand/code_assistant_agent.py)、插入元数据、选择对话场景(互联网数据分析助手)、对话

这篇关于DB-GPT开源项目文档入门的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1102212

相关文章

将Java项目提交到云服务器的流程步骤

《将Java项目提交到云服务器的流程步骤》所谓将项目提交到云服务器即将你的项目打成一个jar包然后提交到云服务器即可,因此我们需要准备服务器环境为:Linux+JDK+MariDB(MySQL)+Gi... 目录1. 安装 jdk1.1 查看 jdk 版本1.2 下载 jdk2. 安装 mariadb(my

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》:本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁(一)原理(二)应用场景(三)示例代码三、悲观锁(一)原理(二)应用场景(三)示例

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

SQL表间关联查询实例详解

《SQL表间关联查询实例详解》本文主要讲解SQL语句中常用的表间关联查询方式,包括:左连接(leftjoin)、右连接(rightjoin)、全连接(fulljoin)、内连接(innerjoin)、... 目录简介样例准备左外连接右外连接全外连接内连接交叉连接自然连接简介本文主要讲解SQL语句中常用的表

SQL server配置管理器找不到如何打开它

《SQLserver配置管理器找不到如何打开它》最近遇到了SQLserver配置管理器打不开的问题,尝试在开始菜单栏搜SQLServerManager无果,于是将自己找到的方法总结分享给大家,对SQ... 目录方法一:桌面图标进入方法二:运行窗口进入方法三:查找文件路径方法四:检查 SQL Server 安

MySQL 中的 LIMIT 语句及基本用法

《MySQL中的LIMIT语句及基本用法》LIMIT语句用于限制查询返回的行数,常用于分页查询或取部分数据,提高查询效率,:本文主要介绍MySQL中的LIMIT语句,需要的朋友可以参考下... 目录mysql 中的 LIMIT 语句1. LIMIT 语法2. LIMIT 基本用法(1) 获取前 N 行数据(

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念