利用streamlit开发大模型API调用对话网页应用

2024-06-22 12:28

本文主要是介绍利用streamlit开发大模型API调用对话网页应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

利用streamlit开发大模型API调用对话网页应用

介绍

Streamlit是一个用于构建数据应用的开源框架,其简单易用的界面使得数据科学家和开发人员能够快速创建交互式应用。而OpenAI API则提供了强大的语言模型,可以生成自然语言响应。将这两者结合起来,可以轻松创建一个与用户进行对话的应用,用于测试大模型API。
在这里插入图片描述

整体代码

事前准备,确保已正确安装所需库:

pip install openai==0.28
pip install streamlit==1.35

理论上兼容openai的大模型API都可以使用;
代码:

import streamlit as st
import openai# 设置页面配置
st.set_page_config(page_title="LLM Chat App",page_icon="💬",layout="centered",
)# 应用标题
st.title("LLM Chat App")# 输入API参数
st.sidebar.header("API Configuration")
api_base_url = st.sidebar.text_input("API Base URL", "https://api.deepseek.com/v1")
api_key = st.sidebar.text_input("API Key", type="password")
model_name = st.sidebar.text_input("Model Name", "deepseek-chat")# 设置OpenAI API密钥和base URL
openai.api_key = api_key
openai.api_base = api_base_url# 聊天记录
if "messages" not in st.session_state:st.session_state.messages = []# 显示聊天记录
def display_chat(messages):for i, message in enumerate(messages):role = message["role"]content = message["content"]if role == "user":st.markdown(f"**I:** {content}", unsafe_allow_html=True)else:st.markdown(f"**AI:** {content}", unsafe_allow_html=True)# 发送消息并获取响应
def send_message(user_input):if user_input:st.session_state.messages.append({"role": "user", "content": user_input})# 调用OpenAI APItry:response = openai.ChatCompletion.create(model=model_name,messages=st.session_state.messages,)response_message = response["choices"][0]["message"]["content"]st.session_state.messages.append({"role": "assistant", "content": response_message})# 刷新页面以显示对话结果st.rerun()except openai.error.OpenAIError as e:st.error(f"OpenAI API Error: {e}")# 显示聊天记录
display_chat(st.session_state.messages)# 输入区域
if api_key and api_base_url and model_name:user_input = st.text_input("You:")if st.button("Send"):send_message(user_input)
else:st.warning("Please enter your API Base URL, API Key, and Model Name in the sidebar.")

常用大模型API介绍

大模型API是接入大模型的基础设施,网上各种AI公司都提供这类服务,并且大多在新用户注册的时候都送大量免费tokens,用来测试练习绰绰有余;一些常用的大模型API如下:

服务商网站
deepseekhttps://platform.deepseek.com/
质谱AIhttps://open.bigmodel.cn/
kimihttps://platform.moonshot.cn/

使用方法都大同小异,在其开发者平台获取API与API key后,即可实现调用;

代码片段说明

每段代码的详细功能如下,便于修改;

设置页面配置

首先,我们需要设置页面的基本配置:

st.set_page_config(page_title="LLM Chat App",page_icon="💬",layout="centered",
)

这段代码设置了页面的标题、图标和布局。page_title设置了页面的标题为“LLM Chat App”,page_icon设置了一个聊天图标,而layout参数设置页面布局为居中显示。

应用标题

接下来,我们为应用添加一个标题:

st.title("LLM Chat App")

st.title函数会在页面顶部显示一个大标题。

输入API参数

我们需要在侧边栏中输入API配置参数:

st.sidebar.header("API Configuration")
api_base_url = st.sidebar.text_input("API Base URL", "https://api.deepseek.com/v1")
api_key = st.sidebar.text_input("API Key", type="password")
model_name = st.sidebar.text_input("Model Name", "deepseek-chat")

这里,我们在侧边栏添加了一个标题,并分别为API Base URL、API Key和Model Name创建了输入框。type="password"参数确保API Key输入框为密码形式,隐藏用户输入的内容。

设置OpenAI API密钥和Base URL

接下来,我们设置OpenAI API的密钥和Base URL:

openai.api_key = api_key
openai.api_base = api_base_url

通过将用户输入的API密钥和Base URL赋值给openai.api_keyopenai.api_base,我们可以确保后续API调用使用这些参数。

聊天记录

我们需要保存和显示聊天记录:

if "messages" not in st.session_state:st.session_state.messages = []

st.session_state是Streamlit提供的一个会话状态字典,可以在不同的交互之间保存数据。我们检查st.session_state中是否存在messages键,如果不存在,则初始化一个空列表。

显示聊天记录

我们创建一个函数来显示聊天记录:

def display_chat(messages):for i, message in enumerate(messages):role = message["role"]content = message["content"]if role == "user":st.markdown(f"**I:** {content}", unsafe_allow_html=True)else:st.markdown(f"**AI:** {content}", unsafe_allow_html=True)

这个函数遍历消息列表,并根据消息的角色(用户或AI)以不同的格式显示内容。

发送消息并获取响应

我们创建一个函数来处理用户输入并获取AI的响应:

def send_message(user_input):if user_input:st.session_state.messages.append({"role": "user", "content": user_input})# 调用OpenAI APItry:response = openai.ChatCompletion.create(model=model_name,messages=st.session_state.messages,)response_message = response["choices"][0]["message"]["content"]st.session_state.messages.append({"role": "assistant", "content": response_message})# 刷新页面以显示对话结果st.rerun()except openai.error.OpenAIError as e:st.error(f"OpenAI API Error: {e}")

这个函数首先将用户输入添加到聊天记录中,然后调用OpenAI API获取响应,并将AI的响应也添加到聊天记录中。如果调用过程中发生错误,则显示错误信息。

显示聊天记录

在主程序中,我们调用display_chat函数显示聊天记录:

display_chat(st.session_state.messages)

输入区域

最后,我们创建用户输入区域和发送按钮:

if api_key and api_base_url and model_name:user_input = st.text_input("You:")if st.button("Send"):send_message(user_input)
else:st.warning("Please enter your API Base URL, API Key, and Model Name in the sidebar.")

如果API配置参数全部填入,我们显示一个输入框和发送按钮。用户输入消息后点击“Send”按钮,会调用send_message函数处理消息。否则,显示一个警告信息,提醒用户输入必要的API参数。

这篇关于利用streamlit开发大模型API调用对话网页应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1084289

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设