AutoGen agent使用；调用本地LLM

本文主要是介绍AutoGen agent使用；调用本地LLM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

参考：
https://microsoft.github.io/autogen

安装：

pip install pyautogen

代码

本地LLM部署可以用fastchat、vllm等框架部署openai接口：

from autogen import AssistantAgent, UserProxyAgent, oai
## 调用本地模型对外的openai接口
config_list=[{"model": "/mnt/data/loong/AquilaChat2-7B","api_base": "http://localhost:10860/v1","api_type": "open_ai","api_key": "NULL", # just a placeholder}
]response = oai.Completion.create(config_list=config_list, prompt="Hi")

##构建agentassistant = AssistantAgent("assistant",llm_config={"config_list": config_list})
user_proxy = UserProxyAgent("user_proxy")##任务
user_proxy.initiate_chat(assistant, message="计算下2的10次方等于多少", config_list=config_list)

这篇关于AutoGen agent使用；调用本地LLM的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---