用google colab t4部署phi2（公网可访问）

本文主要是介绍用google colab t4部署phi2（公网可访问），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

1.打开google colab，配置GPU

2.ngrok获取authtoken

3.安装所需的包​编辑

4.运行推理服务，生成公网地址

5.client.py访问上述推理服务

6.gradio界面版

---

1.打开google colab，配置GPU

2.ngrok获取authtoken

https://dashboard.ngrok.com/get-started/your-authtoken

3.安装所需的包

4.运行推理服务，生成公网地址

生成的ngrok-free.app链接就是推理服务的公网地址

5.client.py访问上述推理服务

import requestsdef format_prompt(prompt: str) -> str:return f'##提问:\n{prompt}\n##回答:\n'def ask_phi2(query: str) -> str:url = "http://1111-11-111-11-11.ngrok-free.app/generate"body = {"query": format_prompt(query)}response = requests.post(url=url, json=body)if response.status_code == 200:print("Response from server:", response.text)else:print("Failed to get response from server, status code:", response.status_code)if __name__ == '__main__':   ask_phi2("你好") 

6.gradio界面版

这篇关于用google colab t4部署phi2（公网可访问）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---