本文主要是介绍Spring AI 第二讲 之 Chat Model API 第五节HuggingFace Chat,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
HuggingFace Inference Endpoints 允许您在云中部署和提供机器学习模型,并通过 API 对其进行访问。
开始使用
有关 HuggingFace Inference Endpoints 的更多详细信息,请访问此处。
前提条件
添加 spring-ai-huggingface 依赖关系:
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-huggingface</artifactId>
</dependency>
获取 HuggingFace API 密钥并将其设置为环境变量
export HUGGINGFACE_API_KEY=your_api_key_here
请参阅 "依赖关系管理 "部分,将 Spring AI BOM 添加到构建文件中。 |
请注意,该聊天实现还没有 Spring Boot Starter。
获取推理的端点 URL
调用模型
HuggingfaceChatModel chatModel = new HuggingfaceChatModel(apiKey, basePath);
Prompt prompt = new Prompt("Your text here...");
ChatResponse response = chatModel.call(prompt);
System.out.println(response.getGeneration().getText());
示例
使用此处的示例
String mistral7bInstruct = """[INST] You are a helpful code assistant. Your task is to generate a valid JSON object based on the given information:name: Johnlastname: Smithaddress: #1 Samuel St.Just generate the JSON object without explanations:[/INST]""";
Prompt prompt = new Prompt(mistral7bInstruct);
ChatResponse aiResponse = huggingfaceChatModel.call(prompt);
System.out.println(response.getGeneration().getText());
将产生以下输出
{"name": "John","lastname": "Smith","address": "#1 Samuel St."
}
下节:Spring AI 第二讲 之 Chat Model API 第五节Google VertexAI API
代码后期添加
这篇关于Spring AI 第二讲 之 Chat Model API 第五节HuggingFace Chat的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!