Spring AI 第三讲Embeddings(嵌入式) Model API 第一讲Ollama 嵌入

2024-06-11 00:44

本文主要是介绍Spring AI 第三讲Embeddings(嵌入式) Model API 第一讲Ollama 嵌入,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有了 Ollama,你可以在本地运行各种大型语言模型 (LLM),并从中生成嵌入。Spring AI 通过 OllamaEmbeddingModel 支持 Ollama 文本嵌入。

嵌入是一个浮点数向量(列表)。两个向量之间的距离可以衡量它们之间的相关性。距离小表示关联度高,距离大表示关联度低。

前提条件

首先需要在本地计算机上运行 Ollama。

请参阅官方 Ollama 项目 README,开始在本地计算机上运行模型。

安装 Ollama 运行 llama3 将下载一个 4.7GB 的模型工件。

添加资源库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 资源库中。请参阅 "资源库"部分,将这些资源库添加到您的构建系统中。

为了帮助进行依赖性管理,Spring AI 提供了一个 BOM(物料清单),以确保在整个项目中使用一致的 Spring AI 版本。请参阅 "依赖关系管理 "部分,将 Spring AI BOM 添加到构建系统中。

自动配置

Spring AI 为 Azure Ollama 嵌入式客户端提供 Spring Boot 自动配置功能。要启用它,请在 Maven pom.xml 文件中添加以下依赖关系:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

 或 Gradle build.gradle 构建文件。

dependencies {implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}

请参阅 "依赖关系管理 "部分,将 Spring AI BOM 添加到构建文件中

spring.ai.ollama.embedding.options.* 属性用于配置所有嵌入请求的默认选项。(它作为 OllamaEmbeddingModel#withDefaultOptions() 实例使用)。

嵌入属性

前缀 spring.ai.ollama 是配置与 Ollama 连接的属性前缀

PropertyDescriptionDefault

spring.ai.ollama.base-url

运行 Ollama API 服务器的基本 URL。

localhost:11434

The prefix spring.ai.ollama.embedding.options is the property prefix that configures the EmbeddingModel implementation for Ollama.

PropertyDescriptionDefault

spring.ai.ollama.embedding.enabled

启用 Ollama 嵌入模型。

true

spring.ai.ollama.embedding.options.model

要使用的支持模型名称。

mistral

 其余选项属性基于 Ollama 有效参数和值以及Ollama 类型。默认值基于Ollama 类型默认值。

Property

Description

Default

spring.ai.ollama.embedding.options.numa

是否使用 NUMA。

false

spring.ai.ollama.embedding.options.num-ctx

设置用于生成下一个标记的上下文窗口的大小。

2048

spring.ai.ollama.embedding.options.num-batch

-

spring.ai.ollama.embedding.options.num-gqa

变压器层中 GQA 组的数量。某些型号需要,例如 llama2:70b 为 8。

-

spring.ai.ollama.embedding.options.num-gpu

要发送到 GPU 的层数。在 macOS 上,默认值为 1 表示启用金属支持,0 表示禁用。

-

spring.ai.ollama.embedding.options.main-gpu

-

spring.ai.ollama.embedding.options.low-vram

-

spring.ai.ollama.embedding.options.f16-kv

-

spring.ai.ollama.embedding.options.logits-all

-

spring.ai.ollama.embedding.options.vocab-only

-

spring.ai.ollama.embedding.options.use-mmap

-

spring.ai.ollama.embedding.options.use-mlock

-

spring.ai.ollama.embedding.options.num-thread

设置计算时使用的线程数。默认情况下,Ollama 会检测线程数以获得最佳性能。建议将此值设置为系统的物理 CPU 内核数(而非逻辑内核数)。

-

spring.ai.ollama.embedding.options.num-keep

-

spring.ai.ollama.embedding.options.seed

设置生成文本时使用的随机数种子。将其设置为一个特定的数字将使模型为相同的提示生成相同的文本。

0

spring.ai.ollama.embedding.options.num-predict

生成文本时要预测的最大标记数。(默认值:128,-1 = 无限生成,-2 = 填充上下文)

128

spring.ai.ollama.embedding.options.top-k

降低产生无意义答案的概率。数值越大(如 100),答案就越多样化,而数值越小(如 10),答案就越保守。

40

spring.ai.ollama.embedding.options.top-p

与 top-k 一起使用。较高的值(如 0.95)将产生更多样化的文本,而较低的值(如 0.5)将产生更集中和保守的文本。

0.9

spring.ai.ollama.embedding.options.tfs-z

无尾采样用于减少输出中可能性较低的标记的影响。数值越大(例如 2.0),影响越小,而数值为 1.0 时,则会禁用此设置。

1

spring.ai.ollama.embedding.options.typical-p

-

spring.ai.ollama.embedding.options.repeat-last-n

设置模型回溯多远以防止重复。(默认值:64,0 = 禁用,-1 = num_ctx)

64

spring.ai.ollama.embedding.options.temperature

模型的温度。温度越高,模型的答案越有创意。

0.8

spring.ai.ollama.embedding.options.repeat-penalty

设置对重复的惩罚力度。数值越大(如 1.5),对重复的惩罚力度就越大,而数值越小(如 0.9),惩罚力度就越宽松。

1.1

spring.ai.ollama.embedding.options.presence-penalty

-

spring.ai.ollama.embedding.options.frequency-penalty

-

spring.ai.ollama.embedding.options.mirostat

启用 Mirostat 采样以控制复杂度。(默认值:0,0 = 禁用,1 = Mirostat,2 = Mirostat 2.0)

0

spring.ai.ollama.embedding.options.mirostat-tau

控制输出的连贯性和多样性之间的平衡。数值越小,文字越集中、连贯。

5.0

spring.ai.ollama.embedding.options.mirostat-eta

影响算法对生成文本的反馈做出反应的速度。学习率越低,算法的调整速度就越慢,而学习率越高,算法的反应速度就越快。

0.1

spring.ai.ollama.embedding.options.penalize-newline

-

spring.ai.ollama.embedding.options.stop

设置要使用的停止序列。遇到这种模式时,LLM 将停止生成文本并返回。可以通过在模型文件中指定多个单独的停止参数来设置多个停止模式。

-

所有以 spring.ai.ollama.embedding.options 为前缀的属性都可以通过在 EmbeddingRequest 调用中添加特定于请求的 Runtime Options 来在运行时重写。

运行时选项

OllamaOptions.java 提供了 Ollama 配置,如要使用的模型、底层 GPU 和 CPU 调整等。

默认选项也可使用 spring.ai.ollama.embedding.options 属性进行配置。

启动时,使用 OllamaEmbeddingModel#withDefaultOptions() 配置用于所有嵌入请求的默认选项。在运行时,你可以使用作为 EmbeddingRequest 一部分的 OllamaOptions 实例来覆盖默认选项。

例如,要覆盖特定请求的默认模型名称:

EmbeddingResponse embeddingResponse = embeddingModel.call(new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),OllamaOptions.create().withModel("Different-Embedding-Model-Deployment-Name"));

示例Controller

这将创建一个 EmbeddingModel 实现,您可以将其注入到您的类中。下面是一个使用 EmbeddingModel 实现的简单 @Controller 类示例。

@RestController
public class EmbeddingController {private final EmbeddingModel embeddingModel;@Autowiredpublic EmbeddingController(EmbeddingModel embeddingModel) {this.embeddingModel = embeddingModel;}@GetMapping("/ai/embedding")public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));return Map.of("embedding", embeddingResponse);}
}

手动配置

如果不使用 Spring Boot,可以手动配置 OllamaEmbeddingModel。为此,请在项目的 Maven pom.xml 文件中添加 spring-ai-ollama 依赖关系:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama</artifactId>
</dependency>

或 Gradle build.gradle 构建文件。

dependencies {implementation 'org.springframework.ai:spring-ai-ollama'
}

请参阅 "依赖关系管理 "部分,将 Spring AI BOM 添加到构建文件中。

spring-ai-ollama 依赖关系还提供对 OllamaChatModel 的访问。有关 OllamaChatModel 的更多信息,请参阅Ollama Chat Client 部分。

接下来,创建一个 OllamaEmbeddingModel 实例,并用它来计算两个输入文本之间的相似度:

var ollamaApi = new OllamaApi();var embeddingModel = new OllamaEmbeddingModel(ollamaApi).withDefaultOptions(OllamaOptions.create().withModel(OllamaOptions.DEFAULT_MODEL).toMap());EmbeddingResponse embeddingResponse = embeddingModel.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

OllamaOptions 为所有嵌入请求提供配置信息。

这篇关于Spring AI 第三讲Embeddings(嵌入式) Model API 第一讲Ollama 嵌入的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1049739

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类,它们之间的依赖,构建起了整个框架。想要理解整个架构,最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文(security context)的信息。当前操作的用户是谁,该用户是否已经被认证,他拥有哪些角色权限…这些都被保

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory