一、Oracle Cloud Infrastructure (OCI) GenAI 嵌入
OCI GenAI 服务 提供文本嵌入功能,支持按需模型或专用 AI 集群。
OCI 嵌入模型页面 和 OCI 文本嵌入页面 提供了关于在 OCI 上使用和托管嵌入模型的详细信息。
二、先决条件
添加仓库和 BOM
Spring AI 工件发布在 Maven Central 和 Spring Snapshot 仓库中。请参阅 工件仓库 部分,将这些仓库添加到您的构建系统中。
为了帮助管理依赖项,Spring AI 提供了一个 BOM(物料清单)来确保在整个项目中使用一致的 Spring AI 版本。请参阅 依赖管理 部分,将 Spring AI BOM 添加到您的构建系统中。
三、自动配置
Spring AI 的自动配置和 starter 模块的工件名称发生了重大变化。更多信息请参阅 升级说明。
Spring AI 为 OCI GenAI 嵌入客户端提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到项目的 Maven pom.xml 文件中:
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-oci-genai</artifactId></dependency>或添加到您的 Gradle build.gradle 构建文件中:
dependencies{implementation'org.springframework.ai:spring-ai-starter-model-oci-genai'}请参阅 依赖管理 部分,将 Spring AI BOM 添加到您的构建文件中。
嵌入属性
前缀 spring.ai.oci.genai 是用于配置连接到 OCI GenAI 的属性前缀。
嵌入自动配置的启用和禁用现在通过顶级属性 spring.ai.model.embedding 前缀进行配置。
要启用:spring.ai.model.embedding=oci-genai(默认启用)
要禁用:spring.ai.model.embedding=none(或任何与 oci-genai 不匹配的值)
进行此更改是为了允许配置多个模型。
前缀 spring.ai.oci.genai.embedding 是用于配置 OCI GenAI 的 EmbeddingModel 实现的属性前缀。
所有以 spring.ai.oci.genai.embedding.options 为前缀的属性都可以在运行时通过向 EmbeddingRequest 调用添加请求特定的 运行时选项 来覆盖。
四、运行时选项
OCIEmbeddingOptions 提供嵌入请求的配置信息。OCIEmbeddingOptions 提供了一个构建器来创建选项。
在启动时,使用 OCIEmbeddingOptions 构造函数来设置用于所有嵌入请求的默认选项。在运行时,您可以通过向 EmbeddingRequest 请求传递带有您设置的 OCIEmbeddingOptions 实例来覆盖默认选项。
例如,为特定请求覆盖默认模型名称:
EmbeddingResponseembeddingResponse=embeddingModel.call(newEmbeddingRequest(List.of("Hello World","World is big and salvation is near"),OCIEmbeddingOptions.builder().model("my-other-embedding-model").build()));五、示例代码
这将创建一个 EmbeddingModel 实现,您可以将其注入到您的类中。下面是一个简单的 @Controller 类示例,它使用 EmbeddingModel 实现。
spring.ai.oci.genai.embedding.model=<your model>spring.ai.oci.genai.embedding.compartment=<your model compartment>@RestControllerpublicclassEmbeddingController{privatefinalEmbeddingModelembeddingModel;@AutowiredpublicEmbeddingController(EmbeddingModelembeddingModel){this.embeddingModel=embeddingModel;}@GetMapping("/ai/embedding")publicMapembed(@RequestParam(value="message",defaultValue="给我讲个笑话")Stringmessage){EmbeddingResponseembeddingResponse=this.embeddingModel.embedForResponse(List.of(message));returnMap.of("embedding",embeddingResponse);}}六、手动配置
如果您不想使用 Spring Boot 自动配置,可以在应用程序中手动配置 OCIEmbeddingModel。为此,请将 spring-oci-genai-openai 依赖项添加到项目的 Maven pom.xml 文件中:
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-oci-genai-openai</artifactId></dependency>或添加到您的 Gradle build.gradle 构建文件中:
dependencies{implementation'org.springframework.ai:spring-oci-genai-openai'}请参阅 依赖管理 部分,将 Spring AI BOM 添加到您的构建文件中。
接下来,创建一个 OCIEmbeddingModel 实例并使用它来计算两个输入文本之间的相似性:
finalStringEMBEDDING_MODEL="cohere.embed-english-light-v2.0";finalStringCONFIG_FILE=Paths.get(System.getProperty("user.home"),".oci","config").toString();finalStringPROFILE="DEFAULT";finalStringREGION="us-chicago-1";finalStringCOMPARTMENT_ID=System.getenv("OCI_COMPARTMENT_ID");varauthProvider=newConfigFileAuthenticationDetailsProvider(this.CONFIG_FILE,this.PROFILE);varaiClient=GenerativeAiInferenceClient.builder().region(Region.valueOf(this.REGION)).build(this.authProvider);varoptions=OCIEmbeddingOptions.builder().model(this.EMBEDDING_MODEL).compartment(this.COMPARTMENT_ID).servingMode("on-demand").build();varembeddingModel=newOCIEmbeddingModel(this.aiClient,this.options);List<Double>embedding=this.embeddingModel.embed(newDocument("加拿大有多少个省?"));