在本教程中，我们将使用 jina-embeddings-v3 text embedding 模型，通过 Elastic Cloud APIs 构建一个多语言语义搜索系统。
首先，你需要一个 Jina AI API key。访问 https://jina.ai/#apiform 并按照说明获取一个免费的 API key，包含 1000 万 tokens。
对于能够在本地运行 AI models 并在 Elasticsearch 外生成 embedding vectors 的高级用户，可以按照 Hugging Face 上模型页面的说明下载并运行 jina-embeddings-v3：https://huggingface.co/jinaai/jina-embeddings-v3
为 jina-embeddings-v3 创建推理 endpoint
如果你在本地运行该 model，可以跳过本节，直接进入标题为Index multilingual documents的部分。
首先，打开你的 Elastic Cloud 部署控制台。本教程将使用控制台命令演示如何使用 Jina AI 设置 search。
使用以下命令注册模型，并在"api_key"字段中填写你的 Jina AI API key：
PUT _inference/text_embedding/jina_embeddings { "service": "jinaai", "service_settings": { "api_key": “<your-jina-api-key>", "model_id": "jina-embeddings-v3", } }要验证你现在是否可以访问 Jina AI API 并生成 embeddings，请使用以下命令：
POST _inference/text_embedding/jina_embeddings { "input": ["Lo-fi playlists help me concentrate while I study."] “input_type”: “ingest”, }你应该会收到一个包含"text_embedding"字段的结果，如下所示：
{ "text_embedding": [ { "embedding": [ 0.05003565, -0.01658948, 0.02177808, 0.03379484 ..., 0.0059285 ] } ] }创建索引
为模型注册 mapping 定义。本教程将其命名为 “jina-multilingual-demo”。
你需要为 embeddings 选择一个 vector size。jina-embeddings-v3 支持五种维度：128、256、512、768 和 1024。维度越大，向量越大，准确率越高，但占用更多存储空间、更多内存，并增加搜索时间。
在注册请求的"dims"字段中填写你的选择。为了简化，本教程演示中使用最大维度：1024。
PUT jina-multilingual-demo { "mappings": { "properties": { “”: { "id": { "type": "keyword" }, "lang": { "type": "keyword" }, "title": { "type": "text" }, "content": { "type": "text" } "embedding": { "type": "dense_vector", "dims": 1024, "index": true, "similarity": "cosine" } } } }添加 ingest pipeline
Ingest pipelines 会在数据插入 Elasticsearch 之前自动处理数据。我们将创建一个名为"jina_embed_pipeline"的 pipeline。
使用以下命令：
PUT _ingest/pipeline/jina_embed_pipeline { "description": "Embed document content with jina-embeddings-v3", "processors": [ { "inference": { "model_id": "jina_embeddings", "input_output": { "input_field": "content", "output_field": "embedding" } } } ] }索引多语言文档
现在你可以向 Elastic 部署添加一些 documents。下面三个文档分别为 English、French 和 Spanish，互为翻译。每条 POST 命令添加一个 document。
POST multilingual-demo/_doc?pipeline=jina_embed_pipeline { "id": "1", "lang": "en", "title": "Emerging music styles", "content": "Lo-fi and ambient genres are gaining traction among independent artists." } POST multilingual-demo/_doc?pipeline=jina_embed_pipeline { "id": "2", "lang": "es", "title": "Nuevos estilos musicales", "content": "Los géneros lo-fi y ambiental están ganando popularidad entre los artistas independientes." } POST multilingual-demo/_doc?pipeline=jina_embed_pipeline { "id": "3", "lang": "fr", "title": "Tendances musicales émergentes", "content": "Les styles lo-fi et ambiants attirent de plus en plus de musiciens indépendants." }查询索引
为了演示 jina-embeddings-v3 的跨语言语义，我们将使用 German 查询该索引。查询文本的 English 翻译为：“Which new music genres are currently popular?”
首先，我们需要获取 query vector。jina-embeddings-v3 实现了 asymmetric retrieval，因此 query embeddings 和已索引文档的 embeddings 生成方式不同。确保"input_type"字段设置为"search"，以获取 query embeddings。
POST _inference/text_embedding/jina_embeddings { "input": ["Welche neuen Musikrichtungen sind gerade beliebt?"], "input_type": "search" }该命令将返回一个 query vector。将得到的 vector 填入下面命令的"query_vector"字段中。该命令将使用 Elasticsearch 内置的"knn"approximate nearest neighbor 算法执行搜索。
POST multilingual-demo/_search { "knn": { "field": "embedding", "query_vector": [0.103949,-0.01732728,...,0.0043687], "k": 5, "num_candidates": 100 }, "_source": ["id","lang","title","content"] }响应将是一个列表，显示与该查询最匹配的 document（在我们的测试中是 French 文档），以及该 document 与查询的 cosine similarity score。
有关 AI 生成的 dense vector 索引搜索选项的完整文档，请参见 Elasticsearch API 的相关文档页面。
原文：https://www.elastic.co/search-labs/tutorials/jina-tutorial/multilingual-search-jina-embeddings-v3-elasticsearch
