news 2026/2/7 14:10:58

3.9 Elasticsearch-跨集群搜索(CCS)与跨集群复制(CCR)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
3.9 Elasticsearch-跨集群搜索(CCS)与跨集群复制(CCR)

3.9 Elasticsearch-跨集群搜索(CCS)与跨集群复制(CCR)

1. 功能定位
  • CCS(Cross-Cluster Search):把查询请求同时发往本地与远程集群,结果聚合后统一返回,解决“数据分散、查询入口要统一”的问题。
  • CCR(Cross-Cluster Replication):把 Leader 集群的索引近实时地拖回到 Follower 集群本地,解决“数据单点、灾备/就近读”的问题。
    二者常被组合成“写集中、读分散”的多活架构:CCR 负责把数据推送到边缘,CCS 负责在边缘就能一次性查到全局数据。
2. CCS 原理解剖
  1. 协调节点收到用户请求后,解析出cluster:index列表。
  2. 如果ccs_minimize_roundtrips=true,先向各远程集群发送can-match探针,只把真正可能命中的分片加入二次请求,减少跨机房 RTT。
  3. 各集群本地执行后,将TopN 的 docID 与排序值返回协调节点;协调节点做全局归并,再拉取原始_source(只在必要时第三次往返)。
  4. 聚合、高亮、Suggest 等操作在协调节点内存中完成,最终一次性返回客户端。

版本限制:本地集群版本必须 ≥ 远程集群,且功能集需完全交集,否则行为未定义。

3. CCR 原理解剖
  • 角色:Leader Index(写入口) ↔ Follower Index(只读副本,可手动提升为 Leader)。
  • 同步粒度:以translog的 sequence number 为基准,Follower 集群周期性拉取增量操作并重放。
  • 一致性模型:最终一致,延迟通常秒级;支持断点续传,网络闪断不丢位点。
  • 前置条件
    – Leader 索引需index.soft_deletes.enabled=true(8.x 默认开启)。
    – 两集群 transport 层互通(9300 端口),并通过cluster.remote.{name}.proxy_address注册。
4. 快速配置示例

以下示例基于 8.x 单节点 Docker 环境,安全功能已关闭。

4.1 拉起两套集群
leader/docker-compose.yml

services:es-leader:image:docker.elastic.co/elasticsearch/elasticsearch:8.12.0environment:-cluster.name=leader-cluster-discovery.type=single-node-xpack.security.enabled=falseports:["9200:9200"]

follower/docker-compose.yml 把cluster.name改成follower-clusterports: ["9201:9200"]

4.2 在 Follower 侧注册远程集群

curl-XPUT http://localhost:9201/_cluster/settings -H'Content-Type: application/json'-d' { "persistent": { "cluster.remote.leader-cluster": { "mode": "sniff", "seeds": ["es-leader:9300"] } } }'

4.3 启动 CCR

# 先确保 Leader 索引已开启 soft_deletescurl-XPUT http://localhost:9200/orders# 再在 Follower 侧创建 Follower 索引curl-XPUT http://localhost:9201/orders_follower/_ccr/follow?pretty -H'Content-Type: application/json'-d' { "remote_cluster": "leader-cluster", "leader_index": "orders" }'

返回"follow_index_created": true表示同步已生效;继续往 Leader 写数据,可在 Follower 实时查到。

4.4 执行 CCS

curl-XGET http://localhost:9201/leader-cluster:orders,orders_follower/_search?pretty -H'Content-Type: application/json'-d' { "query": { "match_all": {} }, "sort": [{ "timestamp": { "order": "desc" } }] }'

一次请求即可拿到两个集群的最新订单。

5. 生产级要点
维度CCS 建议CCR 建议
网络专线 / PrivateLink,开启 TLS 并做双向认证;ping.intervalconnect.timeout根据 RTT 调优。同上,传输层复用 9300,确保带宽 ≥ 峰值索引速率 × 2。
安全Remote Cluster 使用API KeyPKI认证;搜索侧通过DLS/FLS限制字段级权限。Follower 集群对 Leader 只授予monitorread_ccr权限,最小化暴露面。
性能对滚动日志场景,把ccs_minimize_roundtrips设为true可节省 30–50% 跨机房 RT;对聚合量大场景可关闭,避免二次往返拉取_sourceFollower 拉取线程数max_outstanding_read_requests默认 12,可随网络延迟线性上调;写-heavy 场景建议单独冷/热分层,Leader 热层 SSD,Follower 冷层 HDD + ILM。
监控协调节点ccs_total_roundtripsccs_remote_failures;搜索延迟突增时优先检查跨域 DNS 与 MTU。使用GET _ccr/stats观察leader_global_checkpointfollower_global_checkpoint差值;差值持续 >5 min 需排查带宽或 GC。
灾备演练——定期做提升演练POST orders_follower/_ccr/pause_followPOST orders_follower/_ccr/unfollowPOST orders_follower/_settingsindex.blocks.write=false,确认业务侧写入口可秒级切换。
6. 常见坑位速查
  • 模板不一致:CCR 不会同步索引模板与 Ingest Pipeline,需提前在 Follower 侧建好,否则字段类型差异导致写入拒绝。
  • 同义词文件缺失:Leader 使用了自定义同义词,Follower 侧若缺少同名文件,搜索侧分词结果将不一致。
  • 滚动升级顺序:先升级 Follower,再升级 Leader;反之会造成版本不兼容,CCR 任务自动暂停。
  • 大索引初始快照超时:首次全量阶段可在 Leader 侧调大indices.snapshot.max_concurrent_operations,或先用手动 snapshot 导入基线,再启用 CCR 追增量。
7. 一句话总结

CCS 让你“像查一个集群一样查所有集群”,CCR 让你“把一个集群的数据安全快速地搬到另一个集群”;两者配合,Elasticsearch 才真正具备了跨地域、多活、读写分离的企业级能力。
更多技术文章见公众号: 大城市小农民

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/3 14:12:31

用Wireshark快速验证网络服务的5种端口检测方法

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 创建一个网络服务快速检测工具原型,集成Wireshark常用端口检测方案。用户选择服务类型(如Web、邮件、数据库)后,自动生成对应的过滤表…

作者头像 李华
网站建设 2026/2/6 8:24:55

ECMenu下载安装图文指南:小白也能轻松搞定

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 制作一个ECMenu下载安装向导程序,功能:1.图文步骤指引 2.自动检测系统环境 3.常见问题解答 4.一键式安装 5.使用入门视频。使用Electron开发跨平台应用&…

作者头像 李华
网站建设 2026/2/2 15:31:03

NX2306 STEP EXPORT FAIL 的问题解决办法

文章目录成功解决STEP EXPORT FAIL无法解决DXF/DWG EXPORT FAIL ,认为是版本问题成功解决STEP EXPORT FAIL 经过下面这个方法成功解决: NX2306 STEP EXPORT FAIL NXNotification Center: Export STEP File - Export Failed Solution ① Exit NX ② Brow…

作者头像 李华
网站建设 2026/2/5 9:21:54

OpenCVSharp:学习人脸检测例子

前言 OpenCVSharp关于人脸检测提供了两个例子,一个是使用级联分类器另一个是使用DNN模型。 使用级联分类器 级联分类器(Cascade Classifier)是计算机视觉中一种高效的目标检测方法,特别广泛应用于人脸检测。 在这个例子中使用到了…

作者头像 李华
网站建设 2026/2/3 16:33:50

2025搭子经济风口:组局小程序开发落地、盈利模式与风险防控手册

一、开发核心:合规筑基,场景化功能破局​组局搭子小程序开发需先解决 “安全信任” 与 “匹配效率” 两大核心痛点,再通过场景化功能构建壁垒。合规层面,必须集成实名认证 人脸识别 内容风控三重体系,用户注册需完成…

作者头像 李华
网站建设 2026/2/6 1:11:26

Arbess从基础到实践(20) - 集成GitHub+SonarQube实现Java项目自动化部署

Arbess 是一款开源免费的 CI/CD 工具,支持免费私有化部署,一键安装零配置。本文将详细介绍如何使用安装配置SonarQube、Arbess系统,使用流水线拉取GitHub源码、使用SonarQube代码扫描、构建安装包并进行主机部署。 1、GitHub 配置 本章节将…

作者头像 李华