Doris的Colocation[托管] Join

好的，Doris 的Colocation Join（托管式关联）是一种用于优化分布式表关联查询性能的特性。其核心思想是将需要频繁关联的表的数据分片（Bucket）以相同的分布策略放置在同一组物理节点上，从而在关联查询时避免数据的网络传输开销，实现本地关联（Local Join）。

核心原理

1. 数据分布一致性：

   • 参与 Colocation Join 的表需使用相同的分桶列（Distributed Key）和相同的分桶数量。
   • Doris 会确保这些表的分桶副本分布在相同的物理节点（Backend）上。

2. 本地关联：

   • 当执行关联查询时，每个节点只需处理本地存储的分桶数据，无需跨节点传输数据。
   • 关联操作直接在节点内部完成，大幅减少网络开销。

3. 查询优化：

   • Doris 优化器会自动识别 Colocation Join 的表，生成本地关联的执行计划。

使用步骤

1. 创建 Colocation Group： 在表属性中指定相同的colocate_with属性，将表加入同一托管组：

   -- 表1 CREATE TABLE table1 ( k1 INT, v1 VARCHAR(32) ) DISTRIBUTED BY HASH(k1) BUCKETS 10 PROPERTIES ("colocate_with" = "group1"); -- 表2 CREATE TABLE table2 ( k2 INT, v2 VARCHAR(32) ) DISTRIBUTED BY HASH(k2) BUCKETS 10 PROPERTIES ("colocate_with" = "group1");

2. 执行关联查询： 直接编写关联语句，优化器自动选择本地关联：

   SELECT t1.v1, t2.v2 FROM table1 t1 JOIN table2 t2 ON t1.k1 = t2.k2;

优势

• 低延迟：省去数据网络传输时间。
• 高吞吐：节点并行处理本地数据。
• 资源节省：减少网络带宽和内存占用。

注意事项

• 分桶策略一致：所有表的分桶列、分桶数、副本数必须完全相同。
• 数据均衡：需保证分桶列的数据分布均匀，避免热点。
• 动态管理：可通过ALTER TABLE修改托管组配置。

适用场景

• 星型模型中的事实表与维度表关联。
• 高频关联查询的大表（如日志表与用户表）。

通过 Colocation Join，Doris 显著提升了分布式环境下关联查询的效率，是处理大规模数据关联的理想方案。