news 2026/6/12 14:05:28

doris的调整前缀索引

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
doris的调整前缀索引

好的,我们来谈谈如何调整前缀索引以优化数据库性能。

场景:用户的原始表有(k1, k2, k3)三列。其中 k1, k2 为前缀索引列。这时候如果用户查询条件中包含 where k1=1 and k2=2 就能通过索引加速查询。

但是有些情况下,用户的过滤条件无法匹配到前缀索引,比如 where k3=3。则无法通过索引提升查询速度。

什么是前缀索引?

前缀索引是指对字符串字段的前$n$个字符建立索引,而不是对整个字段进行索引。这种方法可以显著减少索引占用的存储空间,并可能提高查询效率。数学上可以表示为:

设字段值为$s$,长度为$L$,则前缀索引截取$s[1:k]$($k \leq L$)作为索引键。

何时使用前缀索引?

  1. 字段值较长:如地址、描述、URL等
  2. 前导字符区分度高:字段值的开头部分具有较好的区分度
  3. 存储空间受限:需要减少索引占用的磁盘空间

调整策略

1. 确定合适的前缀长度

通过分析字段数据的选择性来找到最优的$k$值:

SELECT COUNT(DISTINCT LEFT(column_name, 1)) / COUNT(*) AS selectivity1, COUNT(DISTINCT LEFT(column_name, 2)) / COUNT(*) AS selectivity2, ... FROM table_name;

选择性计算公式: $$ \text{Selectivity} = \frac{\text{COUNT(DISTINCT prefix)}}{\text{COUNT(*)}} $$ 目标:找到最小的$k$使得选择性接近完整字段的选择性。

2. 业务场景适配

根据实际查询模式调整:

  • 邮箱字段:@符号前的部分通常更关键
  • 姓名字段:姓氏部分可能比名字更具区分度
3. 性能测试

创建不同长度的前缀索引后,使用EXPLAIN分析查询性能:

ALTER TABLE table_name ADD INDEX idx_prefix (column_name(5)); EXPLAIN SELECT * FROM table_name WHERE column_name LIKE 'prefix%';

注意事项

  1. 索引失效场景

    • 查询条件使用LIKE '%suffix'时前缀索引无效
    • 排序操作可能无法完全利用前缀索引
  2. 重建索引开销
    修改前缀长度需要重建索引,大表操作时需考虑: $$ \text{重建时间} \propto \text{表大小} $$

  3. 精确匹配限制
    前缀索引无法保证WHERE column = 'value'的精确匹配

最佳实践示例

假设优化用户邮箱字段:

# 计算不同前缀长度的选择性 def calculate_selectivity(column, max_len): selectivities = {} for n in range(1, max_len+1): distinct_count = execute_query(f"SELECT COUNT(DISTINCT LEFT({column}, {n})) FROM users") total_count = execute_query(f"SELECT COUNT(*) FROM users") selectivities[n] = distinct_count / total_count return selectivities # 输出结果 {1: 0.02, 2: 0.15, 3: 0.42, ..., 7: 0.98}

当$k=7$时选择性达0.98,可创建:

ALTER TABLE users ADD INDEX idx_email (email(7));

通过科学分析选择合适的前缀长度,能在保证查询效率的同时显著降低索引存储空间。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/9 20:15:08

图解说明QListView内部信号与槽机制

深入Qt界面开发:一张图看懂 QListView 的信号与槽机制你有没有遇到过这样的情况?在用QListView做播放列表时,用户双击了一首歌,你想让它立刻播放——但奇怪的是,有时候点击没反应,有时候又连续触发两次&…

作者头像 李华
网站建设 2026/6/9 0:30:35

ECU执行UDS 31服务的安全控制策略详解

ECU如何安全执行UDS 31服务?从原理到实战的深度拆解 你有没有想过,为什么一辆车在4S店能“一键重置”某些功能,而在路边用普通诊断仪却完全无法操作? 这背后,很可能就是 UDS 31服务 在起作用——它像一把“工程师钥…

作者头像 李华
网站建设 2026/6/9 1:41:18

终极JavaScript代码美化工具实战指南:让混乱代码焕然一新

终极JavaScript代码美化工具实战指南:让混乱代码焕然一新 【免费下载链接】de4js JavaScript Deobfuscator and Unpacker 项目地址: https://gitcode.com/gh_mirrors/de/de4js 你是否曾经面对过这样的场景?接手一个老项目时,发现代码缩…

作者头像 李华
网站建设 2026/6/10 16:46:30

通过Kibana调试Elasticsearch:正确理解201 Created响应

Kibana调试Elasticsearch:别被201 Created骗了!这才是数据写入的真相你有没有遇到过这种情况——在Kibana Dev Tools里敲下一条POST /logs/_doc请求,回车一按,绿色的“Status: 201 Created”赫然弹出,心里一喜&#xf…

作者头像 李华