news 2026/2/26 4:06:43

doris数据库中各参数的说明

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
doris数据库中各参数的说明

Doris作为分布式分析型数据库,其参数体系主要分为集群级、节点级和会话级三类。以下是核心参数的分类说明(参数名均以实际配置文件为准):


一、集群级参数

1.数据存储
  • storage_medium:存储介质类型(SSD/HDD),影响数据冷热分层策略
  • storage_cooldown_time:数据冷却时间阈值(单位:秒),满足条件后数据自动迁移至冷存储
  • max_bytes_per_broker_scanner:单个Broker导入任务的最大字节限制,默认 $$ 1024 \times 1024 \times 1024 \times 3 $$ (3GB)
2.查询优化
  • enable_vectorized_engine:向量化执行引擎开关(默认开启)
  • batch_size:向量化计算批次大小,影响内存与CPU利用率
  • disable_join_reorder:是否禁用Join重排序优化(调试用)

二、节点级参数(FE/BE配置)

1.Frontend(FE)参数
  • query_port:MySQL协议查询端口(默认9030)
  • metadata_failure_recovery:元数据损坏时是否强制恢复(慎用)
  • max_connection_per_user:单用户最大连接数限制
2.Backend(BE)参数
  • be_port:BE服务端口(默认9060)
  • brpc_idle_wait_max_time:BRPC连接最大空闲时间(毫秒)
  • mem_limit:BE进程最大内存占用(建议为物理内存80%)

三、会话级参数(动态生效)

SET [GLOBAL|SESSION] var_name = value;
  • exec_mem_limit:单查询内存上限(如SET exec_mem_limit=8589934592;设置8GB)
  • timeout:查询超时时间(秒)
  • parallel_fragment_exec_instance_num:并行实例数,影响分布式计算并发度

四、关键性能参数

参数名作用域说明
max_scan_key_numBE单次Scan最大Key数,过大可能导致BE OOM
load_parallelism_num集群数据导入并发度
max_pushdown_conditions_per_column会话谓词下推条件数上限,影响过滤效率

五、特殊场景参数

  • 数据压缩compression_codec(支持LZ4/Snappy/ZSTD)
  • 倒排索引inverted_index_parser_mode(控制全文索引分词策略)
  • 物化视图materialized_view_rewrite_mode(查询重写粒度控制)

操作建议

  1. 优先级顺序:会话级 > 节点级 > 集群级
  2. 动态生效:通过SET命令修改会话参数无需重启服务
  3. 风险参数force_rollbackdisable_storage_compaction等需DBA介入操作

注:完整参数列表请参考官方文档,生产环境调整前务必在测试集群验证。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/23 5:13:11

2025AI写论文软件排行榜:一键生成论文免费工具,查重率低至5%!

当你对着AI写博士论文、AI写硕士论文、AI写MBA论文的任务清单犯愁,选题卡壳、文献筛到眼花、降重改到词穷、排版调到手麻时,就会懂这种抓心挠肝的滋味。学术写作的每道关卡都藏着看不见的消耗,不是熬几个通宵就能轻松通关的。好在高效的AI论文…

作者头像 李华
网站建设 2026/2/22 16:22:54

Conda vs Pip:在PyTorch环境中应该用哪个?

Conda 与 Pip:如何为 PyTorch 环境选择最优包管理策略? 在深度学习项目中,环境配置常常比写模型代码更耗时。你是否曾遇到过这样的场景:明明安装了 PyTorch,torch.cuda.is_available() 却返回 False?或者切…

作者头像 李华
网站建设 2026/2/19 9:39:13

PyTorch DataLoader多线程加载数据提升GPU利用率

PyTorch DataLoader 多线程加载数据提升 GPU 利用率 在深度学习训练过程中,一个常见的现象是:明明配备了 A100 或 H100 这样的高性能 GPU,监控工具 nvidia-smi 却显示 GPU 利用率长期徘徊在 20%~30%,而显存占用却很高。这说明模型…

作者头像 李华
网站建设 2026/2/3 11:30:10

使用nvidia-smi监控GPU使用情况辅助PyTorch调优

使用 nvidia-smi 监控 GPU 使用情况辅助 PyTorch 调优 在深度学习项目中,模型跑得慢是常事。但问题是:你真的知道它为什么慢吗?是数据加载太拖沓,还是显存早就爆了?亦或是那块昂贵的 A100 实际上大部分时间都在“摸鱼”…

作者头像 李华
网站建设 2026/2/21 20:03:49

5.0 TwinCat HMI的控件如何绑定PLC的变量

【现象】本文介绍如何在仿真模式下,在TwincatHMI 中绑定PLC的变量,下图所示PLC1前面是X,无法绑定PLC的变量 【解决办法】 1.首先在ADS->添加Runtimes 如果是UmRT进行仿真的,使用仿真的AmsNetId 2.然后再twincat的license中选择TF2000.

作者头像 李华
网站建设 2026/2/24 6:22:01

GitHub Actions自动化测试PyTorch模型训练脚本

GitHub Actions自动化测试PyTorch模型训练脚本 在现代深度学习项目中,一个让人又爱又恨的场景是:你信心满满地提交了一段重构代码,CI流水线却突然报红——“Loss not decreasing”,而本地运行明明一切正常。这种“在我机器上能跑”…

作者头像 李华