news 2026/7/2 9:17:48

20260630被“聪明”的优化器和“努力”的BI平台混合双打的一天

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
20260630被“聪明”的优化器和“努力”的BI平台混合双打的一天

20260630被“聪明”的优化器和“努力”的BI平台混合双打的一天

今天原本应该是个行云流水般发版上线的日子,结果硬生生被两个卧龙凤雏逼成了一部排坑血泪史。

完美的开局,诡异的报错

事情的起因很简单,我要把一张将近 150 个字段的大宽表快照塞进 Doris 2.X 里。建表语句堪称艺术,分区、分桶、各种组合键映射得明明白白。本以为点下执行就能去泡杯咖啡,结果观远 BI 平台直接给我甩了一个大逼兜:

errorMsg: {"error":"回写数据失败, errCode = 2, detailMessage = Nereids cost too much time ( 31s > 30s)"}

看到这个报错我人都麻了。Nereids?这不是 Doris 2.X 引以为傲的全新查询优化器吗?怎么写个数据还能超时?

痛批 Nereids:杀鸡非要用牛刀

顺藤摸瓜排查下去,发现这个新版优化器在处理INSERT语句时,简直是“脱裤子放屁——多此一举”。

对于这种纯写入的大宽表,本质上就是把数据搬进对应的物理路径里,毫无复杂的 Join 或者聚合逻辑。结果 Nereids 非要在那里吭哧瘪肚地跑几十秒的解析和代价计算(CBO),算着算着把自己算超时了,直接原地自尽。

说真的,新的优化器在复杂查询上可能确实有点东西,但对于单纯的INSERT语句,默认就应该直接 Bypass 回退到老版本优化器。插个数据你优化个什么劲呢?简直是帮倒忙。

观远 BI:纯搞笑的自研驱动

如果说 Nereids 是过于“聪明”,那观远这个 BI 平台就是真的让我绷不住了。

为什么 Nereids 会解析到吐血?因为观远在往 Doris 写数据的时候,居然是用极其古老的传统方式,硬生生拼接了几千上万个 Values 的超级长 SQL 怼进去的!

Doris 官方最推荐、性能最高、闭着眼睛都能用的数据导入方式是什么?是Stream Load。这已经是所有现代 OLAP 数据库生态的常识了。

结果这平台不支持标准的 Stream Load 就算了,居然还去费劲巴拉地“自研”了一套底层驱动。好家伙,自研的结果就是回归原始社会,用拼长 SQL 的方式把下游数据库的解析器给活活撑死。这波操作属实是又菜又爱玩,纯搞笑来着。

最终结局:简单粗暴才是真理

折腾到最后,面对这种局面,优雅的代码已经解决不了问题了。

我在数据流的前置 SQL里直接加上了两句“法术封印”:

SETGLOBALenable_nereids_planner=false;SETGLOBALnereids_timeout_second=120;

逻辑很简单:

前置 SQL 一加上,数据终于顺畅地灌进去了。看着控制台亮起的绿灯,我毫无波澜,甚至有点想笑。

今日总结:永远不要高估新特性的泛用性,也永远不要低估第三方商业平台的离谱程度。在数据开发的泥潭里,最高端的坑,往往只需要最朴实无华的SET变量来填平。下班!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/1 5:54:28

2026年,想找可靠的专业不锈钢雕塑销售厂家?看完这篇你就懂了!

2026年怎么找可靠的专业不锈钢雕塑销售厂家?要找可靠的专业不锈钢雕塑销售厂家,可从资质、案例、口碑等方面考察。有正规资质、丰富成功案例且口碑良好的厂家更值得信赖,适用于景观、商业等场景。不锈钢雕塑:以不锈钢为材料制成的…

作者头像 李华
网站建设 2026/7/1 5:53:53

数存科技 × 银河麒麟 V11|全栈适配・全域安全

近日,深圳市数存科技有限公司(以下简称“数存科技”)全系容灾备份产品成功完成麒麟软件有限公司(以下简称“麒麟软件”)银河麒麟高级服务器操作系统V11的适配认证,并正式加入麒麟软件“麒心伙伴”计划&…

作者头像 李华
网站建设 2026/7/1 5:53:52

Python测试框架终极对决:unittest与pytest深度对比与选型指南

1. 项目概述:为什么我们需要对比测试框架?如果你写过Python代码,尤其是写过超过100行的脚本,那你大概率遇到过这样的场景:改了一行代码,结果发现之前好用的功能现在不工作了,或者某个边界条件没…

作者头像 李华
网站建设 2026/7/1 5:44:58

AI精准优化mRNA翻译效率:从数据驱动到疫苗研发新范式

你肯定听过这样的说法:疫苗研发的瓶颈,有时不在于找到那个“对的”抗原,而在于如何让我们的细胞“读懂”并高效地“生产”它。这背后,是信使RNA(mRNA)分子上一套极其精密的翻译控制密码。过去,科…

作者头像 李华