Excalidraw展示数据湖架构：存储与处理一体化

Excalidraw 展示数据湖架构：存储与处理一体化

在今天的大型数据系统设计中，一张清晰的架构图往往比千行文档更有力量。尤其是在构建像数据湖这样横跨存储、计算、元数据管理与多源接入的复杂体系时，如何让团队快速达成共识，成为项目成败的关键。传统绘图工具要么过于死板，抑制创新讨论；要么协作困难，版本混乱。而 Excalidraw 的出现，恰好填补了这一空白。

它不像 Visio 那样规整得令人紧张，也不像手绘草图那样难以共享。它的“轻微抖动”线条仿佛在说：“这只是一个想法，欢迎修改。”正是这种亲和力，加上强大的技术底座，让它迅速在数据工程师、架构师和产品团队中流行起来——特别是在表达“存储与处理一体化”这类现代数据湖核心理念时，展现出惊人的表现力。

数据湖的本质，是将原始数据以原生格式集中存放，并支持多种计算引擎按需访问。这里的关键词不是“存”，而是“用”。真正的挑战不在于能否把数据扔进 S3 或 HDFS，而在于如何清晰地描绘出从摄入、存储、治理到分析的全链路逻辑，同时让不同背景的成员都能参与讨论。

Excalidraw 做对了几件事。

首先是轻量化启动。打开浏览器，点击链接，立刻开始画。不需要注册，不需要下载客户端，也没有复杂的图层菜单干扰思路。你可以先用几个矩形和箭头勾勒出大致轮廓：左边是 Kafka 和 Flume 负责接入，中间是对象存储作为核心，右边分叉出批处理、流处理和 BI 服务。整个过程就像在白板上即兴发挥，但每一步都可以被保存、分享、回溯。

然后是实时协作体验。当团队分布在不同时区时，传统的 PPT 评审往往变成“你改我看不到，我调你不认可”的拉锯战。而在 Excalidraw 中，每个人的操作几乎实时可见。你在调整 Spark 集群的位置，同事能看到你的光标移动；她添加了一条注释说明 Flink 状态后端选型考虑，你也立刻收到提示。这种“共处一室”的感觉，极大降低了沟通成本。

更进一步的是，Excalidraw 并不只是一个画画工具。它的底层结构本质上是一个 JSON 文件，记录着每个元素的坐标、样式、连接关系。这意味着它可以像代码一样被 Git 管理。当你提交一次架构变更，PR 里不仅能看 diff，还能直接预览图形变化。结合 CI 流程，甚至可以实现“架构图未更新则阻断部署”的强约束机制，真正让架构成为系统的“单一事实来源”。

// 示例：通过 Scripting API 自动生成数据湖组件节点 import { ExcalidrawElement } from "@excalidraw/excalidraw/types/element/types"; function createRectangle( x: number, y: number, width: number, height: number, label: string ): ExcalidrawElement { return { type: "rectangle", version: 1, versionNonce: 0, isDeleted: false, id: generateId(), fillStyle: "hachure", // 使用草图填充风格，体现抽象层级 strokeWidth: 1, strokeStyle: "solid", roughness: 2, // 控制手绘抖动感，适合设计初期 opacity: 100, angle: 0, x, y, strokeColor: "#000", backgroundColor: "transparent", width, height, seed: 1, points: null, boundElementIds: null }; }

这段代码看似简单，却打开了自动化绘图的大门。想象一下，你有一个 JSON 描述的数据湖组件清单：

[ { "name": "S3 Data Lake", "type": "storage", "x": 400, "y": 200 }, { "name": "Spark EMR", "type": "compute", "x": 400, "y": 350 } ]

通过脚本遍历这个列表，调用createRectangle动态生成元素并注入画布，就能一键拉起基础架构草图。这对于需要频繁搭建测试环境或进行方案对比的团队来说，效率提升是数量级的。

而且，Excalidraw 支持插件扩展。社区已有不少实用工具，比如从 Mermaid 语法生成拓扑图、导入 AWS 架构图标库、甚至通过自然语言生成初稿。输入一句：“Draw a data lake with Delta Lake, Trino, and S3 on AWS”，AI 插件就能返回一个结构合理的初始布局。虽然不能完全替代人工设计，但足以帮你跳过最痛苦的“空白画布焦虑期”。

在实际项目中，我们曾用 Excalidraw 完整支撑了一个企业级数据湖的演进过程。最初，系统基于 Hive + HDFS 构建，数据格式混杂，元数据管理薄弱。我们在画布上用红色标注了这些问题区域，并附上文字说明：“此处缺乏事务支持，合并小文件成本高。”

随着技术升级，我们引入 Iceberg 作为表格式，将底层迁移到 S3，计算层拆分为 Spark 批处理和 Flink 实时处理两条线。每次变更都在原图基础上修改，保留历史版本。新成员入职时，不仅能看见当前架构，还能通过“时间旅行”功能一步步回放演进路径，理解每一次决策背后的业务驱动和技术权衡。

更重要的是，这张图不再只是给领导汇报用的装饰品，而是真正嵌入到了开发流程中。我们在 Confluence 页面嵌入了只读视图，在 Notion 中建立了动态看板，开发人员在写 ETL 脚本时会对照图中的命名规范；运维团队在配置监控告警时，也会参考图中标注的关键链路。

我们还约定了一些视觉语义规则：
-颜色编码：蓝色代表内部服务，红色代表外部依赖（如第三方 API），绿色表示已完成模块，灰色为待定方案。
-填充样式：hachure表示抽象概念或待细化模块，solid表示已落地的具体服务。
-线条粗细：主数据流使用 2px 线条，辅助控制流使用 1px 虚线。
-透明度控制：实验性组件设为 70% 透明度，提醒团队其稳定性尚待验证。

这些规则看似琐碎，实则是降低认知负荷的重要手段。当所有人都遵循同一套“视觉语言”，信息传递效率就会显著提升。

这些参数不仅可通过界面调整，也能通过开发者工具批量修改，甚至写入模板供团队复用。

下面是一个典型的数据湖架构示意，完全可以在 Excalidraw 中分层构建：

+------------------+ +-------------------+ | Data Sources | ----> | Ingestion Layer | | (RDBMS, Logs) | | (Kafka, Flume) | +------------------+ +-------------------+ | v +-----------------------------+ | Storage Layer (S3/HDFS) | | Format: Parquet/ORC/Iceberg| +-----------------------------+ | +---------------------------+----------------------------+ | | | v v v +---------------+ +---------------------+ +--------------------+ | Metadata | | Batch Processing | | Streaming | | Catalog |<----->| (Spark, Hive) |<----->| (Flink, Storm) | +---------------+ +---------------------+ +--------------------+ | | | v v v +---------------------------------------------------------------+ | Serving Layer | | (BI Tools: Tableau, Superset; APIs; ML Models) | +---------------------------------------------------------------+

在这个结构中，Excalidraw 的优势尤为明显：
- 可以用不同图层分别管理“物理部署”和“逻辑流”，通过开关控制显示粒度；
- 使用分组功能将“计算引擎”打包，便于整体移动或复制；
- 在角落添加一个文本框，专门记录关键设计决策（ADR），例如：“选择 Iceberg 是为了支持 schema evolution 和 time travel 查询”。

整个工作流程也变得流畅起来：

1. 构思阶段：架构师打开 Excalidraw，自由绘制模块草图，捕捉灵感。
2. AI 辅助：调用 AI 插件生成候选布局，节省基础排版时间。
3. 评审会议：共享协作链接，团队成员同步编辑，即时反馈。
4. 定稿归档：导出 SVG 嵌入文档系统，同时将.excalidraw源文件提交至 Git。
5. 持续迭代：后续技术升级（如引入 Alluxio 缓存层）通过 PR 提交变更，触发自动检查。

这个过程不再是“画完就扔”的一次性动作，而是一个持续演进的知识资产建设。

最终你会发现，Excalidraw 的价值远不止于“画图”。它是一种新型的协作认知基础设施。它让原本隐性的设计思维显性化，让分散的意见在同一个画布上碰撞融合，让静态的文档变成可交互、可追溯、可执行的设计载体。

对于追求敏捷交付、强调工程纪律的团队而言，它提供了一种难得的平衡：既有手绘的灵活性与包容性，又有数字工具的精确性与可管理性。它不强迫你追求完美，但鼓励你持续改进。

在一个技术迭代越来越快、系统复杂度日益攀升的时代，我们需要的不仅是更强的算力和更优的算法，更需要能承载集体智慧的表达方式。Excalidraw 正是在做这件事——它让“所思即所见，所见即所建”成为可能，也让数据湖这样的复杂系统，真正变得可理解、可协作、可持续演进。