文章目录
- Kubeflow：把机器学习全流程搬上 Kubernetes
- 它到底是什么
- 能做什么
- 实际用下来的感受
- 适合谁用
Kubeflow：把机器学习全流程搬上 Kubernetes
数据科学家想用 Notebook 跑模型，运维工程师想用 YAML 管基础设施，两边各说各话，最后项目上线时间一拖再拖。这种场景在 AI 团队里太常见了。Kubeflow 想解决的就是这个问题：让机器学习的每个环节都能跑在 Kubernetes 上，两边都不用妥协。
它到底是什么
Kubeflow 是一套跑在 Kubernetes 上的 AI 平台工具集。它把机器学习工作流的各个阶段拆成独立组件：Jupyter Notebook 用来开发，Pipelines 用来编排工作流，KServe 用来部署模型，Katib 用来做超参数调优。每个组件可以单独用，也可以组合起来。
目前 Star 数 15,739，由 Google 主导，AWS、微软、Red Hat 等公司共同维护。在 MLOps 工具里，它是社区规模最大的开源项目之一。
能做什么
从实验到部署，Kubeflow 覆盖机器学习全链路：
- 实验阶段：Notebook Server 提供在线开发环境，支持 PyTorch、TensorFlow 等框架
- 工作流编排：Pipelines 把数据处理、训练、评估串成 DAG，支持定时和触发式运行
- 模型部署：KServe 提供推理服务，支持自动扩缩容、金丝雀发布、A/B 测试
- 超参数优化：Katib 自动搜索最优参数组合，支持贝叶斯、网格、随机等多种策略
每个组件独立运作，团队按需选型。不需要全套部署，挑几个用得上的就行。
实际用下来的感受
Notebook 集成这块做得不错。数据科学家在 Jupyter 里写代码，底层自动调度到集群的 GPU 节点上，用完资源自动释放，不用手动操心服务器配置。算力扩展也方便，Kubernetes 本身就能水平扩展，集群加节点就行，对上层用户透明。
不过也有坑。运维成本不低，需要专人维护 Kubernetes 集群。部分组件的文档更新不够及时，有些高级配置得翻源码才搞明白。生产环境部署更复杂，网络策略、存储方案、监控告警，每一样都得单独处理。
适合谁用
Kubeflow 面向的是已经上 Kubernetes 的 AI 工程化团队。如果团队里有专门的平台工程师维护基础设施，Kubeflow 能大幅降低搭建内部 ML 平台的工作量。主流云厂商对它的支持也不错，AWS EKS、Google GKE、Azure AKS 都有对应的部署方案。
但如果是小团队或者个人项目，Kubeflow 的学习和运维成本可能不划算。这时候选个更轻量的工具更实际。
beflow 的学习和运维成本可能不划算。这时候选个更轻量的工具更实际。
