一、项目简介
DeepAnalyze是业界首个能自主完成数据科学任务的智能体大语言模型。它能在无需人工干预的情况下，自动完成各类数据密集型任务，核心能力包括：
全流程数据科学管道- 自动执行数据准备、分析、建模、可视化和报告生成等任何数据科学任务
开放式数据研究- 对多种数据源进行深度研究，支持结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）和非结构化数据（TXT、Markdown），最终生成分析师级别的研究报告
完全开源- 模型[1]、代码[2]、训练数据[3]和演示[4]全部开源，你可以部署或扩展自己的数据分析助手
二、快速开始
环境要求
- 安装依赖包：
torch==2.6.0,transformers==4.53.2, `vllm==0.8.5````plaintext
conda create -n deepanalyze python=3.12 -yconda activate deepanalyzepip install -r requirements.txt# 训练用(cd ./deepanalyze/ms-swift/ && pip install -e .)(cd ./deepanalyze/SkyRL/ && pip install -e .)
命令行交互
通过 vllm 部署 DeepAnalyze-8B：
vllm serve DeepAnalyze-8B运行以下脚本执行任何数据科学任务：
from deepanalyze import DeepAnalyzeVLLMprompt = """# 指令生成一份数据科学报告。# 数据文件 1: {"name": "bool.xlsx", "size": "4.8KB"}文件 2: {"name": "person.csv", "size": "10.6KB"}文件 3: {"name": "disabled.xlsx", "size": "5.6KB"}文件 4: {"name": "enlist.csv", "size": "6.7KB"}文件 5: {"name": "filed_for_bankrupcy.csv", "size": "1.0KB"}文件 6: {"name": "longest_absense_from_school.xlsx", "size": "16.0KB"}文件 7: {"name": "male.xlsx", "size": "8.8KB"}文件 8: {"name": "no_payment_due.xlsx", "size": "15.6KB"}文件 9: {"name": "unemployed.xlsx", "size": "5.6KB"}文件 10: {"name": "enrolled.csv", "size": "20.4KB"}"""workspace = "/home/u2023000922/zhangshaolei/deepanalyze_public/DeepAnalyze/example/analysis_on_student_loan/"deepanalyze = DeepAnalyzeVLLM( "/fs/fast/u2023000922/zhangshaolei/checkpoints/deepanalyze-8b/")answer = deepanalyze.generate(prompt, workspace=workspace)print(answer["reasoning"])你会得到一份深度研究报告，可以渲染为 PDF：
# 学生入学模式与院校转学的综合分析## 研究背景与引言学生入学模式分析是教育研究的关键领域，对院校规划、资源配置和学生支持服务具有重要意义。本综合研究考察了一个涵盖六所教育机构 1,194 条入学记录的完整数据集，并结合了人口统计、财务和就业状况等补充数据。研究采用先进的分析技术，包括网络分析、预测建模和时间模式识别，揭示了宏观层面的院校趋势和微观层面的学生流动模式。该数据集的纵向特性跨越十五个月的入学记录，为高等教育系统中学生路径的复杂动态提供了独特见解。我们的方法论结合了入学时长、转学概率和财务指标的定量分析，以及定性...本研究通过提供院校转学网络及其与学生成果关系的实证证据，为日益增长的学生流动性研究文献做出了贡献........更多示例和任务完成细节，请参考 DeepAnalyze 官网[5]。
- 可以指定任何数据科学任务，包括具体的数据任务和开放式数据研究
- 可以指定任意数量的数据源，DeepAnalyze 会自动探索它们
- 可以指定任何类型的数据源，如结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）和非结构化数据（TXT、Markdown）
API 接口
可以构建 OpenAI 风格的 API，使用以下脚本（注意在 demo/backend.py[6] 中将
MODEL_PATH = "DeepAnalyze-8B"改为你的 vllm 模型名称）：python demo/backend.pyAPI 使用方式（流式响应）：
curl -X POST http://localhost:8200/chat/completions \ -H "Content-Type: application/json" \ -d '{ "messages": [ { "role": "user", "content": "生成一份数据科学报告。" } ], "workspace": "example/student_loan/" }'
三、开发你自己的 DeepAnalyze
1. 下载模型和训练数据
- 下载 DeepSeek-R1-0528-Qwen3-8B[7]。或者可以直接基于 DeepAnalyze-8B[8] 微调。
如果使用 DeepSeek-R1-0528-Qwen3-8B 作为基础模型，需要添加特殊 token：
MODEL_PATH=path_to_DeepSeek-R1-0528-Qwen3-8BSAVE_PATH=path_to_save_DeepSeek-R1-0528-Qwen3-8B-addvocabpython deepanalyze/add_vocab.py \ --model_path "$MODEL_PATH" \ --save_path "$SAVE_PATH" \ --add_tags
- 下载训练数据 DataScience-Instruct-500K[9]
- 解压
DataScience-Instruct-500K/RL/data.zip
2. 基于课程的智能体训练
- 单能力微调：./scripts/single.sh[10]
- 多能力智能体训练（冷启动）：./scripts/multi_coldstart.sh[11]
- 多能力智能体训练（强化学习）：./scripts/multi_rl.sh[12]
3. 评估
- 我们使用 vLLM 统一了大多数现有数据科学基准的评估（持续增加中…）。你可以直接按照 ./playground[13] 中的介绍快速评估 DeepAnalyze 或你自己的智能体。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
)
