Part.01新手做本地部署之前一定要看！
为什么要部署本地大模型？
开源大模型虽然公开了源代码，但如果要拉到自己电脑里跑起来，往往需要复杂的环境配置，而通过本地部署，你可以拥有：
① 完全属于自己的大模型
② 不会触发各种屏蔽词
③ 断网也可以用！
④ 不用担心你的文稿、论文、数据被上传泄露
其实你并不需要特别懂代码，也不一定非得是数据工程师，也不用阅读冗长的技术文档。
今天我们就用一篇教程，把部署大模型本地这件事讲得简单易操作，让你从0开始，也能把一个可用的大模型跑在自己的电脑上。
只要你提前做好以下几点，就可以顺利进行啦：
1、保证你的网络稳定性
2、按教程复制命令时一定要完整复制
3、本地模型很强，但不要太贪多
4、立即开始！
① 在下方步骤演示中，安装思路是一样的。Mac和Windows有操作不同的界面，大头会用颜色和字母来帮大家区分哈。
②如果没有界面操作对比图，说明该步骤页面长得差不多，大家直接往下进行即可~
●M代表：Mac系统
●W代表：Windows系统
Part.02部署本地大模型保姆级教程
1、关键工具：Ollama（羊驼）
为了让新手也可以轻松部署模型，有一家公司做出了一个非常好用的工具——Ollama。你可以把它理解为一个专门用来装大模型的盒子。只要模型开源了，一般都能在ollama上下载并本地运行。
2、下载安装 Ollama（羊驼）
1）打开浏览器，访问：https://ollama.com
macOS还是Windows根据你的电脑系统来选。
2）进入页面后，点击「Download」，下载速度取决于你的网速，耐心等待一会~
3）下载成功后，点击这个“文件夹”图标，打开它。
M
W
4）在Mac上的「应用程序」里，找到「Ollama.dmg」安装包，双击它。在Windows系统中点击「install」来安装，可以直接进入到第8步。（Windows安装可以直接选默认路径）
M
W
5）Mac安装会多一步，即把左边这个可爱的羊驼，用鼠标向右拖到蓝色文件里。
6）你的Mac「应用程序」里就会多了一个安装好的Ollama软件，双击它。
7）Mac系统可能会向你提问，选择「打开」。（如果没有该窗口，可以继续往下走）
8）打开Ollama后，界面长这个样子，都差不多哈：
M
W
3、两种部署模型的方式
方式一：用软件界面直接下载模型
1）点击对话框右边写有「gemma3:4b」的按键，我们会看到一列长长的清单，这些是已经开源的大模型。比如我们能看到deepseek，千问，GPT等等。这些大模型旁边出现的“云朵”标记，代表这些大模型还没有下载到电脑上。可以鼠标上下滑动，选一个2b或4b大小的模型下载试试看：点击箭头即可。
M
W
2）如果你此前完全没有注册过，也可以点击页面出现的「Sign In」，完成注册。
3）如果你已注册过，直接登录即可；如果没有，点击页面最下方的「注册」。
4）注册流程：选择你的常用邮箱，设置密码，直到完成注册后，看到下方的页面，就表示成功完成。
5）Ollama会自动识别到你的电脑，你会看到你的电脑名称、密码，然后选择「Connect」，连接它。
6）接下来，进入Ollama对话页面，点一下模型，就能直接开始对话。
7）你会发现，得到回答的速度真的非常非常非常快！一定要自己来体验！
方式二：下载更多模型，使用命令行对话
有时候你想安装的模型在Ollama的对话界面里没有找到，可以再次进入Ollama官方首页，下载更多、更全的新模型~
1）进入官网：https://ollama.com ，点击左上角的「Models」。
2）进入模型页之后，页面下方会提供多个版本的大模型，文件有2B、7B、14B 等不同大小。
3）以下载「qwen3-vl」为例，我们点击选择该模型，进入如下页面：
4）继续下滑页面，找到Models，有不同大小的版本可以下载，可按需选择。如果你只是想体验一下，可以下载个最小的2B版本试试。
操作为：复制该版本的命令行
5）复制上面的命令行之后，需要打开系统的命令行应用程序：
Mac方法为：点开Mac桌面导航栏的「聚焦搜索」（图标为放大镜 ）→ 在搜索栏输入「终端」两个字，选择下方的图标，打开它。
Windows方法为：在Windows的搜索（放大镜图标）中输入「cmd」，选择「命令提示符」，双击打开。
6）看到下图就进入了命令行环境（两个系统界面大差不大，使用逻辑都是一样的）
M
W
7）接着，要确认我们的Ollama是打开的：在Mac系统桌面上方导航栏能看到小羊驼的标识就可以；在Windows系统要保持Ollama窗口是打开的哈。
8）把刚刚复制的命令行，复制（Ctrl+C）到终端对话框中，点击「回车」，开始下载模型。
M
W
9）下载中的界面长这样，我们能看到进度条，需要等一等。
M
W
10）看到如下界面，出现「success」和「<<<」，就代表大模型下载完成了！
M
W
11）这时候我们可以用命令行的方式和大模型对话：在「<<<」后面输入你的指令，比如“请介绍一下你自己”。（Mac和Window两个系统操作一样）
12）Qwen的回答同样特别特别快，还会显示思考过程，一定要去试试！
4、常用指令整理
1）查看已安装的所有模型
指令为：【ollama list】+【回车】
M
W
如①处所示，发送指令后，在②处就可以查看已经有的大模型列表。
2）运行指定模型
指令为：【ollama run】+【空格】+【模型名称】+【回车】
具体操作：在①处输入「ollama run 」，单击空格，复制②处列表其中的一个模型全称，粘贴到③处，点击「回车」，就可以运行该大模型了。
M
W
想要进行对话，可以在「<<< 」后面输入指令，再点回车。
可以看到思考过程和回答：
3）卸载某个模型
（Mac和Windows操作相同，下方就不放对比图拉）
指令为：【ollama rm】+【空格】+【模型名称】
具体操作：在①处输入「ollama rm 」，空格，复制②处列表其中的一个模型全称，粘贴到③处，点击「回车」，就可以删除该大模型了。
看到出现「deleted 」后跟着模型的名称，就代表已经成功删除！
这些指令的操作非常干净，相当于模型被装在这个盒子里后，就像一个一个的文件夹，删了就是删了~
Part.03
本地部署 VS 云端部署：普通人应该怎么选？
到底是本地部署更好，还是云端部署更好？
只要抓住两点：你要用什么模型、你要在哪个场景用？
1、本地部署
核心特点
完全属于你，不依赖网络，速度快，响应稳定。尤其是，你的电脑配置越高，体验就越好。
适合人群
① 在意你的信息隐私性（比如你正在写论文、你在处理关键的核心数据等）
② 电脑还不错~
③ 想随时随地使用大模型，不希望受网络限制，希望这个大模型是完全属于自己的AI助手。
2、云端部署
核心特点：
云端部署虽然不是今天这篇的重点，但是大头后续也会推出相关的教程，请大家一定要关注呀！
① 轻运行、轻设备、高性能。低成本跑高性能模型的一种方式。
② 不占用电脑资源：你只需要有网络，就能用云端调用算力。
③ 跨设备可用：电脑、平板、手机都可以访问，不受到什么硬件限制。
适合人群：
① 电脑配置低
② 想体验更大更强的模型
③ 需要多人协作或者多设备访问
④ 想用低成本获得更高算力
综合下来，对于普通人来说最具有性价比的方案就是：先本地部署，解决隐私、断网不可用、屏蔽词的问题。再结合云端，获得更高性能的支持。
Part.04
部署本地大模型能做什么？
大家完成本地部署后，一定也很想知道自己可以用它做什么。大头帮你列一个清单，普通工作学习场景中能用到的需求，基本都可以涵盖了。
一、文案优化
改写论文、润色文稿、优化报告、整理笔记、提炼重点
二、深度文本处理
文本总结、关键信息抽取、文本结构化、反向提问、资料阅读理解
三、没网也随便用
继续写稿、优化简历、解释专业术语、策划方案、解决专业概念
四、高效学习
学习你不懂的知识、帮你重新整理学习资料、复盘课程内容…
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
![]()
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
![]()
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
