news 2026/3/23 11:45:30

小白也能学会!本地大模型全部署教程(Mac+Win)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
小白也能学会!本地大模型全部署教程(Mac+Win)

本文详细介绍了使用Ollama工具在Mac和Windows系统上本地部署大模型的完整教程,无需编程基础即可操作。文章解释了本地部署的优势(隐私保护、断网可用、不触发屏蔽词等),提供了两种部署方式的详细步骤,比较了本地与云端部署的适用场景,并列举了本地大模型在文案优化、文本处理、学习辅助等方面的实用价值,是小白入门大模型部署的必学指南。


本期目录(全是干货)

1、新手做本地部署之前一定要看!

2、部署本地大模型教程(Mac+Win,含常用指令整理)

3、本地部署 VS 云端部署:普通人怎么选?

3、部署本地大模型能做什么?

Part.01

新手做本地部署之前一定要看!

为什么要部署本地大模型?

开源大模型虽然公开了源代码,但如果要拉到自己电脑里跑起来,往往需要复杂的环境配置,而通过本地部署,你可以拥有:

① 完全属于自己的大模型

② 不会触发各种屏蔽词

③ 断网也可以用!

④ 不用担心你的文稿、论文、数据被上传泄露

其实你并不需要特别懂代码,也不一定非得是数据工程师,也不用阅读冗长的技术文档。

今天我们就用一篇教程,把部署大模型本地这件事讲得简单易操作,让你从0开始,也能把一个可用的大模型跑在自己的电脑上。

只要你提前做好以下几点,就可以顺利进行啦:

1、保证你的网络稳定性

2、按教程复制命令时一定要完整复制

3、本地模型很强,但不要太贪多

4、立即开始!

【必看】

① 在下方步骤演示中,安装思路是一样的。Mac和Windows有操作不同的界面,大头会用颜色和字母来帮大家区分哈。

②如果没有界面操作对比图,说明该步骤页面长得差不多,大家直接往下进行即可~

●M代表:Mac系统

●W代表:Windows系统

Part.02

部署本地大模型保姆级教程

1、关键工具:Ollama(羊驼)

为了让新手也可以轻松部署模型,有一家公司做出了一个非常好用的工具——Ollama。你可以把它理解为一个专门用来装大模型的盒子。只要模型开源了,一般都能在ollama上下载并本地运行。

2、下载安装 Ollama(羊驼)

1)打开浏览器,访问:https://ollama.com

macOS还是Windows根据你的电脑系统来选。

2)进入页面后,点击「Download」,下载速度取决于你的网速,耐心等待一会~

3)下载成功后,点击这个“文件夹”图标,打开它。

M

W

4)在Mac上的「应用程序」里,找到「Ollama.dmg」安装包,双击它。在Windows系统中点击「install」来安装,可以直接进入到第8步。(Windows安装可以直接选默认路径)

M

W

5)Mac安装会多一步,即把左边这个可爱的羊驼,用鼠标向右拖到蓝色文件里。

6)你的Mac「应用程序」里就会多了一个安装好的Ollama软件,双击它。

7)Mac系统可能会向你提问,选择「打开」。(如果没有该窗口,可以继续往下走)

8)打开Ollama后,界面长这个样子,都差不多哈:

M

W

3、两种部署模型的方式

方式一:用软件界面直接下载模型

1)点击对话框右边写有「gemma3:4b」的按键,我们会看到一列长长的清单,这些是已经开源的大模型。比如我们能看到deepseek,千问,GPT等等。这些大模型旁边出现的“云朵”标记,代表这些大模型还没有下载到电脑上。可以鼠标上下滑动,选一个2b或4b大小的模型下载试试看:点击箭头即可。

M

W

2)如果你此前完全没有注册过,也可以点击页面出现的「Sign In」,完成注册。

3)如果你已注册过,直接登录即可;如果没有,点击页面最下方的「注册」。

4)注册流程:选择你的常用邮箱,设置密码,直到完成注册后,看到下方的页面,就表示成功完成。

5)Ollama会自动识别到你的电脑,你会看到你的电脑名称、密码,然后选择「Connect」,连接它。

6)接下来,进入Ollama对话页面,点一下模型,就能直接开始对话。

7)你会发现,得到回答的速度真的非常非常非常快!一定要自己来体验!

方式二:下载更多模型,使用命令行对话

有时候你想安装的模型在Ollama的对话界面里没有找到,可以再次进入Ollama官方首页,下载更多、更全的新模型~

1)进入官网:https://ollama.com ,点击左上角的「Models」。

2)进入模型页之后,页面下方会提供多个版本的大模型,文件有2B、7B、14B 等不同大小。

3)以下载「qwen3-vl」为例,我们点击选择该模型,进入如下页面:

4)继续下滑页面,找到Models,有不同大小的版本可以下载,可按需选择。如果你只是想体验一下,可以下载个最小的2B版本试试。

操作为:复制该版本的命令行

5)复制上面的命令行之后,需要打开系统的命令行应用程序:

Mac方法为:点开Mac桌面导航栏的「聚焦搜索」(图标为放大镜 )→ 在搜索栏输入「终端」两个字,选择下方的图标,打开它。

Windows方法为:在Windows的搜索(放大镜图标)中输入「cmd」,选择「命令提示符」,双击打开。

6)看到下图就进入了命令行环境(两个系统界面大差不大,使用逻辑都是一样的)

M

W

7)接着,要确认我们的Ollama是打开的:在Mac系统桌面上方导航栏能看到小羊驼的标识就可以;在Windows系统要保持Ollama窗口是打开的哈。

8)把刚刚复制的命令行,复制(Ctrl+C)到终端对话框中,点击「回车」,开始下载模型。

M

W

9)下载中的界面长这样,我们能看到进度条,需要等一等。

M

W

10)看到如下界面,出现「success」和「<<<」,就代表大模型下载完成了!

M

W

11)这时候我们可以用命令行的方式和大模型对话:在「<<<」后面输入你的指令,比如“请介绍一下你自己”。(Mac和Window两个系统操作一样)

12)Qwen的回答同样特别特别快,还会显示思考过程,一定要去试试!

4、常用指令整理

1)查看已安装的所有模型

指令为:【ollama list】+【回车】

M

W

如①处所示,发送指令后,在②处就可以查看已经有的大模型列表。

2)运行指定模型

指令为:【ollama run】+【空格】+【模型名称】+【回车】

具体操作:在①处输入「ollama run 」,单击空格,复制②处列表其中的一个模型全称,粘贴到③处,点击「回车」,就可以运行该大模型了。

M

W

想要进行对话,可以在「<<< 」后面输入指令,再点回车。

可以看到思考过程和回答:

3)卸载某个模型

(Mac和Windows操作相同,下方就不放对比图拉)

指令为:【ollama rm】+【空格】+【模型名称】

具体操作:在①处输入「ollama rm 」,空格,复制②处列表其中的一个模型全称,粘贴到③处,点击「回车」,就可以删除该大模型了。

看到出现「deleted 」后跟着模型的名称,就代表已经成功删除!

这些指令的操作非常干净,相当于模型被装在这个盒子里后,就像一个一个的文件夹,删了就是删了~

Part.03

本地部署 VS 云端部署:普通人应该怎么选?

到底是本地部署更好,还是云端部署更好?

只要抓住两点:你要用什么模型、你要在哪个场景用?

1、本地部署

核心特点

完全属于你,不依赖网络,速度快,响应稳定。尤其是,你的电脑配置越高,体验就越好。

适合人群

① 在意你的信息隐私性(比如你正在写论文、你在处理关键的核心数据等)

② 电脑还不错~

③ 想随时随地使用大模型,不希望受网络限制,希望这个大模型是完全属于自己的AI助手。

2、云端部署

核心特点:

云端部署虽然不是今天这篇的重点,但是大头后续也会推出相关的教程,请大家一定要关注呀!

① 轻运行、轻设备、高性能。低成本跑高性能模型的一种方式。

② 不占用电脑资源:你只需要有网络,就能用云端调用算力。

③ 跨设备可用:电脑、平板、手机都可以访问,不受到什么硬件限制。

适合人群:

① 电脑配置低

② 想体验更大更强的模型

③ 需要多人协作或者多设备访问

④ 想用低成本获得更高算力

综合下来,对于普通人来说最具有性价比的方案就是:先本地部署,解决隐私、断网不可用、屏蔽词的问题。再结合云端,获得更高性能的支持。

Part.04

部署本地大模型能做什么?

大家完成本地部署后,一定也很想知道自己可以用它做什么。大头帮你列一个清单,普通工作学习场景中能用到的需求,基本都可以涵盖了。

一、文案优化

改写论文、润色文稿、优化报告、整理笔记、提炼重点

二、深度文本处理

文本总结、关键信息抽取、文本结构化、反向提问、资料阅读理解

三、没网也随便用

继续写稿、优化简历、解释专业术语、策划方案、解决专业概念

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

如果你也想通过学大模型技术去帮助就业和转行,可以扫描下方链接👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

02.AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线


03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的


04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!


如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/14 11:03:09

python基础语法 3

一.顺序语句在默认情况下&#xff0c;Python语句执行顺序是从上到下依次执行。比如&#xff1a;print(1) print(2) print(3)打印结果为1 2 3二.条件语句1.常见三种&#xff08;1&#xff09;ifif expression:do_something1do_something2next_something如果expression为真&am…

作者头像 李华
网站建设 2026/3/17 15:02:53

2026必备!专科生毕业论文必看!TOP9 AI论文网站测评

2026必备&#xff01;专科生毕业论文必看&#xff01;TOP9 AI论文网站测评 2026年专科生论文写作新选择&#xff1a;AI工具测评全解析 随着人工智能技术的不断进步&#xff0c;越来越多的专科生开始借助AI工具辅助毕业论文写作。然而&#xff0c;面对市场上五花八门的AI论文网站…

作者头像 李华
网站建设 2026/3/14 8:54:15

深度测评9个一键生成论文工具,本科生论文写作必备!

深度测评9个一键生成论文工具&#xff0c;本科生论文写作必备&#xff01; AI 工具助力论文写作&#xff0c;高效与精准并存 随着人工智能技术的不断进步&#xff0c;越来越多的 AI 工具被应用于学术写作中&#xff0c;尤其是在本科生论文写作过程中&#xff0c;这些工具不仅…

作者头像 李华
网站建设 2026/3/20 20:07:59

大模型部署难题破解:并行计算架构详解与实战

本文解析了大模型部署中的并行计算架构&#xff0c;包括模型并行&#xff08;按层或张量拆分&#xff09;、流水线并行和数据并行&#xff0c;以及三者结合的混合并行策略。这些技术解决了大模型显存不足和计算效率问题&#xff0c;使AI产品经理能从"只会用模型"上升…

作者头像 李华
网站建设 2026/3/23 2:05:44

FPGA FFT缩放因子配置全解析

目录 前言 1.快速傅里叶变换&#xff08;FFT&#xff09; 1.1 FFT的来源 1.2 FFT IP 缩放因子设置实例 缩放配置的底层含义&#xff1a;16haaaa 每一级的计算与“减肥”过程 输入准备&#xff1a;24 位原始数据 Stage 1&#xff1a;第一次蝶形运算 Stage 2&#x…

作者头像 李华
网站建设 2026/3/20 20:07:57

漏洞与利用程序:厘清网络安全中的弱点与攻击

漏洞与利用程序&#xff1a;了解弱点与攻击之间的差距 一个漏水的屋顶是漏洞。那场暴雨就是利用程序。一个是条件&#xff0c;另一个是事件。 想一下你的手机。屏幕角落的那道小划痕&#xff1f;那就是一个漏洞。它是一个缺陷&#xff0c;一个薄弱点。它就静静地待在那里。 现在…

作者头像 李华