前天完成了家用电脑本地化部署DeepSeek蒸馏小模型的部署，但部署后只能在命令行使用，相当不方便，另外也不能把自己的一些私有知识挂上去额外扩展大模型能力。本文说明如何快速通过AnythingLLM完成一个具备私有知识库能力的智能问答系统的本地化搭建。
AnythingLLM是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。
（1）下载安装AnythingLLM desktop
网址：https://anythingllm.com/desktop
支持mac、windows、linux三种环境部署。
我是在win10环境部署，所以下载了windiow版本。下载后直接点击安装即可
（2）配置AnythingLLM使用本地部署的DeepSeek模型（具体如何部署参见5分钟在家用电脑完成DeepSeek R1 （1.5B和7B模型）本地化部署）
在 **AnythingLLM** 的设置页面，可以通过 **LLM 首选项** 修改 LLM 提供商。本文使用本地部署的 **Ollama** 和 deepseek-r1:1.5b模型（注意：务必要先启动ollama 和在ollama中运行起来deepseek-r1:1.5b）。配置完成后，务必点击 `Save changes` 按钮保存设置。（3）配置好本地部署的DeepSeek模型后，就可以在AnythingLLM进行问答了（性能比起直接在ollama命令行要慢一些，因为AnythingLLM自身也吃资源，另外是通过API访问模型后也要对用户输入以及模型返回结果进行处理）
（4）本地知识库构建（自测效果很不好，下面先就是说明下使用方法。尚需继续研究，猜测是向量化时候的嵌入引擎和和文本分割都用了默认的缘故，等待下一篇细致实验一些嵌入引擎的效果）
点击资料库上传按钮进入工作区知识库构建页面，AnythingLLM支持以下三种方式上传文档：
本地文档上传
：直接上传本地文件。
Web 链接
：通过 URL 上传网页内容。
数据链接
：从 GitHub、GitLab 等平台导入数据。
Documents Tab
在DocumentsTab，用户可以管理已上传的文档，并通过下方的上传按钮或拖拽方式上传新文档。见上图
Data Connectors
Tab
Data Connectors功能支持从 GitHub、GitLab 仓库或网站爬取数据。用户只需输入仓库地址和 Token，即可导入指定目录或网页内容。
（5）上传示例
（6）查询知识库
将文档添加到工作区后，用户可以通过设置聊天模式调整大模型的回复方式：
聊天模式
：结合 LLM 的通用知识和上传文档的上下文生成答案。
查询模式
：仅基于上传文档的上下文生成答案。
修改配置后记得拉到最后点击更新按钮
（7）Agent功能（尚在研究中）
在设置页面的代理技能中，用户可以管理 Agent。默认开启的 Agent 无法关闭，其他 Agent 需要手动启用。
agent功能查询
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
![]()
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
![]()
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
