DeepSeek-R1-Distill-Qwen-1.5B应用扩展：添加自定义功能的指南

DeepSeek-R1-Distill-Qwen-1.5B应用扩展：添加自定义功能的指南

1. 引言：为什么选择 DeepSeek-R1-Distill-Qwen-1.5B？

在边缘计算和本地化部署日益重要的今天，如何在资源受限设备上运行高性能语言模型成为关键挑战。DeepSeek-R1-Distill-Qwen-1.5B 正是在这一背景下诞生的“小钢炮”模型——它通过使用 80 万条 R1 推理链对 Qwen-1.5B 进行知识蒸馏，在仅 1.5B 参数规模下实现了接近 7B 模型的推理能力。

该模型不仅具备出色的数学（MATH 数据集得分 80+）与代码生成能力（HumanEval 50+），还支持函数调用、JSON 输出、Agent 插件等高级特性，上下文长度达 4k token，适用于长文本摘要、对话系统、本地助手等多种场景。更重要的是，其 FP16 版本仅需 3GB 显存，GGUF-Q4 量化后可压缩至 0.8GB，可在树莓派、手机甚至 RK3588 嵌入式板卡上流畅运行。

本文将重点介绍如何基于vLLM + Open WebUI构建一个高效、可扩展的本地对话服务，并在此基础上实现自定义功能模块的集成，如天气查询、数据库交互、Python 工具调用等，真正发挥其作为“本地智能代理”的潜力。

2. 环境搭建与基础部署

2.1 技术选型说明

为最大化性能并简化部署流程，我们采用以下技术栈组合：

相比 Hugging Face Transformers + FastAPI 自建 API，vLLM 在低显存环境下仍能保持高推理速度；而 Open WebUI 提供了完整的用户管理、对话历史保存、模型切换等功能，极大降低开发成本。

2.2 部署步骤详解

第一步：拉取镜像并配置 docker-compose.yml

version: '3.8' services: vllm: image: vllm/vllm-openai:latest container_name: vllm_deepseek ports: - "8000:8000" environment: - MODEL=deepseek-ai/deepseek-coder-distilled-1.5b - TRUST_REMOTE_CODE=true - GPU_MEMORY_UTILIZATION=0.9 deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui ports: - "7860:7860" environment: - OLLAMA_BASE_URL=http://vllm:8000/v1 depends_on: - vllm

注意：若使用 GGUF 量化模型，建议替换为 Ollama 方案，因其原生支持.gguf文件加载。

第二步：启动服务

docker compose up -d

等待几分钟，待vLLM加载模型完成、Open WebUI启动成功后，访问http://localhost:7860即可进入可视化界面。

第三步：登录与测试

演示账号信息如下： - 账号：kakajiang@kakajiang.com - 密码：kakajiang

登录后发送测试消息如：“请解方程 x² - 5x + 6 = 0”，观察响应结果是否准确返回解 {x=2, x=3}。

3. 扩展自定义功能：构建本地 Agent

3.1 功能扩展的核心思路

虽然 DeepSeek-R1-Distill-Qwen-1.5B 支持函数调用（Function Calling），但默认情况下 Open WebUI 并未开启此能力。我们需要通过中间层 API 拦截请求，解析模型输出中的 JSON 结构或特殊标记，触发外部工具执行。

整体架构如下：

[用户输入] ↓ [Open WebUI] → [FastAPI 中间件] → [vLLM 推理] ↑ ↓ [工具调用逻辑] ← [函数识别]

3.2 实现自定义工具注册机制

我们以“获取当前天气”为例，展示如何添加可插拔的功能模块。

定义工具接口

# tools/weather.py import requests def get_weather(location: str) -> dict: """ 获取指定城市的天气信息 """ api_key = "your_openweather_api_key" url = f"http://api.openweathermap.org/data/2.5/weather?q={location}&appid={api_key}&units=metric" try: response = requests.get(url) data = response.json() return { "city": data["name"], "temperature": data["main"]["temp"], "description": data["weather"][0]["description"] } except Exception as e: return {"error": str(e)}

注册工具到调度器

# tools/tool_registry.py from typing import Callable, Dict, Any import inspect class ToolRegistry: def __init__(self): self.tools: Dict[str, Callable] = {} def register(self, func: Callable): self.tools[func.__name__] = func return func def list_tools(self): return [ { "name": name, "doc": func.__doc__, "signature": str(inspect.signature(func)) } for name, func in self.tools.items() ] def call(self, tool_name: str, **kwargs) -> Dict[str, Any]: if tool_name not in self.tools: return {"error": f"未知工具: {tool_name}"} try: return self.tools[tool_name](**kwargs) except Exception as e: return {"error": f"执行失败: {str(e)}"} # 全局实例 registry = ToolRegistry() # 注册示例工具 from tools.weather import get_weather registry.register(get_weather)

3.3 修改 Open WebUI 请求流：注入工具提示

为了让模型知道可以调用哪些函数，我们需要在 prompt 中动态插入工具描述。

# middleware/prompt_injector.py def build_system_prompt() -> str: tools_desc = "\n".join([ f"- {t['name']}({t['signature']}): {t['doc']}" for t in registry.list_tools() ]) return f""" 你是一个本地智能助手，具备以下工具可用： {tools_desc} 当用户需求涉及实时数据时，请按以下格式调用工具： <tool_call>{{"name": "get_weather", "arguments": {{"location": "北京"}}}}</tool_call> 不要自行编造数据。 """.strip()

然后在/chat/completions接口拦截中，将原始 system message 替换为此增强版本。

3.4 解析模型输出并执行工具调用

# middleware/tool_parser.py import re import json from fastapi.responses import JSONResponse def parse_tool_calls(text: str): pattern = r"<tool_call>(.*?)</tool_call>" matches = re.findall(pattern, text, re.DOTALL) calls = [] for match in matches: try: call_data = json.loads(match) calls.append(call_data) except json.JSONDecodeError: continue return calls

在收到 vLLM 返回的响应后，先检查是否存在<tool_call>标记，若有则执行对应函数并将结果拼接回对话流。

4. 实际案例：实现 Python 代码沙箱执行

考虑到 DeepSeek-R1-Distill-Qwen-1.5B 擅长代码生成，我们可以为其添加“安全执行环境”，允许其运行简单脚本并返回结果。

4.1 创建隔离执行环境

# tools/python_executor.py import subprocess import tempfile import os def execute_python_code(code: str) -> dict: """ 在临时文件中执行 Python 代码，限制运行时间 """ with tempfile.NamedTemporaryFile(mode='w', suffix='.py', delete=False) as f: f.write(code) temp_path = f.name try: result = subprocess.run( ['python', temp_path], capture_output=True, timeout=5, text=True ) return { "stdout": result.stdout, "stderr": result.stderr, "returncode": result.returncode } except subprocess.TimeoutExpired: return {"error": "代码执行超时"} except Exception as e: return {"error": str(e)} finally: os.unlink(temp_path) # 注册工具 registry.register(execute_python_code)

4.2 使用示例

用户提问：“画一个正弦波图像。”

模型可能输出：

我会调用 Python 工具来绘制正弦波。 <tool_call>{"name": "execute_python_code", "arguments": {"code": "import matplotlib.pyplot as plt\\nimport numpy as np\\nx = np.linspace(0, 2*np.pi, 100)\\ny = np.sin(x)\\nplt.plot(x,y)\\nplt.title('Sine Wave')\\nplt.show()"}} </tool_call>

中间件捕获后执行代码，捕获标准输出或图像缓冲区（需进一步扩展支持图像传输），再将结果反馈给用户。

5. 性能优化与部署建议

5.1 显存与速度优化策略

尽管 DeepSeek-R1-Distill-Qwen-1.5B 本身轻量，但在实际部署中仍需注意以下几点：

• 使用量化版本：GGUF-Q4 可将模型体积压缩至 0.8GB，适合嵌入式设备。
• 启用 PagedAttention：vLLM 默认启用，有效减少 KV Cache 内存占用。
• 批处理请求：设置--max-num-seqs=32提升吞吐。
• 关闭冗余日志：避免影响响应延迟。

推荐启动命令（vLLM）：

python -m vllm.entrypoints.openai.api_server \ --model deepseek-ai/deepseek-coder-distilled-1.5b \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --max-model-len 4096 \ --dtype auto

5.2 多平台适配建议

6. 总结

6. 总结

本文围绕 DeepSeek-R1-Distill-Qwen-1.5B 展开了一套完整的本地化智能对话系统构建方案，涵盖从环境部署到功能扩展的全流程实践。核心要点包括：

1. 轻量高效：1.5B 参数模型在 6GB 显存下即可满速运行，支持手机、嵌入式设备部署；
2. 工程落地：结合 vLLM 与 Open WebUI，实现高性能推理与友好交互界面；
3. 功能扩展：通过中间件实现函数调用机制，支持天气查询、代码执行等自定义工具；
4. 安全可控：所有数据本地处理，无隐私泄露风险，符合边缘计算需求；
5. 商用友好：Apache 2.0 协议授权，允许自由用于商业产品。

未来可进一步探索方向包括： - 集成语音输入/输出模块，打造全模态本地助手； - 结合向量数据库实现个性化记忆与知识检索； - 利用 LoRA 微调适配垂直领域任务。

只要硬件具备 4GB 以上内存，就能让这款“数学 80 分的小钢炮”为你所用。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。