Qwen1.5-0.5B-Chat部署教程：8080端口Web访问配置详解
1. 引言
1.1 学习目标
本文旨在为开发者提供一份完整、可落地的Qwen1.5-0.5B-Chat模型本地化部署指南，重点解决基于 CPU 环境下的轻量级对话服务搭建与 Web 访问端口（8080）配置问题。通过本教程，您将掌握：
- 如何创建独立 Python 环境并安装必要依赖
- 从 ModelScope 社区拉取 Qwen1.5-0.5B-Chat 模型的核心方法
- 基于 Flask 构建异步 WebUI 的实现逻辑
- 正确绑定 8080 端口以实现局域网或公网访问
- 常见启动错误排查与性能优化建议
最终实现一个可通过浏览器直接访问http://<IP>:8080的智能对话界面。
1.2 前置知识
读者需具备以下基础技能： - 熟悉 Linux/Windows 命令行操作 - 了解 Conda 虚拟环境管理 - 具备基本 Python 编程能力 - 对 Hugging Face Transformers 或 ModelScope SDK 有初步认知
推荐运行环境： - 内存 ≥ 4GB（模型加载后预留充足运行空间） - 磁盘空间 ≥ 10GB - 操作系统：Ubuntu 20.04 / Windows 10 / macOS Monterey 及以上版本
1.3 教程价值
不同于简单的“一键启动”脚本说明，本文深入剖析部署过程中的关键环节，特别是Flask 应用端口绑定机制和跨平台兼容性处理，帮助开发者真正理解服务暴露原理，避免因端口冲突、IP 绑定错误导致的服务不可达问题。所有代码均可在无 GPU 的普通服务器或笔记本上运行。
2. 环境准备与模型获取
2.1 创建独立 Conda 环境
为避免依赖冲突，首先使用 Conda 创建专用虚拟环境：
conda create -n qwen_env python=3.9 -y conda activate qwen_env激活后验证 Python 版本：
python --version # 输出应为 Python 3.9.x2.2 安装核心依赖库
依次安装以下包，确保支持 ModelScope 模型加载和 Web 服务构建：
pip install torch==2.1.0+cpu -f https://download.pytorch.org/whl/torch_stable.html pip install transformers==4.36.0 pip install modelscope==1.13.0 pip install flask==2.3.3 pip install flask-cors==4.0.0注意：此处强制指定
torch的 CPU 版本，适用于无 GPU 设备。若后续升级至 GPU 支持，请更换为 CUDA 兼容版本。
2.3 下载 Qwen1.5-0.5B-Chat 模型
利用 ModelScope SDK 直接下载官方开源模型权重：
from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 初始化对话管道（自动下载模型） chat_pipeline = pipeline( task=Tasks.text_generation, model='qwen/Qwen1.5-0.5B-Chat' )首次运行时会自动从 ModelScope 模型库 下载约 1.2GB 的模型文件，并缓存至本地~/.cache/modelscope/hub/目录。
可通过以下命令预检是否成功加载：
response = chat_pipeline("你好") print(response["text"]) # 预期输出类似：“你好！有什么我可以帮你的吗？”3. Web 服务开发与 8080 端口配置
3.1 Flask 核心服务结构设计
我们构建一个轻量级 Flask 应用，包含两个接口： -GET /：返回前端 HTML 页面 -POST /chat：接收用户输入并流式返回模型响应
项目目录结构如下：
qwen-web/ ├── app.py ├── templates/ │ └── index.html └── static/ └── style.css3.2 实现主应用文件 app.py
# app.py from flask import Flask, request, jsonify, render_template from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks import threading import queue app = Flask(__name__) # 全局模型管道（仅初始化一次） chat_pipeline = pipeline( task=Tasks.text_generation, model='qwen/Qwen1.5-0.5B-Chat' ) # 用于流式输出的线程安全队列 class Streamer: def __init__(self): self.queue = queue.Queue() def put(self, value): self.queue.put(value) def end(self): self.queue.put(None) def __iter__(self): return self def __next__(self): value = self.queue.get() if value is None: raise StopIteration() return value @app.route('/') def home(): return render_template('index.html') @app.route('/chat', methods=['POST']) def chat(): data = request.json user_input = data.get("message", "").strip() if not user_input: return jsonify({"error": "请输入有效内容"}), 400 streamer = Streamer() def generate_response(): try: response = chat_pipeline(user_input, streamer=streamer) # 若未启用流式，则直接返回结果 if 'text' in response: yield response['text'] except Exception as e: yield f"【系统错误】{str(e)}" return app.response_class(generate_response(), mimetype='text/plain') if __name__ == '__main__': app.run(host='0.0.0.0', port=8080, threaded=True)3.3 配置 8080 端口的关键参数解析
在app.run()中设置以下参数至关重要：
| 参数 | 值 | 说明 |
|---|---|---|
host | '0.0.0.0' | 允许外部设备通过 IP 访问服务；若设为'127.0.0.1'则仅限本地访问 |
port | 8080 | 指定监听端口号；需确保该端口未被占用 |
threaded | True | 启用多线程模式，支持并发请求处理 |
重要提示：若服务器启用了防火墙（如 ufw、firewalld），请开放 8080 端口：
bash sudo ufw allow 8080
3.4 前端页面实现（templates/index.html）
<!DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8" /> <title>Qwen1.5-0.5B-Chat 对话系统</title> <style> body { font-family: Arial, sans-serif; padding: 20px; background: #f4f6f8; } #chat-box { height: 400px; overflow-y: auto; border: 1px solid #ccc; padding: 10px; margin-bottom: 10px; background: white; } .user { color: blue; text-align: right; margin: 5px 0; } .bot { color: green; text-align: left; margin: 5px 0; } input, button { padding: 10px; font-size: 16px; } #input-area { display: flex; gap: 10px; } </style> </head> <body> <h2>💬 Qwen1.5-0.5B-Chat 轻量级对话服务</h2> <div id="chat-box"></div> <div id="input-area"> <input type="text" id="user-input" placeholder="请输入您的问题..." autofocus /> <button onclick="send()">发送</button> </div> <script> const chatBox = document.getElementById("chat-box"); function send() { const input = document.getElementById("user-input"); const message = input.value.trim(); if (!message) return; // 显示用户消息 addMessage(message, "user"); input.value = ""; // 发送请求 fetch("/chat", { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify({ message }) }) .then(stream => stream.text()) .then(text => { addMessage(text, "bot"); }) .catch(err => { addMessage("【连接失败】请检查服务状态。", "bot"); }); } function addMessage(text, sender) { const div = document.createElement("div"); div.className = sender; div.textContent = text; chatBox.appendChild(div); chatBox.scrollTop = chatBox.scrollHeight; } // 回车发送 document.getElementById("user-input").addEventListener("keypress", e => { if (e.key === "Enter") send(); }); </script> </body> </html>4. 快速启动与访问验证
4.1 启动服务
进入项目根目录并执行：
cd qwen-web python app.py正常输出日志如下：
* Running on http://0.0.0.0:8080 * Running on http://127.0.0.1:8080 WARNING: This is a development server. Do not use it in a production setting.4.2 访问 Web 界面
根据运行设备的不同，选择对应方式访问：
| 场景 | 访问地址 |
|---|---|
| 本地测试 | http://127.0.0.1:8080 |
| 局域网共享 | http://<本机IP>:8080（如http://192.168.1.100:8080） |
| 云服务器 | http://<公网IP>:8080 |
点击界面上的HTTP (8080端口)访问入口，即可进入聊天界面。
4.3 验证模型响应
输入测试语句如： - “介绍一下你自己” - “写一首关于春天的诗” - “Python中如何读取JSON文件？”
预期可在数秒内收到模型回复（CPU 推理延迟约为 3–8 秒/轮，取决于句子长度）。
5. 常见问题与优化建议
5.1 常见启动错误及解决方案
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
OSError: [Errno 98] Address already in use | 8080 端口已被占用 | 更换端口：app.run(port=8081)或终止占用进程lsof -i :8080 |
ModuleNotFoundError: No module named 'flask' | 依赖未正确安装 | 确认已激活qwen_env环境并重新安装依赖 |
页面无法加载/chat接口 | 跨域限制或路由错误 | 检查app.py是否正确定义 POST 路由，必要时添加 CORS 支持 |
| 模型加载缓慢或报错 | 网络不佳或缓存损坏 | 手动清除缓存rm -rf ~/.cache/modelscope后重试 |
5.2 性能优化建议
- 启用半精度推理（如支持）
- 若设备支持 float16（部分 ARM 架构可能不兼容），可尝试：
python chat_pipeline = pipeline(task=..., model='...', torch_dtype='float16') 可减少内存占用约 30%，但当前 0.5B 模型默认使用 float32 更稳定。
限制生成长度
在
pipeline中添加参数控制输出长度，防止长文本阻塞：python response = chat_pipeline(user_input, max_new_tokens=256)使用 Gunicorn 提升并发能力（生产环境）
替代 Flask 自带服务器，提升稳定性：
bash pip install gunicorn gunicorn -w 2 -b 0.0.0.0:8080 app:app静态资源压缩
- 使用
Flask-Compress插件对 HTML/CSS/JS 进行 gzip 压缩，提升前端加载速度。
6. 总结
6.1 核心收获回顾
本文详细讲解了如何在无 GPU 环境下部署Qwen1.5-0.5B-Chat模型，并通过 Flask 框架将其封装为可通过 8080 端口访问的 Web 服务。主要内容包括：
- 利用 ModelScope SDK 实现模型一键拉取与本地加载
- 构建基于 Flask 的轻量级 WebUI，支持基本流式交互
- 正确配置
host='0.0.0.0'和port=8080实现外部访问 - 提供完整的前后端代码示例，确保开箱即用
- 列出常见问题与实用优化策略，提升部署成功率
6.2 最佳实践建议
- 开发阶段：使用 Flask 内置服务器快速迭代
- 生产部署：切换至 Gunicorn + Nginx 架构，增强安全性与并发处理能力
- 资源受限场景：优先选用 0.5B 小模型，兼顾响应速度与功能完整性
- 持续更新：关注 ModelScope 上 Qwen 系列新版本发布，及时迁移至更优模型
通过本方案，即使是低配设备也能承载一个可用的 AI 对话服务，适用于教育演示、内部工具、边缘计算等轻量级应用场景。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
