Qwen3.5-9B开源大模型实战：支持中文+英文+代码混合输入的多轮对话系统

Qwen3.5-9B开源大模型实战：支持中文+英文+代码混合输入的多轮对话系统

1. 项目概述

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。这个实战项目将带你从零开始搭建一个支持中文、英文和代码混合输入的多轮对话系统。

1.1 核心能力

• 多语言支持：流畅处理中文、英文和代码混合输入
• 多模态理解：支持图文输入（Qwen3.5-9B-VL变体）
• 长上下文：最高支持128K tokens的上下文记忆
• 参数调节：可灵活调整生成参数以获得不同风格的输出

2. 环境准备

2.1 基础环境

# 创建conda环境 conda create -n torch28 python=3.10 conda activate torch28 # 安装基础依赖 pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0

2.2 模型下载

模型文件较大（约19GB），建议使用huggingface_hub下载：

from huggingface_hub import snapshot_download snapshot_download(repo_id="Qwen/Qwen3.5-9B", local_dir="/root/ai-models/Qwen/Qwen3.5-9B")

3. 项目部署

3.1 项目结构

/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录

3.2 启动脚本

创建start.sh启动脚本：

#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py

赋予执行权限：

chmod +x /root/qwen3.5-9b/start.sh

4. 系统配置

4.1 Supervisor配置

创建配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf：

[program:qwen3.5-9b] command=/bin/bash /root/qwen3.5-9b/start.sh directory=/root/qwen3.5-9b environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin" user=root autostart=true autorestart=true startsecs=30 startretries=3 redirect_stderr=true stdout_logfile=/root/qwen3.5-9b/service.log stopasgroup=true killasgroup=true

4.2 服务管理命令

# 重新加载配置 supervisorctl reread supervisorctl update # 启动服务 supervisorctl start qwen3.5-9b # 查看状态 supervisorctl status qwen3.5-9b

5. 功能使用指南

5.1 基础对话功能

1. 访问Web界面：http://服务器IP:7860
2. 在输入框中输入问题（支持中英文混合）
3. 点击"Send"或按回车键发送
4. 模型会生成回复并显示在对话区域

5.2 图片分析功能

1. 点击右侧"Upload Image"按钮上传图片
2. 在输入框中输入关于图片的问题
3. 发送问题，模型会分析图片内容并回答

5.3 参数调节

• Max tokens：控制生成文本的最大长度（64-8192）
• Temperature：采样温度（0.0-1.5），值越高输出越随机
• Top P：核采样阈值（0.1-1.0），值越低输出越确定
• Top K：采样候选数（1-100），值越小输出越确定

6. 实战案例演示

6.1 代码生成示例

输入：

请用Python写一个快速排序算法，并添加中文注释

输出：

def quick_sort(arr): """快速排序算法""" if len(arr) <= 1: return arr pivot = arr[len(arr) // 2] # 选择中间元素作为基准 left = [x for x in arr if x < pivot] # 小于基准的元素 middle = [x for x in arr if x == pivot] # 等于基准的元素 right = [x for x in arr if x > pivot] # 大于基准的元素 return quick_sort(left) + middle + quick_sort(right) # 递归排序并合并

6.2 多轮对话示例

第一轮：

用户：请解释什么是注意力机制 模型：注意力机制是深度学习中的一种技术，它允许模型在处理序列数据时，动态地关注输入的不同部分...

第二轮：

用户：能用Python代码演示一个简单的注意力实现吗？ 模型：当然可以，以下是一个简化的注意力实现示例： [代码示例...]

6.3 图片分析示例

上传图片：一张包含猫和狗的图片

提问：

图片中有哪些动物？它们分别在做什么？

回答：

图片中有一只橘色的猫正躺在沙发上休息，还有一只棕色的狗站在地板上看着猫...

7. 常见问题排查

7.1 服务启动失败

# 检查进程状态 supervisorctl status qwen3.5-9b # 查看日志 tail -f /root/qwen3.5-9b/service.log

7.2 模型加载慢

• 首次加载可能需要2-3分钟
• 检查GPU是否可用：nvidia-smi
• 确保模型文件完整

7.3 端口冲突

# 检查端口占用 ss -tlnp | grep 7860 # 终止占用进程 kill -9 [PID]

8. 系统维护

8.1 清理对话历史

rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b

8.2 日志管理

# 备份日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak # 清空日志 > /root/qwen3.5-9b/service.log

9. 总结

Qwen3.5-9B作为一款强大的开源大模型，通过本教程的部署方案，你可以快速搭建一个支持中英文混合输入、代码生成和图片分析的多轮对话系统。这个系统可以应用于：

1. 技术问答：解答编程和技术问题
2. 内容创作：辅助写作和创意生成
3. 教育辅导：解释复杂概念和提供学习建议
4. 数据分析：处理和分析上传的图片内容

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。