GLM-4-9B-Chat-1M保姆级教程：vLLM模型卸载重载、Chainlit主题定制、历史会话导出

GLM-4-9B-Chat-1M保姆级教程：vLLM模型卸载重载、Chainlit主题定制、历史会话导出

1. 为什么你需要这篇教程

你是不是也遇到过这些情况：

• 模型加载太慢，想临时卸载腾出显存，但不知道怎么安全操作？
• Chainlit默认界面太单调，想换成公司品牌色或加个logo，却卡在配置文件里改来改去？
• 和GLM-4-9B-Chat-1M聊了十几轮技术方案，突然想把整段对话导出来发给同事，却发现前端根本没提供导出按钮？

这篇教程就是为你写的。不讲大道理，不堆参数，只聚焦三件你马上能用上的事：
vLLM服务下如何安全卸载/重载模型（不是kill进程，是优雅释放+精准重建）
Chainlit前端从配色到布局的深度定制（改一个文件就能换主题，不用动框架源码）
一键导出全部历史会话为Markdown文件（含时间戳、角色标识、代码块高亮）

全程基于CSDN星图镜像中已预装的glm-4-9b-chat-1m环境实操，所有命令复制粘贴就能跑通。不需要你懂vLLM源码，也不需要你会React——只要你会用终端和文本编辑器。

2. 环境确认与基础操作

2.1 验证模型服务是否就绪

打开WebShell，执行：

cat /root/workspace/llm.log

如果看到类似这样的输出，说明vLLM服务已成功加载GLM-4-9B-Chat-1M模型：

INFO 01-26 14:22:37 [model_runner.py:528] Loading model weights took 128.45s INFO 01-26 14:22:38 [engine.py:182] Started engine with config: model='THUDM/glm-4-9b-chat', tensor_parallel_size=2, max_model_len=1048576

关键看两行：

• Loading model weights took XXs表示权重加载完成
• max_model_len=1048576对应1M上下文（1024×1024=1,048,576 tokens）

注意：如果日志里出现OSError: CUDA out of memory，说明显存不足，需先执行后续的卸载操作再重试。

2.2 启动Chainlit前端并测试连通性

在WebShell中运行：

cd /root/workspace && chainlit run app.py -h 0.0.0.0:8000 --host 0.0.0.0

等待终端出现Running on http://0.0.0.0:8000提示后，在浏览器打开镜像提供的WebUI地址（通常为https://xxx.csdn.net）。首次访问会自动跳转到Chainlit界面。

输入一句简单提问测试，比如：

“请用三句话介绍GLM-4-9B-Chat-1M的核心能力”

如果返回结果包含“1M上下文”“多语言支持”“函数调用”等关键词，且响应时间在10秒内，说明端到端链路完全畅通。

3. vLLM模型卸载与重载实战

3.1 为什么要卸载重载，而不是直接重启？

vLLM的模型加载是内存密集型操作。直接kill -9进程会导致：

• GPU显存无法彻底释放，下次启动仍报OOM
• 模型权重文件锁未解除，重载时读取失败
• 服务端口被占用，新实例无法绑定

真正的卸载必须分三步走：释放GPU资源 → 清理进程残留 → 重置vLLM引擎。

3.2 安全卸载模型（三步法）

第一步：发送HTTP卸载请求
vLLM提供了官方API用于动态卸载模型。执行以下curl命令：

curl -X POST "http://localhost:8000/unload_model" \ -H "Content-Type: application/json" \ -d '{"model": "THUDM/glm-4-9b-chat"}'

正常响应为：

{"status": "success", "message": "Model THUDM/glm-4-9b-chat unloaded"}

第二步：强制清理残留进程
即使API返回成功，仍有Python子进程在后台运行。执行：

pkill -f "vllm.entrypoints.api_server" && pkill -f "chainlit"

验证是否清理干净：

ps aux | grep -E "(vllm|chainlit)" | grep -v grep

若无任何输出，说明进程已清空。

第三步：释放GPU显存
执行NVIDIA命令强制释放：

nvidia-smi --gpu-reset -i 0 2>/dev/null || true

小技巧：|| true确保命令失败时不中断后续操作，适配不同驱动版本。

3.3 重载模型并验证

卸载完成后，用原始启动命令重新加载：

cd /root/workspace && python -m vllm.entrypoints.api_server \ --model THUDM/glm-4-9b-chat \ --tensor-parallel-size 2 \ --max-model-len 1048576 \ --port 8000 \ --host 0.0.0.0 \ --enable-chunked-prefill \ --gpu-memory-utilization 0.95

等待日志中再次出现Started engine with config，即可用curl测试API：

curl "http://localhost:8000/v1/models" | jq '.data[0].id'

返回"THUDM/glm-4-9b-chat"即表示重载成功。

4. Chainlit前端深度定制指南

4.1 主题定制：从配色到字体

Chainlit默认使用CSS-in-JS方案，但镜像中已将样式抽离为独立文件。修改路径：
/root/workspace/app.py→ 查找@cl.set_chat_profiles上方的cl.set_theme()区块。

修改配色方案（推荐）：
将原生蓝色主题改为科技蓝+深灰背景，只需替换三行：

# 替换前（默认） cl.set_theme({ "primary_color": "#3B82F6", "background_color": "#FFFFFF", "text_color": "#1F2937" }) # 替换后（科技感主题） cl.set_theme({ "primary_color": "#2563EB", # 深科技蓝 "background_color": "#0F172A", # 深灰背景 "text_color": "#E2E8F0" # 浅灰文字 })

添加自定义Logo：
在/root/workspace/static/目录下放入logo.png，然后在app.py中插入：

@cl.on_chat_start async def start(): await cl.Message( content="👋 欢迎使用GLM-4-9B-Chat-1M，支持100万字超长上下文", author="GLM-4-9B-Chat-1M" ).send() # 插入Logo（需提前上传到static目录） await cl.Image( name="logo", path="/root/workspace/static/logo.png", display="inline" ).send()

4.2 布局优化：让长文本对话更易读

GLM-4-9B-Chat-1M常生成大段技术分析，但Chainlit默认消息框宽度固定。通过注入CSS解决：

在app.py顶部添加：

import chainlit as cl # 注入自定义CSS cl.Html( content=""" <style> .message-content { max-width: 90vw !important; } .code-block { font-size: 0.9em !important; } .message-author { font-weight: 600; color: #60A5FA; } </style> """, name="custom-css" ).send()

效果：

• 消息内容区宽度扩展至视口90%，避免长代码行被截断
• 代码块字体缩小10%，提升可读性
• 用户/机器人标识加粗并着色，一眼区分角色

5. 历史会话导出功能实现

5.1 为什么不能直接用浏览器“另存为”？

Chainlit的聊天记录存储在内存中，页面刷新即丢失。必须通过后端API持久化导出。

5.2 三步实现一键导出

第一步：在app.py中添加导出路由
在文件末尾加入：

from datetime import datetime import os @cl.on_message async def main(message: cl.Message): # ...原有逻辑保持不变... pass # 新增：导出历史记录 @cl.on_chat_end def on_chat_end(): # 获取当前会话所有消息 messages = cl.user_session.get("chat_history", []) if not messages: return # 生成Markdown内容 timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filename = f"glm4_chat_history_{timestamp}.md" filepath = f"/root/workspace/{filename}" with open(filepath, "w", encoding="utf-8") as f: f.write(f"# GLM-4-9B-Chat-1M 会话记录\n\n") f.write(f"生成时间：{datetime.now().strftime('%Y年%m月%d日 %H:%M:%S')}\n\n") for msg in messages: role = " AI" if msg["author"] == "GLM-4-9B-Chat-1M" else "👤 用户" f.write(f"## {role}（{msg['timestamp']}）\n\n") f.write(f"{msg['content']}\n\n") if msg.get("language"): f.write(f"```{msg['language']}\n{msg['content']}\n```\n\n") # 发送下载链接 cl.send_message( content=f" 会话已导出为 `{filename}`\n点击下方链接下载：", author="系统" ) cl.send_file( path=filepath, name=filename, type="text/markdown" )

第二步：启用会话历史记录
在@cl.on_chat_start函数开头添加：

@cl.on_chat_start async def start(): cl.user_session.set("chat_history", []) # 初始化历史列表 # ...后续逻辑...

第三步：在消息处理中保存记录
修改@cl.on_message中的消息发送逻辑：

@cl.on_message async def main(message: cl.Message): # 保存用户消息 chat_history = cl.user_session.get("chat_history", []) chat_history.append({ "author": "👤 用户", "content": message.content, "timestamp": datetime.now().strftime("%H:%M:%S") }) # 调用模型获取响应... response = await call_glm4_api(message.content) # 保存AI消息 chat_history.append({ "author": " GLM-4-9B-Chat-1M", "content": response, "timestamp": datetime.now().strftime("%H:%M:%S") }) cl.user_session.set("chat_history", chat_history) await cl.Message(content=response, author="GLM-4-9B-Chat-1M").send()

5.3 使用效果

当结束一次会话（关闭浏览器标签页或点击Chainlit右上角“End Chat”），系统会自动生成类似glm4_chat_history_20260126_143022.md的文件，并在聊天窗口底部显示下载按钮。打开文件可见结构化记录：

# GLM-4-9B-Chat-1M 会话记录 生成时间：2026年01月26日 14:30:22 ## 👤 用户（14:28:15） 请解释vLLM的PagedAttention机制 ## GLM-4-9B-Chat-1M（14:28:42） PagedAttention是一种内存管理技术...（此处为实际响应内容）

6. 常见问题与避坑指南

6.1 卸载后重载失败：CUDA初始化错误

现象：
RuntimeError: CUDA error: initialization error

原因：
NVIDIA驱动未完全释放GPU上下文。

解法：
执行以下命令重置GPU状态：

sudo nvidia-smi --gpu-reset -i 0 && sudo systemctl restart nvidia-persistenced

6.2 Chainlit导出文件乱码

现象：
下载的Markdown文件中文显示为方块或问号。

原因：
Python文件写入未指定UTF-8编码。

解法：
确保open()函数中明确声明编码：

with open(filepath, "w", encoding="utf-8") as f: # 必须有encoding参数

6.3 导出文件不包含代码块高亮

现象：
AI返回的Python代码在Markdown中未渲染为代码块。

解法：
在on_chat_end函数中增强判断逻辑：

if "```" in msg["content"]: # 提取语言标识（如```python） lang_match = re.search(r"```(\w+)", msg["content"]) if lang_match: lang = lang_match.group(1) f.write(f"```{lang}\n{msg['content'].split('```')[1].strip()}\n```\n\n") else: f.write(f"```\n{msg['content']}\n```\n\n") else: f.write(f"{msg['content']}\n\n")

7. 总结：让1M上下文真正为你所用

这篇教程没有教你如何微调模型，也没有深入vLLM的调度算法——它只解决你在真实工作流中卡住的三个具体动作：
🔹卸载重载：不是粗暴kill，而是用API+进程清理+GPU重置三步闭环，确保每次重载都干净利落；
🔹主题定制：改三行代码就能换主题，加两行就能嵌入Logo，让工具符合你的工作习惯；
🔹历史导出：把1M上下文产生的每一段思考沉淀为可分享、可追溯的文档资产。

GLM-4-9B-Chat-1M的价值不在参数量，而在于它能把百万字材料变成可交互的知识体。当你能随时卸载腾显存、定制界面提效率、导出记录做沉淀，这个模型才真正从“能跑”变成了“好用”。

现在，打开你的WebShell，选一个最想立刻解决的问题，动手试试吧。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。