用Python轻松调用Qwen3-0.6B，代码示例全给

用Python轻松调用Qwen3-0.6B，代码示例全给

你是不是也遇到过这样的情况：好不容易部署好一个大模型，结果调用时卡在API配置、密钥验证、端口映射上，折腾半天连一句“你好”都问不出来？别急——今天这篇就是为你写的。我们不讲复杂部署，不聊GPU显存优化，就聚焦一件事：用最简单的方式，在Python里把Qwen3-0.6B真正用起来。

本文基于CSDN星图镜像广场提供的预置Qwen3-0.6B镜像（已集成Jupyter+OpenAI兼容API服务），全程无需安装vLLM、SGLang或手动拉取模型权重。所有代码均可直接复制粘贴运行，小白友好，老手省心。

1. 前提确认：你的环境已经准备好了吗？

1.1 镜像启动后，你看到的是这个界面吗？

当你在CSDN星图镜像广场启动Qwen3-0.6B镜像后，系统会自动打开Jupyter Lab页面。请确认地址栏中显示的URL形如：

https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/

其中8000是关键端口号，它代表OpenAI兼容API服务正在该端口监听请求。如果你看到的是其他端口（比如8888），说明Jupyter本身在运行，但API服务可能未就绪——请返回镜像控制台，检查是否已点击“启动服务”按钮。

小提示：镜像文档中提到的base_url地址，就是你浏览器地址栏里https://...-8000.web...这一整段，不要删掉末尾的/v1，它已在代码中写死。

1.2 不需要下载模型，也不需要配置CUDA

Qwen3-0.6B镜像已预装全部依赖：

• Python 3.10
• Transformers 4.51+
• Accelerate + FlashAttention（加速推理）
• OpenAI Python SDK（openai>=1.0）
• 已加载完成的Qwen/Qwen3-0.6B模型权重（约1.2GB）

你唯一要做的，就是打开Jupyter里的.ipynb文件，或者新建一个空白Notebook，然后——开始写代码。

1.3 关于API密钥：它真的叫“EMPTY”

很多新手在这里栽跟头：看到api_key="EMPTY"，下意识去Hugging Face找Token，或尝试填入空字符串""。
正确做法就是原样写"EMPTY"——这是vLLM/SGLang服务端约定的“免认证”标识，不是占位符，也不是bug。

# 正确 api_key="EMPTY" # ❌ 错误（会报401 Unauthorized） api_key="" api_key=None api_key="your-hf-token"

2. 最简调用：三行代码搞定首次对话

2.1 安装客户端（仅需一次）

在Jupyter第一个Cell中运行：

!pip install openai>=1.0.0 -q

-q表示静默安装，避免刷屏。如果提示“已存在”，可跳过。

2.2 实例化客户端并提问

from openai import OpenAI # 创建客户端（注意：base_url末尾不加/v1，SDK会自动补全） client = OpenAI( base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY" ) # 发起一次聊天请求 response = client.chat.completions.create( model="Qwen/Qwen3-0.6B", # 必须写全名，不能只写"Qwen-0.6B" messages=[{"role": "user", "content": "你是谁？"}], temperature=0.5, max_tokens=256 ) print(response.choices[0].message.content)

运行后，你会看到类似这样的输出：

我是通义千问Qwen3系列中的0.6B参数版本，由阿里巴巴研发，支持中文、英文等多种语言，擅长回答问题、创作文字、逻辑推理等任务。

为什么这三步就能跑通？
因为镜像已将vLLM服务以标准OpenAI API格式暴露在8000端口，openaiSDK天然兼容，无需任何适配层。

3. LangChain方式调用：适合已有项目快速接入

如果你的项目已经在用LangChain，或者你想复用现有PromptTemplate、OutputParser等组件，可以直接用ChatOpenAI封装。

3.1 安装LangChain生态包

!pip install langchain langchain-openai -q

3.2 初始化ChatModel（带思维链支持）

from langchain_openai import ChatOpenAI chat_model = ChatOpenAI( model="Qwen/Qwen3-0.6B", temperature=0.5, base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY", extra_body={ "enable_thinking": True, # 启用思维链模式 "return_reasoning": True, # 返回完整思考过程（含<think>标签） }, streaming=True, # 支持流式响应 ) # 直接调用 result = chat_model.invoke("365 ÷ 73 等于多少？请一步步思考") print(result.content)

输出示例（含思考过程）：

<think>首先，我需要计算365除以73。 73 × 5 = 365，所以结果是5。 </think> 答案是5。

3.3 流式响应处理（适合Web前端或长文本生成）

def stream_print(response): for chunk in response: content = chunk.choices[0].delta.content if content: print(content, end="", flush=True) stream_print(chat_model.stream("用一句话介绍量子计算"))

注意：stream()方法返回的是生成器，必须用for循环逐块读取；invoke()是一次性返回完整结果。

4. 进阶技巧：让Qwen3-0.6B更好用的5个实用设置

4.1 控制输出长度与确定性

response = client.chat.completions.create( model="Qwen/Qwen3-0.6B", messages=[{"role": "user", "content": "写一首关于春天的七言绝句"}], temperature=0.4, top_p=0.92, max_tokens=256 )

4.2 多轮对话管理（带历史记忆）

Qwen3-0.6B原生支持多轮上下文，只需按OpenAI格式组织messages列表：

conversation_history = [ {"role": "system", "content": "你是一位资深语文老师，用简洁准确的语言回答学生问题"}, {"role": "user", "content": "什么是拟人修辞？"}, {"role": "assistant", "content": "拟人是把事物当作人来描写，赋予其人的动作、情感或思想。例如：'春风拂过脸庞，温柔地笑了。'"} ] # 新问题追加到历史末尾 conversation_history.append({"role": "user", "content": "再举两个例子"}) response = client.chat.completions.create( model="Qwen/Qwen3-0.6B", messages=conversation_history, temperature=0.3 ) print(response.choices[0].message.content)

4.3 解析思维链内容（提取思考过程）

当启用enable_thinking=True时，响应中会包含<think>标签。你可以用正则精准提取：

import re def extract_thinking(text): match = re.search(r'<think>(.*?)</think>', text, re.DOTALL) return match.group(1).strip() if match else None # 调用带思维链的模型 response = client.chat.completions.create( model="Qwen/Qwen3-0.6B", messages=[{"role": "user", "content": "北京到上海高铁最快要多久？"}], extra_body={"enable_thinking": True} ) full_text = response.choices[0].message.content thinking = extract_thinking(full_text) answer = full_text.replace(f"<think>{thinking}</think>", "").strip() print("【思考过程】", thinking) print("【最终回答】", answer)

4.4 批量请求：一次发多个问题

虽然Qwen3-0.6B是轻量模型，但vLLM服务端支持并发。你可以用asyncio批量提交：

import asyncio from openai import AsyncOpenAI async def batch_query(): client = AsyncOpenAI( base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY" ) tasks = [ client.chat.completions.create( model="Qwen/Qwen3-0.6B", messages=[{"role": "user", "content": q}], max_tokens=128 ) for q in ["Python中lambda是什么？", "如何用pandas读取Excel？", "解释梯度下降"] ] results = await asyncio.gather(*tasks) return [r.choices[0].message.content for r in results] # 运行异步任务 answers = asyncio.run(batch_query()) for i, a in enumerate(answers): print(f"Q{i+1}: {a[:80]}...")

4.5 错误处理：让程序更健壮

网络波动或输入异常可能导致API调用失败。加入重试和降级逻辑：

import time from openai import OpenAI from openai import APIConnectionError, APIStatusError def robust_invoke(messages, max_retries=3): client = OpenAI( base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY" ) for attempt in range(max_retries): try: response = client.chat.completions.create( model="Qwen/Qwen3-0.6B", messages=messages, temperature=0.5, timeout=15 ) return response.choices[0].message.content except APIConnectionError as e: print(f"连接失败，{2**attempt}秒后重试... ({e})") time.sleep(2 ** attempt) except APIStatusError as e: if e.status_code == 429: print("请求过于频繁，等待10秒...") time.sleep(10) else: print(f"服务端错误: {e}") break return "抱歉，当前无法响应，请稍后再试。" # 使用 result = robust_invoke([{"role": "user", "content": "你好"}]) print(result)

5. 常见问题速查表（附解决方案）

小技巧：在Jupyter中，按Ctrl+Enter运行当前Cell，Shift+Enter运行并新建Cell，效率翻倍。

6. 总结：你现在已经掌握了Qwen3-0.6B的核心调用能力

回顾一下，你刚刚完成了这些事：

• 在5分钟内完成首次API调用，无需任何本地部署；
• 用LangChain无缝接入现有项目，支持思维链与流式输出；
• 掌握了温度、采样、长度等关键参数的实际效果；
• 学会了多轮对话、批量请求、错误重试等工程化技巧；
• 能独立排查90%以上的常见连接与响应问题。

Qwen3-0.6B虽是轻量模型，但在代码解释、文案润色、知识问答、教育辅导等场景表现扎实。它的价值不在于参数规模，而在于开箱即用的易用性和对中文语境的深度理解。

下一步，你可以尝试：

• 把它嵌入Flask/FastAPI服务，做成内部知识助手；
• 结合RAG技术，为私有文档库添加智能问答；
• 用它生成测试用例、SQL查询、正则表达式等开发辅助内容。

真正的AI落地，从来不是比谁的GPU更多，而是比谁能把模型更快、更稳、更聪明地用起来。

--- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。