news 2026/5/7 5:36:07

Qwen Code + vLLM + Qwen3-Coder 构建本地私有化开发助手

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Qwen Code + vLLM + Qwen3-Coder 构建本地私有化开发助手

一、Qwen Code

Qwen Code是一款类似于Claude CodeAI编程助手,由阿里通义千问团队推出,一定程度上可以作为Claude Code的平替工具,本文通过Qwen Code+vLLM+Qwen3-Coder-30B-A3B-Instruct构建纯内网下私服级开发辅助引擎,主要流程如下所示:

实验主要依赖的版本如下:

torch==2.6.0transformers==4.51.3modelscope==1.23.1vllm==0.8.4

二、vLLM 部署 Qwen3-Coder-30B-A3B-Instruct

使用modelscope下载Qwen3-Coder-30B-A3B-Instruct模型到本地:

modelscope download--model="Qwen3-Coder-30B-A3B-Instruct"--local_dirQwen3-Coder-30B-A3B-Instruct

然后使用vLLM读取模型启动API服务。

exportCUDA_VISIBLE_DEVICES=0,1vllm serve"Qwen3-Coder-30B-A3B-Instruct"\--host0.0.0.0\--port8060\--dtypebfloat16\--tensor-parallel-size2\--cpu-offload-gb0\--gpu-memory-utilization0.8\--max-model-len65536\--api-key token-abc123\--enable-prefix-caching\--enable-auto-tool-choice\--tool-call-parser hermes\--trust-remote-code

关键参数说明:

  • export CUDA_VISIBLE_DEVICES=0,1:指定所使用的GPU
  • dtype: 数据类型,其中bfloat1616位浮点数,适合NVIDIA A100等设备。
  • tensor-parallel-sizeTensor并行的数量,当多GPU分布式推理时使用,建议和GPU的数量一致。
  • cpu-offload-gb:允许将部分模型权重或中间结果卸载到CPU的内存中,单位为GB,模拟GPU内存扩展,如果部署的模型大于了显存大小可以设置该参数,但是推理速度会大大下降。
  • gpu-memory-utilization:设置GPU内存利用率的上限。
  • max-model-len:允许模型最大处理的Token数,该参数越大占用显存越大。
  • enable-prefix-caching:启用前缀缓存减少重复计算。
  • enable-auto-tool-choice:启用 function call 模式。
  • tool-call-parser hermes:设置 function call 的解析器。

显存占用情况:

如果启动显存不足,可适当调整gpu-memory-utilizationmax-model-len参数,或通过cpu-offload-gb将部分模型权重卸载到内存中(速度会大大折扣)。

启动成功后,可通过/v1/models接口可查看模型列表:

curlhttp://127.0.0.1:8060/v1/models-H"Authorization: Bearer token-abc123"

测试API交互:

curlhttp://127.0.0.1:8060/v1/chat/completions\-H"Content-Type: application/json"\-H"Authorization: Bearer token-abc123"\-d'{ "model": "Qwen3-Coder-30B-A3B-Instruct", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你是谁"} ] }'

三、安装和配置 Qwen Code

首先安装 Qwen Code 组件,这里采用 npm:

npminstall-g@qwen-code/qwen-code@latest

安装好后,可以输入qwen进入窗口:

配置上面部署的私有模型:

在项目目录下创建.env文件, 内容如下所示:

OPENAI_BASE_URL=http://127.0.0.1:8060/v1/OPENAI_API_KEY=token-abc123OPENAI_MODEL=Qwen3-Coder-30B-A3B-Instruct

然后在.env文件同级的目录下唤醒qwen:

i进入插入模式,然后输入/auth切换认证方式,选择OpenAI,确认信息后即配置成功:

四、 Vibe Coding 测试

这里简单测试下 Vibe Coding ,开发一个H5小游戏和一个前端页面。

4.1 测试 h5 小游戏开发

输入指令:创建一个H5五子棋小游戏

默认情况下,对文件的修改都要用户授权,这里可以先选择是,总是允许

最终运行使用效果:

4.2 测试 前端页面开发

输入指令:实现一个科技感十足的数据分析洞察的前端展示页面,使用H5绘制,需要包含炫酷的图表和动画

最终运行使用效果:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/27 16:56:26

工业机器人控制器中NX12.0异常应对全解析

工业机器人控制器中NX12.0异常应对全解析:从“崩溃停机”到“主动防御”的实战升级 一场突如其来的产线停机,暴露了C代码的“致命短板” 某汽车焊接车间的六轴机器人在运行过程中突然停止,HMI弹出一条模糊提示:“ nx12.0捕获到标…

作者头像 李华
网站建设 2026/4/30 10:58:37

GPU算力弹性扩容:根据DDColor任务队列长度自动增加实例

GPU算力弹性扩容:根据DDColor任务队列长度自动增加实例 在老照片修复服务突然爆火的某个周末,用户上传请求在几分钟内从每分钟10次飙升到200次。系统后台的任务队列迅速堆积,等待处理的照片超过300张——这意味着普通用户需要等待近一个小时才…

作者头像 李华
网站建设 2026/5/5 11:57:04

ChromeDriver压力测试:评估DDColor服务最大承载能力

ChromeDriver压力测试:评估DDColor服务最大承载能力 在AI图像修复技术迅速普及的今天,越来越多的老照片正通过智能算法重获色彩。像DDColor这样的深度学习模型,已经能够在几秒内将一张泛黄模糊的黑白影像还原成自然生动的彩色画面。这类服务通…

作者头像 李华
网站建设 2026/4/17 16:15:51

JavaScript错误上报:收集前端调用DDColor API的异常数据

JavaScript错误上报:收集前端调用DDColor API的异常数据 在构建面向大众的老照片修复工具时,一个看似简单的“上传→上色→下载”流程背后,往往隐藏着大量潜在的技术风险。用户上传一张模糊的黑白旧照,点击“智能修复”&#xff…

作者头像 李华
网站建设 2026/5/1 1:26:50

Elasticsearch全文搜索性能优化:避免常见查询陷阱

Elasticsearch 搜索性能优化实战:避开这些坑,你的查询才能真正“快”起来在现代数据驱动的应用中,Elasticsearch已经成为构建高性能搜索系统的标配。无论是电商平台的商品检索、日志平台的快速定位,还是安全分析中的行为追踪&…

作者头像 李华