基于Qwen3-Embedding-0.6B的文本分类，准确率达83%
1. 引言：为什么选择 Qwen3-Embedding-0.6B 做文本分类？
你有没有遇到过这样的问题：用户问“借呗能提前还款吗”，系统却匹配不到“蚂蚁借呗支持提前结清吗”这条知识？明明意思差不多，但关键词一换就对不上。这就是语义理解的痛点。
传统方法靠关键词匹配，效果有限。现在我们有了更好的工具——预训练嵌入模型。它们能把句子变成向量，让机器真正“读懂”文字背后的含义。
本文要讲的就是如何用阿里通义千问最新推出的Qwen3-Embedding-0.6B模型来做文本分类任务，具体是“语义相似性判断”：输入两个句子，模型判断它们是不是在说同一件事。
我们采用 LoRA 微调的方式，在蚂蚁金融语义相似度数据集上进行实验，最终在验证集上达到了83.17% 的准确率，F1 分数为 83.16。虽然略低于之前使用 RoBERTa 的结果（85.15%），但考虑到这是专为嵌入设计的模型而非专门用于分类，这个表现已经非常出色。
更重要的是，整个训练过程只更新了0.27% 的参数量，极大节省了计算资源。接下来我会一步步带你完成从环境搭建到模型测试的全过程。
2. Qwen3-Embedding-0.6B 模型简介
2.1 它不是普通的语言模型
Qwen3-Embedding 系列是通义实验室专门为文本嵌入和排序任务打造的新一代模型。它基于强大的 Qwen3 基础模型，但在训练目标上做了针对性优化，更擅长生成高质量的句向量表示。
目前该系列提供三种尺寸：
- 0.6B：轻量级，适合资源受限场景
- 4B：平衡性能与效率
- 8B：最大尺寸，在 MTEB 多语言排行榜上排名第一（截至2025年6月）
今天我们聚焦的是最小的0.6B 版本，看看它在实际任务中的表现如何。
2.2 核心优势一览
| 特性 | 说明 |
|---|---|
| 多语言支持 | 覆盖超过100种自然语言 + 多种编程语言 |
| 长文本理解 | 支持长达32768个token的输入 |
| 多功能性 | 在文本检索、聚类、分类等任务中均表现出色 |
| 灵活部署 | 提供全尺寸模型，可按需选择 |
特别值得一提的是它的指令增强能力。你可以通过添加特定指令来引导模型生成更适合某类任务的嵌入向量，比如告诉它“请以金融问答的角度理解这段话”。
3. 环境准备与模型启动
3.1 使用 SGLang 快速部署服务
如果你只是想快速体验模型的嵌入能力，可以用 SGLang 一键启动一个 API 服务：
sglang serve --model-path /usr/local/bin/Qwen3-Embedding-0.6B --host 0.0.0.0 --port 30000 --is-embedding执行后你会看到类似下面的日志输出，说明服务已成功启动：
INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:30000 (Press CTRL+C to quit)此时模型已经在本地30000端口提供嵌入服务。
3.2 验证模型是否正常运行
打开 Jupyter Notebook，写几行代码测试一下：
import openai client = openai.Client( base_url="https://gpu-pod6954ca9c9baccc1f22f7d1d0-30000.web.gpu.csdn.net/v1", api_key="EMPTY" ) response = client.embeddings.create( model="Qwen3-Embedding-0.6B", input="今天天气真不错" ) print(response.data[0].embedding[:5]) # 打印前5个维度的向量值如果能正常返回一串浮点数，说明模型服务已经跑起来了！
4. 数据集准备与分析
4.1 我们用什么数据？
本次实验使用的数据集是蚂蚁金融语义相似度数据集（AFQMC），这是一个中文句子对二分类任务的标准 benchmark。
- 下载地址：https://modelscope.cn/datasets/modelscope/afqmc
- 训练集：34,334 条
- 验证集：4,316 条
- 测试集：3,861 条
每条样本包含两个句子和一个标签：
sentence1,sentence2,label,id 蚂蚁借呗等额还款可以换成先息后本吗,借呗有先息到期还本吗,0,0 我的花呗账单是***，还款怎么是***,我的花呗，月结出来说让我还***元，我自己算了一下详细名单我应该还***元,1,4其中label=1表示两句话语义相似，label=0表示不相关。
4.2 输入长度分布分析
为了合理设置max_length，我们需要先看看训练集中句子对的 token 数分布情况。
from transformers import AutoTokenizer import matplotlib.pyplot as plt import pandas as pd def get_num_tokens(file_path, tokenizer): input_num_tokens = [] df = pd.read_csv(file_path) for _, row in df.iterrows(): tokens = len(tokenizer(row["sentence1"], row["sentence2"])["input_ids"]) input_num_tokens.append(tokens) return input_num_tokens # 加载 tokenizer 并统计 tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-Embeding-0.6B") train_tokens = get_num_tokens("dataset/train.csv", tokenizer) # 绘制直方图 plt.hist(train_tokens, bins=range(0, 100, 5), edgecolor='black') plt.title('训练集 Token 长度分布') plt.xlabel('Token 数量') plt.ylabel('频次') plt.show()结果显示，绝大多数样本的 token 数集中在20–60之间。因此我们可以放心地将max_length设为64，既能覆盖大部分样本，又不会浪费太多计算资源。
5. 模型改造：LoRA 微调策略
5.1 为什么要用 LoRA？
直接微调整个 6 亿参数的模型，显存消耗大、训练慢、容易过拟合。而LoRA（Low-Rank Adaptation）是一种高效的参数微调技术，它只训练少量新增的小矩阵，就能达到接近全量微调的效果。
我们的目标是把原本用于生成嵌入向量的模型，改造成能做分类任务的模型。关键操作如下：
from peft import LoraConfig, get_peft_model, TaskType from transformers import AutoModel model_name = "Qwen/Qwen3-Embedding-0.6B" model = AutoModel.from_pretrained(model_name) peft_config = LoraConfig( task_type=TaskType.SEQ_CLS, # 序列分类任务 target_modules=["q_proj", "k_proj", "v_proj"], # 修改自注意力层的 QKV 投影 inference_mode=False, r=8, # 低秩矩阵的秩 lora_alpha=32, # 缩放因子 lora_dropout=0.1 # Dropout 防止过拟合 ) model = get_peft_model(model, peft_config) model.print_trainable_parameters()输出结果：
trainable params: 1,605,632 || all params: 597,382,144 || trainable%: 0.2688也就是说，我们只训练了160万参数，占总量的0.27%！这大大降低了显存占用和训练时间。
5.2 LoRA 是怎么工作的？
简单来说，LoRA 在原始权重旁边加了一个“旁路”：
原始路径：X → W LoRA 路径：X → A → B 最终输出：X @ W + X @ A @ B其中 A 和 B 是两个很小的矩阵（比如 1024×8 和 8×2048），训练时固定 W，只更新 A 和 B。这样既保留了原模型的知识，又能适应新任务。
6. 训练流程详解
6.1 自定义 Dataset 类
我们需要将 CSV 数据转换成模型可读的格式：
from torch.utils.data import Dataset import torch import pandas as pd class ClassifyDataset(Dataset): def __init__(self, tokenizer, data_path, max_length): self.tokenizer = tokenizer self.max_length = max_length self.data = [] df = pd.read_csv(data_path) for _, row in df.iterrows(): self.data.append({ "sentence1": row["sentence1"], "sentence2": row["sentence2"], "label": row["label"] }) def __len__(self): return len(self.data) def __getitem__(self, index): item = self.data[index] encoding = self.tokenizer.encode_plus( item["sentence1"], item["sentence2"], max_length=self.max_length, truncation=True, padding="max_length", return_tensors="pt" ) return { "input_ids": encoding["input_ids"].squeeze(), "attention_mask": encoding["attention_mask"].squeeze(), "label": torch.tensor(item["label"], dtype=torch.long) }这里用了encode_plus方法自动处理双句拼接，并加上[CLS]和[SEP]标记。
6.2 训练主函数配置
def main(): model_name = "Qwen/Qwen3-Embedding-0.6B" train_path = "dataset/train.csv" val_path = "dataset/dev.csv" max_length = 64 num_classes = 2 batch_size = 128 lr = 1e-4 epochs = 15 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") tokenizer = AutoTokenizer.from_pretrained(model_name) # 加载模型并应用 LoRA model = AutoModelForSequenceClassification.from_pretrained( model_name, num_labels=num_classes ) model = get_peft_model(model, peft_config) model.to(device) # 数据加载器 train_dataset = ClassifyDataset(tokenizer, train_path, max_length) val_dataset = ClassifyDataset(tokenizer, val_path, max_length) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False) # 优化器与学习率调度 optimizer = torch.optim.AdamW(model.parameters(), lr=lr) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, mode='max', patience=2, factor=0.8 ) # 开始训练... train_model(model, train_loader, val_loader, optimizer, device, epochs, scheduler)6.3 显存优化建议
在batch_size=128时，显存占用约为30.6GB。如果你的 GPU 显存不足，可以尝试以下方法：
- 减小
batch_size到 64 或 32 - 使用梯度累积（每几步才更新一次参数）
- 启用混合精度训练（
fp16=True）
例如梯度累积实现：
accumulation_steps = 4 for i, data in enumerate(train_loader): loss = model(...).loss / accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()7. 训练结果与评估
经过 15 轮训练，模型在验证集上的最佳表现如下：
| 指标 | 数值 |
|---|---|
| Loss | 0.4412 |
| 准确率 | 83.17% |
| F1 分数 | 83.16% |
相比之前使用chinese-roberta-wwm-ext微调的结果（准确率 85.15%），略低约 2 个百分点。但这完全可以接受，因为：
- Qwen3-Embedding 是专为嵌入任务设计的，不是标准分类模型；
- 我们只用了0.27% 的可训练参数，而 RoBERTa 是全量微调；
- Qwen3 支持更长文本、更多语言，扩展性更强。
你也可以通过 TensorBoard 查看训练曲线：
tensorboard --logdir=logs --bind_all访问http://你的IP:6006即可查看 loss、accuracy、F1 的变化趋势。
8. 模型推理与测试
训练完成后，我们可以加载最优模型进行预测：
def predict_similarity(sentence1, sentence2): encoding = tokenizer( sentence1, sentence2, max_length=64, return_tensors="pt" ).to(device) with torch.no_grad(): outputs = model(**encoding) logits = outputs.logits pred = torch.argmax(logits, dim=-1).item() return "语义相似" if pred == 1 else "语义不相关" # 测试示例 print(predict_similarity( "花呗怎么关闭", "如何取消花呗服务" )) # 输出：语义相似 print(predict_similarity( "借呗利率是多少", "花呗还款日可以改吗" )) # 输出：语义不相关你会发现，即使两个句子用词完全不同，只要意思相近，模型也能正确识别。
9. 总结：小模型也能有大作为
通过这次实验，我们可以得出几个重要结论：
- Qwen3-Embedding-0.6B 完全具备做下游 NLU 任务的能力，尽管它是为嵌入设计的，但在文本分类任务中依然取得了 83%+ 的准确率。
- LoRA 是一种极其高效的微调方式，仅需训练 0.27% 的参数就能获得良好效果，非常适合资源有限的场景。
- 中文金融领域语义理解仍有提升空间，83% 的准确率意味着平均每 6 条就会错 1 条，未来可以通过更大模型或领域数据继续优化。
如果你正在构建智能客服、搜索引擎或推荐系统，Qwen3-Embedding 系列是一个值得尝试的选择。尤其是当你需要处理多语言、长文本或高并发请求时，它的优势会更加明显。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
