背景痛点：传统客服的“慢”与“旧”
过去两年，我负责维护一套基于规则+FAQ 的客服系统。高峰期最怕三件事：
- 知识库更新后，重启整个服务要 15 分钟，期间用户只能排队。
- 新活动上线，运营同学临时加 200 条 FAQ，人工录入+测试至少两天。
- 大促流量突增，扩容一台 4C8G 的虚拟机平均 8 分钟，结果 CPU 刚拉起来，活动已经结束了。
一句话：实时性、知识新鲜度、弹性扩展，全都不及格。于是团队决定用 RAG（Retrieval-Augmented Generation）+ Docker 彻底重构。
技术选型：RAG 不是“炫技”，Docker 不是“跟风”
先算一笔账：
| 方案 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 纯 LLM 在线推理 | 端到端，开发量小 | 幻觉严重、延迟高、token 费用贵 | 内测/创意 Demo |
| RAG | 可实时更新知识、答案可溯源 | 链路长，需维护检索模块 | 生产环境客服 |
| 传统 FAQ | 可控、无幻觉 | 维护噩梦、泛化差 | 小场景/预算紧 |
Docker 的入选理由更简单：
- 算法、向量库、Web 服务三方依赖冲突严重，容器隔离省掉“调库”时间。
- 镜像一次构建，本地、测试、生产字节级一致，避免“我机器上能跑”。
- K8s 弹性调度直接复用，扩容从 8 分钟降到 40 秒。
核心实现：一张图看懂 RAG 链路
- 用户问题 → 语义向量（HuggingFace
sentence-transformers/all-mpnet-base-v2） - Faiss 索引召回 Top-10 文档块
- 把“问题+召回文本”塞进 Prompt，调用 LLM 生成答案
- 返回前端，同时把（问题，答案）异步写回 MySQL，方便后续标注微调
Dockerfile 多阶段构建
下面给出生产环境真实 Dockerfile（省略公司私有地址，保留关键优化点）：
# =============== 阶段1：构建期 =============== FROM python:3.11-slim as builder WORKDIR /build # 1. 系统依赖一次性装完 RUN apt-get update && apt-get install -y --no-install-recommends \ build-essential gcc \ && rm -rf /var/lib/apt/lists/lists/* # 2. 提前下载模型，避免每次运行拉 HuggingFace COPY requirements.txt . RUN pip install --user -r requirements.txt && \ python -c "from sentence_transformers import SentenceTransformer; SentenceTransformer('all-mpnet-base-v2'))" # =============== 阶段2：运行期 =============== FROM python:3.11-slim WORKDIR /app # 3. 只拷贝编译好的依赖与模型 COPY --from=builder /root/.local /root/.local COPY --from=builder /root/.cache /root/.cache # 4. 应用代码 COPY src/ ./src ENV PATH=/root/.local/bin:$PATH # 5. 非 root 启动，安全分+1 RUN useradd -m -u 1000 appuser && chown -R appuser:appuser /app USERUSER appuser EXPOSE 8000 CMD ["uvicorn", "src.main:app", "--host", "0····0.0.0.0", "--port", "8000", "--workers", "4"]要点解释：
- 模型缓存在
builder层，运行期镜像从 3.8 GB 降到 1.1 GB。 --no-cache-dir配合pip install --user，把包装进/root/.local，后续阶段直接拷走，层复用率 100%。uvicorn开 4 worker，经压测 4 核容器刚好跑满，空载内存 480 MB。
性能优化：让检索再快一点
索引分片
知识库 200 万条 512 dim 向量，纯内存 3.9 GB。单机 Faiss 查询 100 并发时 P99 延迟 1.2 s。
采用IndexIVFFlat+ 4 分片（nprobe=64），每片 500 K 向量，延迟降到 180 ms，CPU 从 90% 降到 35%。容器资源限制
docker-compose 片段：services: rag-api: cpus: '3.5' mem_limit: 4g mem_reservation: 2g经验值：给容器留 0.5 核给宿主机，防止宿主机挂掉导致雪崩。
并发请求处理
采用FastAPI + httpx.AsyncClient调用 LLM，代码示例：import httpx, asyncio, os from typing import List async def batch_gen(prompts: List[str], max_concurrent: int = 20) -> List[str]: semaphore = asyncio.Semaphore(max_concurrent) async with httpx.AsyncClient(timeout=30) as client: async def fetch(p: str) -> str: async with semaphore: resp = await client.post( os.getenv("LLM_URL"), json={"prompt": p, "max_tokens": 256} ) resp.raise_for_status() return resp.json()["text"] return await asyncio.gather(*map(fetch, prompts))20 并发下，GPU 推理服务 QPS 从 20 → 110，GPU 利用率 93%，显存占用 11 GB/24 GB。
避坑指南：血泪经验打包带走
向量库冷启动
容器刚起时 Faiss 要把 4 个分片 mmap 进内存，首次查询超时 8 s。解决：在HEALTHCHECK脚本里顺序跑 10 条随机查询，KubernetesreadinessProbe通过后再放流量。日志收集
默认json-file驱动，高并发下 10 分钟就能写爆 20 GB。换local驱动 +max-size=50m,max-file=3，并挂 Loki 收集，磁盘 IO 降 70%。GPU 争抢
多容器共享一张 A10，常出现 OOM。用nvidia-docker的NVIDIA_VISIBLE_DEVICES=UUID把 GPU 按 UUID 绑死，再配合 K8snvidia.com/gpu: 1限制，可避免“抢卡”。
验证指标：压测数据说话
| 指标 | 旧系统 | RAG-Docker | 提升 | |---|---|---|---|---| | 平均响应 | 1.8 s | 1.05 s | ↓42% | | P99 延迟 | 3.4 s | 1.9 s | ↓44% | | 峰值 QPS | 80 | 260 | ↑225% | | 扩容时间 | 8 min | 40 s | ↓92% | | 镜像体积 | - | 1.1 GB | 精简 71% |
压测工具：locust -u 1000 -r 50 -t 5m，LLM 推理节点独立，排除重试。
开放讨论
我们在 4 分片 Faiss 与 64 分片之间反复 AB 测试，发现分片越多检索精度@10 从 0.91 提到 0.94，但 P99 延迟却抬高 30 ms。
如何平衡检索精度与响应速度？你在业务里会优先保哪一边，还是另有奇招？欢迎留言一起拆招。
