版本图谱：一张表看懂三代差异
先把结论说在前面：GPT-4 不是“全面碾压”，而是在“上下文、多模态、推理”三个维度做了加法，代价是更高的单价与延迟。下面这张表建议收藏，后续做预算和 SLA 都能直接套用。
| 维度 | GPT-3 davinci | GPT-3.5 turbo | GPT-4 turbo |
|---|---|---|---|
| 最大上下文 | 4 k | 16 k | 128 k |
| 知识截止 | 2021-06 | 2021-09 | 2023-04 |
| 输入单价 $/1k token | 0.02 | 0.001 | 0.01 |
| 输出单价 $/1k token | 0.02 | 0.002 | 0.03 |
| 多模态 | 无 | 无 | 图+文 |
| 典型首响延迟 | 0.8 s | 0.4 s | 1.2 s |
| 支持微调 | 是 | 否 | 否 |
| 强化学习人类反馈(RLHF) | 无 | 有 | 有 |
注：价格取自 2024-05 官方页，实际结算按“批次数+地区”浮动，但比例基本稳定。
场景化选型：开发团队如何“对症下药”
代码生成与单测
需求：高并发、低延迟、代码 token 通常 <2 k。
推荐：GPT-3.5-turbo。
理由：单价便宜 10 倍，延迟低 50%，且代码属于“高概率模式”，3.5 的 RLHF 已足够对齐人类偏好。客服/IM 机器人
需求：上下文需要长期记忆、回答必须可控。
推荐：GPT-4-turbo-128k。
理由：一次可塞入 20 条 FAQ + 对话历史，避免“失忆”导致的答非所问；虽然贵，但客服并发远低于代码场景，综合 ROI 可接受。多模态处理（读图 + OCR + 推理）
需求：输入图片、输出 JSON。
推荐：GPT-4-turbo-vision。
理由：目前唯一官方支持图文的版本；zero-shot 即可做版面分析、票据抽取，省去训练 CV 小模型的时间。离线批量摘要
需求：一次性跑 100 万条评论，预算锁死。
推荐：GPT-3.5-turbo + 16 k 上下文，temperature=0.3。
理由：批量大、延迟不敏感，3.5 的性价比最高；若摘要质量仍不达标，可“分段摘要→再摘要”两级流水线，成本只有 GPT-4 的 1/20。
API 集成示例：一份拿来即用的 Python 模板
下面这段代码同时兼容 3.5/4，自动重试、流式输出、异常熔断一步到位，可直接贴进你的 utils.py。
import openai, tenacity, os from openai import OpenAI client = OpenAI(api_key=os.getenv("OPENAI_API_KEY")) @tenacity.retry( wait=tenacity.wait_exponential(multiplier=1, min=4, max=30), stop=tenacity.stop_after_attempt(5), retry=tenacity.retry_if_exception_type( (openai.RateLimitError, openai.APIConnectionError) ), ) def chat_completion( model: str, messages: list, temperature: float = 0.3, stream: bool = True, max_tokens: int = 2048, ): response = client.chat.completions.create( model=model, messages=messages, temperature=temperature, max_tokens=max_tokens, stream=stream, ) if stream: for chunk in response: delta = chunk.choices[0].delta.content or "" yield delta else: yield response.choices[0].message.content # 调用示例 if __name__ == "__main__": prompt = [ {"role": "system", "content": "你是一位资深 Python 代码审查师"}, {"role": "user", "content": "下面这段代码为什么慢？\ndef foo() canned_fish"}, ] for token in chat_completion("gpt-3.5-turbo", prompt, stream=True): print(token, end="", flush=True)小提示：把
stream=False即可拿到完整 JSON，方便入库做结构化解析；若切换 GPT-4，只需改第一参。
成本优化三板斧：temperature、缓存、批处理
temperature 调节
经验值：代码生成 0～0.2；创意写作 0.8～1.0。温度每下降 0.1，平均 token 长度减少 5%～8%，直接省预算。语义缓存
对“高频相似提问”做向量检索，命中后直接返回历史答案，可把 30% 的调用抹掉。推荐用 faiss + sentence-transformers，离线灌好 10 万条 FAQ，线上延迟 <50 ms。批处理 & 长上下文
把 50 条短 prompt 拼接成 1 条长 prompt，一次性让模型输出 50 个答案，再按换行符切分。GPT-4-128k 的“长上下文”特性让这一招可行，实测可降低 35% 总 token（系统提示只需写一次）。
避坑指南：版本差异导致的 Prompt 兼容性
System 角色权重变化
GPT-3 davinci 时代没有 system 字段，很多老项目把指令写在 user 里。迁移到 3.5/4 后，如果直接把旧 prompt 粘过去，会出现“指令不跟读”的现象。
解决：把最高优先级指令挪到 system，且在第一句就声明“你是一名 xxx，必须遵守以下规则”。Function calling 格式差异
GPT-4-turbo 的tools字段与 3.5 的functions不兼容，混用会 400 报错。
解决：封装一层 adapter，根据 model 名自动切换字段名，保持上层业务 0 改动。最大 token 数“双向计费”
3.5 的 16 k 是“输入+输出”共享，容易误以为“输入 15 k 后还能返 15 k”，结果触发截断。
解决：先预估输出长度，再反推输入可塞多少；或者干脆用 GPT-4-128k，把 buffer 拉到 20 k 以上。知识截断幻觉
3.5 的知识停在 2021-09，问“2022 年之后的事件”会一本正经地编答案。
解决：在 system 里加“如果你确认事件不在你的知识范围，请回答‘我不知道’”；或者外挂检索增强（RAG），让模型基于搜索结果生成。
结论与开放思考题
选模型本质上是在“质量—成本—延迟”三角里找切点：
- 代码辅助追求低延迟 + 低成本，3.5 仍是主力；
- 客服、知识库需要长记忆，4 的 128 k 让“多轮不丢上下文”成为可能；
- 多模态业务则只能上 4-vision，别无分店。
但大模型迭代速度远超软件工程惯例，今天刚调好的 temperature，明天可能就被新 RLHF 策略推翻。不妨一起思考：
- 如果明年 GPT-5 把上下文拉到 1 M，我们现有的“分片→摘要→召回”架构是否直接作废？
- 当模型能力溢出，团队该把预算投向“数据工程”还是“推理加速”？
- 在“模型即服务”的时代，如何设计一套版本可回滚、灰度可监控的 Prompt 配置中心？
想亲手把“选模型—调 prompt—压成本”完整跑一遍，却又担心环境搭建太麻烦？我最近在从0打造个人豆包实时通话AI的实验里，用火山引擎的豆包语音系列模型完整地搭了 ASR→LLM→TTS 闭环，一小时就跑通了可语音对话的 Demo。对“实时交互”场景有需求的同学，不妨也去试试，相信你会对“模型选型”这件事有更具象的体感。
