1. 项目背景与核心价值
EpiQAL这个评测基准的出现，恰好填补了当前公共卫生领域AI评估体系的空白。去年参与某地疾控中心的智能问答系统部署时，我们就深刻感受到：现有的大语言模型在专业流行病学场景下，经常出现术语混淆、数据时效性错乱、防控建议不精准等问题。比如将"基本传染数（R0）"解释为"病毒直径"，或是把2019年的疫苗接种方案套用在当前疫情上。
这个基准的价值在于建立了三个维度的评估体系：
- 知识准确性：涵盖传染病学基础、流行病学模型、公共卫生政策等专业领域
- 逻辑严谨性：要求对"隔离期计算""传播链分析"等场景进行因果推理
- 实践指导性：评估生成的防控建议是否符合现行操作规范
2. 基准构建的技术路径
2.1 数据集的特殊处理
与通用领域的QA数据集不同，我们采用了"三级验证机制"：
- 原始问题来自CDC真实工作记录（脱敏处理）
- 由流行病学专家标注标准答案
- 通过临床医生和基层防疫人员双重校验
特别设计了"动态时效标记"系统，每个问题都带有：
{ "valid_period": "2023Q3", "applicable_region": ["华东","华南"], "knowledge_source": "《防控方案(第九版)》" }2.2 评估指标的创新设计
在常规的BLEU、ROUGE指标外，新增了：
- 术语一致性得分（TCS）：检测专业术语使用规范
- 时效敏感度（TSS）：评估对政策/指南版本差异的识别能力
- 操作可行性指数（OFI）：由基层防疫人员对建议可执行性打分
关键提示：评估时需关闭模型的联网检索功能，仅测试其固有知识库的可靠性
3. 典型测试案例解析
3.1 基础概念类问题
问题示例：
"请解释SEIR模型中的β参数流行病学意义"
优质回答特征：
- 明确β代表有效接触率（单位：人/天）
- 说明与基本再生数R0的换算关系（β×D/γ）
- 给出典型传染病的参考值范围（如流感0.3-0.5）
常见错误模式：
- 与SIR模型参数混淆
- 缺少量纲说明
- 未区分理论值与实际观测值
3.2 防控建议类问题
问题示例：
"某小学出现甲流聚集性病例，请给出处置建议"
标准答案框架：
- 病例管理（隔离期≥体温正常后48小时）
- 密切接触者处置（建议居家观察7天）
- 环境消毒（重点区域含氯消毒剂喷洒）
- 健康监测（晨午检制度实施2周）
评估要点：
- 是否区分了学生/教职工不同处置方案
- 消毒剂浓度是否精确到250-500mg/L
- 是否提及停课标准的触发条件（如班级1周内超5例）
4. 实测中的关键发现
4.1 模型表现差异分析
在测试的12个主流模型中：
- 医疗专用模型（如Med-PaLM）在术语准确性上领先15-20%
- 通用大模型（GPT-4级别）在逻辑推理上更具优势
- 开源模型普遍存在政策时效性滞后问题（平均落后现行标准9-14个月）
4.2 典型错误类型
我们建立了错误分类体系：
| 错误类型 | 占比 | 典型案例 |
|---|---|---|
| 概念混淆 | 38% | 将"密切接触者"定义为"同楼层所有人员" |
| 政策过时 | 29% | 推荐已停用的灭活疫苗品牌 |
| 建议冲突 | 18% | 同时建议"居家隔离"和"集中隔离" |
| 数据谬误 | 15% | 声称"流感病死率高于新冠肺炎" |
5. 实用建议与优化方向
基于三个月实测经验，给出以下建议：
对于模型开发者：
- 需要建立专业术语库（包含WHO术语标准编码）
- 建议引入"政策版本检测"模块
- 对防控建议类输出增加可行性校验环节
对于公共卫生机构：
- 优先考虑"专业模型+通用模型"的混合架构
- 关键决策环节仍需人工复核
- 建议建立动态知识更新机制（至少季度级）
我们在某省级疾控中心的试点显示，经过EpiQAL优化的系统使基层咨询效率提升40%，但同时也发现：模型在处置"新型病原体"等未知场景时，仍会产生具有误导性的"自信错误"。这提示我们需要在基准中增加"不确定性表达"评估维度——当模型遇到超出知识边界的问题时，能否正确声明局限而非强行作答。
