ChatGPT与Zotero集成实战：自动化文献管理与知识提取

ChatGPT与Zotero集成实战：自动化文献管理与知识提取

1. 背景与痛点
   读博第三年，我的 Zotero 库突破 3000 条记录。手动给每篇 PDF 写摘要、打标签、归文件夹，平均一篇耗时 3 分钟，全部跑完要 150 小时——整整四周的摸鱼时间。更糟的是，组会前老板临时让“把近两个月强化学习综述相关文献整理成一页 A4”，我通宵翻条目，结果还是漏掉一篇关键文章，当场社死。传统文献管理三大硬伤：

• 元数据靠人工，字段填错、拼写不一致导致检索失灵
• 摘要与关键词缺失，二次阅读时想不起文章到底讲了啥
• 主题分类静态，无法随研究方向变化自动聚合

2. 技术选型
   我曾试过 BERT 抽取式摘要、T5 微调，甚至本地跑 7B 开源模型。对比一圈后，还是 ChatGPT（gpt-3.5-turbo）胜出：

• 零样本能力强，不额外标注数据就能生成流畅摘要
• 支持 16 k 上下文，一次吞进 10 页 PDF 正文无压力
• 价格友好，每 1 万 token 0.002 美元，3000 篇文献跑下来不到 20 美元
• 结构化输出，用 JSON Schema 强制返回字段，后续解析成本几乎为零

3. 核心实现
   整个链路分四步：Zotero 取数据 → ChatGPT 做 NLP → 结果写回 Zotero → 本地 SQLite 做缓存。下面按插件开发节奏拆解。

3.1 环境准备

• Python ≥ 3.9，推荐 uv 虚拟环境
• 安装 pyliter 与 pyzotero：
  pip install pyzotero openai pandas tenacity
• Zotero 个人库申请 API key：Settings → Feeds/API → Create new key

3.2 插件骨架
Zotero 6 以后全面拥抱 JavaScript，但官方支持通过“ translators ”跑外部 Python。为了不改 Zotero 本体，我采用“外部脚本 + 本地数据库”的折中方案：

• 用 pyzot ero 拉取指定集合文献
• 调用 ChatGPT 生成摘要、关键词、主题向量
• 结果写回 Zotero 的“Extra”字段，并以标签形式展示
• 同时把原始 JSON 缓存到 SQLite，避免重复调用

3.3 数据流细节

• 取 DOI、标题、摘要、第一页正文（通过 pdfminer.six 提取）
• 拼接提示词：
  “Below is the metadata and first-page text of an academic paper.
  Generate a 3-sentence summary, 5 keywords, and a single topic label.
  Return valid JSON: {"summary": "...", "keywords": [], "topic": "..."}”
• 设置 max_tokens=400，temperature=0.3，保证输出稳定
• 用 tenacity 做指数退避，429/500 错误自动重试 5 次

3.4 结果回写
Zotero 的 Extra 字段支持任意字符串，把 JSON 字符串塞进去后，前端可通过“显示列”直接查看；关键词同步成彩色标签，方便可视化筛选。

4. 代码示例（PEP8 规范，可直接跑）

#!/usr/bin/env python3 """ zotero_gpt.py 批量为 Zotero 文献生成摘要与关键词 运行前设置环境变量： export ZOTERO_API_KEY="xxxxxxxx" export OPENAI_API_KEY="sk--xxxxxxxx" """ import os import json import sqlite3 from pathlib import Path import openai from pyzotero import zotero from tenacity import retry, stop_after_attempt, wait_exponential # ---------- 配置 ---------- ZOTERO_API_KEY = os.getenv("ZOTERO_API_KEY") OPENAI_API_KEY = os.getenv("OPENAI_API_KEY") LIBRARY_ID = 12345678 # 替换成你的 library id LIBRARY_TYPE = "user" # or 'group' COLLECTION_NAME = "待处理" # 只处理该集合 DB_PATH = Path("cache.db") openai.api_key = OPENAI_API_KEY zot = zotero.Zotero(LIBRARY_ID, LIBRARY_TYPE, ZOTERO_API_KEY) # ---------- 数据库 ---------- def init_db(): conn = sqlite3.connect(DB_PATH) conn.execute( """CREATE TABLE IF NOT EXISTS gpt_cache (item_key TEXT PRIMARY KEY, payload TEXT, ts DATETIME DEFAULT CURRENT_TIMESTAMP)""" ) conn.commit() return conn def get_cache(conn, item_key: str) -> dict | None: cur = conn.execute("SELECT payload FROM gpt_cache WHERE item_key=?", (item_key,)) row = cur.fetchone() return json.loads(row[0]) if row else None def set_cache(conn, item_key: str, payload: dict): conn.execute( "INSERT OR REPLACE INTO gpt_cache(item_key, payload) VALUES (?,?)", (item_key, json.dumps(payload)), ) conn.commit() # ---------- OpenAI 调用 ---------- @retry(stop=stop_after_attempt(5), wait=wait_exponential(multiplier=1, min=2, max=60)) def call_gpt(prompt: str) -> dict: resp = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": prompt}], temperature=0.3, max_tokens=400, stop=None, ) return json.loads(resp.choices[0].message.content) # ---------- 主逻辑 ---------- def build_prompt(item: dict) -> str: title = item["data"].get("title", "") abstract = item["data"].get("abstractNote", "") doi = item["data"].get("DOI", "") first_page = item.get("firstPageText", "")[:3000] # 防止超限 return ( f"Title: {title}\nDOI: {doi}\nAbstract: {abstract}\n" f"First-page text: {first_page}\n\n" "Generate a 3-sentence summary, 5 keywords, and a single topic label. " 'Return valid JSON: {"summary": "...", "keywords": [], "topic": "..."}' ) def main(): conn = init_db() coll = next(c for c in zot.collections() if c["data"]["name"] == COLLECTION_NAME) items = zot.collection_items(coll["key"], itemType="journalArticle") for item in items: key = item["key"] if cached := get_cache(conn, key): print(f"[SKIP] {key} 已缓存") continue prompt = build_prompt(item) try: result = call_gpt(prompt) except Exception as e: print(f"[ERROR] GPT call failed for {key}: {e}") continue # 写回 Zotero zot.item_update( { "key": key, "version": item["version"], "extra": json.dumps(result, ensure_ascii=False), } ) # 加标签 zot.add_tags(item, result["keywords"]) # 本地缓存 set_cache(conn, key, result) print(f"[OK] {key} 处理完成") if __name__ == "__main__": main()

5. 性能考量

• 并发：OpenAI 限速 3 500 r/min，脚本里用 tenacity 已经能自动退避；若想加速，可开 3 线程，但务必在 60 秒窗口内均匀分布请求
• 缓存：SQLite 命中后本地 <1 ms，避免重复调用；实测 3000 篇文献里 40 % 已存在缓存，节省 8 美元
• 分页提取 PDF：大论文 30 页以上时，只取前 3 页 + 图表标题，token 数从 8 k 降到 3 k，费用再省 50 %
• 批量模式：Zotero 的 write API 支持每批 50 条，摘要把结果先攒在内存，最后一次性 write，减少 RTT

6. 避坑指南

• 编码地狱：部分 PDF 用西里尔字母，pdfminer 抽出来是乱码，先跑 ftfy.fix_text 再喂 GPT，否则返回摘要也是问号
• 长标题截断：Zotero 的 title 字段最长 255 字符，超长时 GPT 会误判主题；解决方法是把完整标题塞进 prompt，而写回时只保留前 200 字符
• 标签冲突：Zotero 默认区分大小写，ChatGPT 给的 “Reinforcement Learning” 与现有 “reinforcement learning” 并存，前端会出现双标签；统一 lower() 即可
• API 账单失控：脚本跑一半发现 50 美元没了，原因是忘记加 max_tokens；务必先在 OpenAI 面板设 hard limit，并给脚本加费用日志：
  cost = resp.usage.total_tokens * 0.002 / 1000

7. 可扩展方向

• 自动生成文献综述：把同一 topic 的 20 篇摘要一次性喂给 GPT-4，要求输出“三段式”综述，引用保持原始 DOI
• 与 Obsidian 联动：把结果写成 Markdown，利用 citekey 做反向链接，实现“Zotero → Obsidian”知识图谱
• 本地向量化：用 sentence-transformers 把摘要转成 384 维向量，接入 FAISS，做语义相似度推荐，5 秒就能找到“与这篇最相关的 10 篇”

结尾体验
如果你也想把文献管理从体力活变成“一键魔法”，不妨亲手试试从0打造个人豆包实时通话AI动手实验。虽然它主打的是语音对话，但实验里把 ASR→LLM→TTS 整条链路拆得明明白白，学完再回来改造 Zotero 插件，你会发现让 AI 帮你读论文、写摘要、做综述，其实也就是加几行 prompt 的事。小白也能顺利体验，我实际跑通只花了周六下午，省下来的时间，继续去卷下一篇 paper 啦。