news 2026/7/6 18:24:19

Hacker-job 的 AI 解析引擎：如何用 LLM 将非结构化文本转换为结构化职位数据

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Hacker-job 的 AI 解析引擎：如何用 LLM 将非结构化文本转换为结构化职位数据

Hacker-job 的 AI 解析引擎：如何用 LLM 将非结构化文本转换为结构化职位数据

【免费下载链接】hacker-jobPlay with hackernews' "who is hiring"项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job

你是否曾经在 Hacker News 的 "Who is Hiring?" 帖子中寻找工作机会，却被海量的非结构化文本淹没？🤔 传统的手动筛选既耗时又容易遗漏重要信息。现在，Hacker-job 项目通过创新的 AI 解析引擎，使用大型语言模型（LLM）自动将这些自由文本职位描述转换为结构化数据，让求职者和招聘者都能轻松搜索和分析。本文将深入解析这个强大的 AI 解析引擎如何工作，以及它如何改变了技术职位搜索的游戏规则。

🔍 Hacker-job 项目简介

Hacker-job 是一个开源项目，专门处理 Hacker News 每月发布的 "Ask HN: Who is Hiring?" 帖子。每个月，这些帖子都会包含数百个自由格式的职位评论——这些文本原本难以搜索、过滤或进行时间序列分析。Hacker-job 通过 AI 解析引擎将这些非结构化文本转换为标准化的结构化数据，并提供一个现代化的 React 应用界面进行浏览和搜索。

项目的核心数据存储在data/jobs/目录下的 JSONL 文件中，每个月份对应一个文件，如data/jobs/2024-12.json。这些文件包含了 AI 解析后的结构化职位信息，包括公司名称、职位角色、地点、薪资范围、技术栈等关键字段。

🤖 AI 解析引擎的工作原理

1. 数据提取流程

Hacker-job 的 AI 解析引擎采用了两步式数据处理流程：

  1. 数据获取阶段：首先从 Hacker News API 抓取原始的职位帖子，存储在data/pending.jsonl队列中
  2. AI 解析阶段：使用 LLM 分析每个帖子，提取结构化字段，并将结果合并到相应的月份文件中

这个分离的设计使得数据获取（廉价操作）和 AI 解析（计算密集型操作）可以独立进行，提高了系统的灵活性和容错性。

2. LLM 提示工程

在scripts/extract.ts中，项目定义了一个精心设计的提示模板，指导 LLM 从原始文本中提取结构化信息：

const PROMPT = `Extract structured job info from this HN job post. Return JSON only: { "company": string, "roles": string[], "location": string | null, "remote_type": "remote" | "onsite" | "hybrid" | null, "remote_regions": string[] | null, "salary_min": number | null, "salary_max": number | null, "salary_currency": "USD" | "EUR" | "GBP" | null, "tech_stack": string[], "job_type": "full-time" | "part-time" | "contract" | "intern" | null, "visa": boolean | null } Job post: `;

这个提示模板明确指定了输出格式和每个字段的类型，确保 LLM 返回标准化的 JSON 结构。项目使用 OpenAI 兼容的 API，默认配置为本地 LM Studio 服务器，但也支持通过环境变量配置为任何兼容的 LLM 服务。

3. 结构化输出验证

为了确保数据质量，项目使用了 JSON Schema 验证机制：

response_format: { type: "json_schema", json_schema: { name: "job_info", strict: true, schema: { type: "object", additionalProperties: false, properties: { company: { type: "string" }, roles: { type: "array", items: { type: "string" } }, // ... 其他字段定义 }, required: [ "company", "roles", "location", "remote_type", "remote_regions", "salary_min", "salary_max", "salary_currency", "tech_stack", "job_type", "visa", ], }, }, }

这种严格的结构化输出确保了所有提取的字段都符合预定义的格式，即使某些字段可能为 null 值。

📊 从非结构化到结构化的转换示例

让我们看一个实际的转换示例。原始 Hacker News 帖子可能是这样的：

Tesla | Staff Machine Learning Engineer, Autobidder | Palo Alto, CA We're hiring a Staff Machine Learning Engineer for Autobidder, Tesla's industry leading platform for trading batteries in electricity markets. The role involves building scalable ML pipelines and models to forecast electricity price... Location: Palo Alto, CA More details: https://www.tesla.com/careers/search/job/staff-machine-learning-engineer-autobidder-229296

经过 AI 解析引擎处理后，这个帖子被转换为以下结构化数据：

{ "id": 42384022, "author": "teslaautobidder", "ts": 1733883621, "company": "Tesla", "roles": ["Staff Machine Learning Engineer"], "location": "Palo Alto, CA", "remote_type": null, "remote_regions": [], "salary_min": null, "salary_max": null, "salary_currency": null, "tech_stack": ["Python"], "job_type": "full-time", "visa": null, "text": "Tesla | Staff Machine Learning Engineer, Autobidder | Palo Alto, CA\n\nWe're hiring a Staff Machine Learning Engineer for Autobidder, Tesla's industry leading platform for trading batteries in electricity markets..." }

这种转换使得原本难以处理的自由文本变成了可以轻松搜索、过滤和分析的结构化数据。💡

🔧 技术架构与实现细节

1. 模块化设计

Hacker-job 的代码库采用了清晰的模块化设计：

  • scripts/extract.ts：核心的 AI 解析逻辑，包含 LLM 调用和结构化提取
  • scripts/analyzeJobs.ts：批量处理队列中的帖子，管理解析任务
  • scripts/store.ts：数据存储和读取接口
  • frontend/src/data.ts：前端数据访问层，从/data/*端点获取结构化数据

2. 容错处理机制

AI 解析引擎包含了完善的错误处理机制：

  • 解析失败的帖子会保留在队列中，等待下一次重试
  • 每个帖子都有唯一的 ID 标识，便于追踪和调试
  • 前端提供了数据问题报告功能，用户可以标记 AI 提取错误

3. 并发处理优化

在scripts/analyzeJobs.ts中，项目使用p-limit库控制并发请求数量：

const limit = pLimit(concurrency); await Promise.all(raws.map((r) => limit(async () => { try { const job = await analyzePost(r); if (job) jobs.push(job); else { failedIds.add(r.id); console.warn(` post ${r.id}: no company extracted`); } } catch (err) { failedIds.add(r.id); // 临时失败 - 下次运行重试 } })));

这种设计平衡了处理速度和 API 限制，确保大规模数据处理时的稳定性。

🚀 前端数据展示与交互

解析后的结构化数据在前端应用中得到了充分利用。在frontend/src/pages/Jobs.tsx中，用户可以通过多种方式筛选和浏览职位：

1. 智能筛选功能

  • 关键词搜索：支持多关键词搜索，覆盖公司、职位、地点、技术栈等所有字段
  • 远程类型过滤：精确筛选远程、现场或混合工作模式
  • 薪资范围过滤：按最低薪资要求筛选职位
  • 地点过滤：根据地理位置进行筛选
  • 签证支持过滤：专门筛选提供签证支持的职位
  • 实习职位过滤：快速找到实习机会

2. 数据可视化展示

每个职位卡片都清晰展示了 AI 提取的关键信息：

Depict (YC S20) | Tech Director | Stockholm, Sweden or Remote | Full-time Roles: Tech Director Location: Stockholm, Sweden Remote: hybrid Tech Stack: React, Typescript

这种标准化的展示方式让用户能够快速扫描和比较不同职位的关键信息。

📈 趋势分析与数据洞察

除了基本的职位浏览功能，Hacker-job 还提供了趋势分析功能。通过scripts/derive.ts生成data/trends.json文件，系统可以追踪：

  1. 薪资趋势：不同技术栈、地点和职位的薪资变化
  2. 技术栈流行度：各种编程语言和框架的需求变化
  3. 远程工作趋势：远程、混合和现场工作模式的比例变化
  4. 地理分布：热门招聘地点和区域变化

这些洞察对于求职者了解市场趋势和招聘者制定策略都具有重要价值。📊

🔄 自动化工作流与持续集成

Hacker-job 实现了完全自动化的数据处理流程：

1. 每日自动更新

通过 GitHub Actions 工作流（.github/workflows/update.yml），项目每天自动：

  • 获取最新的 Hacker News 职位帖子
  • 使用 AI 解析新帖子
  • 将结构化数据提交到仓库

2. 数据派生流程

当核心数据发生变化时，派生工作流（.github/workflows/derive.yml）会自动：

  • 重新生成趋势数据
  • 更新索引文件
  • 触发前端部署

3. 无数据库架构

项目采用了一种创新的无数据库架构：月份文件data/jobs/<month>.json本身就是数据集。这种设计简化了部署和维护，同时保持了数据版本控制和可追溯性。

💡 实际应用场景与价值

1. 求职者视角

  • 高效搜索：不再需要手动浏览数百条评论，通过结构化字段快速找到匹配的职位
  • 薪资比较：轻松比较不同公司、地点和职位的薪资水平
  • 趋势洞察：了解哪些技术栈最热门，哪些地区需求最大
  • 个性化提醒：可以基于特定技术栈或薪资要求设置提醒

2. 招聘者视角

  • 竞争分析：了解市场薪资水平和竞争对手的招聘策略
  • 人才分布：分析技术人才的地理分布和偏好
  • 职位优化：根据市场反馈优化职位描述和福利待遇

3. 研究者视角

  • 劳动力市场研究：追踪技术就业市场的长期趋势
  • 技能需求分析：识别新兴技术和过时技能
  • 地理经济分析：研究技术中心的地理迁移模式

🛠️ 部署与自定义配置

Hacker-job 支持灵活的部署选项：

1. LLM 配置

项目默认使用本地 LM Studio 服务器，但也支持配置为任何 OpenAI 兼容的 API：

# 环境变量配置 LLM_BASE_URL=https://api.openai.com/v1 LLM_API_KEY=your-api-key LLM_MODEL=gpt-4

2. 本地开发

开发者可以轻松地在本地运行整个系统：

git clone https://gitcode.com/gh_mirrors/ha/hacker-job cd frontend && npm install && npm run dev

3. 自定义解析

开发者可以根据需要修改scripts/extract.ts中的提示模板，添加或调整提取的字段，以适应特定的分析需求。

🎯 总结与展望

Hacker-job 的 AI 解析引擎展示了如何将现代 LLM 技术应用于实际问题解决。通过将非结构化的文本数据转换为结构化信息，项目不仅提供了实用的工具，还创建了一个可扩展的数据处理框架。

这个项目的成功证明了几个关键点：

  1. LLM 的实用性：大型语言模型不仅限于聊天和创作，在数据提取和结构化方面同样强大
  2. 开源协作的价值：通过开源项目，社区可以共同改进数据质量和解析准确性
  3. 简单架构的力量：无数据库、基于文件的设计降低了维护成本，提高了可移植性

随着 AI 技术的不断发展，类似 Hacker-job 的项目将在更多领域发挥作用，帮助我们从海量非结构化数据中提取有价值的信息。无论是求职者寻找理想工作，还是研究者分析市场趋势，这种 AI 驱动的数据转换工具都将变得越来越重要。🚀

如果你对技术职位市场感兴趣，或者想要了解如何利用 AI 处理非结构化数据，Hacker-job 项目提供了一个绝佳的起点和学习案例。通过探索其源代码和实现细节，你可以深入了解现代 AI 应用开发的最佳实践。

【免费下载链接】hacker-jobPlay with hackernews' "who is hiring"项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/7/6 18:24:05

百度网盘秒传工具：在线转存与生成完全指南

百度网盘秒传工具&#xff1a;在线转存与生成完全指南 【免费下载链接】baidupan-rapidupload 百度网盘秒传链接转存/生成/转换 网页工具 (全平台可用) 项目地址: https://gitcode.com/gh_mirrors/bai/baidupan-rapidupload 还在为百度网盘文件分享的效率问题而困扰吗&a…

作者头像 李华
网站建设 2026/7/6 18:22:15

Magda联邦数据目录实战指南：从零构建企业级数据发现平台

Magda联邦数据目录实战指南&#xff1a;从零构建企业级数据发现平台 【免费下载链接】magda A federated, open-source data catalog for all your big data and small data 项目地址: https://gitcode.com/gh_mirrors/ma/magda 为什么需要联邦数据目录&#xff1f; 在…

作者头像 李华
网站建设 2026/7/6 18:18:06

Langflow完整指南：3步构建可视化AI工作流，无需代码基础

Langflow完整指南&#xff1a;3步构建可视化AI工作流&#xff0c;无需代码基础 【免费下载链接】langflow Langflow is a powerful tool for building and deploying AI-powered agents and workflows. 项目地址: https://gitcode.com/GitHub_Trending/la/langflow Lang…

作者头像 李华