更多内容请见： 《爬虫和逆向教程》 - 专栏介绍和目录
文章目录
- 一、Crawlab 概述
- 1.1 Crawlab介绍
- 1.2 为什么需要 Crawlab？
- 1.3 Crawlab的核心特性
- 1.4 Crawlab的架构设计
- 1.5 Crawlab的核心组件
- 1.6 Crawlab的关键概念
- 二、安装部署
- 2.1 Docker Compose 一键部署（推荐）
- 2.2 源码安装
- 2.3 自定义配置安装
- 2.4 登录与配置
- 三、创建爬虫项目
- 3.1 上传文件
- 3.2 配置Git 仓库
- 四、爬虫实践案例
- 4.1 Python案例（爬虫脚本: `hn_spider.py`）
- 4.2 在 Crawlab 中部署
- 五、常见问题和解决方案
- 5.1 如何处理依赖（如 requests, bs4等）？
- 5.2 能抓取需要登录的网站吗？
- 5.3 支持浏览器渲染（JS）吗？
- 5.4 任务一直处于等待状态怎么办？
- 5.5 结果文件不显示怎么办？
一、Crawlab 概述
1.1 Crawlab介绍
Crawlab是一个基于 Go + Vue 开发的分布式爬虫管理平台，支持任意语言编写的爬虫（Python、Node.js、Java、Go 等），提供 Web UI、任务调度、日志监控、结果存储、定时任务等企业级功能。它解决了传统爬虫“散、乱、难维护”的痛点，是构建可协作、可监控、可扩展爬虫系统的理想选择。
注意：Crawlab 是管理平台，不提供爬虫逻辑，需自行编写爬虫脚本。
官方资源：
- GitHub: https://github.com/crawlab-team/crawlab
- 文档: https://docs.crawlab.cn
- Docker Hub: https://hub.docker.com/r/crawlabteam/crawlab
