爬虫反爬基础：time.sleep 设置请求间隔的核心逻辑
- 一、先搞懂：反爬（反爬虫）到底是什么？
- 1. 反爬的核心定义
- 2. 反爬的本质：区分「真人」和「机器（爬虫）」
- 3. 网站为什么要做反爬？
- 4. 常见的反爬手段（你可能遇到的）
- 二、为什么time.sleep（设置请求间隔）能避免反爬？
- 1. 核心原理：让爬虫「伪装成真人的访问速度」
- 2. 结合项目举例（最易理解）
- 3. 为什么还要用random（随机间隔）？
- 4. 不是所有sleep都有用！关键是「间隔合理」
- 三、总结：核心逻辑回顾
一、先搞懂：反爬（反爬虫）到底是什么？
1. 反爬的核心定义
反爬（反网络爬虫）是网站/服务器为了保护自身数据和服务器资源，设置的一系列技术规则和限制，目的是识别并阻止“非人工、高频次、批量获取数据”的爬虫程序，只允许正常的人类浏览器访问。
2. 反爬的本质：区分「真人」和「机器（爬虫）」
网站服务器能通过「访问特征」判断访问者是真人还是爬虫：
| 真人浏览器访问特征 | 爬虫程序访问特征 |
|---|---|
| 访问速度慢（看页面、点按钮需要时间，几秒/十几秒一次请求） | 访问速度极快（代码可瞬间发送成百上千次请求） |
| 有正常的浏览器标识（User-Agent）、访问间隔随机 | 无间隔/固定间隔请求，易被识别为机器 |
| 单次访问数据量少（只看1-2页） | 批量爬取（一次性爬100页），消耗服务器大量资源 |
3. 网站为什么要做反爬？
对网站来说，反爬的目的主要是：
- 保护服务器：如果大量爬虫同时高频请求，服务器会因CPU/带宽耗尽崩溃，导致真人无法访问；
- 保护数据：避免数据被批量抓取后滥用（比如商用、恶意分析）；
- 合规性：控制数据的获取方式和频率，符合相关规定。
4. 常见的反爬手段（你可能遇到的）
| 反爬手段 | 表现形式 | 对你的影响 |
|---|
