目录
一、为什么你的爬虫需要一套像样的日志
二、logging.basicConfig 深度拆解：一行代码背后的五个坑
坑1：basicConfig 只在第一次调用时生效
坑2：level 参数的优先级陷阱
坑3：中文乱码问题
坑4：同时输出到文件和控制台
坑5：格式字符串里的坑东西
三、从 DEBUG 到 CRITICAL：日志级别在爬虫里的真实用法
四、手写一个带时间戳、请求详情、异常堆栈的爬虫日志类
五、实战案例：爬取某电商商品价格（含动态Token破解）
第一步：分析目标站点的请求流程
第二步：编写带完整日志的爬虫
第三步：运行并查看日志输出
六、日志文件轮转与异常自动邮件告警
6.1 按时间和大小自动轮转
6.2 异常自动邮件告警
七、2025年爬虫避坑指南：TLS指纹、无头浏览器检测与日志如何帮你发现它们
7.1 TLS 指纹识别
7.2 无头浏览器检测
7.3 浏览器指纹（Canvas、WebGL）
7.4 日志如何成为你的反反爬“黑匣子”
八、完整项目代码（可直接复制运行）
一、为什么你的爬虫需要一套像样的日志
我见过太多人写爬虫是这样的：
python
import requests url = "https://example.com/api/data" response = requests.get(url) print(response.text)
跑通了就开心，跑不通就加 print，跑着跑着停了就抓瞎。这种做法在只有5个请求的小脚本里勉强能用，但一旦你的爬虫要跑上千页、要处理反爬、要断点续传，print 会让你崩溃。
日志和 print 的四个本质区别：
分级输出：开发时想看 DEBUG 细节，上线后只想看 ERROR，日志级别一个参数搞定，
print你需要删掉几百行注释。持久化：日志写进文件，半夜爬虫崩了你第二天还能翻记录；
</print输出到终端，关掉终端就没了。
