Python 爬虫项目：健身课程与场馆数据爬取

前言

全民健身理念持续普及，线上健身服务平台、本地生活门户汇聚了海量健身场馆、课程类型、教练信息、收费标准、用户评价等数据资源。这类数据是健身行业市场调研、场馆竞品分析、用户选课参考、线上健身平台内容搭建的核心支撑素材。传统人工整理信息的方式效率低下，无法完成多区域、多品类场馆与课程数据的批量汇总，也难以实现数据定期更新。依托 Python 开发定向爬虫程序，可自动化完成网页请求、节点解析、多维度数据提取、格式清洗与文件存储，高效实现健身行业公开数据的规模化采集。

本文围绕健身场馆与课程数据采集场景开展全流程实战开发，依次完成环境部署、网页结构分析、模块化代码编写、运行原理解读、异常处理、数据优化、问题排查等内容。项目所使用的开发工具、第三方库及官方文档链接整理如下： Python 官方下载地址、requests 库官方文档、BeautifulSoup4 官方文档、lxml 解析库下载与文档、csv 模块官方说明、time 模块官方文档、re 正则表达式模块文档。

本项目基于静态网页爬虫技术实现，采用模块化编码思路，逻辑分层清晰，同时融入数据正则清洗、多级页面采集、异常容错、随机延时防爬等工程化设计。代码具备良好的通用性，修改页面节点参数后即可适配不同健身类网站，适合掌握 Python 基础语法，想要深耕行业定向爬虫、结构化数据采集与批量处理的开发者学习使用。

一、项目需求分析与数据字段规划

1.1 项目采集目标与应用场景

本项目以主流健身服务类网站为采集载体，实现城市范围内健身场馆、线下课程两大核心数据的自动化爬取。采集内容覆盖场馆基础资质、地理位置、收费体系、营业时间、配套设施，以及课程名称、课程类型、授课教练、上课时间、课程价格、学员评价等信息。

采集后的结构化数据可应用于多类业务场景：健身行业从业者用于商圈场馆分布调研、定价策略分析；线上平台运营人员用于内容填充与课程推荐；普通用户可借助整合数据完成场馆与课程筛选对比；数据分析人员可基于海量数据开展行业发展趋势统计。

1.2 核心采集字段明细表

结合健身行业数据使用需求，将采集内容划分为健身场馆基础信息、场馆经营信息、配套服务信息、健身课程信息四大板块，明确各字段含义、数据类型，具体规划如下表。

表格

1.3 功能模块拆分

为保证采集流程稳定、代码易维护、功能可拓展，将整体爬虫程序拆分为八大独立模块，各模块按执行顺序联动协作：

1. 网络请求模块：统一封装 HTTP GET 请求逻辑，配置浏览器请求头完成身份伪装，处理超时、连接失败、状态码异常等网络问题。
2. 分页遍历模块：识别网页分页参数规则，循环生成多页 URL，实现全列表数据批量遍历采集。
3. 列表页解析模块：从场馆列表页提取场馆基础信息，并抓取场馆详情页链接，作为二级采集入口。
4. 详情页解析模块：访问场馆详情页面，提取经营信息、配套服务、全部课程列表等深层数据。
5. 数据清洗模块：利用字符串方法与正则表达式，剔除空白字符、特殊符号、冗余文本，统一数据格式。
6. 延时防护模块：设置随机时间间隔模拟真人浏览行为，降低网站反爬机制的触发概率。
7. 异常捕获模块：分层设置异常捕获逻辑，单条数据、单个页面出错时程序持续运行，提升容错能力。
8. 数据存储模块：将清洗后的结构化数据批量写入 CSV 文件，实现数据持久化存储。

1.4 运行环境要求

项目基于 Python 3.8 及以上版本开发，兼容 Windows、Linux、macOS 全平台操作系统。运行设备需保证网络通畅，能够正常访问目标健身网站，本地磁盘预留存储空间用于存放 CSV 数据文件。运行前需完成 Python 解释器安装以及对应第三方依赖库的部署工作。

二、开发环境与依赖库部署

2.1 Python 基础环境配置

访问Python 官方下载地址，根据操作系统选择对应安装包。Windows 系统选择桌面安装程序，安装过程中勾选自动添加环境变量选项；Linux、macOS 可使用源码包或系统自带包管理器完成安装。安装完成后打开命令行，输入python --version，正常输出版本号即代表基础环境配置完成。

2.2 第三方库安装与功能说明

本项目沿用爬虫主流技术组合，核心使用requests、BeautifulSoup4、lxml三大第三方库，搭配 Python 内置模块完成全部功能，各库安装方式与作用说明如下。

2.2.1 requests 库

作为 Python 生态中主流的 HTTP 请求库，语法简洁，支持各类请求方式、请求头配置、超时设置，是爬虫网络请求的核心工具。在命令行执行以下指令完成安装：

plaintext

pip install requests

安装后可查阅requests 库官方文档学习会话保持、代理配置、Cookie 携带等高级用法。

2.2.2 BeautifulSoup4 与 lxml 解析库

BeautifulSoup4 用于将 HTML 源码解析为树形节点结构，快速定位标签并提取文本内容；lxml 是高性能 HTML/XML 解析器，解析效率与容错性优于内置解析器，二者搭配使用是静态网页解析的标准方案。执行以下命令完成安装：

plaintext

pip install beautifulsoup4 pip install lxml

参考BeautifulSoup4 官方文档与lxml 解析库下载与文档掌握节点查找、属性提取等语法。

2.2.3 Python 内置模块说明

以下模块为 Python 标准库，无需额外安装，随解释器自带：

1. csv 模块：实现 CSV 文件创建、表头写入、批量数据存储，详情查看csv 模块官方说明。
2. time、random 模块：组合生成随机延时，规避基础反爬策略，参考time 模块官方文档。
3. re 模块：正则表达式模块，用于清洗特殊符号、规整文本格式，详细用法查阅re 正则表达式模块文档。

三、目标网页结构分析

正式编写代码前，需对目标健身网站的请求规则、页面节点、分页逻辑、数据干扰项进行全面分析，这是保证解析规则准确有效的前提。

3.1 网页请求方式分析

使用浏览器打开目标健身场馆列表页面，按下 F12 打开开发者工具，切换至 Network 面板并刷新页面。页面所有数据均直接渲染在 HTML 源码中，属于标准静态网页，主请求为 GET 请求，无需处理 JavaScript 动态渲染、异步接口等复杂场景。

查看请求头中的 User-Agent 字段，网站会识别客户端类型，若检测为 Python 原生请求，会直接返回 403 禁止访问。因此爬虫必须配置合法的浏览器请求头，完成客户端伪装，部分高防护站点可额外补充 Referer、Accept 等请求字段提升伪装效果。

3.2 场馆列表页节点分析

页面主体为健身场馆列表，每一个场馆对应一组独立的 HTML 标签块，所有条目统一包裹在父级容器标签内。场馆名称、场馆类型、所在区域、综合评分等浅层数据，均存放在 class 属性固定的 div、span 标签中，标签层级稳定，可通过类选择器精准定位。

每个场馆条目内均包含详情页超链接，链接分为绝对路径与相对路径两种形式，这是进入场馆详情页、提取课程数据的核心入口，采集过程中需要对链接格式进行判断与拼接。

3.3 场馆详情页节点分析

场馆详情页承载了营业时间、人均消费、配套设施、地址、电话以及全部健身课程数据。场馆经营与服务信息分布在独立标签中，结构规则统一；课程数据以列表形式展示，单条课程为独立子标签，同一场馆下会存在多条课程记录，解析时需要循环遍历课程标签。课程价格、时长等字段常夹杂符号与空格，后续需要配合正则完成清洗。

3.4 分页规则分析

页面底部设有标准分页导航栏，切换不同页码观察 URL 变化，可总结分页规则：基础 URL 后拼接page=数字参数，页码从 1 开始递增。本项目采用手动设置起止页码的方式控制采集范围，灵活性更强，同时也可拓展为自动解析总页码，实现全站全自动爬取。

3.5 数据干扰项分析

网页原始文本普遍存在换行符、制表符、连续空格、HTML 转义字符、装饰符号等干扰内容。如果直接提取文本，会导致最终数据格式杂乱，因此在数据提取环节，需要统一调用清洗逻辑，剔除无效字符，标准化文本内容。

四、完整代码实现与逐段原理解析

结合前期环境配置、页面分析与功能规划，按照模块化思路编写全套爬虫代码，依次完成模块导入、全局配置、请求函数、数据清洗、列表页解析、详情页解析、数据存储、主程序调度八大板块，每段代码配套原理讲解。

4.1 模块导入

集中导入项目所需的所有库与内置模块，代码如下：

python

运行

# 网络请求库 import requests # 网页解析类 from bs4 import BeautifulSoup # CSV文件操作 import csv # 时间与随机数模块，实现随机延时 import time import random # 正则表达式模块，用于数据清洗 import re

代码原理解析代码头部统一导入所有依赖组件，符合 Python 工程化编码规范。requests负责网络交互，BeautifulSoup4负责 HTML 节点解析，csv实现表格数据存储，time与random配合完成延时防爬，re模块专门处理复杂文本清洗工作。集中管理导入模块，便于后期维护与修改。

4.2 全局参数配置

定义全局变量，统一管理请求地址、请求头、文件路径、延时区间、页码范围、正则规则，集中配置便于批量修改适配不同网站，代码如下：

python

运行

# 健身场馆列表基础URL，拼接分页参数 BASE_URL = "https://www.fitnessdemo.com/gym?page=" # 浏览器请求头，伪装客户端 HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36" } # 数据存储文件名称 SAVE_FILE = "健身场馆与课程数据.csv" # 随机延时区间 2-4秒 SLEEP_MIN = 2 SLEEP_MAX = 4 # 爬取页码范围 START_PAGE = 1 END_PAGE = 12 # 预编译正则，匹配换行、制表、连续空格等空白字符 CLEAN_PATTERN = re.compile(r"[\r\n\t]+|\s{2,}")

代码原理解析

1. BASE_URL拆分基础域名与分页参数，循环采集时仅需拼接数字即可生成完整 URL，切换同结构网站只需修改该字段。
2. HEADERS配置标准浏览器 UA，绕过网站基础客户端检测，避免请求被拦截。
3. 延时参数设置 2 至 4 秒随机间隔，相比固定延时更贴近真人浏览行为，降低反爬识别概率。
4. 预编译正则表达式CLEAN_PATTERN，提前编译可减少重复编译开销，提升批量数据清洗的运行效率，用于过滤各类无效空白字符。

4.3 通用网页请求函数

封装统一的 GET 请求函数，处理网络请求、编码、状态码、各类网络异常，实现代码复用，代码如下：

python

运行

def get_html(url): """ 发起网络请求，获取网页HTML源码 :param url: 目标网页链接 :return: 成功返回源码文本，失败返回None """ try: resp = requests.get(url, headers=HEADERS, timeout=15) resp.encoding = "utf-8" if resp.status_code == 200: return resp.text else: print(f"请求异常，状态码：{resp.status_code} 链接：{url}") return None except requests.exceptions.Timeout: print(f"链接 {url} 请求超时") return None except requests.exceptions.ConnectionError: print(f"链接 {url} 网络连接失败") return None except Exception as e: print(f"链接 {url} 未知异常：{str(e)}") return None

代码原理解析该函数为项目通用请求接口，列表页、详情页均可调用。timeout=15设置 15 秒超时时间，防止网络卡顿导致程序卡死。手动指定utf-8编码，解决中文网页乱码问题。通过status_code判断请求结果，分层捕获超时、连接失败、未知异常三类错误，单个链接故障不会终止整体程序，大幅提升程序稳定性。请求成功返回 HTML 文本，失败统一返回None，方便上层逻辑做判断。

4.4 数据清洗函数

独立封装清洗函数，统一处理所有提取的文本内容，标准化数据格式，代码如下：

python

运行

def clean_text(text): """ 清洗文本，去除多余空白字符 :param text: 原始文本 :return: 清洗后文本 """ if not text: return "" # 正则替换匹配内容为单个空格 new_text = CLEAN_PATTERN.sub(" ", text) # 去除首尾空格 new_text = new_text.strip() return new_text

代码原理解析首先做空值判断，避免空字符串引发解析错误。调用预编译正则，将换行、制表符、连续多个空格统一替换为单个空格，再通过strip()去除文本首尾空格。全项目统一调用该函数，保证所有字段格式标准一致，是批量数据采集项目中标准化处理的核心环节。

4.5 列表页解析函数

解析场馆列表页，提取场馆基础信息与详情页链接，代码如下：

python

运行

def parse_gym_list(html): """ 解析场馆列表页数据 :param html: 列表页源码 :return: 当前页场馆数据列表 """ gym_list = [] if not html: return gym_list soup = BeautifulSoup(html, "lxml") # 定位所有场馆条目 gym_items = soup.find_all("div", class_="gym-item") for item in gym_items: gym_dict = {} try: # 场馆名称 gym_name = item.find("h3", class_="gym-name").get_text() gym_dict["场馆名称"] = clean_text(gym_name) # 场馆类型 gym_type = item.find("span", class_="gym-type").get_text() gym_dict["场馆类型"] = clean_text(gym_type) # 所在区域 area = item.find("span", class_="gym-area").get_text() gym_dict["所在区域"] = clean_text(area) # 综合评分 score = item.find("em", class_="score").get_text() gym_dict["综合评分"] = clean_text(score) # 详情链接 detail_href = item.find("a", class_="gym-detail")["href"] if detail_href.startswith("http"): gym_dict["详情链接"] = detail_href else: gym_dict["详情链接"] = "https://www.fitnessdemo.com" + detail_href gym_list.append(gym_dict) except Exception: continue return gym_list

代码原理解析

1. 先判断源码是否为空，空值直接返回空列表，终止解析流程。
2. 实例化 BeautifulSoup 对象，使用find_all批量获取所有场馆标签条目。
3. 遍历单条场馆数据，通过find方法定位对应字段标签，提取文本后立即调用清洗函数。
4. 对详情链接做路径判断，相对路径拼接域名转为完整可访问链接，解决链接失效问题。
5. 内部设置异常捕获，单条场馆解析失败则跳过，不影响同页面其他数据采集。
6. 最终返回列表嵌套字典格式的数据集，便于后续整合处理。

4.6 详情页解析函数

访问场馆详情页，提取经营信息、配套服务以及全部课程数据，代码如下：

python

运行

def parse_gym_detail(detail_url): """ 解析场馆详情页，提取经营、服务、课程数据 :param detail_url: 场馆详情链接 :return: 详情信息字典 + 课程列表 """ # 初始化场馆信息 gym_info = { "营业时间": "", "人均消费": "", "配套设施": "", "详细地址": "", "咨询电话": "" } course_list = [] detail_html = get_html(detail_url) time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) if not detail_html: return gym_info, course_list try: soup = BeautifulSoup(detail_html, "lxml") # 提取场馆经营与服务信息 open_time = soup.find("div", class_="open-time").get_text() gym_info["营业时间"] = clean_text(open_time) avg_cost = soup.find("div", class_="avg-cost").get_text() gym_info["人均消费"] = clean_text(avg_cost) facility = soup.find("div", class_="facility").get_text() gym_info["配套设施"] = clean_text(facility) address = soup.find("div", class_="address").get_text() gym_info["详细地址"] = clean_text(address) phone = soup.find("div", class_="phone").get_text() gym_info["咨询电话"] = clean_text(phone) # 提取所有健身课程 course_items = soup.find_all("div", class_="course-item") for course in course_items: course_dict = {} course_name = course.find("h4", class_="course-name").get_text() course_dict["课程名称"] = clean_text(course_name) course_type = course.find("span", class_="course-type").get_text() course_dict["课程类别"] = clean_text(course_type) coach = course.find("span", class_="coach").get_text() course_dict["授课教练"] = clean_text(coach) duration = course.find("span", class_="duration").get_text() course_dict["课程时长"] = clean_text(duration) price = course.find("span", class_="course-price").get_text() course_dict["课程价格"] = clean_text(price) course_list.append(course_dict) except Exception: pass return gym_info, course_list

代码原理解析

1. 提前初始化场馆信息字典，保证字段完整性，即使解析失败也不会出现字段缺失。
2. 调用请求函数获取详情页源码，执行随机延时，规避连续请求带来的反爬风险。
3. 分两部分解析页面内容：第一部分提取场馆固定信息，第二部分循环遍历课程标签，提取多条课程数据。
4. 所有文本提取后统一执行清洗操作，保证数据格式统一。
5. 捕获解析异常，出现错误时保留空字段，程序继续运行。函数同时返回场馆信息与课程列表，实现一次请求提取两类数据。

4.7 数据存储函数

整合所有数据，批量写入 CSV 文件，适配主流办公软件，代码如下：

python

运行

def save_to_csv(total_data): """ 将全量数据写入CSV文件 :param total_data: 整合后的完整数据集 """ # 定义CSV表头 header = [ "场馆名称", "场馆类型", "所在区域", "综合评分", "营业时间", "人均消费", "配套设施", "详细地址", "咨询电话", "课程名称", "课程类别", "授课教练", "课程时长", "课程价格" ] with open(SAVE_FILE, "w", encoding="utf-8-sig", newline="") as f: writer = csv.DictWriter(f, fieldnames=header) writer.writeheader() writer.writerows(total_data) print(f"采集完成，共获取 {len(total_data)} 条数据，文件已保存至本地")

代码原理解析

1. 表头字段与前期规划一一对应，保证数据与列名精准匹配。
2. 使用with上下文管理器操作文件，代码执行完毕自动关闭文件流，避免文件占用、数据丢失。
3. utf-8-sig编码解决 Excel 打开中文乱码问题，newline=""消除 CSV 文件多余空行。
4. 采用DictWriter字典写入器，writerows方法支持批量写入多条数据，提升大批量数据存储效率。

4.8 主程序调度函数

整合所有功能模块，实现分页循环、数据合并、全流程调度，为程序入口，代码如下：

python

运行

def main(): all_data = [] # 遍历所有页码 for page in range(START_PAGE, END_PAGE + 1): print(f"正在采集第 {page} 页健身场馆数据...") page_url = BASE_URL + str(page) page_html = get_html(page_url) if not page_html: print(f"第 {page} 页请求失败，跳过") continue # 解析列表页 gym_page_data = parse_gym_list(page_html) for gym in gym_page_data: detail_url = gym["详情链接"] gym_detail, course_list = parse_gym_detail(detail_url) # 合并场馆基础信息与详情信息 gym.pop("详情链接") gym.update(gym_detail) # 遍历单场馆下所有课程，生成单条完整数据 for course in course_list: full_data = gym.copy() full_data.update(course) all_data.append(full_data) # 页间延时 time.sleep(random.uniform(SLEEP_MIN, SLEEP_MAX)) # 写入文件 save_to_csv(all_data) if __name__ == "__main__": main()

代码原理解析

1. main函数作为总调度中心，初始化列表存储全部整合数据。
2. 通过range遍历设定页码区间，逐一生成分页 URL 并发起请求。
3. 单页请求失败则直接跳过，继续执行下一页采集。
4. 解析列表数据后，逐个访问场馆详情页，同时获取场馆信息与课程列表。
5. 删除冗余的详情链接字段，合并场馆基础信息与详情信息；同一场馆多条课程分别生成独立数据行，保证每条数据一一对应单门课程。
6. 单页采集完成后执行页间延时，模拟翻页行为。
7. 全部页面采集完毕后，统一调用存储函数完成数据落地。
8. 标准程序入口判断，仅在直接运行文件时启动爬虫，作为模块导入时不自动执行。

五、项目优化、问题排查与功能拓展

5.1 常见问题与解决方案

结合本项目场景，整理运行过程中的高频问题、成因及解决办法，如下表所示。

表格

5.2 反爬策略进阶优化

项目基础防护为 UA 伪装 + 随机延时，面对高防护健身网站，可叠加以下方案提升稳定性：

1. 多 UA 池轮换：构建多个浏览器 UA 字符串列表，每次请求随机选取，避免单一标识被封禁。
2. 完善请求头：新增 Referer、Accept、Accept-Language 等字段，完整模拟浏览器请求特征。
3. 代理 IP 应用：大批量高频采集时，接入代理 IP 池轮换 IP，防止 IP 被限制访问。
4. Cookie 携带：部分网站需要登录状态才能查看完整课程与电话信息，手动抓取有效 Cookie 加入请求头。

5.3 功能迭代与拓展方向

基于现有框架，可根据业务需求拓展更多实用功能：

1. 自动识别总页码：解析分页区域标签，动态获取全站最大页码，无需手动修改结束页码。
2. 分类筛选采集：增加筛选参数，单独采集瑜伽馆、搏击馆、私教工作室等单一类型场馆数据。
3. 数据库存储：将 CSV 存储替换为 MySQL、MongoDB 等数据库，适配海量数据存储与查询场景。
4. 多线程并发采集：引入 threading 模块实现多线程请求，大幅提升整体采集速度。
5. 增量爬取：对比历史采集数据，仅爬取新增场馆与新课程，减少重复请求。