一、 技术栈与背景意义
本系统旨在利用大数据技术分析海量旅游数据，为用户提供个性化的旅游推荐。系统采用前后端分离架构，后端基于Django框架，前端使用Vue.js，并整合了多种大数据处理与分析组件。
1.1 技术栈概览
- 后端框架: Django 3.2 + Django REST Framework
- 前端框架: Vue.js 3 + Element Plus
- 数据库: PostgreSQL (存储结构化数据) + Redis (缓存与Session)
- 大数据处理: Apache Spark (用于离线数据分析与模型训练)
- 数据存储: Hadoop HDFS (存储原始日志与用户行为数据)
- 消息队列: Apache Kafka (用于实时数据流处理)
- 搜索引擎: Elasticsearch (用于景点、游记的快速检索)
- 推荐算法: 协同过滤 (User-Based, Item-Based) + 基于内容的推荐
- 部署: Docker + Nginx + Gunicorn
1.2 背景与意义
随着在线旅游平台的兴起，用户面临着信息过载的问题。传统的列表展示方式难以满足用户个性化的需求。本系统通过收集用户在平台上的浏览、搜索、收藏、评分等行为数据，结合景点本身的属性（如类型、地理位置、价格等），运用大数据分析技术和推荐算法，旨在实现：
- 提升用户体验: 为用户精准推荐其可能感兴趣的旅游目的地、线路和活动，减少信息筛选成本。
- 提高平台转化率: 通过个性化推荐，增加用户的点击率和订单转化率。
- 数据驱动运营: 为旅游管理者提供数据洞察，如热门趋势分析、用户画像分析，辅助营销决策和产品优化。
- 技术实践价值: 将Django的快速开发能力与Spark等大数据生态结合，为构建数据密集型Web应用提供一套可行的技术方案参考。
二、 系统核心模块与代码实现
2.1 数据采集与存储模块
用户行为数据通过前端埋点SDK收集，经由Kafka实时传输到后端处理服务。
# apps/data_collector/consumers.py - Kafka消费者示例 import json from django.conf import settings from kafka import KafkaConsumer from .models import UserBehaviorLog def start_behavior_consumer(): consumer = KafkaConsumer( settings.KAFKA_BEHAVIOR_TOPIC, bootstrap_servers=settings.KAFKA_BOOTSTRAP_SERVERS, value_deserializer=lambda m: json.loads(m.decode('utf-8')) ) for message in consumer: data = message.value # 解析并存入数据库 log = UserBehaviorLog.objects.create( user_id=data.get('userId'), item_id=data.get('itemId'), # 景点/游记ID behavior_type=data.get('type'), # 'view', 'click', 'collect', 'rate' timestamp=data.get('timestamp'), extra_data=data.get('extra', {}) ) # 同时写入HDFS做离线分析备份 write_to_hdfs(log) print(f"Processed log for user {log.user_id}")2.2 离线数据分析与特征工程 (Spark)
使用Spark定期（如每天）对HDFS中的原始行为日志进行ETL，生成用户和物品的特征向量。
# scripts/spark_feature_engineering.py 核心片段 from pyspark.sql import SparkSession from pyspark.ml.feature import StringIndexer, OneHotEncoder, VectorAssembler spark = SparkSession.builder.appName("TourismFeatureEngineering").getOrCreate() 1. 从HDFS读取行为日志 behavior_df = spark.read.parquet("hdfs://path/to/behavior_logs") 2. 计算用户-物品交互矩阵（评分/点击权重） interaction_df = behavior_df.groupBy("user_id", "item_id").agg( F.sum(F.when(F.col("behavior_type") == "rate", F.col("extra_data.rating")).otherwise(0)).alias("rating_sum"), F.count("*").alias("interaction_count") ).withColumn("implicit_score", F.col("interaction_count") * 0.1 + F.col("rating_sum") * 0.9) 3. 物品特征处理 (例如：景点类别One-Hot编码) item_df = spark.read.jdbc(url=PG_JDBC_URL, table="scenic_spot") indexer = StringIndexer(inputCol="category", outputCol="category_index") indexed = indexer.fit(item_df).transform(item_df) encoder = OneHotEncoder(inputCol="category_index", outputCol="category_vec") encoded_item_df = encoder.fit(indexed).transform(indexed) 4. 保存特征到数据库/特征库供推荐模型使用 encoded_item_df.write.mode("overwrite").jdbc(PG_JDBC_URL, "item_features", properties) interaction_df.write.mode("overwrite").jdbc(PG_JDBC_URL, "user_item_interaction", properties)2.3 推荐引擎服务 (Django REST API)
提供实时推荐接口，综合多种算法结果。
