当经典AI谜题遇上强化学习：用PyTorch+DQN训练智能体玩转Wumpus世界

用深度Q网络征服Wumpus世界：一个强化学习的实战指南

在人工智能的众多应用场景中，游戏环境一直是检验算法能力的绝佳试验场。Wumpus世界这个经典谜题，以其适中的复杂度和丰富的决策空间，成为了学习强化学习（Reinforcement Learning）的理想选择。本文将带你深入探索如何用PyTorch框架实现深度Q网络（DQN），训练一个能够在Wumpus世界中自主探索、避坑、杀怪并最终寻得金子的智能体。

1. Wumpus世界：强化学习的完美沙盒

Wumpus世界是一个4×4的网格迷宫，其中隐藏着致命的陷阱和怪物。智能体（Agent）从固定的起点出发，需要通过有限的感知信息（臭气、微风、金光等）来推断环境状态，同时做出移动、转向、射击或拾取等动作。这个环境完美体现了强化学习中的几个核心挑战：

• 部分可观察性：智能体无法直接看到整个地图，必须通过局部感知来构建对环境的理解
• 稀疏奖励：大多数动作只有微小的负奖励（-1），只有在完成关键目标时才会获得大额奖励
• 探索与利用的权衡：智能体需要在探索未知区域和利用已有知识之间找到平衡

# Wumpus世界的基本参数配置示例 WORLD_SIZE = 4 PIT_COUNT = 3 WUMPUS_COUNT = 1 GOLD_COUNT = 1 ACTION_COST = -1 GOLD_REWARD = 1000 DEATH_PENALTY = -1000 ARROW_COST = -10

2. 构建Wumpus世界的强化学习环境

2.1 状态表示设计

在传统的Wumpus世界实现中，状态表示可以有多种选择：

基于性能考虑，我们采用精简的位置编码方案：

def get_state_representation(agent_pos, pits, wumpus, gold): """将环境状态编码为固定长度的向量""" state = [] # 智能体位置 (2维) state.extend(agent_pos) # 无底洞位置 (PIT_COUNT * 2维) for pit in pits: state.extend(pit) # Wumpus位置 (WUMPUS_COUNT * 2维) for w in wumpus: state.extend(w) # 金子位置 (GOLD_COUNT * 2维) for g in gold: state.extend(g) return torch.FloatTensor(state)

2.2 动作空间与奖励函数

Wumpus世界中的动作空间相对简单但足够丰富：

• 前进（Forward）
• 左转（Turn Left）
• 右转（Turn Right）
• 射击（Shoot）
• 拾取（Grab）
• 攀爬（Climb）

奖励函数的设计对训练效果至关重要。我们的设计原则是：

1. 即时反馈：每个动作都有小惩罚（-1），鼓励高效策略
2. 关键奖励：获得金子（+1000）和成功逃脱（额外奖励）
3. 致命惩罚：掉入无底洞或被Wumpus吃掉（-1000）
4. 资源消耗：使用箭矢（-10）以限制滥用

3. 深度Q网络（DQN）的实现

3.1 网络架构设计

我们的DQN采用三层全连接网络，在输入层和输出层之间加入适当的非线性：

import torch.nn as nn import torch.nn.functional as F class DQN(nn.Module): def __init__(self, input_dim, output_dim): super(DQN, self).__init__() self.fc1 = nn.Linear(input_dim, 128) self.fc2 = nn.Linear(128, 64) self.fc3 = nn.Linear(64, output_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x)

3.2 经验回放与目标网络

为了稳定训练过程，我们实现了两个DQN的关键改进：

1. 经验回放（Experience Replay）：存储转移样本(状态, 动作, 奖励, 新状态)并在训练时随机采样
2. 目标网络（Target Network）：使用独立的网络生成目标Q值，定期更新

from collections import deque import random class ReplayBuffer: def __init__(self, capacity): self.buffer = deque(maxlen=capacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): return random.sample(self.buffer, batch_size) def __len__(self): return len(self.buffer)

4. 训练策略与调优技巧

4.1 探索策略的演变

在训练的不同阶段，我们采用不同的探索策略：

1. 初期：高探索率（ε=0.9），鼓励广泛尝试
2. 中期：线性衰减探索率，逐步转向利用
3. 后期：低探索率（ε=0.05），精炼已有策略

class EpsilonGreedyStrategy: def __init__(self, start, end, decay): self.start = start self.end = end self.decay = decay def get_exploration_rate(self, current_step): return self.end + (self.start - self.end) * \ math.exp(-1. * current_step * self.decay)

4.2 关键超参数设置

经过多次实验验证，以下参数组合在Wumpus世界中表现良好：

4.3 训练过程中的挑战与解决方案

稀疏奖励问题：在Wumpus世界中，智能体可能很长时间都得不到正向奖励。我们采用以下技巧：

• 奖励塑形（Reward Shaping）：当智能体靠近金子时给予小奖励
• 好奇心驱动（Curiosity-Driven）：对访问次数少的状态给予额外探索奖励
• 分层强化学习（HRL）：将任务分解为探索、避障、寻金等子任务

部分可观察性问题：智能体无法直接看到全部环境。解决方案包括：

• 使用LSTM网络记忆历史状态
• 维护一个内部环境地图
• 增加传感器信息的时序上下文

5. 进阶优化与扩展思路

当基础DQN能够稳定解决简单Wumpus世界后，可以考虑以下进阶优化：

5.1 网络架构改进

• Dueling DQN：分离状态价值和动作优势

  class DuelingDQN(nn.Module): def __init__(self, input_dim, output_dim): super(DuelingDQN, self).__init__() self.feature = nn.Linear(input_dim, 128) self.value_stream = nn.Sequential( nn.Linear(128, 64), nn.Linear(64, 1) ) self.advantage_stream = nn.Sequential( nn.Linear(128, 64), nn.Linear(64, output_dim) ) def forward(self, x): features = F.relu(self.feature(x)) values = self.value_stream(features) advantages = self.advantage_stream(features) qvals = values + (advantages - advantages.mean()) return qvals

• Noisy Networks：用参数化的噪声代替ε-greedy探索

5.2 环境复杂度扩展

• 增加地图尺寸（如8×8网格）
• 引入动态元素（移动的Wumpus或陷阱）
• 添加更多游戏元素（如多个金子、特殊道具）
• 实现不完全信息博弈（多个智能体竞争）

5.3 多智能体协作

在更复杂的Wumpus世界变体中，可以考虑引入多智能体协作：

1. 通信机制：智能体间共享部分环境信息
2. 角色分工：探索者、守卫者、收集者等不同角色
3. 混合奖励：个体奖励与团队奖励的结合

在实际训练中发现，直接使用原始奖励结构（找到金子+1000）会导致训练初期极不稳定。一个有效的技巧是在训练初期适当降低极端奖励/惩罚的绝对值（如改为+100/-100），待策略初步成型后再恢复原始值。