别再死记硬背FCN结构了！用PyTorch从零复现FCN-8s，搞懂特征融合与转置卷积

从零实现FCN-8s：用PyTorch拆解特征融合与转置卷积的奥秘

在计算机视觉领域，语义分割一直是极具挑战性的任务。不同于简单的图像分类，它要求模型对每个像素进行精确分类。2015年诞生的FCN（全卷积网络）开创了深度学习语义分割的先河，其核心思想——用卷积层替代全连接层，允许输入任意尺寸图像，并通过转置卷积实现上采样——至今仍是许多分割模型的基础架构。

对于已经掌握CNN基础但想深入理解FCN内部机制的学习者来说，单纯阅读论文结构图往往难以真正掌握其精髓。本文将带您用PyTorch从零实现FCN-8s模型，通过代码实操揭示多尺度特征融合与转置卷积的工作原理。我们将从加载VGG16预训练权重开始，逐步构建模型，并可视化中间特征图，让抽象概念变得具体可操作。

1. 环境准备与数据加载

在开始构建FCN-8s之前，我们需要准备好开发环境。推荐使用Python 3.8+和PyTorch 1.10+版本，这些组合经过验证具有最佳兼容性。以下是必要的依赖包：

pip install torch torchvision matplotlib opencv-python numpy

对于数据集选择，PASCAL VOC 2012是语义分割领域的经典基准数据集，包含20个前景物体类别和1个背景类别，非常适合验证我们的FCN-8s实现。我们可以使用torchvision提供的便捷接口加载数据：

from torchvision.datasets import VOCSegmentation train_dataset = VOCSegmentation( root='./data', year='2012', image_set='train', download=True, transform=preprocess ) val_dataset = VOCSegmentation( root='./data', year='2012', image_set='val', download=True, transform=preprocess )

数据预处理环节需要特别注意，因为FCN基于VGG16架构，我们需要使用与VGG训练时相同的归一化参数：

from torchvision import transforms preprocess = transforms.Compose([ transforms.ToTensor(), transforms.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225] ) ])

提示：在实际项目中，建议将数据集缓存到SSD硬盘上，可以显著减少IO等待时间，特别是当使用大规模数据集时。

2. FCN-8s架构深度解析

FCN-8s的核心创新在于其多尺度特征融合机制。与直接将最深层的特征图上采样32倍的FCN-32s不同，FCN-8s融合了来自三个不同深度的特征图：

• pool5层：下采样32倍，包含高级语义信息但空间细节丢失严重
• pool4层：下采样16倍，兼顾语义和一定空间信息
• pool3层：下采样8倍，保留更多空间细节但语义抽象程度较低

2.1 骨干网络改造

FCN-8s通常以VGG16为骨干网络，我们需要对其进行改造：

1. 移除原始VGG16的最后两个全连接层（fc6和fc7）
2. 将第一个全连接层转换为卷积层（kernel_size=7x7）
3. 将第二个全连接层转换为卷积层（kernel_size=1x1）
4. 添加1x1卷积将通道数减少到类别数（PASCAL VOC为21类）

import torch.nn as nn from torchvision.models import vgg16_bn class FCN8s(nn.Module): def __init__(self, num_classes=21): super(FCN8s, self).__init__() # 加载预训练VGG16模型 vgg = vgg16_bn(pretrained=True) features = list(vgg.features.children()) # 编码器部分 self.encoder1 = nn.Sequential(*features[:7]) # 到pool1 self.encoder2 = nn.Sequential(*features[7:14]) # 到pool2 self.encoder3 = nn.Sequential(*features[14:24]) # 到pool3 self.encoder4 = nn.Sequential(*features[24:34]) # 到pool4 self.encoder5 = nn.Sequential(*features[34:]) # 到pool5 # 将全连接层转换为卷积层 self.fc6 = nn.Conv2d(512, 4096, kernel_size=7, padding=3) self.fc7 = nn.Conv2d(4096, 4096, kernel_size=1) self.score_fr = nn.Conv2d(4096, num_classes, kernel_size=1) # 转置卷积和特征融合相关层 self.upscore2 = nn.ConvTranspose2d( num_classes, num_classes, kernel_size=4, stride=2, bias=False) self.upscore8 = nn.ConvTranspose2d( num_classes, num_classes, kernel_size=16, stride=8, bias=False) self.score_pool4 = nn.Conv2d(512, num_classes, kernel_size=1) self.score_pool3 = nn.Conv2d(256, num_classes, kernel_size=1)

2.2 特征融合机制

FCN-8s的特征融合是其性能优越的关键。让我们详细分析这一过程：

1. pool5路径：经过fc6、fc7和1x1卷积后，得到低分辨率预测，然后通过2倍上采样
2. pool4路径：经过1x1卷积调整通道数后，与上采样后的pool5预测相加
3. 将融合后的结果再次2倍上采样
4. pool3路径：经过1x1卷积调整通道数后，与上一步结果相加
5. 最后进行8倍上采样得到最终预测

def forward(self, x): h = x h = self.encoder1(h) # pool1 h = self.encoder2(h) # pool2 h = self.encoder3(h) # pool3 pool3 = h # 保存pool3特征 h = self.encoder4(h) # pool4 pool4 = h # 保存pool4特征 h = self.encoder5(h) # pool5 h = self.fc6(h) h = self.fc7(h) h = self.score_fr(h) # pool5路径的预测 h = self.upscore2(h) # 2倍上采样 upscore2 = h # 临时保存 # 处理pool4路径 h = self.score_pool4(pool4) h = h[:, :, 5:5+upscore2.size(2), 5:5+upscore2.size(3)] # 中心裁剪 score_pool4c = h # 第一次融合：pool5 + pool4 h = upscore2 + score_pool4c # 第二次上采样 h = self.upscore2(h) upscore_pool4 = h # 处理pool3路径 h = self.score_pool3(pool3) h = h[:, :, 9:9+upscore_pool4.size(2), 9:9+upscore_pool4.size(3)] # 中心裁剪 score_pool3c = h # 第二次融合：(pool5+pool4) + pool3 h = upscore_pool4 + score_pool3c # 最终上采样 h = self.upscore8(h) h = h[:, :, 31:31+x.size(2), 31:31+x.size(3)].contiguous() return h

注意：特征融合前的中心裁剪操作至关重要，因为不同层次的特征图在卷积过程中边界处理会导致尺寸略有差异。我们需要确保相加的特征图尺寸完全一致。

3. 转置卷积原理与实现

转置卷积（Transposed Convolution）是FCN实现上采样的核心技术，常被误称为"反卷积"。实际上，它并非卷积的逆运算，而是一种特殊的正向卷积操作。

3.1 转置卷积数学原理

转置卷积可以理解为常规卷积的"逆向"过程：

• 输入：一个4x4的特征图
• 常规卷积（3x3核，stride=2，padding=1）输出：2x2特征图
• 对应的转置卷积（3x3核，stride=2，padding=1）输出：4x4特征图

数学上，常规卷积可以表示为矩阵乘法 y = Cx，其中C是卷积矩阵。转置卷积则对应 y = Cᵀx，这也是其名称的由来。

3.2 PyTorch实现细节

在PyTorch中，我们使用nn.ConvTranspose2d实现转置卷积。FCN-8s中使用了两种上采样比例：

# 2倍上采样 self.upscore2 = nn.ConvTranspose2d( num_classes, num_classes, kernel_size=4, stride=2, bias=False) # 8倍上采样 self.upscore8 = nn.ConvTranspose2d( num_classes, num_classes, kernel_size=16, stride=8, bias=False)

关键参数说明：

• kernel_size：控制上采样过程中每个输入像素影响的区域大小
• stride：实际上采样倍数
• bias=False：通常转置卷积不添加偏置项

3.3 转置卷积的棋盘格效应

转置卷积的一个常见问题是可能产生棋盘格状伪影，这是由于上采样过程中核重叠不均匀造成的。缓解方法包括：

1. 选择能被stride整除的kernel_size
2. 使用双线性插值初始化转置卷积核
3. 在转置卷积后添加平滑处理

在我们的实现中，采用了第一种方法：

# 初始化转置卷积权重 nn.init.kaiming_normal_(self.upscore2.weight) nn.init.kaiming_normal_(self.upscore8.weight)

4. 模型训练与可视化

4.1 损失函数与优化器

语义分割任务通常使用逐像素交叉熵损失：

criterion = nn.CrossEntropyLoss(ignore_index=255) optimizer = torch.optim.SGD( model.parameters(), lr=1e-3, momentum=0.9, weight_decay=5e-4 ) # 学习率调度器 scheduler = torch.optim.lr_scheduler.StepLR( optimizer, step_size=30, gamma=0.1 )

提示：PASCAL VOC数据集中有些像素标记为255（忽略类别），需要在损失函数中特别处理。

4.2 训练循环关键代码

def train_one_epoch(model, dataloader, criterion, optimizer, device): model.train() running_loss = 0.0 for images, masks in dataloader: images = images.to(device) masks = masks.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, masks) loss.backward() optimizer.step() running_loss += loss.item() return running_loss / len(dataloader)

4.3 特征可视化

理解FCN-8s工作原理的最佳方式是可视化中间特征图。我们可以使用以下代码可视化不同层次的特征：

import matplotlib.pyplot as plt def visualize_feature_maps(model, image_tensor, layer_name): # 注册hook获取中间层输出 features = {} def get_features(name): def hook(model, input, output): features[name] = output.detach() return hook # 获取指定层的hook layer = getattr(model, layer_name) handle = layer.register_forward_hook(get_features(layer_name)) # 前向传播 with torch.no_grad(): model(image_tensor.unsqueeze(0)) # 移除hook handle.remove() # 可视化 fmap = features[layer_name].squeeze() plt.figure(figsize=(20, 10)) for i in range(min(32, fmap.size(0))): # 最多显示32个通道 plt.subplot(4, 8, i+1) plt.imshow(fmap[i].cpu().numpy(), cmap='viridis') plt.axis('off') plt.show()

通过这种方法，我们可以清晰地看到pool3、pool4和pool5层特征图的差异：

• pool3特征图：保留较多空间细节，适合捕捉物体边缘
• pool5特征图：高度抽象，语义信息丰富但空间细节丢失
• 融合后的特征图：兼具语义信息和空间细节

4.4 性能评估指标

语义分割常用评估指标包括：

在PASCAL VOC数据集上，一个正确实现的FCN-8s应该能达到约62%的mIoU。