1. 聚合函数在深度学习解释性中的核心作用
在语音识别（ASR）和语音翻译（ST）任务中，模型的可解释性直接影响着我们对预测结果的信任度。输入解释（Input Explanation）技术通过生成显著性图（Saliency Map）来标识输入中对模型决策最关键的区域。然而，语音信号通常以时频谱图形式表示，其时间维度和频率维度往往需要进行降维处理才能与解码器的注意力分数对齐。这个过程中，聚合函数的选择直接决定了显著性信息的保留质量。
关键发现：2D最大池化（2D max pooling）在多项评估指标中显著优于其他聚合策略，其删除指标（Deletion Metric）达到57.04，比2D平均池化（53.03）高出7.5%。
2. 三种聚合策略的对比实验设计
2.1 评估框架与实验设置
研究采用标准化的评估流程：
- 输入处理：原始时频谱图X（维度T×F）通过编码器生成隐藏表示
- 显著性计算：使用SPES方法生成原始显著性图SMX
- 维度对齐：将SMX的时间维度从T降采样到T'（与交叉注意力分数CA的维度匹配）
- 质量评估：通过删除指标和Pearson相关系数量化解释质量
实验基于fairseq-S2T框架，使用4块NVIDIA A100 GPU训练基础ASR模型，训练数据包含3000小时的公开语音数据集（CommonVoice、LibriSpeech等）。
2.2 三种聚合函数实现细节
| 聚合策略 | PyTorch实现方式 | 计算特点 | 适用场景分析 |
|---|---|---|---|
| 2D平均池化 | adaptive_avg_pool2d | 全局平滑，抑制局部峰值 | 需要整体趋势分析的场景 |
| 2D最大池化 | adaptive_max_pool2d | 保留局部极值 | 关键特征定位任务 |
| 两步池化 | max_pool1d+avg_pool1d | 频域突出+时域平滑 | 多维度特征分离场景 |
其中两步池化的特殊设计值得注意：
- 首先沿频率轴应用最大池化：提取每个时间点上最显著的频带
- 然后沿时间轴平均：保持与交叉注意力相同的时间分辨率
3. 关键实验结果与深度解析
3.1 定量指标对比分析
表4数据显示了不同聚合函数在各层的表现（基于英语ASR开发集）：
| 聚合方式 | Layer 1 | Layer 4 | Layer 6 | 层平均ρ | 删除指标 |
|---|---|---|---|---|---|
| 2D平均池化 | 0.090 | 0.434 | 0.466 | 0.459 | 53.03 |
| 两步池化 | 0.115 | 0.534 | 0.565 | 0.565 | 55.18 |
| 2D最大池化 | 0.115 | 0.540 | 0.582 | 0.572 | 57.04 |
从数据中可以发现两个重要现象：
- 层间一致性：所有方法在深层（4-6层）表现更好，说明高层特征更具解释性
- 性能差距：2D最大池化在关键层（如第6层）相关系数达到0.582，比平均池化高24.8%
3.2 语音信号的频率特性影响
图3的显著性图显示，语音的关键特征往往集中在2000Hz以下的频带（对应元音共振峰区域）。这解释了为什么最大池化表现更优：
- 局部保持性：最大池化能准确捕捉共振峰等局部特征
- 抗模糊能力：平均操作会稀释关键频带的显著性分数
- 时频耦合：语音特征是时频联合表达，2D操作比分离的1D操作更符合声学特性
4. 工程实践建议与调优策略
4.1 聚合函数选型指南
根据实验结果，我们推荐以下选择策略：
首选方案：2D最大池化
- 实现简单（单次PyTorch操作）
- 在删除指标和相关性上均表现最优
- 特别适合需要精确定位关键帧的场景
替代方案：两步池化（当计算资源受限时）
- 比纯平均池化性能提升明显
- 可分步调试频域和时域效果
避免场景：2D平均池化
- 仅在需要整体趋势分析时考虑
- 会显著降低解释的定位精度
4.2 实际部署注意事项
分辨率匹配技巧：
- 使用最近邻插值上采样显著性图时
- 建议先进行max pooling再上采样，避免引入虚假细节
计算效率优化：
# 高效实现方案 def aggregate_saliency(smx, output_size=(1, T1)): # 2D最大池化核心代码 pooled = F.adaptive_max_pool2d(smx.unsqueeze(0), output_size) return pooled.squeeze(0)多任务适配：
- ASR任务：建议严格使用2D最大池化
- ST任务：可尝试调整池化核大小（如3×3区域最大池化）
5. 扩展分析与前沿探讨
5.1 与其他解释方法的协同
研究发现交叉注意力（CA）与显著性图存在高相关性（最高ρ=0.582），但仍有重要差异：
- 注意力遗漏：CA有时会关注无显著性的区域（如图4f中的75-85帧）
- 补充价值：显著性解释能发现CA忽略的底层声学特征
- 联合使用：建议将两种解释方法结合进行错误分析
5.2 多语言场景的泛化性
在多语言模型（英语+意大利语）测试中，2D最大池化同样表现出色：
- 意大利语ASR删除指标达到97.0
- 说明该方法对不同语系的语音特征都具有良好的适应性
这种泛化能力可能源于：
- 拉丁语系共享相似的音素结构
- 最大池化对语言特异性特征的鲁棒性
6. 局限性与未来方向
当前研究存在几个值得注意的限制：
任务范围：仅验证了ASR和ST任务
- 语音问答等复杂任务可能需要调整策略
语言覆盖：主要测试印欧语系
- 声调语言（如中文）可能需要特殊处理
计算成本：最大池化需要完整前向计算
- 可探索梯度类方法的混合方案
未来可探索的方向包括：
- 动态聚合策略（根据输入特性自动选择池化方式）
- 频带自适应加权池化（针对不同语音成分优化）
- 与自注意力解释的深度融合方法
在实际的语音系统开发中，解释质量直接影响模型调试和迭代效率。基于大量实验验证，2D最大池化应作为语音任务解释生成的标准配置，特别是在需要精确定位问题片段的应用场景中。对于追求极致解释质量的项目，建议进一步结合层间分析（如重点关注第5-6层的显著性），这与解码器高层注意力的关键作用相吻合。
