3种音频特征对比：MFCC vs 梅尔频谱 vs 声谱图在PyTorch分类任务中的性能差异

3种音频特征对比：MFCC vs 梅尔频谱 vs 声谱图在PyTorch分类任务中的性能差异

当我们需要处理音频分类任务时，选择合适的音频特征表示至关重要。本文将深入探讨三种主流音频特征——MFCC（梅尔频率倒谱系数）、梅尔频谱（Mel Spectrogram）和声谱图（Spectrogram）在PyTorch分类任务中的性能差异，并通过UrbanSound8K数据集上的实验数据提供量化对比。

1. 音频特征基础原理

1.1 声谱图（Spectrogram）

声谱图是最基础的时频表示方法，通过短时傅里叶变换（STFT）将时域信号转换为频域表示：

import librosa import matplotlib.pyplot as plt y, sr = librosa.load('audio.wav') D = librosa.stft(y) # STFT计算 S_db = librosa.amplitude_to_db(abs(D), ref=np.max) plt.figure(figsize=(10, 4)) librosa.display.specshow(S_db, sr=sr, x_axis='time', y_axis='linear') plt.colorbar(format='%+2.0f dB') plt.title('Linear-frequency power spectrogram')

声谱图的关键参数包括：

• n_fft: FFT窗口大小
• hop_length: 帧移
• win_length: 窗口长度

1.2 梅尔频谱（Mel Spectrogram）

梅尔频谱考虑了人耳对频率感知的非线性特性，将线性频率转换为梅尔刻度：

S = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128) S_db_mel = librosa.power_to_db(S, ref=np.max) plt.figure(figsize=(10, 4)) librosa.display.specshow(S_db_mel, sr=sr, x_axis='time', y_axis='mel') plt.colorbar(format='%+2.0f dB') plt.title('Mel-frequency spectrogram')

梅尔滤波器组的计算过程：

1. 将频率从Hz转换为梅尔刻度：$m = 2595 \log_{10}(1 + \frac{f}{700})$
2. 在梅尔刻度上均匀分布滤波器中心频率
3. 将梅尔频率转换回Hz

1.3 MFCC（梅尔频率倒谱系数）

MFCC进一步提取梅尔频谱的倒谱特征：

mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13) plt.figure(figsize=(10, 4)) librosa.display.specshow(mfccs, x_axis='time') plt.colorbar() plt.title('MFCC')

MFCC计算步骤：

1. 预加重
2. 分帧加窗
3. 计算STFT
4. 通过梅尔滤波器组
5. 取对数
6. DCT变换

2. 特征可视化对比

三种特征在时频表示上的差异明显：

提示：梅尔频谱和MFCC都考虑了人耳感知特性，但MFCC通过DCT进一步压缩了信息量。

3. PyTorch实现对比实验

我们使用MobileNetV2作为统一backbone，在UrbanSound8K数据集上进行对比实验。

3.1 数据准备

class AudioDataset(Dataset): def __init__(self, file_list, transform=None): self.file_list = file_list self.transform = transform def __getitem__(self, idx): y, sr = librosa.load(self.file_list[idx], sr=16000) if self.transform == 'spectrogram': spec = np.abs(librosa.stft(y, n_fft=512)) elif self.transform == 'mel': spec = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128) elif self.transform == 'mfcc': spec = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13) spec = torch.FloatTensor(spec).unsqueeze(0) # [1, F, T] return spec, label

3.2 模型架构

class AudioClassifier(nn.Module): def __init__(self, num_classes): super().__init__() self.backbone = mobilenet_v2(pretrained=False) self.backbone.features[0][0] = nn.Conv2d(1, 32, kernel_size=3, stride=2, padding=1) self.backbone.classifier[1] = nn.Linear(1280, num_classes) def forward(self, x): return self.backbone(x)

3.3 训练配置

def train_epoch(model, loader, criterion, optimizer): model.train() for inputs, labels in loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step()

4. 实验结果与分析

在相同训练条件下（100 epochs，Adam优化器，初始lr=1e-3），三种特征的性能对比：

关键发现：

1. 梅尔频谱表现最佳：在测试集上达到91.2%准确率，比原始声谱图高出5.5%
2. MFCC并非最优：尽管计算复杂度更高，但性能略低于梅尔频谱
3. 训练效率：声谱图训练最快，MFCC因DCT计算额外开销最慢

注意：当使用更大的backbone（如ResNet34）时，MFCC与梅尔频谱的差距会缩小，但梅尔频谱仍保持优势。

5. 特征选择建议

根据实际需求选择特征：

1. 计算资源有限：选择声谱图

   • 实现简单
   • 训练速度快
   • 适合实时应用

2. 最佳准确率：选择梅尔频谱

   • 保留更多频谱细节
   • 人耳感知对齐
   • 适合离线分析

3. 特定语音任务：考虑MFCC

   • 传统语音识别
   • 需要轻量特征的场景
   • 与其他语音特征组合使用

对于UrbanSound8K这类环境声音分类任务，梅尔频谱在大多数场景下都是最佳选择。实际项目中，可以尝试以下改进：

# 增强版梅尔频谱参数 mel_spec = librosa.feature.melspectrogram( y=y, sr=sr, n_mels=256, # 增加梅尔带数 fmax=8000, # 限制最高频率 hop_length=128, # 更小时移 n_fft=2048 # 更高频率分辨率 )

6. 高级技巧与优化

6.1 数据增强策略

transform = torchaudio.transforms.Compose([ torchaudio.transforms.MelSpectrogram( sample_rate=16000, n_fft=2048, win_length=1024, hop_length=512, n_mels=128 ), torchaudio.transforms.FrequencyMasking(freq_mask_param=30), torchaudio.transforms.TimeMasking(time_mask_param=50) ])

6.2 模型架构调整

对于梅尔频谱输入，建议修改第一层卷积：

# 原始RGB图像适配 model.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3) # 梅尔频谱适配 model.conv1 = nn.Conv2d(1, 64, kernel_size=(7,3), stride=(2,1), padding=(3,1))

6.3 混合特征实验

结合多种特征的混合方法：

def extract_features(y, sr): mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13) mel = librosa.feature.melspectrogram(y=y, sr=sr) chroma = librosa.feature.chroma_stft(y=y, sr=sr) return np.vstack([mfcc, mel[:13], chroma]) # 组合特征

在实际项目中，梅尔频谱配合适当的数据增强和模型调整，往往能达到最佳平衡点。对于追求极致性能的场景，可以尝试将梅尔频谱与原始波形特征结合，或使用更先进的时频表示方法如常数Q变换（CQT）。