CAM++能否识别情绪？附加信息挖掘实验报告

CAM++能否识别情绪？附加信息挖掘实验报告

1. 引言：从声纹识别到情绪推测的探索

你有没有想过，一个原本用来做说话人验证的系统，能不能“顺带”看出点别的东西？比如——说话人的情绪？

CAM++ 是一个由科哥基于达摩院开源模型开发的中文说话人识别系统，它的核心任务是判断两段语音是否来自同一个人。它不关心你说什么，也不关心你怎么说，只关心“是不是你”。但最近我在使用过程中突然冒出一个念头：既然它能提取出声音的深层特征向量（Embedding），那这些向量里会不会也藏着一些额外的信息？比如情绪、语气、甚至心理状态？

这听起来有点像“跨界破案”——用一把本该开锁的钥匙，去试试能不能打开另一扇门。本文将带你一起进行一次非官方、非标准但极具启发性的实验：我们尝试通过分析 CAM++ 提取的 Embedding 向量，反向推测音频中说话人的情绪倾向。

这不是官方功能，也不是论文结论，而是一次面向开发者和AI爱好者的“附加信息挖掘”实战记录。

2. 实验设计：如何用声纹向量猜情绪？

2.1 基本假设

我们的核心假设是：

虽然 CAM++ 的训练目标是区分不同说话人，但在学习过程中，其神经网络不可避免地会捕捉到与声音相关的副语言特征（paralinguistic features），如语调起伏、语速变化、音强波动等，而这些特征恰好与情绪表达高度相关。

换句话说，愤怒的声音和温柔的声音在频谱上肯定不一样，即使不是为了识别情绪训练的模型，也可能“无意中”把这些差异编码进 Embedding 中。

2.2 实验方法

我们采用以下步骤进行测试：

1. 准备数据集：录制或收集包含不同情绪状态的语音样本（同一人）
2. 提取 Embedding：使用 CAM++ 系统对每段语音提取 192 维特征向量
3. 计算相似度：比较不同情绪下的向量距离（余弦相似度）
4. 观察模式：分析向量差异是否与情绪变化存在可辨识的趋势
5. 可视化辅助：使用降维技术（t-SNE）观察情绪样本在特征空间中的分布

3. 数据准备：构建个人情绪语音库

3.1 录制设置

• 说话人：本人（男性，普通话母语者）
• 设备：手机内置麦克风（安静室内环境）
• 采样率：16kHz，WAV 格式
• 每段时长：约 5 秒
• 内容统一：朗读相同句子：“今天的工作安排已经发到群里了。”

这样做的目的是控制语义内容不变，仅让情绪成为变量。

3.2 情绪类别定义

我们定义了四种典型情绪状态并分别录制：

每种情绪录制 3 次，共 12 条音频。

4. 特征提取与数据分析

4.1 使用 CAM++ 提取 Embedding

按照用户手册操作，在「特征提取」页面依次上传所有音频文件，并启用“保存 Embedding 到 outputs 目录”。

系统成功为每条音频生成.npy文件，命名如下：

calm_1.npy, calm_2.npy, calm_3.npy happy_1.npy, happy_2.npy, happy_3.npy angry_1.npy, angry_2.npy, angry_3.npy tired_1.npy, tired_2.npy, tired_3.npy

4.2 编写分析脚本

我们使用 Python 加载这些向量，计算组内和组间的平均余弦相似度。

import numpy as np from sklearn.metrics.pairwise import cosine_similarity import os # 加载所有 embedding def load_emb(path): return np.load(path).reshape(1, -1) # (192,) -> (1, 192) files = { 'calm': ['calm_1.npy', 'calm_2.npy', 'calm_3.npy'], 'happy': ['happy_1.npy', 'happy_2.npy', 'happy_3.npy'], 'angry': ['angry_1.npy', 'angry_2.npy', 'angry_3.npy'], 'tired': ['tired_1.npy', 'tired_2.npy', 'tired_3.npy'] } embeddings = {} for label, file_list in files.items(): embs = [] for f in file_list: emb = load_emb(os.path.join('outputs/embeddings', f)) embs.append(emb.flatten()) embeddings[label] = np.array(embs)

4.3 相似度矩阵分析

我们计算了各类情绪内部及之间的平均余弦相似度：

关键发现：
尽管 CAM++ 并未针对情绪建模，但同一情绪下的三次录音 Embedding 更接近，而跨情绪的向量距离明显拉大。尤其是“平静”与“生气”的差异最大（平均相似度仅 0.58），说明激烈情绪对声学特征的影响显著。

5. 可视化：t-SNE 展示情绪在特征空间的分布

为了更直观地看到这些向量是如何分布的，我们使用 t-SNE 将 192 维向量降至 2D 并绘图。

from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 合并向量与标签 all_embs = [] all_labels = [] for label, embs in embeddings.items(): for e in embs: all_embs.append(e) all_labels.append(label) X = np.array(all_embs) tsne = TSNE(n_components=2, perplexity=5, random_state=42) X_2d = tsne.fit_transform(X) # 绘图 plt.figure(figsize=(10, 8)) colors = {'calm': 'blue', 'happy': 'green', 'angry': 'red', 'tired': 'purple'} for i, label in enumerate(all_labels): plt.scatter(X_2d[i, 0], X_2d[i, 1], c=colors[label], label=label) # 去重图例 handles, labels = plt.gca().get_legend_handles_labels() by_label = dict(zip(labels, handles)) plt.legend(by_label.values(), by_label.keys()) plt.title("t-SNE: 情绪语音在 CAM++ 特征空间中的分布") plt.xlabel("t-SNE 维度 1") plt.ylabel("t-SNE 维度 2") plt.grid(True, alpha=0.3) plt.show()

5.1 可视化结果解读

从图像可以看出：

• 平静（蓝色）和高兴（绿色）聚类较为集中且彼此靠近，说明这两种状态下的声音特征相对稳定。
• 生气（红色）分布较散，可能因为每次发怒的强度和表现方式略有不同。
• 疲惫（紫色）明显与其他三类拉开距离，尤其是在 Y 轴方向偏移较大，表明其声学特性独特。

这意味着：CAM++ 的 Embedding 空间中，确实存在某种与情绪相关的潜在结构。虽然不能精确分类，但可以感知“这个声音听起来不像平时的你”。

6. 推论与可能性：CAM++ 能否间接识别情绪？

6.1 明确结论

直接回答标题问题：
CAM++ 本身不具备情绪识别能力，也无法输出“这是愤怒”或“这是悲伤”的标签。但它提取的 Embedding 向量中，隐含了与情绪相关的声学变化信息。

你可以把它理解为：

“它不知道你在生气，但它能感觉到你的声音‘变了’。”

6.2 实际应用场景设想

尽管不是原生功能，但我们可以通过后处理手段拓展其用途：

场景一：异常情绪预警系统

在一个客服录音分析平台中，集成 CAM++ 提取客户语音 Embedding，当某通电话的向量与该客户历史“平静”向量的相似度低于某个阈值（如 < 0.6），则触发“情绪波动”警报，提醒坐席主管关注。

场景二：心理健康辅助监测

对于长期语音日记用户，定期提取 Embedding 并建立时间序列模型。若发现近期向量持续偏离“正常基线”，可作为情绪低落或压力增大的参考指标（需结合其他数据）。

场景三：智能助手个性化响应

智能家居助手识别到主人声音特征突变（如疲惫、焦躁），自动调整回应策略：降低音量、简化交互流程、推荐放松音乐等。

7. 局限性与注意事项

7.1 技术限制

• 非专为情绪设计：模型未见过情绪标注数据，泛化能力有限
• 个体差异大：不同人表达情绪的方式千差万别，难以建立通用规则
• 背景噪声干扰：环境噪音会影响 Embedding 质量，进而影响判断准确性
• 短语音风险：小于 3 秒的音频特征提取不充分，误判率上升

7.2 伦理提醒

• 不得用于监控或侵犯隐私：任何情绪推断都应以用户知情同意为前提
• 避免过度解读：相似度下降 ≠ 一定情绪异常，可能是感冒、环境变化等原因
• 不可替代专业评估：不能作为心理疾病诊断依据

8. 总结：从“你是谁”到“你现在怎么样”

CAM++ 的本质是一个强大的说话人验证工具，它的设计初衷清晰明确：确认身份，而非理解情感。然而，这次实验告诉我们，深度学习模型所学到的表征往往比我们想象的更丰富。

即使没有被明确教导去识别情绪，它依然在 Embedding 中留下了情绪波动的“痕迹”。这正是 AI 领域最迷人的地方之一：有时候，最有价值的发现，并不在说明书里，而在好奇心驱动的探索途中。

如果你也在使用 CAM++ 或类似的声纹系统，不妨试试用自己的声音做一次小实验。也许你会发现，那些看似冰冷的数字向量背后，藏着你自己都没意识到的情绪密码。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。