小白也能用！SenseVoiceSmall多语言语音分析保姆级教程

小白也能用！SenseVoiceSmall多语言语音分析保姆级教程

你是不是也遇到过这样的问题：手头有一堆客户录音，想看看大家对服务的反馈，但逐条听太费时间？或者做内容创作时，想快速提取视频里的对话内容，又担心机器只懂“字面意思”而忽略语气和情绪？别急，今天要介绍的这个工具，能帮你一键搞定这些难题。

它就是阿里开源的SenseVoiceSmall 多语言语音理解模型。听起来很技术？没关系，哪怕你是零基础的小白，也能跟着这篇教程一步步上手。我们不讲复杂原理，只说你能听懂的话，带你从安装到使用，全程无痛操作。

1. 这个模型到底能做什么？

先来点直观的感受。想象一下，你上传一段客服通话录音，普通的语音识别只能告诉你“说了什么”，比如：

“你好，请问有什么可以帮您？”

但 SenseVoiceSmall 不一样，它还能告诉你“是怎么说的”：

[中性] 你好，请问有什么可以帮您？
[开心] 哦太好了，问题解决了！
[愤怒] 我已经等了半小时了！

更厉害的是，它还能识别背景里的掌声、笑声、背景音乐甚至哭声。一句话总结：它不仅能听清人话，还能读懂情绪和环境。

它的核心能力有三大块：

• 多语言识别：支持中文普通话、英语、粤语、日语、韩语，适合跨国业务或方言场景。
• 情感识别：自动标注说话人的情绪状态，如开心、愤怒、悲伤、中性等。
• 声音事件检测：识别 BGM（背景音乐）、掌声、笑声、哭声等非语音信号。

而且整个过程在 GPU 上几乎秒出结果，4090D 上处理 5 分钟音频只要 6 秒左右，效率极高。

最重要的是——它自带网页界面，不用写代码也能用！接下来我们就一步步教你如何部署和使用。

2. 快速部署：三步启动 Web 界面

如果你拿到的是预装好的镜像环境（比如 CSDN 星图提供的镜像），那恭喜你，大部分准备工作已经完成。我们只需要做三件事：检查依赖、运行脚本、本地访问。

2.1 检查环境是否齐全

虽然镜像已经集成所需组件，但我们还是快速确认一下关键依赖有没有到位：

通常这些都已经预装好了。如果提示缺少某个库，直接用 pip 安装即可：

pip install av gradio

av是用来解码音频文件的，gradio是网页交互的核心库，这两个尤其不能少。

2.2 创建并运行 Web 服务脚本

现在我们要创建一个叫app_sensevoice.py的文件，它是连接模型和网页的关键桥梁。

你可以用任意文本编辑器打开，比如 vim：

vim app_sensevoice.py

然后把下面这段代码复制进去保存：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 有GPU就用cuda:0，没有就改成"cpu" ) def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败" # 构建网页界面 with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=6006)

保存后退出编辑器。

2.3 启动服务

在终端执行：

python app_sensevoice.py

你会看到类似这样的输出：

Running on local URL: http://0.0.0.0:6006 To create a public link, set `share=True`

说明服务已经成功启动！

3. 如何在本地电脑访问这个界面？

由于服务器一般不会直接开放公网端口，我们需要通过 SSH 隧道把远程服务“映射”到本地浏览器。

3.1 执行 SSH 端口转发

打开你本地电脑的终端（Mac/Linux 用户用 Terminal，Windows 用户可以用 PowerShell 或 CMD），输入以下命令：

ssh -L 6006:127.0.0.1:6006 -p [你的SSH端口号] root@[你的服务器IP]

举个例子：

ssh -L 6006:127.0.0.1:6006 -p 2222 root@123.45.67.89

输入密码登录后，隧道就建立了。

3.2 访问网页界面

保持终端连接不断开，在本地浏览器地址栏输入：

http://127.0.0.1:6006

回车！你会看到一个简洁明了的网页界面，左边是上传区，右边是结果展示区。

4. 实际使用演示：上传一段音频试试看

我们来走一遍完整流程，让你亲眼看看效果有多强。

4.1 准备一段测试音频

随便找一段包含对话的录音，格式不限（mp3、wav、m4a 都行），最好是带点情绪变化的，比如客服电话、访谈片段、直播回放等。

如果没有现成的，也可以录一小段自己说话的声音试试。

4.2 上传并识别

1. 点击左侧的“上传音频或直接录音”区域，选择你的音频文件。
2. 语言选择建议选auto，让系统自动判断语种。
3. 点击“开始 AI 识别”按钮。

等待几秒钟（视音频长度而定），右侧就会出现识别结果。

4.3 看看输出长什么样

假设你传了一段中文客服录音，结果可能是这样的：

[中文][中性] 您好，请问有什么可以帮您？ [中文][困惑] 我上个月的账单好像有问题... [中文][愤怒] 我已经打了三次电话了，怎么还没解决？ [背景音乐] （等待音乐播放中） [中文][中性] 好的，我这边为您查询一下。 [中文][开心] 啊原来是这样，谢谢您解释清楚了！

看到了吗？每句话都标出了语言、情绪，连背景音乐都被识别出来了。这比单纯的文字转录有用太多了。

5. 小技巧分享：怎么让识别更准更好用？

虽然模型本身很强大，但掌握一些小技巧能让体验更顺畅。

5.1 关于音频格式的小建议

• 推荐使用16kHz 采样率、单声道 WAV格式，识别最稳定。
• 如果是其他格式（如 mp3、aac），模型会自动调用av库重采样，但可能会增加一点点延迟。
• 太长的音频（超过10分钟）建议分段处理，避免内存压力。

5.2 情感标签怎么看才靠谱？

别被单个标签误导。比如一句话标了[愤怒]，不代表整通电话都不满意。要看整体趋势：

• 连续多个[愤怒]→ 真的生气了，需要关注
• 开头[困惑]+ 中间[中性]+ 结尾[开心]→ 问题被顺利解决，体验不错
• 反复出现<|CONFUSED|>→ 可能是话术不够清晰，值得优化

5.3 如何批量处理大量音频？

目前 WebUI 是单文件上传，适合少量试用。如果要处理上百个录音，可以写个简单脚本：

import os from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess model = AutoModel(model="iic/SenseVoiceSmall", device="cuda:0") audio_dir = "./audios/" for file in os.listdir(audio_dir): if file.endswith((".wav", ".mp3")): res = model.generate(input=os.path.join(audio_dir, file)) text = rich_transcription_postprocess(res[0]["text"]) with open(f"./output/{file}.txt", "w", encoding="utf-8") as f: f.write(text)

这样就能全自动跑完所有文件，结果存成文本，方便后续分析。

6. 常见问题解答：新手最容易卡住的地方

6.1 启动时报错“ModuleNotFoundError: No module named 'av'”

这是最常见的问题之一。解决方法很简单：

pip install av

注意不是pyav或av-python，就是av。

6.2 识别结果全是乱码或空的

检查两点：

1. 音频路径是否正确？确保文件确实存在且可读。
2. 是否用了 CPU 模式？如果是，尝试降低batch_size_s参数，比如改成30或15，减少内存压力。

6.3 情感标签没显示出来

确认你调用了rich_transcription_postprocess()函数。原始输出是带<|HAPPY|>这种标记的，必须经过后处理才会变成[开心]这样的可读形式。

6.4 能不能离线使用？

完全可以！首次运行时会自动下载模型权重到缓存目录（通常是~/.cache/modelscope/hub/），之后断网也能正常使用。

7. 总结：为什么你应该试试这个工具？

回顾一下，我们做了什么？

• 用不到十分钟的时间，搭建了一个功能完整的语音分析系统；
• 即使完全不懂代码，也能通过网页界面轻松操作；
• 得到的不只是文字，还有情绪、背景音、语言类型等丰富信息；
• 整个过程免费、开源、可本地部署，数据安全有保障。

无论是做客服质检、用户调研、内容创作，还是单纯想玩一玩 AI 语音技术，SenseVoiceSmall 都是一个极佳的选择。

🔑它的最大价值不是“替代人工”，而是“放大人的判断力”。以前你要听 100 通电话才能发现一个问题，现在 AI 帮你把所有“愤怒片段”集中列出来，效率提升十倍不止。

所以别犹豫了，赶紧动手试试吧。你会发现，原来高大上的“情感识别”技术，离我们普通人这么近。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。