新手必看：手把手教你部署支持中英日韩粤的AI语音识别工具

新手必看：手把手教你部署支持中英日韩粤的AI语音识别工具

你是否遇到过这样的困扰：一段包含多种语言的会议录音，需要反复听才能整理出内容？或者想分析一段客服对话中的客户情绪，却只能靠人工判断？现在，这些问题都有了更智能的解决方案。

本文将带你从零开始，完整部署一个支持中文、英文、日语、韩语、粤语的多语言语音识别工具——SenseVoiceSmall 多语言语音理解模型（富文本/情感识别版）。它不仅能精准转写语音内容，还能识别说话人的情绪（如开心、愤怒、悲伤）以及背景中的声音事件（如掌声、笑声、BGM），真正实现“听得懂话，也读得懂情绪”。

无论你是AI初学者，还是希望快速搭建语音处理系统的开发者，这篇文章都能让你在30分钟内跑通整个流程，并立即投入使用。

1. 为什么选择 SenseVoiceSmall？

在众多语音识别模型中，SenseVoiceSmall 凭借其强大的功能和易用性脱颖而出。它由阿里巴巴达摩院开源，专为复杂真实场景设计，具备以下核心优势：

• 多语言无缝识别：无需切换模型，即可自动识别中、英、日、韩、粤五种语言。
• 情感与事件感知：不只是“听清”，更能“听懂”。可检测7类情绪和8类常见声音事件。
• 低延迟高效率：采用非自回归架构，在RTX 4090D上实现秒级转写，比传统模型快5-15倍。
• 开箱即用的Web界面：集成Gradio可视化界面，无需编程也能轻松操作。

这些特性让它非常适合用于：

• 跨国会议纪要自动生成
• 客服通话质量与情绪分析
• 视频字幕自动标注
• 教学录音内容提取

接下来，我们就一步步把它部署起来。

2. 镜像环境准备与启动

2.1 获取并运行镜像

本教程基于预置镜像环境，已集成所有依赖库和WebUI，省去繁琐安装步骤。

如果你使用的是云平台提供的AI镜像服务，请按以下步骤操作：

1. 在镜像市场搜索SenseVoiceSmall 多语言语音理解模型
2. 选择带有“富文本/情感识别版”标签的版本
3. 创建实例并启动

提示：该镜像默认使用 Python 3.11 + PyTorch 2.5 环境，已预装funasr、modelscope、gradio和av库，同时配置了ffmpeg支持音频解码。

2.2 检查服务是否自动运行

大多数情况下，镜像启动后会自动运行Web服务。你可以通过以下方式确认：

• 查看控制台输出是否有类似Running on local URL: http://0.0.0.0:6006的提示
• 或直接尝试访问本地端口（需先建立SSH隧道）

如果未自动运行，我们手动启动。

3. 手动部署 Web 交互界面

虽然镜像已内置脚本，但了解其工作原理有助于后续定制化开发。下面我们手动创建并运行一个完整的Gradio应用。

3.1 创建主程序文件

在项目根目录下新建app_sensevoice.py文件：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 初始化模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用GPU加速 )

这里的关键参数说明：

• trust_remote_code=True：允许加载远程自定义代码
• vad_model="fsmn-vad"：启用语音活动检测，自动切分静音段
• device="cuda:0"：指定使用第一块GPU进行推理

3.2 定义语音处理函数

添加处理逻辑，接收音频文件并返回识别结果：

def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, # 启用数字格式化（如“123”转为“一百二十三”） batch_size_s=60, # 批处理时长，提升吞吐量 merge_vad=True, # 合并VAD切片 merge_length_s=15, # 最大合并长度 ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败"

这个函数实现了完整的语音理解流程：

1. 接收用户上传的音频
2. 调用模型生成原始输出
3. 使用内置工具清洗富文本标签

3.3 构建网页交互界面

使用Gradio快速搭建可视化界面：

with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙 SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)

保存文件后，在终端执行：

python app_sensevoice.py

你会看到类似以下输出：

Running on local URL: http://0.0.0.0:6006 This share link expires in 72 hours.

这表示服务已成功启动。

4. 本地访问 WebUI 界面

由于云服务器通常不开放公网IP，我们需要通过SSH隧道将远程端口映射到本地。

4.1 建立 SSH 隧道

在你的本地电脑终端执行以下命令（替换实际信息）：

ssh -L 6006:127.0.0.1:6006 -p [SSH端口号] root@[服务器IP地址]

例如：

ssh -L 6006:127.0.0.1:6006 -p 22 root@123.45.67.89

输入密码后连接成功，此时远程的6006端口已被映射到本地。

4.2 打开浏览器访问

保持SSH连接不断开，在本地浏览器中访问：

http://127.0.0.1:6006

你应该能看到一个简洁美观的Web界面，包含音频上传区、语言选择下拉框和结果展示框。

5. 实际使用演示与效果解析

让我们用一段真实的多语言混合音频来测试效果。

5.1 测试音频准备

准备一段包含以下元素的音频：

• 中文发言：“今天的会议很重要”
• 英文提问：“Can you repeat that?”
• 背景掌声
• 说话人语气激动（愤怒）

上传该音频，并在语言选项中选择auto。

5.2 查看识别结果

系统返回如下内容：

今天的会议很重要 <|ANGRY|> 。Can you repeat that? <|APPLAUSE|>

可以看到：

• 中英文被准确识别并保留原样
• <|ANGRY|>标签表明说话人处于愤怒状态
• <|APPLAUSE|>表示背景有掌声

经过rich_transcription_postprocess处理后，还可转换为更友好的格式：

今天的会议很重要 【情绪：愤怒】。Can you repeat that? 【事件：掌声】

这种富文本输出极大提升了信息密度，特别适合做后期分析。

5.3 不同语言识别表现对比

数据表明，该模型在各语种上均有出色表现，尤其在中文和粤语场景下优于同类开源模型。

6. 常见问题与优化建议

6.1 音频格式兼容性

• 推荐格式：WAV、MP3（16kHz采样率最佳）
• 自动重采样：模型可通过av或ffmpeg自动处理不同采样率
• 避免高压缩格式：如AMR、OPUS可能影响识别精度

6.2 提升识别质量的小技巧

1. 明确指定语言：当知道音频主要语言时，不要用auto，直接选择对应语种可提高准确率
2. 控制音频长度：单次上传建议不超过10分钟，长音频可分段处理
3. 减少背景噪音：尽量使用清晰录音，嘈杂环境会影响情感判断

6.3 GPU资源不足怎么办？

若显存较小（如低于8GB），可在初始化模型时调整设备设置：

# 改为CPU模式（速度较慢但节省显存） model = AutoModel( model=model_id, trust_remote_code=True, device="cpu", )

或启用量化版本以降低内存占用：

# 使用ONNX量化模型（需额外导出） from funasr_onnx import SenseVoiceSmall model = SenseVoiceSmall("model_dir/", quantize=True)

6.4 如何批量处理大量音频？

编写简单脚本即可实现自动化处理：

import os audio_files = ["record1.wav", "record2.mp3", "meeting.ogg"] for file in audio_files: result = model.generate(input=file, language="auto") text = rich_transcription_postprocess(result[0]["text"]) with open(f"{file}.txt", "w", encoding="utf-8") as f: f.write(text)

7. 总结与进阶方向

通过本文的详细指导，你应该已经成功部署并运行了 SenseVoiceSmall 多语言语音理解系统。回顾一下我们完成的关键步骤：

1. 获取并启动预置镜像
2. 理解并运行Gradio WebUI脚本
3. 建立SSH隧道实现本地访问
4. 实际测试多语言与情感识别能力
5. 掌握常见问题应对策略

这套工具不仅适合个人学习研究，也可快速集成到企业级应用中，比如：

• 智能客服质检系统
• 多语种访谈内容分析平台
• 视频内容自动化打标工具

未来你可以进一步探索：

• 将识别结果接入数据库做长期分析
• 结合NLP模型做意图识别与摘要生成
• 开发API接口供其他系统调用

最重要的是，你现在拥有了一个真正“听得懂人话”的AI助手。

8. 下一步行动建议

• 立即尝试：找一段自己的语音记录上传测试
• 分享体验：把识别结果截图发给同事，看看他们会不会惊讶
• 深入定制：根据业务需求修改界面或增加功能模块

技术的价值在于落地，而最好的开始就是动手去做。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。