SenseVoiceSmall智能会议记录实战：声音事件检测部署教程

SenseVoiceSmall智能会议记录实战：声音事件检测部署教程

1. 引言

随着远程办公和线上协作的普及，会议录音的自动转写与分析需求日益增长。传统的语音识别技术仅能完成“语音到文字”的基础转换，难以满足对会议情绪、氛围和关键事件（如掌声、笑声）的深度理解。为此，阿里巴巴达摩院推出的SenseVoiceSmall多语言语音理解模型应运而生。

该模型不仅支持中、英、日、韩、粤语等多语种高精度识别，更具备情感识别（如开心、愤怒、悲伤）和声音事件检测（如BGM、掌声、笑声、哭声）能力，真正实现“富文本转录”（Rich Transcription）。结合Gradio构建的WebUI界面，用户无需编写代码即可完成音频上传、推理与结果查看，极大降低了使用门槛。

本文将详细介绍如何基于开源模型部署一个支持情感与声音事件识别的智能会议记录系统，涵盖环境配置、服务启动、本地访问及实际应用建议，帮助开发者快速落地这一前沿语音理解技术。

2. 技术架构与核心组件

2.1 模型选型：为什么选择 SenseVoiceSmall？

在众多语音识别模型中，SenseVoiceSmall 凭借其非自回归架构和富文本建模能力脱颖而出：

• 低延迟推理：采用非自回归生成方式，显著提升推理速度，在NVIDIA 4090D上可实现秒级长音频转写。
• 端到端富文本输出：无需额外标点恢复或情感分类模块，模型原生支持情感标签（<|HAPPY|>）和声音事件标记（<|APPLAUSE|>）。
• 多语言通用性：单一模型覆盖中文、英文、粤语、日语、韩语，适用于跨国团队会议场景。
• 轻量化设计：Small版本适合边缘设备或资源受限环境部署。

2.2 系统依赖与运行环境

为确保模型稳定运行，需准备以下依赖环境：

提示：若使用预置镜像，上述依赖已预先安装完毕，可直接进入服务启动阶段。

3. 部署实践：从零搭建 Web 交互系统

3.1 创建应用脚本 app_sensevoice.py

首先创建主程序文件app_sensevoice.py，用于初始化模型并构建Gradio界面。以下是完整可运行代码：

import gradio as gr from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess import os # 1. 初始化 SenseVoiceSmall 模型 model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", # 使用GPU加速 )

代码解析：

• trust_remote_code=True：允许加载远程自定义模型逻辑。
• vad_model="fsmn-vad"：启用语音活动检测（Voice Activity Detection），自动切分静音段。
• max_single_segment_time=30000：设置单段最大时长为30秒，避免过长片段影响识别质量。
• device="cuda:0"：指定使用第一块GPU进行推理，提升性能。

3.2 定义音频处理函数

接下来定义核心处理函数sensevoice_process，接收音频路径和语言参数，返回带情感与事件标注的文本：

def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败"

参数说明：

• language：支持"auto"（自动识别）、"zh"（中文）、"en"（英文）等选项。
• use_itn=True：启用ITN（Inverse Text Normalization），将数字、日期等标准化。
• batch_size_s=60：每批处理60秒音频，平衡内存占用与效率。
• merge_vad=True：合并相邻语音片段，提升上下文连贯性。

3.3 构建 Gradio 可视化界面

使用 Gradio 快速搭建交互式网页界面，包含音频输入、语言选择和结果展示区域：

with gr.Blocks(title="SenseVoice 多语言语音识别") as demo: gr.Markdown("# 🎙️ SenseVoice 智能语音识别控制台") gr.Markdown(""" **功能特色：** - 🚀 **多语言支持**：中、英、日、韩、粤语自动识别。 - 🎭 **情感识别**：自动检测音频中的开心、愤怒、悲伤等情绪。 - 🎸 **声音事件**：自动标注 BGM、掌声、笑声、哭声等。 """) with gr.Row(): with gr.Column(): audio_input = gr.Audio(type="filepath", label="上传音频或直接录音") lang_dropdown = gr.Dropdown( choices=["auto", "zh", "en", "yue", "ja", "ko"], value="auto", label="语言选择 (auto 为自动识别)" ) submit_btn = gr.Button("开始 AI 识别", variant="primary") with gr.Column(): text_output = gr.Textbox(label="识别结果 (含情感与事件标签)", lines=15) submit_btn.click( fn=sensevoice_process, inputs=[audio_input, lang_dropdown], outputs=text_output ) demo.launch(server_name="0.0.0.0", server_port=6006)

界面亮点：

• 支持拖拽上传.wav,.mp3等常见音频格式。
• 下拉菜单灵活切换目标语言。
• 实时显示带有<|HAPPY|>、<|APPLAUSE|>等标签的富文本结果。
• 自动调用rich_transcription_postprocess清洗原始输出，提升可读性。

3.4 启动服务

保存文件后，在终端执行以下命令启动服务：

python app_sensevoice.py

成功运行后，终端会输出类似信息：

Running on local URL: http://0.0.0.0:6006 This share link expires in 7 days.

4. 本地访问与安全连接

由于服务器通常位于远程云环境且受安全组限制，无法直接通过公网IP访问Web服务。此时需通过SSH隧道实现本地安全访问。

4.1 建立 SSH 隧道

在本地电脑打开终端，执行如下命令（请替换[端口号]和[SSH地址]为实际值）：

ssh -L 6006:127.0.0.1:6006 -p [端口号] root@[SSH地址]

该命令将远程服务器的6006端口映射到本地127.0.0.1:6006。

4.2 浏览器访问

隧道建立成功后，在本地浏览器中访问：

👉 http://127.0.0.1:6006

即可看到 Gradio 界面，上传会议录音并点击“开始 AI 识别”，几秒内即可获得带情感与事件标注的转录文本。

示例输出：

大家好 <|HAPPY|>，今天我们要讨论新产品的上线计划 <|BGM: music|>。 这个方案我觉得不太合适 <|ANGRY|>，上次已经提过类似问题了。 （突然传来一阵掌声 <|APPLAUSE|>） 谢谢，我很高兴听到大家的支持 <|SAD|>。

5. 应用优化与工程建议

5.1 音频预处理建议

尽管模型支持自动重采样，但为保证最佳识别效果，推荐输入音频满足以下条件：

• 采样率：16kHz
• 位深：16-bit
• 声道数：单声道（Mono）
• 格式：WAV 或 MP3

可通过ffmpeg提前转换：

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

5.2 批量处理与API化扩展

当前WebUI适用于交互式使用，若需集成至企业系统，建议将其改造为REST API服务：

from flask import Flask, request, jsonify app = Flask(__name__) @app.route("/transcribe", methods=["POST"]) def api_transcribe(): audio_file = request.files["file"] language = request.form.get("language", "auto") temp_path = "/tmp/temp_audio.wav" audio_file.save(temp_path) result = sensevoice_process(temp_path, language) return jsonify({"text": result})

配合Nginx + Gunicorn可实现高并发部署。

5.3 结果后处理与结构化提取

原始输出中的标签可通过正则表达式进一步解析，生成结构化数据：

import re def extract_events_and_emotions(text): events = re.findall(r"<\|(BGM|APPLAUSE|LAUGHTER|CRY)\|>", text) emotions = re.findall(r"<\|(HAPPY|ANGRY|SAD)\|>", text) return {"events": events, "emotions": emotions}

可用于生成会议情绪曲线、关键事件时间轴等高级分析功能。

6. 总结

本文详细介绍了如何基于阿里开源的SenseVoiceSmall模型，部署一套支持多语言、情感识别与声音事件检测的智能会议记录系统。通过Gradio构建的WebUI，实现了零代码交互式体验；借助SSH隧道，解决了远程访问的安全问题；并通过代码解析与优化建议，提供了可落地的工程实践路径。

该方案特别适用于以下场景：

• 跨国团队会议纪要自动生成
• 客服通话情绪分析
• 在线教育课堂互动行为识别
• 视频内容元数据标注

未来可进一步结合大语言模型（LLM）对转录文本进行摘要、要点提取与行动项识别，打造端到端的智能会议助手。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。