EmotiVoice易魔声：开源情感语音合成引擎

EmotiVoice易魔声：开源情感语音合成引擎

在虚拟主播情绪饱满地讲述故事、游戏NPC因剧情转折而愤怒咆哮的今天，传统的“机械朗读式”语音合成早已无法满足用户对沉浸感的期待。人们不再只想听一段话——他们想听见情绪，听见性格，甚至听见“灵魂”。正是在这样的背景下，网易有道推出的EmotiVoice（易魔声）横空出世，成为当前少有的能将情感表达、声音克隆与多语言支持融于一体的高表现力开源TTS系统。

它不只是把文字念出来，而是让机器学会“带着感情说话”。

从一句话到一场表演：EmotiVoice的核心能力

想象这样一个场景：你输入一句“我简直不敢相信！”如果只是普通TTS，可能只会平铺直叙地读出来；但在 EmotiVoice 中，你可以明确告诉它：“用惊讶且略带颤抖的语气说。” 系统不仅能理解这种描述，还能结合音色特征生成极具感染力的语音输出。

这背后依赖的是其三大核心技术支柱：

• 零样本声音克隆：仅需3–5秒参考音频，即可复现目标人声，无需训练。
• 多维度情感控制：支持显式标签（如happy）、自然语言提示（如“失望地说”）以及强度调节。
• 双语混合合成：中文普通话与美式英语无缝切换，自动识别并适配发音规则。

这些能力使得 EmotiVoice 不仅适用于个性化语音助手和有声书制作，更能在虚拟偶像直播、AI角色对话、教育动画配音等高阶场景中大放异彩。

快速上手：Docker一键部署 vs 源码深度定制

对于开发者而言，最关心的问题往往是：“我能不能快速跑起来？”答案是肯定的。

Docker 部署：三分钟体验全流程

如果你有一块NVIDIA GPU，并已安装nvidia-container-toolkit，只需一条命令即可启动完整服务：

docker run -dp 127.0.0.1:8501:8501 syq163/emoti-voice:latest

访问http://localhost:8501就能看到一个功能齐全的 Web UI 界面，支持实时文本输入、音色选择、情感设置和语音下载。整个过程无需配置环境，非常适合快速验证或集成测试。

若需要启用 API 接口供其他服务调用，只需额外映射端口并指定启动服务：

docker run -dp 127.0.0.1:8501:8501 -p 8000:8000 syq163/emoti-voice:latest \ uvicorn openaiapi:app --host 0.0.0.0 --port 8000

这样就能通过/v1/audio/speech接收标准 POST 请求，返回.wav或.mp3格式的语音流，完美兼容现有语音管道。

源码安装：为定制化开发打开大门

如果你希望进行模型微调、添加新语言支持或深入调试内部逻辑，推荐使用源码方式部署。

环境准备建议

conda create -n emotivoice python=3.8 -y conda activate emotivoice # 安装 PyTorch（以 CUDA 11.3 为例） pip install torch==1.12.1+cu113 torchaudio==0.12.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html # 基础依赖 pip install numpy numba scipy transformers soundfile yacs g2p_en jieba pypinyin pypinyin_dict python -m nltk.downloader "averaged_perceptron_tagger_eng"

获取模型资源

EmotiVoice 的推理依赖多个子模块，包括 SimBERT 语义编码器、声学模型和声码器。推荐通过 ModelScope 下载全套预训练权重：

git clone https://www.modelscope.cn/syq163/WangZeJun.git git clone https://www.modelscope.cn/syq163/outputs.git

主模型路径默认为outputs/prompt_tts_open_source_joint，其中包含检查点文件如g_00140000。

启动不同模式的服务

• Web 界面：
  bash pip install streamlit streamlit run demo_page.py

• API 服务（兼容 OpenAI 接口）：
  bash pip install fastapi pydub uvicorn[standard] uvicorn openaiapi:app --host 0.0.0.0 --port 8000 --reload

一旦服务就绪，就可以开始批量处理任务或接入前端应用。

如何让机器“有情绪”地说话？

EmotiVoice 的输入采用结构化格式，字段间用管道符|分隔：

<speaker_id>|<emotion_prompt>|<phoneme_seq>|<original_text>

例如：

8051|非常开心|<sos/eos> n i3 sp0 h ao3 sp1 k ai1 sp0 x in1 sp0 l ai2 sp0 d ao4 sp1 q ing1 sp0 h ua2 <sos/eos>|你好开心啊，今天来聊聊EmotiVoice！

这里的8051是内置女性音色ID，非常开心作为情感提示词引导语调变化，音素序列由前端工具自动生成，原始文本用于回显展示。

⚠️ 注意：如果你只有纯文本，需先运行frontend.py进行音素转换：
bash python frontend.py data/my_text.txt > data/my_text_for_tts.txt

真正让人眼前一亮的是它的提示词驱动情感机制。除了预设标签（如happy,angry），你还可以写“激动地喊道”“疲惫地低语”，系统会基于 SimBERT 编码器理解语义倾向，并动态调整韵律曲线。这种设计让情感控制更加自然灵活，避免了传统分类模型的僵硬感。

零样本克隆：用自己的声音“发声”

无需训练、无需大量数据——这是 EmotiVoice 最具颠覆性的特性之一。

假设你想让系统用你的声音朗读一段话，操作流程极为简洁：

1. 准备一段清晰录音reference.wav（16kHz, 单声道，3–5秒即可）
2. 提取音色嵌入向量：
   bash python extract_speaker_embedding.py --audio_path reference.wav --output embedding.npy
3. 在推理时传入该向量：
   ```python
   import numpy as np
   from inference_am_vocoder_joint import infer_with_custom_speaker

embedding = np.load(“embedding.npy”)
infer_with_custom_speaker(
text=”这是我自己的声音。”,
speaker_embedding=embedding,
output_path=”output_custom_voice.wav”,
emotion=”neutral”
)
```

生成的语音不仅保留了你的音色特质，还可叠加不同情感状态，实现“本人+愤怒”“本人+温柔”等多种组合效果。

这一能力特别适合打造专属品牌语音、个性化教育内容或保护隐私前提下的语音代理服务。

兼容 OpenAI API：平滑迁移商业项目

很多团队已经在使用 OpenAI 的 TTS 服务，但面临成本高、可控性差的问题。EmotiVoice 提供了一个理想的替代方案——完全兼容其接口协议。

import requests url = "http://localhost:8000/v1/audio/speech" headers = {"Content-Type": "application/json"} data = { "model": "emoti-voice", "input": "这是一段测试文本，我想用欢快的语气说出来。", "voice": "8051", "emotion": "happy", "speed": 1.1 } response = requests.post(url, json=data, headers=headers) with open("output.mp3", "wb") as f: f.write(response.content)

只需更改 URL 和参数，原有代码几乎无需修改即可切换至本地部署的 EmotiVoice 实例。这对于追求数据安全、降低调用成本或需要高度定制化的项目来说，意义重大。

目前支持的情感类型包括：happy,sad,angry,surprised,calm,fearful,disgusted,neutral等，未来还将扩展至更细粒度的情绪空间插值。

功能全景：不只是“能说话”，更要“说得像人”

值得一提的是，EmotiVoice 的情感控制系统并非简单的“贴标签”模式，而是融合了显式控制 + 隐式引导 + 强度调节的多层次架构：

• 显式标签确保基础情绪准确；
• 自然语言提示赋予表达灵活性；
• 数值参数（如 emotion_strength=1.5）可精细调控情感浓淡；
• 结合上下文语义分析，避免“高兴地说‘我失业了’”这类不合逻辑的输出。

这套机制已在有声书、游戏对话、虚拟主播等多个真实场景中验证有效。

正在发生的进化：下一阶段的技术路线图

EmotiVoice 团队并未止步于当前成果，一系列关键升级正在推进中：

• 多语言扩展：加快日语、韩语、西班牙语模型研发，提升国际化能力；
• 情感连续空间建模：引入向量插值技术，实现“从平静到愤怒”的渐进式情绪过渡；
• 音质优化：改进声码器结构（如尝试 HiFi-GAN++），进一步逼近真人录音水平；
• LLM 融合：探索与大语言模型协同工作，由 LLM 输出情感建议，TTS 执行精准演绎；
• 轻量化移动端版本：开发适用于 Android/iOS 的离线推理包，支持边缘设备运行；
• 模型管理工具链：支持音色打包、分享、权限控制与版本管理，便于企业级协作。

社区也持续开放贡献渠道，欢迎提交 PR 或 issue 参与共建。

开源即自由：Apache-2.0 许可下的无限可能

EmotiVoice 采用Apache License 2.0协议发布，这意味着你可以：

• 免费用于个人或商业项目；
• 修改源码并重新分发；
• 部署为云服务对外提供接口；
• 构建闭源产品而不受限制；

唯一要求是保留原始版权声明。

所有资源均已公开：

🔗 GitHub 主页：https://github.com/netease-youdao/EmotiVoice
📚 ModelScope 模型库：https://www.modelscope.cn/models/syq163

此外，官方还推出了 Mac 平台的一键安装包，大幅降低非技术用户的使用门槛。同时提供云端 HTTP API 服务，每月免费调用额度超过 13,000 次，适合中小规模应用场景。

结语：当语音有了情绪，交互才真正开始

EmotiVoice 的出现，标志着开源语音合成进入了“高表现力时代”。它不再局限于“可懂度”和“流畅性”，而是主动追求“感染力”与“人格化”。

无论是内容创作者希望为有声书注入灵魂，还是游戏开发者想赋予 NPC 更真实的性格，亦或是 AI 产品团队需要打造个性化的语音助手 —— EmotiVoice 都提供了一个强大、开放且可控的解决方案。

在这个语音交互日益重要的时代，谁掌握了“有情感的声音”，谁就更接近真正的智能。而 EmotiVoice 正在让这份能力，触手可及。