ERNIE 4.5-A3B开源：210亿参数文本生成新突破！
【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle
百度ERNIE系列再添新成员，ERNIE-4.5-21B-A3B-Base-Paddle模型正式开源，以210亿总参数、30亿激活参数的MoE架构，为文本生成领域带来高效能新选择。
近年来，大语言模型正朝着"更大参数、更高效率"的方向快速演进。混合专家模型（Mixture of Experts, MoE）凭借其"总量大、激活小"的特性，成为平衡性能与计算成本的优选方案。据行业研究显示，2024年MoE架构模型在高性能LLM市场的占比已提升至35%，相比传统密集型模型平均降低40%的推理成本。在此背景下，百度推出ERNIE-4.5系列的轻量化文本专用版本，进一步丰富了大模型应用生态。
该模型的核心优势集中体现在三个维度：首先是高效能MoE架构，采用64个文本专家+2个共享专家的设计，每个token仅激活6个专家，在210亿总参数规模下实现30亿激活参数的轻量化推理，显著降低硬件门槛；其次是超长文本处理能力，支持131072 tokens（约26万字）的上下文窗口，可满足长文档理解、代码生成等复杂场景需求；最后是全栈式技术优化，基于PaddlePaddle框架实现异构混合并行训练，结合FP8混合精度、卷积码量化等技术，实现4-bit/2-bit无损量化推理，部署效率较同类模型提升30%。
从技术架构看，ERNIE-4.5-A3B采用三阶段训练策略：前两阶段专注文本参数训练，奠定语言理解基础；第三阶段引入视觉模态协同优化，最终提取文本专用参数形成当前开源版本。这种设计既保留了多模态训练带来的性能增益，又确保文本任务的纯粹性。模型同时提供完整工具链支持，通过ERNIEKit可实现LoRA微调、DPO对齐等功能，FastDeploy部署工具则支持80G单卡环境下的高效服务，降低企业级应用门槛。
此次开源将加速大模型在垂直领域的落地进程。对开发者而言，210亿参数级别的MoE模型开源填补了中等规模高性能模型的空白，尤其适合金融、法律等需要长文本处理的专业场景；对行业生态而言，基于PaddlePaddle的全栈技术方案为国产大模型软硬件协同提供参考范例；对终端用户而言，更高效的推理性能意味着更低的应用成本和更流畅的交互体验。随着技术文档、社区支持的完善，ERNIE-4.5-A3B有望成为继ERNIE 3.0后又一标杆性开源模型。
在大模型技术日趋成熟的今天，ERNIE-4.5-A3B的开源不仅展现了百度在MoE架构上的技术积累，更推动了大模型从"追求参数规模"向"注重实用效率"的产业转型。未来，随着量化技术的进一步突破和硬件适配的完善，这类高效能模型或将成为企业级应用的主流选择，加速AI技术在千行百业的深度渗透。
【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
