ERNIE 4.5-21B重磅开源：210亿参数文本生成新选择

ERNIE 4.5-21B重磅开源：210亿参数文本生成新选择

【免费下载链接】ERNIE-4.5-21B-A3B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-PT

百度ERNIE系列再添新成员，ERNIE-4.5-21B-A3B-Base-PT模型正式开源，为开发者提供了一个具备210亿总参数、30亿激活参数的文本生成新选择。

行业现状：大模型开源生态加速发展

随着大语言模型技术的快速迭代，开源已成为推动行业创新的重要力量。近年来，从Llama系列到国内的通义千问、智谱AI等模型陆续开放，形成了"通用基础模型+垂直领域优化"的发展格局。根据行业观察，参数规模在10B-30B区间的模型正成为企业级应用的主流选择，既具备足够的性能表现，又能在普通硬件环境下实现高效部署。此次ERNIE 4.5-21B的开源，进一步丰富了这一区间的模型选择。

模型亮点：创新架构与实用设计并存

ERNIE-4.5-21B-A3B-Base-PT作为百度最新开源的文本生成模型，展现出多项技术特色：

在架构设计上，该模型采用了混合专家（Mixture of Experts, MoE）结构，配备64个文本专家和64个视觉专家（尽管当前开源版本专注于文本能力），每个token处理时激活其中6个专家，配合2个共享专家，实现了计算资源的高效利用。这种设计使模型在保持210亿总参数规模的同时，每个token仅需激活30亿参数，在性能与效率间取得平衡。

上下文长度支持达到131072 tokens（约26万字），远超常规模型的4k-32k范围，能够处理超长文档生成、书籍摘要、代码库分析等复杂任务。模型采用28层网络结构，配备20个查询头和4个键值头，在语义理解和长程依赖捕捉方面具备优势。

技术实现上，模型支持PyTorch和PaddlePaddle双框架，提供Transformer风格权重（-PT版本），可直接与Hugging Face Transformers库集成。推理方面，支持vLLM等高效部署框架，通过4位/2位无损量化技术进一步降低硬件门槛。

行业影响：降低大模型应用门槛

ERNIE-4.5-21B的开源将对AI应用生态产生多重影响。对于企业用户，特别是中小企业和开发者而言，这一模型提供了一个高性能、低部署门槛的文本生成解决方案，可广泛应用于内容创作、智能客服、文档处理、代码辅助等场景。

在技术层面，百度公开的异构MoE结构、模态隔离路由等创新方法，为行业提供了宝贵的技术参考。模型采用的Apache 2.0开源协议允许商业使用，将加速大模型技术在各行业的落地应用。

值得注意的是，该模型目前专注于文本补全（text completion）能力，适合需要长文本生成的场景。开发者可基于此基础模型进行二次微调，适配特定领域需求。

结论：开源生态助力大模型普及

ERNIE-4.5-21B的开源是百度在大模型普惠化进程中的重要举措。通过提供高性价比的模型选择，降低企业级应用的技术门槛，将进一步推动生成式AI技术在各行业的渗透。随着模型优化技术的持续进步，20B级别模型有望成为未来企业应用的"主力军"，在性能、效率与成本间找到最佳平衡点。对于开发者而言，这一开源模型不仅是一个工具，更是学习和研究大模型技术的优质资源，将加速AI创新应用的开发与落地。

【免费下载链接】ERNIE-4.5-21B-A3B-Base-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-PT