精度对标Llama3-70B的开源大模型，采用创新的MoE架构和Attention Router机制。在数理逻辑、代码生成、知识问答等方面表现卓越，推理算力需求仅为同级别模型的1/19，为开发者提供极致性价比的AI解决方案。
IEI
2000B Tokens
完全开源
创新的技术架构，带来卓越的性能表现和极致的算力效率
每token的算力需求仅为Llama3-70B的1/19，在相同算力下，平均精度达到Llama3-70B的18.8倍，大幅降低推理成本。
在数理逻辑、代码生成、知识问答等多个维度精度对标Llama3-70B，用更少的资源实现更强的能力。
基于LFA+Attention Router的创新MoE模型结构，通过智能的专家选择机制，实现参数与性能的最优平衡。
训练数据扩充至2000B Tokens，包含600+种代码数据、专业领域语料，以及超过1000万条高质量合成数据。
Humaneval代码生成能力通过Few-shot提示从74.4%提升至78.1%，展现出色的上下文学习能力。
模型全面开源，免费可商用，无需申请授权，助力开发者和企业快速构建AI应用。
与业界领先的Llama3-70B模型全方位对比
| 对比维度 | Yuan2.0-M32 | Llama3-70B | 性能优势 |
|---|---|---|---|
| 总参数量 | 400B | 700B | 参数减少43% |
| 激活参数 | 3.7B | 700B | 激活仅5.3% |
| 每Token算力需求 | 基准值 | 19倍 | 算力降至1/19 |
| 单位算力精度 | 18.8倍 | 基准值 | 效率升18.8倍 |
| 数理逻辑能力 | 对标 | 基准 | 同等水平 |
| 代码生成能力 | 对标 | 基准 | 同等水平 |
| 知识问答能力 | 对标 | 基准 | 同等水平 |
创新的Attention Router机制，实现高效的专家网络协同
源2.0-M32采用了突破性的Attention Router技术，能够更智能地选择和激活专家网络，实现更高效的参数利用。
多专家混合系统
Attention Router ↓
Expert 1 | Expert 2 | Expert 3 | Expert 4
↓ 智能选择与组合
高效输出结果
完全开源，免费可商用，无需任何授权
模型权重、代码、文档全面开源，支持社区共建共享。
无需支付任何费用，即可用于商业项目和产品开发。
无需申请或等待审批，下载即可使用，加速落地。
活跃的开发者社区，提供技术支持和最佳实践分享。