源3.0:多模态基础大模型

Yuan 3.0 Flash
40B
3.7B 激活
MoE架构 高效算力 开源免费 企业易落地

源 3.0 是 MoE 架构的多模态大模型,其创新了逐层自适应专家裁剪算法(LAEP),实现模型参数量降低 33%,预训练性能与算力效率均提升 49%;面向企业级场景,在文本检索、多模态表格分析、复杂表格理解与摘要生成等能力上,性能超过 OpenAI GPT-5.1。

↓52.91%
训练耗时
单位算力下的平均精度是Llama3-70B的18.8倍
0
模型能力
Humaneval代码生成测试,Few-shot下达到78.1%准确率

特性优势

创新的技术架构,带来卓越的性能表现和极致的算力效率

算力效率高

依托 LAEP 自适应专家裁剪算法与 MoE 架构优势,实现高性能与低算力消耗的完美平衡。

极致算力效率

每token的算力需求仅为Llama3-70B的1/19,在相同算力下,平均精度达到Llama3-70B的18.8倍,大幅降低推理成本。

卓越性能表现

在数理逻辑、代码生成、知识问答等多个维度精度对标Llama3-70B,用更少的资源实现更强的能力。

创新MoE架构

基于LFA+Attention Router的创新MoE模型结构,通过智能的专家选择机制,实现参数与性能的最优平衡。

海量训练数据

训练数据扩充至2000B Tokens,包含600+种代码数据、专业领域语料,以及超过1000万条高质量合成数据。

完全开源免费

模型全面开源,免费可商用,无需申请授权,助力开发者和企业快速构建AI应用。

性能对比

企业级核心任务性能超越 OpenAI GPT-5.1,综合实力领跑行业主流大模型

长上下文测试(D2D、QuAC、QReCC)

Models Avg. All D2D QuAC QReCC CoQA DoQA CFQA SQA TCQA HDial INSCIT
Acc. % Acc. % Acc. % Acc. % Acc. % Acc. % Acc. % Acc. % Acc. % Acc. % Acc. %
DeepSeek-V3 50.47 31.59 28.86 49.31 76.98 26.11 83.49 82.13 46.69 47.43 32.08
DeepSeek-R1 39.42 21.46 22.23 42.41 62.53 24.68 81.48 82.06 30.74 37.97 28.68
OpenAI GPT-4o 50.54 32.76 26.56 49.3 76.11 28.78 81.85 81.14 49.75 41.29 26.69
OpenAI GPT-o3 44.06 23.05 20.82 40.42 69.42 18.56 67.75 86.71 45.85 41.29 26.69
OpenAI GPT-5.1 46.58 28.98 22.52 45.78 68.98 22.06 77.7 82.52 45.21 45.65 26.42
Yuan3.0-1010B 62.26 40.74 36.96 41.74 89.86 64.72 76.81 89.52 73.53 73.45 38.35

技术架构

架构算法双重优化,实现高精度、高效率、高适配的企业级多模态能力

局部注意力过滤增强机制 (LFA)

摒弃传统注意力对所有 token 平等处理,采用 “局部优先、全局补充” 分层建模,先以卷积强化局部短依赖,再建模全局长依赖,兼顾语义理解精度与参数量、内存开销。

MoE 架构高效设计

提出Attention Router 门控网络,突破传统 MoE 门控只看 token 与专家点积、忽略专家间协同的局限,选择更适配的专家组合,提升协同推理精度。

多模态融合机制

采用统一多模态编码—解码架构,图像经视觉编码与Token重组后,与文本Token实现序列级拼接,达成高效端到端的多模态理解与生成。

Algorithm

预训练:强“专”扩“宽”

先清洗掉新闻、生活等泛内容,把教材、论文、代码等专业语料占比拉高;同时配图文对,让模型同步学语言也学视觉,打好多模态底子。

微调:会“思”也会“用”

在 CoT 推理数据的基础上增补反思、验证类样本,让模型学会自我检查;图文任务覆盖科研、编程、办公等真实场景,专业属性继续加厚。

强化学习:有“梯”有“尺”

所有样本按领域、难度、多样性打标签,逐级升维;每条数据都带可验证的参考答案或评分脚本,结果与过程双维奖励,模型越学越靠谱。

TrainingData

后训练强化学习:动态采样优化

提出DS-DAPO动态采样优化算法,优化常规 DAPO 过采样问题,以同规模采样 + 重采样,减少 52.91% 训练耗时,兼顾效率与精度。

后训练过程监督:反思抑制机制

采用RSPS过程监督算法,结合动态阈值机制惩罚无反思/过度反思样本,减少推理输出 tokens 的同时,保障核心任务精度。

Methodology

开源与商用

完全开源,免费可商用,无需任何授权

完全开源

模型权重、代码、文档全面开源,支持社区共建共享。

免费商用

无需支付任何费用,即可用于商业项目和产品开发。

无需授权

无需申请或等待审批,下载即可使用,加速落地。

社区支持

活跃的开发者社区,提供技术支持和最佳实践分享。