博 客 - 正文

百度全面开源文心4.5系列模型

来源:沐石林科技 分类:行业资讯 阅读(3)

百度于2025年6月30日正式开源文心大模型4.5系列,涵盖10款不同参数规模与架构的模型,包括47B和3B激活参数的混合专家(MoE)模型、0.3B稠密型模型等,实现预训练权重与推理代码的全面开放。该系列模型基于飞桨深度学习框架构建,可在飞桨星河社区、HuggingFace及百度智能云千帆平台下载部署,遵循Apache 2.0协议,支持灵活使用。此次开源标志着百度在框架层与模型层实现“双层开源”,在独立自研数量、模型类型丰富度、参数多样性以及开源宽松性方面均达到行业领先水平。 文心大模型4.5系列的核心技术突破体现在多模态异构MoE架构、可扩展高效基础设施与针对性后训练策略。通过引入模态隔离路由机制与双重优化损失函数,有效提升文本与视觉信息的联合表征能力;采用异构混合并行与分层负载均衡策略,显著提升训练与推理效率,并支持4-bit/2-bit无损量化;针对不同应用场景进行视觉语言理解与通用生成能力优化,结合SFT、DPO及创新的统一偏好优化(UPO)方法,实现思考与非思考模式的统一。在多项基准测试中,该系列模型在指令遵循、世界知识记忆、视觉理解与多模态推理等方面表现优异,部分模型性能超越同量级的Qwen3、DeepSeek-V3及闭源的OpenAI o1,在轻量级模型中亦展现出接近甚至媲美更大参数模型的竞争力。

数据驱动未来

立即注册
客服QQ
3966311842

商务号,添加请说明来意

返回顶部