腾讯混元推出首款开源混合推理模型:擅长Agent工具调用和长文理解
腾讯混元近日正式开源首个混合推理MoE模型Hunyuan-A13B,该模型总参数达80B,激活参数仅为13B,兼具高性能与高性价比。作为业界首个13B级别的开源MoE模型,Hunyuan-A13B在多个权威评测中表现优异,尤其在Agent工具调用和长文本处理方面展现出突出能力。其支持256K原生上下文窗口,在长文理解与生成任务中取得领先成绩。模型采用融合推理机制,用户可根据需求切换“快思考”与“慢思考”模式,灵活平衡效率与准确性,适用于从简单问答到复杂决策的多样化场景。
为提升模型实际应用能力,腾讯混元构建了多Agent数据合成框架,结合强化学习与真实环境模拟,显著增强模型自主规划与执行能力。同时,模型在预训练阶段使用20万亿token高质量语料,并创新性提出适用于MoE架构的Scaling Law联合公式,为模型设计提供理论支撑。后训练环节采用多阶段策略,全面优化推理、创作与理解能力。此外,腾讯混元同步开源两个关键数据集——ArtifactsBench与C3-Bench,填补代码生成与Agent评估领域的空白。目前,Hunyuan-A13B已上线GitHub与HuggingFace,支持一键部署,仅需一张中低端GPU即可运行,且兼容主流量化格式,吞吐性能达到同类模型两倍以上,为开发者提供了高效、低成本的大模型实践路径。

皖ICP备2023013201号-2
皖公网安备34019202002029号