首页 > 快讯

豆包提出全新稀疏架构 推理成本较MoE最高可降83%

快讯 零壹财经 零壹财经 2025-02-12 阅读：1196

关键词：豆包人工智能


随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍，推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。实验结果表明，训练规模达2000万value的UltraMem模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模value或expert开辟了新路径。（新浪财经）

上一篇>消息称百度今年下半年将发布新一代 AI 大模型文心 5.0，提升多模态能力

下一篇>华为小艺助手网页端上线人人可用：适配手机 / PC，支持 R1 深度思考

相关文章

用户评论

游客

自律公约

所有评论

主编精选

more

专题推荐

more

第四届中国零售金融发展峰会(共15篇)

资讯排行

  • 48h
  • 7天
耗时 247ms