月之暗面开源Moonlight:30亿/160亿参数混合专家模型

月之暗面开源Moonlight:30亿/160亿参数混合专家模型
2025年02月24日 11:59 网易新闻

公司动态

经济观察网讯 2月24日,月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告,并宣布推出“Moonlight”:一个在Muon上训练的30亿/160亿参数混合专家模型(MoE)。使用了5.7万亿个token,在更低的浮点运算次数(FLOPs)下实现了更好的性能,从而提升了帕累托效率边界。(编辑 万佳)

海量资讯、精准解读,尽在新浪财经APP
网讯 可扩展

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 03-04 弘景光电 301479 --
  • 02-28 汉朔科技 301275 --
  • 02-28 永杰新材 603271 --
  • 02-21 汇通控股 603409 24.18
  • 02-20 毓恬冠佳 301173 28.33
  • 新浪首页 语音播报 相关新闻 返回顶部