豆包大模型披露评测成绩,较上一代“云雀”提升19%

豆包大模型披露评测成绩,较上一代“云雀”提升19%
2024年05月27日 09:48 新浪科技

  新浪科技讯 5月27日上午消息,在火山引擎最新披露的一份产品资料中,豆包模型团队公布了一期内部测试结果:在 MMLU、BBH、GSM8K、HumanEval等11个业界主流的公开评测集上,Doubao-pro-4k 的总分为76.8分,相比上一代模型云雀Skylark2 的64.5分提升了19%,也优于同期测试的其他国产模型。

  据悉,此次评测在今年5月完成,主要包括豆包通用模型-pro、云雀Skylark2 在内的九款国产大语言模型。除了云雀Skylark2 以外,其他模型均为各家厂商最新发布的高级版本,通过API调用进行测试。

  评测结果显示,在评估代码能力的两个评测集 HumanEval 和 MBPP 上,豆包相比上一代模型提升了50%左右;在专业知识和指令遵循的评测集上,豆包分别获得33%和24%的性能提升,同时也是得分最高的国产模型。

  综合11个公开评测集上的测试成绩,豆包通用模型-pro的总分为76.8分。根据OpenAI公布的测试成绩,GPT-4在这些评测集上的总分为80.1分,相比国产模型仍有一定领先优势。(罗宁)

海量资讯、精准解读,尽在新浪财经APP

责任编辑:郝欣煜

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 05-31 达梦数据 688692 --
  • 05-28 利安科技 300784 28.3
  • 05-24 汇成真空 301392 12.2
  • 05-21 万达轴承 920002 20.74
  • 04-29 瑞迪智驱 301596 25.92
  • 新浪首页 语音播报 相关新闻 返回顶部