大模型做数学题到底如何,不妨让它参与一下这种级别的比赛。
「AI 数学奥林匹克竞赛(AIMO 进步奖)的初步成绩已公布。根据排行榜的数据,目前看来,获胜的程序在私人测试中正确回答了 29/50 道题,这一成绩比预期的要高。」刚刚,陶哲轩在个人博客中公布了这一消息。
![](http://n.sinaimg.cn/spider20240704/589/w855h534/20240704/2645-964bf258ce9851572225a19b3a23c2de.png)
AIMO 最初由一家搞机器学习量化交易的非银行金融机构 XTX Markets 发起,主要是让参与者使用 AI 模型解决国际数学难题,而本次进步奖的目标是创建能够解决用 LaTeX 格式编写的复杂数学问题的算法和模型。这将有助于推动人工智能模型的数学推理能力,并推动前沿知识的发展。
值得一提的是,此次进步奖是首次颁发,获奖队伍将角逐 104.8 万美元的奖金。
参赛题目包括中级高中数学竞赛的题目,但难度没有达到国际数学奥林匹克(IMO)的水平。
获奖资格要求团队公开发布其代码、方法、数据和模型参数。
根据排名,我们可以看出,获得第一名的是 Numina 的团队,CMU_MATH 位列第二,after exams 暂居第三,codeinter、Conor #2 团队分别拿到第四、第五的成绩。
根据规则,参赛小组最多 5 人,排名前五的就有两位是单人作战。
![](http://n.sinaimg.cn/spider20240704/718/w1080h438/20240704/6dfd-f09d92f9ddc04cc906163da3f6a74938.png)
大家使用的模型也是各不相同,包括 Mixtral・8x7b、Gemma、Llama 3 等。
![](http://n.sinaimg.cn/spider20240704/72/w1080h592/20240704/202a-9e9a9e507f4e2e6e4cb2c694158425a0.png)
一直以来,IMO 国际奥林匹克数学竞赛都是由专门研究数学的爱好者们直接参与,但随着大模型能力的不断提升,其在数学中的表现受到越来越多的关注。
大家测试的重点也逐渐从类似的高考题转战到奥林匹克竞技场上,此前,来自 Google DeepMind 的 AlphaGeometry 登上 Nature,该研究解决了 30 个奥林匹克级别问题中的 25 个,接近国际数学奥林匹克竞赛金牌选手的平均表现。
在大模型爆发的当下,已经不止一家开始挑战奥赛难题,让他们之间一较高下结果会怎样呢?
去年 11 月,专门为 AI 设立的数学比赛来了,奖金为 1000 万美元,旨在激励开放式的人工智能模型开发,使其能够在国际数学奥林匹克(IMO)中表现得与顶尖人类参赛者一样出色。此次进步奖是作为 AIMO 大奖的一部分进行评选。
![](http://n.sinaimg.cn/spider20240704/15/w1080h1335/20240704/1991-71c28f92f852f8f1194f5f3beffe1ff6.png)
AIMO 顾问委员都是数学界的大牛,包括菲尔兹奖得主 Timothy Gowers 和陶哲轩(Terence Tao),与他们一同任职的还有 Po-Shen Loh、Dan Roberts 和 Geoff Smith。
![参考链接:](http://n.sinaimg.cn/spider20240704/322/w1080h842/20240704/612c-1ec2562a6ab2306212eaaa31b837ca7f.png)
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)