来源:中科院物理所
近日,我国“深度求索”公司发布的具备深度思考和推理能力的开源大模型DeepSeek-R1受到了全世界的关注。在DeepSeek-R1之前,美国OpenAI公司的GPT-o1,Athropic公司的Claude,Google公司的Gemini,都号称具备了深度思考和推理能力。这些模型在专业人士和吃瓜网友的五花八门的测试中,表现的确是惊才绝艳。特别引起我们兴趣的,是Google的专用模型AlphaGeometry在公认高难度的国际奥林匹克数学竞赛中取得了28/42的成绩,获得银牌。学生时代我们也接触过奥数,深知能在此类国际奥赛中获银牌的选手,无一不是从小就体现出相当数学天赋,且一路努力训练的高手。能够达到这个水平的AI,称其为具备了强大的思考能力并不过分。自打那之后,我们就一直好奇,这些强大的AI,它们的物理水平又如何?是不是以后就不用招研究生和博士后了?
1月17日,中科院物理所在江苏省溧阳市举办了“天目杯”理论物理竞赛。我们命题组完成了这份试卷的出题工作。七道题除一道外,都不是从现成的题库或考题中改编节选的,我们三个对这套试卷比较满意,觉得它既不像传统考试题一样盯着个别知识点考,也不像高中竞赛题一样需要很多技巧和熟练度,而更像实际科研中碰到的具体技术问题。竞赛前的某天,我们和几个朋友一起吃饭,其中一位AI的重度用户知道了我们出了这份题,就问有没有测试过AI的表现?我们觉得这个建议很有意思,于是决定在竞赛后,测试几个有代表性的大模型。
所谓来得早不如来得巧。1月20日,当我们刚结束竞赛回到北京,正赶上DeepSeek-R1发布引爆了AI圈,它自然成了我们测试的首选模型。此外我们测试的模型还包括:OpenAI发布的GPT-o1,Anthropic发布的Claude-sonnet。下面是我们测试的方式:
1.整个测试由8段对话完成。
2.第一段对话的问题是“开场白”:交代需要完成的任务,问题的格式,提交答案的格式等。通过AI的回复人工确认其理解。
3.依次发送全部7道题目的题干,在收到回复后发送下一道题,中间无人工反馈意见。
4.每道题目的题干由文字描述和图片描述两部分组成(第三、五、七题无图)。
5.图片描述是纯文本方式,描述的文本全部生成自GPT-4o,经人工校对。
6.每个大模型所拿到的文字材料是完全相同的(见附件)。
上述过程后,对于每个大模型我们获得了7段tex文本,对应于7道问题的解答。以下是我们采取的阅卷方式:
1.人工调整tex文本至可以用Overleaf工具编译,收集编译出的PDF文件作为答卷。
2.将4个模型的7道问题的解答分别发送给7位阅卷人组成的阅卷组。
3.阅卷组与“天目杯”竞赛的阅卷组完全相同,且每位阅卷人负责的题目也相同。举例:阅卷人A负责所有人类和AI答卷中的第一题;阅卷人B负责所有人类和AI答卷中的第二题,等等。
4.阅卷组汇总所有题目得分。
结果如何呢?请看下表。

结果点评:
1.DeepSeek-R1表现最好。基础题(前三题分数拿满),第六题还得到了人类选手中未见到的满分,第七题得分较低似乎是因为未能理解题干中“证明”的含义,仅仅重述了待证明的结论,无法得分。查看其思考过程,是存在可以给过程分的步骤的,但最后的答案中这些步骤都没有体现。

2.GPT-o1总分与DeepSeek相差无几。在基础题(二题、三题)中有计算错误导致的失分。相比于DeepSeek,o1的答卷更接近于人类的风格,因此以证明题为主最后一题得分稍高。

3.Claude-sonnet可谓“马失前蹄”,在前两题中连出昏招打了0分,但后续表现跟o1相当接近,连扣分点都是类似的。

4.如果将AI的成绩与人类成绩相比较,则DeepSeek-R1可以进入前三名(获特优奖),但与人类的最高分125分仍有较大差距;GPT-o1进入前五名(获特优奖),Claude-sonnet前十名(获优秀奖)。
最后想聊几句阅卷的主观感想。首先是AI的思路是真的好,基本上没有无法下手的题,甚至很多时候一下子就能找到正确的思路。但跟人类不同的是,它们在有正确的思路后,会在一些很简单的错误里面打转。比如通过看R1的第七题思考过程,就发现它一早就知道要用简正坐标来做,能想到这一步的考生几乎100%求解出了正确的简正坐标(一个简单的矩阵对角化而已),但是R1似乎是在反复的猜测和试错,到最后也没有得到简正坐标的表达式。还有就是所有的AI似乎都不理解一个“严密”的证明究竟意味着怎样的要求,似乎认为能在形式上凑出答案,就算是证明了。AI如同人类,也会出现许多“偶然”错误。比如在正式的统一测试前,我们私下尝试过多次,很多时候Claude-sonnet可以正确解出第一题的答案,但正式测试的那次它就偏偏做错了。出于严谨,我们也许应该对同一道题测试多次然后取平均,但实在是有点麻烦……

除了上面AI的测试结果,这次我们还发布了本次试题的参考答案。我们当然是故意比试题迟几天发布答案的,想让大家先自己挑战一下。在每道题的解答后,我们还加入了一小段“编后”,有命题人对这道题的评价,以及一些引申的思考等。我们希望答案可以帮助不会做的同学学习,也能引发会做的同学进一步的思考。
附件中我们提供了:
1.所有向大模型发问的输入文本(txt),
2.每个大模型给出的原始答案文本(txt)和人工整理出的答卷(PDF),
3.命题组提供的标准答案。
最后感谢“字节跳动”的AI“豆包”对本文的修改~
春节快乐,学习进步,工作顺利!
附件:AI答卷
附件:AI提问
附件:参考答案
冬令营组委会
乙巳年正月初二
编辑:雪影
责任编辑:石秀珍 SF183








APP专享直播
热门推荐
特朗普要求从乌克兰获得任何能得到的东西 以收回投入的资金 收起特朗普要求从乌克兰获得任何能得到的东西 以收回投入的资金
- 2025年02月22日
- 22:30
- APP专享
- 扒圈小记
31,117
程序员辞职成网约车“单王” :3年赚近70万,今年将赚到100万
- 2025年02月22日
- 09:57
- APP专享
- 扒圈小记
2,215
七名中国选手闯入第34届乒乓球亚洲杯男女单四强
- 2025年02月22日
- 15:07
- APP专享
- 北京时间
2,080

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 04:04:48
高德红外(sz002414)董事长称多个脑机接口技术已超马斯克。武汉高德红外(sz002414)股份有限公司董事长黄立在亚布力论坛年会表示,公司5年前就开展了脑机接口研究,并在不断突破脑机接口顶尖技术。高德红外(sz002414)实现了65000个通道的脑机接口,远超马斯克的3072个通道,是马斯克的20倍,并且实现了双向信息的读取与写入,而马斯克的技术则为单向。他直言,“很多技术层面的指标,我们已超过埃隆·马斯克的Neuralink公司。”不知道是不是当初的亩产万斤? -
趋势领涨今天 03:05:10
清华大学智能产业研究院(AIR)院长张亚勤院士表示,“10年后,机器人(sz300024)会比人都多,每个人身边都会有10个机器人(sz300024),包括物理或者虚拟的。未来3-5年,影响最大的受益者是IT行业本身,如英伟达、微软、亚马逊、谷歌meta、苹果,一大批芯片云计算公司等,是大受益者,他们提供技术和基础设施。 -
趋势领涨今天 01:54:15
【DeepSeek“低调”参与2025全球开发者先锋大会】《科创板日报》23日讯,《科创板日报》记者从2025全球开发者先锋大会主办方获悉,DeepSeek参与了今年大会,但是方式颇为低调,主要是以闭门会和工作坊的形式参与。 -
趋势领涨今天 01:45:26
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 01:45:17
二、宇树科技携两款机器人(sz300024)亮相2025GDC《科创板日报》22日讯,在2025全球开发者先锋大会上,宇树科技带来两款机器人(sz300024),一是售价9.9万元的Unitree G1人形机器人(sz300024),这款机器人(sz300024)最大的特点是轻量化与高负载能力;二是针对C端,有遛狗和拖物功能的Unitree Go2。近期人形机器人(sz300024)走势很强,现在2025全球开发者峰会已经召开,宇树科技研发的机器人(sz300024)也已经亮相,机器人(sz300024)的行情肯定没有走完,但短期是不是利好兑现了呢?三、马斯克投的飞行汽车试飞成功周末马斯克飞行汽车上天的消息迅速冲上各大网站热点,马斯克投的飞行汽车试飞成功!垂直起降,无外露螺旋桨,水平飞行可达177公里!217万元一辆,已有3300个订单。据了解,Model A可以垂直或水平起飞,最多可搭载两人。这款飞行汽车既可以在城市道路行驶,也能开到天上,满电状态下,水平飞行可达177公里,地面行驶可达322公里。国内研究报告指出,从2025年起,飞行汽车将迈入商业化启航的1.0阶段;预计到2035年左右,智能eVTOL飞行汽车规模化应用加速,成为低空交通出行的主要运载工具;预计到2050年左右,陆空两栖飞行汽车将实现大众化应用,低空交通与地面交通深度融合,构建起三维立体智慧交通体系。摩根士丹利预测,至2050年飞行汽车的全球市场规模将达9万亿美元,而中国潜在市场规模将达2.1万亿美元。飞行汽车是周末吹得最猛的一个板块,对A股市场来说,人形机器人(sz300024),DeepSeek经过连续大幅炒作以后,市场热点会不会借机切换到飞行汽车、低空经济等板块呢?我们认为这个概率还是很大的。 -
趋势领涨今天 01:45:02
暖风频吹 有个板块周末爆棚这个周末虽然美股大跌,但国内继续暖风频吹,主要集中在外资金融机构看好中国创新突破上电视;宇树科技携两款机器人(sz300024)亮相2025GDC;重点是飞行汽车真的上天了!一、外资金融机构看好中国创新据央视报道,外资金融机构看好中国创新突破。多家外资机构认为中国在科技创新领域不断实现突破,并且正在构建更完整的产业链条,这将不断提升中国的国际竞争力。摩根士丹利日前上调明晟中国指数评级,同时认为,中国公司在人工智能领域展现出较强的竞争力,在多项最新技术突破的支撑下,科技密集型企业有望实现利润率和收益率双增长。高盛发表的研报则看好中国在数据、“云服务”以及软件和应用等领域的发展前景。此外,外资金融机构还加大了对中国企业的调研频次。阿布扎比投资局、汇丰、施罗德、德意志银行、法国巴黎银行等外资机构,近期多次出现在A股上市公司的调研名单中,调研范围涵盖电动车、消费、家电等众多行业。国际金融协会日前发布的报告显示,1月,外国投资者积极布局中国资产,外资净买入中国股票和债券的总金额超过了100亿美元。全球估值最低的只有A股和港股,因为DeepSeek的突破,彻底改变了外资对国内的看法,但这里也有两点不太好:一是,内资继续大幅流出。上周五内资虽然出现了流入,但相比前四天大幅流出近1800亿来说,上周五流入不到70亿元,还是杯水车薪!重点是内资很难连续三天流入,所以,不排除,下周一内资还会继续砸盘;二是,周末巴菲特发布了年度报告,巴菲特提到将永远把绝大部分资金投资于股票,重点是主要是对日本的投资增加,没有提到A股和港股! -
趋势领涨今天 01:05:03
大家早上好!趋势为王,做股海的领航者,新的一天,新的战斗,欢迎你来到本直播室!新进的朋友请注意点赞,收藏本直播室,以方便你下次观看,谢谢大家的支持!【更多独家重磅股市观点请点击】 -
趋势领涨2025-02-22 07:46:21
在全球开发者先锋大会上,商汤科技联合创始人、首席科学家王晓刚表示,以模仿学习为主的端到端技术面临挑战,一方面高质量场景数据稀缺,驾驶数据质量参差不齐;另一方面模仿学习存在性能瓶颈。他还透露,商汤下一代与世界模型协同交互的端到端自动驾驶方案将在4月车展发布,此外,日日新大模型6.0也将在今年发布。 -
趋势领涨2025-02-22 04:06:31
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨2025-02-22 02:07:22
【年内公募基金斥资超33亿元参与定增】财联社2月22日电,今年,定增市场发展迎来新机遇。1月22日,多部门联合印发的《关于推动中长期资金入市工作的实施方案》提出,允许公募基金、商业保险资金、基本养老保险基金、企(职)业年金基金、银行理财等作为战略投资者参与上市公司定增。在参与新股申购、上市公司定增、举牌认定标准方面,给予银行理财、保险资管与公募基金同等政策待遇。在业内看来,允许公募基金等作为战略投资者参与上市公司定增,将给定增项目带来更丰富的资金来源,为定增市场注入新活力,有利于推动定增市场规模的扩大。东方财富(sz300059)Choice数据显示,以增发上市日计算,今年以来已有诺德基金管理有限公司、财通基金管理有限公司、易米基金管理有限公司等7家公募基金参与上市公司定增,定增认购总额达33.29亿元。