文 丨 新浪科技 周文猛
期数:No.58
嘉宾:月之暗面Kimi创始人兼CEO杨植麟
月之暗面Kimi Chat面向全社会开放一周年之际,今年31岁的月之暗面Kimi创始人兼CEO杨植麟,再次步入媒体聚光灯下,向外界介绍了公司正在研发的新一代数学推理模型——k0-math。
当谈及近期出现的“AI人才回流大厂”现象时,杨植麟直言:“倒也正常,因为行业发展进入了一个新的阶段,最初很多公司在做,变成现在少一点公司在做。”在他看来,强化学习将成为人工智能最重要的方向之一,范式将发生新的变化。
值得一提的是,当被问及与字节跳动旗下豆包的竞争时,他表示,“不希望过多地去关注竞争本身,因为竞争本身并不产生价值,只有交付更好的技术和产品,给用户创造更大的价值,才是现在最核心的问题”。
以下为杨植麟回应内容:
问:怎么看待AI创业公司被收购、人才回流大厂的现象?
杨植麟:这个问题我们没有遇到,但可能有一些别的公司遇到。我觉得倒也正常,因为行业发展进入了一个新的阶段,它从一开始有很多公司在做,变成现在少一点的公司在做,接下来大家做的东西会逐渐不一样,我觉得这是必然的规律,有一些公司做不下去了,就会产生这些问题,这也是行业发展的规律。
对于我们来说,其实我们主动地选择做了业务减法,这个还是很重要的,也是我们过去一年比较大的lesson(经验)——你应该聚焦一些重要的事情,然后做好。在几个大模型创业公司里,我们始终保持人数最少,我觉得这个是非常关键的。
我们不希望把团队扩那么大,扩大对创新的影响有一个致命性的伤害,如果你想把团队保持在一定的规模,其实最好的方式是业务上做一些减法。
问:你是什么时候决定聚焦Kimi的?
杨植麟:大概今年2-3月份吧,或者3-4月份。一是基于美国市场的判断,二是基于我们自己的观察,主要是这两点。还有就是做产品本身确实得做减法,不是疯狂地做加法。
问:AI时代的超级应用似乎还没有出现,但一大堆的智能体却逐渐同质化了,你觉得做好一款AI应用的关键是什么?
杨植麟:其实Super App已经出现了,ChatGPT已经超过5亿月活,它至少是半个超级应用了,这个问题已经很大程度上被验证了。像Character这种的产品,一开始它用户量也蛮多,但是后面很难破圈。所以在这个过程中,我们也根据美国市场的情况,包括我们自己的观察和判断,聚焦在我们认为上限最高,而且跟我们AGI的愿景也最相关的事情上。我们正通过这种方式去控制业务不要过多,控制人数不要太多,真正聚焦把核心的创新能力做好。
问:你们预训练的情况是怎样的?现在Scaling law开始撞墙变慢,你们会被限制住啊?
杨植麟:我觉得预训练还有空间,半代到一代的模型,这个空间会在明年释放出来,明年我觉得领先的模型会把预训练做到一个比较极致的阶段。但是我们判断,接下来最重点的东西会在强化学习上,就是范式上会产生一些变化。但是它还是Scaling,并不是它不用Scale,只是说会通过不同的方式去Scale,这是我们的判断。
你说Scaling law会不会是一个天花板或者上限,这个相对来说我比较乐观一点,核心就在于原来你用静态数据集,这其实是比较简单粗暴地使用方式,现在用强化学习的方式,很多情况下是有人在参与这个过程的,但是人没有办法给你标注那么多数据,不可能把每道题具体的思路都标出来,所以你其实用AI本身把人的东西加上一个杠杆。比如,你标100条数据,你就能产生非常大的作用,因为剩下的他都是在自己思考,我觉得更多的会用这种方式去解决。
我觉得从做法上来说,确定性是比较高的,很多时候是真正把它调出来的过程,所以我现在觉得这个大概率可以通过这种方式去做出来,所以我觉得它上限是很高的。
问:你们怎么看自己跟字节跳动旗下豆包的竞争?
杨植麟:我们还是更希望关注怎么能给用户真正的价值,我不希望我们过多地去关注竞争本身,因为竞争本身并不产生价值,我觉得我们只有交付更好的技术和产品,给用户创造更大的价值,这是我们现在最核心的问题。我们会更聚焦怎么提升模型的思考推理能力,通过这个东西给用户带来更大的价值,就是做正确的事情,而不专门去做不一样的事情,因为我觉得只要能有人实现AGI,它都是非常好的结果。
问:月之暗面现在最核心的任务是什么?
杨植麟:最核心的任务就是提升留存,或者把留存作为一个重要的衡量指标。因为我觉得基本上它跟你的技术的成熟度或者技术的水平也是一个正相关的过程,所以这个对我们来说当前是最重要的。
我觉得现在我们还处于AGI的初级阶段,当然每年都有一些比较大的进步,如果我们今年用去年的产品,你会发现可能根本没法忍受,但是可能还有很多东西,比如说我刚刚说的思考能力还不够强,交互不够丰富,所以它今天能做的交互还比较有限。
这个交互可能是两个维度的,一个是跟用户的交互,一个是跟客观世界的交互,我觉得都还有很大的提升空间。当我们把这两个做好之后,留存也会进一步上升。
问:OpenAI o1模型发布后,您曾提及大模型范式从训练的scaling转到推理的scaling,月之暗面在看到这个趋势后,在技术和产品上做了哪些调整?
杨植麟:o1的变化其实是可以预测的,我们很早就说,接下来推理占的比例会远超训练,本质上这说的是一个事情,因为它基本上是必然的。你如果去分析的话,它是必然会产生的,你没有那么多数据训练,你肯定是要生成数据,生成数据肯定是强化学习,本质是一样的。
我觉得这个是我们很早看到的,只不过在早期预训练的很多红利没有被完全发挥出来,所以你可能很关注怎么通过Next—Token prediction能压缩出更多的智能。
问:你们在这上面做布局,具体大概什么时间段?
杨植麟:人才上我们从去年就开始,中间也会有不同的过程,比如说一开始是LHF,标准的LHF,那个东西上线率并没有那么高,你可能还要去探索一些新的方式,真正更加规模化的方式,我觉得会有这样的过程。
问:你去年说长文本是登月的第一步,你觉得数学模型和深度推理是第几步?
杨植麟:第二步。
问:预训练的Scale现在可能遇到瓶颈了,美国遇到瓶颈后对中美大模型的格局影响是什么?对于中国公司来说是好事还是坏事?
杨植麟:对我们来说它有可能是一个好事。假设你一直预训练,你的预算今年1B(billion)、明年10B或者100B,它不一定可持续。当然你做推理也要Scaling,只是说你Scaling的起点很低,在一段时间内你的算力就不会是瓶颈,这个时候你的创新能力是更重要的,在这种情况下我觉得对我们反而是一个优势。
责任编辑:江钰涵
VIP课程推荐
APP专享直播
热门推荐
收起24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)