·“OpenAI正在研究把1000万颗GPU连在一起做大模型的技术。GPT-3.5用了4000颗GPU,做GPT-4是25000颗,英伟达一年生产能力只有100万颗。”
10月31日,百川智能创始人兼首席执行官王小川在云栖大会上演讲。
10月31日,百川智能创始人兼首席执行官王小川在杭州举办的云栖大会上表示,“我非常坚定地相信,明年中国会有若干款超级应用产生。”
今年4月,作为前搜狗公司CEO的王小川高调宣布押注大模型,创立AI大模型公司“百川智能”,旨在打造中国版OpenAI。在完成天使轮融资时,百川智能估值超过5亿美元。在10月17日完成A1轮融资后,成立不到半年时间的百川智能跻身独角兽。
在此次会议上,王小川首次对外阐释了百川智能做大模型的理念,“理想上慢一步,落地上快三步。”王小川介绍,百川智能成立半年发布了7款大模型,包括日前推出的Baichuan2-192K大模型,其上下文窗口长度达192K(GPT-4支持32K上下文窗口,实测约2.5万字),能够处理约35万个汉字。
王小川判断,今年年底之前,国内会有几家公司能够做到GPT-3.5的水平,到明年也有信心能够达到GPT-4的水平,但是达到不是超越。
谈到此前的美国之行时与OpenAI(ChatGPT开发机构)的交流时,王小川说,“OpenAI正在研究把1000万颗GPU连在一起做大模型的技术。GPT-3.5用了4000颗GPU,做GPT-4是25000颗。英伟达一年的生产能力只有100万颗,而OpenAI要连接1000万颗GPU,这样的想法像登月一样,所以我内心对他们充满了一种敬畏。”
不过,王小川同时说道,“但是我们在做应用方面可能走得更快。”他认为,明年中国会有若干款超级应用产生。“语言模型是通用智能时代的起点,语言模型就是现实世界的数学模型,数据储备和算法最终都跟语言相关,真正的智力藏在文科能力之中。从技术上来说,语言感知比图片视频感知更难,同时智力并不是逻辑推理,而是一种抽象和比喻的能力。”他打比方称,牛顿曾用三大定律把万物之间的规律变成了数学问题,这对于人类而言是巨大的进步。“今天的大模型也是将语言变成数学模型,一旦掌握了语言的规律就意味着掌握了背后的知识、思考、沟通和文化。”
VIP课程推荐
APP专享直播
热门推荐
收起24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)