第一个做出大语言模型的大厂:百度带头狂飙

第一个做出大语言模型的大厂:百度带头狂飙
2023年03月07日 14:48 新浪证券

  自ChatGPT火爆以来,其背后的大语言模型技术深受市场关注。谷歌、微软、百度、阿里、腾讯、字节等全球头部科技大厂纷纷在这条赛道发力狂飙。其中,百度成为第一个明确产品落地时间点的科技公司。近期,百度宣称将在3月16日围绕其生成式AI产品、大语言模型“文心一言”召开新闻发布会,这意味着百度有机会成为全球第一个做出大语言模型的科技大厂。

  在大语言模型赛道中,OpenAI虽然在大语言模型的研发上快人一步,但身为美国创业公司的它高度依赖微软提供的资金及算力支持;与此同时,虽然微软最先吃到了ChatGPT的红利,但并不意味着微软自身已经具备这一技术能力,而是通过投资与采买的方式集成OpenAI的技术。纵观全球,一个关键问题已经浮现:直到现在,美国的大厂和其他创业公司、中国的大厂与创业公司中,为何只有百度做出了自己的大语言模型?

  十年树木,百年树人。大语言模型作为AI技术创新桥头堡,不是突击一两个月即可诞生的产物,背后的技术积累需要多年沉淀。百度能抢下头筹也并非是朝夕之功。将时光的指针拨回十余年前,百度开始深耕人工智能领域。十年如一日,百度已然拥有芯片、框架、模型和应用四层技术栈,十年逾千亿的研发投入,也为今日的枝繁叶茂提供了充足养分。

  基于长期技术投入,百度基础能力完全具备、具有综合优势,不仅能够实现整体持平ChatGPT,甚至还有机会做到局部超越。超越部分包括知识增强、检索增强和对话增强。

  知识增强方面,百度文心大模型是全球首个知识增强千亿大模型,拥有世界上最大规模知识图谱,包含50亿实体、5500亿级事实,每天调用量超过400亿次。知识图谱通过结构化的形式描述真实世界中的实体、属性、关系等,是机器认知世界的重要基础。

  检索增强则是指在大模型底层上,搜索架构和生成式AI架构可以融合。搜索在真实数据和用户需求理解上具备先发优势,能提升大语言模型的准确性和实效性。

  此外,在对话一致性、长期记忆和多轮对话丰富度上,百度也实力显著,其“知识与深度学习融合的通用对话技术及应用”曾获中国人工智能协会吴文俊奖特等奖,是历史上首个特等奖;“百度大脑核心技术与开放平台”获中国电子学会科技进步奖一等奖;百度超级智能助手也曾获中国专利金奖。

  大语言模型的技术难度横亘在每一位开发者面前,需要正视、重视。那么,对于国产大语言模型,应当报以多大的期待?

  ChatGPT在发布之初也有诸多槽点,但随着用户越来越多,它也变得越来越聪明。这与大模型的底层技术逻辑有关,文心一言和ChatGPT背后,都是SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术。在训练阶段,SFT和RLHF通过学习真实的用户数据,提升模型效果;部署阶段,用户的prompt能够给预训练大语言模型提示,使模型能更好理解人类问题。因此,百度文心一言只要能达到ChatGPT去年11月发布水平,就实属不易。

  SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术跟大模型通过海量无标注数据训练是不同的,需要人的参与,帮助AI更好地理解人的意图,生成符合人的价值观、表达习惯的回复。随着文心一言开始内测与邀测,真实的用户、开发者调用和模型迭代之间的飞轮开始转动,文心一言就将以令人惊讶的速度不断进步。

  大语言模型建构将带动应用开发、场景开发等一系列产业链联动,具有无限想象空间,可以说是“大国重器”,也是新时代下科技经济的“加速器”。同时,由于东西方文化差异、语言差异等因素,国外大语言模型是否能更好地理解中国文化、中文语言存在隐忧。

  因此,我们需要中国的大语言模型,中国的大语言模型,也值得市场给予一些信心与耐心。

炒股开户享福利,入金抽188元红包,100%中奖!
海量资讯、精准解读,尽在新浪财经APP

责任编辑:马婕

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

7X24小时

  • 03-10 宿迁联盛 603065 12.85
  • 03-08 宏源药业 301246 50
  • 03-08 涛涛车业 301345 73.45
  • 03-08 泓淋电力 301439 19.99
  • 03-07 彩蝶实业 603073 19.85
  • 产品入口: 新浪财经APP-股票-免费问股
    新浪首页 语音播报 相关新闻 返回顶部