每经记者 文巧 实习记者 岳楚鹏 每经编辑 高涵
在人工智能发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。
![](http://n.sinaimg.cn/spider20240825/775/w945h630/20240825/a058-53b1eca52c2418477fa501a4bf905656.jpg)
视觉中国(24.420, -1.63, -6.26%)
当地时间8月21日,微软和英伟达相继发布了最新的小型语言模型——Phi-3.5-mini-instruct和 Mistral- NeMo- Minitron8B。这两款模型的主要卖点是它们在计算资源使用和功能表现之间实现了良好的平衡。在某些方面,它们的性能甚至可以媲美大模型。
人工智能初创公司Hugging Face的首席执行官Clem Delangue指出,高达99%的使用场景可以通过SLM来解决,并预测2024年将成为SLM之年。据不完全统计,包括Meta、微软、谷歌在内的科技巨头们今年已经发布了9款小模型。
大模型训练成本攀升
SLM的崛起并非偶然,而是与大模型(LLM)在性能提升与资源消耗方面的挑战密切相关。
AI 初创公司 Vellum 和Hugging Face今年4月份发布的性能比较表明,LLM之间的性能差距正在迅速缩小,特别是在多项选择题、推理和数学问题等特定任务中,顶级模型之间的差异极小。例如,在多项选择题中,Claude 3 Opus、GPT- 4 和Gemini Ultra的准确率均超过83%,而在推理任务中,Claude3 Opus、GPT-4和Gemini 1.5Pro的准确率均超过92%。
Uber AI 前负责人 Gary Marcus指出:“我想每个人都会说GPT-4比GPT-3.5领先了一步,但此后的一年多没有任何质的飞跃。”
与有限的性能提升相比,LLM的训练成本却在不断攀升。训练这些模型需要海量数据(16.370, -1.63, -9.06%)(维权)和数以亿计甚至万亿个参数,导致了极高的资源消耗。训练和运行LLM所需的计算能力和能源消耗令人咋舌,这使得小型组织或个人难以参与核心LLM开发。
国际能源署估计,数据中心、加密货币和人工智能相关的电力消耗到2026年,会大致相当于日本全国的用电量。
OpenAI首席执行官阿尔特(11.790, -0.45, -3.68%)曼曾在麻省理工学院的一次活动上表示,训练GPT-4的成本至少为1亿美元,而Anthropic首席执行官Dario Amodei预测,未来训练模型的成本可能达到1000亿美元。
此外,使用LLM所需的工具和技术的复杂性也增加了开发人员的学习曲线。从训练到部署,整个过程耗时漫长,减缓了开发速度。剑桥大学的一项研究显示,公司可能需要90天或更长时间才能部署一个机器学习模型。
LLM的另一个重大问题是容易产生“幻觉”——即模型生成的输出看似合理,但实际上并不正确。这是由于LLM的训练方式是根据数据中的模式预测下一个最可能的单词,而非真正理解信息。因此,LLM可能会自信地生成虚假陈述、编造事实或以荒谬的方式组合不相关的概念。如何检测和减少这些“幻觉”是开发可靠且可信赖语言模型的持续挑战。
小模型可降低成本
对LLM巨大能源需求的担忧,以及为企业提供更多样化AI选项的市场机会,让科技公司将注意力逐渐转向了SLM。
《每日经济新闻》记者注意到,不管是Arcee、Sakana AI和Hugging Face等AI初创公司,还是科技巨头都在通过SLM和更经济的方式吸引投资者和客户。
此前,谷歌、Meta、OpenAI和Anthropic都发布了比旗舰LLM更紧凑、更灵活的小模型。这不仅降低了开发和部署的成本,也为商业客户提供了更便宜的解决方案。鉴于投资者越来越担心AI企业的高成本和不确定的回报,更多的科技公司可能会选择这条道路。即便是微软和英伟达,如今也先后推出了自己的小模型(SLM)。
SLM是LLM的精简版本,具有更少的参数和更简单的设计,它们需要更少的数据和训练时间——只需几分钟或几小时。这使得SLM更高效,更易于在小型设备上部署。例如,它们可以嵌入到手机中,而无需占用超算资源,从而降低成本,并显著提升响应速度。
SLM的另一个主要优势是其针对特定应用的专业化。SLM专注于特定任务或领域,这使它们在实际应用中更加高效。例如,在情绪分析、命名实体识别或特定领域的问答中,SLM的表现往往优于通用模型。这种定制化使得企业能够创建高效满足其特定需求的模型。
SLM在特定领域内也不易出现“幻觉”,因为它们通常在更窄、更有针对性的数据集上训练,这有助于模型学习与其任务最相关的模式和信息。SLM的专注性降低了生成不相关、意外或不一致输出的可能性。
尽管规模较小,SLM在某些方面的性能并不逊色于大模型。微软最新推出的Phi-3.5-mini-instruct仅拥有38亿个参数,但其性能优于Llama3.18B和Mistral7B等参数远高于它的模型。美国东北大学(位于美国马萨诸塞州波士顿,是一所顶尖的私立研究型大学)语言模型研究专家Aaron Mueller指出,扩展参数数量并非提高模型性能的唯一途径,使用更高质量的数据训练也可以产生类似效果。
OpenAI首席执行官阿尔特曼在4月的一次活动中表示,他相信当前正处于巨型模型时代的末期,“我们将通过其他方式来提升它们的表现。”
不过,需要注意的是,虽然SLM的专业化是一大优势,但也有局限性。这些模型可能在其特定训练领域之外表现不佳,缺乏广泛的知识库,和LLM相比无法生成广泛主题的相关内容。这一限制要求用户可能需要部署多个SLM来覆盖不同的需求领域,从而使AI基础设施复杂化。
随着AI领域的快速发展,小模型的标准可能会不断变化。东京小模型初创公司Sakana的联合创始人兼首席执行官David Ha表示,几年前看似庞大的AI模型,现在看来已经显得“适中”。“大小总是相对的。”David Ha说道。
![](http://img.t.sinajs.cn/t5/style/images/face/male_180.png)
![](http://img.t.sinajs.cn/t5/style/images/face/male_180.png)
APP专享直播
热门推荐
台媒:艺人王大陆因涉嫌逃兵役被逮捕,目前正接受侦讯 收起台媒:艺人王大陆因涉嫌逃兵役被逮捕,目前正接受侦讯
- 2025年02月18日
- 03:44
- APP专享
- 扒圈小记
154,750
美媒:拒绝向马斯克交出数据,美社保局长被撤职
- 2025年02月18日
- 05:36
- APP专享
- 扒圈小记
4,595
载近80人,加拿大一客机着陆时突发事故,机身翻覆现场升起浓烟!
- 2025年02月17日
- 22:08
- APP专享
- 北京时间
3,605
![新浪财经公众号 新浪财经公众号](http://n.sinaimg.cn/finance/72219a70/20180103/_thumb_23666.png)
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 11:57:34
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 11:56:15
中国人民银行行长潘功胜16日应邀出席由国际货币基金组织与沙特联合主办的新兴市场经济体研讨会,并作主旨发言。潘功胜指出,2024年,中国经济持续回升向好,实现了全年5%的经济增长目标。特别是去年9月下旬以来,中国政府推出了一揽子增量政策,有效提振社会信心,经济明显回升。下一步,中国政府将实施更加积极的财政政策和适度宽松的货币政策,强化宏观经济政策的逆周期调节,持续推动中国经济增长模式转型,巩固和增强经济回升向好势头。 -
趋势领涨今天 11:11:42
【《哪吒2》登顶全球动画电影票房榜】据网络平台数据,上映21天,《哪吒之魔童闹海》(即《哪吒2》)总票房(含预售及海外)已突破123.19亿元,超过《头脑特工队2》登顶全球动画电影票房榜,同时位居全球影史票房榜第8名。 -
趋势领涨今天 09:59:57
【6连板威派格(sh603956):公司未与DeepSeeK开展业务合作】威派格(sh603956)发布股票交易异常波动公告称,目前已连续六个交易日涨停,累计涨幅77.34%。公司最新市盈率为200.07倍,显著高于行业水平29.24倍。公司未与DeepSeeK开展业务合作,该事项对当前主营业务开展无实质影响。公司预计2024年出现亏损,基本面未发生变化。敬请广大投资者理性投资,注意二级市场风险。 -
数字江恩今天 09:56:57
abc结束之后,可以是宽幅震荡,为不一定是深幅回踩。这个区分可以看图上的红色通道,只要不跌破红色通道下轨,开始修复,然后构造底背离,就可以宽幅震荡。明日来说,看3300以上是否可以开始修复结构,只要没有持续性下跌,个股还没有系统性风险,今天只算是强力洗盘。 -
数字江恩今天 09:56:50
看5分钟图,今天明显的新高顶背离,是3220上涨以来第二次顶背离。本人在新高之后就把支撑更新到了3346。无论看3346还是第二个箱体低点,今天都跌破了,这代表这3140反弹的abc之c延伸段正式结束。【更多独家重磅股市观点请点击】 -
数字江恩今天 09:56:34
今天前deepseek概念、云概念和近几天上涨的ai医疗概念是重灾区,个股回踩幅度较大。银行坚挺。新能源上午拉起,下午也只是几乎收回涨幅。 -
数字江恩今天 09:56:30
A股两市今日成交6968 + 11023 = 17991 亿人民币,相比昨日缩量近1500亿。大盘今天上午缓慢冲高创出新高后,下午快速下跌,收跌31个点。个股方面,超过85%的个股收绿下跌,3220以来首次大幅下跌个股家数明显超过大幅上涨个股家数。 -
数字江恩今天 09:56:20
宽幅震荡开始 -
北京红竹今天 08:23:54
3、老三样不变任何的方向都不可以一直向上,虽然今天开始调整,但对于DS和人形机器人(sz300024)和铜缆,我还是重点看待。方向不变,但需要掌握节奏,DS目前指数还处于五分钟级别三买区间,急跌洗盘后还会有反复折腾。DS和人形机器人(sz300024),上周五就和大家说了资金已经有变化了,高位股资金出逃,但滞涨品种有资金流入。方向可以不变,但节奏可不能一根筋,一根筋的思维还炒啥股?当然了,当指数调整的时候,大部分投资者是不适合交易的,休息就是最好的交易。有多大的锅、就下多少的米。