大模型系列报告(一):TRANSFORMER架构的过去、现在和未来

大模型系列报告(一):TRANSFORMER架构的过去、现在和未来
2025年01月19日 00:00 财通证券

Transformer 架构的过去和现在:人类大脑在有限的资源条件下,通过神经元回路的自组装和微调,实现了高效的信息处理。为了优化信息处理,大脑发展了高效的信息选择和投注机制——注意力,而非依赖超大容量的处理能力。随着我们对大脑认知机制的深入了解以及计算机科学的进步,研究人员尝试通过算法量化大脑的认知功能,将人类的思维模式映射到人工智能上。

Transformer 是一种基于注意力机制的神经网络架构,由Google Brain 团队于2017 年在论文《Attention Is All You Need》中提出。通过摒弃传统循环结构,Transformer 利用自注意力机制并行处理序列元素,显著提升了训练速度和长距离依赖建模能力。Transformer 架构的灵活性,使其成为众多非自然语言处理领域先进模型构建的基础框架,展现出广阔的应用前景,包括但不限于能够将不同模态的数据映射到统一的特征表示空间,促进跨模态应用发展。目前,人工智能大模型的进化主要依赖于人工版本的更新。而随着技术的发展,研究人员正在探索自我进化的模型,使其能够自主完善和学习由自身生成的经验,从而推动人工智能向更高级的智能发展。当前AI 的局限性或在于其学习效率的低下,而非数据不足。真正的智能不仅是数据量的堆积,而是在于对信息的压缩和提炼,类似于通过总结第一性原理的方式获取更深层次的智能。

Transformer 架构的未来:尽管Transformer 凭借着诸多优势成为如今的主流架构,但其并非尽善尽美,仍有无法避免的局限性,例如计算复杂度高和计算成本高。目前对Transformer 架构的未来,主要有两条道路,一是被更优秀的全新架构替代,二是在原有架构基础上通过优化注意力机制等方式进行升级,这两条道路都是通往计算复杂度更低、计算成本更低、效率更高这个目标。目前研究人员正在积极探索可能取代或增强Transformer 的全新架构,并提出了数个潜在的替代架构,例如RetNet、Mamba、RWKV、Hyena、线性注意力机制等。无论选择哪条路径,最终的目标都是实现更高的性能、更强的泛化能力、更低的资源消耗,以推动AI 在更多实际场景中的应用,同时让其更加可持续的普惠化的发展。

投资建议:短期来看,Transformer 架构依然是大模型的主流,建议重点关注基础设施领域的公司,如英伟达、海光信息(136.150, -1.22, -0.89%)寒武纪(618.510, -7.00, -1.12%)协创数据(108.960, -0.99, -0.90%)英维克(43.410, -0.31, -0.71%)中科曙光(73.010, -1.06, -1.43%)浪潮信息(63.360, -1.21, -1.87%)润泽科技(57.150, 0.97, 1.73%)欧陆通(130.520, -1.78, -1.35%)曙光数创(70.010, -0.98, -1.38%)等,同时持续关注全球各大模型厂商、学界的创新进展。

风险提示:技术迭代不及预期的风险;商业化落地不及预期的风险;政策支持不及预期风险;全球宏观经济风险。

海量资讯、精准解读,尽在新浪财经APP
注意力

0条评论|0人参与网友评论

APP专享直播

开播时间 | 2-20 20:30
阿里巴巴2024年12月份季度业绩会
开播时间 | 2-20 20:00
「2025蛇年投资大趋势 」对话南方基金经理王士聪:科技赛马 放眼全球
开播时间 | 2-20 19:30
嘉实基金:【基金经理展开说】国产AI崛起,产业投资机会全解读
开播时间 | 2-20 19:00
中金财富:云会客厅 布局硬科技 把握新机遇——对话国泰基金梁杏
开播时间 | 2-20 17:00
首届中国电视剧制作产业大会年度盛典
开播时间 | 2-20 16:00
光大证券李泉:量子计算、AI眼镜迎来新进展,科技股还有何机遇?
开播时间 | 2-20 15:30
中信期货:超强飓风后 铁矿5-9正套策略如何把握?
开播时间 | 2-20 15:30
国泰基金:DeepSeek火爆 AI落地风口已至
开播时间 | 2-20 15:30
海通证券郑雅斌、杨林,富国基金苏华清:AI热潮高起,如何选择投资方向?
开播时间 | 2-20 15:00
国投瑞银:追上科技热点 | 新模型频出,利好哪些板块?
开播时间 | 2-20 20:30
阿里巴巴2024年12月份季度业绩会
开播时间 | 2-20 20:00
「2025蛇年投资大趋势 」对话南方基金经理王士聪:科技赛马 放眼全球
开播时间 | 2-20 19:30
嘉实基金:【基金经理展开说】国产AI崛起,产业投资机会全解读
开播时间 | 2-20 19:00
中金财富:云会客厅 布局硬科技 把握新机遇——对话国泰基金梁杏
开播时间 | 2-20 17:00
首届中国电视剧制作产业大会年度盛典
开播时间 | 2-20 16:00
光大证券李泉:量子计算、AI眼镜迎来新进展,科技股还有何机遇?
开播时间 | 2-20 15:30
中信期货:超强飓风后 铁矿5-9正套策略如何把握?
开播时间 | 2-20 15:30
国泰基金:DeepSeek火爆 AI落地风口已至
开播时间 | 2-20 15:30
海通证券郑雅斌、杨林,富国基金苏华清:AI热潮高起,如何选择投资方向?
开播时间 | 2-20 15:00
国投瑞银:追上科技热点 | 新模型频出,利好哪些板块?
上一页下一页
1/10

热门推荐

女子吐槽银行8个窗口6个不营业,银行:领导就给这些人,都上岗了 收起
女子吐槽银行8个窗口6个不营业,银行:领导就给这些人,都上岗了

女子吐槽银行8个窗口6个不营业,银行:领导就给这些人,都上岗了

  • 2025年02月20日
  • 01:45
  • APP专享
  • 扒圈小记
  • 15,899
APP专享
网传“河北邢台一局长酒后砸店伤人”,官方通报:停职,纪委监委立案调查

网传“河北邢台一局长酒后砸店伤人”,官方通报:停职,纪委监委立案调查

  • 2025年02月20日
  • 01:47
  • APP专享
  • 扒圈小记
  • 4,799
APP专享
特朗普称期待中方领导人访问美国,外交部回应

特朗普称期待中方领导人访问美国,外交部回应

  • 2025年02月20日
  • 07:51
  • APP专享
  • 北京时间
  • 4,225
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.23 -0.47%
京东方A 4.50 0.00%
TCL科技 4.85 +0.21%
中远海控 14.35 -1.24%
格力电器 41.85 -0.21%
广告

7X24小时

  • 01-17 宏海科技 920108 5.57
  • 01-16 亚联机械 001395 19.08
  • 01-16 海博思创 688411 19.38
  • 01-14 富岭股份 001356 5.3
  • 01-13 超研股份 301602 6.7
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部