Transformer 架构的过去和现在:人类大脑在有限的资源条件下,通过神经元回路的自组装和微调,实现了高效的信息处理。为了优化信息处理,大脑发展了高效的信息选择和投注机制——注意力,而非依赖超大容量的处理能力。随着我们对大脑认知机制的深入了解以及计算机科学的进步,研究人员尝试通过算法量化大脑的认知功能,将人类的思维模式映射到人工智能上。
Transformer 是一种基于注意力机制的神经网络架构,由Google Brain 团队于2017 年在论文《Attention Is All You Need》中提出。通过摒弃传统循环结构,Transformer 利用自注意力机制并行处理序列元素,显著提升了训练速度和长距离依赖建模能力。Transformer 架构的灵活性,使其成为众多非自然语言处理领域先进模型构建的基础框架,展现出广阔的应用前景,包括但不限于能够将不同模态的数据映射到统一的特征表示空间,促进跨模态应用发展。目前,人工智能大模型的进化主要依赖于人工版本的更新。而随着技术的发展,研究人员正在探索自我进化的模型,使其能够自主完善和学习由自身生成的经验,从而推动人工智能向更高级的智能发展。当前AI 的局限性或在于其学习效率的低下,而非数据不足。真正的智能不仅是数据量的堆积,而是在于对信息的压缩和提炼,类似于通过总结第一性原理的方式获取更深层次的智能。
Transformer 架构的未来:尽管Transformer 凭借着诸多优势成为如今的主流架构,但其并非尽善尽美,仍有无法避免的局限性,例如计算复杂度高和计算成本高。目前对Transformer 架构的未来,主要有两条道路,一是被更优秀的全新架构替代,二是在原有架构基础上通过优化注意力机制等方式进行升级,这两条道路都是通往计算复杂度更低、计算成本更低、效率更高这个目标。目前研究人员正在积极探索可能取代或增强Transformer 的全新架构,并提出了数个潜在的替代架构,例如RetNet、Mamba、RWKV、Hyena、线性注意力机制等。无论选择哪条路径,最终的目标都是实现更高的性能、更强的泛化能力、更低的资源消耗,以推动AI 在更多实际场景中的应用,同时让其更加可持续的普惠化的发展。
投资建议:短期来看,Transformer 架构依然是大模型的主流,建议重点关注基础设施领域的公司,如英伟达、海光信息(136.150, -1.22, -0.89%)、寒武纪(618.510, -7.00, -1.12%)、协创数据(108.960, -0.99, -0.90%)、英维克(43.410, -0.31, -0.71%)、中科曙光(73.010, -1.06, -1.43%)、浪潮信息(63.360, -1.21, -1.87%)、润泽科技(57.150, 0.97, 1.73%)、欧陆通(130.520, -1.78, -1.35%)、曙光数创(70.010, -0.98, -1.38%)等,同时持续关注全球各大模型厂商、学界的创新进展。
风险提示:技术迭代不及预期的风险;商业化落地不及预期的风险;政策支持不及预期风险;全球宏观经济风险。


APP专享直播
热门推荐
女子吐槽银行8个窗口6个不营业,银行:领导就给这些人,都上岗了 收起女子吐槽银行8个窗口6个不营业,银行:领导就给这些人,都上岗了
- 2025年02月20日
- 01:45
- APP专享
- 扒圈小记
15,899
网传“河北邢台一局长酒后砸店伤人”,官方通报:停职,纪委监委立案调查
- 2025年02月20日
- 01:47
- APP专享
- 扒圈小记
4,799
特朗普称期待中方领导人访问美国,外交部回应
- 2025年02月20日
- 07:51
- APP专享
- 北京时间
4,225

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 12:17:41
普元信息(sh688118)公告称,由于工作人员疏忽,现对《关于部分董事、高级管理人员减持股份计划公告》进行更正。更正后,杨玉宝拟减持数量不超过66万股,占公司总股本的比例不超过0.70%;王克强拟减持数量不超过19万股,占公司总股本的比例不超过0.20%。减持期间为2025年3月17日至2025年6月16日。小财注:此前公告公司控股股东刘亚东拟减持不超过1.54%股份事项,在更正公告中删除。 -
趋势领涨今天 11:18:53
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 10:20:55
【2连板云中马(sh603130):目前公司在中玺新材料(安徽)有限公司参股比例较小 对公司业绩不产生重大影响】财联社2月20日电,云中马(sh603130)发布股票交易异常波动公告,公司关注到近期市场对于人形机器人(sz300024)相关概念的关注度较高,部分机构将公司列为机器人(sz300024)概念标的。公司就相关事项澄清说明如下:公司在2024年半年度报告中就对外投资的中玺新材料(安徽)有限公司的情况进行了披露。目前公司在中玺新材料(安徽)有限公司认缴的注册资本为1571.4848万元,对应的持股比例为8.1491%,参股比例较小,对公司业绩不产生重大影响。 -
趋势领涨今天 10:18:52
【2连板云中马(sh603130):目前公司在中玺新材料(安徽)有限公司参股比例较小 对公司业绩不产生重大影响】云中马(sh603130)发布股票交易异常波动公告,公司关注到近期市场对于人形机器人(sz300024)相关概念的关注度较高,部分机构将公司列为机器人(sz300024)概念标的。公司就相关事项澄清说明如下:公司在2024年半年度报告中就对外投资的中玺新材料(安徽)有限公司的情况进行了披露。目前公司在中玺新材料(安徽)有限公司认缴的注册资本为1571.4848万元,对应的持股比例为8.1491%,参股比例较小,对公司业绩不产生重大影响。 -
数字江恩今天 09:34:22
这里只是宽幅震荡,涨跌都没有持续性。明日关注红线,如果跌破则回踩看机会,如果不跌破则再冲高,那么高位板块且近几天持续冲高的,就要注意短线风险。 -
数字江恩今天 09:34:17
明日关注图上的白色震荡轮回线第一个低点对应红色水平线,只要这条线不跌破,明天还会向着3366冲锋一下,也或者略微突破。可以明确的是,3366已经是结构结束点位,哪怕略微新高,也属于震荡高点,没有持续性。 -
数字江恩今天 09:34:06
今天看1分钟图即可。大盘周二下跌到3314点,周三上涨反包,而今天周四没有再继续下跌,而是维持窄幅震荡,从节奏上就隐含了再次冲高3366的可能,个股涨跌比也支持这个结论。【更多独家重磅股市观点请点击】 -
数字江恩今天 09:33:57
盘中ai医疗,消费电子和人形机器人(sz300024)上涨领先,而之前的云概念和农林牧渔则继续调整。 -
数字江恩今天 09:33:33
A股两市今日成交6701 + 10865 = 17566 亿人民币,相比昨日轻微放量约350亿。大盘今天全天窄幅震荡,没有超过20个点震幅,收跌不到1个点。个股方面,则是近2/3的个股收红上涨,忽视了指数的波动。 -
数字江恩今天 09:33:29
涨跌皆不持续