证券时报网讯，6月3日，昆仑万维(40.500, 1.04, 2.64%)宣布开源2千亿稀疏大模型Skywork-MoE ，性能强劲，同时推理成本更低。Skywork-MoE是基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将 MoE Upcycling 技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
据介绍，本次开源的Skywork-MoE模型隶属于天工3.0的研发模型系列，是其中的中档大小模型（Skywork-MoE-Medium），模型的总参数量为146B，激活参数量22B，共有16个Expert，每个Expert大小为13B，每次激活其中的2个Expert。
基于目前各大主流模型评测榜单评测Skywork-MoE，在相同的激活参数量20B（推理计算量）下，Skywork-MoE能力在行业前列，接近70B的Dense模型。使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下（weight占用146GB），使用公司首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size内达到2200 tokens/s的吞吐。天工团队完整开源了相关的推理框架代码和安装环境。
昆仑万维表示，希望本次开源的Skywork-MoE模型、技术报告和相关的实验结果可以给开源社区贡献更多的MoE训练经验和Know-how，包括模型结构、超参选择、训练技巧、训练推理加速等各方面，探索用更低的训练推理成本训更大更强的模型，在通往AGI的道路上贡献一点力量。（燕云）
校对：冉燕青
热门推荐
男子往火锅里小便？海底捞：已报案，无论是否摆拍都将追究法律责任 收起男子往火锅里小便？海底捞：已报案，无论是否摆拍都将追究法律责任
- 2025年03月06日
- 09:33
- APP专享
- 扒圈小记
5,221
5,221中乌签署乌克兰豌豆、野生水产品输华议定书
- 2025年03月06日
- 23:31
- APP专享
- 扒圈小记
- 3,120
普京：在乌克兰问题上 俄罗斯不会向任何人屈服
- 2025年03月06日
- 18:47
- APP专享
- 北京时间
- 1,341
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
投资研报 扫码订阅
股市直播
-
东方红陈晨今天 05:19:58
这还是拉了白酒拉动指数了，不停的折腾没涨的板块，稳定大盘，千万别是因为开会的原因，那会后就麻烦 -
趋势起航今天 05:19:50
港股持续走高，恒生指数涨幅扩大至1%，消费股、科技股领涨，恒生科技指数涨近2% -
北京红竹今天 05:19:38
沪指新高，但五分钟级别顶着背离呢 -
徐善武今天 05:19:35
指数创了3140点反弹以来的新高 -
趋势起航今天 05:18:48
海南椰岛（sh600238）涨停！ -
徐小明今天 05:18:43
【盘中直播】120分钟有了新的顶部钝化 -
宋谈股经今天 05:16:58
【白酒板块震荡反弹 迎驾贡酒（sh603198）涨超5%】3月7日，午后迎驾贡酒（sh603198）、岩石股份（sh600696）涨超5%，今世缘（sh603369）、泸州老窖（sz000568）、水井坊（sh600779）、五粮液（sz000858）、古井贡酒（sz000596）、山西汾酒（sh600809）等纷纷跟涨。消息面上，中信建投（sh601066）表示，当前烟酒终端已经处于库存低位，需求修复将能快速传导至酒企，龙头白酒仍有较好的成长空间，全年预期或逐步提升。 -
数字江恩今天 05:16:18
目前市场都在犹豫、等待，这里到底是和上周的3388一样，还是真要拉上去3400上震荡，等待3390突破确认。3388前高，都到边上了，突破一下才有诚意 -
冯矿伟今天 05:15:43
从能量守恒到偏离 -
徐善武今天 05:15:19
总体来说，今天的大盘是比较平稳的，虽然主力净流出增大，但多数个股表现还是非常不错，特别是机器人（sz300024）、AI相关的板块，这几天都在资金流入做多。所以还是那句话，如果达到预期了，看情况选择进退，这个市场就分几类人，有贪心的，有胆小的，有冲动的，有谨慎的，有知足的等等，所以就按照自己的来就好了。下午的行情我还是保持早上的观点，今天只会是一个冲高回落的走势，但回落的空间不会太大，因为现在大趋势依然是向上的，所以尾盘还是有希望收一根小小十字星阳线。
