@全体股民：《投资研报》巨额特惠，满3000减1000，满1500减500！【历史低价手慢无，速抢>>】
腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。
在技术创新方面，Hunyuan-large通过高质量的合成数据来增强模型训练，弥补了自然数据的不足。
其中，该模型预训练支持处理高达256K的文本序列，大幅提升了长文本上下文的处理能力，能够更高效地完成长文本任务。
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
海量资讯、精准解读，尽在新浪财经APP
VIP课程推荐
加载中...
APP专享直播
热门推荐
收起
新浪财经公众号
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
