炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！
文｜杨泽原 丁奇 马庆刘
Meta发布Llama 3模型，包含80亿和700亿参数两大版本，模型架构、训练数据、预训练方案、后训练流程四大优化下，模型效果达到同级最强水平，或将在数月内发布具备多模态能力的4000亿参数规模大模型。新模型为AI应用开发带来全新活力，加速国产模型行业向头部集中，建议持续关注相关领域的头部AI公司。
▍事项：北京时间4月19日，Meta在官网发布Llama 3模型，包含80亿和700亿参数两大版本。商业上，Meta维持开源策略，Llama 3模型将上架AWS、Databricks、Hugging Face、Azure等主流模型库和训练平台。公司同时宣布其他模型版本已在训练中，包括最大4000亿参数的版本以及具备多模态能力的模型，将在未来数月内陆续发布。
▍模型能力全方位优化达到同级最强效果，期待后续对标GPT-4的多模态版本。
测试集表现上，Llama 3-8B在标准测试集上表现优于Gemma-7B和Mistral-7B Instruct，Llama 3-70B测试集表现达到Gemini 1.5 pro和Claude 3 Sonnet同等水准并有小幅领先。同时Llama 3基于后训练流程改进实现错误拒绝、回复多样性、对齐效果等方面的优化，并进一步优化了模型逻辑、代码生成和指令跟随能力。多方位全面提升下，两大版本模型达到同级别最强水准，70B版本在专家评估中明显战胜Claude 3 Sonnet、Mistral Medium等同级模型。Llama 3距离GPT-4-turbo、Claude 3 Opus等最前沿模型仍有一定差距，但根据官网显示Meta宣布已有包括4000亿参数模型和其他具备多模态能力的模型正在训练中，测试集表现已达到GPT-4-turbo同等水准，将在未来几个月内推向市场。
▍四大优化支撑模型能力提升，验证Scaling law有效性拉动算力需求。
Llama 3较Llama 2实现四大底层优化：1）模型架构调整，分词器更加高效提升模型效率，引入分组注意力查询（GQA）机制带来更强推理效率，参数量更大的Llama 3-80B和Llama 2-70B具备同等推理效率。2）训练数据规模提升，训练数据集规模提升到15万亿，较Llama 2有7倍提升，模型训练更充分，其中5%以上的数据为优质非英语文本，带来更强多语言能力。3）预训练方案优化，依托scaling law调整算力、数据和参数规模，算力上通过线程优化较Llama 2实现3倍训练效率提升，数据上突破Chinchilla law用更大数据量追求理想模型效果。4）后训练流程优化，结合SFT、PPO、DPO等流程，通过倾向排序学习，Llama 3实现逻辑和代码能力升级。安全层面，除了进一步升级模型对齐外，Meta为Llama 3配置更强安全模型Guard 2提升输入和输出安全性。Llama 3再次验证Scaling law可行性，模型参数与预训练数据规模增长对模型效果提升依旧有效，有望持续拉动算力需求增长。
▍商业影响：高性价比催生AI应用繁荣，加速国产模型向头部集中。
本次Llama 3模型不片面追求模型规模，同规模上的效果提升使其成为下游应用开发者的性价比之选，为国产AI应用开发注入全新活力。但考虑到参数量限制使其在生成效果、多模态等核心能力上与GPT-4、Claude 3 Opus等前沿模型仍有明显差距，我们认为Llama 3短期仍难以在模型层面撼动海外格局，未来具有多模态能力的4000亿参数版本发布或将带来新影响，催化AI应用加速繁荣。对国内模型市场，而海外优质开源模型的发布使得对标GPT-3.5模型竞争力进一步降低，加速行业向头部优质模型厂商集中，具备多模态能力且全面对标GPT-4的新一代大模型成核心战略高地，建议关注未来数月内优质国产模型发布。
▍风险因素：
AI核心技术发展不及预期，AI被不当使用造成严重社会影响，企业数据安全风险，信息安全风险，行业竞争加剧。
▍投资策略：
算力层，Llama 3进一步验证Scaling law有效性，预计模型参数和训练数据规模扩增持续带动算力需求增长。模型层，海外优质开源模型冲击下，国产大模型预计将加速向头部集中。应用层，Llama 3展现同级别模型最强能力，模型性价比优异，为AI应用开发注入全新活力，未来全面对标GPT-4的4000亿参数规模模型或将在数月内推出，有望为AI应用带来全新催化。建议持续关注相关领域的头部AI公司。
本文节选自中信证券研究部已于2024年4月19日发布的《计算机行业智能网联系列 39—Llama 3：模型效果领先，期待后续版本》报告，具体分析内容（包括相关风险提示等）请详见报告。若因对报告的摘编而产生歧义，应以报告发布当日的完整内容为准。
重要声明：
本资料定位为“投资信息参考服务”，而非具体的“投资决策服务”，并不涉及对具体证券或金融工具在具体价位、具体时点、具体市场表现的判断。需特别关注的是（1）本资料的接收者应当仔细阅读所附的各项声明、信息披露事项及风险提示，关注相关的分析、预测能够成立的关键假设条件，关注投资评级和证券目标价格的预测时间周期，并准确理解投资评级的含义。（2）本资料所载的信息来源被认为是可靠的，但是中信证券不保证其准确性或完整，同时其相关的分析意见及推测可能会根据中信证券研究部后续发布的证券研究报告在不发出通知的情形下做出更改，也可能会因为使用不同的假设和标准、采用不同观点和分析方法而与中信证券其它业务部门、单位或附属机构在制作类似的其他材料时所给出的意见不同或者相反。（3）投资者在进行具体投资决策前，还须结合自身风险偏好、资金特点等具体情况并配合包括“选股”、“择时”分析在内的各种其它辅助分析手段形成自主决策。为避免对本资料所涉及的研究方法、投资评级、目标价格等内容产生理解上的歧义，进而造成投资损失，在必要时应寻求专业投资顾问的指导。（4）上述列示的风险事项并未囊括不当使用本资料所涉及的全部风险。投资者不应单纯依靠所接收的相关信息而取代自身的独立判断，须充分了解各类投资风险，自主作出投资决策并自行承担投资风险。
VIP课程推荐
APP专享直播
热门推荐
收起
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
