新智元报道
编辑:泽正 英智
【新智元导读】AI大模型正从仅会聊天的LLM进化为能够执行任务的大型行动模型LAM。它不仅能理解用户的指令,还能在软件环境中自主执行任务。
LLM只能针对问题进行回答与分析?这种「隔靴搔痒」的体验也许就要被终结了!
最近,微软推出了一项名为「大型行动模型」(Large Aciton Model,LAM)的创新技术,标志着大模型从语言理解向实际执行任务的转变。
与传统的LLM不同,LAM不仅能理解用户的自然语言指令,还能将这些指令转化为具体的行动步骤,在软件环境中自主执行文档编辑、表格处理等任务。
虽然这实际上并不是一个全新的概念,但LAM是首款能够操作Microsoft Office来执行任务的模型。
论文链接:https://arxiv.org/pdf/2412.10047
不同于GPT-4o等负责处理和生成文本的传统语言模型,LAM可以将用户请求转化为实际操作。
例如同样是给一个男人买夹克,LLM只能给出文本步骤,而LAM却可以直接像女朋友一样挑选款式并网购。
哪个更加有实际效用,这就自不必多说了。毕竟谁不想有个能直接替自己去解决一些生活琐碎的「分身」呢?
LAM能够理解用户通过文本、语音或图像等各种输入方式表达的需求,并将这些需求转化为详细的逐步计划。
执行过程中,LAM能将复杂的任务分解为多个子任务,根据实时情况调整其行动策略,以应对执行过程中的意外情况。
此外,LAM还能自主探索与学习,独立探索新的解决方案。
让LLM行动起来
LAM通常建立在LLM的基础上,但是从LLM到LAM的过渡却并没那么容易,如下图所示。
从LLM到LAM的转变
将LLM转化为功能性LAM的过程涉及多个复杂的阶段,每个阶段都需要大量的努力与专业知识。
首先需要利用LLM来处理用户数据集,并生成对应的文本输出,将任务分解为行动与相应的计划。
经过微调之后,接受了任务要求的LAM就能输出对应的文本格式的行动输出。
最后将其输出反馈给智能体,让其与环境不断地实时交互。
如何开发LAM?
既然LAM能够为我们执行任务,化为我们的「分身」来帮我们与世界互动,那么如何开发与部署LAM就是一个关键的问题。
LAM的训练过程包括以下关键步骤:
1.任务分解与规划:模型首先学习将任务分解为逻辑步骤,并生成详细的执行计划。
2.行动生成与执行:将用户意图转化为具体的行动指令,包括图形用户界面操作、API调用等。
3.动态调整与优化:在执行过程中,LAM能根据反馈调整其行动策略,以提高成功率和效率。
4.从奖励机制学习:通过奖励机制进行微调训练,进一步优化模型的性能。
阶段1:任务分解与规划
在初始阶段,模型将任务分解为逻辑步骤。
研究人员以Mistral-7B作为基础模型,收集了来自多个来源的76,672个任务-计划对( , ),包括应用帮助文档、WikiHow和历史搜索查询。
在此阶段不会生成具体的行动,但模型获得了强大的规划能力,为后续的动作执行提供了重要基础。
阶段2:行动生成与执行
在此阶段,作者引入了由GPT-4o标注的任务-动作轨迹,让LAM向先进的AI模型GPT-4o学习。
将学习到的任务规划转化为可执行的动作,从GPT-4o的成功经验中汲取知识和策略,更好地理解和处理复杂任务。
本文中的示例应用是Microsoft Word,在该环境下共收集了2,192个成功的专家轨迹。每个轨迹由一系列状态-动作对( , )组成。通过对这些成功的行动序列进行学习,我们获得了LAM2。
阶段3:动态调整与优化
之后,我们让模型尝试解决GPT-4o失败的任务,通过ReAct机制与环境进行交互。
首先从GPT-4o失败的任务中采样2,284个任务,并收集了LAM2生成的496个成功轨迹,将这些数据与2,192个GPT-4o成功轨迹相结合,形成了一个增强数据集。
在这一阶段,LAM会自主探索新的解决方案,尝试解决那些曾难倒其他AI系统的问题,拓展自身能力边界,增强对不同任务和场景的适应性。
阶段4:从奖励机制中学习
尽管模型在前述阶段有所改进,但未能充分利用失败所带来的学习机会。
因此,论文引入了强化学习来解决这些问题。通过基于奖励的训练对系统进行微调,根据模型执行任务的结果给予相应的奖励或惩罚,引导模型不断优化行为策略,以达到更好的效果。
可以看到,训练LAM的过程包括四个步骤:首先,模型学习如何将任务分解为逻辑步骤。其次,通过先进的AI系统(如GPT-4o)学习如何将计划转化为具体行动。然后,LAM会独立探索新的解决方案。最后,通过奖励机制进行微调训练。
表中总结了每个阶段使用的训练数据。
LAM数据收集与构建
众所周知,数据是训练LLM的基石。类似地,LAM在监督微调阶段也需要经过精心准备的以行动为导向的高质量数据。
因此研究者采用了两阶段的数据收集:任务-计划数据和任务-行动数据,如下图所示。
任务-计划数据:在这一阶段,研究者收集包含任务和对应计划的数据。
任务是用自然语言表达的用户请求,而计划是为完成这些任务而设计的详细步骤。例如,「如何在Word中更改字体大小?」会有一个对应的计划,概述完成该任务所需的步骤。
这些数据用于微调模型,以生成有效的计划,并提升其高层次的推理和规划能力。
构建任务-计划数据的流程
任务-行动数据:在这一阶段,任务-计划数据被转换为任务-行动数据,包括任务、计划和执行这些计划所需的相应动作序列。任务和计划被细化为更具体且能够在特定环境中执行的内容。
构建任务-行动数据的流程
经过上述图中的4个处理步骤后,最终生成的动作序列类似于:
或者是
也就是能够直接与环境交互的可执行指令。
总的来说,任务-计划数据旨在增强模型的高层次规划能力,使其能够根据用户请求生成详细的逐步计划。
而任务-行动数据则侧重于通过将每个计划步骤转化为具体、可执行的步骤或序列,从而赋予模型执行这些计划的能力,并能接受环境的实时反馈。
数据收集和准备流程确保模型能够同时进行高层次规划和低层次行动执行,从而弥合了LLM生成计划与能够采取可执行行动之间的差距。
LAM的在线评估
我们将训练完成的LAM集成到GUI智能体UFO中,使模型预测的行动能够在Windows操作系统中有效执行,并与环境进行交互。
UFO智能体通过接受自然语言的用户请求,并与Windows应用程序的UI控件进行互动,完成具体任务。
我们采用以下指标对 LAM 的性能进行全面评估:
1. 任务成功率(Task Success Rate, TSR): 成功完成任务的数量占尝试总任务数量的百分比。
2. 任务完成时间: 从初始请求到最终动作完成的总时间。
3. 任务完成步骤: 智能体成功完成每个任务所执行的总动作步骤数量。
4. 平均步骤延迟: 每个动作步骤的平均耗时。
LAM在Word测试环境中的成功率为71%,而GPT-4o在无视觉信息输入的情况下,成功率为63%。
此外,LAM的执行速度也更快,每个任务仅需30秒,而GPT-4o则需要86秒,是LAM的2.8倍。
实验结果突显了LAM作为仅使用文本的模型的优势,使LAM成为实际应用中有效的解决方案。
未来展望
LAM的推出为办公自动化、复杂任务处理等领域带来了新的可能性。例如,在Microsoft Office中,LAM可以自动执行文档编辑、表格处理等任务,极大地提高工作效率。此外,LAM还有潜力在更多领域发挥重要作用。
LAM展示了其发展潜力,在商业化落地中仍然面临一些挑战,例如,控制机器人(19.130, -0.17, -0.88%)系统的LAM可能会误解指令并导致损害;金融或医疗应用中如果执行错误动作,可能带来严重的后果。
然而,研究人员相信,LAM代表了AI发展的一次重要转变,预示着AI助手将能更积极地协助人类完成实际任务。
行动胜于言辞
LAM的推出标志着人工智能从语言理解向任务执行的转变,开启了AI自主的新时代。从生成语言到执行具体动作,大模型将能在现实世界中产生直接影响,这是迈向AGI的关键一步。
未来,随着技术的不断发展,LAM将在更多领域发挥重要作用,为我们的生活和工作带来更多便利和惊喜。
参考资料:
https://the-decoder.com/microsofts-new-large-action-model-can-perform-some-tasks-in-word/
https://arxiv.org/pdf/2412.10047
https://microsoft.github.io/UFO/dataflow/overview/
APP专享直播
热门推荐
3.5万元买下北海道170平一户建,“免费送的也有”,中国年轻人“捡漏”日本低价中古房 收起3.5万元买下北海道170平一户建,“免费送的也有”,中国年轻人“捡漏”日本低价中古房
- 2025年01月18日
- 08:40
- APP专享
- 广西台新闻910
- 10,145
你还在担心集采麻醉剂不行,他们已经准备用针刺麻醉做手术了
- 2025年01月18日
- 13:58
- APP专享
- 我是山河君
- 3,867
上海七旬老人意外离世,留下430万元遗产和一套房无人继承……
- 2025年01月18日
- 09:46
- APP专享
- 我是山河君
- 3,284
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
数字江恩今天 23:37:54
如果真学佛了,就能了无牵挂,那么这个世间的就不会有那么多苦恼了,一切来源于贪嗔痴,可是贪嗔痴却是人性的一部分,又怎么能割舍得掉呢? -
数字江恩今天 23:37:49
心魔难了,来也匆匆,去却不匆匆。 -
数字江恩今天 23:37:35
前几节课程本人写了轮回力度及轮回角度所形成角度线的问题,还有对等周期的问题,大家可以看2011.4.18日那天的3067.46点的第一个下降轮回线+第二个上升的轮回线2011.7.18日的2826.96点一共用了是63天的时间,而从2011.7.18日往后数63天,正好是下行通道的时间,截止日期就是2011.10.21日,而第二天10.24虽然创了新低但是收盘却已经开始了上升通道的轮回过程,这是什么,就是轮回力度形成的轮回线的对等周期的判断,另外通过轮回力度,完全可以掌控2011.10.24反弹的轮回力度,完全可以通过前面的轮回角度来画出来。 -
数字江恩今天 23:37:26
好多人说,轮回力度与轮回角度还有轮回角度线始终不明白,那么本人就举例当下大盘的走势来做讲解,希望大家能认真学习。 -
数字江恩今天 23:37:16
本人见过太多人手中的股票一旦跌幅超过百分之十以上,基本上没有任何技术含义去操盘这支股票了,从而变成了跌幅百分之二十,百分之三十,套牢好几年。如果你真能学会本人的轮回线理论,利用轮回圈进行买卖,跌幅就算百分之二十又能如何。 -
数字江恩今天 23:37:11
另外止损,牛市行情的时候,股票止损的范围在百分之五以上,熊市行情的时候,你止损的范围必须在百分之三以下,记住你只有按照这个操作来止损,你才可以把风险降到最低。 -
数字江恩今天 23:36:44
股知道《轮回理论》之六:这里到处都是赌徒b -
股道龙门今天 23:13:40
《伏击涨停VIP特训班》上线了VIP精品内容:1、短线- 重点围绕近期人气核心,挖掘市场涨停牛股,每日早盘推荐1-2只2、中线- 精准伏击核心题材龙头,以波段策略为主,追求中长期获利为最终目的特惠订阅,点击下方链接:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
股道龙门今天 23:13:02
人气榜!【更多独家重磅股市观点请点击】 -
股道龙门今天 23:12:20
TikTok在社交媒体平台X上发表声明称,正在恢复对美国用户的服务,并将与美国候任总统特朗普合作制定一项长期解决方案,让TikTok继续“留在美国”。美东时间当天下午1时,部分美国TikTok用户已经可以访问消息、查看个人资料并阅读应用程序上的评论。美东时间18日晚,TikTok关停了对美用户服务。 (央视新闻)