当前位置:首页|资讯|LLaMA|OpenAI

最强智能体Agent Q发布,Llama 3成功率飙升3倍,OpenAI神秘「草莓」遭截胡?

作者:新智元发布时间:2024-08-14

初创公司MultiOn最近发布了号称「目前最强」的Agent Q,在真实的预订任务中可以达到95.4%的成功率。网友纷纷猜测其背后有OpenAI神秘的Q*项目加持。

没有等来OpenAI的Q*/草莓项目的发布,一家名为MultiOn初创公司却抢先发布了名为Q的智能体。

非常高兴地宣布我们过去6个月的工作——Agent Q现已上线!这是一个能够推理并搜索的自监督智能体框架,并可以通过互联网上的真实任务进行自我对弈和强化学习,实现自我纠正和自主改进!

更引起关注的是,MultiOn联创/CEO Div Garg在推特上提及Agent Q时,总不忘带上这个显眼的🍓。

这引来了各路吃瓜群众的持续围观,有人猜测,Agent Q背后的大boss正是OpenAI的Q*项目。

不仅如此,MultiOn还给Agent Q开设了独立的推特账号,经常输出各种奇怪言论且「人机难辨」。

账号的背景图片以及基本信息更是处处碰瓷草莓,还直接粘贴了奥特曼之前发的自家花园草莓照片。

但神奇的是,这个神秘账号的关注者不乏各路大佬和KOL,包括Y-Combinator CEO Garry Tan、Quora CEO Adam D'Angelo、《纽约时报》专栏作家Kevin Roose、沃顿商学院AI教授Ethan Mollick,以及多名OpenAI职员。

甚至,奥特曼最近也主动开始和这个神秘账号互动,评论了它玩梗「AGI达到二级」的帖子。

MultiOn的这波操作究竟是纯粹炒作,还是配合OpenAI对Q*的宣传预热,就见仁见智了。

要么这将是迄今为止发布的最好的AI agent之一,要么Div Garg会因为牵扯上这次最糟糕的炒作而毁了公司的声誉。在人工智能社区中,这会适得其反。

撇开种种争议不谈,我们先来看看这个Agent Q究竟有多少技术含量。

根据CEO Div Garg的说法,Agent Q不仅有规划、推理能力,还有自我修复功能。他们仅用了一天的训练时间,就将Llama 3的零样本性能提升了340%,在真实世界的预订任务中由95.4%的成功率。

这是自主AI智能体在现实环境中做出复杂而可靠的决策的一大进步。

在官方发布的demo视频中,Agent Q可以执行的任务包括预订餐厅、会议、机票,其中都涉及多步的规划、推理、决策,以及与各种应用程序的交互。

虽然MultiOn的研究团队已经在官网上传了论文,但Agent Q还未开放试用,需要在等待名单中注册以申请内测机会。

论文地址:https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

官网宣称,Agent Q今年晚些时候向MultiOn的开发者和用户开放。

技术解读

近年来,虽然LLM已经彻底颠覆了NLP领域并取得了显著成就,但在交互环境中仍面临重大挑战,尤其多步推理任务,比如网页导航。

当前依赖静态语言数据集的训练方法,不足以使这些模型适应动态的现实世界互动。

Agent Q的出现是AI智能体领域的一个重大里程碑,它结合了搜索、自我反思和强化学习,能够进行规划和自我修复。

通过引入一种新的学习和推理框架,Agent Q解决了之前LLM训练技术的局限性,使其能够实现自主网页导航。

Agent Q在执行预订任务时的步骤拆解

当前方法的问题

当前的方法,如在精心策划的专家演示上进行监督微调,通常在智能体多步任务上表现不佳,其原因在于累积错误和有限的探索数据,因此在动态环境中需要复杂决策和自适应学习时,就会产生次优策略。

Agent Q方法与构件

Agent Q结合了引导式蒙特卡洛树搜索(MCTS)和AI自我反思与迭代微调方法,同时利用直接偏好优化(DPO)等RLHF算法,使LLM智能体从成功和失败的轨迹中学习,提高多步推理任务中的泛化能力。

Agent Q的关键组件包括:

1. 基于MCTS的引导式搜索:通过探索不同的行为和网页自主生成数据,并在探索(exploration)和利用(exploitation)之间取得平衡。

MCTS使用较高的采样温度和多样化提示词来扩展行为空间,确保能收集到多样化且最优的轨迹。

2. AI自我批评:每个步骤中,基于AI的自我批评都能提供有价值的反馈,从而优化智能体的决策。这种步骤级反馈对于长周期任务至关重要,因为稀疏信号往往导致学习困难。

3. 直接偏好优化:DPO算法通过构建由MCTS生成数据的偏好对来微调模型。这种off-policy的训练方法允许模型从聚合数据集中有效学习,包括搜索过程中探索的次优分支,从而提高复杂环境中的成功率。

评估实验

基于xLAM-v0.1-r模型构建的用于模拟网上商店的任务中,agent需要进行搜索以找到特定商品。

虽然RFT、DPO和集束搜索等方法也能实现一定提升,但幅度不及AgentQ。

如果同时使用Agent Q和MCTS方法,任务成功率即可从28.6%提升至50.5%,相当于平均人类水平50%。

在Open Table的真实预订任务中,agent需要执行多个步骤,包括找到对应的餐厅页面、选择合适的日期时间、根据用户偏好选择合适的座位、提交用户的联络方式,最后完成任务。

这个复杂度比Webshop明显上了一个台阶。根据实验后的统计,完成Webshop任务的平均步骤为6.8,Open Table则翻了一倍,达到13.9。

由于Open Table并非模拟数据集,而是真实的在线环境,很难进行自动化评估,因此论文使用了GPT-4-V作为评估者,根据预先定义的指标对agent每个步骤的操作给予奖励值,并标记任务是否完成。

Agent Q将LLaMa-3的零样本成功率从18.6%提升至81.7%,分数提高比例达340%,而且仅经过了一天的自主数据收集。

加入在线的蒙特卡罗树搜索后,成功率还能进一步提高到95.4%。

讨论

虽然Agent Q在上述的评估实验中都表现出了强大的网页导航、搜索、推理和规划能力,但目前所用的方法仍存在许多讨论和改进的空间:

- 推理算法的设计:目前Agent Q的核心挑战在于较弱的推理能力,因此限制了探索和搜索的策略;此外,目前在训练agent策略时,批评模型(critic)处于冻结状态,对其引入额外的微调或许有性能增益。

- 由于MCTS之前在数学和编码任务上的成功经验,Agent Q首选MCTS用于搜索,但在真实环境中可能引起相当数量的有风险的交互行为。更改搜索策略可能是较为合适的选择。

- 在线安全与交互:目前Agent Q的实际允许很大程度上的自主探索、自我评估,人类干预的程度有限。但agent的操作仍可能出现不少错误,尤其是在电子邮件、支付、存档等关键任务中。

如果不解决安全问题,就会大大限制Agent Q实际可部署的任务场景,未来可能需要额外的安全性批评模型以及human-in-the-loop的训练设置。

参考资料

https://x.com/rm_rafailov/status/1823462897751875701

https://x.com/ai_for_success/status/1823447309008490730

https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities

本文来自微信公众号“新智元”,作者:乔杨 好困,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1