AI智能体的炒作与现实：GPT-4都撑不起，现实任务成功率不到15%

作者：机器之心发布时间：2024-05-28

AI 智能体的宣传很好，现实不太妙。

随着大语言模型的不断进化与自我革新，性能、准确度、稳定性都有了大幅的提升，这已经被各个基准问题集验证过了。

但是，对于现有版本的 LLM 来说，它们的综合能力似乎并不能完全支撑得起 AI 智能体。

多模态、多任务、多领域俨然已成为 AI 智能体在公共传媒空间内的必须要求，但是在具体的功能实践中所展现的真实效果却差强人意，这似乎也再次提醒各个 AI 智能体初创公司以及大型科技巨头认清现实：脚踏实地一点，先别把摊子铺得太大，从 AI 增强功能开始做起。

近日，一篇就 AI 智能体在宣传和真实表现上的差距而撰写的博客中，强调了一个观点：「AI 智能体在宣传上是个巨人，而现实却很不妙。」

不可否认的是，自主 AI 智能体能够执行复杂任务的前景已经引起极大的兴奋。通过与外部工具和功能的交互，LLMs 可以在没有人为干预的情况下完成多步骤的工作流程。

但现实证明，这比预期的要更具挑战性。

WebArena 排行榜（一个真实可复现的网络环境，用于评估实用智能体的性能）对 LLM 智能体在现实任务中的表现进行了基准测试，结果显示即使是表现最好的模型，成功率也只有 35.8%。

WebArena 排行榜对 LLM 智能体在现实任务中的表现进行的基准测试结果：SteP 模型在成功率指标上表现最为良好，达到了 35.8%，而知名的 GPT-4 的成功率仅达到了 14.9%。

什么是 AI 智能体？

「AI 智能体」这个术语并没有真正被定义，对智能体究竟是什么也存在很多的争议。

AI 智能体可以定义为「一个被赋予行动能力的 LLM（通常在 RAG 环境中进行函数调用），以便在环境中对如何执行任务做出高层次的决策。」

当前，构建 AI 智能体主要有以下两种架构方法：

单一智能体：一个大型模型处理整个任务，并基于其全面的上下文理解做出所有决策和行动。这种方法利用了大型模型的涌现能力，避免了将任务分解所带来的信息丢失。
多智能体系统：将任务分解为子任务，每个子任务由一个更小、更专业的智能体处理。与尝试使用一个难以控制和测试的大型通用智能体相比，人们可以使用许多更小的智能体来为特定子任务选择正确的策略。由于上下文窗口长度的限制或不同技能组合的需要等实际约束，这种方法有时是必要的。

理论上，具有无限上下文长度和完美注意力的单一智能体是理想的。由于上下文较短，在特定问题上，多智能体系统总是比单一系统效果差。

在见证了许多 AI 智能体的尝试之后，作者认为它们目前仍为时过早、成本过高、速度过慢且不够可靠。许多 AI 智能体初创公司似乎在等待一个模型突破，以开启智能体产品化的竞赛。

AI 智能体在实际运用中的表现并不够成熟，这体现在输出不精确、性能差强人意、成本较高、赔偿风险、无法获得用户信任等问题：

可靠性：众所周知，LLMs 容易产生幻觉和不一致性。将多个 AI 步骤连接起来会加剧这些问题，尤其是对于需要精确输出的任务。
性能和成本：GPT-4、Gemini-1.5 和 Claude Opus 在使用工具 / 函数调用方面表现不错，但它们仍然较慢且成本高，特别是如果需要进行循环和自动重试时。
法律问题：公司可能需要对其智能体的错误负责。最近的一个例子是，加拿大航空被命令向一位被航空公司聊天机器人误导的客户赔偿。
用户信任：AI 智能体的「黑箱」性质以及类似示例使得用户难以理解和信任其输出。在涉及支付或个人信息的敏感任务中（如支付账单、购物等），赢得用户信任将会很困难。