科学家建立新评价基准，助力评估大模型数据分析能力
在大数据时代，自动数据分析已经成为跨技术背景人员不可或缺的工具。
以 GPT-4 为代表的大型语言模型，它们已经能够理解自然语言查询，并能生成相应的代码或分析，让自动数据分析变得更加接近现实。
例如，Devin 的成功，激发了人们对基于大语言模型的自动数据分析的广泛兴趣。
现有的数据集例如 Text2Analysis 和 BIRD-SQL，已经在一定程度上衡量了大型语言模型在处理复杂数据科学或数据分析任务时的能力。
但是，实际中的数据分析常常涉及到复杂多轮的人机交互。这是因为人类的查询往往包含模糊性。
例如，“请列出三个值得注意的对手”中的“值得注意”，就具有多重解释。
此外，有效的数据分析不仅需要生成正确的代码或答案，还要求模型能够根据用户反馈进行调整，并提供针对结果的深入理解，以便为决策过程提供支持。
鉴于交互性在数据分析中的重要性，香港大学博士生 Li Jinyang 和所在团队，启动了建立交互式数据分析代理的研究项目。
图 | Li Jinyang（来源：Li Jinyang）
研究中，课题组充分观察了用户使用 ChatGPT 的历史数据，总结出了 6 个比较关键的智能体行为。
在将观察结果转化为研究性问题之后，则要创建支持本次研究的数据集。此时，他们发现现有数据集无法满足研究需求，因此开始自主构建数据集。
虽然这类数据的生成成本较低、人力需求不高，但是评测方法的开发却需要他们逐一校验，因为数据分析的结果并不仅仅依赖于执行的一致性。
例如，在生成分类器的问题上，即便参考代码的执行结果和预测代码的结果不一致，但是根据常识只要预测代码没有问题、甚至表现更好，就应该认定为成功。
因此，他们几乎为每一个问题都设计了独立的评测代码，以确保避免假阴性的发生。
同时，他们还从模型的角度出发来思考问题，思考为什么模型犯这样的错误，以及该怎样避免。
此外，他们也探索了到底使用哪些方法，能让模型更加关注对于当前问题有价值的历史信息，以便最大程度地满足用户预期。
研究中，他们使用各种大型语言模型来执行本次任务，每一个大型语言模型在解决复杂问题时，都展现出了独特的个性或习惯。
尤其是 GPT-4-Turbo，该团队发现它呈现出一种“表现型”人格，这一点在多种测试设置中都得到了体现。
例如，在代码生成任务中，GPT-4-Turbo 倾向于产生较长的代码段，有时甚至会创造性地自定义函数，然后再调用代码，显示出一种“炫技”的倾向。
在私有（Private）场景下，GPT-4-Turbo 会更加频繁地、略带逞能地使用用户定义的函数。
最有趣的例子出现在行为（Action）模式之下，当模型需要针对模糊条件，向用户提出澄清问题时，例如面对“在所有账户中，有好的信用历史的有多少？”这样的问题时，其他模型可能只会简单询问“什么是好的信用历史？”
而 GPT-4-Turbo 则会更进一步提出假设性的问题：“好的信用历史是指他们的信用列包含‘良好信用’，对吗？”
这表明 GPT-4-Turbo 在提问之前会进行主动思考和假设，这种做法虽然能够显示出它的智能和“炫技”，但也有其风险。
假如假设是错误的，用户的回答是否定的，就会让 GPT-4-Turbo 错失理解真正模糊条件的机会。
这种“性格”特点虽然在处理复杂任务时，可能会引入错误，比如过度调用用户提供的代码从而导致执行失败，或者基于错误假设来澄清请求，但也会提升人机交互的体验感。
研究人员逐渐意识到，为了提高人机交互的效率和可靠性，用户需要适应甚至模仿模型的这些特性。
这种相互适应和学习的过程不仅提高了交互质量，也加深了人们对于智能体“性格”、以及对于交互影响的理解，从而让模型能够产生更加符合预期的结果。
整体来看，缺乏交互式数据分析的基准——是本次研究面临的最大问题之一。为了解决这一问题，他们以“斯坦福小镇”项目为启发，创建了“DECISION COMPANY”。
“DECISION COMPANY”是数据分析领域的首个多代理沙盒环境，包含客户、数据科学家、管理员和 AI ChatBot 智能体，通过此研究人员可以模拟数据科学家与 ChatBot 智能体的交互。
基于这一环境，他们开发了 Tapilot-Crossing 基准，它涵盖了从常规代码生成到处理模糊问题、私有代码库集成等多种模式，可以全面评估模型的交互式数据分析能力。
这一基准不仅包括代码生成任务，还设计了多选题任务，要求模型在代码执行后对结果进行理解、归纳和推理，提供有价值的观点。
尽管 Tapilot-Crossing 已经是规模较大、且较为全面的测试集，其构建成本也低于 100 美元，显示了利用虚拟多智能体容器生成复杂、高质量数据集的潜力。
但是研究人员的实验显示，即使配备有效工具和推理的 GPT-4-32k 模型，在该基准上的表现仍然较差（< 30%），这揭示了大型语言模型在交互式场景下的限制。
实验中他们发现，这些模型很少反思此前成功的交互信息。当面对类似问题或相关条件，模型要么是依然不停地提问，要么是忽略这些问题和条件。
因此，课题组提出了动态可迁移的交互反思策略（AIR），以改善模型的交互性能。
在交互过程中，模型可以从成功历史案例中学习。由此可见，AIR 策略能够显著提高模型对于用户指令的理解和执行效果。
总的来说，相比已有的数据科学或数据分析的学术数据集，本次数据集有效缩减了学术研究与实际应用之间的差距。
本次数据集不仅涵盖了用户的明确问题，还包含了模糊问题、用户自定义函数等场景，也包括了对于数据分析智能体交互行为的综合评估。
此外，本次数据集还能整合现实场景中的多目标用户指令特点，在平均每轮代码长度上达到了新高，更加贴近实际的数据分析代码生成任务。
研究中，课题组通过提出 CSE（Creative Self-Efficacy scale，创意自我效能量表）指标，探索了一种经济高效、且能更好反映长代码生成能力的新型评估方法，为长代码生成和评估开辟了新途径。
这就好比高考数学的压轴大题，即使有的学生最后结果错了，但是一些步骤做对了，也会给很多分。
研究中，该团队还引入了一种经济、高效的 benchmark 生成方法，旨在实现人力与成本投入最小化的同时，还能保证数据质量。
这种方法可以有效避免数据污染问题，为智能体表现评估提供保障。
同时，研究人员提出的 AIR 策略，其原理在于通过一种简单有效的反思机制，改善用户在使用智能交互系统时重复阐述需求等问题。
该策略通过分析上一轮的交互经验、以及学习用户的偏好，无需额外训练或搜索示例库，即可优化交互体验。
这一策略有望在推理相关的交互式智能系统中得到广泛应用。
日前，相关论文以《Tapilot-Crossing：针对交互式数据分析代理的法学硕士的基准测试和发展》（Tapilot-Crossing: Benchmarking and Evolving LLMs Towards Interactive Data Analysis Agents）为题发在 arXiv[1]，Li Jinyang 是第一作者。
图 | 相关论文（来源：arXiv）
下一步，研究人员打算引入更多的数据分析语言。目前，本次研究主要集中在给予表格的数据分析和 Python 语言上。
但是，他们发现关系型数据库和 SQL，在数据分析中占有不可忽视的重要位置。因此，很有必要将这些元素纳入研究范围。
此外，他们还计划针对长代码生成的评价方法加以改进。课题组意识到在当前的评价体系下，即使两段代码的执行结果相同，它们的实际性能仍然可能存在差异。
因此，其希望开发更加精细化、更加经济的软性评价标准，以便更好地区分代码的实际表现和潜在价值，从而确保面对在表面上相同的结果时，也能准确反映代码的真实能力。
参考资料：
1.https://arxiv.org/abs/2403.05307
排版：希幔