当前位置:首页|资讯|GPT-4|ChatGPT

不用RLHF,匹敌GPT-4!Meta重磅发布LIMA 65B,1000个样本性能飞升,LeCun转赞

作者:新智元发布时间:2023-05-23

  新智元报道  

编辑:桃子 好困

【新智元导读】RLHF并没有那么重要!Meta最新650亿参数模型LIMA,仅用1000个样本,实现与GPT-4相匹敌的性能。

人人都知,让ChatGPT称霸天下的秘密武器,就是人类反馈强化学习(RLHF)。

而现在,Meta AI等机构的爆火研究LIMA直接打破这一规则,直言RLHF并没有那么重要!

论文一出,直接在AI圈炸了锅!

就连LeCun忍不住发推炫一番:LIMA:LLaMa-65B+1000监督样本=GPT-4/Bard级别的性能。

正如标题所称,LIMA是「Less is More for Alignment」,暗示着一个强大的预训练AI模型,通过几个样本就足以实现高质量的结果。

而LIMA仅在1000个精心挑选的样本上微调LLaMa-65B,而且无需RLHF,就实现了与GPT-4和Bard相媲美的性能。

论文地址:https://arxiv.org/abs/2305.11206

论文中,研究人员将这一突破称为「表面对齐假设」(Superficial Alignment Hypothesis)。

实验证明了,大语言模型在预训练阶段就已习得大部分知识,仅用有限的指令微调数据,足以教会模型产生高质量的内容。

高质量的数据就可以克服小样本量?训练这样模型的成本是多少,这是否意味着小型LLM玩家可以与OpenAI/谷歌竞争?

还有网友质疑,GPT-4在57%情况中击败LIMA,还能说性能相当?

RLHF并非王者?

大语言模型经过预训练,能在大规模上预测下一个token,让其学习通用表征。这些表征可以转移到几乎任何语言理解或生成任务中。

为了实现这种转移,人们已经提出各种「对齐」语言模型的方法,主要侧重在百万级token上进行指令调优。

而最近采用较多的是,从人类反馈中进行强化学习(RLHF)。这些反馈便是在与人类标注者进行数百万次互动中收集的。

ChatGPT令人深刻的表现,主要归功于RLHF。根据OpenAI的思路,RLHF分为三步。

然而,现有的对齐方法代价是高昂的,需要大量算力,以及专门的数据才能实现像ChatGPT一样的性能。

Meta AI却要逆行其道,证明了,一个预训练语言模型可以通过简单地微调精心挑选的1000个样本,就能实现强大的性能。

在此,研究人员提出「表面对齐假设」(Superficial Alignment Hypothesis),假设「对齐」可以是一个简单的过程,。

在这个过程中,模型的知识和能力几乎完全是在预训练期间学习的,而「对齐」只告诉模型学习与用户交互的风格或格式

为了验证这个假设,Meta等研究者挑选了1000个近似于真实用户提示,以及高质量响应的样本。

他们从其他研究论文、WikiHow、StackExchange和Reddit等来源进行手动挑选,训练数据的总量大约是750,000个token。

训练提示(输入)、响应(输出)以及测试提示的来源

此外,研究者手动编写了250个提示和响应的样本,同时对任务的多样性进行了优化。

最后,研究人员对预训练LLaMa 65B模型在1000个样本集上进行微调,并进行了人类评估。

评估结果

Meta将LIMA与5个模型基准进行了比较:(在2023年4月期间,对所有基准的响应进行了采样)

Alpaca 65B——利用52,000个样本对LLaMa 65B微调后得到的大模型

DaVinci003——基于RLHF训练的大语言模型

Bard——基于谷歌的PaLM模型

Claude——通过强化学习Constitutional AI训练的52B参数模型

GPT-4——目前使用RLHF训练的最强的模型

为了比较LIMA和其他SOTA模型,Meta为每个测试提示生成一个单一的响应。

然后,要求人类参与者将LIMA的输出与每个基准进行比较,并标记他们更喜欢哪一个。

在人类偏好研究中,尽管Alpaca 65B的训练数据量是LIMA的52倍,但它产生的输出往往比LIMA的不如人意。

让人大跌眼镜的是,DaVinci003也是同样的情况,虽然程度较小。该模型使用了RLHF进行训练,这本应是一种更优越的对齐方法。

而Bard在42%的时间中,其产生的回答优于LIMA。这也意味着,剩下的58%时间里,LIMA的响应至少和Bard一样优秀。

最后,研究者发现,虽然Claude和GPT-4通常表现得比LIMA更好,但在一些情况下,LIMA实际上能产生更好的回答。

另外,讽刺的是,在GPT-4的偏好研究中,有19%的时间,GPT-4更喜欢LIMA的输出。

「表面对齐假设」

Meta将这一发现定义为「表面对齐假设」(Superficial Alignment Hypothesis)。

它表明,所谓预训练后的对齐阶段,主要是让模型学会一种特定的风格或格式,这种风格或格式在与用户交互时可以被模型回忆起来。

因此,「微调」更多是关于风格,而不是实质。

LIMA的结果表明,实际上,利用简单的方法就可以解决对齐和微调AI模型这类复杂问题。

这与诸如OpenAI的RLHF那些,特别繁琐和复杂的微调过程,形成了鲜明的对比。

不过,LIMA也不是万能的。Meta认为,该方法存在两个明显的局限:

第一,用高质量的示例构建数据集是一种非常具有挑战性的方法,很难扩展。

第二,LIMA并不像已经有产品的模型那样强大,比如GPT-4。

团队表示,虽然LIMA的生成结果,在大部分情况下质量都很高。但一个「对抗性的提示」或一个「不走运的样本」,依然会让模型产生不理想的答案。

Yann LeCun对GPT-4和类似模型背后努力的相对贬值采取了务实的看法。

他将大型语言模型看作是近期的一个元素,至少在中期内不会「在没有重大变化」的情况下发挥作用。

以上,主要评估是根据最先进的模型对LIMA进行评估,但需要明确的是,其中一些模型实际上已经在训练期间使用了数百万真实用户的提示。

对此,研究人员通过手动分析50个随机示例来进行绝对的评估。

并将每个示例标记成3个类别:Fail,响应不符合提示符的要求;Pass,响应符合;Excellent,对提示提供了优秀的响应。

实验结果显示,50%的LIMA回答被认为是优秀的,它能够遵循所有的50个分析提示中的44个。

如下,LIMA针对育儿建议和生成食谱的示例进行的输出。

另外,一个仅在1000个样本上微调的模型在多轮对话中表现又如何?

在零样本上,LIMA的响应出奇地连贯,并引用了前面对话的信息。在10次对话中,LIMA有3次未能遵循提示。

为了提高对话能力,研究人员收集了30个多轮对话。其中10个是由作者手动编写,20个来自Stack Exchange,并根据助手风格进行编辑。

研究者使用组合的1,030个示例对预训练模型进行微调,得到一个新版本的LIMA,并针对相同的提示进行了10次实时对话。

实验发现加入这30个示例后生成质量显著提升,优质响应比例从45.2%提高到76.1%!

LIMA如何以「少」胜「多」

团队通过消融实验,研究了训练数据多样性、质量和数量的影响。

Meta发现,为了对齐目的,提高输入多样性和输出质量有可测量的正面效应,而单独增加数量却没有。

实验设置

团队在各种数据集上微调了一个拥有70亿参数的LLaMa模型,并控制了相同的超参数。

团队对每个测试集提示抽取5个回应,并通过让ChatGPT(GPT-3.5 Turbo)在1-6的Likert量表上评级回应的帮助性来评估回应质量。

多样性

为了测试提示多样性的影响,同时控制质量和数量,团队比较了在质量过滤后的Stack Exchange数据和wikiHow数据上的训练效果。

图5显示,更多样的Stack Exchange数据显著提升了模型的性能。

质量

为了测试响应质量的影响,团队从Stack Exchange抽取了2000个没有任何质量或风格过滤的示例,并比较了在这个数据集和过滤后的数据集上训练的模型。

图5显示,在过滤和未过滤的数据源上训练的模型之间存在着0.5点的差异。

数量

在众多机器学习设置中,都会采用增加示例数量的策略,来提升性能。

为了测试其影响,团队从Stack Exchange中抽取了呈指数增长的训练集。

但实际上,如图6所示,数据翻倍的训练集并未改善响应质量。

如此一来也暗示了,对齐的规模法则不必然只受数量影响,而更可能是在保持高质量响应的同时,提升提示的多样性。

作者介绍

Chunting Zhou是Meta AI的一名研究科学家。

2022年5月,她在卡内基梅隆大学语言技术研究所获得博士学位,在那里从事自然语言处理工作,导师是Graham Neubig。Zhou的主要研究兴趣在于自然语言处理和机器学习的交叉领域,并对开发对分布变化具有鲁棒性的方法感兴趣,目的是学习模型能够在各种群体中表现统一。

此外,Zhou还研究生成模型,及其在自然语言处理任务中的应用。

参考资料:

https://arxiv.org/abs/2305.11206


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1