【花师小哲】鉴定网络热门（？）AI（6）——Prompt

今天讲一个大件，也是最近非常火的提示（prompt）工程。让我们来看看最近的prompt已经卷到了什么程度。本文大概总结了十五六篇prompt相关的论文，链接就不一一发出来了（有些也是师兄整理的），大家如果有兴趣可以私戳我要。

0.prompt是什么

首先还是再介绍下prompt。

如果大家玩过ChatGPT的话，应该知道你的输入是会影响输出质量的。例如如果你单纯说“给我写一封信”是很难达到你想要的效果的，如果你说“请帮我写一封情书，送给ChatGPT”那么输出的结果就会更倾向于符合你的预期。对于其他大语言模型（LLM）来说也是一样。

另一点就是在我们做一些数学题时，如果题干有提示的话做起来会更轻松一些，如果有答题示例就更好了。

没错，提示（prompt）就是这么一种东西，就是为了让你的输入能够更好地获得预期输出的一种东西，或者说对于单纯输入的修饰。

写好prompt能够使得输出结果的质量高非常多。所以现在有很多厂家招收提示工程师（一如前几年招收调参工程师一样）。

当然，在学术界，prompt的研究也早就卷起来了，我们就随便按几个类别来说一下吧。

（本篇不是什么正经综述，分类都是随便分的）

1.增强方法

就我个人来说，很多增强方法都属于prompt。

所谓增强，简单来说就是补充额外信息。补充的途径是多种多样的，最经典的就是new bing为代表的检索-增强。我们知道ChatGPT是端到端的模型，本身不存储和更新任何知识，所以对于2022年及之后的新信息都不知道，对于一些冷门知识也不知道或知道的不准确。而搜索引擎可以一定程度上弥补这一劣势。

检索-增强本身很简单，搜索到有用的东西，就连同你的输入一起给大语言模型了。所以我们会看到用new bing都是先检索的。

其他的增强方法还有借助外部知识库的增强，还有背诵-增强（例如我们问π的小数点后第5位是什么，我们就可以先问ChatGPT π是多少，再问它小数点后第5位是什么）等

2.思维链CoT

思维链整体也可以看做是一种prompt工程，或者说一种研究的比较多的可以独立出来的一种特殊prompt。

简单来说，思维链就是一步步地思考。就像我们做数学题一样，一步步得出结果。我个人认为，思维链能有作用还是和语言模型的预训练方式有关。

思维链也有很多种形式，例如最基本的就是在输入问题后加一句“Let's think step by step”（这一句也是实验出来的，加其他的句子整体效果都不如这一句）。其他的还有思维链演示等方法。

当然，作为一种明星prompt方法，CoT也卷的厉害。例如多路CoT、自动CoT、子问题CoT等。

3.多路提示工程

我自己做的一种分类，我们发现，很多prompt都是多路的方法。

我们知道，对于同样的输入，ChatGPT是可以输出不同的内容的。最基本的想法是，我们让ChatGPT多输出一些结果，然后整合结果，效果应该会更好。这种做法也被大量的应用，举个例子：

这也是最近比较火的MathPrompt。我们知道ChatGPT为代表的大语言模型的数学基本都比较差，这种方法就是试图提升数学能力的提示工程。它不让大语言模型直接解题了，而是让它写代码或表达式之类的来生成答案。一个基本思想是，如果python代码和表达式的输出一致，那么答案就更可能对。就像我们做题的时候可以用两种方法来做，就可以互相验证。

对，可以看到，多路的好处就有可以互相验证、可以得到输出分布并进行采样等。

4.多模态提示工程

既然有了纯视觉的提示工程，当然离不开多模态，我们为什么不能把视觉、声音等模态加进去呢？

事实上真的有，这里就简单列举两个吧：

（1）先知：

【花师小哲】当代炼金术（神经网络）前沿（24）——往语言大模型里塞视觉模态

（2）苏格拉底：

谷歌的一个多模态prompt框架，是将其他模态都转化为语言模态，或者说以语言模态为中介来做的。不过这个好像是要人工设计prompt的。

可以看到，现在大部分多模态都仍然是以语言模型为核心

5.大语言模型自己生成prompt

最后放王炸。没错，前不久传的提示工程师这个岗位刚出现就要消失了，就是因为语言模型已经可以自己生成合适的prompt了。

其实并没有那么惊奇，语言模型早就可以在各处打工了。

以下是一个比较著名的语言模型自己生成prompt的模型：

具体不展开讲，但我们会发现，作者在这里让一个大语言模型以三种身份在工作（或者一个人打了三份工）。其实这种大模型循环也不是什么新鲜事了。

6.结语

可以看到，关于提示工程现在已经卷的很厉害了。现在很多做机器翻译的在做的都是积累怎么改进prompt能使得翻译效果很好的经验了。我们会看到，ChatGPT未来将会被用在各种各样的地方，例如有些人已经把ChatGPT取代知识库了，有些人已经用ChatGPT做教师了，已经有人Learning from ChatGPT feedback了。

这种势头应该还会持续很久。不过prompt真的就是通向通用人工智能的答案了吗？未来AI研究的范式就是如此了吗？可能还有待于进一步观察。