陈巍：GPT-4究竟会展现出怎样的能力？
作者 陈巍 中关村云计算产业联盟、中国光学工程学会专家
3月14日，OpenAI发布了最新NLP(自然语言处理)大作“GPT-4”。GPT-4的技术报告里把OpenAI团队作为唯一作者。参与项目的有数百人，堪称新时代的AI登月工程。
能看明白图梗的大型多模态模型
与ChatGPT稍有不同，GPT-4是一个大型多模态模型(输入图像和文本，文本输出)。其中GPT是生成式预训练模型的缩写。大型多模态模型可以广泛用于对话系统、文本摘要和机器翻译。一般情况下，大型多模态模型包括额外的视觉语言模型组件(VLM)。
GPT-4实际上是在2022年8月完成训练的，直到2023年3月14日才发布。在发布之前，OpenAI一直在对该模型进行对抗性测试和改进。GPT-4的内容窗口能支持多达32000个token(令牌)。
但更为有趣的是，GPT-4已经能看懂一些图梗了，不再仅仅是对话助手。当然，这离大家期待的看懂视频还有一段距离。
据OpenAI介绍，虽然目前GPT-4在现实场景中的能力可能不如人类，但在各种专业和学术考试上表现出明显超越人类水平的能力，包括大家熟悉的GRE考试，堪称考试小能手。
这对孩子们是不是一个坏消息？例如，GPT-4在模拟律师考试中，分数排在应试者的前10%左右。GPT-4也优于现有的其他语言模型。相比之下，GPT-3.5的得分则在倒数10%附近。如果GPT-4来做中国的高考卷，是不是能上北大清华了？
GPT-4技术特征和不足
与ChatGPT类似，GPT-4也是一种基于Transformer的大模型，支持多国语言，经过预训练可以预测或自动生成文本。
OpenAI表示，对GPT-4而言，训练后的对齐(Alignment)是提高性能和改善体验的关键。从技术上看，人类反馈强化学习(RLHF)微调仍然是GPT-4的要点。考虑到LLM(第四代大型语言模型)领域的竞争格局和GPT-4等大型模型的安全隐患，OpenAI暂时还未公布GPT-4的模型架构、模型大小、训练技术。
相对于GPT-3.5和其他大语言模型，GPT-4在复杂任务上表现出更可靠、更有创意，并且能够处理更细微的指示的关键特征。GPT-4可以接受文本和图像提示，并允许用户指定任何视觉或语言任务。例如，GPT-4可以在给定由分散的文本和图像组成的输入的情况下反馈文本输出(例如自然语言、代码等)。在带有文本和照片的文档、图表或屏幕截图方面，GPT-4 也驾轻就熟。此外，GPT-4包括few-shot和思维链提示。对于公众来说，图像输入仍然是仅供内部研究预览，并不公开。而且，这次GPT-4直接整合入Bing搜索引擎之中。
GPT-4也有一些不足，例如仍然会一本正经地胡说八道，上下文连续对话轮次有限，并且无法从经验中学习。因此如果不对GPT-4的使用进行安全性限制，GPT-4可能会产生大量的认知偏差、虚假信息，甚至侵犯个人隐私。另外，由于数据集时效的原因，GPT-4缺乏对2021年9 月之后的事件的了解。GPT-4有时会犯一些简单的推理错误，也可能会像人类一样在技术难题上出现错误，例如GPT-4可能在生成的代码中引入安全漏洞。
训练价值和安全性技术表现如何？
OpenAI表示，在过去2年的GPT-4研发中，超算和训练技术表现出至关重要的价值。OpenAI与Azure的超算团队一起，共同设计了针对大模型训练的超级计算机，为GPT-4的训练提供了关键的算力支撑和研发加速。OpenAI在GPT-4技术报告中，甚至把Supercomputing lead(超级计算领导)和Infrastructure lead(基础设施领导)的排名放在了预训练模型团队的最前面。
OpenAI的团队从理论基础层面进行优化，改进了GPT-3.5的一些bug，使得GPT-4能够前所未有地进行稳定高速的训练。这方面可以看出OpenAI团队的数学和计算理论功底。
从技术报告描述的模型训练过程来看，GPT-4的训练与GPT-3.5类似。包括SFT(有监督微调)的预训练、基于RLHF(人类反馈强化学习)的奖励模型训练和强化学习的PPO(近端策略优化)算法微调。与之前的GPT模型不同的是，OpenAI使用基于规则的奖励模型(RBRM) 在PPO微调期间向GPT-4提供额外的奖励信号。
OpenAI投入了大量资源来提高GPT-4的安全性和一致性。包括引入专家进行对抗性测试和红队测试，模型辅助的安全流水线以及安全指标的改进。OpenAI引入的安全专家达到了50多人，覆盖AI一致性风险、网络安全、生物风险等领域。
与ChatGPT一样，OpenAI使用强化学习和人类反馈 (RLHF) 来微调模型的行为，以产生更符合用户意图的响应。但当给定不安全的输入时，模型可能会生成不良内容，例如提供有关犯罪的建议。另外，模型也可能对安全输入变得过于谨慎，拒绝无害的请求。
