直播回顾｜从GPT-1到GPT-4：大语言模型发展对多语言翻译的启示

3月20日，由小牛翻译主办，东北大学自然语言处理实验室协办的小牛翻译直播（NiuTrans Talk）第6期如约与大家见面了。本次邀请东北大学自然语言处理实验室马湘楠博士做客小牛翻译直播间，为聚焦机器翻译前沿技术的各位朋友分享《从GPT-1到GPT-4：大语言模型发展对多语言翻译的启示》。

本次报告就目前大热的ChatGPT及GPT-4等语言模型展开了介绍。马湘楠博士首先带我们回顾了GPT系列语言模型的简单发展历程，探讨了大语言模型面临的scaling law等问题，并分析了大语言模型所具有的涌现能力及其可能的来源。接下来，就ChatGPT的一些关键技术，如instruct tuning（指令微调）和RLHF（基于人类反馈的强化学习）等方法进行了详细的说明，并探讨了对应方法为语言模型所带来的性能提升。并简要介绍了最新的GPT-4模型的一些工作内容。然后，马湘楠博士着重从大语言模型的多语言能力出发，通过相关的工作分析了该类大语言模型的多语言翻译能力，以此探讨大语言模型对多语言翻译所带来的启示。并在报告的结尾还对大语言模型存在的一些问题进行了讨论，如毒性文本注入、缺乏事实性验证、模型偏见及非法目的滥用等。

在报告后的Q&A环节，马湘楠博士与包括B站、知乎、抖音、视频号、微博在内众多平台的网友就ChatGPT相关提问进行了广泛讨论，进一步加强了对该类大语言模型的认知，以下是本环节的问题和解答：

Q1：ChatGPT的逻辑推理能力是如何学到的呢？

A1：我们今天讨论的这种思维链技术，它很好的提升了大规模语言模型在复杂推理任务上的性能。但是思维站是一种prompt的方法，它并未对模型的参数或者是模型的行为进行改变。那么也就是说这种大规模语言模型的复杂推理能力，很有可能是模型在预训练阶段本身就已经具有或学习到的知识。我们可以通过思维链这样的方式来诱导模型使他在这种推理的相关任务上获得性能的提升。这也为我们带来一个思考，就是大语言模型中是否还有一些我们未知的能力存在。如果有的话，那我们是否能通过一些类似的方式，比如构建一些新的prompt来进一步去挖掘模型在新任务上的潜力，这也是未来研究一个很好的着手点。

Q2：ChatGPT能否实现实时信息学习呢？

A2：从文献来说，ChatGPT它的学习数据是基于2021年6月份以前的，那么它是无法进行实时信息的学习的。但是ChatGPT比较有趣的一点是我们可以通过这种上下文的交互，以历史信息的方式，为它注入一些它没有掌握的知识。或者也可以参考OpenAI前几年的WebGPT的方式，结合外部的web网页去注入新的知识。此外，GPT-4提到了一个比较关键的工作，就是它能够通过小规模的语言模型来评估大规模的语言模型损失的性能，这大幅度降低了这种大规模语言模型的试错成本。那么新的信息产生后，重新训练模型或者是对原有的模型进行微调，可能也不再那么消耗资源了。所以，虽然ChatGPT无法进行实时信息的学习，但是在ChatGPT中注入新的知识还是有很多的技术路线可以选择的。

Q3：ChatGPT在处理语言时如何处理语言之间的翻译？

A3：通过介绍可以看到在早期的GPT-2或者GPT-3里，它的训练数据并没有很多的这种多语言训练数据。但是它们具有了一些初步的多语言翻译能力。那么，我们目前推测来说，这种翻译能力可能是因为GPT这类语言模型学习到了多种语言的同一个语义表示空间。一旦学习到了这种元语义表示空间之后，语言模型就能够打破不同语言的表示壁垒，从而具备多语言翻译这样的一个能力。那么ChatGPT或GPT-4模型多语言语义理解能力的增强可能也是其翻译能力获得较大提升的一大原因。

Q4：ChatGPT可以用来完成哪些任务？

A4：目前来说，它的功能是非常强大的。学术领域来说，它可以完成之前不同研究方向上的目标任务，比如对话问答、摘要生成、代码生成等等。那么ChatGPT的提出可能会弱化这些研究问题的分界，让我们可以通过prompt的方式，针对不同的任务构建合适的提示，从而实现不同任务。那么除了研究领域之外，在应用领域ChatGPT能完成的任务也很多，比如做这种范文模板生成，或是医疗等特定领域的咨询、对话客服等等。以ChatGPT为基础的应用在最近也是层出不穷，这也侧面证明了ChatGPT功能十分强大。

Q5：ChatGPT在社会和伦理这一层面可能会存在哪些问题？

A5：作为大规模语言模型，往往会存在一系列的风险问题。比如报告中介绍到的毒性文本注入，或是缺乏事实性验证，都可能会导致这类大规模的语言模型产生一些有毒输出或无效输出的问题。此外，ChatGPT存在的这种偏见问题也可能带来一些社会性的问题。另外大规模语言模型的非法目的滥用情况也值得关注。所以关于这类大规模语言模型的社会或伦理层面的问题，需要共同的监管。

Q6：GPT和NMT 翻译能力比较如何呢？

A6：通过微软的一些实验分析，我们可以看到这种大规模语言模型的翻译性能大部分情况下还是不如神经机器翻译系统的，但是其展现出了很强的潜力。从实验的结果来看，对于这种单句的翻译来说，大规模语言模型使用这种few shot 的方式进行学习后，在一些语对上的性能已经非常接近翻译系统了。虽然说它与目前最好的有监督翻译系统还有一定的差距；特别是在一些特定的低资源语对上的效果很差，但也不失为我们提供了一种新的思路。

Q7：GPT等大模型会让我们实现通用人工智能吗？

A7：ChatGPT在一些表现形式上，其实已经很接近我们通用人工智能的目标了。但是我们还无法将它定义为已经实现了通用人工智能。鉴于它本身模型的黑盒运算，我们无法掌握它是否真的了解或者是学习到了语言方面的相关知识，还是仅仅是它的行为表现符合了通用人工智能的一些相关定义。那么OpenAI本身也发布了它的下一步智能路线发展图，会将GPT-4或者是ChatGPT的模型作为下一步AGI探索的基石，所以说这种大规模语言模型还是很有潜力的，是迈向AGI比较重要的一步 。

Q8：能否通过技术路线实现对ChatGPT的复刻？

A8：我们报告中有对GPT系列模型进行了一个简单整理，它的发展路线是非常明确的。那么我们跟随这个技术路线，能否使用这些方法去复刻一个类似的语言模型，在目前来说是比较困难的。ChatGPT发布之后，其实已经有很多的公司进行了尝试。使用这种指令微调或者是基于人类反馈强化学习的方法来改进各自的语言模型，但是从结果来说，目前还没有像ChatGPT或GPT-4这么惊艳的表现。ChatGPT不仅仅是技术的堆砌，它更是OpenAI各个部门之间团队合作的产品。可能包括大量的这种数据工程、基础设施建设、模型优化以及模型对齐等工作，所以说单从技术路线角度进行复刻难度是比较大的，实际实施起来会有很多的坑等我们去解决。

以上就是直播问答环节的全部内容，更多关于报告的详细内容可点击下方阅读原文访问机器翻译学堂（https://school.niutrans.com）观看直播回放。NiuTrans Talk，是由小牛翻译主办的，每期将邀请到不同领域的机器翻译专家进行讲解，分享行业干货知识，带你走进机器翻译的世界。更多精彩内容尽在小牛翻译直播间 ，想了解更多有关机器翻译的内容请关注机器翻译学堂或小牛翻译官方微博号，与小牛翻译一起探讨机器翻译技术。

专注于机器翻译技术基础研究50年，拥有百余人的机器翻译产学研团队，自主研发以中文为核心的NiuTrans机器翻译系统，支持388种语言随心互译。通过丰富的应用与功能，为用户提供机器翻译服务全栈式解决方案，致力于为机器翻译产业化应用提供基础平台，帮助企业级用户在国际业务中消除语言障碍。