AIGC“尖峰系列”丨龙波博士：语言大模型的技术展望、应用前景及创业误区
3月15日，OpenAI推出ChatGPT4，AI能力再次进化，引发刷屏级传播。当大多数人谈及ChatGPT时，往往会从技术视角去预设很多关于“未来”的可能性，甚至还有人预测人类文明将从碳基文明转向硅基文明。但如果我们往更深、更远处去探讨会发现，ChatGPT完全是按照人类学习语言的模式进行发展的。不同角度、不同视野，得出的结论大相径庭。能否透过现象看本质，决定了我们是否能够抓住ChatGPT即将带来的无限可能性。
3月10日，由码脑发起的「一起向未来」AIGC系列活动第三场举行，本期邀请到了Meta/Facebook商业化人工智能研究团队负责人，曾任Linkedin AI团队负责人、推荐及机器学习团队创始人之一，京东搜索推荐平台事业部副总裁，News break创始团队成员的龙波博士，为大家带来了一场精彩的分享，内容涉及“语言大模型的技术发展思考、落地展望、创业误区”等多个维度。
以下为演讲精选
01
以人为中心视角 把握不确定的未来
今天分享的题目涉及语言大模型的技术应用以及创业误区，我想以人为中心视角为大家进行展开。ChatGPT给人本身的能力带来巨大冲击后，大家都在思考：机器为什么能有这么强的能力？它不仅能够理解人、帮助人，还能在某些方面超过人。正因有这样的疑虑，就会导致大家很容易从机器和技术的角度看问题。
有人说，由于ChatGPT的出现，将来的文明都可能是机器创造的，人类文明将由碳基文明转向硅基文明，这是典型的从机器角度看问题。如果你从整个语言大模型的技术发展路线去看，就会发现ChatGPT是完全按照人类学习语言的模式发展的，是人创造了ChatGPT，是人创造了语言大模型。从人的语言学习能力模式来看，ChatGPT的技术路线是比较清晰的，ChatGPT能有如此惊艳的表现，也和OpenAI对技术方向的长期坚持有关系。
从应用角度来看，如此强大的ChatGPT应该在各个领域都得到有趣的应用。但也正因为ChatGPT很热门，大家都在想怎样让它落地、创业，或者进行下一代技术突破。所以难免会产生一些不切实际、非理性的期待和想法。我今天还是回到人的本质上去做一些分享，希望可以为创业者或想在这个技术上有追求的开发者提供一些落地的，以及解决用户痛点的思考。
02
语言大模型的技术发展回顾
2019年，我们在KDD数据挖掘会议上做了“基于深度学习的自然语言处理（NLP）”的分享，其中就讲到了NLP最重要的技术发展过程。当时我们的总结也是如此，NLP的发展和人本身的语言学习能力非常Match，沿着这个思路，最后一定会出现ChatGPT这样的技术。
我们来回忆一下人的语言学习过程：第一步是学习单个的单词；第二步是学习几个单词连在一起的短语；第三步开始学习整个句子；然后是几个句子连在一起的句子串；再下来是基于整篇文章上下文的理解，在以上过程中会逐渐发展一个重要的能力，就是能够理解一篇文字中最重要的那些关键词以及他们相互之间的关系；接下来，就要发展出专业的语言能力，一般都需要进行刻意训练，刻意训练最常用方式就是阅读理解考试，通过考试得来的反馈，从而修正提升自己的语言能力。
如果我们回顾NLP的技术发展，会发觉它和人的语言能力发展过程是一脉相承的。最早的NLP是基于unigram，也就是单个单词出现的频率，制定我们人类学习语言的第一步；NLP再往下发展出n-gram，用卷积神经网络(Convolutional Neural Networks, CNN)中的Mask把临近的几个词组合在一起来理解,这比unigram的效果要好；更进一步是RNN，RNN可以沿着整个句子进行信号积累，这个比n-gram的效果又更好，对应的是人类语言学习过程中对整个句子的学习；接下来NLP的Sequential Modeling是对多个句子的理解，并且在翻译领域取得了巨大的成功；再往下，Attention Modeding（注意力模型）出现了，这是NLP的一个转折点，因为它对应了人的一个至关重要的语言能力：在上下文中理解关键词以及他们之间的关系，为什么我们在熟读一篇文章时，哪怕一目十行也能读清楚？原因是我们在快速扫描过程中把关键词挑出来了并且理解他们之间的关系；以注意力模型为基础，Transformer可以理解更广阔的上下文，并且多头的注意力模型能让它从不同角度来理解一篇长文的上下文，从风格、关键词、句子关系等各个角度来理解。
基于transformer的已经非常大了，再往下怎么才能进一步提高语言模型呢？这几天的ChatGPT出来之前好像并不清楚，但是如果按着人类语言能力发展过程来看，技术思路就会比较清楚，应该通过学习和考试的迭代模式，通过高质量的迭代反馈来提升，这对应了人类语言学习中的刻意训练，通过专业的老师和高质量的教材进行反馈，来激发和提升在以前学习中激发的能力，这就是ChatGPT的关键技术——RLHF的思路。实际上在RLHF之前，有研究者把GAN用在NLP上，也是类似思路，但是没能突破高质量标注数据这一点。
03
ChatGPT成功的关键技术——RLHF
一般公认为RLHF（人类反馈强化学习）是ChatGPT成功的关键技术。在ChatGPT出现的时候，GPT3的数据量、模型本身都已经很大了。它的弱点是对话还是不够行，写出来的东西还不能完全符合人的预期。我们都知道，大语言模型是没有监督的，大量的把几千亿Token的文本都输入进去，不需要人专门去标注。大数据量使得大模型具备极大的潜能，但是庞杂的信号使得它的错误率还是比较高的。
要成为一个领域的专家，那一定是通过读好的大学、进修博士或者找到一个能给你高质量知识的老师，ChatGPT也是这样的思路。ChatGPT以前的模型虽然知识量很大，但整体的质量还是上不去，是不是可以考虑用高质量的数据帮助它。所以，他们花时间花人力去产生了高质量的数据，希望通过Fine tune（微调）把大数据形成的潜在能力激发出来。
他们把数据放在模板中，让ChatGPT跟人交流，让ChatGPT明白人要做什么。第一部分是通过人的标注，让机器知道人的意图。第二部分是要让机器学会人的有礼貌、政治正确。所以，你偶尔会发觉ChatGPT的回答，有一套自己的准则，背后的原因就是这些回答都是标准的数据。但这样的数据不可能多，最早ChatGPT团队也就40个标注人员做这个事，但质量很高。虽然小一点，但由于很多潜在的答案在大数据中已经有了，通过Fine tune效果会出奇的好。
怎样才能让它继续提高呢？最重要的还要让它自己能够比较好坏，这样才可以更灵活的做出高质量的回答。这部分数据不可能让人写，但是ChatGPT已经有这个初步能力了，要想让它自己写十个Version，只需要给它一个，就可以瞬间完成，再把十个不同版本交给标注员打分，并用这个样本去训练一个奖励模型。还有一个方法是用Reward model做标记。产生一个，就给它打分，这和前面讲到的GAN逻辑原理是一样的。这个技术能让他准确的知道用户要求，并产生符合预期、有礼貌且政治正确的文本，这些都让ChatGPT非常惊艳。
如果再回过头去看ChatGPT的技术路线，你会发现它完全符合人对语言能力的期待。这也说明，用一个视角和原则来看待技术路线，对我们非常的重要。方向把握住了，有一个相对优秀的工程团队，再经过反复地 迭代，坚持做正确而又难的事情，才会产生比较好的效果。
04
大模型技术展望
谈ChatGPT的展望之前，我们先看一下它被公认的局限性。
第一个是ChatGPT的数据比较落后，目前所有的数据都是基于2021年以前的。由于数据增加的成本非常昂贵，这也使得它不太轻易会把基础模型重训，新的数据进不去，就会导致它的知识落后，在这里提供一些解决的思路和方案：
● 是否能把最新的数据直接Fine tune（微调），不用重训，至少便宜一些。但Fine tune可能的弊端是无法保证数据的及时性，几百亿的巨大数据量，Fine tune完成以后，可能也影响不了它，且模型质量会下降。但如果到一个专业领域的Fine tune，就可以针对特定的领域让它发挥最大的作用。此外，多长时间Fine tune一次，做出来的效果都还是比较有挑战的。除了在一些特殊的领域，Fine tune 想增加时效性，可能是一个比较困难的技术路线。
● 能不能把搜索引擎和ChatGPT结合起来做一些事？众所周知，谷歌天天爬网络，可以快速取回最新的内容。ChatGPT大模型是否也可以把关键词拿到搜索引擎里，直接取回新的内容。这样会让ChatGPT既能有一台大模型的通用能力，同时也可以把最新的数据取回来、融合进去，这可能是一个思路。这一点对谷歌这样的公司来讲，是比较容易做到的。
另一个局限就是ChatGPT的“准确性”，ChatGPT有时候会一本正经地胡说八道，比如你问它松鼠鳜鱼怎么做，它会告诉你先抓一只松鼠。怎样解决这个问题？这一点很重要。特别是你把ChatGPT落到专业性很高的领域，这是绝对不能够容忍的。现在的解决方法是利用专业的数据做Fine tune，用专业数据在该领域做高质量的输入，也可以是人工标注，也可以是行业本身积累的专业数据。
一些专业领域的知识图谱就可以告诉它该行业最基本的知识，比如化工领域，试剂之间的关系都是非常清晰的，不能有任何的错误。医疗领域中药物相互之间的关系和副作用，都有比较严格的知识图谱。把这些行业的知识图谱作为ChatGPT的输入，是比较容易做到的。当ChatGPT理解人的意图以后，就很容易再去查询它，并拿到确切的信息。这也很符合人的做法，拿不准的时候找专业书看一下，保证它是真实的，所以Knowledge graph也是一个思路。
此外，ChatGPT的逻辑性也被人诟病。大语言模型本身是基于统计模型的，这方面不可避免，刚出来的时候，你给它一个很基本的逻辑问题，它也不能解决。现在简单的问题解决了，复杂的还是不行。很多东西它回答得 不错，是基于所有回答的经验，并且数据的质量高。但如果数据有噪音，或者压根没有出现过的时候就会犯错。因为它本身是基于概率模型去回答的，而不是自己推理。
这样的缺陷可能是因为它对语言之间的思维模式理解还不够，第一次让它去做智商测试，它能做、也能回答。但是你问它作为这样的一个智商问题，应该用什么样的方式做更好？其实它能回答出做的步骤，下一个问题变成用上面说的方法再解答。当它能够采用步数解决的时候，得分就变高了。其实它有解决问题的能力，但不知道怎么用，这个非常有趣。解决逻辑问题，更多的是让它学习逻辑结构，这一点也得到了验证。他们内部发觉在给ChatGPT大量代码数据训练以后，ChatGPT的逻辑明显更严密了。代码的逻辑性是很强的，给它更多的逻辑范式，它可以自己进行扩张，会让它的思维能力变强。
ChatGPT的逻辑性并不强，当我们专门Fine tune的时候，加上逻辑性最强的数据，也有可能让它的归纳整理能力增强，这只是一种想法，但我觉得很有可能会发生。因为它把那些Pattern抓出来，看起来学了杂乱无章的东西，反而把它组合起来之后更容易激发它的潜能。
要保证真正的推理能力，还可以采用知识图谱+宪法学习的方式。知识图谱包含了所有的推理，把知识图谱作为输入的数据，让它学习逻辑性。同时还可以把最基本的假设、前提也学到。要想机器说话时遵守一些原则，可以直接告诉它这个模型应该去遵循，这就是宪法学习，ChatGPT已经在用了。
如果机器能够在大量数据中总结出原则，并去验证，它的推理能力就会越来越强，这和人产生的归纳推理能力是同样的道理。下一步，可能把宪法学习和Self learning结合起来，让它自己总结并不停的应用原则，有可能是通过自己产生数据来回馈，有可能是通过模型互动，也有可能是另外有一个专门产生宪法的模型企业跟它互动，这些都是一些比较前沿的想法，将来可能会有人去验证。
ChatGPT的自动学习能力是大家想看到的，既然它现在都这么聪明，从GPT3到GPT4是不是就变得更聪明了？基于反馈的强化学习，是人精心设计了模型和数据，ChatGPT有没有可能自己寻找可以提高的数据？我们问它一个问题，它会给一个答案，再问它，它再给一个答案。所以，ChatGPT本身在跟用户交流过程中，它是一直在寻求反馈的，而且它能够主动寻找目标，当它对用户的意图理解很清楚时，对把握不大的问题，它可以主动给出多个选择。通过这种迭代，你会发觉它越来越能直接给你准确答案，也许ChatGPT正在这样做。
再者是模型的互动增强，个人觉得语言大模型将来会有不同的角色，有的是对话，有的是语言质量把关，能够把最好的数据挑出来，分给ChatGPT，ChatGPT也会向这个数据质量模型进行反馈。AI有可能在将来发展成一个生态，不同类型的语言模型之间可以互相增强，不同角色的语言模型可能通过互动进行自我增强和学习。
因为语言模型的可解释性没有做到，所以现在的语言模型还很难做。比如还搞不清楚我给了这个Input，为什么它最后给我的是这个结论。这个领域很多人都在做研究，早期的研究可以从输入、输出的相关性上理解它，现在有一些研究，认为一段话里有两个关键词起了最重要的作用。可解释性如果能够做好，反过来会让模型自我迭代学习能力提升。
05
语言大模型的应用落地展望
从人的信息需求类型来看，第一类是人和机器的信息互动，包含接受信息和输出信息。输出信息的目的是完成任务，接受信息的目的是寻找信息。
主动接受信息就是现在的搜索引擎，ChatGPT将来可能会改变现在的搜索形式，毕竟ChatGPT的方式可以让人获取信息更高效。谷歌对这件事情非常紧张，而且已经开始有新的搜索引擎出来做这个事情了。把ChatGPT和搜索引擎放在一起，最简单的是有一个插件，把ChatGPT和谷歌各放一边，输入关键词，两边的答案都出来了。
ChatGPT做到一定程度以后，可能把网页综合在一起，给你一个最满意的答案。这需要满足两个特点，第一要具有专家性，一旦它胡说八道，比搜索引擎的危害大得多。搜索引擎是有参考的，ChatGPT是直接给你一个答案，如果没有专家性和正确性，误导就会很大，所以一定要在这两点上做巨大的突破。
再者是它的个性化会做的很好，每个人寻求的侧面不一样，它给你的答案可能是你最能接受的，这也会变得很高效。当然这也有损害，从某种意义上来讲，它会影响人的思维，让你看到的东西越来越窄。这比头条上的信息茧房会更加厉害，你会信任将来的专家引擎，长此以往，你的思维模式都会受到影响。这是属于人文的挑战，需要大家一起来解决。
以现有推荐引擎为代表的被动接受，去一个网站不给搜索词，也不告诉它想要什么，推荐引擎会猜你喜欢什么，头条就是典型。推荐引擎目前还是靠不停的滑、不停的点来找到自己喜欢看的东西。ChatGPT会让个性化的互动引擎真正成为现实，即使在你不确定找什么的时候，通过跟你的简单交互，也能迅速找到你最感兴趣的个性化东西，即使被动浏览，效率也会被提升。
输出信息就是希望人把任务完成，现在有各种各样的智能助手只能完成简单的任务，但ChatGPT不同，它能接受非常复杂的任务，引导你把需求表达出来，帮你把输出不准确的信息澄清，让你高效地完成任务。
未来，LLM + Task API Store或许会产生巨大的ToB机会，LLM语言大模型真正解决了人和机器的交互，机器只要能够去完成各种任务，就需要有各种专业的任务接口，就像今天的APP Store，有订机票的API，有写文章的API，有帮助你投资的API。当你去跟LLM交流的时候，它会调专业的API来完成任务。Task是商业应用，定义很清楚，大家也愿意去投入，必然也会产生大的收益。我认为它首先能解决的，就是让云服务发生革命性的变化。当ChatGPT了解以后，就能够执行所有云服务上的服务，比如让它拷贝一个文件，甚至完成一个云服务的配置文件，而所有的云服务都是这些小的服务串起来的。
再比如，你现在要创业做一个垂直电商，肯定要建推荐引擎。以前至少要有一两个懂推荐模型、懂数据后端、前端的连接起来。现在由于ChatGPT对于这些任务的深刻理解，再加上现在大量API的出现，将来很有可能只需你告诉她这是我所有的商品数据，我要建一个商品的推荐引擎，它就可以自动完成。
如果你给它原始数据，开始训推荐模型，模型怎样部署，怎样接到用户的Requires、怎样做Service，它也可以自动完成，这里面蕴藏着巨大的机会。我觉得微软是用BING+ChatGPT和谷歌竞争，谷歌也不见得在那儿会落后。如果微软用这个把它的Azure做好，区别于WS建云服务的话，倒是可能有巨大的收获。虽然没有听到人说，但有可能有人在做。
人和人的信息互动，为什么需要机器兼容呢？这是有落地可能的。如果需要提高效率，肯定就有用户痛点，有痛点就能挖掘出应用。举个例子，当两个人语言不通的时候，交流是很困难的，ChatGPT很有可能让同声翻译达到两个人自由流畅交流的程度，虽然现在的同声翻译已经发展很好了，但ChatGPT会让它更厉害。它会把一些很细微的意图，甚至是同一个语言都不太能理解清楚的内容，在翻译的时候完全消除。
什么情况下人和人的交流需要提高效率？再举个例子，对话的两人语言相同，但知识层次相差很大，比如医生和病人之间的交流。如果让ChatGPT的介入，就可以远远比医生解释得 更好。大家都在往这些领域想，比如它能不能代替医生问诊，这里面是一个专业的交流，还是有一定的风险，模型最好的迭代方式，可能是参与其中自我学习，而不是简单的通过训练。如果它收集数据的方式是全程参与，在这样训练场景下取得的数据是很有突破性的。举个例子，我们想培养一名年轻的医生，通常会让他跟随其他有经验的医生一起对病人问诊，当带入那个情景的时候，他会成长得 很快。ChatGPT也是一样，如果最后能够落地和介入、是收集数据的一个有效方法，也许会有创业者能想到怎样去做实践。
除了一对一，还有多对多的互动，比如说内容生产，我要写一篇营销文章发给很多人看，有不少人在做这个事情。还有一些不那么明显的，比如社交平台有没有需要提高效率的地方？很有可能有。朋友多了，朋友圈看不完，ChatGPT很有可能把一天里所有朋友发的信息的重点罗列出来，这就是效率，社交平台很快会出现这样的工具。
开会过程中，多人交互完了以后，大多数人记的会议纪要通常都很琐碎，ChatGPT能够给出最简洁、最精确的总结。换句话说，在多对多的互动中，只要你有提高对话效率的诉求，ChatGPT都能够提供帮助，因为它对信息的总结和理解要更高效。
06
语言大模型的创业误区：
盲崇技术、忽略成本
语言大模型的创业误区，有以下几点。
第一，ChatGPT出来以后，由于它过热，有很多人在想怎样创业，这很有可能导致没把一些原则性的东西想清楚，就开始盲目崇拜技术，或许并不能带来好的落地效益。如果你要做技术突破，你可能真需要去想技术突破的点在哪里，遵循什么原则才可能突破。
第二，硬件很重要，如果硬件支撑不住，就做不了，其实这也在告诉我们要思考成本，基础模型训练一次，一千多万美元。不做基础模型，一个API call也是两美分，你用人家的API还有各种的限制。你必须要理解成本在什么地方？才有可能看到利润。能不能成功还是取决于用户痛点，还得从人的角度去解决问题，而不是因为一个技术神奇就拿出来用了再说，这些也会成为创业的误区。
创业一定不能去崇拜现有的技术，而是要突破现有的技术，建立自己的技术壁垒。只有这样，才可能成就一家在技术上有造诣的公司。Open AI能把ChatGPT做成这样，也是因为没有追求短期的经济效益，选择坚持长期主义，最终才得以突破。真正像ChatGPT这样有很大突破的技术，它一定有自己的长期主义。你只有坚信自己的技术路线，坚信自己看到的用户痛点，并坚持去做，才能见到效果。