GPT的下一代，可能不走前辈们的老路
GPT的下一代，可能不走前辈们的老路
随着ChatGPT以前所未有的速度火出圈，大模型也迅速从过去的遥不可及走到了我们身边。从今天开始，元碳院将开始解读大模型，依旧保持硬核且专业。今天是第四十一期，GPT已经走出了与众不同的路，它的下一步应该也不会被外人轻易猜到
最近大半年来，关于全球AI界内一哥究竟是谁，如果ChatGPT说第二估计没人会说是第一。但即便是这位“当红炸子鸡”最近也遭遇了许多麻烦，不仅全球流量下滑了10%左右，还可能与《纽约时报》等知识付费与出版企业对簿公堂。与这些相比，它每天因为维护运营而烧掉的70万美元都称不上什么大麻烦了。上周OpenAI官宣了企业版ChatGPT，堪称地表最强版ChatGPT，收获关注的同时也迈出了自救的一步。就在刚刚过去的这个周末，又有消息爆料称OpenAI一直在秘密开发与训练GPT-5，之所以经常被OpenAI的CEO奥尔特曼否认可能是因为其内部新起了个名字。
这则消息源于穆斯塔法·苏莱曼，他于2010年携手德米斯·哈萨比斯，谢恩·列格，三人共同创办了DeepMind公司。2013年，彼时尚未改名的Facebook谋求收购DeepMind，但最终没有谈拢。2014年1月26日，DeepMind被谷歌以大约四亿美元，约合29亿元人民币的报价收购。同时DeepMind要求以其为主在谷歌内部成立一个AI伦理理事会，谷歌也表示同意。也正是在2014年，DeepMind团队开始开发AlphaGo（阿尔法狗）。
2018年的苏莱曼
2015年10月，阿尔法狗以5:0的比分横扫了欧洲围棋冠军，华裔法籍职业棋士樊麾二段。这是AI首次在十九路棋盘且“分先”的情况下击败职业围棋手，“人类智慧的最终堡垒”自此开始动摇。之后的故事就是很多人能耳熟能详的了，2016年阿尔法狗战胜李世石，后来又在网上保持了连续60盘不败的纪录，并且还在很短的时间内就迭代出数个更强大的版本。2016年，DeepMind开发用于研究蛋白质折叠的AlphaFold，这是目前科学中最棘手的问题之一。2018年12月，AlphaFold成功预测43种蛋白质中的25种最准确的结构，赢得了第13次蛋白质结构预测技术关键评估（CASP）。2019年1月25日，DeepMind新开发的AlphaStar在《星际争霸2》比赛中，以10：1的优势比分战胜了人类职业玩家，让AI再次火出圈的同时也让世人再次惊叹于AI的发展之迅速，以及能力之强大。
虽然DeepMind在AI领域的研究和成果堪称丰硕，但在最近半年多的AIGC浪潮里的表现又明显是“起了个大早，赶了个晚集”，尤其是对比ChatGPT的飞速火出圈时更显窘迫。究其原因倒也不难理解，主要在于DeepMind的阿尔法系列普遍门槛不低。围棋在全球范围内的职业棋手不过数以万计，研究蛋白质折叠的更是只有百人左右，《星际争霸2》倒是受众很广，问题是谁会找注定打不过的对手玩游戏？
之前曾经说过，ChatGPT的发展思路是“C端出名B端挣钱”，从GPT-3.5上线以来就在很短的时间内聚集了大量人气，虽然OpenAI也很快就遭遇了这样那样的问题。与之形成对比的正在太平洋的此岸，很多大模型都是自发布以来就面向企业级用户。此前曾有数据统计，目前国内大模型产品已经有上百个之多，但直到上周才有寥寥数家产品通过《生成式人工智能服务管理暂行办法》备案，正式从B端走向C端，百度的文心一言也几乎是在同时就冲上了各大应用商店的下载榜榜首。
GPT-4的下一代叫什么尚不得而知，而几周前Code Interpreter推出后，许多人感觉其能力明显超出GPT-4的一截，甚至干脆直接称呼其为GPT-4.5。不过依照GPT系列的发展历程来说，仅仅一个代码解释器的能力就能让GPT-4发展到GPT-4.5，多少还是有些勉强。之前GPT系列的前三代，每次的间隔都在半年到一年左右，且参数量也在飞速上涨，从GPT-1的1.17亿到GPT-2的15亿，再到GPT-3和3.5的1750亿，GPT-4的具体参数量至今仍未公布，训练数据和具体成本外界同样不得而知。
苏莱曼在近日的采访中曾经表示，仅仅生产一个好用的GPT-4还不算危险，而增加其他能力，比如让AI能够自我迭代，自我制定目标等等才应该警惕，但依目前的水平来看那大约是十五年甚至二十年之后的事了。从算力成本的角度来看，未来AI训练的规模不可能达到训练某个模型需要100亿美元的成本，除非真的有人会花3年时间去训练一个模型，因为堆叠越多算力去训练一个越大的模型，需要的时间也会更长。虽然成本越高也可能带来更强的能力，但这不是一个没有上限的数学问题，需要考虑很多实际情况的限制。同时因为芯片算力会以成倍的效率增长，所以未来训练一个大模型的成本会远远小于现在看起来的成本。比如现在开源社区中的Llama 2或者Falcon等，只用15亿或20亿参数就获得了与1750亿参数GPT-3.5差不多的能力。
最近谷歌正在为自家的Gemini宣传造势，目标直指地表最强AI工具，消耗的算力据信已经高达GPT-4的数倍。而从目前的消息来看，Gemini可能也是混合专家大模型，除了生成图像和文本外，Gemini接受过YouTube视频转录数据的训练，也可以生成简单的视频，类似于RunwayML Gen-2。也有消息表示Gemini将结合阿尔法系列类型系统的一些优势和大型模型的语言能力。可以看到，谷歌已经在全力备战，就等着Gemini开启逆袭之路。