GPT-5秘密训练中！Inflection AI计划训练比GPT-4大1000倍的模型
GPT-5仍在秘密训练中！DeepMind联合创始人在近日采访中透露，未来3年，Inflection模型要比现在的GPT-4大1000倍。开源模型可能会增加AI带给人类的不稳定和危害。而AI安全性最大的威胁来源并不是大语言模型，而是未来可能出现的自主智能体。
Inflection AI是一家人工智能公司，由Mustafa Suleyman担任CEO。该公司正在开发一种新型的个人助理，能够通过访问用户个人信息来提供高度定制化的AI服务。该公司不是一家AGI（通用人工智能）公司，其目标不是制造能够自主进化的智能体。
在近期的一次采访中，Suleyman透露了关于GPT-5的最新消息。他表示，OpenAI正在秘密训练GPT-5，而他认为，在未来18个月内，Inflection AI训练的模型比当前的前沿模型大100倍。未来3年内，Inflection的模型比现在大1000倍。
Suleyman还谈到了开源模型对AI安全性的影响。他认为，开源模型可能会增加AI带给人类的不稳定和危害。相反，Inflection AI选择将他们的模型保持在内部，并且只将其用于特定的任务。
在他看来，自主智能体是AI安全性最大的威胁来源。他指出，目前的大语言模型缺乏自主性和改造物理世界等危险要素，因此它们本身并不危险。然而，如果未来的智能体具备了这些能力，它们可能会对人类构成威胁。
Suleyman表示，为了确保AI的安全性，需要采取一系列措施，包括加强监管、制定更好的开发准则、以及在可能的情况下限制某些技术的使用。他还呼吁所有拥有大规模算力的公司保持透明，并披露他们所拥有的计算总量。
Inflection AI目前正在使用6000台H100芯片来训练他们的模型。到2022年12月，他们将拥有22,000个H100全面投入运营。每个月，他们还会增加1000到2000台H100芯片。Suleyman认为，这种大规模的算力将使他们能够训练出比GPT-4更大的模型。
与此同时，Suleyman还谈到了AI训练的成本问题。他指出，随着芯片算力的不断提高，AI训练的成本将逐渐下降。然而，训练一个非常大的模型仍然需要相当高的成本。他估计，训练一个相当于GPT-4的模型可能需要花费10亿美元。
然而，Suleyman强调，这并不意味着每个公司都能负担得起这样的成本。他指出，目前只有少数大型科技公司能够承担这样的费用，因为他们拥有庞大的计算资源和财力。
尽管如此，Suleyman仍然认为，未来可能会出现更多的公司开始尝试训练更大规模的模型。他表示，随着芯片算力的不断增长，训练这样规模的模型的成本将逐渐降低。因此，未来可能会有更多的公司开始尝试开发更大、更强大的AI模型。
GPT-5的秘密训练、Inflection AI的巨大规模以及AI安全性的问题都是当前人工智能领域的热门话题。开源模型可能会增加AI带给人类的不稳定和危害。而AI安全性最大的威胁来源并不是大语言模型，而是未来可能出现的自主智能体。
在他看来，未来可能会出现更多的公司开始尝试训练更大规模的模型。他表示，随着芯片算力的不断增长，训练这样规模的模型的成本将逐渐降低。因此，未来可能会有更多的公司开始尝试开发更大、更强大的AI模型。
虽然开源社区中的Llama2或者Falcon等模型只有15亿参数或20亿参数，但获得了有1750亿参数的GPT-3的参数的能力。开源模型会将这种力量交到每个人的手中，相当于给了每个人一个潜在的大规模不稳定破坏性的工具。而到时候，再想办法避免这些工具可能产生的破坏性后果，有人做了一个很巧妙的比喻——图试图通过用手接住雨水来让雨停下来。他曾经向监管部门解释过，AI技术未来会降低很多潜在危险化合物或者武器的开发门槛。
在DeepMind度过的10年里，他花了大量时间试图将更多的外部监督融入到构建AI技术的过程中。这是一个相当痛苦的过程。虽然他认为谷歌的出发点是好地，但它运作的方式仍然像传统的官僚机构一样。当我们设立了谷歌的伦理委员会时，计划有九名独立成员，是对于开发敏感技术过程中进行外部监督的重要措施。但因为任命了一个保守派人士，而她过去曾发表过一些有争议的言论，很多网友就在推特等场合抵制她，同时也抵制其他支持她的几个成员，要求他们退出委员会。这是一场彻底的悲剧，非常令人沮丧。
其实，当DeepMind被收购时，我们提出了收购的条件，即我们要有一个伦理和安全委员会。我们计划在伦理和安全委员会之后，我们要将DeepMind打造成一个全球利益公司：一个所有利益相关者在做决策时都能发声的公司。它是一个按担保有限责任公司设立的公司。但是当Alphabet看到设立伦理委员会发生的事情时，他们变得胆怯了。他们说：「这完全疯了。你们的全球利益公司也会发生同样的事情。为什么要那样做？」最终，我们将DeepMind合并进入到了谷歌，从某种程度上说，DeepMind从未独立过——现在当然也完全从属于谷歌。
谷歌正在研发下一代AI模型Gemini，劈柴已在I/O大会上宣布。该模型接受过YouTube视频转录数据的训练，可以生成简单的视频。Gemini的参数规模至少为1万亿，使用数以万计的谷歌TPU芯片进行训练。与OpenAI类似，Gemini也是一个混合专家模型。除了生成图像和文本外，Gemini在编码能力方面也得到了显著提升。Gemini推出后，计划逐步将其整合到谷歌产品线中。在Gemini之前，DeepMind还有一个代号为「Goodall」的模型，但GPT-4诞生后，谷歌最后放弃研发。Gemini由至少20多位高管参与研发，DeepMind的创始人Demis Hassabis领导，谷歌创始人Sergey Brin参与研发，还有由数百名员工组成的谷歌DeepMind团队，其中包括前谷歌大脑主管Jeff Dean等等。Demis Hassabis表示，Gemini将结合AlphaGo类型系统的一些优势和大型模型惊人的语言能力。
总之，GPT-5的秘密训练、Inflection AI的巨大规模以及AI安全性的问题都是当前人工智能领域的热门话题。随着技术的不断发展，人们需要密切关注这些问题，并采取措施确保AI技术的发展对人类社会带来积极的影响。