OpenAI首席执行官表示，巨型AI模型的时代已经结束
OpenAI的新一代语言模型ChatGPT近日亮相,其惊人的能力激发了人们对人工智能前景的无限想象。然而,就在大家沉醉于ChatGPT带来的无限可能时,OpenAI CEO却突然泼了一盆冷水——他警告说,ChatGPT的研发策略可能已经走入死胡同,要取得更大进步似乎已无从下手。
在过去几年,OpenAI通过将机器学习模型扩张到前所未有的规模,在语言理解领域取得了一系列令人眼花缭乱的成就。而ChatGPT很可能是其中最耀眼的星,要 BASE 在数万个强大芯片和上万亿个训练词之上,其研发成本高达10亿美元之巨。
然而,就在全世界为ChatGPT的诞生欢呼雀跃之际,OpenAI CEO却突兀地宣布,要想取得更大进步,单凭模型的体量扩张显然已不足以展开。“我们已经到达了这个时代的尽头,即纯粹依靠模型体量的放大,”他在上周对MIT学生表示,“我们需要找到其他途径来进一步提高其表现。”
CEO的这番话似乎预示,人工智能竞赛正面临一个意料之外的拐点。自OpenAI去年11月推出ChatGPT以来,微软和谷歌等科技巨头陆续推出了竞争对手产品,众多初创企业也在密鼓密追赶。 ChatGPT目前使用的还是基于GPT-3稍微升级的版本,但用户现在也可以更便捷地访问基于GPT-4的 ChatGPT。
CEO的言论意味着,GPT-4有可能是OpenAI现有策略——不断放大模型规模和增加数据量——的最后一搏。OpenAI之前的论文就已提到,单纯扩大模型规模很可能产生收益递减的问题。CEO同时也表示,OpenAI目前的数据中心数量和扩建速度已面临物理上的瓶颈制约。
一些专家表示,CEO关于单纯依靠无限放大模型规模难以取得进一步进展的判断似乎不无道理。他们认为,要想超越规模这个瓶颈,新的模型设计和结构以及基于人类反馈进行的调整方向才更具潜力。
ChatGPT的出现引发了广泛关注,但也加速了有关人工智能可能导致失业和虚假信息扩散的担忧。一些科学家和企业家最近联名向OpenAI发出公开信,请求其暂停开发任何超越GPT-4的新模型,至少暂停6个月。
上周在MIT的活动中,OpenAI CEO确认,该公司目前并没有在开发GPT-5。“有报道声称OpenAI正在训练GPT-5,但这不是真的,”他说,“我们现在并未着手这项工作,短期内也不会。”