OpenAI：目前处境与未来规划
近日，Humanloop CEO Raza Habib与OpenAI创始人Sam Altman一起讨论OpenAI的近况与未来的规划。
目前OpenAI严重依赖GPU
在讨论中的一个主题是，OpenAI目前严重依赖于GPU，并且这一点已经导致了他们很多短期计划的延迟。用户们抱怨最多的是有关API的可靠性和速度的问题。Sam对这些表示认同，并解释说，大部分问题是由于GPU短缺引起的。
更长的32k上下文无法广泛应用于更多人。OpenAI尚未解决O(n^2)的关注度规模问题，虽然他们可能很快就会有100k - 1M个标记的上下文会话窗口（今年内），但要突破更大的会话窗口需要研究上的突破。
GPU可用性也限制了API的微调。他们尚未采用高效的微调方法，如Adapters或LoRa，因此微调的运行和管理都需要大量的计算资源。未来将会有更好的微调支持。他们甚至可能会举办一个由社区贡献模型的市场。
专用容量供应受到GPU可用性的限制。OpenAI提供了专用容量，允许用户拥有模型的私人副本。但是如要使用这项服务，客户必须先承诺花费10万美元的费用。这样的限制导致了只有少数客户能够享受到这种服务。
OpenAI的短期路线图
2023年是OpenAI发展的重要一年，他们有一些令人兴奋的计划和目标。让我们来看看他们在接下来的两年里的计划。
1. 更便宜、更快的GPT-4
OpenAI的首要任务是推出更便宜、更快的GPT-4。他们致力于降低"智能的成本"，并努力进一步降低API的费用。这将使更多的人能够使用OpenAI的技术，从而推动人工智能的普及化。
2. 更长的上下文窗口
在不久的将来，OpenAI计划实现更长的上下文窗口。目前，API的上下文窗口可以容纳几千个tokens，但在未来，这个窗口可能会扩展到高达一百万个tokens。这将使模型能够更好地理解长篇文本和对话，并提供更准确、连贯的回复。
3. 微调API
OpenAI计划将微调API扩展到最新的模型。这意味着开发人员将能够根据自己的需求对模型进行微调，以获得更加个性化和适应性强的输出。这将为开发人员提供更多的自定义选项，使他们能够更好地满足用户的需求。
4. 有状态的API（A stateful API）
目前，当你使用OpenAI的聊天API时，每次调用都需要传递相同的对话历史，并支付相应的tokens费用。然而，未来的API版本将支持有状态的功能，即API将记住对话历史。这将提高用户的体验，使对话更加连贯和自然。
2024年是OpenAI迎接多模态性的一年。作为GPT-4发布的一部分，他们将展示多模态的能力。这意味着模型将能够处理多种类型的输入数据，例如文本、图像、音频和视频。目前由于技术限制，这一功能还无法在开放给所有人使用。
Plugin"没有实现PMF"，可能不会很快出现在API上
对于许多开发人员来说，通过API在外部调用ChatGPT Plugin的功能，是他们非常期待的，但Sam表示这个功能不会很快发布。就目前Plugin的使用情况来看，除了联网功能外，其他使用情况表明它们还没有达到PMF（Product-Market Fit，即产品与市场的匹配度）。人们真正想要的是在他们自己的应用程序中使用ChatGPT的能力，而不是在ChatGPT内部使用。
OpenAI会避免与客户竞争——除了ChatGPT
很多开发者表示，他们担心使用OpenAI的API构建应用程序时，OpenAI可能发布与他们竞争的产品。但Sam表示，OpenAI不会发布除了ChatGPT以外的更多产品。他说，一个伟大的平台公司拥有一个杀手锏级的应用程序就够了，ChatGPT的愿景是成为工作中的超级智能助手，但OpenAI不会触及更多其他GPT用例。
需要监管，但也需要开源
尽管Sam呼吁对未来模型进行监管，但他并不认为现有模型是危险的，认为对其进行监管或禁止是一个大错误。他再次强调了开源的重要性，并表示OpenAI正在考虑开源GPT-3。他们尚未开源的原因之一是对于有多少个人和公司有能力托管和提供大型模型表示怀疑。
缩放法则（Scaling laws）仍然有效
随着时间的推移，有许多文章声称"大模型的时代已经结束"，但这种说法并不完全准确。根据OpenAI内部的数据显示，模型性能的缩放法则仍然有效，也就是说，通过增加模型的规模，我们可以继续提升性能。
尽管缩放率可能无法永远保持不变，OpenAI已经在短短几年内将模型规模扩大了数百万倍，进一步增加模型规模可能并不可持续。但是，这并不意味着OpenAI将停止尝试扩大模型规模，只是意味着他们可能会调整增加的速度，每年只增加一倍或两倍，而不是增加多个数量级。
总之，缩放法则仍然是一个重要的概念，通过增加模型的规模来提升性能是可行的。虽然未来的扩大速度可能会放缓，但这并不改变缩放法则的基本原理。对于实现人工通用智能来说，缩放法则的持续有效性意味着我们正朝着这个目标迈进的道路相对较短，尽管仍然面临一些挑战，但我们离实现AGI的时刻更近了一步。
AGI代表"Artificial General Intelligence"，翻译为"人工通用智能"。AGI是指具有与人类智能相当或超越人类智能水平的人工智能系统。它不仅仅是在特定任务或领域上表现出色，而是能够在各种不同的任务和领域中进行智能决策和学习。与之相对的是"Artificial Narrow Intelligence"（ANI），即"人工狭窄智能"，指的是在特定任务上表现出色的人工智能系统，但在其他任务上可能表现平平或无能。
目前，大多数现有的人工智能系统都属于ANI，例如图像识别、语音识别、自然语言处理等。AGI的目标是开发出一种能够具备广泛智能能力的系统，可以在多个领域进行自主学习、适应和执行复杂任务。实现AGI是人工智能领域的一个长期目标，其具体实现方式和时间表目前仍然存在很大的不确定性。