IT之家 2 月 19 日消息,OpenAI 在去年 11 月召开的 DevDay 活动中,推出了 GPT-4 Turbo,最多支持 12.8 万个 token:输入 token 是 GPT-4 的三分之一,输出 token 是其二分之一。
OpenAI 近日发布新闻稿,宣布 GPT-4 Turbo 速率上限翻番,每分钟最多可处理 150 万个 token(TPM),而且完全取消了每日限制。
OpenAI 为了防止滥用、确保公平性和管理基础架构负载,限制企业访问 API 的速率。这种限制可以防止恶意超载应用程序接口,确保所有用户都能公平访问,并通过节流指定时间内允许的请求数量,在高需求期间保持平稳的性能。
IT之家注:OpenAI 一共使用了 5 种速率限制:RPM(每分钟请求数)、RPD(每天请求数)、TPM(每分钟 tokens 数量)、TPD(每天 tokens 数量)和 IPM(每分钟图像数量)。
需要注意的是,速率限制是对组织级别实施的,对个体用户没啥影响。速率限制因所使用的模式而异,组织每月在 API 上的总支出也有 "使用限制"。