ChatGPT参数规模曝光，仅7B引发热烈讨论
近日，ChatGPT 惨遭攻击，参数规模终于被扒出来了 ，很可能只有 7B(70 亿)。这是来自南加州大学的一项最新研究，该研究团队采用了一种独特的攻击方法，以不到1000美元的成本，成功探测出OpenAI旗下热门模型gpt-3.5-turbo的未公开配置信息，这一发现可能对该公司的透明度政策提出新的挑战。
研究团队指出，通过精心设计的攻击手段，他们破解了gpt-3.5-turbo模型的嵌入向量维度，这一关键参数此前一直为OpenAI所保密。据悉，该模型的嵌入向量维度或为4096至4608之间。值得一提的是，这一维度范围与多数已知开源大模型在参数规模为70亿时的设置相吻合。
此消息一出，立即引发了业界对于OpenAI模型参数规模的讨论。此前，有关gpt-3.5-turbo参数规模的猜测层出不穷，甚至有微软CODEFUSION论文意外泄露的信息指出其参数规模可能高达200亿。然而，该信息在后续论文版本中被删除，引发了关于模型优化和压缩技术的广泛猜测。
南加州大学的研究团队进一步分析了这一发现对OpenAI透明度政策的影响。他们认为，尽管这种攻击方法不能完整窃取模型参数，但揭示了大模型API供应商在保护模型机密方面的脆弱性。同时，这也为用户提供了一种检测模型变更的手段，可能有助于建立供应商与客户之间的信任关系。