ChatGPT的成功，是用海量的数据
一个公式和七大创业方向
我们惊叹于ChatGPT的智能水平，但有意思的是，OpenAI公司本身并没有发明新的技术，他们用到的大部分技术，都是开源的。
其中最关键的技术，出自2017年谷歌8位工程师联合发表的一篇论文，这篇论文里讲了一个深度学习模型，叫Transformer，就是GPT里的“T”。
细节不提，简单说：Transformer模型的技术原理，是一场“概率游戏”。比如，我说一个“我爱”，模型就会猜测第三个字最可能是“你”。
既然是概率游戏，提高概率最根本的方法，就是增加测试次数。“我爱你”之所以最容易被联想，是因为在日常生活中，我们听到、看到“我爱”后面跟随“你”这个字的次数最多。
所以，ChatGPT的成功，是用海量的数据，驯化出了一个成功的人工智能。ChatGPT的胜利，是量变到质变的结果。
他们训练GPT-1的时候，用了7000本未发布的书籍，数据参数量是1.17亿，但到GPT-3，他们从45TB数据中挑选了570GB进行训练，参数量达到了1750亿。
这个过程还用到了Transfomer算法模型，这个模型模拟了人类对知识的存储、处理、理解、推理。但这里面并没有特别的技术，只是算法上加上足量的训练数据，ChatGPT实现了像真人一样跟你对话。
而OpenAI能处理如此大量数据，还有一个很重要的原因是：微软给它提供了至少一万枚英伟达芯片支持，成本超过10亿美元。
面对 ChatGPT的成功，我们可以总结出一个 AI 进化公式：AI=算法×算力×数据