■ ChatGPT 是网络文本的一张“JPEG”

■ ChatGPT 是网络文本的一张“JPEG”

可将 ChatGPT 等大语言模型视为网上所有文本的压缩数据。就像一张模糊的JPEG，是对图片的有损压缩。GPT对文本内容的补全和JPEG数据恢复成图像，都是在已有数据基础上，根据概率，对缺失数据进行填充。
这一精妙的类比来自 Ted Chiang 发表在 Newyorker 的文章。Ted Chiang 是科幻小说《你一生的故事》的作者，这部小说在2016年被改编成电影《降临》。

> https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

文中还有提到压缩文本和理解文本的关系，也做了一个类比：

假设有个写了一百万个加减乘除四则算式的文本文件要压缩。尽管任何压缩算法都可以减小这个文件的大小，但要达到最大压缩率的方法可能是推导出算术原理，然后编写计算器程序的代码。使用计算器，你不仅可以完美地重构文件中的数百万个示例，还可以重构原文本中没有的，将来可能遇到的任何的四则算式。

对于人类学生来说，死记硬背并不是真正学习的指标，因此 ChatGPT 无法从网页中生成准确的引述正是让我们认为它学到了一些东西的原因。当我们处理单词序列时，有损压缩看起来比无损压缩更聪明。

当然，ChatGPT 还推导不出算数原理。这些类比也只是辅助我们理解技术。