了解GPT-4的原理、发展路线还是要看建造者的专访,从源头过滤掉很多杂音。
比如很多人对其不屑一顾的原因是觉得不过是个复杂点的神经网络,一个预测模型而已。其实背后相当多的微妙之处连openai的几位大佬都无法言明。就像世间万物都是原子构成,但却造就了人类这样神奇的碳基文明缔造者。
所谓碳基文明与硅基文明都是元素的排列组合,最外围都是四个电子,而硅原子却比碳原子更加稳定,多了一个维度。投射在文明上,就更不容易熵增。
在归于热寂的宇宙中,谁能持续低熵的发展,谁就拥有最完全的生命力,这点硅基完胜。
未来的历史中,会不会写到是碳基的巅峰点燃硅基发展的火炬?
超量参数背后的推理能力的获得,无法解释,可能用“涌现”可以简单概括,这种技术跃迁也和原子级别的量子跃迁类似,是非线性的。
现在对GPT-4的挑错就像马车夫对刚诞生的汽车各种嘲讽,这是无力的也是蒙蔽的。
技术原理可能无法解释,安全漏洞频发,bug不断,卢德分子成千上万,但不妨碍工程学的快速进展。