陈根：训练ChatGPT，难以想象的昂贵
文／陈根
没有算力支持的ChatGPT都是讲故事。ChatGPT的核心三要素是：数据、模型、算力，而算力是训练的基础条件。
对于一些企业而言，或许可以鼓吹自身有所谓的数据优势，不论这些数据是搞质量数据，还是垃圾数据，但对于炒作概念而言，包装一下也能糊弄。而至于模型层面，也可以鼓吹包装一下，只要有点人工智能方面的研究人员，也能倒腾出一个四不像的模型出来。
但是训练的算力炒作不了，也包装不了。可以说，目前在国内只有屈指可数的几家具有强大云服务的企业又这个训练的基础，其他企业都不具备。不仅不具备，如果这些没有强大的云服务的公司要进行这种大模型的训练，很快就会破产，因为成本实在太高。
GPT-3训练一次的成本约为140万美元，对于一些更大的LLM模型，训练成本介于200万美元至1200万美元之间。根据国盛证券估算，今年1月平均每天约有1300万独立访客使用ChatGPT，对应芯片需求为3万多片英伟达A100GPU，初始投入成本约为8亿美元，每日电费在5万美元左右。
单一从ChatGPT训练的成本层面来看，国内号称AI四小龙的商汤科技、旷视科技、依图科技与云从科技，都不具备训练的资本实力。在营收微薄，以及巨额亏损的情况下，谈训练ChatGPT就是一场玩笑。