本文概述了大型语言模型(LLMs),重点介绍了chatgpt的出现及其各种应用,如编程、信息时效性等,以及GPT-3的大规模应用。接着,着重介绍了大企业和小企业如何利用LLMs和AI技术,以及普通脑力劳动者如何面对AI技术的变革。这种变革已经发生,GPT-3是其中的转折点,大型企业可以拥有自己的LLM,而中小企业如果不能很好的利用AI,将会面临技术劣势。因此,如果要走在变革中,企业必须拥有良好的AI能力,并且能够不断更新。
以上是使用AI生成的本文简介。
chatgpt的出现,让LLMs走进了普通人的视野。同时,也让传统的AI助手变成了原始人。
chatgpt向我们展示了LLM目前的天花板。而且这个天花板还相当高。基于这个天花板,我们也可以分析哪些问题是可能使用AI来解决的。
chatgpt是预训练模型。它所包含的知识有限且会有偏重。
chatgpt可以通过fine-tuning来获取垂直领域的能力。编程就是一个很好的例子。目前chatgpt在其它领域胡诌八扯,但是写的程序基本上不会有太大问题。大概是因为在实现codex和copilot的过程中,喂了大量的编程语料。
chatgpt对中文的理解基本没有太大问题,但是回答会有很多一本正经的胡说八道的情况。估计是因为中文语料投喂不足。
chatgpt目前存在着信息时效性差的问题。但是随着基于gpt-4的微软new bing的到来,AI可以实时检索网络信息,从而获取最新的消息。从而, 可以回答需要结合时效信息的问题。
💡 ChatGPT大概的诞生流程
深入一些的思考
随着gpt应用的深入,各种领域的语料都会被用来对模型进行fine-tuning。一个个AI老专家的诞生只是时间问题。同时,AGI在LLM大突破之后,也会有相应的进化。产生一个能同时理解各种信息的AI一样也只是时间问题。
人类最独特的地方就是思维。语言是思维的载体。我们不只是与别人交流或者读写时在使用语言。我们的思考也是基于语言的。LLM(大型语言模型)已经把语言玩明白了。
gpt是一种生成模型。其输出最后确实会经过一个softmax层输出,也就是其结果是基于概率的。但是,这个概率又是如何产生的呢?我们人类得出下一个词的方式又是什么呢?我们都不清楚。
至于这是不是思维就更不好确定了。我们人类对自己的思维过程完全了解么?并不。我们对于gpt的运算过程完全了解么?并不。两边都不够了解,那就没办法给出确切的结论。尤其对于我们这些非科研工作者,就更没必要非得下个什么结论了。
目前的LLM还不具备大量代替人类的能力。而且,与其说AI代替人类,不如说使用AI的人代替了另外一些人。但是,我们如果现在不考虑如何参与这个技术变革进程的话,等到AI真的开始替代人类的时候,一切都晚了。
从gpt2开始,LLMs的体量越来越大。GPT-3更是依靠着大力出奇迹的方式,以1750亿参数的庞大模型实现了惊人的效果。
AI 技术的转折点其实在GPT-3就已经发生了。但是chatgpt让包括非信息产业从业者也了解到了技术变革已经发生了。
他们可以拥有自己的LLM。训练一个LLM从GPT-3开始就已经是一个带家非常高昂的过程了。据说开销在千亿美元级别。拥有了LLM,就相当于构建了一个平台。通过这个平台,可以收编各个领域的佼佼者。
他们也许有能力对LLM进行fine-tuning的同时,对LLM做一定的修改,从而构建一个在某个垂直领域非常强大的AI。这样的一个AI将会大幅降低领域内工作所需要的人力,从而节约大量成本。虽然要向基础LLM所有者缴纳AI税,但肯定是相当值得的。
如果不能很好的利用AI,其成本将远超同类型,但是会好好利用AI的企业。从know-how的积累到员工的培训,从企业目标制定、市场调研到实际的生产过程,甚至是企业的内部管理,在没有AI的支持的情况下, 效率都将落后10倍甚至更多。
从业务角度来说,如果有自己独到的数据,应该考虑在云端通过fine-tuning构建垂直领域AI。就目前的状况来看:
应该马上着手整理自己的各种业务、技术相关的知识和经验。
梳理成较为适合用作模型训练的数据。
为了防止核心数据被云端利用,可以考虑使用一部分数据来fine-tuning一个模型。
评估自身业务与AI的契合程度。
AI可以帮助我们以更高效的方式思考和工作。要学习如何与AI沟通,如何利用AI的能力提高自己的效率。比如,过去要调用一个API,需要一遍遍的查阅各种文档、例子以及教程。现在,只要一句话,我们就能得到一段几乎可以直接使用的代码。但是,同时也要加强自身知识的积累。未来能留存下来的人,除了能利用AI,也要能发现AI的问题。互补才是生存之道。
作为一个22年码龄的老码农,在被ChatGPT震撼之后,胡言乱语。但是,我实话实说,写了这么多年代码,让我感到害怕的程序,我还是第一次遇到。。。