自去年12月ChatGPT发布以来,关于大型语言模型(LLM)和聊天机器人的话题几乎统治了整个互联网。各大科技巨头们也纷纷在不久后意识到了其所能够带来的无限商机。
最先采取行动的微软通过追加100亿美元投资、将ChatGPT整合进了自家搜索引擎Bing;稍显谨慎的谷歌则在花费了一定时间和精力后推出了自研聊天机器人Bard;不甘落后的国内科技巨头百度,也于近期宣布将在今年3月携聊天机器人文心一言杀入这场混战。
但一家以往一向表现激进的科技巨头却似乎有意放弃了这场“ChatGPT之战”,这家企业正是扎克伯格所带领的Meta。令人感到惊讶的是,Meta可能已是目前唯一一家仍未加入此次聊天机器人潮流的科技巨头了。
细究Meta表现反常的原因,很有可能是由于过去多次的失败尝试——其实早在2022年6月,Meta便开源了其自研的大型语言模型OPT-66B,并同年8月发布了基于OPT-66B的聊天机器人BlenderBot3,比ChatGPT早了3个月之久,可以说Meta算得上第一批涉足LLM聊天机器人的公司。
虽然彼时BlenderBot3只在美国进行了发布,但其在当时引起的轰动甚至不亚于如今的ChatGPT。在发布仅几小时后,Twitter和Reddit上便已充满了人们与BlenderBot3有趣对话的截图。
然而很快,这个“成功”的聊天机器人便走向了一场灾难。大量用户发现,BlenderBot3会发表恶性言论与虚假信息,甚至质疑扎克伯格的商业策略,称其“不道德”。这使得大量用户渐渐失去了对BlenderBot3的信任,最终,Meta眼睁睁看着自己花费重金打造的“大宝贝”逐渐走向了没落。
当然,一次的失败并没有浇灭Meta对于LLM的热情。重整旗鼓后,Meta又于2022年11月联合Papers with Code发布了另一款基于大型语言模型的机器人Galactica,相比于此前失败的BlenderBot3,Galactica具有更具体的应用领域——代写论文。
据官方介绍,Galactica由4800万份论文、教科书等素材训练而成,无论是代写论文摘要、介绍、公式,甚至是参考文献统统不在话下。不仅如此,除文本生成外,Galactica 还可以执行涉及化学公式和蛋白质序列的多模态任务。
但这一次,Meta依然没能解决LLM生成准确性的问题,虽然Galactica的账面实力看似十分强劲,但其所撰写的论文中却存在大量错误甚至是伪造内容。为了不让影响继续扩大,Meta不得不在发布仅三天后匆匆下架了Galactica。
接连的失败似乎使Meta AI掌舵人——图灵奖得主、Meta首席AI科学家Yann LeCun对LLM的信念产生了一些动摇。而近期ChatGPT以及谷歌Bard出错的消息,也仿佛给予了LeCun一定的支持。
无论是出于对自己面子的保护,还是真的从两次失败中意识到了LLM机器人的致命缺陷,如今的LeCun都已从原先的LLM拥护者转变为了LLM的抨击者。
随着相关话题热度的不断升高,LeCun也开始通过各种渠道积极揭露大型语言模型以及聊天机器人的不足。在近期由Collective Forecast组织的在线讨论中,LeCun表示:虽然在公众眼中它们是革命性的,但就底层技术而言,如今的聊天机器人不是多么了不起的创新。
此外,LeCun还多次在Twitter上表达了自己对ChatGPT的不屑:它无法扩展,也永远不会成为通向强人工智能的正确道路。扩大自动回归的LLM根本无法使聊天机器人达到人类智慧水平。除了纠正语法、完成句子或总结文章外,我不认为ChatGPT能做更多正确的事情。
LeCun认为,像OpenAI这样的小公司没有什么可以失去的,他们当然能够利用不成熟的技术和产品为自己炒作。但大公司选择蹚这趟浑水显然是非常不明智的,尤其是当人们都看到了使谷歌损失1000亿美元的失败尝试后。
其实长久以来,Meta在人工智能领域的投入始终保持在各大科技企业的前列,Meta人工智能团队的大多数创新都进入了他们的广告业务,直至现在,他们仍在努力将自研的人工智能模型及算法转化为可以带来收益的产品。
LeCun指出,由于BlenderBot和Galactica的失误,Meta长期以来一直因传播虚假信息而受到指责。如今的Meta希望能够更加严格的把控他们所发布的工具与内容,而不是盲目利用聊天机器人潜入当前的“人工智能热潮”,并再次犯下相同的错误。
不管是由于此前失败所带来的阵痛,还是掌舵人观念的转变,如今的Meta的确正在回避这场全球瞩目的战役。在一次有关生成式人工智能的采访中,LeCun表示:扎克伯格关于元宇宙的长期梦想仍在进行中,自己也同样认同一个事实,即生成式人工智能可能可以在元宇宙中得到最好的实现。而当谈到大型语言模型和聊天机器人时,现在的他们似乎更愿意在远处坐山观虎斗,积极寻找谷歌、微软或是OpenAI正在犯下的错误,并从中吸取足够的经验。
参考链接:
https://analyticsindiamag.com/meet-the-ai-genius-who-is-obsessed-with-llms/
http://www.myzaker.com/article/63e3902e8e9f094fe76b7af7/
https://analyticsindiamag.com/why-meta-took-down-its-hallucinating-ai-model-galactica/