划重点
腾讯科技讯 国外媒体日前撰文指出,最近几周时间,开源大型语言模型方案激增。在人工智能领域最终能够击败OpenAI和谷歌的并不是其他大型科技公司,而是免费试用、不限制使用次数的开源人工智能产品。以下为文章内容摘要:
今年2月,Facebook母公司Meta发布开源机器学习模型LLaMA,让学者们能够免费获得这款能够理解对话语言的复杂机器学习模型的访问权限,人工智能产业由此迎来爆发式发展。几周内,学者们把Meta提供的模型转化为开源软件,使它们成为ChatGPT和其他专有人工智能软件的免费替代品。
加州大学伯克利分校计算机科学教授扬·斯托伊察(Ion Schmidt)说,免费的人工智能模型现在在性能上“相当接近”谷歌和ChatGPT的开发者OpenAI的专有模型,大多数软件开发人员最终会选择使用免费的模型。斯托伊察本人也使用Meta的技术帮助开发了一款重要的开源人工智能模型。
如果说斯托伊察的观点是正确的,那么开源人工智能可能颠覆谷歌、OpenAI、微软和其他出售专有模型访问权的公司的商业计划。相反,任何人都可以用很低的成本获得强大的人工智能工具,Meta反过来也可以得到回报。
斯托伊察是利用Meta的研究开发Vicuna的学者之一。Vicuna是一款开源语言理解模型,于3月份发布。Vicuna模型是基于LLaMA的微调模型,是由加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的成员共同提出的。他们从shareGPT收集了大约7万个对话,借鉴Alpaca的微调方式,将LLaMA模型进行微调。最终实现了chatGPT大约90%的质量,但是训练成本仅300美元左右。Vicuna的质量和开源人工智能的快速发展,也让谷歌高级工程师卢克·瑟诺(Luke Sernau)向同事们发出了警告,谷歌为了赶上OpenAI,专注于专有软件,这可能让谷歌在竞争中落后于开源社区。
“如果有没有使用限制的免费、高质量的替代产品,谁会为有使用次数受限的谷歌产品付费?”瑟诺在内部备忘录中写道,该信息得到了证实,并由SemiAnalysis首次发布。他写道,开源人工智能开发正在“击败我们”,并补充说,“谷歌应该在开源社区中确立自己的领导者地位”,并“放弃对我们模型的一些控制。”
即使瑟诺在这份备忘录中的观点可能夸大了开源人工智能的能力,并低估了其成本和其他风险,它仍然引起了整个行业的共鸣,包括一些谷歌员工也有同感。但大多数人工智能从业者同意备忘录的一个结论,也就是Meta将从发布模型中获益。Meta在内部使用人工智能模型进行内容推荐和广告定位。随着开发人员改进Meta发布的模型,Meta将能够把这些改进纳入其内部人工智能应用之中。
今年4月,当Meta首席执行官马克·扎克伯格(Mark Zuckerberg)财报电话会议中被问及公司的人工智能战略时,他表示:“如果行业对我们正在使用的基本工具进行标准化,那就更好了,我们可以从其他人的改进中受益。”
与斯托伊察共同开发Vicuna的伯克利大学的研究生郑联民(Lianmin Zheng)说,虽然Meta发布的模型LLaMA不能合法地用于商业目的,但是Meta为研究人员提供了足够的信息来复制用于商业应用的模型。
谷歌没有对人工智能软件采取完全专有的办法。2020年,早在ChatGPT出现之前,谷歌就发布了开源语言模型T5,让开发者能够构建可以完成翻译和编写摘要等任务的软件。它随后发布了更先进的版本Flan-T5。但是根据斯托伊察和其他从业者的说法,Meta发布的软件允许对谷歌模型进行重大改进,这使得工程师更有可能喜欢基于Meta软件的模型。
OpenAI的开源模型
谷歌在开源人工智能领域发挥更大作用的压力,可能会因为另一个原因而增加。据一位了解该计划的人士称,谷歌在人工智能领域的主要竞争对手OpenAI准备向公众发布一款新的开源语言模型,该计划此前从未报道过。目前尚不清楚OpenAI是否打算让其即将推出的开源软件,夺回被Vicuna或其他使用Meta模型开发的软件抢占的势头。不过OpenAI不大可能发布一款与其正在销售的专利模型GPT竞争的产品。尽管GPT的前两个版本是开源的,但OpenAI目前高达270亿美元的估值取决于未来最复杂的商业人工智能不是开源的。截至目前,OpenAI的发言人对此报道未予置评。
像Vicuna这样的开源模型只需要几百美元的训练费用,用户可以选择避免向软件提供商支付昂贵的费用。相比之下,谷歌、OpenAI和微软一直在出售对其专有模型的访问权,企业可以将这些模型用于一系列目的,包括自动化客户服务、总结医学研究或生成营销文案。去年,微软开始出售OpenAI开发的模型的访问权限,微软为OpenAI投入了上百亿美元,而谷歌和亚马逊今年开始向外部开发者出售他们的模型。
不过最近几周时间,开源替代方案激增。除了像Vicuna这样基于Meta软件的模型,工程师们还可以选择德国非营利组织LAION以及Databricks和Stability AI等初创公司的其他模型。斯托伊察创建了一个网站,试图衡量这些开源模型与专有模型(如OpenAI的GPT-4)的质量。
斯托伊察说,与开源软件相比,谷歌仍然有两个优势。如果谷歌利用其用户数据库,其模型在一些专门用途上可以表现得更好,如内容推荐,因为这些数据是外人无法获得的。谷歌发言人对此表示,该公司没有在现有用户数据的基础上训练其“基础”人工智能模型。他表示,谷歌在管理大规模计算机基础设施方面的专业知识,意味着它将能够以更低的成本运行人工智能软件模型,包括为其云客户。作为对ChatGPT的回应,谷歌上周宣布对Bard背后的专有模型进行一系列改进。
与此同时,OpenAI在从数百万人与ChatGPT的互动方式中收集数据方面占据了先机,这无疑有助于它改进人工智能软件,而且这家初创公司手握使用微软计算基础设施的优惠协议。
不过开源人工智能软件允许更多公司使用专有数据来自行解决问题。斯托伊察说,举例来说,一家航空公司可以利用其数百万客户服务电话的日志来创建自动响应。媒体在今年3月份报道称,彭博社使用其数据训练了一个更好地理解金融信息的机器学习模型。根据开发者社区Discord中的消息,工程师们一直在试验使用Vicuna进行创造性写作和编程。
斯托伊察说,为了提高Vicuna的能力,他和同事们正努力增加其模型中的计算次数,有助于它完成涉及推理的任务,如编写代码。开发Vicuna的团队是Sky Computing Lab的一个分支,该团队位于伯克利大学,每年有数百万美元的预算,其中大约50万美元来自包括微软、谷歌和亚马逊在内的上市公司。
开源人工智能软件以前挫败过OpenAI的野心。OpenAI通过发布和出售Dall-E 2的访问权抓住了互联网的想象力,当有人键入他们想看的简单文本描述时,Dall-E 2会产生原始图像。不过随后开源替代产品Stable Diffusion的突然崛起,让人工智能界的很多人感到惊讶,包括OpenAI的员工。Dall-E 2并没有成为一个受到追捧的产品。“我看不出为什么大型语言模型不会遵循同样的模式,”斯托伊察说。(无忌)