当前位置:首页|资讯|谷歌|OpenAI|LLaMA

重返开源战场,谷歌打响AI“斯大林格勒保卫战”

作者:钛媒体APP发布时间:2024-03-02

原标题:重返开源战场,谷歌打响AI“斯大林格勒保卫战”

图片来源@视觉中国

文 | 乌鸦智能说,作者 | 小白

昨天晚上,谷歌毫无预兆地发布了开源模型Gemma,主打轻量级、高性能,剑指Meta的Llama。Gemma的发布意味着谷歌大模型策略的转变:从过去押注闭源追赶OpenAI,到重返开源赛场,兼顾开源和闭源。

显然,谷歌这一转变是被迫的。自去年下定决心闭源后,谷歌明显低估了追赶OpenAI的技术难度,持续被OpenAI压制,甚至毫无还手之力。就连不久前发布的大模型核弹Gemini 1.5,风头也全让Sora抢走了。

不过相比闭源,谷歌在开源战场也面临着不小挑战。尽管谷歌拥有着明显的技术优势,而且在开源社区构建上也有丰富的经验。但在Meta、Mistral等玩家逐渐主导开源市场的情况下,不占天时的谷歌想要追赶,必须投入更多的资源。

回顾科技竞争史,每一个新时代的来临,都意味着上个时代科技霸主的衰落。谷歌能否免于这种结局?从这个角度上说,开源就是谷歌在人工智能战场的“斯大林格勒保卫战”。

最强开源大模型来了!

Gemma在拉丁语中意为“宝石”, 是由谷歌DeepMind和其他团队共同合作开发,采用了与Gemini相同的研究和技术构建。

此次Gemma发布了20亿和70亿两种参数规模的版本,每个规模又分预训练和指令微调两个版本。在Gemini的技术加持下,Gemma形成了对现有开源大模型的碾压。Gemma在18个基准测评中平均成绩击败目前的主流开源模型Llama 2和Mistral,特别是在数学、代码能力上表现突出。

其中,Gemma-7B模型在涵盖一般语言理解、推理、数学和编码的8项基准测试中,性能已经超越了Llama 2 7B和13B。安全性方面,经过指令微调的Gemma-2B IT和 Gemma-7B IT模型,在人类偏好评估中都超过了Mistal-7B v0.2模型。

不过不同于支持多模态的Gemini,Gemma模型不是多模态的,也没有针对多语言任务进行训练。但根据谷歌发布的技术报告Gemma的分词器词表大小达到256k。

这个怎么理解?大模型理解用户提问是将文本转化为数字之后再进行推理的,词汇表就类似它的字典,其规模越大,对于复杂句式和生僻字词的理解就越强,同样也就能够更快理解其它语言。Gemma的分词器词表大小达到256k,意味着它可以很快学会使用其他语言。

除了模型本身,另一个值得关注的点是,Gemma从最开始的设计和训练之时,就非常注重安全性,这意味着它非常适合部署在本地使用。例如,谷歌使用Google Cloud数据丢失防护 (DLP) 工具,从训练集中自动过滤掉隐私信息和敏感数据。该工具根据隐私数据的类别(例如姓名、电子邮件等)输出三个严重级别。据谷歌发布的技术报告显示,最为敏感的信息几乎完全不会被储存,潜在隐私数据会有部分储存。

在模型发布后,Gemma也第一时间上线了 HuggingFace 和 HuggingChat,用户可以直接在这些平台上进行下载和试用。发布才几个小时,已有不少用户分享了试用体验,甚至部分用户还对其做出了很高的评价,社交平台X用户@indigo11称其“速度飞快”、“输出很稳定”。

“拧巴”的谷歌压力很大

算上此次发布的Gemma,已经是谷歌在短短一个月内放出的第三次大招。

2月9日,谷歌宣布其最强大模型Gemini Ultra免费用,Gemini Ultra于2023年12月发布时在MMLU(大规模多任务语言理解)测评上超过人类专家,在32个多模态基准中取得30个SOTA(当前最优效果),几乎全方位超越GPT-4。

2月16日大年初七,谷歌放出其大模型核弹——Gemini 1.5,并将上下文窗口长度扩展到100万个tokens。Gemini 1.5 Pro可一次处理1小时的视频、11小时的音频、超过3万行代码或超过70万字的代码库,向还没发布的GPT-5发起挑战。

尽管谷歌动作频频,但风头却全让OpenAI的的文生视频大模型Sora抢走了。而此次谷歌之所以没有预告地突然发布开源模型,恰恰不想重蹈覆辙。毕竟有消息称,Meta将在本周内发布Llama的升级版。

从表面上看,谷歌抢先Llama发布开源模型是为了挽回近期“颓势”。但更深层次的原因是,谷歌希望改变长期以来被OpenAI压制的局面,探索更多“弯道超车”的可能性。

一个无比残酷的事实是,自2022年12月ChatGPT发布以来,曾经AI领域的扛把子谷歌就一直被OpenAI压制得死死的,毫无还手之力。

去年2月,OpenAI的ChatGPT风靡全球,谷歌草草推出了聊天机器人Bard,产品却不如预期。先是演示中出现事实错误,让谷歌母公司一夜之间市值蒸发千亿美元;而后也没能以性能表现吸引足量用户,据Similarweb的数据,Bard全球月访问量只有2.2亿次,仅为ChatGPT的1/8。

去年12月7日,谷歌又发布了最强大模型Gemini,尽管效果惊艳却令市场有些意兴阑珊。2024年1月31日,谷歌最新财报显示其收入亮眼,却因AI方面进展不及预期市值一夜蒸发超1000亿美元。

随着Sora的发布,越来越多人意识到一个问题:在Scaling Law的推动下,OpenAI在闭源模型上的优势越来越大。也就是说,此次宣布进军开源,更像是谷歌在人工智能竞赛的被迫之举。

一方面,相比Meta在去年年中进军开源模型,谷歌进军开源模型晚了整整半年,这意味着其需要花数倍的努力进行模型的差异化以及推广的投入,才有可能在众多开源模型中脱颖而出。另一方面,至少从披露的内容看,相较于其他开源模型,谷歌推出的开源模型也并没有太多超预期的地方。

但即使如此,进军开源模型仍然对谷歌意义重大。毕竟,在对阵OpenAI节节败退的情况下,谷歌亟需一场胜利来扭转颓势。而开源模型可能成为谷歌在人工智能战场的斯大林格勒战役。

谷歌重回开源

从历史上看,开源对谷歌来说并不陌生,甚至在相当长时间里,谷歌都是技术开源的坚定支持者。历史上,Transformers、TensorFlow、BERT、T5、JAX、AlphaFold和AlphaCode,都是谷歌为开源社区贡献的创新。

2015年11月,谷歌公布了TensorFlow,一度成为最流行的开源深度学习框架之一。任何人只要拥有电脑和网络连接(并且懂一点点深度学习算法)就能使用有史以来最强大的机器学习平台。自 2015 年至今,成千上万的开源贡献者、开发人员、社区组织者、研究人员都投入到了这一开源软件库上。

2018年,谷歌宣布将BERT进行开源,这是一种基于神经网络的自然语言预训练处理技术,其使用不仅限于搜索算法,任何人都可以在其他类型的问答系统中使用 Bert。更别说,在移动互联网时代,谷歌还建立了足以匹敌苹果的安卓开放生态。

与OpenAI不同,简单粗暴的Scaling Law并不是谷歌唯一的路。此次开源Gemma,不仅意味着想要重塑自己在AI社区的影响力,也代表谷歌大模型策略的转变:兼顾开源和闭源。

放在当下的AI行业,发力开源模型也确实是谷歌一个不错的选择。

一方面,相比于闭源模型,开源模型的竞争相对较小,竞争主要来自Meta的 Llama。像谷歌在闭源模型的技术实力和开源社区方面的经验,使其更有可能形成碾压的局面。

另一方面,在AI落地的故事里,开源模型仍然存在着不小的潜力。原因在于,开源模型的成本优势将更有利于模型的落地。在很多场景里,使用GPT就像是开兰博基尼送外卖,成本过于高昂。有AI研究员做过一笔测算,GPT-3.5的API价格几乎是开源模型Llama2推理成本的3-4倍,更别提GPT-4了。

在移动互联网时代,接近衰落的微软靠着云计算实现了最终的翻盘。如今,在人工智能故事里不如意的谷歌能否复制这一路径,我们拭目以待。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1