机器之心报道
机器之心编辑部
一年一度的谷歌 I/O 总是吸引着全球开发者的眼球,今年 AI 技术有重大突破,大家的关注度更高了。
当地时间 5 月 10 日上午,加州山景城的海岸圆形剧场座无虚席,今年的大会正式开幕。
「AI 正在度过忙碌的一年,而谷歌作为人工智能优先公司的旅程已经七年了,我们正处于一个转折点,」谷歌首席执行官桑达尔・皮查伊(Sundar Pichai)说道。「通过生成式 AI 技术,我们正在迈出下一步。」
在 ChatGPT 推出之后,人们都很关心谷歌的「反击策略」。在今天凌晨长达两个小时的演讲中,谷歌从算法、软件讲到硬件,又通篇都在讲人工智能,最新的大模型技术,已经应用在了谷歌产品体系的方方面面。
首先,谷歌给出了自己对标 GPT-4 的大模型 PaLM 2。
要说这一波 AI 技术突破的源头,或许可以追溯到 2017 年谷歌提出的 transformer 架构,它已成为绝大多数现代大语言模型的基石。
在过去的几年里,谷歌除了在大模型上不断进步之外,也采用了许多创造性的新技术来构建功能更强大、用途更广的模型。这些技术是新一代语言模型 PaLM 2 的核心。PaLM 基于谷歌 Pathways 架构,其第一个版本的模型于 2022 年 4 月发布。
谷歌 I/O 大会上,皮查伊宣布推出 PaLM 2 预览版本,改进了数学、代码、推理、多语言翻译和自然语言生成能力,利用谷歌最新的 TPU 算力基础设施提升了训练速度。由于它的构建方式是将计算、优化扩展、改进的数据集混合以及模型架构改进结合在一起,因此服务效率更高,同时整体表现更好。
会上,谷歌并没有给出有关 PaLM 2 的具体技术细节,只说明了它是构建在谷歌最新 JAX 和 TPU v4 之上。PaLM 2 模型提供了不同尺寸规模的四个版本,从小到大依次为 Gecko、Otter、Bison 和 Unicorn,更易于针对各种用例进行部署。其中轻量级的 Gecko 模型可以在移动设备上运行,速度非常快,不联网也能在设备上运行出色的交互式应用程序。
皮查伊表示,PaLM 2 模型在常识推理、数学和逻辑领域表现更好。为此,谷歌在大量包含数学表达式的科学论文和网页上进行了训练,可以轻松解决数学难题、推理文本甚至可以输出图表。
从基准测试上可以看到,对于具有思维链 prompt 或自洽性的 MATH、GSM8K 和 MGSM 基准评估,PaLM 2 的部分结果超越了 GPT-4。
PaLM 2 是在具有 100 + 语言的语料库上进行训练的,因此它更擅长多语言任务,能够理解、生成和翻译比以往模型更细致多样化的文本(包括习语、诗歌和谜语等)。PaLM 2 通过了「精通」(mastery)级别的高级语言能力考试。
与此同时,PaLM 2 改进了对代码编写和调试的支持,在 20 种编程语言上进行了训练,包括 Python 和 JavaScript 等流行语言以及 Prolog、Verilog 和 Fortran 等其他更专业的语言。PaLM 2 构成了 Codey 的基础,它是谷歌用于编码和调试的专用模型,作为代码补全和生成服务的一部分推出。
皮查伊现场演示了 PaLM 2 的代码调试功能,输入指令「你能修复这段代码的一个 bug,并添加一行一行的韩文注释吗?」,结果如下动图所示。
谷歌内部已经有超过 70 个产品团队正在使用 PaLM 2 构建产品,包括分别针对安全知识和医疗知识微调而成的 Sec-PaLM 和 Med-PaLM 2。
其中 Sec-PaLM 是专注于安全用例的版本,使用 AI 帮助分析和解释具有潜在恶意脚本的行为,并检测哪些脚本对个人或组织构成威胁。Med-PaLM 2 可以检索医学知识、回答问题、生成有用的模板和解码医学术语,甚至还可以从图像中合成患者信息,例如胸部 X 光检查或乳房 X 光检查。值得强调的是,Med-PaLM 2 是首个达到专家水平的大语言模型。
皮查伊在会上展示了 Med-PaLM 2 的医疗内容生成效果。
目前,开发者可以通过谷歌的 PaLM API、Firebase 以及 Colab 访问 PaLM 2。皮查伊还表示,PaLM 2 将继续为谷歌最新的 Bard 提供支持。
在皮查伊演讲的同时,谷歌放出了 PaLM 2 的论文,整整 91 页。但令人失望的是,PaLM 2 论文远没初代 PaLM 有诚意,和 GPT-4 一样,更像是技术报告。
论文地址:https://ai.google/static/documents/palm2techreport.pdf
另外,在 Google Brain 和 DeepMind 合并之后,新的大模型也在研制过程当中。皮查伊表示现在谷歌的研究重心正在转向 Gemini,这是一种多模态和高效的机器学习工具。
谷歌并未透露 Gemini 的更多信息,我们只知道该模型是在今年才开始研发的,将具有像 GPT-4 一样的万亿参数。目前 Gemini 仍在训练中,但已经展示出了以往模型中从未见过的多模态能力。一旦经过微调和严格的安全性测试,谷歌同样将提供不同尺寸和功能的 Gemini 版本,以确保部署在不同的产品、应用和设备上。
皮查伊表示,现在的谷歌 Bard 已经完全运行在了新一代模型 PaLM 2 上。在 I/O 大会上,ChatGPT 和新必应的竞争对手 Bard 经历了大幅更新,包括图像功能、编码功能和应用程序集成。
「PaLM 2 模型在逻辑和推理方面比以往的模型更加强大,这要归功于对逻辑和推理的广泛训练,」皮查伊表示。「它还接受了跨越 100 多种语言的多语言文本训练。」
Bard 将在回复和你给更复杂提示后给出更加直观的内容。你可以问它诸如「新奥尔良有哪些必看景点?」之类的问题,除了文本之外,你可以获得更有意义的回复,以及丰富的视觉内容。
和 GPT-4 一样,你还可以在自己的要求中附加图像和文本。比如像这样,为这张照片想一个有趣的标题:
Bard 作为生产力工具和搜索引擎之间的工具,最新版的改进有关易用性。首先是加入了引用,现在 AI 生成的回答将通过展示特定代码块的来源(也是链接)来确保代码引用更加准确,这也适用于从网络上引用叙述性内容。
其次是导出按钮。如果 AI 生成的内容接近于实用化,我们肯定会希望能够更快捷地使用这些结果。现在,人们能把内容快速导出到 Colab 和 Replit 上,进一步构建和迭代自己的想法。当然文字也是可以的,如果你让 Bard 写邮件,那么它也可以一键直接用 Gmail 发送,或新建一个 Docs 文件。
未来,谷歌还计划集成的应用还包括 Sheets、Slides、Calendar、Keep、Tasks、Maps、Photos、Messages、Flights、YouTube、YT Music、Google Images、Imagen、OpenTable、Replit,以及 Adobe 的 Firefly。
谷歌表示,Bard 很快就会支持各种第三方扩展,例如 AI 可以自动根据你输入的文本生成图像,使用的还是 Adobe 那个神奇的 Firefly:
人们反映最多的问题是:Bard 一直仅限于英国和美国使用。谷歌这次直接宣布 Bard 覆盖全球 180 个国家和地区,并取消了候选名单,现在立即人人可用。在语言方面,谷歌这次增加了日语和韩语,预计会在今年 7 月让 Bard 支持全球「使用量排名前 40」的语言。
I/O 大会上,谷歌还展示了下一代移动操作系统 Android 14 的新能力。
Magic Compose 将于今年夏天在谷歌的默认短信应用 Message 中推出测试版,它是一种基于 AI 生成模型的工具,让你在回短信的时候根据聊天内容获得大量提示。它会学习你的说话方式,你也可以让自己的回复内容看起来有不同的语气,或者用莎士比亚的风格来写。
谷歌还使用生成式 AI 来帮你制作独一无二的手机壁纸,和 AI 画图一样使用语言提示完成:
你可以 AI 建议的提示来描述你的最终创意愿景,这要归功于谷歌的文本到图像扩散模型。在该功能上,谷歌使用了公共领域的训练数据,应该可以保证系统不会创建受版权保护的图像。
另外,谷歌也发布了 Pixel 7a、Pixel Tablet,还有自己的首款折叠屏手机 Pixel Fold,售价 1799 美元,新的硬件将于夏天正式开卖。
随着新模型 PaLM 2 的引入,全系列工具的 AI 化升级,谷歌在大语言模型的应用上可谓来到了和微软同一个身位,甚至还再次领先了。在 I/O 大会进行的同时,谷歌的股价也大涨了 5%。但现在真的可以说 Bard 能和 ChatGPT 媲美了吗?等我们用上了新版本,或许就有答案了。