美国时间 12 月 6 日,Google 发布大语言模型 Gemini,参数规模从小至大分为三个版本:
- Gemini Nano,专门在移动设备上运行,针对不同内存的设备,有 18 亿和 32.5 亿参数两个版本;
- Gemini Pro,Google 内部部署和对外提供服务的主力版本,已经上线聊天机器人 Bard 的英文版;
- Gemini Ultra,效果最好,性能对标 GPT-4,不过要到明年才能体验,主要面向数据中心和企业。
Gemini 是多模态大语言模型,可以处理图像、视频和音频。Google 称 Gemini Ultra 在 32 项基准测试中的 30 项大幅领先于 GPT-4,并在检验大模型多学科水平的 MMLU 测试里达到 90% 的得分率,是第一个超过人类专家的 AI 模型。
在编程能力上,Google 开发了基于 Gemini 模型的编程应用程序 AlphaCode 2,宣称它可以在编程竞赛中击败 85% 的人类程序员。
后来的采访中,皮查伊表示明年 Gemini 将会融入 Google 搜索中,让搜索引擎也可以处理图像、视频和音频。他还暗示未来 Gemini Ultra 可能会通过付费订阅的方式提供给客户,融入更多 App 当中。
Google 称此次 Gemini 的训练都是依靠自研的 AI 芯片 TPU v5e 和 TPU v4,它们还带来了最新的 TPU v5p,训练效果是上一代产品的两倍。
这让 Google 可以源源不断拥有 AI 竞赛中最重要的资源——算力。在此之前,没有任何一家 AI 公司能够不依赖英伟达 GPU,训练出最顶尖的大模型。
据芯片研究机构 Semianalys 首席分析师迪伦·帕特尔估算,很快 Google 拥有的 TPU 数量就将超过 OpenAI、Meta、CoreWeave、甲骨文和亚马逊拥有的 GPU 之和。当这些竞争对手四处求购英伟达 GPU 时,Google 不仅有足够的算力训练、运营和迭代大模型,还可以出售或者租给客户,从英伟达手中分蛋糕。(实习生刘权)