中国基金报记者 文夕
北京时间12月7日凌晨,谷歌突然放出了自己“迄今为止最强大、最通用的模型”Gemini。Gemini模型作为谷歌以及全球范围内最先发布的多模态模型,支持在云端以及边缘测运行。
相关测试数据表面,Gemini Ultra在MMLU(大规模多任务语言理解)方面优于人类专家的模型,横向对比来看多个任务性能超过GPT-4,因此也被视为GPT-4最为强劲的对手。
业内看来,Gemini的横空出世,大模型应用场景将会进一步得到拓展,另一方面也能够带来算力需求的持续升级,同时也为后续包括GPT-5在内的大模型推出带来更多催化。
推出三个版本
据了解,Gemini是谷歌筹备了一年之久的GPT-4真正竞品,也是目前谷歌能拿出手的功能最为强悍、适配最为灵活的大模型。Gemini是基于Transformer decoder构建的多模态模型,这种技术能够处理视频、音频和文本等不同内容形式的信息。
最新的Gemini模型对比之前的技术,能够进行更复杂的推理,理解更加细微的信息。此次,其第一个版本Gemini 1.0 推出3款不同尺寸模型:Ultra、Pro和Nano。
1)Ultra版本是性能最强的版本,在对应的TPU基础设施中能够展现出最高效率,在多项测试中Ultra版本性能超过GPT-4V;
2)Pro版本是性价比优化的版本,在推理、多模态等方面也有较强能力,Pro版本具有良好延展性,可以在几周内完成预训练,在多项测试中仅次于GPT-4V,强于PaLM2、Claude2、LLaMA2、GPT3.5等主流大模型;
3)Nano版本是通过对其他模型蒸馏得来的4位模型,有1.8B和3.25B两个版本,分别针对低内存和高内存设备,支持在本地部署。
目前,Gemini 1.0 现已在多种谷歌产品和平台上推出,包括接入聊天机器人Bard和智能手机Pixel 8 Pro上。未来几个月,Gemini将应用于谷歌更多的产品和服务,如Search、Ads、Chrome和Duet AI。
性能碾压GPT-4?
Gemini模型作为谷歌以及全球范围内最先发布的多模态模型,支持在云端以及边缘测运行。相关测试数据表面,Gemini Ultra在 MMLU(大规模多任务语言理解)方面优于人类专家的模型,横向对比来看多个任务性能超过GPT-4。
据介绍,从自然图像、音频和视频理解到数学推理,在被大型语言模型研究和开发中广泛使用的32项学术基准中,Gemini Ultra的性能有30项都超过了目前最先进的水平。
其中,在 MMLU(大规模多任务语言理解)测试中Gemini Ultra 的得分率为90.0%,是第一个超过人类专家的模型,GPT-4的得分率为86.4%;图像理解方面,在新的MMMU基准测试中,Gemini Ultra的表现也更优,其得分率达59.4%,GPT-4V的得分率为56.8%。
另外,Gemini 1.0具有复杂推理能力,通过阅读、过滤以及理解信息,从数十万份文件中提取见解。Google工程师演示了一个Gemini提取“20万份科学研究文献”关键信息的例子。
自2021年以来,该研究领域新增了20多万份研究论文,需要更新到原有的研究中。以往,科学研究人员只能手动来处理,现在Gemini能够自动区分和过滤与研究领域相关的文献信息,只需要一顿午饭的时间,Gemini帮科学家读完20万篇论文,并画出了更新数据信息后的新图片。
Gemini Ultra目前正在完成大规模的信任和安全检查,在模型的完善过程中,谷歌将向部分客户、开发者、合作伙伴以及安全和责任专家提供 Gemini Ultra,以供其进行早期试验和提供反馈。并将在明年初向开发者和企业客户提供该模型。
对硬件、算法、数据集创新
民生证券一份研报点评,通过在超过50个基准测试中对Gemini模型系列进行评估,随着模型规模的增加,Gemini模型在推理、数学/科学、摘要和长文本方面持续提高了质量。在所有六种能力中,Gemini Ultra是最优秀的模型。
而Gemini Pro作为Gemini模型家族中第二大的模型,在性能上也非常有竞争力,并且在提供服务时更加高效。
该机构称,Gemini训练过程也可对基础设施、算法、数据集进行创新。值得注意的是,谷歌此次还发布了号称“功能最强大”的TPU系统 Cloud TPU v5p,旨在为训练前沿AI模型提供支持。谷歌方面称,相较上一代TPU v4性价比提升2.3倍。
而新一代TPU将加速Gemini的开发,帮助开发者和企业客户更快地训练大规模生成式AI模型,从而更快推出新产品和新功能。
在算法方面,谷歌使用单控制算法、XLA编译器等技术优化训练过程,还通过预防SDC等问题实现稳定训练。在数据集方面,谷歌通过分词技术提高Gemini训练和推理速度,还通过一系列过滤方法保证用于训练的数据的高质量。
对GPT-5等模型带来催化
谷歌Gemini的发布,必然会对其他AI大模型的迭代升级带来新的催化。
中信证券分析认为,在当前的搜索场景中,Gemini能够降低大约40%的延迟。对整个产业来讲,谷歌产品化、商业化的推进亦将带来行业整体变化。该机构预计,未来会有越来越多的AI场景与产品的出现,叠加硬件升级、算法优化带来的成本优化,To C产品的进展值得期待。
与此同时,该机构还认为,Gemini的发布将进一步带来对多模态模型的更多期待,对产业而言,多模态料将带动算力需求的提升,同时为后续GPT-5等模型的发布将带来更多催化。
当前不容忽视的是,Open AI的月用户数从5月开始下降,10月出现回升达到 17 亿。对比谷歌的搜索引擎Bard的用户数为2.6亿。那么,Open AI用户是否会转向谷歌?
针对这一问题,国内某头部大模型厂商人士分析认为,短期Open AI仍具优势,但长期来看谷歌具备的海量用户和产品生态将会成为强大势能。
相比OpenAI,谷歌积累了海量的PC和手机端用户,拥有海量实时数据(而OpenAI的数据依赖互联网,包括谷歌),并通过在用户手机集成GPT提供如地铁导航方面而拥有大量用户信息。“压力给到了Open AI,需要补齐产品生态,”上述人士如是分析。
编辑:黄梅
审核:许闻
版权声明
《中国基金报》对本平台所刊载的原创内容享有著作权,未经授权禁止转载,否则将追究法律责任。
授权转载合作联系人:于先生(电话:0755-82468670)