720亿、千亿级参数大模型接连开放 国产开源大模型进入参数时代
封面新闻记者 欧阳宏宇
围绕开源大模型打响的混战正演变为参数之争。
12月1日，阿里云宣布开源通义千问720亿参数模型Qwen-72B，18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此，通义大模型共开源18亿、70亿、140亿、720亿参数的四款大语言模型，以及视觉理解、音频理解两款多模态大模型，完成了“全尺寸、全模态”开源。
全球互联网科技大厂掀起“百模大战”以来，越来越多的通用大模型走向开源，主要的开源AI大模型参数也越来越大。
今年6月，搜狗创始人王小川创立的百川智能公司宣布推出70亿参数量的中英文预训练大模型baichuan-7B，同时宣布开源。昆仑万维在上月开源了自研大语言模型“天工”Skywork-13B，开源参数规模突破百亿级。几天后，李开复创办的零一万物宣布开源发布大模型 Yi-34B，又将参数规模进一步扩大；元象XVERSE还宣布开源了650亿参数高性能通用大模型XVERSE-65B。
事实上，720亿参数也不是国内参数规模最大的开源大模型。就在几天前，浪潮信息还发布了“源2.0”基础大模型，并宣布全面开源，包含1026亿、518亿、21亿三种参数规模。
据中国科学技术信息研究所数据显示，国内已经发布了超80个大模型，超半数大模型已实现开源。在AI模型开源社区魔搭上，已有超20个开源大模型免费提供给开发者使用，目前，AI模型下载量已突破1亿。
伴随参数之争愈发“白热化”，背后是大模型供应厂商期待通过大规模的参数训练形成质变。在清华大学计算机系教授唐杰看来，万亿参数大模型只是一个开始，他透露已在大模型上观察到了以往小模型上所不曾有过的现象；不过，他也承认，单靠增加训练数据量或模型参数规模不足以实现“智能”。
不过，AI大模型需要多大的参数规模才够用行业还无定论。OpenAI CEO阿尔特曼表示，规模越大并不一定意味着模型越好，而可能只是为了追求一个数字而已。还有研究者指出，在大模型达到性能质变的奇点后，参数规模与模型性能之间的关系将不再完全正相关。