国产大模型，逼近GPT-4｜甲子光年
国产“GPT Store”发布了。
作者｜赵健
国产大模型与OpenAI还有多少差距？
在去年11月30日的「甲子引力」年终盛典上，智谱AI CEO张鹏给到的答案是，在单点或少量指标上可以逼近OpenAI，但总体平均能力还存在不小的差距，而这也是压力与动力的来源。
但在两个月后的今天，这个差距已经无限接近。
智谱AI在今天举办的技术开放日上，正式发布新一代基座大模型GLM-4，整体逼近GPT-4，大约是GPT-4 90%以上的能力。GLM-4基础能力全面升级，支持128K上下文、多模态更新，还正式发布了对标OpenAI GPTs的GLMs个性化智能体功能，以及GLMs商店。
图片来自智谱AI
智谱AI是国内“百模大战”中估值最高的明星大模型公司之一。2023年10月，智谱AI宣布完成超25亿人民币融资，投资方汇聚了国内一线明星机构，包括社保基金中关村自主创新基金（君联资本为基金管理人）、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等。
在绝大多数人眼中，2023年是大模型元年，ChatGPT打响了“百模大战”的发令枪；但在张鹏看来，大模型的元年要追溯到2020年，这一年OpenAI发布了ChatGPT的“前身”GPT-3，刚成立一年的智谱AI开始全力投入大模型的研发。
提前3年的“抢跑”，让智谱AI有更多的技术储备。今天智谱AI在Hugging Face上的下载量超过1100万次，位居全球最受欢迎开源机构第五名，也是国内唯一上榜的公司；其对话模型ChatGLM在GitHub上获得了5万+颗星，超过Llama。
在2023年初，智谱AI设立了一个雄心勃勃的目标：用一年的时间追平OpenAI最先进的模型。
现在，这位大模型的优等生交卷了。
1.产学研结合，科学家创业
在介绍GLM-4的技术升级之前，首先回顾一下智谱AI的成立过程，这是一家典型的科学家创业的公司。
智谱AI的前身，是在2006年诞生于清华大学计算机系知识工程实验室（KEG）的明星产品AMiner——学术搜索与情报挖掘平台。清华大学教授、KEG主任唐杰，是AMiner的核心创立者之一。
2013年，AMiner平台的商业化应用提上日程。2019年，在国家相关政策的鼓励与支持下，清华大学教授李涓子、唐杰等人依托AMine为基础，共同成立智谱AI，致力于打造可解释、鲁棒、安全可靠、具有推理能力的新一代认知引擎的公司。
清华大学计算机系教授、中国科学院院士张钹担任智谱AI首席顾问。智谱AI CEO张鹏，是国内首个中英文平衡的跨语言知识图谱系统XLORE的设计和研发者。
在智谱AI成立的第一天，公司写下了“让机器像人一样思考”的愿景。
2020年6月，智谱AI一周年司庆日，恰好撞上了OpenAI发布GPT-3。当天，张鹏与受邀参加智谱AI座谈的张钹院士深入讨论了GPT-3的技术前景。GPT-3让张鹏隐隐意识到，大模型确实是未来的方向。张鹏说：“OpenAI做的这个事情，也是我们一直期待去做的，一定追寻去做的，更是一定要去做的。”
同一年，智谱AI把OpenAI作为自己的对标对象，全力进行大模型的研发。
当时业内主流的预训练算法框架有三个：GPT、BERT与T5。智谱AI没有选择既有算法框架，而是选择了自研。2021年，智谱AI团队联合清华大学提出了GLM（General Language Model）算法框架，结合了GPT与BERT两者的特点，既能从前文预测后文，也能从后文猜测前文。
智谱AI团队参与了智源研究院主导的“悟道”大模型项目。悟道团队先是训练出一个百亿参数的稠密模型，然后又通过“稀疏化”方法训练出一个1.75万亿稀疏模型。这个万亿大模型最终用硬盘拷下来的文件大小约为20T，需要超过500张A100才能做推理，成本太高且性能并不好。
经过几轮激烈的争论，智谱AI团队最终决定自己训练一个千亿参数的稠密模型，直接对标1750亿参数的GPT-3。
最大的挑战是高昂的训练成本。智谱AI团队算了一笔账，要训练一个千亿参数大模型，需要至少1000张A100不出错地连续跑两个月。而当时整个智源研究院，也只有480张A100。
智谱AI找到了济南超算中心。济南超算在2020年采购了一批A100，原本计划将算力提供给视频游戏公司，但因为市场变化，这批芯片当时处于闲置状态。
于是，智谱AI租用了1000张A100，并从底层算子重构，投入20多人训练了8个月，终于在2022年7月训练出了千亿大模型——GLM-130B，并将其开源。
在训练过程中，智谱AI遇到了很多挑战，预训练一个高精度的千亿模型与训练百亿模型完全不同。张鹏告诉「甲子光年」，从训练百亿模型到千亿模型，难度绝不止线性地增长10倍，挑战包括频繁的随机硬件故障、模型梯度爆炸、算法中意外的过多内存使用、新的 Megatron 和 DeepSpeed 框架中 3D 流水线的调试、无法从优化器状态中恢复、机器间TCP拥塞，以及许多许多意外的 “bug”。但最终这些问题都被一一攻克。
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测，GLM-130B是亚洲唯一入选的大模型。
在推出GLM-130B的基座模型之后，智谱AI又先后在应用层推出了AIGC模型及产品矩阵，包括生成式AI 提效助手“智谱清言”、高效率代码模型CodeGeeX等。
图片来自智谱AI CEO张鹏演讲PPT
从产品矩阵来看，智谱AI成了国内最像OpenAI的大模型公司。智谱AI也在2023年初定下了目标：用一年的时间，追平OpenAI最先进的模型，也就是后来发布的GPT-4。
2.逼近GPT-4
今天的技术开放日，智谱AI正式发布了新一代基座大模型GLM-4，这是智谱AI的交卷时刻。张鹏表示，GLM-4，已经超过GPT-3.5，整体逼近GPT-4。
GLM-4带来了5项重大升级，首先是基础能力的全面提升。
在权威的英文测试榜单中，GLM-4已经整体逼近GPT-4，平均能达到GPT-4 90%以上的水平，在个别项目上表现持平；而在国内企业更加看重的中文任务上，GLM-4的表现全面超过GPT-4。
图片来自智谱AI CEO张鹏演讲PPT
第二项更新是更长的上下文窗口。
GLM-4将上下文从32K扩展到128K，与GPT-4 Turbo相当，单词提示词文本达到300页；同时不丢失精度，在被称为“大海捞针”的Needle test中几乎100%召回。
第三项更新是多模态能力，文生图与多模态能力都得到增强。
张鹏表示，CogView的文生图能力明显强于开源的Stable Diffusion XL模型，逼近OpenAI的DALL-E3，在对齐、保真、安全、组合布局等维度上达到DALL-E3 90%的水平。
图片来自智谱AI CEO张鹏演讲PPT
第四项能力更新，则是把以上单点的能力进行“All in One”，推出GLM-4 All Tools工具。具体包括：
- 结合上下文语境进行AI绘画创作；
- 自动调用代码解释器进行复杂的方程或微积分求解；
- 实现文件处理、数据分析、图表绘制等复杂任务，支持Excel、PDF、PPT等文件；
- 模型自行规划检索任务；自行选择信息源；自行与信息源交互；
- 根据用户提供的function描述，自动选择所需function并生成参数，以及根据function的返回值生成回复；
多工具自动调用,网页浏监准确率超过 GPT-4。
智谱AI在现场演示了文生图的能力，不过在最后一轮交互中出现了失误，智谱清言迟迟没有给出回复。有网友打趣道：“这是真唱，有实力也有失误。”
最后一项更新，则是对标OpenAI在上周刚刚正式发布的GPTs商店，推出GLMs个性化智能体功能，以及GLMs商店——智能体中心。
智谱清言的GLMs商店界面
就像一个不懂任何代码的用户，仅凭借自然语言交互就能“傻瓜式”构建GPTs一样，智谱AI也支持用简单的提示词指令创建属于自己的GLMs，并上架智能体中心。张鹏在现场宣布，GLMs的模型应用商店“GLM Store”的开发者分成计划也将同期公布。
智谱AI是一家to B基因更浓厚的公司，但在2023年孵化了一个年轻的to C团队，创立了对话机器人智谱清言。如今，这个团队正在依托底层大模型能力，在争夺AI时代入口的竞争中快速卡位。
3.更加Open的AI战略
红杉资本在去年11月曾预测，生成式AI进入第二幕。第一幕是从技术角度出发，第二幕则是从客户角度出发，更多关注基础模型的落地。
智谱AI可能是基础大模型公司中，在商业化落地走的最快的公司。张鹏曾告诉「甲子光年」：“技术与商业化这两件事，一直都是智谱AI的核心战略。”
MaaS（Model as a Service）理念最早就是由智谱AI提出的。MaaS的服务方式主要有三种：云端API、云端私有化以及本地私有化。张鹏在技术开放日现场宣布，已经有200家企事业单位，与智谱AI深度共建AI落地的解决方案。
图片来自智谱AI CEO张鹏演讲PPT
智谱AI定位基座大模型，而不做行业热议的垂直模型。张鹏认为大模型产品的机会在于成为底层操作系统，对外提供API接口。“我们不会直接扎到具体场景里做应用开发，很多行业存在技术、数据的壁垒，不是创业公司的体量能够搞定的，更多希望是合作伙伴在垂直行业深耕。”
张鹏告诉「甲子光年」：“应用层的生态伙伴通常分为几类，第一类是行业性的独立软件开发商（ISV），帮客户做实施交付，或者客户的最后一公里的系统融合打通的工作；第二类是行业性的合作伙伴，他们有比较强的资源与技术能力，我们联合做一些微调模型以及相应的解决方案。此外还有一些开源生态的伙伴等等。”
与生态伙伴合作，短期内可能不会快速做大收入，但长期来看不但能够做大AI的蛋糕，还能避免上一波AI浪潮中常见的定制化陷阱。
智谱AI还在扩大自己的朋友圈，让自己变得更加开放。
一方面是技术上，继续保持开源的战略，将ChatGLM-6B、GLM-130B、WebGLM、VisualGLM、CodeGeeX、CogView、CogVLM、CogAgent等一系列模型开源。可以说，这才是真正意义的“Open AI”。
另一方面，智谱AI宣布了三项基金——大模型科研基金、大模型开源基金和“Z计划”创业基金，来回馈科研、回馈社区，以及构建生态。
其中，智谱与合作伙伴联合设立10亿元的创业基金，已经投资了算力基础设施公司数道智算，大模型公司面壁智能、聆心智能，AI Infra公司无问芯穹、基流科技，以及行业解决方案层的幂律智能、玦芯生物、智览医疗等等。
图片来自智谱AI CEO张鹏演讲PPT
智谱AI，正在用开源开放、生态合作的的方式，构建自己的竞争壁垒。
在把OpenAI列为追赶目标的第四年，智谱AI终于向其看齐。国产大模型若想要真正引领创新，从追赶到超越，再到“无人区”的探索，现在才刚刚开始。
（封面图来自电影《极速车王》）
END.