历时四个月,全球最大超级计算中心“Supercluster”正式开始运转。
埃隆·马斯克在社交平台公开宣布,美国时间7月22日凌晨4:20,由xAI、X和英伟达等合力打造的“Supercluster”已开始投入训练。它由10万块H100组成,是目前世界上最强训练集群。
10万块英伟达GPU,相当于马斯克在AI世界铸就了一座“芯片长城”,对比OpenAI训练GPT4用到的25000块GPU,数量提升了4倍之多。
值得一提的是,这个全球最大超级计算中心在今年3月方才动工,计划是2025年竣工,没想到仅仅只用了四个月,就提前完成了。
超级计算中心的正式启用,将拉响马斯克反攻OpenAI的号角。
耗费巨资的超级计算中心
马斯克修建超级计算中心的根本原因,就是为了训练xAI的聊天机器人Grok。
2023年7月马斯克成立了xAI,其核心初创成员来自OpenAI、谷歌DeepMind、微软研究院、特斯拉等知名企业。为了让它能和ChatGPT直接竞争,马斯克将最近两年的大部分精力用xAI。
为了确保超级计算中心的落实,马斯克公开声称他将亲自挂帅,监督这台超级计算机的开发。
想要建造超级计算中心,选址无疑是关键。
据《福布斯》报道,马斯克团队先后与七八个城市进行了洽谈,最终在3月份敲定在田纳西州孟菲斯市,因为孟菲斯市将提供充足的电力和快速建设的能力。
值得一提的是,超级计算中心所需要的资源非常多,除了英伟达芯片等基础硬件之外,工厂每小时可能使用高达150兆瓦的电力,相当于10万户家庭所需电量,这可能会对当地来说会造成巨大的负担。
除了电力资源之外,超级计算中心的冷却预计每天需要130万加仑的水,也就是说每天需要从孟菲斯的主要水源中抽取。
这也引发了孟菲斯市民以及环保组织的不满,联合发布公开信抗议:“我们必须考虑,一个使用如此大量能源的行业将如何进一步影响已经被污染和高能源负担压得喘不过气来的社区。”
为了完成工程,xAI承诺将改善孟菲斯市的公共基础设施,以支持超级计算中心的发展,包括兴建一个新的变电站和一个污水处理设施。
马斯克在Supercluster
可以说,为了超级计算中心,马斯克支付了堪称天价的费用。按照成本估算,10万个英伟达H100,每个就高达3-4万美元,总价值将达40亿美元(折合人民币超290亿)。
巨额的资金投入就算马斯克贵为“世界首富”,也很是吃不消,于是他联合戴尔和超微一起建设集群,并从甲骨文拿到了24000块H100的资源。
虽然耗费了巨额资金,但马斯克依然坚定不移的推动超级计算中心的建设。他在社交平台上用一句话做了总结:
“我们必须自己掌握方向盘。”
估值突破1300亿的xAI
不得不说,为了能让xAI追赶上OpenAI,马斯克可谓是付出了所有。
在世界首富光环加持下,2023年7月才成立的xAI,刚刚才满一岁,就已经具备挑战OpenAI的资本和底气。
今年4月13日,xAI推出了其首款多模态大模型Grok-1.5V,除了文本功能外,Grok现在还可以处理各种各样的视觉信息,包括文档、图表、图表、屏幕截图、照片,并能进行多学科推理。
借助Grok-1.5V的诞生,xAI在资本市场上炙手可热。
5月26日,xAI宣布完成60亿美元的融资,估值高达240亿美元(约1738亿人民币)。此轮融资的投资者阵容强大,包括硅谷的知名风险投资公司红杉资本(Sequoia Capital)和安德森·霍洛维茨(Andreessen Horowitz),以及一家与沙特王室联系紧密的投资基金。
OpenAI在过去十年间获得融资总额为143亿美金,xAI仅用了10个月的时间就融资了60亿美元,相当于OpenAI十年融资额一半。
这也是大模型赛道史上最高单笔融资之一,超过Anthropic在2023年9月12日获得的40亿融资和10月28日获得的20亿美元融资,以及InflectionAI在2023年6月30日获得的13亿美元融资,融资总额仅次于OpenAI、Anthropic。
xAI能拿到AI赛道史上最高融资,自然离不开马斯克的光环。尤其是马斯克商业帝国中的其他公司为xAI帮了不少的忙。
据媒体报道,在xAI成立之初,特斯拉就派出了大约50名软件工程师协助完成代码审查等任务。甚至还有一些特斯拉工程师直接加入了xAI。同时,特斯拉汽车所配备的大量摄像头和其他传感器所捕捉到的视频数据,能为xAI的模型提供实时的数据输入,帮助其接受训练。
马斯克名下的知名社交平台X,也能为xAI提供海量的由人类生成的数据。这些数据是训练人工智能系统如何更好地与人类互动的理想资源。
种种优势相加,才能在一年时间诞生出估值高达240亿美元的AI独角兽,在资金、数据、芯片等层面可以和OpenAI掰一掰手腕。
7月1日,马斯克社交平台公开表示,xAI下一步工作是从互联网训练的数据中清除大语言模型,计划在8月推出下一代升级版Grok-2。
相信在下个月,就能看到Grok-2大战GPT-4o了。
AI世界的人才大战
除了资金和芯片之外,AI大模型之间的竞争还有另一重要项,那就是人才。
马斯克曾在社交平台上感慨:AI人才争夺战是他见过的最疯狂的人才大战。
作为世界范围内的“知名网红”,马斯克的一举一动,都能影响到一个赛道的走向。这份影响力和知名度也为马斯克招揽到专业人才提供了便利。
据媒体报道,马斯克曾从谷歌和微软等科技巨头挖来众多的科研人员。其他公司的高管们抱怨说,xAI所提供的薪酬条件极具竞争力,使得他们在招聘市场上处于不利地位。
同时,马斯克作为作为OpenAI主要联合创始人之一,并在2015-2018年长期在董事会担任董事,不仅贡献了数千万美元的资金,提供研究方向的建议,还在招募世界级人才上发挥了关键的作用。
虽然因为发展理念不同离开了OpenAI,但他对OpenAI的领导层无疑非常熟悉。
在成立xAI之时,马斯克就从OpenAI高薪挖走的数据科学家凯尔·科西奇(Kyle Kosic)和Igor Babuschkin(伊戈尔·巴布什金)。
哪怕是超级计算中心正式使用,马斯克依然没有停止招聘人才。
7月23日,xAI在全球范围内启动招聘,提供了包括AI工程师和各类主管人员在内的近30个岗位。除了提供具有竞争力的薪酬和股权激励,xAI的福利待遇也颇为引人注目,甚至经过批准还能享受无限期带薪休假。
哪怕AI元年已经过去了一年多,但AI军备竞赛依然在持续升温。
就算是马斯克,也在不断加码xAI,直至超越OpenAI才罢休。