近日,在官宣成立人工智能公司xAI之后,马斯克如约和xAI团队的12人在推特上进行了首次公开回应。据统计,这次推特直播的在线听众超过60万人,讨论度超百万,就连OpenAI联合创始人Greg Brockman和Twitter前CEO Jack Dorsey也作为观众收听了此次直播。
在引爆外界对xAI的好奇心后,马斯克表示,xAI公司“肯定会与OpenAI 竞争”,并在直播中披露了更多有关xAI的细节,包括:2029年实现全面AGI、和特斯拉会有软硬件上的合作、将使用推特数据进行训练.......
尤其是对当前人工智能来说最重要的算法、算力、数据这三个方面,马斯克都进行了解答。
数据:xAI将使用推特数据进行训练
马斯克不希望在 AGI 领域只有一个公司主导,而是有所竞争。当前,xAI才刚刚起步,目前还处于非常初级的阶段,需要一点时间才能真正推出有用的东西。而在还没有对模型进行训练的阶段,先找到训练数据的来源是当务之急,数据的质量也决定了未来模型效果和产品的质量。
在直播中,马斯克表示,人类创造的数据总有一天会用完,因此人工智能最终将生成内容并访问。
而鉴于很多人工智能的软件开发人员广泛使用 Twitter 的数据,马斯克表示,“我想我们也会使用公共推文(显然不是任何私人推文)进行训练,就像基本上其他人一样。”
上周五,马斯克在没有援引任何证据的情况下声称,“地球上的每个人工智能组织”都使用了 Twitter 的数据进行训练,“在所有情况下都是非法的”。
在本月初,Twitter 更是起诉了四个身份不明的团体窃取了数据。最近几周,推特更是实施了速率限制,马斯克声称,这是因为推文正在“被疯狂地爬取”。他说:“有多个实体抓取了曾经发布的每一条推文,并试图在几天的时间里完成这一点。所以这让系统崩溃了,我们必须采取行动。”
同时,马斯克还表示,推特的数据集将被用于“文本训练”和“图像和视频训练”。他还指出人工智能系统需要的不仅仅是人类创建的数据,他希望 xAI 能够追随 Alphabet 旗下 DeepMind 的 Alpha Zero 的脚步,在训练结束后,能够通过与自己进行这些游戏来进行自我训练。
此外,xAI 的初衷是开发“理解物理世界而不仅仅是互联网”的技术,因此马斯克认为特斯拉的驾驶数据也将在这方面有所帮助。
算力:xAI将和特斯拉密切合作
哪怕强如马斯克,在组建AI初创公司时,也难逃算力焦虑。
有消息称,马斯克试图从老黄那边求购4万张用于训练AI的GPU,但最后英伟达只承诺在1年内提供2万张卡供其使用。
在直播中,特斯拉的铁杆粉丝兼推广人奥马尔·卡齐向马斯克询问了 xAI 是否有可能使用英伟达或特斯拉制造的芯片进行数据处理。
而马斯克称,xAI将会与特斯拉密切合作,共同开发人工智能软件,“这种关系互惠互利,可能加速特斯拉在自动驾驶方面的能力”。
同时,他表示特斯拉正自研芯片,但绝不会叫做GPU,或用100s、H100s等来描述它。马斯克也曾在公开演讲中直言,尽管人们一般将它和GPU等价看待,但特斯拉的Dojo不是GPU,而是特斯拉在为机器学习和计算机视觉训练而开发的超级计算机。在周末的直播中他还表示,Dojo2将向大模型方向发力。
算法:xAI 最终的模型不会“人云亦云”
在算力和数据这两方面,和人才的关系并不算太大,但在算法领域,人才的重要性则不言而喻。
据semafor透露,马斯克给团队中顶级研究员的薪酬,高达9位数,如果按照传言的200亿估值来算,那么在初创阶段的分给核心技术人员的1%股票期权,就相当于2亿美元。
同时,xAI 的团队成员在直播中提到,行业当前的 AI 模型只是模仿它们所训练的数据,而他们真正想要做的是改变这种模式,让模型能够发现真相,不仅仅是重复模型从训练数据中学到的知识,而是能够提供真正的新见解、新发现。
按照马斯克的说法,xAI的人工智能将是一个好奇心极强且只试图理解宇宙的模型。他还认为,“我认为我们的人工智能可以给出人们可能会觉得有争议的答案,尽管它们实际上是真实的。”这比将道德准则编入模型代码中更加有效,还不会出现因为编码而导致道德本末倒置的问题。
他提到,构建一个具备好奇心和追求真相的 AI 是实现人工智能安全的关键,为了大众的“正确”而教 AI 撒谎其实更危险。他认为,在不拖累 AI 发展的情况下,牺牲一点时间确保 AI 安全是值得的。
此前,马斯克曾指责OpenAI和谷歌等公司在不考虑人类风险的情况下开发人工智能技术。他表示,xAI将寻求建立一个“良好的”通用人工智能,作为微软、谷歌、 OpenAI人工智能产品的替代品。
不过,在实现最终的AGI之前,xAI的大模型将会从数学角度切入,马斯克在这场talk上也进一步解释了为什么这么做:
数学可以开辟新的方式来思考基础物理或者其他问题。当我们试图从数学角度理解神经网络时,往往也会产生一系列有趣的理论、问题和观点。
实际上,在xAI的主创团队中,就不只一人曾专注研究过AI数学领域的问题,如Greg Yang本身就是一位数学家,他计划创建一种人工智能,可以帮助人类更好地理解宇宙的数学定律。
同样,在加入 xAI 之前,Christian Szegedy 也曾领导过一个谷歌研究项目,旨在创造一名“自动化数学家”。他的前同事、同样也加入了xAI的 YuHuai Wu 此前曾对媒体表示,他希望通过创建一种能够自行破译定理的人工智能,利用机器学习来“解决数学问题”。
几十年来,计算机一直在帮助数学家识别模式,使他们的工作更加高效。但时至今日,人工智能尚不具备解决高级定理所需的推理能力。
其中的部分原因是,目前并没有足够的数据可供人工智能数学模型训练。对于计算机来说,要处理定理,同样需要将其从自然语言翻译成可被验证逻辑上合理的形式化代码,估计这些数据约有 1000 万行,而目前 ChatGPT 达到当前的效果,就已经接受了数万亿行人类语言的训练。
写在最后
从美国SEC披露的文件中可以看出,由马斯克创办或担任CEO的几家公司,包括特斯拉、The Boring 和 SpaceX 等,多年来一直在相互合作。他的xAI也将与特斯拉在“芯片前沿”和“人工智能软件前沿”方面进行合作。
最后,除了算法、数据、算力这些重点内容之外,马斯克还在直播中闲扯了一些个人观点。举例来说,马斯克觉得对于超级AI来说,和人类共存比灭亡人类更有意思,“你看太阳系里有那么多星星,这些加起来都没有人有意思”。
不过,对于其他更多细节性的问题,马斯克就没再进一步进行解释了。比如,xAI具体到底怎么反超谷歌、OpenAI等等。
但还是老样子,马斯克又给自己的AI大模型公司明确了一个时间点:2029年之前实现AGI。既然他曾经的说过的很多话的确最终都实现了,那我们姑且六年后再看这次预言的结果如何。