YC创始人,硅谷创业教父Paul Graham,曾经在2008年写过这样一句话:每一个城市传达着独一无二的讯息,巴黎的艺术和纽约的金钱,剑桥是智慧,硅谷的信息是“权力”,硅谷人关注Larry Page和Sergey Brin不是因为他们的财富,而是因为他们控制了Google——几乎影响了世界上所有的人。
ChatGPT就诞生硅谷,其背后有OpenAI的影子,一个专注于通用人工智能(General-purpose AI,or AGI)实现的初创公司。这个由一群人组成的团队将通过对机器学习领域内大量数据进行分析来帮助我们理解人类行为并做出相应决策。OpenAI主要会员及发起者,与同样诞生在硅谷的Paypal,Y Combinator,Google,Stanford,UC Berkeley盘根错节。
本章中,我们将从新闻,音视频,论文和官网等超百个第一手资料中、书籍及其他――梳理了世界上最有影响的AGI公司:DeepMind、OpenAI、Anthropic。它们是什么?对其背后关键人物进行深入分析,看看他们是从哪儿来的,对硅谷的影响,进而影响世界。这些公司是怎样把创新与创业结合起来并取得成功的?这些以“方法得当”逐渐创造价值的企业,置于中国目前浮躁的跟随氛围中,也许可以对我们有所启发。
目录中:
1、共同理想-AGI
2、权力的博弈
天才:德米斯·哈萨比斯
无畏者:伊利亚·苏茨科维尔
创造者:山姆·阿尔特曼
异见者:达里奥·阿莫迪
反叛者:Neo
钢铁侠:埃隆·马斯克
3、AGI如何改变资本主义
1、共同理想-AGI
世界上明确针对AGI的人工智能公司有DeepMind、OpenAI和Anthropic。这两家企业的名字看起来有点相似,但实际上它们是不同领域中最成功的一家公司,它们分别在自动驾驶汽车、工业自动化和医疗等多个行业取得了突破性进展。我们先花点时间回顾它们的愿景。
DeepMind –
DeepMind于2010年在伦敦成立,是第一家瞄准AGI的企业,于2014年由Google购买。它的主要工作就是把一个平台与其他不同行业和领域进行融合,并通过整合资源来创造价值,同时也希望成为一个商业合作伙伴。DeepMind如是介绍了他的任务[1]:
我们以解决智能问题作为长远目标,开发更一般、更强大的问题解决系统,又称人工通用智能(AGI)。人工智能的目的不是创造机器,而是让机器更好地工作,更有效率、更可靠地解决问题。我们解决智能问题,就是要促进科学,造福于人类。我们要把这个目标看作一个新的挑战,并在未来的工作中继续坚持。这一任务的中心在于我们的决心,身为AI领域中负责任的先锋,以服务社会需要与期待。
众所周知,围棋AI AlphaGo,蛋白质结构的预测AI AlphaFold都来自DeepMind.
OpenAI OpenAI
OpenAI 2015年12月创立于硅谷,定位于公共利益公司。该组织致力于为政府和社会机构提供服务,通过开发人工智能技术解决实际问题。组织纲领于2018年4月公布:
OpenAI的使命[2]是确保通用人工智能(Artificial General Intelligence,AGI),也就是在多数有经济价值的劳动中,高度独立并超过人的制度,它会造福全人类。这就要求我们必须要对其进行充分地理解和应用,并与其他国家合作来实现这个目标。我们不仅希望直接建造出安全的、通用人工智能,满足共同利益,而且愿意帮助其它研究机构共同建造出这样的通用人工智能以达成我们的使命。
OpenAI在2022年年底发布ChatGPT,与十年前第一次深度学习革命不同,ChatGPT对所有人都有直接的影响,引起了人类有史以来对于AI最大范围的重视。它不仅带来了一场技术变革,更是一种新时代下的思维方式、生活方式以及社会结构模式的颠覆。论OpenAI解构与前景,参见《中国如何组建OpenAI战队(上)》。
Anthropology
2020年12月,OpenAI研究VP,达里奥(Dario Amodei)领着一群雇员走了,包括负责人力、安全和政策的VP——达里奥的妹妹Deniela Amodei,和GPT–3文章的第1和第2作者。新公司Anthropic于2021年1月在硅谷成立,定位于同样公共利益的企业,达里奥兄妹分任CEO和总裁。他们将以“创新”为核心价值观,致力于推动技术发展与商业应用相结合,并通过合作研发来提高生产力,同时为客户提供个性化服务。Anthropic是如此介绍他的[3]:
Anthropic主要从事人工智能安全与研究,致力于建设可靠、可解释,可操控人工智能系统。它为用户提供了一套完整而又实用的解决方案,帮助他们更好地了解自己的计算机和网络环境并做出相应的决策。今天,大型通用系统能够产生明显效益,但是,它也会变得难以预料、不靠谱,不透明:我们旨在就上述议题取得进展。为了达到这个目标,我们需要解决许多挑战,包括如何提高可用性、降低风险以及确保隐私保护等方面。当前我们主要侧重于研究如何达到上述目的;并通过与其他相关技术的合作来促进我们的发展。在今后的发展过程中,人们预见在自己的作品中会出现许多商业与公共利益所创造的价值。
2、权力的博弈
1、天才哈萨比斯
2023年1月份,世界的视线投向了ChatGPT。吃惊之余也,人们想起那个曾经开发出AlphaGo打败人类的机构DeepMind.“虽然我们致力于让机器变得智能,但我们希望将人性置于我们工作的中心,”DeepMind CEO、Co-founder Demis Hassabis(哈萨比斯)告诉时代周刊。
小时候
哈萨比斯1976年生,46岁,对智慧始终着迷:智慧是什么、它解放了可能,也解放了怎样得到更多的智慧。在他身上体现了一个孩子对生活和未来的态度。4岁时成为国际象棋神童(Child Prodigy),12岁时,他就成了全世界同龄人中排在第二位的棋手,16岁提前一年高中毕业。在他看来,数学和物理一样重要——它们不仅可以帮助我们思考,还能让我们解决问题。17岁开发卖1500万套游戏。“我很幸运,因为在我的大脑里有一个智能程序能帮助我解决问题,而这个程序就是数学。”“我想了解那些大问题,那些真正大的问题,如果你感兴趣的话,通常会进入哲学或物理学领域,”他说。“但是,我不相信你可以找到解决这些问题的办法。”“但我认为最快的途径,是构建人工智能。”
哈萨比斯是希腊和华裔混血儿,父母拿着自己下棋获得的奖金,为自己购置了第一台电脑,请他自学编程。在大学期间,他获得了计算机科学硕士学位。中学毕业时报考剑桥大学,剑桥怕他太年轻让他Gap了一年。哈萨比斯痴迷于比赛,更是痴迷于创造游戏,因此,他进入视频游戏工作室Bullfrog工作,协助游戏设计师Peter Molyneux制作该工作室至今最火的游戏Theme Park,一个模拟游戏,玩家可以用上帝视角来观察日益扩展的游乐场业务。游戏中,玩家可以扮演不同的角色去体验各种冒险活动。该游戏是EA在1994年推出的一款作品,总销量为1500万。游戏中,玩家可以在游戏场景里自由漫游,也可以选择扮演一个角色,与其他玩家一起玩耍。这一年,哈萨比斯17岁。
我在大学里
带上Theme Park为自己赚到的那些钱,哈萨比斯从剑桥大学获得计算机科学学位。在这之后,他一直都是位优秀的计算机设计师。1997年毕业,立即进入老朋友Peter成立不久的新游戏工作室。那时他已经拥有了自己的公司。一年之后,哈萨比斯毅然成立了他的画室,开发了极具野心的游戏Republic:The Revolution。他的工作是设计一款名为“大黄蜂”的智能机器人。2005年才决定出售IP,封闭工作室是因为他认识到若做更强大AI,他要认识人类大脑,因此,他重返伦敦女王学院,获得了神经科学的博士学位。
从国际象棋到电子游戏等等,然后是神经科学,哈萨比斯对于人类智慧的发掘也是逐步加深的。在这一过程中,哈萨乌斯的大脑一直扮演着重要角色。在攻读PhD期间,哈萨比斯在Science、Nature、在Neuron和其他杂志发表过一些有影响的研究结果,最有影响的是他2007年发表在PNAS(美国国家科学院的院刊)上的一篇文章,论文研究结果如下:患海马失忆症,不只是对以往经验的记忆上有瑕疵,也难以想象全新体验。这一成果使研究者们认识到了大脑记忆功能与认知能力之间的密切关系,并由此开始寻找改善这种状况的方法。这个工作被Science杂志列为当年的十大突破之一。
这当然是哈萨比斯研究成果首次入选Science十大突破,另外三次是2016年的AlphaGo,2020年的AlphaFold v1,2022年的AlphaFold v2。他认为人类的记忆都有一个过程叫做“遗忘”,这个过程是通过抑制来实现的,而强化则能帮助我们重新恢复记忆。从那时起,他又对大脑中回忆与想象机制进行深入研究,随着认知神经科学研究的不断发展,哈萨比斯在人脑学习方式上发展出他的认识,将来,他会用Atari游戏来测试他的创意,在这一思想后面,关键技术是加强学习。
于世间而言
哈萨比斯于2009年获得博士学位,后赴盖茨比计算神经科学研究组从事博士后研究,在此期间,他认识了Shane Legg.2010年的博士后的同事,他和Legg、还有他哥哥的童年好友Mustafa Suleyman,一个叙利亚裔打车司机,一个英国护士之子,共同创立DeepMind。公司使命破解智能难题,然后用智能来解决其他的一切问题。这是怎样一个大理想。他认为自己已经拥有了一个巨大而又神秘的未来世界,这就是“人工智能”,而他所设计的智能系统正是这个系统中最重要的组成部分。具体地说,哈萨比斯构想的AGI之路是联合神经科学的道路、机器学习与计算,达到日益通用的目的、功能强大的学习算法,逐步实现通用人工智能。
哈萨比斯在其着作中提出,最适合检验手段就是游戏。他的方法是把游戏和人放在一起做一个实验。他选的是Atari。该算法只用游戏画面做输入,运用强化学习,到了人类的高度。他还用计算机模拟人与人之间的对抗过程,让人类去做一些不可能完成的事,比如在没有机器人帮助的情况下,自己驾驶汽车前进,甚至攻击对手。这一试验,最终于2013年12月份work完成。2015年,哈萨比斯的团队将算法论文发表在Nature上,已被2万多人次的论文引用,这是哈萨比斯最有影响的一篇文章,题目是《深度强化学习实现人类水平的控制能力》。
2013年,DeepMind三岁,Google高管Alan Eustace一行人乘坐私人飞机来到伦敦,看到DeepMind展示的游戏AI,还有后面强化学习算法原理,让人叹为观止。他们决定把人工智能和大数据应用于教育事业中,帮助学生解决学习难题,从而提升学习成绩。双方互换使命愿景契合。在他们的共同目标中,有一个共同点,那就是让人们能够通过互联网获取知识。Eustace认为Google的任务就是索引人类的全部知识,使其容易存取,并且最终促进世界智力的发展。在这个意义上,我们可以把人工智能称为人类智慧的延伸和发展,它与互联网一样具有普适性。它实际上写进了Google网站介绍中:Our mission is to organize the world’s information and make it universally accessible and useful(我们的使命是整合全球信息,使人人皆可访问并从中受益)。他是一个计算机专家,在人工智能领域中取得了巨大成果,但他同时又是一位发明家和发明家兼教育家,他对人工智能有着独特而深刻的见解。记住Alan Eustace的名字,这个计算机科学家、硅谷兴起的见证、自由落体跳跃最高级别记录保持者,他参加了这次AI比赛,又出现了。
翌年1月Google决定用5亿美金购买DeepMind,这时候DeepMind有50名员工。为了留住这些人才,公司需要对他们进行培训和教育。与此同时,Facebook也提出了一个较高水平的出价。哈萨比斯选择了Google。前提是Google认可DeepMind的愿景和道德红线,并且给予DeepMind充分自由度。不过,DeepMind后来的部分精力(由Co-founder Suleyman负责)就是把算法落在Google的各种产品上,例如YouTube的推荐算法,不过,这全靠DeepMind了,而且不需要对提高Google广告营收承担责任。DeepMind认为,如果仅仅是为了产品而学习解决方案,便制约了想象的限度,这样就不可能在长期内取得较大的突破。
AlphaGo 一战成名
哈萨比斯认定,为了最能反映人的智力而进行的比赛,中国古代围棋,以论证DeepMind线路。这是个有趣的故事,它来自于国际象棋和围棋的结合——国际象棋是一种智慧的棋类游戏,而围棋则是人类最原始的智力竞赛之一。长期以来,国际象棋一直为计算机蛮力搜索而折服,但是围棋的复杂程度就大得多了,围棋的规则非常简单,但是状态空间非常大,不能依靠现有的计算机来进行有限时间的工作,利用蛮力寻找最优解。在这之前,人类只能依靠自己的大脑去完成最基本的工作。当时最优秀的人工智能算法还不能和顶尖人类玩家媲美。
两年之后的2016年3月份,哈萨比斯一行人把AlphaGo带到了韩国,和世界排名第一的李世石对打。AlphaGo以四比一击败了李世石。这也是人工智能领域第一次以人类围棋选手身份出现。失败的李,用黑色记号笔潦草地签上棋盘后面的字。在这个时刻,人类历史上最伟大的围棋大师诞生了!哈萨比斯代表AlphaGo签名,DeepMind把棋盘作为战利品留下。在这场比赛中,人类历史上最伟大的围棋大师诞生了!李世石、哈萨比斯、Google创始人布林,留下那幅人类历史划时代的照片,这是人类历史中一个暗无天日的日子,更是人类历史中光辉灿烂的日子。
图:AlphaGo赛后合影,哈萨比斯(左),李世石(中),布林(右),by Google
一鸣惊人,世人皆知,数据驱动深度学习软件2.0,实现了降维打击基于人工编程的软件1.0。研究员在程序员中的作用等,亦从此拉开纪元的序幕,假如一位程序员当天尚未拥抱机器学习,2022年,他又会受到OpenAI旗下Codex的重创。
哈萨比斯把AlphaGo的算法发表在2016年的Nature上,现在已被引15000余次,题目是《用深度神经网络和树搜索掌握围棋游戏》。
情况不可能是一帆风顺的。2015年,DeepMind的首批两名投资者,风险投资家彼得·泰尔和企业家埃隆·马斯克,以资助对手OpenAI的方式象征性的背弃DeepMind。这让人们看到了一个新时代下科技公司的发展方向——将人工智能技术应用于智能物流领域。OpenAI也相信AGI,但是,人们对怎样达到这一目的却有完全不同的想法。
AlphaFold续写神话
AlphaGo获胜当年,DeepMind为AI蛋白质结构的预测研究拉开了序幕,四年后发布AlphaFold,把蛋白质结构的预测由几个月至几年的时间减至几分钟,给蛋白质组学的研究带来了一场变革,精度与实验室水准相近,破解了长达50年之久困扰科学界的问题。
相对于基因组学,蛋白质结构就复杂得多,一个氨基酸序列与一个蛋白质的结构相对应,但细胞中氨基酸序列折叠组合后形成三维结构,其机理很复杂。随着科学技术的发展,人们对生命活动的理解越来越深入,蛋白质组学应运而生。AlphaFold项目前,人类用实验方法测得蛋白质结构仅10万种,并在2022年7月份之前,DeepMind公开了一种超2亿个蛋白质结构,它已涵盖了人类所知道的全部蛋白质,极大地加快了蛋白质组学的研究步伐,从而荣获2022年度Science选出的10项技术突破第一名。
图:AlphaFold艺术品坐落在西班牙,显示具象化蛋白质结构。该展览展出了一个名为“生物分子”的系列展。图源出自哈萨比斯的(右)。
在可预期的将来,无数生物医药项目都会从AlphaFold获益,癌症新药也不例外。目前,科学家们正致力于开发一种新方法来分析生物样品中的蛋白质分子间相互作用,从而确定疾病发生发展过程的关键信息,并为药物研发提供科学依据。人类征服癌症的步伐越来越大。人工智能和机器学习等技术不断发展,为我们提供了新的研究方法、思路与工具。哈萨比斯于2021年将该算法刊登于Nature,现在被引8000余次,题目是《用AlphaFold实现高度准确的蛋白质结构预测》。
到2023年2月为止,已有一百万多名研究员利用AlphaFold结果,对于农作物的可持续性、药物发现与人类生物学及其他方面。
Gato的远大前程
同时哈萨比斯团队正在进行生成式AI的研究。他的目标是开发一个能够模拟人说话能力的计算机语言系统。2016年,DeepMind发布WaveNet,在语音合成中,使合成语音和人类之间在水平上的差距减少一半。但是,哈萨比斯不属于大语言模型的定位,输入到2022年前的核心力量,很少有在这一领域具有代表性的作品。他认为,未来人工智能发展的关键是人和机器之间的协作能力。这与哈萨比斯战略路线相关,喜好智力而不是蛮力。
典型证据之一发生在2022年5月份,DeepMind发布了一种通用AI代理Gato,能同时运用图像,对话和电子游戏等、机械臂等进行AI.Gato的训练,可用于游戏,对话和描述图像、输出关节力矩,操作按钮,等等。值得一提的是,哈萨比斯的团队知道Gato通过Scale up,可获得较强AI,可他却不那么干了,但首先要从方法上迈出通用人工智能的步伐,接着刊出。
2022年9月,DeepMind发布对话式AI——Sparrow.Sparrow使用了大语言模型,并且增加了强化学习人类反馈(与ChatGPT背后技术类似)。它是一个以人工智能为基础的新平台,可以让用户在任何地方都能听到和看到任何信息。Sparrow不只是会说话,会答题,也可以利用Google搜索进行信息的引用查询,它甚至已经超越ChatGPT所能达到的水平。
我们有理可猜,是Sparrow所拥有的技能使OpenAI感到威胁,决定提前一步发布ChatGPT.
时间到2023年1月份,哈萨比斯接受采访的次数很少,他向时代周刊表达了对人工智能的担忧。“我们担心人工智能会破坏人类生活。”他想到2023年某一天推出Sparrow测试版,要小心行事,例如,请Sparrow援引资料的来源。“人工智能会带来巨大的社会和经济影响,但是,我们并没有意识到这个问题。”他还想着变化,“有人在搭便车,只消费知识,但不做贡献,这也包括某些国家。”他认为,人工智能是一场灾难,它将使人类失去控制自己行为的能力。他同时预言了在人工智能行业中公开出版结果的风气,也许马上就过去了。
以保障人工智能安全为目的,哈萨比斯建立了内部道德委员会,保证企业行为不跨越红线,其中还涉及DeepMind和母公司Alphabet之间可能存在的矛盾。
时代周刊认为,哈萨比斯目前最喜欢的游戏是一款名为Polytopia的策略游戏,其目的就是要通过技术上的渐进,把一个小小的村庄,发展成称霸全球的帝国。这个游戏的名字叫《未来之城》。马斯克还是这款比赛的拥趸。他认为,人类要想成功地实现这一梦想就必须从现在开始进行科技创新,不断探索新技术,创造出新产品。哈萨比斯认为,科技的发展,是文明的原动力。
天才哈萨比斯是个聪明、好奇、热爱人类。
2、无畏者伊利亚
4400万美元的空壳企业
2012年12月的一天,一场暗地拍卖会,美国内华达州塔霍湖附近Harrah酒店731室,它位于西西里山脉东麓(Sierra Nevada)脚下,从室内可眺望塔霍国家森林,西西里山脉雪山尽收眼底。
图:塔霍湖Harrah酒店,Google Map
拍卖人是英裔加拿大人、计算机科学家Geoffrey Hinton和他的两个博士生Alex Krizhevsky和Ilya Sutskever(伊利亚)。他们的名字来自于他们的姓氏,他们是一个非常有才华的团队,他们的目标就是要将拍卖结果与现实世界进行对比。拍卖标的为一家刚刚成立的空壳公司DNNResearch(深度神经网络研究),就这3个人,没有什么产品,也没打算,仅有1篇论文刚在酒店会议中心召开的神经信息处理大会上宣读,这篇文章叫做AlexNet,刚在大型图像识别竞赛中获胜。
4家竞价人:北京余凯博士代表百度;来自雷德蒙德的邓力博士,代表微软;乘坐私人飞机从硅谷飞来的Alan Eustace博士和Jeff Dean博士,代表Google;另外还从DeepMind得到哈萨比斯博士。在这场拍卖中,他们都是以个人名义参与竞标。拍卖是以Gmail的形式举行的,竞价人并不知情。他们是如何决定是否参与拍卖?作为第一个行动者,拍卖开始前,百度已出价1200万美金。DeepMind只持有股份而不持有现金并迅速撤离。竞价到2000万美金时微软出局,但是不久就回来了。这是个很有趣的现象,在互联网上,有很多人在竞价中都是以现金或其他形式获得了自己想要的东西。竞价到2200万美金时,微软又撤了,仅剩百度和Google。百度坚决不减损,余凯博士在现场探风,北京高层远程参与竞价,几轮下来的报价到了4400万美金的时候,Hinton就决定休息一下。Hinton于次日上午结束了拍卖。
塔霍湖被拍卖后,DeepMind创始人迪米斯·哈萨比斯(Demis Hassabis)把他的看法深深地印在世人的脑海里。它们在某种程度上呼应了Hinton的声音。从另一些角度来看,他们甚至对未来有更深的预测。不久哈萨比斯就会被卷进同一场比赛。
在塔霍湖,代表Google的Alan Eustace又赢了,就像一年后,他在伦敦赢得了哈萨比斯的DeepMind。这是个让人兴奋的日子。科学家们相信Google的价值观,再次起到至关重要的作用。也许Hinton也没有察觉,拍卖之后由于其博士生伊利亚坚持推出了一个小型项目,已开启全球新一轮科技竞赛。这次的拍卖,不仅是一个商业案例,还是一场关于“创新”与“伦理”的思考和讨论。而且Hinton本人也会不断地试图推翻他的学说。
比赛进行了整整十年,在这十年中,iOS和Android取代Windows的地位,iPhone促使集成电路制造工艺由A6中32nm提升至A16中4nm,世界已大不相同。十年后十二月第一天,伊利亚又要推出一个小型的计划,揭开了更多腥风血雨AI科技竞赛的第二页。
贵人Hinton和一段插曲
时光倒流1985年,伊利亚出生在前苏联的下诺夫哥罗德。他从小就喜欢学习,对数学和物理有浓厚的兴趣,尤其是编程。他多半是在以色列耶路撒冷成长起来的,五岁就跟着工程师的爸爸去参加博览会了,初见电脑,他彻底迷上自己。此后,他一直想成为一名计算机领域的专家。伊利亚于2002年16岁时随家迁居加拿大,此时,他已开始学习编程,并且开始考虑怎样把计算机当作人类来做。在那里,他遇到了许多问题。伊利亚到加拿大后,首先要去加拿大,就是奔着多伦多公共图书馆去的,寻找有关机器学习方面的书籍。当时他看到一本名为《机器学习》的书,里面有很多非常有趣的例子。这一年,伊利亚进入多伦多大学学习数学。在那里,他接触到很多人工智能方面的书籍,并对其产生了兴趣。2003年刚进校不久,他为著名的机器学习科学家敲响警钟、出生于1947年的伦敦的英裔加拿大人Geoffrey Hinton办公室的门。在与同事们交谈中,他发现他们对计算机编程和人工智能感兴趣。伊利亚以其犀利的眼光,博得Hinton认可,进入Hinton实验室。
伊利亚从此追随Hinton捣神经网络的脚步,从本科到硕士生、博士生,十年如一日。他在人工智能领域取得了多项成果。2010年,伊利亚获得Google奖学金,这是加拿大唯一的获奖者。这一年,他又开始做人工智能项目。奖学金由学杂费,年度津贴25000美元,个人电脑5000美元组成、Google奖学金论坛特邀、一部新的Android手机(有趣的是,此前伊利亚并不使用智能手机)和一位Google研究导师。此时,伊利亚已经做出了能够自动生成文本的循环神经网络(RNN),其工作原理,和伊利亚8年以后参与OpenAI开发的GPT已高度相似,这项工作发表在2011年ICML机器学习国际会议上。以后多年,该通过对生成式模型的学习,以对智能进行方法学研究,还对伊利亚产生过深远的影响,以致于判别式模型AlexNet似乎仅仅是其科研生涯中的插曲。
伊利亚于2012年某日到教师Hinton办公室表示:我们已将深度学习应用到语音识别的work中,应抢在ImageNet图像分类中使用。因为在语音识别中,很多时候是通过训练得到特征图和分类器后才能使用的。但是伊利亚并没有找到人可以帮助他,经验丰富者忙前忙后。因为他的团队中很多人是用机器学习方法进行训练的,所以很难找到合适的人来帮助他完成这项工作。于是,伊利亚说服了师弟Alex Krizhevsky,一个乌克兰裔加拿大人过来帮助他,但伊利亚会帮他做好ImageNet的数据预处理(对研究人员来讲,这是一项有点boring的编程工作,通常被称为dirty work)。
Alex还是一位编程高手,他能够熟练使用NVIDA的GPU库cuda进行编程(那个时候,这通常是从事计算机图形学的博士生才擅长的事情),而Alex作为CIFAR10与CIFAR100影像分类数据集创作者之一,对影像了如指掌。他的学生们也非常喜欢他所做的工作,并经常跟他一起讨论这个话题。师徒三人设计的算法,基于二十多年前的卷积神经网络LeNet(by Yann Lecun),使用Alex家电脑中游戏GPU、大规模的图像数据、以及算法上的一些小改动(比如Hinton提出的Dropout)并作出AlexNet。这套算法被称为“大尺度网络”,它能从一个像素到另一像素点来计算物体之间的距离。春夏播种,秋季收获,9月30日一熟,以AlexNet为平台,对ImageNet进行了竞赛,夺冠并实现历史性突破。
图:Hinton师徒三人,伊利亚(左),Alex(中),Hinton(右),by Wired 2013.
两个月之后,出现了前4400万美金拍卖的故事。
有了同学们的执着,Hinton分得拍卖金额的40%,伊利亚和艾利克斯各分得30%。这是在拍卖前的最后一次拍卖。此时,伊利亚毕业了,他从刚刚入职2个月的Stanford吴恩达研究组博士后岗位辞职,进入Google Brain工作.
AlexNet——一项有些动机不纯——的研究计划最终落下帷幕,伊利亚能够返回到自己的生成式模型。他将继续探索人工智能技术对自然语言理解和处理带来的影响。在Google上伊利亚制作神经网络驱动语言翻译,这是一种Sequence to Sequence的生成式模型,对Google翻译进行大升级打下基础。此后机器翻译可用性有了很大提高。我肯定以后有许多中文博士学位论文,可能普遍使用了Google翻译。在Google时伊利亚也加入AlphaGo。
受青睐者恃强凌弱
看着DeepMind对AlphaGo的突破,伊利亚内心对通用人工智能AGI这个概念,愈发强烈。2015年7月,YC的Sam Altman和Stripe的Greg Brockman找到他,请他出席精心准备的宴会。Google知道后,给伊利亚提供了近200万美元的offer,但伊利亚也不能拒绝和一帮志趣相投的朋友一起工作。他有AGI信念,也有野心,看来,只有和这个群体相处,才有发挥的可能。对已获得千万美金的收益、世人瞩目的研究成果——伊利亚,为理想AGI服务,为了让他有源源不断多巴胺。
两种动机使得伊利亚仔细研究了OpenAI提出的建议。第一个是技术上的担忧。一,信仰:机器学习这种方式已经步入成熟期,重大突破要求科学与工程密切结合,单靠小规模科学实验,要想取得成效非常困难。如果我们能够在实验中积累经验,就能把它应用到工业制造领域,甚至可以帮助人类实现更多的智能。二是忧虑:随着AI的不断增强,他逐渐承认了担心AGI会产生负面作用,而要想化解这一忧虑,还需一个更开放和更负责任的组织。
伊利亚以联合创始人的身份于2015年12月份进入OpenAI担任研究总监。
伊利亚于2016年6月参与草拟OpenAI四个技术目标,并领导研究团队,把Generative Models(生成式模型)确定为主要研究方向。在他看来,“它不是一个简单的计算过程,而是一种思维方式,一种对现实世界进行认知、理解和解释的能力。”伊利亚就是这样一个人,生成与理解有很强的联系,若能将某一数据(不可能完美)得非常好,您可以对此类数据有更深入的了解。他认为,人是有能力改变世界的,而不是仅仅被控制着。费曼说,这一信念是受Richard Feyman哲学的启发而产生的:“我所不能创造的东西,我就不能理解。”
"What I can't create, I don't understand."
—— Richard Feynman. —— Richard Feynman.
2018年–2020年,伊利亚相继做出GPT–1,GPT–2,GPT–3.2021年DALL-E.2022年做出ChatGPT.
伊利亚OpenAI开发的GPT模型,和Yoshua Bengio 2003年机器学习研究杂志JMLR刊登的文章一样,都是自回归模型,只不过模型单元由MLP提升为Transformer,直到2017年才发明出来.
回想伊利亚2012年的AlexNet,它是基于Yann Lecun 1989年模型,仅仅使用较大算力,算法改动较小。
伊利亚得到了两个兄弟Bengio,Lecun,挖掘出尚未被完全研究过的珍宝,在摩尔定律的帮助下,跨越了十年,引发深度学习的两个滔天巨浪。
无畏者伊利亚是受青睐的存在。
改变了世界的两位同龄人
ChatGPT红遍世界之后,伊利亚用twitter写了这样一段话:
很多人相信,人工智能的巨大进步,一定会蕴含着一种全新的“想法”。“人工智能不是在任何时候都能成功的,但是它却能够改变我们的世界!”其实不然,人工智能的很多重大进展都采取了这样一种形式:“哎呀,本来这一耳熟能详而又无关紧要的念头,在得到适当实现后,真是令人叹为观止。”
我找到了好研究者,以及杰出创业者,他们之间的相似之处远远超出了我们的想象。我们应该从哪些方面来思考,来做一些事情呢?回顾一下历史中人们耳熟能详的提问与方法,放到现在这个大环境下,再考察一下变量是什么,过去行不通,现在也行不通?我们需要什么新东西,或者创造一种新思想呢?循着这一思路,我们能发明出大产品来,还能进行大的调查。
特斯拉电动汽车就是这么创造出来的。AlexNet、GPT等人,就是这么创造出来。
这也让我想起了ResNet的发明,这是2019年、2020年、2021年在所有科学领域中被引用最多的论文,何恺明、张翔宇、任少卿、由微软亚洲研究院孙剑研究员等完成。他是一个非常优秀的科学家,同时又是一名出色的管理家和经济学家。在其许多论文中都可窥见一斑,恺明的研究方法学,是make complex things simple。这个方法很适合那些需要快速学习新概念和新技术的科研工作者。去掉bells and whistles,挖掘那最容易的,也是最主要的、效果最好的理论。
"Make it as simple as you can, but no simpler. "
—— Albert Einstein. —— Albert Einstein.
何恺明的方法学是make complex things simple,伊利亚的方法学是make simple things great。这两种方法都有其独特之处。1984年生于中国,1985年生于苏联,是两位同龄人,其方法学结合,一而再,再而三地改变着这个世界。
伊利亚生在苏联,生长于以色列、求学移居加拿大、供职美国。移民是个惊人的决策,抛开所有似曾相识的东西,重新开始,这怎么不叫创业精神呢?
无畏者伊利亚是个勇敢、受青睐、热爱人类的民族。
3、创造者山姆
Sam Altman(山姆)在推出OpenAI前最显着的地位就是硅谷孵化器YC负责人。
较早前出生在犹太家庭Sam Altman,首次成功撤资的创业项目为Loopt,一个基于地点的社交应用。当时,他和很多人一样,都想成为一名成功创业者,但他最终选择了做一个普通的网站。为创建Loopt,19岁的Sam从Stanford退学。他的目标是成为一名成功的商业领袖,但当时的公司并不支持他的想法。2012年,Loopt以4300万美金的价格被收购。
十一年之后,Sam将这次首次创业定位为一次失败,还有—糟,那个时候,他并不知道,只有他才关心并反省着失败的原因。在他看来,这一切都只是因为自己的错误。拥有创业者与投资人双重特性的Sam相信,投资人在成功中占有过大的份额,但是,失败所负责任是不够的,这使创建者们产生了一种难以自圆其说的抓狂情绪。
Sam花在创业项目上最多,包括Loopt,YC,OpenAI等。他们都是以互联网为基础来发展自己的业务。到2023年为止Sam已经投入了数千家企业,有400人左右进行了个人投资。
Sam是那么热衷于创作,以至于某天晚上写了一篇Twitter的文章,“想要创造经久不衰的东西的愿望是如此强烈,我好奇为什么。”
"The drive to create something that lasts a long period of time is so strong. I'm wondering why."
—— Sam Altman —— Sam Altman
Sam在许多问题上都有着深刻的想法,并写下来,这一点很像忘年交Paul Graham。他认为,如果我们能够让自己保持清醒,并将注意力集中于某些方面,就可以减少压力。Sam的工作效率很高,做着常人眼中夸大的事,例如用安眠药。还会和Sheldon那样做好世界末日的准备,例如购买土地和飞机等。他认为人类社会正在经历一场深刻而全面的革命。他对资本主义前途进行了反思,考虑人类和机器之间的整合,对AGI将引发的社会变革进行反思。
在塑造自身认知时,并且写完后,要认真贯彻落实,例如,创造世界币,对硬科技的投入,乃至对真金白银的参政。他是一位“超级投资人”,在投资过程中会不断思考,不断学习。他重建YC的同时还投入OpenAI的资金,对核聚变乃至新一代Foundry进行了投资。他说,”我不相信,我相信我做不到的事情。他用AGI压住了宝,并为之放下了YC的架子。他认为,如果一个企业没有文化和价值观,就像没有灵魂一样,它不可能成为真正有价值的公司。YC终究还是以人为杠杆,而OpenAI的杠杆是AGI。他说,他的投资不是为了赚钱而是为了传播一个理念。他认为AGI将无限制地放大其影响力――这是硅谷的典型意识形态。
给予每一个成年人基本收入、对大资本课税、全民拥有美国股份、拥有Sam乌托邦。
但令人稍放心一点的就是,Sam就是这样一个被互联网深深感染的人物,他习惯于以迭代的方法论来不断地调整自己。在一次会议上,他对互联网企业提出了一个建议——“迭代部署”。当ChatGPT备受争议时:“迭代部署”被笔者视为惟一的安全途径,也只有这样,才能使人,社会,制度都能获得时间去不断更新,内化新鲜的东西。
4、异见者达里奥
2020年12月,OpenAI研究VP,Dario Amodei(达里奥)带领一批员工离开(共7人团队),创建了Anthropic。这是一个由一群来自不同专业背景的科学家组成的科研团队,他们将专注于开发新型人工智能系统。包括负责人力、安全和政策的VP——达里奥的妹妹Deniela Amodei,和GPT–3文章的第1和第2作者。这七人在OpenAI之前已经相识,有Google Brain、物理学和其他领域的常见经验。他们都曾参与过项目开发,并担任过项目主管。值得一提的是,比起达里奥,拥有多年政策工作经验,Deniela在表达能力上更胜一筹。
OpenAI特别通告,送走达里奥的通告,达里奥想把重点放在研究上而非产品上。Sam还对今后建立协作的意愿表示赞赏。
时间又回到了2016年5月份,Sam和CTO Greg Brockman接待了时任谷歌研究员的达里奥。达里奥对他们说,谁也不理解OpenAI的工作。他说,他是想知道这个人工智能公司到底在做什么?尽管如此,达里奥还是在几个月后加入了OpenAI球队,身为AI安全团队带头人。
从2019年9月起,达里奥以研究VP身份和伊利亚一起承担OpenAI研究计划。在2020年GPT影响力扩大后,马斯克公开谴责OpenAI的不开放,表示担心AI安全性,还说不相信达里奥为AI安全所做出的努力。
意大利裔美国人达里奥,2006年,他结束了Caltech物理与Stanford物理专业,2011年,获普林斯顿生物物理方向博士学位,2014Stanford药学院博士结束后学习,走进百度美国研究院,和吴恩达一起进行语音识别,一年后进入Google Brain从事AI安全研究,直至2016年,走的是AGI的研究道路。
Anthropic创立后,更有OpenAI工作人员参与到达里奥队伍中。Google前CEO Eric也参与了投资。2023年因ChatGPT一举成名,Anthropic宣布拿到Google 3亿美元投资。
5、反叛者Neo
AI by the people, as far as the people are concerned.
——Stability AI ——Stability AI
这是Stability AI官网上最引人注目的地方写下的口号。这个标语是来自一家名为“人工智能”的企业发布的,旨在为人工智能开发者提供免费共享的开发环境和平台。这就是大家所熟悉的AI图片产生开源模型Stable Diffusion的幕后企业,2020年由出生于约旦的英国人Emad Mostaque出资建立。这个名为“数据驱动”的项目主要面向商业用户,通过使用大量真实的数据进行建模和训练来提高机器学习能力。直到Stable Diffusion被人们所熟知,该公司在AI领域发布了许多包含数据在内的开源项目、算法与模型复现与开源,强调对标OpenAI闭源GPT、CLIP系列模型及资料。
开源领域中最有影响的当属GPT-NeoX系列模型。在这个以“人”为中心的世界上,“英雄”是什么?对了,那是《黑客帝国》中的救星AI Neo,终于带领人类抵抗了机器的入侵。
Nero, The Matrix
Stability AI已发起若干实体组织,一些项目属于内部研发,还有大量的研究已经在公开场合展开,凡是志愿者均可参加。他们认为,开源智能机器人将改变未来工作模式和生活方式。他们认为开源的人工智能正是促进AGI取得突破性进展的关键、安全性与颠覆性应用等终极方式。Stability AI以商业化的产品及咨询服务赚取收入。
自ChatGPT上市以来,Stability AI旗下的组织,不久,全球AI社区志愿者被集合,打开开源复现的大门。在这个过程中,我们看到了一种新的工作方式——从项目开始到成果发布再到持续改进,它不仅能让开发者和用户一起参与进来,而且还可以使整个行业获得创新活力。尽管组织模式稍显宽松,但是透过对Stability AI的理解,我深化了这样的信念:人类社会,应该是多样化的。
我在几个彼此无关的研究中,一般发现欧洲人对隐私,去中心化的追求、开源与个人重视。全球科技产品看似打上太多美国印记,其实,几乎每一个硅谷互联网服务,所有欧洲的开源版本。一些看似小众的APP,半死不活的中国,但是欧洲有一小批人做得很仔细,他们的产品很精美,收入也比较稳定,对于我这样一个已经适应中美互联网产品,简直就是一股清流。
反叛者Neo,诞生在欧洲。
"The Matrix is one system, Neo. This system is our foe. But when we're indoors, we look around, what do we see?"
—— Morpheus, The Matrix
6、钢铁侠马斯克
“钢铁侠”是网友们给Elon Musk(马斯克)的昵称之一。他是一个非常喜欢高科技和机器人的人,在人工智能、汽车工业以及航空航天等方面都有着自己独到的见解。马斯克是AI领域的侠客。
他首先建议将自动驾驶列为车辆的必要功能。他是自动驾驶技术领域的领路人之一。他首先投资了DeepMind,以便监管DeepMind的AI进展。他还是一个能源专家。同时还是OpenAI倡导者之一,并资助OpenAI以便对抗Google收购DeepMind。他曾说过,他的想法很有可能成为一个错误的选择。他将能源公司Tesla改造成能源与AI公司。在过去的一年中,他多次表示自己将退出公司。OpenAI关闭后,他多次发声反对。他的态度是要将它改造成为一个开放的平台,让所有的人都能参与其中。现在,他已不在OpenAI董事会了,亦未持股。当Bing没有很好地对ChatGPT进行安全控制,他要求暂停营业。
他制造AI推理芯片FSD,又打造AI训练设施Dojo。他是全球最优秀的人工智能研究专家之一,在人工智能领域取得了令人瞩目的成就。就AI芯片而言,他向Nvidia提出了积极的挑战。他是一位人工智能专家,曾参与过“深度学习”、“神经网络”等项目。他打造FSD车队,扩展到整个北美数十万辆。他是一个天才科学家,也是一名天才的工程师和发明家,同时还是一位超级明星运动员。他开始了人形机器人的研究与开发,亲身下场,完成了自己最初在OpenAI上的设想。