一封信导致Sam Altman被开除？神秘「Q*」项目曝光，进化令人震惊
机器之心报道
机器之心编辑部
Sam Altman 被开除之前发生了什么？
OpenAI 的「真还传」剧情昨天迎来了大结局。但今天，事件主角 Sam Altman 又上了热搜。
路透社报道称，在 Sam Altman 被董事会开除四天之前，几名研究人员向董事会发送了一封信，警告他们 OpenAI 已经有了一项重大的人工智能发现，而这项发现可能会威胁到人类。知情人士称，这封以前未报道的信件和人工智能算法是董事会罢免 Altman 的一个关键线索，也是董事会对 Altman 的诸多不满之一。
路透社提到，OpenAI 在发给员工的内部信息中承认了一个名为 Q * 的项目，并在 Altman 被开除之前致信董事会。OpenAI 的一位发言人表示，上述内部信息是由长期担任高管的 Mira Murati（OpenAI 前 CTO，在混乱之初曾被任命为临时 CEO）发布的，目的是提醒员工注意某些媒体报道，但不评论其准确性。
Q * 的发音为 Q-Star，一些内部人士认为，这可能是 OpenAI 在追寻超级智能 / 通用人工智能（AGI）道路上取得的一项突破。也就是说，他们可能已经创造出了比人类更智能的 AI 系统或与其有关的突破。
据悉，Q-Star 能够解决以前从未见过的数学问题，而数学是生成式人工智能发展的前沿。目前，生成式人工智能擅长通过统计预测下一个单词来进行写作和语言翻译，而且对同一个问题的回答也可能千差万别。但是，如果掌握了数学能力（只有一个正确答案），就意味着人工智能将拥有更强的推理能力，与人类智能相媲美。人工智能研究人员认为，这可以应用于新颖的科学研究等方面。著名数学家陶哲轩就经常晒出自己在 ChatGPT 的辅助下进行数学研究的例子。
最近几周，该模型的演示在 OpenAI 内部流传，其发展速度让一些关注人工智能安全的研究人员感到震惊。
消息人士称，研究人员在给董事会的信中指出了人工智能的能力和潜在危险，但没有说明信中提到的具体安全问题。
长期以来，计算机科学家们一直在讨论超级智能机器带来的危险，比如它们是否会认为毁灭人类符合它们的利益。
在这种担忧不断蔓延之际，Altman 却在加速推进 GPT 系列模型的开发及其商业化，以早日实现通用人工智能。
除了在本月的 OpenAI 开发者大会中宣布了一系列新工具外，Altman 在上周的亚太经合组织工商领导人峰会上还开玩笑说，他相信 AGI 就在眼前。他还表示，在 OpenAI 的工作经历中，他有幸目睹了知识边界四次被推进，其中最近一次发生在几周前。
在发表这番言论的第二天，Altman 就被董事会解雇了。
据 The Information 报道，神秘模型 Q-Star 是由 OpenAI 的两位顶级研究人员 ——Jakub Pachocki 和 Szymon Sidor—— 基于 OpenAI 首席科学家 Ilya Sutskever 的研究成果构建的。在 Altman 被开除后，二人也成了首批辞职的高级员工之一。
The Information 还写道，在取得突破后的几个月里，Sutskever 似乎对这项技术持保留态度。今年 7 月，他组建了一个「超级对齐」团队，致力于让强大的 AI 系统遵循人类的意愿，而不是伤害人类。该团队在其网页上说：「虽然超级智能现在似乎还很遥远，但我们相信它可能会在十年内到来。」
Ilya 取得的突破以及他对 AI 安全的担忧，有助于解释他为什么参与罢免 Altman 的行动，以及 Sidor 和 Pachocki 为什么在 Altman 被解雇后迅速辞职。不过，在 Altman 重回 OpenAI 后，两人也回到了公司。
除了 Pachocki 和 Sidor，OpenAI 前董事长兼联合创始人 Greg Brockman 也一直致力于将该技术集成到新产品中。上周，他和 Altman 一起离开，如今又一起回归。
据知情人士透露，Ilya 的突破还帮 OpenAI 克服了获得足够高质量数据来训练新模型的限制，这是开发下一代模型的主要障碍。该研究涉及使用计算机生成的数据，而不是现实世界的数据（如从互联网中提取的文本或图像）来训练新模型。
有迹象表明，Sutskever 越来越担心人工智能的风险。在一篇博客文章中，OpenAI 表示，它将把五分之一的计算资源用于解决来自「超级智能」的威胁，Sutskever 和 Leike 写道，这「可能导致人类被剥夺权力，甚至人类灭绝」。
在经过几天的混乱之后，OpenAI 正在经历一轮新的洗牌，还有很多问题悬而未决。很多人调侃说，这意味着这场大戏还有第二季。
Adam 成原董事会「遗珠」，首席科学家 Ilya 发声
随着 Sam Altman 重返 OpenAI CEO 职位，原董事会也迎来了重组。
现在，OpenAI 组成了包括前 Salesforce 联席首席执行官 Bret Taylor（董事会主席）、前美国财政部长 Larry Summers 和 Quora 联合创始人 Adam D'Angelo 在内的三人初始董事会。
我们知道，OpenAI 原董事会成员有 6 人，包括 3 名 OpenAI 高管（原董事长兼总裁 Greg Brockman、CEO Sam Altman 和首席科学家 Ilya Sutskever）和 3 名非员工董事（Adam D'Angelo、Tasha McCauley 和 Helen Toner）。此后就是大家熟知的 Greg 和 Altman 被踢出董事会。
而全新初始董事会的「出炉」意味着 OpenAI 原董事会成员 Ilya Sutskever、Helen Toner、Tasha McCauley 都暂时「出局」了。至此原 6 人董事会成员只有 Adam 留了下来。这就让人对 Adam 非常好奇，毕竟他此前被认为是开除 Sam Altman 的幕后推手（他的 AI 项目 Poe 被认为与 Altman 发布的 GPTs 等产品存在竞争关系）。
Adam 年少成名，他是问答网站 Quora 的联合创始人之一，与 Facebook 创始人扎克伯格为预备学校同学，并曾担任 Facebook 首位 CTO。Adam 被认为是一位致力于在网络上传播更好信息的杰出工程师，为人很低调。
Adam 担任 OpenAI 董事会成员已经 5 年了，过去几天他在网上遭到了业内同行的批评，甚至马斯克也要求他解释为什么驱逐 Altman。而根据 Quora 前员工的一些说法，Adam 有时会突然解雇高管，而不考虑对员工的影响。
不过，对于 OpenAI 内部存在的激进与安全路线之间的平衡，Adam 似乎持有乐观的态度。身边人形容他很务实，对 AI 的商业化并不过分谨慎。可以说 Adam 并没有试图减缓 AI 的进步，过去一年他一直将精力投入到自己的 AI 项目 Poe 中，这是孵化自 Quora 的一个 AI 聊天机器人平台。
此外，Altman 也一直欣赏 Adam，在 2018 年将他引入 OpenAI 董事会。Altman 曾称 Adam 是人们在讨论最聪明 CEO 时不断提及的少数几个名字之一，有时甚至会在深夜与他通电话解决问题。
另一位前董事会成员、OpenAI 首席科学家 Ilya Sutskever 的去留也备受关注。他参与了解雇 Altman 的行动，但随后又后悔了。Sam Altman 转发了 lya 表示后悔的帖子并加上了「爱心」的表情，看起来是和解的信号。其实，Ilya 在 OpenAI 的技术影响力也足以促使 Altman 让事情翻篇。
据《华尔街日报》报道，这一转变是 Greg Brockman 的妻子促成的，而 Ilya 是二人婚礼的主婚人。
多年来，Ilya 一直在研究如何让 GPT-4 等语言模型解决涉及推理的任务，例如数学或科学问题。2021 年，他启动了一个名为 GPT-Zero 的项目，这是对 DeepMind 的 AlphaZero 的致敬，该程序可以下国际象棋、围棋和将棋。该团队假设，给语言模型更多的时间和计算能力来生成对问题的回答，可能会让它们在学术上取得新的突破。
知情人士透露，Transformer 论文（Attention is All You Need）作者之一 Lukasz Kaiser 在 GPT-Zero 项目中发挥了关键作用。这位人士说，该团队试验的技术包括一种被称为「测试时计算（test-time computation）」的机器学习概念，旨在提高语言模型解决问题的能力。今年早些时候，Ilya 和他的团队发现了这种方法的一种变体，这促使他们在训练更复杂的模型方面取得了更大的成果。看来，核心技术还是掌握在 Ilya 手里。
在 OpenAI 宣布 Altman 将回归后，Ilya 在个人社交平台上写到，「没有任何语言、任何语句能够表达我有多开心」。看来，Ilya 与 Altman 之间并非水火不容的关系。
从新旧董事会成员的整体背景来看，原董事会成员中有学者和研究者，而全新初始董事会成员拥有广泛的商业和技术背景。
不过，根据一些外媒的说法，全新初始董事会的主要工作是审查和任命一个最多 9 人的正式董事会，重置 OpenAI 的管理模式。另外，主要投资者微软加入董事会的谈判也正在进行中。
股票变现可以继续，但投资人也在改变策略
在这场风波之前，OpenAI 正计划以 860 亿美元的估值出售员工股票。这场风波让员工们的变现机会蒙上了阴影，不过随着 Sam Altman 的回归，一切会慢慢重回正轨。
根据 The Information 从知情人士获知的消息，OpenAI 员工股票出售工作已重启。由风险投资公司 Thrive Capital 牵头的一批投资者将购买员工或其他投资人持有的高达 10 亿美元（可能还会更多）的股票，此次招标活动预计将于下月完成。此次招标意义重大，员工股票出售是外部投资者买进 OpenAI 的最简单方式。
在 Sam Altman 风波之前，已经有一系列投资者参与其中，其中包括 OpenAI 现股东、好莱坞男明星阿什顿・库彻联合创立的风险基金 Sound Ventures。该基金在风波之前已经承诺参与邀约收购，金额约为 1 亿美元。现在不清楚该基金是否仍计划购买 OpenAI 股票。
最近几天，投资者非常担心他们持有的 OpenAI 股票价值会狂跌。因此，包括红杉资本、Thrive Capital 和 Tiger Global Management 在内都在为 Sam Altman 的复职铺路。
虽然 Sam Altman 已经回归，但仍面临投资者的一长串问题。据报道，OpenAI 保留的组织结构中仍由「非营利部门监管从私人投资者筹集资金的营利部门」。投资者对这种不寻常的结构以及 OpenAI 缺乏常规治理表示严重担忧。
据 The Information 报道，这次 OpenAI 的混乱并没有让风投对人工智能行业失去信心。Crunchbase 的数据显示，今年，风险投资者已经向人工智能初创企业投入了超过 250 亿美元的资金。一些风投告诉 The Information，他们认为 OpenAI 的失败是公司特有的问题，最近的事件不会让他们撤回对其他人工智能初创公司的投资。
不过，The Information 认为，他们在支持那些治理结构不寻常的初创公司或那些建立在 OpenAI 技术基础上的初创公司时会更加谨慎，并将鼓励他们的投资组合公司尝试其他模型提供商和开源模型，这一趋势已经开始出现。
目前，已经有部分投资者开始对依赖单一、专有服务进行生成式 AI 竞争的做法进行重新评估。Saleforce、高通、英伟达和谷歌前 CEO Eric Schmidt 正在向开源 AI 初创公司投资，比如 Hugging Face 和 Mistral AI。
参考链接：
https://www.cnbc.com/2023/11/22/in-openai-fallout-open-source-ai-could-be-among-the-big-tech-winners.html
https://www.cnbc.com/2023/11/22/sam-altmans-back-heres-whos-on-the-new-openai-board-and-whos-out.html
https://www.theinformation.com/articles/the-quiet-silicon-valley-insider-complicating-sam-altmans-return?rc=ks2jbm
https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
https://www.theinformation.com/articles/openai-made-an-ai-breakthrough-before-altman-firing-stoking-excitement-and-concern?rc=ks2jbm
https://www.theinformation.com/articles/the-unknowns-left-in-the-openai-saga-a-silver-lining-in-nvidias-blowout-earnings?rc=ks2jbm
https://www.theinformation.com/articles/thrive-led-openai-tender-to-continue-after-altman-returns?rc=ks2jbm