衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
奥特曼在OpenAI伦敦开发者日上的最新采访,终于完整释出!
40分钟的采访过程中,奥特曼除了聊OpenAI未来模型发展方向、Agent、和最尊敬的竞争对手 (就是此前碎片式走漏风声的几个问题)外,还就 Scaling Law、半导体供应链、基础模型竞争成本、该雇佣什么年龄段的员工等十多个问题进行了快问快答。
当被问及站在OpenAI CEO这个位置上,有什么是他过去和现在都缺乏充分准备的。
奥特曼毫不避讳地表示: 产品!
总体来说,我的弱点在产品方面。
现在公司需要我在这方面有更强大、更清晰的愿景。
有趣的是,如果让现年39岁的奥特曼回到23、24岁,他会考虑 在垂直方向做一些AI相关的东西。
比如辅导人类学习的AI Tutors,或者AI律师、AI CAD工程师什么的。
以下附上这场精彩采访的采访全文,部分段落在不更改其原意的基础上有所删改。
最后还有11个快问快答彩蛋~
内容速览
o1代表的推理模型这个方向对OpenAI非常重要。
创业公司的主要业务不要对着现有模型打补丁。
难道大家已经忘了几年前的模型表现多糟糕吗?其实才过去没几年。
同样的价值下,更广泛、更容易获得、更便宜,那就代表着“非常强大”。
“开源”和“闭源但提供API”都很合理。
真正有趣的事应该是让Agent做一些人类不会或不能做的事(比如高并发推进项目)。
模型确实是贬值的资产。
如果你训练的模型落后,或者没有一个有粘性和价值的产品,那么的确可能很难获得投资回报。
OpenAI将对o1进行多模态改进;在o1新范式下,预计基于图像的模型将迅猛发展。
对OpenAI最自豪的事情,是反复去做一些新的、完全未经验证的事情。
世界上很多有才的人因为他们在糟糕的公司工作 (或者其它原因),没办法充分发挥潜力。
员工缺乏经验并不意味着没有价值。
Scaling Law仍将有效,并持续相当长的时间。
用互联网技术变革来类比AI浪潮是一个不好的习惯,更愿意用晶体管来类比。
Q1:当我们展望未来,未来OpenAI更多的是o1这样的模型,还是说可以期待参数更大的模型?
A:我们当然希望全面推进,但 推理模型这个方向对我们来说特别重要。我们寄希望于用推理来解决许多多年来我们期待去完成的事。
比如,推理模型能够为新的科学做出贡献,帮助编写难度系数很高的代码——我认为这在很大程度上能推动世界向前发展。
所以可以期待一下o系列模型的快速改进,这的意义将非常重大。
Q2:也是从OpenAI的未来计划出发,您怎么看待作为非技术创始人通过开发无代码工具来构建、拓展AI应用程序?
A:肯定会有那一天的。
我们的第一步是让那些懂得写代码的人具备更高的生产力;但落到最后,还是希望提供真正高质量的无代码工具。
目前已经有一些有意义的 (无代码)工具,但 如果想完全用无代码的方式来创建一家初创公司,还需假以时日。
Q3:有一个创始人提问说,当下,OpenAI显然处于技术栈中的某个位置,OpenAI将会走多远?如果花费大量时间来调整RAG系统,是不是一种浪费时间的行为——因为OpenAI终将在应用程序中涵盖这一部分?
A:我们通常会回答说,OpenAI将尽最大努力,并且坚信我们一定会让推出的模型变得越来越好。
如果你创建的是一家以“给小漏洞打补丁”为生的公司,不管OpenAI是否顺利、正确地推进工作,对你的影响都不是那么大。
换个角度来说,如果你的公司会因为“OpenAI的模型越来越好”而更加成功,你肯定会为此感到高兴的。
就比方说甲骨文公司偷偷跟你说,OpenAI的o4会强得突破你的想象,你绝对乐开花了。
当然了,如果你非要挑一个o1-preview表现得不好的 领域去深耕,勉强以此为基础,那你肯定会觉得我们的下一代模型不会像想象中表现得那么好。
——这就是我想告诉初创公司的。
我们相信,OpenAI身处的改进轨道相当陡峭,现在模型的缺陷将会被后来者解决和弥补。
Q4:从一个创始人的角度来看,OpenAI可能会在哪些地方 (而不是另一些地方)取得成功?相信投资者们也很想了解这个问题,大家都不想投资亏钱。
A:OpenAI将创造出数万亿美元的市值,具体来说,是通过使用AI来构建以前觉得不可能或者不切实际的产品与服务,来创造出市值新高。
我们希望推出的模型非常棒,让使用者无后顾之忧,只需要用它做想做的事情就是了。
在GPT-3.5的时代,95%的初创公司啊、人啊,都在打赌模型不会变得更好。
其实他们做的事情,我们早就预见GPT-4可以搞定,可以做得更好,不会再出现3.5时代模型会出的错了。如果创业者/开发者们做的事只是补 全某一代模型的某个缺点,你就会发现这个缺点越来越无足轻重。
难道大家已经忘了几年前的模型表现多糟糕吗?其实才过去没几年。
但是机会遍地都是,所以乍一看给现有模型打补丁是不错的机会 (所以就不去搞AI助教或者AI医疗顾问什么的)。
所以我才说,一开始的时候,95%的人肯定认为模型不会再改进,只有5%的人打赌模型会发展得越来越好。
不过我觉得现在的情况已经不是这样了。
大家现在反而觉得GPT-3.5进化到GPT-4的速度会是一种常态,但事实并非如此。好在我们内部员工都非常勤奋,我们知道将会发生什么。
Q5:软银孙正义说,AI每年都会创造9万亿美元的价值,这将抵消他所认为的每年9万亿美元的支出。看到这个说法的时候,您怎么想?
A:从数量级上来说,现在已经差不多了。AI显然会导致大量资金支出,同时创造大量的价值。
这种情况发生在每一次大型技术革命的过程中,AI显然是其中之一。
明年将是OpenAI向下一代系统大力推进的一年。
刚才咱们谈到什么时候会出现无代码软件Agent,我无法给定一个准确的时间,但可以畅想一下,如果任何人都可以描述他们想要的整个公司的软件,这将为世界带来多少经济价值。
同样的价值下,更广泛、更容易获得、更便宜,那将非常强大。
还有一些其他的例子,比如我之前提到的医疗保健和教育,这两个领域对世界而言价值数万亿美元。
如果AI能够真正以不同于以往的方式实现这一点,我认为它带来的经济价值的具体数字根本不是重点,更别提导论到底是9万亿还是1万亿了。
但可以肯定,AI创造的价值确实令人难以置信。
Q6:开源是一种非常重要的方法。您如何看待开源在人工智能未来中的作用?OpenAI内部讨论过“我们应该开源所有模型或其中某些模型”吗?
A:毋庸置疑,开源模型在生态中非常重要,而且现在市面上也有非常好的开源模型。
但我认为提供良好的服务和API也是有意义的——这很合理, 人们会选择适合自己的方式。
Q7:您如何看待当今Agent的定义?对你来说,Agent是什么?
A:我没有充分考虑过这个问题,但我可以 给Agent一个长期任务,并且尽可能少地去监督它的执行过程。
Q7':您认为人们对Agent的看法其实是错误的吗?
A:可能我们都没有一个准确的了解,但我们都知道一些重要的指标。
比如人们在谈论代表他们行事的AI Agent时,常常举的例子是让Agent去预定餐厅。Agent可能在线预订 ,或者给餐厅打电话订座。
确实,Agent可以帮忙做一些事节省时间。 不过我认为真正有趣的事,应该是让Agent做一些人类不会或不能做的事。
打个比方,Agent不是打电话给具体某家餐厅订座,而是联系300家餐厅,找出哪家最适合我。如果打过去的电话都是Agent接的,那就更酷了!因为人类无法大规模并行推进这种事情。
再举个更有趣的例子。
Agent可能更像一个非常聪明的同事,你和它合作一个需要耗时2天或2周项目,Agent可以自己执行,还做得很好,在必要的时候它会跟你沟通,最后交出一份出色的成果。
Q7'':这是否从根本上改变了SaaS的定价方式?SaaS通常按用户数量定价 (席位收费),但现在AI实际上在替代劳动力。你如何看待未来的定价方式?
A:我只能猜测一下,我真的不知道。
我可以想象一个世界,你可以要求说“我想要1/10/100个GPU不断地为我工作”,这就不会按席位收费,而是 根据持续处理这个问题的计算量来定价。
Q7''':我们是否需要为Aengts的使用场景构建特定的模型?
A:它当然需要大量的基础设施,但我觉得o1模型指出 了通向能够出色完成Agent任务的模型的道路。
Q8:每个人都说模型是贬值的资产,模型的商品化非常普遍。您对此有何回应和思考?当你考虑到训练模型所需的资本密集度不断增加时,我们是否会发现“这个领域需要大量的资金,但实际上只有很少人能做到”会发生逆转?
A:模型确实是贬值的资产,但这并不意味着它们不值训练投入的成本。更别提你训练模型的时候会产生积极的复合效应,让你能更好地训练下一个模型。
我们从模型中获得的实际收入证明了这项投资的合理性——当然,并非所有人都能做到这一点,而且有很多人在训练模型这件事上重复造轮子。
如果你训练的模型落后,或者没有一个有粘性和价值的产品,那么的确可能很难获得投资回报。
OpenAI非常幸运地拥有ChatGPT,拥有数亿使用我们模型的用户。
所以即便成本很高,我们也可以 把这个天文数字分摊到大量用户身上摊薄它。
Q9:随着时间推移,OpenAI模型如何继续保持差异化?你最想专注于扩展这种差异化的领域是什么?
A:推理是我们当前最重要的关注领域,我认为这将解锁下一次在创造价值方面的巨大飞跃。
因此,我们将在各个方面改进模型,我们 将进行多模态工作,并添加其他功能,我们认为这些功能对人们希望使用这些模型的方式非常重要。
Q9':你如何看待推理和多模态工作,包括挑战和你想要实现的目标?
A:我希望它能顺利实现。这显然需要一些努力才能完成。
但是人类的婴儿和幼儿时期,即擅长语言之前,仍然可以进行相当复杂的视觉推理。
Q9'':视觉能力将如何随着o1的新推理范式而扩展?
A:在不剧透的情况下,我预计基于图像的模型将迅猛发展。
你 可以期待在图像模型方面的快速进展。
Q10:OpenAI如何在核心推理方面取得突破?除了Transformer之外,是否需要开始推动强化学习作为一种途径或其他新技术?
A:这是两个问题:我们如何做到,以及Transformer之后是什么。
首先,我们如何做到是我们的秘诀。
复制已知有效的东西真的很容易,原因之一是你有信心知道什么是可能的。在研究人员做了一些事情之后,即使你不知道他们是如何做到的,你也可以去复刻它。这一点可以在GPT-4和o1的复制版中得到验证。
真正困难的事情,也是我对OpenAI最自豪的事情,是我们反复去做一些新的、完全未经验证的事情。
很多机构、组织声称有能力能去做这样的事,但实际上很少有真正做到的,包括AI领域之外。
从某种意义上说,我认为这是对人类进步最重要的投入之一。
我期待在退休后想写一本书,一本介绍我学到了些什么的书,分享我如何建立一个能够做到这一点的组织和公司文化的经验 (而不是一个单纯复制他人成果的组织)。
我认为世界需要更多这样的组织,虽然它的数量会被人类才智所限。
但现实情况是 有大量人才被浪费了,因为这个世界不擅长建立这样的组织。但我还是希望有更多这样的组织。
Q11:人才是如何被浪费的?
A:世界上有很多有才的人,但因为他们在糟糕的公司工作,或者一些其它原因吧,没办法充分发挥他们的潜力。
我对AI最兴奋的一个点,就是我希望它能让我们更好地帮助每个人来发挥最大潜力。
这个目标远远没有达成。
我敢肯定,如果世界上很多人的人生轨迹稍有不同,他们都会是出色的AI研究人员。
Q12:在过去的几年里,你有一段令人难以置信的经历, (带领出)令人难以置信的高速增长。你提到退休时会写回忆录,那么当你回顾过去10年,你的领导方式有了什么样的显著变化?
A:对我而言,这几年最不同寻常的就是事情变化的速度。
在一家常规的公司,你有充足的时间去实现从0到1亿美元的营收,再从1亿到10亿,一直到100亿。你无需在两年内达成这个过程。我们确实并非传统意义上的硅谷初创公司,
我们不得不如此迅速地达成这一目标,有很多东西我本该花费更多时间去学习 (但没有去学习)。
Q12':有什么东西是你不知道,且本希望花更多时间去学习的?
A:我说一个吧,就是“让公司专注于如何增长下一个10倍”,而不是增长10%。
这需要付出多大的努力?这件事有多困难?
如果是增长下一个10%,之前的有效的东西会仍然有效。但要让一家营收10亿美元的公司增长到营收100亿美元,那就不能简单重复之前做的事,而是需要大量的变革。
在一个人们甚至没有时间掌握基础知识的世界中,因为增长太快,我严重低估了马不停蹄向前冲刺到下一步所需付出的努力,同时又没有忽视我们必须做的其它一切。
Q13:Keith Rabois (硅谷投资人,Paypal前副总裁)说你应该雇佣非常年轻的、30 岁以下的人,这是彼得·蒂尔 (Peter Thiel,Paypal创始人)教给他的建立伟大公司的秘诀。我很好奇,你如何看待这种观点?你如何平衡雇佣年轻的有活力但缺乏经验的人,与那些更有经验的人?
A:我们创办OpenAI的时候,我就30岁左右,并不是特别特别年轻。
但目前为止,OpenAI的进展似乎还不错~
Q13':你如何看待雇用30岁以下的人来工作?他们年轻、精力充沛、雄心勃勃,但经验较少 (有的可能也很丰富)?
A:显而易见,答案是你可以通过雇佣两类人来取得成功。
我们的团队最近雇用了一个年轻人,他的工作令人惊叹。 我都不懂这些人怎么能在如此年轻的时候把工作干得这么漂亮?!但这就是事实。
如果你能找到这样的人,他们会带来令人惊叹的新视角、能量等等。
另一方面, 当设计一些人类有史以来最为复杂、最为昂贵的计算机系统时,我可不愿意押注于一个刚刚起步的人。
所以需要两者兼具。
我认为你真正想要的是一个由任何年龄段的人组成的极高人才标准,以及一个策略,即我只会雇用年轻人,或者我只会雇用年长的人。
我对 Y Combinator最感激的事情之一是“缺乏经验并不意味着没有价值”。
有一些非常有潜力的人在职业生涯的初期就可以创造巨大的价值,我们应该把赌注押在这些人身上,这是一件伟大的事情。
Q15:有人跟我说,有时候Anthropic的模型更适合编码任务,这是为什么?你认为这种评价公正吗?开发者该在什么时候选择OpenAI而不是其他模型厂商呢?
A:没错,Anthropic有一个非常擅长写代码的模型,令人印象深刻。
我认为 开发者大多数时候都会使用好几个模型,而且随着Agent的作用越来越大,我不知道未来会如何发展。
我认为AI将无处不在,而我们目前谈论或思考它的方式感觉不太对。如果我必须描述清楚,我们会从讨论模型转向讨论系统,但这需要一些时间。
Q16:当我们考虑scale模型时,你认为在多少次模型迭代内,Scaling Law (缩放定律)仍将适用?人们普遍认为它不会持续太久,但它似乎持续的时间比人们想象的要长。
A:我理解这个问题的核心是“模型能力的改进是否会像过去那样?”
我相信答案是肯定的,并且会持续很长时间。
Q16':你怀疑过这件事吗?
A:完全没有。
Q16'':为什么?
A:我们遇到过我们不理解的行为,比如失败的训练运行,或其它各种各样的事情。
当我们接近一个范式的结束时,不得不想出下一个范式。
Q16''':哪一个是最难驾驭的?
A:当时研究GPT-4的时候,有一个问题非常棘手,我们真不知道怎么解决它。
虽然最后找到了解决办法, 但很长一段时间我们都不知道该如何推进这个项目。
后来我们转向我们长期以来感兴趣的方向,就是o1和推理模型,但在此之前经历了一条漫长而曲折的研究之路。
Q17:训练和运行都可能失败,保持士气是不是一件困难的事?你会如何保持/提振士气?
A:像你知道的那样,我们很多员工都对构建AGI这事儿是非兴奋,这是非常直接的动力。
没有人期望通往成功的这条路是轻松的、直线的。
有句话说得好,大概是说“我从不祈祷上帝站在我这边,我从来都是祈祷并希望自己站到上帝那边”。
在某种程度上,押注深度学习感觉就像站在了天使那侧,尽管你沿途会遇到一些大的绊脚石,但最终会发现它似乎总是会奏效。
因此,对此有深刻的信念对团队保持士气十分有利。
Q18:我可以问一个非常奇怪的问题吗?我最近听到一句很棒的话,“生活中最沉重的东西不是铁或金,而是未做出的决定”。哪一个未做出的决定最让你烦恼?
A:我每天做 (及没做)的决定都不太一样,但没有一个是“大的”决定。
有一些重大的事情,比如是否会押注于下一个产品,或者我们是否会喜欢以这种或那种方式构建我们的下一台计算机——这些都有点像高风险的单向传送门,我会像其他人一样拖延很久。
但大多数情况下,困难的是每天都有些事情在投票比例为51:49的情况下让我最终拍板。这些事可能本身就是51:49的,而且我不觉得我能比其他人做得更好,但我又必须做最终决定。
Q18':当你要对这些51:49的事做决策时,你通常会打电话给谁?
A:没具体的谁。
如果做一切事情都要依靠一个人,我觉得是错误的。对我来说,正确的做法是有15或20个人为我建议,他们中每一个都在特定的领域有良好的直觉或背景。
你可以给 (某个领域)最好的专家打电话咨询,而不是在各个方面都只依赖一个人。
Q19:接下来我想谈谈半导体供应链。你对半导体供应链有多担心?
A:我不知道如何量化这个担忧。
不可否认对它是担心的,但这不是我的首要担忧,但它在所有担忧的前10%之内。
我们已经陷入了太多的麻烦,已经超过了为此担心的阶段。
在某种程度上,我认为这一切都会顺利进行,但现在感觉有一个非常复杂的系统,每个层面都各自运作。在OpenAI内部也是如此,在任何一个团队内部都是如此。
举个半导体的例子,你必须平衡电源可用性与正确的网络决策,以及能够及时获得足够的芯片,以及研究可能存在的任何风险并备好与之相交,这样你就不会被完全措手不及,或者手里拿着一个无法利用的系统。
“供应链”听起来太像一个pipeline了,但每个层次上的、整体生态系统的复杂性,是我在任何行业中前所未见的。
怎么说呢,这可能是我最大的担忧。
Q20:很多人把这一波AI浪潮与互联网相比较,尤其是在兴奋和热情方面。我觉得两者所耗费的金额还是有些不同。拉里·埃里森 (甲骨文公司创始人)说进入基础模型竞赛的起点将花费1000亿美元,你同意这个说法吗?这是合理的吗?
A:不,我认为会花费更少。
在基础模型领域竞争的成本将不到1000亿美元。
一个有趣的现象是,每个人都喜欢用此前的技术革命作为例子,来谈论新的技术。我认为这是一个不好的习惯,但我理解人们为什么这样做。
在我眼中,人们用来类比AI的例子特别糟糕,显而易见的,互联网和AI非常不同。
你提到一个关于成本的事情,以及是否需要花费1000亿美元来竞争,但互联网革命的特征是那时候起步真的很容易,而且对不少公司来说,这一波浪潮只是互联网的延续。
就像有人制造了这些AI模型,你可以使用它们来构建各种伟大的东西;但如果你试图构建AI本身,那就完全不同了。
人们常用来类比AI的另一个例子是电力。出于很多原因,我觉得这也不合理。
我最喜欢用来类比的例子是晶体管。
这是一项新的物理发现,它具有令人难以置信的缩放特性,很快就渗透到了各个地方。
我们现在可以想象到摩尔定律之类的东西,就像人工智能的一系列定律告诉我们它会以多快的速度变得更好。
每个人都受益于它,整个科技行业都受益于它。产品和服务中有很多晶体管,但你并不真正将它们视为晶体管公司。
这是一个非常复杂、非常昂贵的工业过程,具有庞大的供应链。
基于这个非常简单的物理发现,带来了长期的巨大经济增长——尽管大多数时候你并没有考虑它。
你不会说“这是一个晶体管产品”,只会觉得“OK,这东西可以为我处理信息”。
你甚至会理所当然地忽视晶体管的存在。
快问快答彩蛋
Q1:如果你现在20岁出头,使用我们今天的基础设施,你会选择做什么?
A:某个AI支持的垂直领域,我会选择AI助教,或者我能想象到的最好的AI律师、AI医疗顾问,任何类似的东西。
Q2:如果你要写一本书,你会给它取什么名字?
A:我还没有准备好标题,除了部分我想写的东西,我还没有完整构想过这本书。
不过我认为它会与人类潜力有关。
Q3:在AI领域,有什么是没受到足够关注,但每个人都应该花更多时间在上面的?
A:某种能够理解你整个生活的AI,我希望看到有很多不同的方法可以解决这个问题。
并不一定需要真的有无限的上下文,但以某种方式,你可以拥有一个知道关于你的所有事情、可以访问你的所有数据的AI Agent。
Q4:上个月有什么事情让你感到惊讶,Sam?
A:一个我不能谈论的研究成果,但它好得令人震惊。
Q5:你最尊敬哪位竞争对手?为什么是他们?
A:我想说,我尊敬目前这个领域的每个人。
我认为整个领域充满了才华横溢、非常努力的人。
我不是在回避问题,我可以指出每个地方都有超级有才华的人,做着超级出色的工作。
Q6:告诉我,你最喜欢的OpenAI API是什么?
A:我认为新的实时API非常棒,我们现在有一个庞大的API 业务,里面有很多好东西。
Q7:你今天最尊敬AI领域的谁?
A:让我向Cursor团队致敬。
有很多人在AI方面做着令人难以置信的工作,但在使用AI、让AI提供真正神奇的体验、创造大量价值的方面,Cursor以人们之前没有想到的方式将这些部分拼凑在一起,我认为这是非常了不起的。
这个答案排除了OpenAI里的人,不然我得说出一长串名字。
Q8:你如何看待延迟和准确性之间的权衡?
A:需要一个在延迟和准确性之间的刻度标准。我们正在做快问快答,我没有特意加快速度,但也尽量不想太久。
在这种情况下,你想要的是 (降低)延迟。如果换成想在物理学上做出新的重要发现,就愿意多等待几年。
答案是,应该由用户控制这个权衡。
Q9:我相信每个人都会对自己的领导力感到不安,这种情况下,以及您希望改进自己的领导力领域时,作为OpenAI的领导者、CEO,您最希望改进哪些方面?
A:这是一个很长的清单……我试图厘清排名第一的是哪一个。
这周最困扰我的事情是,我对我们产品策略的细节比过去还要不确定。
我认为该产品总体上是我的弱点,现在公司需要我在这方面有更强大、更清晰的愿景。
我们有一位出色的产品主管和一支出色的产品团队,但我希望在这个领域我能更强大。
Q10:你雇用了Kevin Weil (来担任CPO),我认识Kevin很多年了,他非常出色。是什么让你觉得Kevin是世界级的产品领导者?
A:“纪律”是我想到的第一个词。
我们将专注于我们要说“不”的事情,真正试图代表用户说为什么我们要做或不做某件事,真正努力不抱有幻想。
Q11:Sam,你接受了很多采访。
最后我想谈一谈,我们对OpenAI有五年的展望和十年的展望。
A:如果我们是对的,我们可以轻松地在接下来两年内开始制造系统,帮助科学进步。
五年后,OpenAI的技术进步速度会快到令人难以置信,完全可以用疯狂来描述。
第二点是,社会本身的变化实际上很小。
就像五年前问大家计算机是否会通过图灵测试,大家都会摇头。
如果你说一个神谕告诉你会怎么怎么样,他们会说:oh,这将会是一个疯狂的、惊人的社会变化。
而现在,我们确实通过了图灵测试,而且社会并没有发生太大的变化。
一切只是呼啸而过。
我期望不断发生的事情就是进步,科学进步,不断前进,以一种我认为良好和健康的方式超越所有期望,同时社会变化并没有那么大。
(完)
参考链接:
https://www.youtube.com/watch?v=peg-aX1oii4
— 完—
评选征集中
「2024人工智能年度评选」
量子位2024人工智能年度评选已开启报名通道,评选从 企业、 人物、 产品三大维度设立了5类奖项。
欢迎扫码报名评选!评选结果将于12月 MEET2025智能未来大会 公布,期待与数百万从业者共同见证荣誉时刻。
点这里 👇关注我,记得标星哦~
一键三连「点赞」、「分享」和「在看」
科技前沿进展日日相见 ~