Transformer这篇神级论文造就了今天的ChatGPT，其8位作者现在都在干什么？

2017年下半年发布的这篇名为《Attention is all you need》的神级论文中提出了Transformer神经网络架构，成为今天自然语言处理和人工智能的重要底层技术。

3月底的时候，OpenAI的创始人Ilya Sutskever在采访中这样说到：

• 提问者：在2017年，"Attention Is All You Need"一文引入了自注意力机制和转换器（Transformer）。GPT项目是在什么时候开始的？当时对转换器是否有一些直觉？
  
  

• ILYA：当时的背景是 - 从OpenAI早期开始，我们就一直在探索能预测你想要的下一样东西的方式。我们用当时很有限的神经网络进行了探索，希望能有一个神经网络能预测下一个单词，就能解决无监督学习的问题，这被认为是机器学习的圣杯。
  
  

但是，我们的神经网络在当时无法胜任。我们当时用的是循环神经网络。当转换器（Transformer）出现时，真的就是论文刚发出来的第二天，我们立刻意识到转换器解决了循环神经网络的限制，解决了学习的长距离依赖。

这是个技术决策，但我们立刻切换到了转换器（Transformer）技术。从此之后，GPT就一直使用Transformer底层技术直到今天，而且它的效果越来越好。

这最终产生了GPT-3以及我们（OpenAI）今天取得的成绩。

由此可见，将这篇论文封为神级论文应该是没有什么争议了。来自Google Brain的8名作者的名字写在了论文的最前面，让我们一起看看这些人从2017年后都在干些什么吧？

Ashish Vaswani在2021年底离开谷歌，创立了Adept AI Labs - 其产品虽然尚未发布，但从公开的信息看也是一家要直接和ChatGPT竞争的底层大模型公司。目前已经获得了4.15亿美元的融资，且估值超过10亿美元。不过在Ashish在2022年底又离开了Adept去创办一家神秘的新公司，应该也是和AI相关；

在谷歌工作了20年之后，Noam Shazeer也在2021年底离开了，和他的朋友Daniel De Freitas一起创立了character.ai - 这是一家虚拟人聊天AI公司，能生成各种不同人格的虚拟人支持陪聊。目前已经获得了近2亿美元的融资，也是一家独角兽公司，而且公司仅有20多名员工；

作为论文中的唯一女性作者，Niki Parmar在2021年底离开谷歌后成为了Adept AI Labs的CTO。不过，Niki也是刚离开了Adpet去参与一家神秘的新公司，估计还是和Ashish一起。在Adept已经融了这么多资金的情况下，两位创始人一起离开去创办新公司，估计背后有很多的drama…

Jakob Uszkoreit被许多人认为是发明Transformer架构的主要人物。他在2021年7月离开谷歌，创办了Inceptive Labs - 这是一家生物科技+AI的公司，旨在利用神经网络设计mRNA。目前已经获得了2000万美元的融资，公司规模刚刚超过20人；

Llion Jones是8人中目前唯一还在谷歌工作的。他声称对论文作出了最有意义的贡献 - 写下了Attention is all you need这个响亮的标题🤣

Aidan Gomez于2019年9月离开Google Brain，气候创办了Cohere AI - 也是一家AI方面的底层大模型公司，目前已经获得了近4亿美元的融资，员工人数超过180名；

Lukasz Kaiser也是知名的机器学习系统Tensor Flow的共同创造者之一，他在2021年6月离开谷歌并加入了OpenAI；

Illia Polosukhin在2017年2月离开谷歌，其后创办了NEAR Protocol - 这是一家区块链底层技术公司，目前估值约为20亿美元；

看完上面这些信息，让人感慨的事情有两点：

• 最先发明出Transformer这项今天来看有划时代意义底层技术的Google如今反而在AI领域落后于OpenAI；

• 当初写这篇论文的8位研究员中6名在创业，一人在OpenAI，仅剩一人还在Google；