Alex Smola 与李沐师徒官宣创业：舍亚马逊，入大模型
作者 | 李梅编辑 | 陈彩娴雷峰网消息：近日，亚马逊机器学习部门原杰出科学家/VP Alex Smola与首席科学家李沐师徒二人已从亚马逊离职，并且确立新去向：进军大模型方向创业。此前两个月，雷峰网与接近李沐师徒二人的 AI 行业人士交谈，获悉二人有离职打算。但直到今天，二人动态才最终确定。据微信公众号“亲爱的数据”消息，Alex Smola于2023年2月从亚马逊离职后公布了新的创业项目——一家人工智能公司Boson.ai，担任首席执行官兼联合创始人。其Linkedin资料也更新了新的公司信息。
而其弟子李沐这次也再次追随了导师的脚步。
从李沐到卡内基梅隆大学Alex Smola门下读博开始，这两位顶级AI科学家师徒的轨迹就高度重合。2016年两人就曾在深度学习落地潮中一同创业，如今在ChatGPT引起的新一轮AI大模型热潮之际，两人抓住机遇从大厂离职创业，新事业令人期待。
关于Boson.ai这家新公司，目前的公开资料还不多，Alex Smola简短透露称：“我们正在做一件大事……请保持关注。如果您想从事可扩展基础模型方面的工作，请联系我。”官网目前也在建设中，页面显示其创业方向为大模型。
Boson.ai 官网
李沐的公开资料还尚未显示其最新动向，但他已在Github上亲自创建了新公司的项目：1
深度学习框架开创者李沐
李沐ACM 班的“沐神”传说李沐的大学本科在上海交通大学ACM班度过。ACM班由总教头俞勇领衔，旨在培养计算机科学家，汇聚了一群最聪明的年轻人。李沐2004年入学，在吕宝粮教授的实验室学习，开始接触人工智能。从大一开始，李沐就被周围同学尊称为“沐哥”，据他的室友李佐凡回忆，李沐有一股难以压制的领袖气场从内而外地散发出来，让人不禁仰视。2007年夏，李沐去微软亚洲研究院实习，在互联网搜索与挖掘组（WSM）和搜索技术中心（STC）受 Steve Macbeth指导（现在亚马逊任CE技术总监）。这是李沐与工业界的初次接触。毕业后，李沐并没有直接去业界找工作，当时计算机虽是社会上的热门专业，但IT公司还没有那么厉害，尤其是AI方面的技术还没那么强。所以在2009年8月，李沐作为访问学生到香港科技大学继续深造，之后在那里继续担任研究助理。初去百度做广告系统2011年，李沐尝试申请了一次美国的博士项目，但当时拿到的offer里并没有特别合适的导师。所以李沐选择留在了国内，北上投奔师兄戴文渊，在百度做广告方面的工作。在百度的一年，李沐的主要工作是利用广告数据训练能够预测用户点击广告率的模型。李沐从中积累了不少工业界经验，也为他后来开发机器学习系统的长久事业开了一个头。李沐后来在回顾百度的这段经历时也说到，在百度“遇到的很多问题成为了之后研究方向的来源，当时深度学习刚出来，冥冥中觉得应该是大规模机器学习的未来”。一年后，李沐决定再次踏上求学之路。在百度的经历让他清楚了自己的研究短板，而当时国内的机器学习系统并不发达，选择他选择了CMU和MIT两所美国学校，把之前的博士申请材料重新寄了一遍，结果很顺利地拿到了CMU的offer。某次，李沐在百度的食堂与余凯、张潼一同就餐，谈到去CMU读博，余凯和张潼就建议他去Alex Smola教授门下，并写了一封推荐信过去。百度少帅与MXNet李沐去CMU读博的前半年，Alex还在谷歌工作，由于经费不足，就找来另一位做分布式系统的教授Dave Andersen一同指导李沐。在博士第一年结束的暑假，李沐去谷歌实习，主要在研究内部代码和文档，了解了谷歌的基础架构，开了眼界。当时Google Brain成立不久，李沐在那里见识了Jeff Dean、Geoffrey Hinton等大牛。博士第二年，李沐实现了一个通用的分布式机器学习框架，即Parameter Server（论文：Parameter Server for Distributed Machine Learning）。该框架一开始的目的是为了做实验更方便，李沐花了大量时间去设计接口，做了多个版本实现，还做了一些工业界级别的大规模实验。最后，这项工作发表在了机器学习系统领域的顶会OSDI上。Parameter Server后来还合并到了MXNet项目中。李沐对深度学习的接触并非起于在CMU的博士研究，而是在国内的百度见证了深度学习的火热。时任百度深度学习研究院（IDL）副院长的余凯是他的引路人。当时，余凯正在百度推动深度学习，启动了“少帅计划”以吸引优秀的年轻AI人才。李沐入选该计划，并“入坑”深度学习。也是在余凯的建议下，李沐开始酝酿做一个深度学习开源平台。回到CMU，李沐先是继续做Parameter Server项目，写了许多代码，并帮助用户使用这些代码。但遇到不少困难，比如由于忽视代码的易读性，导致只有少部分人能理解代码从而做一些开发，再者，没有人能一起审核代码接口，导致这些接口个人风格强烈，但很难做到对所有人都简单明了。幸运的是，李沐发现了当时在华盛顿大学读博的陈天奇，当时陈天奇在做XGBoost项目。两人交流以后，发现很多基础部件是可以多个项目共同使用的，而不是每个项目都造一个轮子。于是，李沐与陈天奇在Github上创建了DMLC（Distributed Machine Learning Community）组织。MXNet项目也在这个组织中很快启动。李沐将三个不同的开源项目合并到了一起，分别是由在美国的陈天奇的CXXNet，张铮及其学生王敏捷牵头的Minerva，以及颜水成学生林敏牵头的purine2，最终创建了MXNet框架，并于2015年年底开源。2
“参数服务器之父”Alex SmolaAlex Smola是国际机器学习的知名科学家，此前在亚马逊期间致力于构建人工智能和机器学习工具。在分布式深度学习框架领域，他曾提出并行LDA（Latent Dirichlet Allocation）的框架，是参数服务器概念的最早来源。
Alex SmolaAlex Smola于1996年在慕尼黑工业大学获得硕士学位，曾在慕尼黑科技大学、帕维亚大学和霍姆德尔的AT&T 研究院学习物理学。1998年，他获得柏林工业大学的计算机科学博士学位，先后去往柏林GMD 软件工程和计算机体系结构研究所和澳大利亚国立大学信息科学与工程研究院工作。2004年，他在NICTA的统计机器学习项目中担任高级首席研究员和项目负责人，2008年起入职雅虎研究院。2012年春至2014年底，Alex Smola在谷歌研究院工作，中间从2013年起，他开始担任CMU的教授，指导李沐，后来于2016年加入AWS。3
李沐师徒的亚马逊往事2016年李沐准备从CMU博士毕业，那段时期深度学习的落地十分火热，科学家纷纷从学术界去往工业界，各种巨资收购初创公司不断。当时李沐在国内的许多好友都纷纷创业，如余凯离开百度创立地平线，戴文渊从华为离开、创立第四范式。李沐也跃跃欲试，与两位导师Alex和Dave以及Ash Munshi一起，创立了公司Marianas Labs，李沐出任CTO。中途，Dave离开公司，去了谷歌与Jeff Dean一起做Tensorflow。之后，公司的项目果然被一个小上市公司看中，就将公司卖了出去。但后来他们认为这家公司不靠谱，就考虑不再合作，另做打算。当时的Alex在阳谷县（SunnyVale）买了房，有还贷的经济压力，于是选择去了亚马逊，担任AWS副总裁级别科学家（Distinguished Scientist），从CMU重返工业界。所以，这次短暂的、并不算很成功的创业之旅就此终止，李沐也总结了一些教训和经验：团队和技术强是一方面，更重要的是要把产品做好。在这时，李沐收到了Jeff Dean从谷歌抛来的橄榄枝。机会很诱人，但李沐考虑到MXNet的后续发展，觉得去亚马逊是更好的选择，“自己挖的坑，总是要自己填的”。李沐便追随导师Alex，以兼职的身份去了亚马逊，直接向Alex汇报，带着一些人做MXNet的开发和AWS上深度学习的应用。随后，李沐完成博士学位后，于2016年7月正式加入亚马逊AWS。亚马逊的人工智能部门彼时刚刚成立，对深度学习框架正有着强烈的需求。李沐的新目标不再仅仅是深度学习框架的研发，还包括让框架更好地服务用户。在他看来，分布式系统最难的不是如何让每个机器计算的多快，而是机器之间的通讯，如何减少通讯提升交互效率，对系统来说也至关重要。2016年11月，MXNet被亚马逊选为官方开源平台，这对于MXNet和李沐而言是一次重大胜利。起初李沐因为想要填MXNet的“坑”而追随导师加入亚马逊，六年多来也主要围绕MXnet展开工作，如今看来他已找到了待发掘的“新坑”。而对于Alex Smola而言，上一次的短暂创业因为背负房贷压力而终止，这次他与弟子再次创业，想必房贷的经济压力早已解决，也有足够的资本来投身烧钱的大模型领域。当下大模型的火热对人才的吸引力巨大，AI 科学家离开大厂、创业入局ChatGPT已成趋势，期待李沐与Alex Smola师徒在这一赛道上的新动作。
参考链接：
https://mp.weixin.qq.com/s/EEUDKjcEgvD1lGWCXHI36w
https://alex.smola.org/
https://zhuanlan.zhihu.com/p/25099638
https://mp.weixin.qq.com/s/GIkUsPZDsCs3PpZVYXnB_w
更多内容
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
雷峰网