扎克伯格最新采访：Meta最强开源模型Llama 3凭什么值百亿美金
自研芯片将训练大模型，AI终将能够理解并表达情感。
编译：金鹿
来源：腾讯科技（ID：qqtech）
4月19日消息，据国外媒体报道，美国当地时间周四，Facebook母公司Meta重磅推出了其迄今最强大的开源人工智能（AI）模型——Llama 3，意图在激烈的行业竞争中追赶领先者OpenAI。此次发布的Llama 3模型，包括80亿和700亿参数的两个版本，而未来还将推出超过4000亿参数的顶配版，凸显了Meta在AI领域的雄心壮志。
据悉，Llama 3在多项行业基准测试中表现出卓越的性能，并新增了诸多功能，如改进的推理能力等。Meta计划将Llama 3深度整合到其虚拟助手Meta AI中，这款助手已广泛应用于Facebook、Instagram、WhatsApp和Messenger等热门应用，并即将迎来新一轮的更新，为用户带来更加智能、便捷的体验。
此外，Meta还宣布Llama 3将很快在亚马逊AWS、谷歌云、IBM的云平台WatsonX、微软云Azure和英伟达的NIM等平台上推出，并得到了AMD、戴尔、英特尔、英伟达等硬件巨头的支持。这一系列的合作与整合，无疑将进一步加速Llama 3在全球范围内的普及和应用。
在Meta发布Llama 3的重要时刻，该公司首席执行官马克·扎克伯格（Mark Zuckerberg）接受了知名科技播客主持人达瓦克什·帕特尔（Dwarkesh Patel）的专访。他们围绕Llama 3、通用人工智能（AGI）、能源瓶颈问题、人工智能技术的战略意义、开源的潜在风险、元宇宙（Metaverse）等话题展开了深入的探讨。同时，扎克伯格还分享了开源100亿美元模型和定制芯片源代码的决策过程。
以下为此次专访实录：
01
Llama 3顶配版正在训练中
帕特尔：马克，非常荣幸能够邀请你来到我们的播客节目。
扎克伯格：感谢你的邀请，帕特尔。很高兴能来，我一直都很喜欢你们的播客节目。
帕特尔：太好了，谢谢！现在，让我们先来聊聊Llama 3吧！请给我分享一些关于这个最新大模型和Meta AI的亮点和激动人心的新进展。
扎克伯格：我想大多数人可能更关注Meta AI的新版本，但实际上，我们在模型升级方面所做的努力才是重中之重。我们正在推出Llama 3。我们既将其作为开源项目提供给开发者社区，也将用它来支持Meta AI。关于Llama 3，我相信我们会有很多有趣的话题要聊。但我认为，最重要的是，现在我们相信Meta AI是最智能、最自由可用的AI助手，人们可以随时随地使用它。
此外，我们还整合了谷歌和必应的实时知识，让AI助手能够提供更准确、更全面的信息。我们计划让它在我们的应用中变得更加显眼，比如在Facebook和Messenger的顶部，你将能够直接使用搜索框来提出任何问题。除了这些，我们还增加了一些全新的创作功能，我认为这些功能非常酷，相信大家一定会喜欢。
尤其是动画功能，你可以轻松地将任何图片制作成动画，这非常有趣。这里有一个令人惊奇的功能，就是它能够在你打字的同时，实时生成并更新高质量图像。你只需要输入查询内容，比如“给我展示一张在田野里吃夏威夷果、喝啤酒的场景，背景里有奶牛、有山”，它就会根据你的输入实时更新图像，这种体验简直太神奇了。我相信大家会喜欢这个功能。
这就是大多数人将会看到的一些明显变化。我们正在逐步推出这些新功能，虽然目前还不是全球范围内都可用，但我们会先从一些国家开始，并在接下来的几周和几个月内逐步扩大范围。
我认为这将是一个非常大的突破，我很高兴能让大家体验到它。但如果你想要深入了解的话，Llama 3无疑是我们最具技术趣味性的部分。我们正在训练三个不同规模的Llama 3模型，包括80亿参数、700亿参数以及4050亿参数版本。
目前，前两个版本已经准备就绪，而最大规模的模型仍在训练中。虽然今天我们不能立即发布4050亿参数的版本，但我对80亿和700亿参数模型的表现充满信心。它们在各自的规模上均处于行业领先地位，我们也将通过博客文章详细公布它们的基准测试结果，让大家能够深入了解它们的性能。
当然，Llama 3是开源的，这意味着开发者们将有机会亲自尝试并探索它的潜力。我们还有一系列精心规划的发布路线图，将带来多模态、更多语言支持以及更长的上下文窗口（Context Window，是指语言模型在生成文本时，所考虑的文本片段的大小范围）等功能。预计在今年晚些时候，我们将推出那款令人期待的4050亿参数版本。根据目前的训练进展，它的MMLU（跨模态学习理解）得分已经接近85，我们预期它将在众多基准测试中展现出卓越的性能。
至于700亿参数的模型，它同样表现出色。今天我们正式发布它，它的MMLU得分约为82，并在数学和推理方面取得了不俗的成绩。我相信，让用户能够体验到这款模型将会非常有趣和有意义。
我想强调的是，即使是80亿参数的模型，其性能也几乎与我们之前发布的Llama-2版本相媲美。这意味着，即使是“最小”的Llama-3，在功能上也几乎与“最大”的Llama-2一样强大。
帕特尔：在我们深入剖析这些模型之前，我想回溯一下历史。我记得，在2022年，Meta面临着股价的大幅下滑，当时人们对你们采购英伟达H100芯片的大笔投资充满了疑惑。元宇宙的概念并未得到市场的广泛认可，我猜想，你那时投资H100的决策，是出于何种考量呢？你是如何预知到这些GPU的需求的？
扎克伯格：我想，当时我们正处于Reels项目的开发阶段。我们始终坚信，要预留足够的容量来应对那些尚未预见到的创新，而Reels项目正是一个这样的例子。我们发现，为了训练模型，我们需要更多的GPU。这是一个巨大的转变，因为我们的服务不再仅仅基于你所关注的人或页面来排列内容，而是开始大力推荐所谓的“未连接内容”——那些来自你未关注的人或页面的内容。
因此，我们可能展示的内容候选集已经从数千个激增到了数亿个。这自然需要一个全新的基础设施来支撑。我们已经在构建这样的基础设施，但在追赶TikTok的步伐时，我们遇到了瓶颈，无法迅速达到我们的期望。看到这种情况，我意识到：“我们必须确保自己不再陷入这种被动局面。所以，我们不仅订购了足够完成Reels和内容排序工作的GPU，而且订购量还翻了一番。”我们始终坚守的原则是，未来总会有我们无法预见的新事物出现，我们必须为此做好准备。
帕特尔：你知道那会是人工智能吗？
扎克伯格：我们原本以为这应该与训练大模型有关。但随后我意识到，它与内容推荐更为紧密相关。经营公司，就像打游戏，总有新的挑战出现。当时，我全身心投入Reels和其他内容推荐功能的开发中，希望它们能发挥巨大作用。如今，Instagram和Facebook能够向用户展示他们感兴趣的内容，即使这些内容来自他们未曾关注的人，这无疑是一个巨大的飞跃。回顾过去，那个决定无疑是明智的，它源于我们曾经落后的教训。这并不是说我们曾经“遥遥领先”过，实际上，很多决定之所以现在看来正确，是因为我们曾犯过错误，并从中汲取了教训。
帕特尔：2006年，你拒绝了10亿美元的收购提议，但我想，应该有一个价格，你会考虑出售Facebook，对吧？你心中有没有一个估值，觉得“这才是Facebook真正的价值，而他们并没有给出这个价钱？” 我知道，如果给你开出5万亿美元，你肯定会欣然接受。那么，你如何看待这个决定，是基于怎样的考量呢？
扎克伯格：我认为，这主要是个人选择的问题。回首当年，我并不确定自己是否已经足够成熟来做出这样的决策。周围有很多人都在讨论10亿美元的价格，他们基于各种理由进行分析，比如预期的收入和规模。但这些都远远超出了我们当时所处的阶段。说实话，我当时并没有足够的财务知识来参与这样的讨论，但我内心深处对我们所做的事情有着坚定的信念。
我也做过一些简单的分析，比如“如果我不做这个，我会去做什么？其实，我很喜欢创造新东西，喜欢帮助人们进行沟通，喜欢了解人们的动态以及人与人之间的互动。所以，我想，如果我卖了公司，我可能又会去创造另一个类似的公司，而且我还挺满意现在这个公司的。那么，为什么要卖呢？”我认为，人们做出的很多重大决定，其实都是基于我们的信念和价值观。实际上，通过分析来准确预测未来是非常困难的。
02
通往AGI之路
帕特尔：Facebook人工智能研究所（FAIR）历经了漫长的岁月，如今它似乎已深深嵌入到你们公司的核心之中。我想请教一下，在何时，构建通用人工智能（AGI）或你们所追求的那个宏伟目标，成为了Meta的首要任务？
扎克伯格：其实，这个转变已经悄然发生了一段时间。大约在10年前，我们创立了FAIR。当时的初衷是，在迈向通用人工智能或其他类似目标的道路上，会有许多创新涌现，而这些创新将不断推动我们各项业务的进步。因此，我们并没有将FAIR作为一个独立的产品来构思，而是作为一个研究团队来组建。在过去的10年里，FAIR创造了许多独特的成果，为我们的所有产品带来了显著的改进。它推动了多个领域的发展，并为这些领域内的其他创新者提供了灵感，它也因此创造出了更多改进我们产品的技术。这让我感到非常振奋。
近年来，随着ChatGPT的崛起以及图像创作领域扩散模型的涌现，我们明显感受到了一股巨大的变革之风。这些新技术令人叹为观止，它们将深刻影响人们与各个应用的交互方式。因此，我们决定组建第二个团队——通用人工智能团队，旨在将这些前沿技术融入我们的产品中，并构建能够支撑所有不同产品的领先基础模型。
当我们开始这一探索时，我们最初的想法是，我们所做的很多事情都具有很强的社交属性。它帮助人们与创作者互动，帮助人们与企业沟通，也帮助企业销售产品或提供客户服务。此外，它还可以作为智能助手，集成到我们的应用中、智能眼镜以及虚拟现实中。因此，我们起初并不完全确定是否需要一个完整的通用人工智能来支持这些用例。然而，随着我们在这些细微之处深入工作，我逐渐意识到，实际上通用人工智能的支持是必不可少的。例如，在开发Llama-2时，我们并没有优先考虑编码功能，因为人们并不会在WhatsApp上向Meta AI提出大量的编码问题。
帕特尔：现在他们会吗？
扎克伯格：我不知道，也不确定WhatsApp、Facebook或Instagram是否会成为用户提出大量编码问题的界面。或许是在我们即将上线的Meta.AI网站上，编码问题会更为普遍。然而，过去18个月里，我们惊讶地发现，编码实际上在众多领域中都扮演着至关重要的角色，而不仅仅局限于编程行业。即使用户并未直接提出编码相关的问题，对模型进行编码训练也有助于它们更为精确地回答问题，并在不同领域的推理中展现出卓越的能力。以Llama-3为例，我们专注于通过大量的编码训练来优化它，因为这将使其在各个方面都表现出色，即便用户的主要关注点并非编码问题。
推理能力则是另一个绝佳的例证。设想一下，当你与创作者交流，或作为企业试图与客户互动时，这种互动远非简单的“你发信息，我回复”模式。它涉及一个多步骤、深层次的思考过程，需要我们思考“如何更好地实现这个人的目标？”很多时候，客户并不清楚自己真正需要什么，或如何准确地提出问题。因此，仅仅回答问题并非人工智能的全部工作。我们需要更全面、更深入地思考，这实际上已转化为一个推理问题。如果某个团队在推理方面取得了重大突破，而我们仍停留在基础的聊天机器人阶段，那么我们的产品与其他团队所构建的产品相比，将显得黯然失色。最终，我们意识到，为了保持领先，我们必须全力解决通用智能问题，因此我们加大了赌注和投资，以确保能够取得这一突破。
帕特尔：那么，能够解决所有这些用户用例的Llama版本，是否足够强大到可以替代这座大楼里所有程序员的水平呢？
扎克伯格：我认为，随着时间的推移，这些技术将逐步成熟并展现出巨大的潜力。然而，关于Llama-10或未来的版本是否能完全取代程序员，这是一个复杂的问题。我并不认为我们是在试图取代人类，而是希望通过这些工具，赋予人们更强大的能力，让他们能够完成更多以前难以想象的工作。
帕特尔：假设我们的程序员未来在使用Llama-10后，他们的工作效率会提升10倍吗？
扎克伯格：我对此抱有极高的期望。我深信，人类的智能并非只由单一标准来衡量，因为每个人都拥有独特的技能和才华。在某个时刻，人工智能可能会在某些方面超越大多数人类的能力，但这完全取决于模型的强大程度。然而，我认为这是一个逐步演进的过程，通用人工智能并非一蹴而就的事情。我们其实是在逐步为模型增加不同的能力。