当前位置:首页|资讯|扎克伯格|LLaMA|大语言模型|OpenAI

扎克伯格:Llama有望成为开源AI新标准 3.1版本是关键转折点

作者:华尔街见闻发布时间:2024-07-24

作者:张雅琦

来源:硬AI

23日,备受期待的开源大型语言模型Llama 3.1终于由Meta正式发布。

同日,Meta创始人兼首席执行官马克·扎克伯格在接受科技媒体人Rowan Cheung的采访时,对Llama 3.1寄予了厚望。他认为Llama 3.1最关键的创新就是其开源性,这在世界范围内都是全新的。他还特别指出,苹果封闭的生态系统限制了开发者的自由,并拿走了Meta的部分利润。他透露,团队正在为Llama 4设置计算集群和架构,Llama 4将在Llama 3的基础上再一次实现巨大飞跃。

他表示,Llama 3.1的发布是开源AI发展史上的一个重要里程碑,其强大性能将赋能开发者创造更多创新应用,并将人工智能技术带向更广阔的领域。

Llama 3.1 的这个时刻就像一个转折点,Llama 有机会成为开源 AI 标准。即使在性能尚未领先的地方,它在成本、可定制性和微调模型的能力方面也处于领先地位。

Llama 3.1包含8B、70B和405B三个参数规模的模型,其中405B参数的模型在多项基准测试中超过了OpenAI的GPT-4o,与Claude3.5Sonnet等先进闭源模型相媲美。这意味着,Llama 3.1已经具备了与最先进的AI模型相抗衡的实力。

扎克伯格表示,开源性使其能够被更广泛的开发者和研究人员所使用,这将加速人工智能技术的创新和普及。他相信,开源AI是未来发展的趋势,Llama 3.1的发布将推动这一趋势的加快。

Lama 3.1 的一大变化是,我们不再只是为自己打造它并让开发人员使用它,而是采取更积极主动的立场来建立合作伙伴关系。

我认为开源能让每个人都受益,它不是只被少数几家大公司锁定的东西。

开源最终将成为开发 AI 更安全、更可靠的方式。

在采访中,他还特别谈到了苹果和过去的经验教训。他认为苹果封闭的生态系统阻碍了Meta和其他公司的发展。

当你开发出你认为对社区有益的功能,然后被告知无法发布,因为有些公司想把你限制在某个框架内,这样他们才能更好地与你竞争时,你会感到有点心碎。

以下为访谈全文,部分内容有删减:

Rowan Cheung

您能给我们介绍一下发布的所有产品以及它们的重要性吗?

Mark Zuckerberg

是的,当然。今天的重要发布是 Llama 3.1,我们将发布三个模型。这是我们首次发布 4050 亿参数模型。所以我认为它是迄今为止最复杂的开源模型。它与一些领先的封闭模型相比具有竞争力,在某些领域甚至领先。我真的很期待看到人们会如何使用它,尤其是现在我们围绕 Llama 的社区政策允许人们将其用作教师模型来提炼和微调,并基本上使用它来创建他们想要的任何其他模型。除此之外,我们还提炼了 4050 亿参数模型,以制作更新、更新的模型,现在在 700 亿和 80 亿参数模型中处于领先地位。它们还具有非常好的性能,非常好的性价比。我真的很期待看到大家会如何使用它。

退一步来说,我认为这对开源 AI 来说是一个非常重要的时刻。我一直在思考这个问题,有一段时间我认为开源 AI 将成为行业标准。我认为它基本上会遵循 Linux 所走的路。在 Linux 流行之前,所有这些公司都有自己的封闭版本的 Unix。当时,开源项目从未做过如此复杂的事情。人们认为封闭的开发模式是做先进事情的唯一方法。起初,Linux 站稳了脚跟,因为它更便宜,开发人员可以用不同的方式定制它。随着时间的推移,随着生态系统的建立,它受到了更多的审查,成为更安全、更先进的选择。有更多的合作伙伴构建功能,例如驱动程序,使其比任何封闭源 Unix 都更强大。

我认为 Llama 3.1 的这个时刻就像一个转折点,Llama 有机会成为开源 AI 标准。即使在性能尚未领先的地方,它在成本、可定制性和微调模型的能力方面也处于领先地位。这些都是开发人员将获得的巨大优势。我们专注于构建这个合作伙伴生态系统,并围绕它构建不同的功能。我非常高兴谈论这一切。

Rowan Cheung

我已经看过所有的基准测试。它看起来令人难以置信。显然,这是有史以来第一个针对405B的开源前沿模型。您是否真的很高兴看到人们使用该模型构建任何特定的实际用例?

Mark Zuckerberg

我最兴奋的是看到人们用它来提炼和微调他们自己的模型。这是第一个开源前沿级模型,但不是第一个前沿级模型。还有其他具有这种能力的模型。人们会希望直接在405B上进行推理,因为据我们估计,直接进行推理比 GPT-4 便宜 50%。这对很多人来说意义重大。但我认为这对世界来说真正新颖的是,因为它是开放权重,能够将模型提炼成任何大小,以便用于合成数据生成,将其用作教师模型。所以我们对未来的愿景不仅仅是,好吧,它从来都不是单一的东西。我认为这就像 OpenAI 的愿景,他们将构建一个大型人工智能。Anthropic 也是,谷歌也是。

这从来都不是我们的愿景。我们的愿景是应该有很多不同的模型。我认为每个初创公司、每个企业、政府,他们都想拥有自己的定制模型。当封闭生态系统比开源更好时,最好将普通的封闭模型拿来即用。即使你可以自定义开源,但性能上仍然存在差距。但现在,开源已经缩小了差距。你将看到模型的广泛普及,人们有动力使用他们的数据定制和训练适合他们需求的合适大小的模型。他们将拥有实现这一目标的工具,因为与亚马逊、AWS、Databricks 等公司建立了合作伙伴关系,并构建了用于提炼和微调开放模型的服务套件。这是令人兴奋的新功能。这是世界上一项全新的能力。因为从来没有人发布过这种复杂程度的开源或开放权重模型。

Rowan Cheung

这真的是一件大事。你们是如何教育开发人员使用这些工具的?更广泛地说,Meta 是否有计划或策略来教育世界其他地方了解开源以及它为什么如此重要?

Mark Zuckerberg

在 Llama 3.1 之前,我们的方法是确保我们能够获得领先的模型。由于我们在移动技术领域之前的历史,我们不想依赖竞争对手来获得基础技术,我们为自己打造它。在 Llama 3.1 之前,我们有一种直觉,如果我们将其开源,一个社区就会围绕它发展,扩展它的功能,让它对包括我们在内的每个人都更有价值。这不仅仅是技术;这是一个生态系统。

Llama 3.1 的一大变化是,我们不再只是为自己打造它并让开发人员使用它,而是采取更积极主动的立场来建立合作伙伴关系。我们正在确保有一个生态系统,其中的公司可以利用模型做有趣的事情,并以我们无法做到的方式为开发人员提供服务。我们不是 AWS、Google 或 Azure 这样的公共云提供商。开发人员不会来找我们构建他们的东西,但我们希望确保所有这些公共云都具备这样做的条件。这包括托管模型和提供推理等基本功能,也包括蒸馏和微调等新功能,为此设置了特定的服务。许多这些服务以前都没有很好地构建,因为其他模型无法做到这一点。我们必须与合作伙伴进行特定的工作才能实现这一点。与此同时,会有像 Grok 这样的人在超低延迟推理方面做有趣的工作。我真的很高兴能把这个交到他们手中,他们正在为发布构建一些东西,以支持这一点。

然后是整个企业公司。因此,戴尔、Scale AI、德勤或埃森哲等公司与世界各地的所有企业合作进行技术部署。我认为,无论是大型企业还是政府,他们都会帮助构建定制模型。很多人基本上都希望拥有一个属于自己的模型,他们可以将自定义数据训练到这个模型中。但很多公司不想通过 API 将数据发送给 Google 或 OpenAI。这并不是因为这些公司存在任何特定的隐私问题,这也是而是因为人们喜欢加密和 WhatsApp 的原因相同,对吧?人们只是想要一个设计安全的架构,让他们的数据可以随身携带。我认为围绕这类东西会有一个完整的市场。所以我对这一切感到非常兴奋。

但是我们这次采取了更积极主动的立场,帮助建立生态系统。我认为这就是它成长的方式,并且对每个人都更有价值。

Rowan Cheung

是的,我喜欢你与开发者社区的密切关系。就我自己而言,我身处社区,我知道人们确实想要这些私人和本地模型。所以说到你的信,除了元公告之外,你还发表了一封信,第一部分真正关注了开源对开发者的好处。我觉得这真的很到位。你能多谈谈开源人工智能的广泛社会影响吗?

Mark Zuckerberg

是的,我的观点是,开源是实现积极的人工智能未来的一个非常重要的因素。人工智能将为人们带来所有这些令人敬畏的东西,包括提高生产力和增强创造力。希望它能帮助我们进行研究和类似的事情。但我认为开源是我们确保它让每个人都受益;它不是只被少数几家大公司锁定的东西。

与此同时,我实际上认为开源最终将成为开发 AI 更安全、更可靠的方式。我知道今天关于开源是否安全的争论仍在继续,而我对此持不同立场。我不仅认为它比封闭式开发更安全,而且我将其分解为多种不同类型的危害。所以你不能只谈论一种类型的事情。在这方面,我认为可能存在无意的危害,即系统以人们不打算的方式脱轨,然后是故意的危害,即有坏人试图利用系统做坏事。

说到无意伤害,顺便说一句,我认为值得注意的是,人们担心的大多数科幻场景中的人工智能失控都是无意的。我实际上认为开源在这方面应该更安全,因为它将受到更多的审查和透明度。所有使用它的开发人员,有了所有的 Llama Guard 和它附带的安全工具,他们将会受到如此多的审查、测试和压力。我猜,就像传统的开源软件一样,它出现的任何问题都会比封闭模型更快地得到解决和修复。所以我认为你对无意伤害的看法是正确的,这就是为什么大多数关于开源安全的讨论都围绕着故意伤害。它是开放的,它就在那里。

你如何阻止坏人用它做坏事?在那里,我认为你可能想把问题分成较小的参与者,比如试图制造混乱的个人或较小的团体,以及更复杂且拥有大量资源的较大参与者,比如大民族国家。这两者是一种不同的组合。对于较小的参与者,我的观点是,在这方面保持力量平衡非常重要。我们在管理社交网络时所做的就是,我们有所有这些试图在我们的网络上做坏事的坏人。很多时候,他们会部署人工智能系统来做这件事,而我们阻止和识别他们的方法是使用更复杂的人工智能系统,这些系统拥有更多的计算能力来发现他们在做什么。

我认为这实际上非常类似于政府和执法部门在社会中维持秩序的方式。是的,确实有一些不法分子可能会犯罪,但总体来说,警察和军队的资源和资金更为充足,我认为这里的情况基本上也是如此。事实上,我认为你希望开源能够广泛部署,因为如果是封闭的,可能存在一定风险。但当它是开源时,大型机构可以利用他们丰富的资源来部署这些系统,从而遏制不良行为者。

我认为,无论是推动全球更均衡的繁荣,还是提高安全性,开源最终会领先。我们会遇到问题,但我们会进行严格测试,与政府合作,继续努力。这是我对未来平衡的看法,基于我目前所知。

Rowan Cheung

我们再谈谈开源AI的好处。你在信中提到开源AI可以加速创新和经济增长。你认为这种情况已经发生了吗?你怎么看未来的发展?

Mark Zuckerberg

我认为AI无论如何开发都会有这种效果,但开源可以带来更大的好处。我认为AI比目前开发的任何其他单一技术更有潜力提高生产力、加速经济发展,让每个人都有能力更具创造性,生产更有趣的东西。我希望它还能帮助科学和医学研究等领域。

然而,今天有很多人没有机会微调或构建他们自己的最先进模型,他们受限于大型实验室的成果。正如我刚才所说,我认为我们文化和创新的一个定义特性是,不仅仅是大公司在做,还有初创公司、黑客、学者和大学里的个人。我认为你应该让所有这些人都能访问最先进的模型,不仅仅是运行这些模型,还能在其基础上进行构建、调整,并缩小到可以在他们的笔记本电脑或手机上运行的规模。我认为这将释放大量的进步。这不仅仅是因为初创公司或大学可能没有资源去训练自己的大型基础模型。

现在我们处于未来,但许多国家将没有能力做到这一点,因为很快这些事情将花费数十亿美元进行培训。我认为,让不同的国家、企业家和企业能够利用它更好地为人民服务、更好地工作,将使全世界的所有人都受益,并产生巨大的均衡效应。我知道这真的很积极。我们得到最多感谢的地方之一实际上不是科技界,而是不同的发展中国家或其他国家,他们希望获得技术并利用它做事,但不一定拥有技术领域来生产出他们的企业可以依赖的最先进的东西。但一旦他们拥有了它,实际上就可以很容易地去培训自己的人。这是其中相当不错的一部分。

Rowan Cheung

我喜欢它。我想从这封信中谈及的另一件事是,我对你如此直接地批评苹果及其封闭的做法感到有些震惊。你能详细说明一下,苹果在哪些方面阻碍了 Meta 和其他公司的发展吗?

Mark Zuckerberg

我的观点更哲学化,苹果如何影响了我对待事物的方式,以及在心理上如何影响我对构建事物的看法。我实际上不知道他们将如何处理人工智能。他们进行一些开放式开发和一些封闭式开发。顺便说一句,我不认为自己是一个开源卖家。我只是认为在这种情况下,开放模式将成为标准,这对世界有利。我们进行开放式开发和封闭式开发。我并不是说苹果在人工智能方面一定会走错路,但如果你回顾过去 10 年或 15 年,你会发现在竞争对手控制的平台上构建我们的服务对我们来说是一种成长经历。对于许多不同的激励措施,他们采用不同的规则来限制我们可以做的事情。他们有这些税,我们做了一些分析,我们认为如果没有这些任意规则,我们的利润会更高。我认为很多其他企业也会如此。老实说,钱的部分很烦人,但对我来说,这不是最大的问题。当你开发出你认为对社区有益的功能,然后被告知你不能发布它们,因为有些公司想把你放在一个盒子里,这样他们才能更好地与你竞争时,这有点令人心碎。我现在对人工智能的担忧实际上不是苹果,而是其他公司以及它们将如何发展。我不是说他们是坏人。我认为这个系统只是一种物理和激励结构,如果你建立一个封闭的系统,最终会有力量迫使你限制某些事情。我认为,如果它的发展更像网络但更强大,它将是一个更健康的生态系统。

由于移动的发展方式,封闭模式获胜,苹果确实收获了大部分好处。也许还有更多的安卓手机,但苹果几乎获得了手机的所有利润。这有点近期偏差,因为这是一个很长的周期。iPhone 于 2007 年问世,所以我们已经进入这个领域近 20 年了。这是一个漫长的周期,但很容易忘记封闭模式并不总是获胜。如果你回到 PC 上,许多人并不认为 Windows 是最大程度开放的,但与苹果将操作系统与设备结合在一起的方法相比,Windows 的方法是一个更开放的生态系统,它赢了。我对下一代平台的希望,包括人工智能以及我们在增强现实和虚拟现实方面所做的工作,是站在建立开放生态系统的一边。我们希望让这个行业恢复到开放生态系统领先的状态。我认为这是可能的。我认为我们在 AI、AR 和 VR 方面都取得了良好的进展。鉴于过去 10 到 15 年来封闭的移动开发模式对我们行业的创造力造成了限制,这是我个人和哲学上关心的事情。

Rowan Cheung

我想更深入地谈谈你提到的关于恢复行业状态的观点,即开放生态系统是主导。现在我们有刚刚发布的 Llama 3.1405B。它具有竞争力,甚至在关键基准测试中击败了一些最好的封闭模型,这令人印象深刻。但在你的信中,你提到 Llama 4 有望成为业内最先进的模型。Llama 4 有什么特别让你兴奋的地方吗?

Mark Zuckerberg

哦,伙计。我们现在只为 Llama 做 3.1。现在谈论 Llama 4 可能有点早,但我们已经设置了计算集群。我们已经设置了大量数据,并且我们对架构将会是什么样子有了一定了解。我已经进行了大量研究实验来最大化这一点。我认为 Llama 4 将在 Llama 3 的基础上再一次实现巨大飞跃。我们还有很多进展要做。这是 Llama 的第一个 dot 版本。我还想做更多的事情,包括推出多模式模型,虽然它不幸遭遇了挫折,但我认为我们可能会在未来几个月内在欧盟以外的所有地方推出它们。

现在谈论 Llama 4 可能有点早,但它会非常棒。运营公司时一件有趣的事情是规划计算集群和数据轨迹,不仅是为 Llama 4,还包括为接下来的四五个版本的 Llama。这些是长期投资,用于构建这些数据中心及其周围的电源、芯片架构和网络架构。

我意识到除了一些普遍的兴奋之外,现在这个问题有点无法回答。在我们开始谈论未来之前,Llama 3.1 值得至少花一周时间来处理我们发布的内容。

Rowan Cheung

这很公平。我完全同意,仅 3.1 版,接下来的几周就会很疯狂。但听到 Meta 已经为 Llama 4 做好了一切准备,仍然非常令人兴奋。在这方面,您能否更多地谈谈您对未来 AI 和可能的 AGI 的长期愿景?

Mark Zuckerberg

是的,我的意思是,我很乐意从技术角度和产品角度来谈论它。但是由于到目前为止我们主要谈论的是模型,也许我会从产品开始。所以我们的愿景是,AI 服务中应该有很多不同的 AI,而不仅仅是一种单一的 AI。这确实为开源方法提供了信息。它还为产品路线图提供了信息。所以是的,我们有 Meta AI。Meta AI 做得很好。我的目标是让它在今年年底前成为世界上使用最多的 AI 助手。我认为我们已经朝着这个方向迈进了一步。我们可能会在年底前几个月达到这个里程碑。

而且,我认为我们有能力和商业模式来构建世界上最先进的模型并免费提供给每个人。所以这是一个巨大的优势。它在我们所有的应用程序中都很容易使用。所以我对此感到非常兴奋。是的,我们有了基础助手,我认为这将是一件大事。

但更重要的是,我们关注的很多事情是让每个创作者和每个小企业都能够为自己创建 AI 代理,这样我们平台上的每个人都可以创建他们想要与之互动的 AI 代理。如果你仔细想想,这些空间是巨大的,对吧?世界上有数亿家小企业。我认为真正重要的事情之一是,通过相对较少的工作,企业可以为自己建立一个 AI 代理,它可以提供客户支持、销售和与其他客户沟通。我认为,未来的每家企业,就像他们今天有电子邮件地址、网站和社交媒体一样,都会有一个可以与客户交谈的 AI 代理。

这将是数亿,甚至数十亿的小企业代理。同样,对于创作者来说,我们平台上有超过 2 亿人认为自己是创作者,主要使用我们的平台来建立社区和发布内容。他们都有一个基本问题,那就是每天没有足够的时间与社区进行尽可能多的互动。同样,我认为他们的社区通常希望他们投入更多时间,但同样,每天的时间不够。

因此,我认为将有一个巨大的解锁,每个创作者都可以从社交媒体中提取所有信息,训练这些系统以反映他们的价值观和商业目标,然后人们可以与之互动。这几乎就像创作者创造的艺术品,人们可以通过不同的方式与之互动。这甚至还没有涉及到人们能够为自己创建不同的 AI 代理来做不同事情的所有不同方式。所以我认为我们将生活在一个拥有数亿或数十亿个不同人工智能代理的世界,最终人工智能代理的数量可能比世界上的人类数量还多,而人们将以各种不同的方式与它们进行互动。

这就是产品愿景。显然,这其中有很多商机。我们希望通过打造最好的产品来赚钱,而打造最好的产品的一个重要因素就是拥有最好的模型,而拥有最好的开源生态系统将帮助我们做到这一点。所以,这就是我们之所以一致的原因,也是为什么通过建立这个开源社区,打造最高质量的产品并获得最佳业务成果对我们非常有价值。

但它在哲学上也是一致的。我们不相信会只有一个大人工智能,无论是产品还是每个人都在使用的模型。我们从根本上相信拥有广泛多样的模型,每个企业和个人都希望拥有自己的定制解决方案。我认为这会很有趣,也是令人兴奋的很多原因。

Rowan Cheung

是的,我认为 Meta 如何将技术直接集成到其产品中并免费向数十亿用户提供前沿级 AI 模型真的很有趣,这是一件大事。

但就此而言,我还有一个关于怀疑论的最后一个问题。在 20 世纪 90 年代,对互联网的怀疑无处不在。但最终,反对它几乎变得不合理。感觉我们现在对人工智能的怀疑也处于类似的轨迹上。您是否认为我们处于早期阶段,并且会有这样一个临界点,即反人工智能情绪将被视为与今天对互联网的怀疑类似?您认为哪些因素对于改变这种观点至关重要?

Mark Zuckerberg

我认为人们对某事的担忧有不同的方式。我很清楚的一件事是,互联网在成功之前经历了一次大泡沫破灭。是的,互联网上所有长期关注的人最终都是对的,但有时事情的发展比你想象的要长,你只需要有决心坚持到底。我对 Llama 3、Llama 4 和 Llama 5 将带来的所有解锁功能感到非常兴奋。我认为这将转化为更好的产品。但实际上,很难提前知道什么时候某样东西足够好,可供数十亿人使用,什么时候可以成为一门大生意。我们都在花费大量资金来训练这些模型,所以我认为人们会在相当长的一段时间内亏损。

但也许这一切都会发生得更快。很难确切知道。我认为你所说的另一部分是人们担心这对他们的生计意味着什么。这就是我认为开源方法很重要的原因之一,因为开源方法有很多不同的模型,可以针对每个企业和每个创作者进行个性化和定制。如果这种情况发展到只有少数公司生产产品并从中受益,而人们只是使用这些产品,那么如果它不能帮助所有人振兴,就可能会产生强烈反应。

在研究了 Web 2.0 的发展方式后,我花了一些时间思考如何围绕 AI、AR 和 VR 创造一个更可持续的政治经济。我们需要一套蓬勃发展的产品和经济生产力的提高,但也需要一个更好、更可持续的系统,让更多的人感觉他们从中受益。我认为我们在社交媒体方面做得相当不错,但从一些反馈来看,我认为在 AI 和新技术方面做得更好将非常重要,以减轻对生计、工作和生活的担忧。

Rowan Cheun

是的,我认为没有人能说得更好。和你谈话真是太棒了。非常感谢你这样做,也感谢你和 Meta 为人工智能社区所做的一切。

Mark Zuckerberg

很高兴这样做,我真的很期待看到人们创造的东西。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1