从 DeepMind 到 Mistral：Arthur Mensch 如何带领团队打造下一代人工智能平台
文 | 乌鸦智能说
人工智能技术正在快速发展，并逐渐融入人们生活的各个方面。为了更好地了解人工智能领域的最新进展，来自20VC的Harry Stebbings访问了 Mistral 联合创始人 Arthur Mensch。Arthur Mensch 曾在 DeepMind 工作了两年多，并在 2021 年创立了 Mistral，致力于开发高效的通用人工智能模型。
在对谈中，Arthur Mensch 与我们分享了 Mistral 的发展历程、技术理念、未来规划以及他对人工智能行业的看法。他认为，模型效率比单纯追求规模更加重要。Mistral专注于在特定成本和规模下实现业界顶尖的模型性能。Mistral 7B就是在模型压缩方面取得了重大突破，并且填补了性能和效率之间的空白。当下模型混战的最终状态是开发人员平台会更加成熟，拥有更丰富的功能，允许进行定制、开发低延迟的特定用途模型、进行评估并随着时间的推移进行改进。模型只是一个很小的部分，虽然很重要，但它仍然只是应用程序的一部分。
通用模型将成为人工智能应用程序开发的基础，开发人员可以使用这些模型来创建定制模型，以满足特定需求。随着模型性能越来越好，只要拥有相关数据并且理解用例，那么创建垂直应用程序就会变得越来越容易。Mistral 的创立是为了给开发人员带来价值和自由，让开发人员可以拥有和修改他们制作的模型和技术。让开发人员和 AI 应用开发者拥有自由，这才是使生成式 AI 尽可能广泛传播的最佳方式。
在管理层面上，Arthur Mensch 指出小型团队的高效性，并表示Mistral目前也在采用这种控制团队规模同时保证信息透明同步的管理方式。同时他们也在尝试平衡科研与销售的关系，选择更有复合背景的人才来减弱不同部门之间的代沟。透明的反馈对公司来说实际上非常有用。几乎完全透明地运营公司帮助了他们打破了增长瓶颈。在战略层面上，他们仍需要更多的资金、强劲的产品，并且不能只局限于欧洲市场，需要迅速进军美国。
数据质量是提高模型性能的关键，人工智能将改变人们的工作方式，因为它要求人们变得更具创造力，并带来超出自动化所能及的价值。这将对就业市场造成结构性变化，需要采取措施帮助人们适应。
01Arthur Mensch的成长回顾
Harry Stebbings：Arthur，我想从你的成长经历开始。作为一名杰出的创始人，你小时候有哪些特质和性格呢？你的父母或老师会如何描述你？
Arthur Mensch：我小时候总是充满好奇心，也有些固执己见，老实说，对待兄弟们也不太友好，不过随着时间的推移有所改善。至于他们会怎么形容我，你应该去问他们。不过，我希望他们有美好的回忆吧！
Harry Stebbings：好吧，没关系。你第一次接触到人工智能是在什么时候？你小时候在法国，是如何接触到机器学习的？是什么点燃了你最初的热情？
Arthur Mensch：大概是在 2013 年，我记得 Andrew Ng 当时展示了用神经网络控制直升飞机倒飞，这是一个非常复杂的控制问题。虽然我不确定这是否真正属于人工智能领域，但他确实提到过使用神经网络来进行控制。
Harry Stebbings：最近你曾在 DeepMind 工作了两到三年。那段经历对你影响最大的是什么？它如何影响了你组建 Mistral 团队的方式？
Arthur Mensch：在 DeepMind 我深刻体会到，一支由 5 人组成的团队效率往往比 50 人的团队高，前提是将 50 人团队拆分成 10 个相互独立的小组。这也是我们公司在组建科研团队时采取不同组织方式的原因之一。正是因为这个教训，让我们意识到即使是小团队也能做出重要成果。
Harry Stebbings：你能解释一下 “相互独立” 的意思吗？这样做难道不会降低效率吗？划分小组会不会产生信息孤岛，反而降低整体效率？
Arthur Mensch：我们会共享基础设施、代码库和研究成果。对于通用模型来说，你需要让它们向不同的方向发展，比如掌握不同的语言、编程、数学和推理能力，甚至还需要加入多模态功能。这些方面虽然彼此关联松散，但我们使用相同的优化框架、数据和训练方法。团队不需要花大量时间进行协调会议，这也是一种平衡。到目前为止，我们规模还比较小，只有 25 个人，所以协调起来并不算太难。不过随着团队壮大，这肯定会成为一个挑战。这是我在 DeepMind 的主要收获之一。刚开始他们的规模很有效率，后来效率下降了一些，不过现在已经有所恢复。总之，我们 Mistral 团队的优化目标就是尽可能快地迭代和发布产品。
Harry Stebbings：离开 DeepMind 创办 Mistral 是一个容易的决定吗？毕竟 DeepMind 是全球顶尖的人工智能研究机构，拥有众多优秀人才。
Arthur Mensch：这不是一个一开始就说一不二的决定。一开始可能只是 10% 的离开念头，然后逐渐增加，直到有一天你意识到自己已经无法再待下去了。同事之间的情谊很珍贵，所以不会是突然的决定。对我来说，做出决定的关键点可能是在去年 3 月底左右。周五我下定决心，然后周一就递交了辞呈。
Harry Stebbings：够干脆！一旦决定离开就立刻行动，这很棒！接下来我想从按时间顺序回顾一下。你们发布的第一个模型 Mistral 7B 非常受欢迎，你认为这背后的原因是什么？你们做对了什么？又从中吸取了什么教训？
Arthur Mensch：我认为 Mistral 7B 取得成功的因素有两个。首先，它在模型压缩方面取得了重大突破，这为整个科研界提供了宝贵的经验和学习资料。其次，它填补了性能和效率之间的空白。7B 的模型大小可以在 MacBook 或智能手机上高效运行，同时又具备足够的功能实用性。此前也有 7B 大小的模型，但性能不足以支持有趣的应用。因此，我们通过瞄准这个特定的领域吸引了开发人员的注意，因为 7B 的模型大小正好满足了业余爱好者在游戏 GPU 或 Macbook 上运行的需求。Mistral 7B 的成功在于填补了性能和效率之间缺失的一环，从而引起了广泛的兴趣和应用。
Harry Stebbings：从中学到的教训如何影响你们未来的发布呢？
Arthur Mensch：这让我们意识到，比起单纯追求更大规模的模型，效率更受关注。因此，我们继续致力于开发高效的模型，比如后续的 Mixtral 8x7B 和 Mixtral 8x22B，都是在特定成本和大小下实现业界顶尖性能。追求效率的同时，我们也会逐步扩展到更大规模。
02人工智能领域的效率与规模
Harry Stebbings：既然你们如此注重效率和前沿，那么规模还重要吗？
Arthur Mensch：规模在某种程度上很重要，如果你投入更多计算资源进行训练，就可以使模型更加压缩。因此，压缩模型确实需要一定的计算资源以及一定的训练规模。规模并不是唯一要素，并不是成功的秘诀，你还需要合适的数据，否则你会遇到数据质量瓶颈。还需要合适的训练技术，你需要找到一些方法来提高效率，这些方法并不需要额外的计算资源，因为计算资源成本很高。我们在 Mistral 公司做的一件事就是尝试利用“计算乘数效应”来提高效率。
Harry Stebbings：在不增加计算成本的情况下提高效率，这个领域还有多少潜力可挖？我可能有点天真，我想问的是，还有很多可以挖掘的空间吗？还是说我们现在已经接近极限，只能做微小的改进？
Arthur Mensch：这还很难说。我相信我们可以做到在特定规模下性能更优异的模型。这个问题就像，通过增加数据量和延长训练时间，能否在相同类型的数据上训练出更好的模型一样，都是需要探索的问题。你可以尝试预测最终能达到的性能极限，但最终还是要通过尝试来验证。
Harry Stebbings：大多数人认为模型格局的最终状态会变成商品化，最终会有 12 家玩家，然后陷入价格战。在你看来，模型的最终状态会是什么？你如何看待商品化问题？
Arthur Mensch： 我认为模型混战的最终状态是开发人员平台会更加成熟，拥有更丰富的功能，允许进行定制、开发低延迟的特定用途模型、进行评估并随着时间的推移进行改进。模型只是一个很小的部分，虽然很重要，但它仍然只是应用程序的一部分。当你部署一个面向用户的应用程序时，你需要确保它的运行，确保它的延迟随着时间推移降低，确保它的质量随着时间推移提高。因此，我认为最终状态是模型将成为任何人工智能应用程序开发人员的起点，它们需要被工具和生命周期管理平台所包围。这就是我们开始构建的东西。通用模型有点缺乏差异化，你为你的应用程序创建的差异化来自你输入的数据、你收集的用户反馈以及你理解应用程序应该做什么的智能。这完全不是商品化，没有一个办法可以让你从通用模型直接成为一个超级好、在特定任务上优于所有其他模型的模型。我认为这是一个缺失的拼图块，也是我们在产品方面投入力量的方面之一。
03改善模型质量的挑战与机遇
Harry Stebbings：Sam Altman 和 Brad 前几天提到，现在的模型质量还并不够好，还需要大大提高。制约模型质量的最大瓶颈是什么？要如何改善？
Arthur Mensch： 我认为数据质量是一个限制因素。如何确保模型能够利用整个世界知识，并沿着学习越来越复杂事物的路径发展，这非常重要，但这也是一个被忽视的方面。计算资源当然也很重要，但是以我们现在拥有数据量来看，计算资源已经不再是瓶颈了。例如，文本生成模型，问题在于如何精炼数据，以及如何向模型本身输入高质量的数据来随着时间推移进行改进。
Harry Stebbings：我们会看到能够回答大量复杂问题的通用模型，还是更垂直领域专用的小型模型？
Arthur Mensch：我们相信会出现垂直领域的模型，而且这些模型不会由我们提供，而是由应用程序的创建者构建。因为想要获得低延迟且擅长特定任务的模型，就必须去除通用性。通用模型虽然可以处理很多事情，但如果你想让模型深入思考某个特定主题以供你的 AI 应用调用，同时还要保持良好的用户体验和低延迟，那么通用模型就不太适合。
Harry Stebbings：很抱歉这么直白，但好像价值真正产生的地方是在应用程序层面，也就是创建特定模型的地方。那么你们将如何发挥作用呢？
Arthur Mensch：制作专业模型是一项非常艰巨的任务，实际上这与创建预训练模型的方式密切相关。因此，我们提供易于使用的工具，使开发人员能够创建性能非常好的定制模型，而这些模型又不需要专家知识，毕竟这种专家人才很难找到。
Harry Stebbings：我作为投资者很高兴听到你刚才说应用程序层将产生价值。因为我担心通用模型会被我们提到的某些公司碾压。你如何看待应用程序层仍然能创造价值？对像我这样的投资者，你有什么建议？
Arthur Mensch： 第一，随着模型越来越好，只要拥有相关数据并且理解用例，那么创建垂直应用程序就会变得越来越容易，前提是你拥有简化操作的工具。这让我觉得应用程序层利润空间会越来越薄。但另一方面，由于我们可以压缩模型并显著提高效率，因此模型的成本也在下降。这意味着加上模型层的竞争压力，模型的价格肯定会下降。因此，一方面是不断增强的能力和压缩的价格，这似乎会让应用程序层变得更薄；另一方面，模型部分将会发展壮大。对我们来说，我们的做法是假设模型部分仍然会足够大，我们需要在这个基础上构建平台，因为这将使我们能够实现对你来说很感兴趣的垂直应用。
Harry Stebbings：你如何看待你们的定位和品牌？因为其他一些参与者更直接地表示他们将主导许多不同的垂直领域，这让人有点担心。你们如何看待这种说法？
Arthur Mensch：我们不是垂直领域的公司。我们创立 Mistral 是为了给开发人员带来价值和自由。当我们开始做的时候，当时只有一个 API，而且生成式人工智能领域似乎由少数几家公司主导。因此，我们采取了这种平台式的方法，我们让开发人员拥有和修改我们制作的模型和技术。让开发人员和 AI 应用开发者拥有自由，这才是使生成式 AI 尽可能广泛传播的最佳方式，这也是我们作为公司的目标。让前沿人工智能融入每个人心中，这就是我们当初创立 Mistral 的原因。我认为我们做得还不错，当然我们还有很多事情要做，但是我认为开源部分为社区带来了便利，让人们意识到他们可以通过修改模型本身来构建非常有趣的技术，而不需要依赖少数供应商的 API。
Harry Stebbings：开发人员关心什么？大家都在 Twitter 上讨论性能问题，比如本周的 X 模型比上周的 Y 模型更好。他们关心效率、规模、成本等因素吗？这些因素如何影响他们的决策？
Arthur Mensch：开发人员肯定会关心成本，他们也关心定制的可能性，能够修改模型。在这方面，我认为我们只是触及了皮毛。微调一直以来都是常用解决方案，但这可能有点达不到我们想要的效果。他们还关心能够部署到任何地方，比如特定的云端空间、本地环境或者边缘设备。因此，他们也关心可移植性，而可移植性通常会带来数据控制的优势。通常情况下，当大型语言模型与知识库或与某些企业相关的东西连接时，它们会变得非常有用，但同时也会成为应用程序的一个非常敏感部分。企业非常关注确保他们的专有数据能够在一个完全安全的环境中被访问，这就是为什么我们将我们的平台部署在Azure和AWS上，为他们提供所需的安全层。
Harry Stebbings：艰难的问题来了，大语言模型基于的产品的边际收入何时何地会超过边际成本？
Arthur Mensch：我可以告诉你谁目前做得最好，但随着时间的推移，情况可能会发生变化。目前做得最好的公司是英伟达，云提供商基本上持平，模型提供商还处于亏损状态，但希望不会一直亏损。我认为这将是一个充满变动的领域，正如我所说，模型的能力使应用程序的成本越来越低。我不认为大语言模型的核心部分（也就是真正基础层的边际成本和利润率）会降为零，否则肯定会存在公平性问题。
Harry Stebbings：你能解释一下“公平性问题”吗？
Arthur Mensch：通常，价值的积累往往集中在最困难的部分和最具可防御性的部分。在一段时间内，这主要体现在基础模型上。它将成为大多数创新发生的地方，也是至少大部分积累价值的地方。
Harry Stebbings：今天创办一家基础模型公司真的有很多障碍吗？我知道这是一个非常笼统和愚蠢的问题，但现在有这么多不同的参与者，而且每天都在出现新的参与者，所以障碍是不是在逐日降低？
Arthur Mensch：我不认为是这样。在这个领域取得成功非常困难。你需要在成本、效率、性能方面占据主导地位。只有少数公司目前处于有利地位。你可以尝试做一些事情，但如果它无关紧要，如果它被另一个模型或另一种技术严格主导，那么你就会遇到问题。你需要克服一些难以克服的障碍，你需要非常高效地运营、筹集足够的资金来获得足够的计算资源、拥有训练模型的人才（这仍然是一种稀缺资源），以及一个好的品牌，因为正如你所说，竞争非常激烈，这些都不是凭空产生的。
Harry Stebbings：你认为计算成本下降的速度有多快？
Arthur Mensch：计算成本会随着时间的推移而降低，首先是基于硬件成本。根据 Nvidia 的路线图，每两年的相同 FLOPS （Floating point operations per second，每秒浮点运算次数，理解为计算速度）数量，计算成本都会降低约 30%。另一个提高效率的因素是算法的改进。如果我们看看三年前和今天训练模型的方式，我认为我们在算法方面取得了大约 100 倍的改进。所以这可能是近年来取得的大部分收益。当然，计算成本会降低，但不会比摩尔定律更快降低。
Harry Stebbings：正如你提到的，与核心供应商（如英伟达）建立良好关系似乎是成功的重要因素之一。这不是决定今天成功的核心因素吗？
Arthur Mensch：这确实是一个重要方面。在人工智能层面上，我们对云服务提供商和英伟达都存在一定的战略依赖关系。竞争也在升温，但与硬件提供商保持良好合作关系对于开发软件而言是很有帮助的，他们可以协助你优化硬件利用。当你向企业出售开发者平台时，通过他们熟悉的云提供商进行交付也是很有用的。所以在这方面确实需要进行一些重要的合作。
04平衡研究团队与销售团队
Harry Stebbings：对于您这样一位创始人来说，既要管理研究团队，又要组建企业销售团队，如何平衡这两个团队之间的关系呢？
Arthur Mensch：确实需要用心去平衡。我们希望科学团队能够理解用户面临的问题，因为这将反过来促进科学研究的进步。毕竟，我们研发的通用技术只有在识别出具体用例后才能真正发挥作用。因此，让科学团队尽早接触产品和业务团队是非常重要的。这将帮助他们理解模型的局限性以及如何加以改进。另一方面，销售团队也需要理解这是一款技术含量很高的产品。他们并不是在销售一款成品，而是在销售驱动该成品的产品。因此，他们需要告诉客户如何正确使用这些模型，为企业带来实际价值。这需要对销售团队进行强有力的培训。
Harry Stebbings：研究团队和销售团队的工作节奏似乎并不一致，科学研究通常需要几个月的时间才能完成一个周期，而销售团队的周期则要短得多。您是如何解决这个问题的呢？
Arthur Mensch：到目前为止，我们设法招募了一些对技术感兴趣的销售人员，以及一些对商业感兴趣的技术人员。这样可以避免团队之间出现代沟。
Harry Stebbings：开源技术是否适用于企业领域？企业是否已经准备好迎接开源技术，他们是否足够重视它？
Arthur Mensch：这取决于具体企业的情况。一些企业已经开始率先采用开源模型，并将它们投入生产使用。但是，要把这些模型应用于大规模生产，还需要额外的产品功能，例如负载均衡和模型定制。使用自己研发的解决方案当然可以做到这一点，但要使其足够鲁棒和可扩展却并非易事。要想真正提高定制模型的质量，就需要一些难以掌握的方法。因此，一些技术实力雄厚的企业无疑已经为采用开源技术做好了准备，并且已经有许多成功的用例在生产环境中使用开源模型。
Harry Stebbings：为了扩大采用范围，肯定还需要一些配套的工具进入市场。如今，每个企业都在董事会上讨论其人工智能战略。您会给他们什么建议？他们应该问哪些问题？
Arthur Mensch：不要总是想着利用人工智能彻底改变所有产品，也不要将人工智能视为一种无所不能的代理。现在我们可以构建非常智能的代理，但要后退一步，从组织层面理解人工智能带来的影响。换句话说，不要将生成式人工智能视为提高文字处理工作效率的一种方式，而要将它视为彻底改变核心业务运营方式的一种手段。这通常涉及到对模型进行大量定制，以便在五年后每个人都采用这项技术的情况下为你带来竞争优势。
05美欧投资者的区别
Harry Stebbings：资金来源会影响扩展限制吗？当你融资的时候，跟欧洲投资人和美国投资人沟通起来有很大差别吗？
Arthur Mensch：种子轮融资没什么差别，不过到了更大规模的 A 轮融资，情况就不同了。欧洲的基金架构并不适合我们当时提出的融资方案，所以我们甚至没跟他们怎么交流，因为他们根本理解不了我们需要多大规模的投资。
Harry Stebbings：你们还处于初创阶段是吧？
Arthur Mensch：是的，我觉得欧洲缺乏的是像样的成长型基金，它们能够大举押注，并且满怀信心。随着时间的推移，这种情况肯定会改善，尤其是如果我们可以更好地利用欧洲的财富，将更多资金投入到此类成长型基金中，而不是像现在这样。
Harry Stebbings：你似乎比我更乐观一点，你觉得未来几年欧洲会出现更多成长型基金吗？
Arthur Mensch：我可不觉得，至少在未来三到五年内不会。这取决于一些政治决策，以及资金供应和人们是否相信欧洲的未来生态系统能够与其他大型生态系统竞争。这是一个先有鸡还是先有蛋的问题，但总归在某个时候需要有人推动它往正确的方向发展。如果政治层面有这个意愿，如果有一些公司展示出在欧洲可以真正实现快速增长，这种情况就会朝着正确的方向发展，这正是我们所努力的。
Harry Stebbings：你提到过扩展速度是最难的事情之一，作为 CEO，当你带领公司高速扩展时，你觉得最难的是什么？
Arthur Mensch：学习新事物！这是一边干一边学的过程。比如，如何让 45 个人之间保持良好沟通，如何管理好自己的时间，用于展示公司、拓展业务等等，因为我们现在还处于需要深度参与交易谈判的阶段。
Harry Stebbings：假设你能够回到过去，在成为 Mistral AI 的 CEO 之前一天晚上给自己一些建议，你会说什么？
Arthur Mensch：也许我会更注重产品开发和市场推广。当时我们开展市场推广的时候，根本没什么可卖的东西。虽然最终还是取得了一些品牌知名度，但或许可以稍微改变一下顺序，让产品开发稍微领先于市场推广一些。不过，由于这是一个快速发展的领域，我们确实是一起启动了所有项目，这导致了一些组织上的问题。现在我们正在努力巩固这方面的工作。
Harry Stebbings：考虑到该领域的快速发展，你们当时的战略肯定会有所变化吧？
Arthur Mensch：总的来说，我们一年前制定的战略并没有太大变化。我们意识到我们需要更多的资金、强劲的产品，并且不能只局限于欧洲市场，需要迅速进军美国。这些都是我们在发展过程中得出的结论，即使我们一年前就知道这些，也不会带来太大帮助。
Harry Stebbings：你们现在觉得资金充足了吗？
Arthur Mensch：初创公司总是需要融资的。在未来几年里，投资都会大于收入，因为作为前沿公司，我们需要扩展规模并保持相关性。因此，肯定需要持续的投资。收入也在逐渐增加，所以也有一些可以用于再投资的收入。但我认为，在今后很长一段时间里，研究开发的速度都应该快于市场推广的速度。
Harry Stebbings：谈到目前的技术格局，你最尊重和钦佩哪家公司？
Arthur Mensch：他们都取得了不错的成绩。最近，OpenAI 让大家感到惊喜，他们发布了优秀的新模型。还有 Anthropic 和谷歌的朋友们也在出色地工作。这是一个充满竞争的领域，我们彼此尊重，也朝着相同的更高目标共同努力。
06快速问答环节
Harry Stebbings：当今世界上最让你担心的是什么？
Arthur Mensch：全球变暖。地球升温以及美国寻找解决方案的竞赛让我很担心。我认为人工智能是解决方案的一部分，因为它可以带来更多控制，并在某些流程中带来更高的效率。但实际上这是一场生存竞赛，所以我觉得我们应该更多地意识到这一点。
Harry Stebbings：在过去 12 个月里，你改变了最多的想法是什么？
Arthur Mensch：改变了很多关于管理的先入为主的观念，这些观念以前我从未测试过。其中最大的一点是，透明的反馈对公司来说实际上非常有用。因此，几乎完全透明地运营公司帮助了我们打破增长瓶颈。
Harry Stebbings：在 Mistral 发展过程中，哪个方面出乎意料地最具挑战性？
Arthur Mensch：我们需要管理的需求量太高了，超出了我们的能力范围。还有就是品牌出乎意料的成功，人们都认识我们了。我们知道会引起关注，但没想到人们会这么快开始使用我们的产品。
Harry Stebbings：Arthur，你现在有很多事要做，肩上也有很多期待和资金压力，你该怎么做才能放松下来？
Arthur Mensch：我会跑步和骑自行车。我想我伴侶可能会对我心生怨言，但我还是会尽量照顾我的女儿。
Harry Stebbings：你最近刚当了爸爸，现在你有哪些当初刚有女儿时希望自己知道的呢？
Arthur Mensch：老实说，我完全没想到照顾一个小孩子需要这么多精力。
Harry Stebbings：你认为未来AI会在 10 年内改变世界吗？社会在一切都融入 AI 的情况下会变成什么样？
Arthur Mensch：人工智能将显著改变人们的工作方式，因为它要求人们变得更具创造力，并带来超出自动化所能及的价值。因此，这将对就业市场造成非常结构性的变化，这意味着需要迅速采取一些适应措施，例如培训和教育，让人们能够理解在日常工作中会有什么样的期待，以及如何与人工智能协作。
Harry Stebbings：你认为人们对工作被取代的恐惧被夸大了吗？
Arthur Mensch：取决于你跟谁交谈。我认为一些工作肯定会消失，但也会有一些新的工作产生。因为我们正试图让人类思维达到更高的抽象层次，这样我们才能与机器对话，机器也能理解并以人类的方式回答。这不像计算机带来的那种巨大变革。不过，我认为现在正以历史上前所未有的速度提升思维抽象的层次，这将使社会适应起来更具挑战性，需要提前预见到这一点。
Harry Stebbings：最后一个问题，假设 10 年后一切都顺利，Mistral 会是什么样子？
Arthur Mensch：Mistral 将拥有非常相关的一些商业和开源模型，还将拥有功能强大的开发者平台，使人们能够创建他们的人工智能应用程序。那将是一个好的成就。