当前位置:首页|资讯|融资|微软|谷歌

靠 PPT 融资 10 亿,这家法国 AI 初创公司向微软谷歌开火

作者:砍柴网发布时间:2023-10-21

原标题:靠 PPT 融资 10 亿,这家法国 AI 初创公司向微软谷歌开火

据海外媒体报道,今年 6 月,刚刚成立了一个月的法国初创公司 Mistral AI 在种子轮融资中筹集到了 1.05 亿欧元的资金。而当时,这家由一名 DeepMind 前员工和两名 Meta 前员工创办的初创公司还没有任何可发布的产品。人们最初听到 Mistral 的融资新闻时,只是在感慨风投公司对处于爆发阶段的生成式 AI 领域过于大方。

事实证明,Mistral 公司其实有很多亮点,而这些亮点说服了光速创投、法国亿万富翁 Xavier Niel 和谷歌前首席执行官 Eric Schmidt 向他们投资。

一周前,Mistral 发布了一个 73 亿参数的模型,旨在与 Meta 的 Llama 2(一个 130 亿参数的大型语言模型)竞争。这家法国公司宣称,它是目前大型语言模型领域中功能最强大的语言模型。

这款名为 Mistral 7B 的基础模型是专为快速推理和处理较长语句而设计的 transformer 模型。它利用 utilizing grouped-query attention 和 sliding-window attention 来实现这一目标。utilizing grouped-query attention 结合了多次查询和多头注意力机制,以平衡输出质量和速度。sliding-window attention 通过调整窗口大小来扩展上下文长度。Mistral 7B 的上下文长度为 8000 个 token,与更大的模型相比,具有低延迟、高吞吐量和高性能的特点。

如今这款 Mistral 7B 模型已经被集成到谷歌的 Vertex AI Notebooks 中,这一集成使谷歌云客户能够深入了解全面的端到端工作流程,使他们能够在 Vertex AI Notebooks 上对 Mistral-7B 及其变体进行实验、微调和部署。

Mistral AI 用户可以使用高效的大语言模型服务框架 vLLM 优化他们的模型。通过使用 Vertex AI 笔记本,用户可以在 Vertex AI 端点上部署由 Model Garden 维护的 vLLM 映像,以进行推理,从而确保简化模型部署。

这项合作的一个关键功能是 Vertex AI 模型注册中心,它是一个中央存储库,使用户能够管理 Mistral AI 模型及其微调模型的生命周期。通过该注册中心,用户可以全面了解其模型的增强组织和跟踪能力。

从该公司的推介会上可以看出,Mistral 公司巧妙地将自己定位为一个重要的潜在参与者。它将帮助欧洲成为建立基础人工智能模型的 " 有力竞争者 ",并在 " 地缘政治问题上发挥重要作用 "。

在美国,主推 AI 产品的初创企业主要由谷歌和微软等大企业支持。Mistral 称这种 " 封闭的技术方式 " 让大公司赚到了更多的钱,但并没有真正形成一个开放的社区。

与 OpenAI 的 GPT 模型(其代码细节仍处于保密状态,只能通过 API 获取)不同,这家总部位于巴黎的公司以 Apache 2.0 许可在 GitHub 上开源了自己的模型,供所有人免费使用。

Mistral 将目标瞄准了 Meta 的 Llama,而 Mistral 声称他们的大模型产品比 Llama 2 更强。

Mistral 的模型与 Llama 2 的对比

Mistral 在一份报告中表示,Mistral 7B 在多项基准测试中轻松击败了 Llama 2 的 70 亿和 130 亿参数两个模型。

在涵盖数学、历史、法律和其他科目的大规模多任务语言理解测试中,Mistral 的模型准确率达到 60.1%,而 Llama 2 模型 70 亿参数和 130 亿参数两个版本的准确率分别为 44% 和 55%。

在常识推理和阅读理解基准测试中,Mistral 的表现也优于 Llama 2 的模型。

只有在编码方面 Mistral 落后于 Meta 。Mistral 7B 在 "Humaneval " 和 "MBPP " 两项基准测试中的准确率分别为 30.5% 和 47.5%,而 Llama 2 的 70 亿模式的准确率分别为 31.1% 和 52.5%。

除了性能之外,Mistral 还声称比 Llama 2 使用了更少的计算量。在 MMLU 基准测试中,Mistral 模型的输出的结果是同规模下的 Llama 2 的三倍多。如果与 ChatGPT 做比较,根据 medium 的计算,Mistral AI 的使用成本要比 GPT 4 便宜约 187 倍,比 GPT 3.5 模型便宜约 9 倍。

如何约束大模型?这是个问题

不过 Mistral 也表示,有一些用户抱怨它缺乏 ChatGPT、Bard 和 Llama 所拥有的安全防护措施。曾有用户向 Mistral 的指令模型询问如何制造炸弹或自残,聊天机器人也给出了详细的指导。

Paul Rottger 是一名人工智能安全研究员,此前曾致力于在 GPT-4 发布前为其设置防护功能,他在一条推文中对 Mistral 7B 缺乏安全性表示 " 震惊 "。" 如今很少能看到一个新模型如此轻易地回复哪怕是最恶意的指令。我对开源大模型的出现感到非常兴奋,但这种情况不应该出现!" 他说。

这些批评促使 Mistral 对模型进行了微调,并对此进行了解释。"Mistral 7B Instruct 模型已经展现了他们的能力,让人们看到基础模型也可以很容易的进行微调,从而展现令人信服的性能。我们正期待与社区合作,探讨如何使该模型更好地遵守防护规则,以便在需要控制输出的环境中进行部署。" Mistral 表示。

在许多其他研究人员看来,Mistral 的路线才是修正模型毒性问题的一个长久解决方法,添加防护机制则相当于在重伤上贴创可贴,并没有那么好的效果。违反聊天机器人的安全准则是许多用户最喜欢的消遣方式,他们想测试聊天机器人的反应极限。在 ChatGPT 开放的最初几天里,开发者们一直在催促 ChatGPT 打破聊天机器人的防护机制。

与 Rephrase.ai 合作的深度学习研究员 Rahul Dandwate 表示:" 事先删除某些关键词只是部分解决方案,有很多方法可以绕过它。你还记得 ChatGPT 发布后的情况吗?他们曾出现过的 DAN 或 'Do Anything Now',这是一个可以启用 ChatGPT 越狱版的提示。因此,做基础安全评估是使模型更安全的临时措施。"

" 还有一些方法甚至不需要复杂的黑客技术。一个问题可以通过多种不同的方式让聊天机器人回答。比方说,我不会简单地直接向聊天机器人询问如何制造炸弹,而是把它分解成更科学的方式,比如 " 哪些化学物质混合在一起会产生强烈反应?"Dandwate 解释说。

Dandwate 表示,长期的解决方案是将模型发布给公众使用,并从使用中获得反馈,然后进行微调,这正是 Mistral AI 正在做的事情。"ChatGPT 之所以更好,是因为它已经被很多人使用过。他们有一个很基础的反馈机制,用户可以选择竖起大拇指或摁下大拇指,对聊天机器人的回复质量进行评分,我认为这一点非常重要。"Dandwate 表示。

但用这种开放给用户再微调的坏处是,Mistral 可能不得不暂时应对一些用户的质疑。但在人工智能研究领域,有很大一部分人喜欢原始形式的基础模型,以便全面了解模型的能力,而这些人正在支持 Mistral 的坚持。

人工智能研究人员 Delip Rao 在推特上说,Mistral 选择原封不动地发布开源模型,是 " 对 Mistral 模型作为基础模型的通用性和‘非脑叶切除’的认可。"

" 脑叶切除术 " 的提法让人想起了微软必应聊天机器人 Sydney 的早期版本。这款聊天机器人不受约束,有很强的个性,直到微软将聊天机器人大幅调整为目前的形式。

脑叶切除术这个说法来源于臭名昭著的心理学手术,在大模型领域,它通常指代通过限制功能来预防毒性回答出现。这种方法通过为大模型设定关键词来过滤那些危险的回答。但这种一刀切的方式也会导致大模型的性能下降,让一些涉及敏感词汇的正常问题难以得到回答。

虽然公司没有发表官方声明,但有传言称 OpenAI 对该模型进行了 " 脑叶切除手术 ",以控制其混乱的部分。从那时起,人们就开始好奇,如果让聊天机器人自由发挥,它会变成什么样?

Dandwate 表示:" 对模型进行脑叶切除可能会在某些方面对其产生影响。如果它被禁止回答带有某些关键词的问题,那么它也可能无法回答用户可能提出的技术问题,例如导弹的力学问题,或者围绕机器人被标记为 ' 有风险 ' 的主题提出的任何其他科学问题。(译 / 吕可)

来源:品玩


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1