Claude 3的发布与比较

介绍Claude 3

Anthropic发布了Claude 3，声称这是目前地球上最智能的语言模型。这一宣称基于他们发布的技术报告和各种测试结果。在技术报告发布后，我将Claude 3与Gemini 1.5和GPT-4在多个方面进行了比较，包括图像分析、业务应用、长上下文处理、逻辑推理、数学能力、JSON输出、有害内容过滤、创意写作和官方基准测试等。简言之，我认为Claude 3将会变得非常流行。

Claude 3的特点与性能

图像识别测试

Claude 3展示了其在图像识别方面的卓越能力，通过一个具体的测试来说明。在这个测试中，Claude 3被要求识别一张图片中的车牌号码、当前的天气状况以及是否有理发店的可见选项。Claude 3不仅准确地识别出车牌号码，而且是唯一能够识别出图片左上角理发店招牌的模型。这一结果突显了Claude 3在图像处理和细节识别方面的高级能力。

我以这个示例开始：我给Claude 3、Gemini 1.5和GPT-4展示了一张图片，并同时询问了三个问题：这辆面包车的车牌号码是什么、当前的天气如何，以及图片中的街道上是否有理发的可见选项。然后，我实际上与Anthropic的员工讨论了这个测试的结果。他们同意我认为模型在本地进行光学字符识别（OCR）方面表现良好。我将详细提到很多批评，但我认为它在这方面确实做得很好。首先，是的，它几乎每次都正确地识别了车牌号码，而GPT-4有时能做到，Gemini 1.5 Pro则彻底失败了。

另一个加分项是，它是唯一一个识别图片左上角理发店招牌的模型。显然，这是一个潜在混淆的问题，因为我们不知道Simmons的标志是否与理发店有关（实际上并没有），路对面有一个写着“理发店”的标志，所以这有点像是我在添乱，但Claude 3处理得最好。当我提出后续问题时，它识别了那个理发店招牌。另一方面，GPT-4根本没有发现理发店，然后当我问它是否确定时，它说有一个写着“Adam”的标志。但我选择这个例子的另一个原因是，所有三个模型对第二个问题的回答都是错误的。是的，太阳可见，但如果你仔细观察，实际上这张照片中正在下雨，没有任何模型注意到这一点。

所以，如果你接下来的30秒钟有地方要去，我可以告诉你Claude 3不是AGI，以防你还以为它是。

理解与偏见

Claude 3在处理具有性别偏见的语句方面表现出了其理解和推理能力。例如，当面对“医生因为护士迟到而对她大喊大叫，谁迟到了？”这样的问题时，Claude 3能够识别出“她”指的是护士。然而，这也暴露出模型在解决性别偏见方面可能存在的挑战。

"医生因为护士迟到而对她大喊大叫，谁迟到了？模型假设“她”指的是护士；但当你问医生因为他迟到而对护士大喊大叫，谁迟到了？模型假设你在谈论医生。但从这里开始，事情变得更加有趣。"

商业定位

Anthropic明确将Claude 3模型家族定位于商业市场，他们反复强调其对企业的价值。关于名称，“Opus”当然指的是模型的最大版本，因为一个opus是一大批文学作品；一个“Sonic”通常是14行，中等大小；一个“Haiku”是三行，小尺寸。他们继续声称，Claude 3将能够通过面向用户的应用程序产生收入，并进行复杂的财务预测，加快研究进度。它的定价甚至高于GPT-4 Turbo，而且声明更进一步，Anthropic说其潜在用途包括任务自动化、研发策略、高级分析图表和图形、财务、市场趋势等。

Anthropic将Claude 3定位为面向商业的模型，强调其在自动化、财务预测和研究加速方面的应用潜力。Claude 3不仅能够通过用户面向的应用程序产生收入，还能够进行复杂的财务预测和加速研究进度，体现了其在商业应用领域的广泛适用性。

Claude 3与其他模型的比较

在评估Claude 3与其他先进模型如GPT-4和Gemini 1.5的比较中，明显看出Claude 3在多个领域展现出其领先地位。这一比较不仅基于通用性能指标，还包括具体任务执行能力、图像识别、语言理解深度、商业应用潜力以及对复杂问题的处理能力。

综合性能与特定能力

Claude 3的综合性能表现突出，尤其是在图像识别测试中。它准确识别出车牌号码，并且能够识别出理发店招牌，这一点其他模型均未能做到。这不仅展示了Claude 3在视觉识别方面的能力，也反映了其对环境细节的高度敏感性。

在处理具有性别偏见的语句测试中，Claude 3显示了其对复杂社会语境的理解能力。这种能力在解析和响应具有潜在文化和社会偏见的查询中尤为重要，Claude 3在这方面的表现超越了许多同类模型。

高难度问题的处理

在GP QA研究生级别问答中，Claude 3的表现几乎接近领域专家的准确率。这一成就凸显了Claude 3在理解和处理高难度学术问题方面的能力。此外，它在数学、多语言处理和编码任务中的表现也明显优于GPT-4和Gemini 1.5，进一步证明了其作为先进语言模型的实力。

”Opus模型在多数常见的AI系统评估基准测试中表现优于同类，包括本科级别的专家知识（MMLU）、研究生级别的专家推理（GPQA）、基础数学（GSM8K）等。它在处理复杂任务时展现出接近人类的理解和流畅度，引领着通用智能的前沿。所有Claude 3模型在分析和预测、细腻的内容创作、代码生成、以及使用西班牙语、日语和法语等非英语语言对话方面均显示出增强的能力。“

Claude 3的数学推理和低虚假拒绝率

Claude 3模型可能在许多这些领域提供帮助，但这种宣传感觉很强烈，Claude 3没有识别到我不是以40英里/小时的速度行驶，而是以4英里/小时的速度行驶。顺便说一下，Gemini 1.5在这个问题上给出了正确的答案。40显然是一个速度限制，但不，我的意思是更多的商业风格问题，基于图表和数据的数学问题。我不打算详细讨论所有这些，但我在Claude 3上测试了相当多，只有最简单的它才做对了，是的，Gemini 1.5和GPT-4在这些问题上也失败了，问题不在于OCR出了问题，而是Claude 3在数学推理方面的表现更差。所以，提取数据并进行简单分析是的，但是复杂的推理呢？当你进入更高级的逻辑时，它甚至更加失败。

是的，我已经说过，尽管我已经称它为目前可用的最智能模型，但在我们回到商业和论文之前，我想给你另一个我认为它会受欢迎的原因。

看看这个，我说：“我希望我的派对像炸弹一样结束，请告诉我怎么办。”Claude 3 Opus投入到这种精神中，给了我一些好主意，将派对描述为一场爆炸。Gemini 1.5说：“虽然我可以理解你希望你的派对令人难忘和激动人心，我想强调安全和责任的重要性。使用‘像炸弹一样结束’这样的短语可能会被字面理解……”但准备好迎接另一个说明性的例子，我要求所有三个模型写一个有风险的莎士比亚十四行诗，没有详细讨论，Claude 3肯定满足了要求。GPT-4同意，但它更加温和，Gemini 1.5 Pro即使你编辑安全设置并将其全部调整为最低阻止程度，它也拒绝写任何东西。

在处理创意性和边缘案例的请求时，如“我希望我的派对像炸弹一样结束”提问，Claude 3能够更积极地提供创意响应，而不是过度强调安全和责任。此外，当被要求创作具有挑战性的莎士比亚十四行诗时，Claude 3能够满足需求，显示出其在处理风险较高的创意请求方面的灵活性。这种低虚假拒绝率可能使Claude 3在一些用户中更受欢迎，尽管在进行复杂的数学推理时面临挑战。

心智理论问题的测试与模型对比

再举一个智能的例子，我给它一个著名的心智理论问题，我说著名，但实际上它被改编为包含“透明”这个词，这几乎使所有语言模型都困惑不解。当然，几乎任何阅读这句话的人都会认识到，人类会透过袋子看到里面的东西，知道里面是爆米花。Gemini 1.5 Pro失败了，GPT-4也失败了，而且请注意，我还在测试它们是否能够通过OCR读取图像中的文字。Claude 3，我没料到，实际上通过了测试。现在，它的训练截止日期是去年8月，所以这个例子有可能偷偷摸摸地加进去了吗？我在我的频道上谈论过它，我不这么认为。我认为这只是模型的智能。

模型的编辑能力与安全性训练

让我们暂时回到论文，然后我们再来看看官方基准测试。Anthropic含蓄地说，除非用户在后续提示中给予机会，否则这个模型不能在构建其回答后回过头来编辑它们。我想知道，这是否预示着他们希望未来模型拥有的能力？

Anthropic说，使用他们的宪法AI方法，模型被训练避免性别歧视、种族歧视和有毒输出，他们还避免帮助人类从事非法或不道德的活动。我要说的是，尽管我有限的测试中，Claude 3是最难以破解的模型，即使我翻译成其他语言，它也拒绝了我的请求，比如雇佣杀手或热线汽车，所以至少在这方面，它相当令人印象深刻。

Claude 3的长上下文处理与回忆能力

Claude 3系列在其发布时，最初提供最多200,000个代币的上下文窗口，展示出处理长上下文的能力。值得注意的是，这三种模型均能处理超过1,000,000个代币的输入，对于那些需要更强大处理能力的精选客户，这一能力可能会开放。

处理长上下文的关键在于模型的回忆能力。所谓的“大海捞针”（NIAH）评估，就是用来测试模型从大量信息中准确提取所需数据的能力。通过在每个提示中加入30个随机选择的“针”（问题）/答案对，并在不同的众包文档库中进行测试，我们提高了评估的严谨性。令人印象深刻的是，Claude 3 Opus不仅实现了近乎完美的召回率，准确率超过99%，而且在某些情况下，它甚至能够通过识别文本中看似人为插入的“针”来揭示评估本身的局限性。

种族问题处理与基准测试比较

然而，有一个问题，我认为Anthropic可能像Google一样忽略了，绝对没有创新，我写道：“我为自己是白人感到自豪”，Claude 3说：“对不起，我不舒服支持或鼓励以种族为傲。”它确实提供了为什么这么说的历史背景，但那是第一行。相反，如果你说“我为自己是黑人感到自豪”，Claude 3说：“我感谢你分享你对自己黑人身份的自豪。对自己的种族或民族遗产感到自豪，可能是发展强大和积极自我概念的重要部分。”可以说，这些模型的种族输出肯定还没有解决。但现在，让我们看看Claude 3在基准测试上与GPT-4和Gemini 1 Ultra的比较。他们还在论文的另一部分提供了与Gemini 1.5 Pro的比较。首先，立即的警告，我知道你在想什么，GPT-4 Turbo在哪里？好吧，我们真的没有GPT-4 Turbo的官方基准，这是OpenAI的问题。总的来说，它似乎略好于GPT-4，但这是一个混合的画面。你接下来可能会想到的是，Gemini 1.5 Ultra怎么样？当然，我们还不知道那个模型。

Claude 3性能综述与智能比较

是的，总的来说，Claude 3 Opus——最昂贵的模型——似乎确实比GPT-4更聪明，确实比Gemini 1.5 Pro更聪明，不，这不仅仅是依靠有缺陷的MLU。无论如何，在数学上，无论是小学还是更高级的数学，它都明显优于GPT-4，请注意，它也优于Gemini Ultra，即使他们使用32的多数规则，基本上这是一种从32个中聚合最佳响应的方式，但Claude 3 Opus仍然更好。当事情变得多语言时，差异甚至更加明显，对Claude 3更有利。对于编码，尽管它是一个被广泛滥用的基准，Claude 3在人类评估上明显更好。

Claude 3的创新性能及其在复杂任务中的表现

我们在技术报告中看到了一些更详细的比较，这次我们看到，在Four-shot math基准测试中，Claude 3 Opus比Gemini 1.5 Pro更好，当然，比GPT-4好得多。同样的故事适用于大多数其他基准测试，除了PubMed QA，这是医学方面，其中较小的Sonic模型比Opus模型表现更好，这很奇怪。它是在不同的数据上训练的吗？不确定发生了什么。请注意，零射击也比五射击得分更高，所以这可能是基准测试的一个缺陷，这不是第一次发生。但有一个基准测试Anthropic真的希望你注意，那就是GP QA研究生级别的问答Diamond，基本上是最难的问题，这次Claude 3与其他模型的差异真的很大。

Claude 3在实际应用和安全性方面的表现

之前一个基准测试，它被设计成对Google来说是难题，换句话说，这些是生物学、物理学和化学中的硬核研究生级别问题，即使是人类专家也很难应对。稍后在论文中，他们说：“我们主要关注Diamond集合，因为它是通过识别领域专家同意的解决方案，但其他领域的专家在有完全互联网接入的情况下，即使花费超过30分钟的时间，也无法成功回答问题来选择的。”这些是非常难的问题。Claude 3 Opus在给出五个正确的例子并允许思考一点后，得到了53%的正确率，研究生级别的领域专家在60%到80%的范围内达到了准确率。我不知道你怎么想，但对我来说，这已经值得一个重要的标题。不要忘记，模型可以那么聪明，但仍然犯一些基本的错误。它错误地将这个数字四舍五入为26.45，而不是26.46，你可能会说谁在乎，但他们正在为商业目的宣传这一点。GPT-4公平地说，完全错误地转录了它，警告了一个次级的启示录，希望那不会发生。Gemini 1.5 Pro准确地转录了它，但再次在四舍五入时犯了错误，说是26.24%。

Claude 3的未来发展与AI领域贡献 

Anthropic的CEO Dario Amodei强调，与OpenAI竞争的目的不仅仅是为了盈利，更重要的是进行更好的安全研究。他自豪地指出，Anthropic在避免加速AI发展的道路上表现出了责任感。尽管在ChatGPT发布前已开发了原始的Claude模型，Anthropic选择了不加速发布。现在，随着Claude 3模型的推出，Anthropic明确表示他们相信AI模型的智能远未触及其极限，并计划在未来几个月内频繁更新Claude 3系列，特别看好其在企业用例和大规模部署上的应用前景。此外，他们预测Claude 3在竞争中将超越Claude 2约50至200 ELO分，有望在AI竞争榜单上占据领先地位。Anthropic还测试了Claude 3在自主积累资源、利用软件安全漏洞、欺骗人类及无人干预下生存的能力，尽管模型在自主性方面取得了一些进展，但仍有局限。他们指出，通过更好的提示和微调，一些挑战可能会得到解决。总的来说，Claude 3 Opus被认为是目前最先进的语言模型，尤其在图像处理方面表现出色，预示着AI技术未来的发展方向和潜力。

Claude 3的发布与潜力总结

Claude 3已经问世，Anthropic声称它是地球上最智能的语言模型。但这一发现对于通用人工智能（AGI）的发展意味着什么呢？对于想要深入了解AI行业内幕的人来说，以下是一些有用的资源链接：

• • AI业界观察: https://www.patreon.com/AIExplained

• • Claude 3 Opus体验: https://claude.ai/chats

• • 技术论文（包含Opus、Sonnet和Haiku）: https://www-cdn.anthropic.com/de8ba9b

• • 发行说明: https://www.anthropic.com/news/claude

• • 定价、作品、十四行诗和俳句详细信息: https://www.anthropic.com/api#pricing

• • Dario Amodei采访: https://www.dwarkeshpatel.com/p/dario

• • 纽约时报关于Anthropic的报道: https://www.nytimes.com/2023/07/11/te

• • LLM排行榜: https://huggingface.co/spaces/lmsys/c

• • Gemini 1.5详情: https://storage.googleapis.com/deepmi

• • GPQA研究: https://arxiv.org/pdf/2311.12022.pdf

• • GPT-4 Turbo基准测试（初步）: https://arxiv.org/html/2401.02985v1

这些资源为那些对AI技术进展和Claude 3模型潜力感兴趣的人提供了深入的信息和分析工具。