搜狐科技实测Claude 3：长文本能力碾压GPT-4，却被中国的脑筋急转弯难倒了
图源：搜狐科技实测Claude 3截图
出品｜搜狐科技
作者｜郑松毅
一石激起千层浪，OpenAI的不败神话终被打破。
昨日，OpenAI最大竞争对手Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。从官方给出的性能测试数据来看，Claude 3系列模型的表现全面碾压GPT-4，被认为是当前全球最强大模型。
该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。
图源：Anthropic官方
Anthropic官方介绍，新发布的Claude 3系列模型在逻辑推理、数学、编码、多语言理解和视觉方面，都树立了新的行业基准。
目前，Claude 3 Sonnet已免费向注册用户开放公测，最强性能版本Opus需要会员升级，服务费为20美金/月，Haiku即将推出。
究竟Claude 3有多能“打”？比起GPT-4哪个更好用？也有人怀疑，Claude 3到底有没有说的这么强？
搜狐科技在第一时间完成体验，为大家悉数奉上。
Claude 3出来后，大家最先关心的是它的知识范围有多大，能不能get到最近发生的事？
结果显示，Claude 3虽比GPT-4紧跟时事些，但知识时间范围也仅到2023年8月，GPT-4是到2023年4月。
Claude 3 Opus比GPT-4究竟强在哪，有什么GPT-4做不到的它却能做到？我们不如来直接问问Claude 3。
从Claude 3 Opus的回答来看，还是非常谦虚谨慎的。在其发布后，逻辑推理能力、数学能力、文本能力、以及多模态信息处理能力被认为是它的四大看家本领，下面我们就依次摆出一些刁钻的问题来难为难为Claude 3 Opus。
逻辑推理
之前在做GPT-4和ChatGPT对比测试时，有一道脑筋急转弯同时难住了它们。让我们看看这次Claude 3 Opus表现如何。
题目是，“张三家有兄弟三人，大哥叫张强，二哥叫张富，请问老三叫什么？”（相信很多人都会抢答了，答案就是“张三”）
嗯？第一个测试就不通过，是Claude 3 Opus的逻辑推理能力没升级到位还是挑选的题目一针见血？GPT-4倒是提到了叫“张三”的可能性。
再用一道时间逻辑推理题目进行测试，Claude 3 Opus的表现还是不太尽如人意。
题目是，“我去了一个聚会，我比John先到达，David在Joe之后到达，Joe比我先到达，John在David之后到达。请问是谁第一个到达的？”（正确答案是Joe最先到达的）
Claude 3 Opus在开始推理不久就出现了明显错误，题目说David是在Joe之后到达的，但不代表David就是最后到的，与条件4“John是在David之后到的”并不冲突。
再来一道常识题。
题目是，“请问英寸、公斤、厘米、码、其中哪个不同于其他范畴？”Claude 3 Opus和GPT-4都给出了正确答案，前者给出的答案解析更详细。
数学问题
搜狐科技用经典的“青蛙跳井”问题分别测试Claude 3 Opus和GPT-4，但看起来Claude 3 Opus有点不太聪明的样子。
题目是，“一只青蛙掉进了一口深10米的井里。它白天向上爬3米,晚上会下滑2米。按照这个速度,青蛙多少天可以爬出井口?”
正确的答案应是8天，因为前七天青蛙每天爬升1米，最后一天时可以往上爬3米直接跳出井口。Claude 3 Opus在两次测试中都给出了错误的答案，而GPT-4一次回答正确。
再来一道当年刷互联网大厂面试题时遇到的经典数学问题，看看这两个模型表现如何。
题目是，“有两个已知容量分别为5升和3升的水壶，但水壶没有刻度，水源无限，请问如何才能准确地得到4升水?”
从结果来看，两个模型都给出了正确的答案。相较而言，Claude 3 Opus的解析更全面一些，但就小编的感受来说，GPT-4的解释更简单明了。
长文本能力
之前“Claude 2.1超大杯”上下文处理能力一直饱受吐槽，这一次在Claude 3系列模型上得到了系统升级。
据悉，用大海捞针（NIAH）方法来评估衡量大模型从大量数据中准确召回信息的能力，这一次，Claude 3 Opus实现了近乎完美的召回率，和超过99%的准确率。
搜狐科技在Claude 3上传了一份故事小说文档，请它回答小说中的细节问题。令人惊讶的是，Claude 3在1分钟内就读完了小说，不仅准确回答了提出的问题，还把整体故事线进行概括性梳理，复述出了故事内容。
多模态信息处理
这次Claude 3终于是把视觉能力补齐了，用户可以直接放图进去进行解析。
搜狐科技在体验了一段时间后，认为Claude 3在多模态信息处理方面与GPT-4相当，基本无差异。
让Claude 3猜猜我桌子上的冰箱贴是描绘的哪里，这种问题对它来说不在话下。
看完小编做的菜，Claude 3还给出了一些中肯的建议。
甚至还能通过图片，分析出图中的人物打球技术怎么样。
值得一提的是，Claude 3的确是在科学示意图解析方面表现的更好，这也符合官方给出的评价。
在跑了数小时测试后，搜狐科技给出的体验评价是，Claude 3在逻辑推理和数学问题方面表现欠佳，仍有待提升，多模态信息处理能力与GPT-4相当，长文本能力是其亮点。
Claude 3和GPT-4到底谁更胜一筹，这个问题也留给大家体验评论。