近期,OpenAI 正式发布了其大模型搜索产品 SearchGPT。与此同时,微软 Bing 在其技术博客中宣布向小部分人群开放全新的 AI 生成搜索功能...「AI+搜索」赛道近期涌进多个重要玩家。
随着大型语言模型技术的兴起,LLM+搜索产品展现出了巨大的潜力和优势,包括改善用户搜索体验、提高搜索效率等。自以 Perplexity 为代表的AI 搜索应用出现,一直有声音在探讨谷歌作为头部搜索引擎的地位是否将被动摇,但事实是谷歌如今仍占据绝大部分市场份额。有外媒评论称,「谷歌正在走向衰亡,谷歌势不可挡。现在感觉这两件事都是真的。」
解读要点
1.「AI 搜索赛道」近期涌进了哪些关键玩家?
2. 谷歌占据的九成搜索引擎市场份额是否会受到影响?
3. 国内外 AI 大厂、创企都是如何做「AI + 搜索」应用的?三种不同的路线有哪些差异?
4. AI 搜索对比传统搜索在技术上有何不同?
5. AI 搜索想要颠覆传统搜索,必须迈过的关键坎儿有哪些?
OpenAI、Perplexity 能否撼动谷歌占据的九成搜索引擎市场份额
1、据 Statcounter 4 月数据显示,全球搜索引擎市场,谷歌占据了 90.9%的市场份额,紧随其后的是微软的必应,仅占 3.6%。谷歌占据了搜索引擎市场的绝对头部地位。与此同时,「AI+搜索」赛道也打得火热。近期,OpenAI 正式发布了自己的大模型搜索产品 SearchGPT;风头正劲的生成式 AI 搜索引擎 Perplexity 被媒体爆出新消息,其公司估值 30 亿美元,软银将向其投资 1000 万至 2000 万美元。
2、随着大型语言模型技术的兴起,LLM+搜索产品展现出了巨大的潜力和优势,包括改善用户搜索体验、提高搜索效率等。自以 Perplexity 为代表的AI 搜索应用出现,一直有声音在探讨谷歌作为头部搜索引擎的地位是否将被动摇,但事实是谷歌如今仍占据绝大部分市场份额。有外媒评论称,「谷歌正在走向衰亡,谷歌势不可挡。现在感觉这两件事都是真的。」[9]
① 谷歌也曾尝试「下手」AI 加持搜索引擎,在今年 5 月推出了其 AI 搜索服务 AI Overview,但因其给出内容的准确性问题受到吐槽和差评,后谷歌对其进行了改进以及使用限制。[10]
② 虽然谷歌的 AI Overview 效果不佳,但据谷歌母公司 Alphabet 近期公布的其二季度财报显示,谷歌搜索和云计算业务收入飙升,收入近 850 亿美元。报告称,仅搜索业务就收入 485.09 亿美元,实现了 13.80%的同比增长,占据了公司总营收的 57.2%。单从财报表现来看,谷歌的搜索业务影响并未受到太大影响,谷歌搜索业务背后的关键核心收入来自其广告业务,来源自商家对精准营销和高效广告投放的需求。[11]
3、尽管谷歌在搜索引擎市场占据绝对的优势,但「AI+搜索」赛道依旧「热火朝天」。今年 1 月,Perplexity 表示其月活跃用户已超过 1000 万,仅印度就有超过 100 万用户。同时,其估值从今年年初的 5 亿美元到现在的 30 亿美元,翻了近 6 倍。此外,微软、字节等国内外巨头、大厂近期也纷纷「挤进」「AI+搜索」赛道。
三种路线:各家做AI+搜索的方式有哪些差异?
近期,微软、OpenAI、字节等国内外 AI 大厂、创企均推出了「AI+搜索」的新功能、应用或有相关动作。微软 New Bing 发布了全新的 AI 生成搜索功能;OpenAI 推出大模型搜索产品 SearchGPT;字节豆包、月之暗面的 Kimi 推出了 AI 浏览器插件......
观察各家发力「AI+搜索」的不同做法,大致可以分为三类:巨头、大厂通常选择在自家已有的搜索引擎上添加 AI 相关功能;独角兽、创企选择基于已有的 LLM 技术,开发 AI 原生的新搜索应用;此外,还有大厂、创企另辟蹊径,推出轻量化产品浏览器 AI 插件。
1、微软:从 Bing 到 New Bing 的改造[12] [13]
① 早在去年 2 月,微软便将 LLM 技术引入到了用Bing 和 Edge 搜索引擎中,基于 LLM 技术,新的搜索引擎能够处理复杂查询,提供精准的搜索结果,并进行基本的交互对话。同时,在多模态方面,微软还引入了 OpenAI 的 Dell-E 模型,用户可以通过视觉搜索并提出相关问题。Bing Chat 可以理解图像的背景,对其进行解释并回答相关问题。微软后将 Bing Chat 更名为 Microsoft Copilot。
② 上周,微软 Bing 更新了其 AI 生成搜索功能,用户可以轻松查找信息,同时用户可以查看 AI 搜索结果以及浏览相关网站。据 Bing 的博客文章,对 Bing 搜索页面的布局进行了调整,页面从左到右分别为:内容目录、带有网站资源链接的人工智能答案、传统的搜索结果。同时,在显示初始问题的答案的情况下,还会预测相关问题。
③ 在技术方面,Bing 的博客文章中提到,微软采用了将 Bing 搜索结果的基础与大型和小型语言模型 (LLM 和 SLM) 的强大功能相结合的方式,让语言模型理解搜索查询,审查数百万个信息源,动态匹配内容,并以新的 AI 生成布局生成搜索结果,以更有效地满足用户查询的意图。
2、谷歌:基于Gemini 模型推出 AI 搜索服务[14] [15]
① 今年 5 月,谷歌推出了 AI 搜索服务 AI Overview,允许用户通过简化语言或更详细地调整搜索结果概述。根据谷歌的博客文章介绍,AI Overview 功能背后是基于专为 Google 搜索定制的 Gemini 模型,利用 Gemini 模型的多步推理能力,AI 搜索实现处理复杂的多步查询。除了解决复杂多步问题外,谷歌提到 AI Overview 的另一优势是规划功能,帮助用户制定计划。
② 在技术方面,据谷歌的 SGE 文档,AI Overview 通过使用定制的 Gemini 模型,与谷歌现有的搜索系统协同工作,包括质量和排名系统以及 Google 知识图谱。AI Overview 旨在执行传统的「搜索」任务,比如从索引中识别相关且高质量的结果来证实概述中呈现的信息。同时,为了保证 AI Overview 的高质量,谷歌将其核心网络排名系统也整合进来,因此,AI Overview 仅呈现由排位靠前且质量高的网络结果信息。
③ 尽管,谷歌在 SGE 文档中详细地介绍了其团队在质量、安全方面所做的措施和相关工作,但 AI Overview 呈现的内容仍被网友吐槽存在错误、过于离谱。
3、OpenAI:推出全新搜索产品 SearchGPT
① OpenAI 近期对外展示了其大模型搜索产品 SearchGPT 的演示 demo,但目前仅向一小部分用户和发布者提供试用。据官方展示的 demo,SearchGPT 可以迅速且直接地用网络上的最新信息回答用户的问题,同时提供相关来源的清晰链接。同时,还展示了一项名为「视觉答案」的功能。
② 技术方面,OpenAI 并未对外透露 SearchGPT 背后详细的技术与工作原理。OpenAI 的发言人 Kayla Wood 对媒体 The Verge 表示,SearchGPT 服务由 GPT-4 系列模型提供支持,最终将搜索功能直接集成到 ChatGPT 中。此外,OpenAI 表示,SearchGPT 是搜索,与训练 OpenAI 生成式 AI 基础模型是分开的。即使网站选择退出生成式 AI 训练,其也可以出现在搜索结果中。
③ 关于技术和背后实现的细节,媒体、业内人士有许多相关的推测。外媒 wired 认为,OpenAI 的 SearchGPT 可能会使用一种生成 AI 的方法,即检索增强生成,旨在降低聊天机器人回答中的幻觉率。通过 RAG 方法,AI 工具在生成输出并链接回数据来源时会引用可信信息;宝玉推测,「OpenAI 即将推出的 SearchGPT 仍会依赖 Bing 索引,但它也会使用自己的爬虫实时获取数据。SearchGPT 背后应该是一个多模态的模型,支持图片的识别,用户可以上传图片进行搜索或者问答。」[17]
④ 此外,早在去年 9 月,OpenAI 也发布了一项名为「Browse with Bing」的类似功能,让 ChatGPT 能够浏览互联网内容。
4、Perplexity:从产品出发,基于开源大模型推出生成式 AI 搜索引擎
① Perplexity 是一个生成式 AI 搜索引擎,旨在改进传统的搜索体验。Perplexity AI 的 CEO Aravind Srinivas 在一次访谈中表示,Perplexity 最适合被描述为「答案引擎」,用户提出一个问题,它会给出一个答案,但与其他引擎有所不同的是,所有答案都有来源支持。这就像写学术论文一样,引用部分即来源部分,就是搜索引擎的作用所在。[18]
② Perplexity 因其独特的产品定位和设计获得了大部分知识工作者的心智,但 Perplexity 也被质疑过是「套壳应用」,即没有自研的基础模型,依赖于市面上主流的诸如 GPT、Gemini、Claude 等模型。Perplexity CEO 表示,Perplexity AI 的思路是先做产品,后做模型。
③ Perplexity 是基于 Mistral-7B 模型进行了微调,其 CEO 曾解释其背后的工作原理:其 Perplexity 系统结合传统搜索,提取与用户查询相关的结果,读取这些链接中的相关段落,并将其输入大语言模型(LLM)。然后,LLM 会根据这些段落和查询生成一个格式良好的答案,并附上适当的脚注。LLM 在这其中的任务是在给定一堆链接和段落的情况下,为用户写一个简明的答案,并附上适当的引用。[19] [18]
④ 与 Perplexity 较为相似的,还有贾扬清团队在今年年初开源的项目 Lepton Search,使用了 MistralAI 开源的 Mixtral-8x7b 作为支撑模型,运行在 LeptonAI 的 playground 托管平台上,吞吐量高达 200 tokens / 秒。Lepton Search 搜索引擎使用了必应搜索 API,Lepton KV 作为无服务器存储。贾扬清在推特中曾表示,相比于 Perplexity,Lepton AI 更侧重让创作者更轻松构建 AI 应用程序的现代云解决方案。[20]
5、月之暗面、字节跳动等:基于自研的大模型技术推出浏览器插件
① 月之暗面推出的 Kimi 浏览器插件,包含「点问笔 」和「总结器 」两项功能。插件的「点问笔 」功能允许用户通过框选网页上的文字,自动触发上下文理解,提供文字的解释和相关信息。「总结器 」功能能够对长篇文章进行全文总结,提炼关键信息,帮助用户迅速把握文章主旨,节省阅读时间。同时,Kimi 插件继承了智能助手的长文本处理能力,能够处理大量文本数据。[21]
② 字节跳动的 AI 助手豆包推出的浏览器插件版本,则提供一键总结网页与视频、写作和文本修改等功能。
③ 除了基于自有大模型的浏览器插件外,还包括「套壳」的,例如 AI 浏览器插件 Monica,基于 GPT-4o、Claude 3.5 等大模型,支持 Google、Bing 等搜索引擎。同样,大部分 AI 浏览器插件都包含类似搜索、写作、总结、翻译等功能。
④ 值得关注的是,贾扬清的 Lepton AI 团队近期推出了一款名为 Elmo 的 Chrome 插件,支持端侧模型,即使在断网情况下也能使用。Elmo 插件内置了名为 Gemini nano 的本地模型,大小仅为 12MB,使得插件在本地即可完成复杂的文本处理任务,无需依赖网络服务。Elmo 插件同样具备多种功能,包括快速生成文本总结、摘要,精读学术论文,划线提问,以及对网页内容进行索引和对照查看。[29]
AI 搜索想要颠覆传统搜索,必须迈过的关键坎儿有哪些?
......
订阅机器之心Pro会员通讯👇,查看完整解读