Amazon OpenSearch Serverless向量引擎预览版正式推出 助力构建生成式AI应用
北京——2023年8月1日 亚马逊云科技宣布推出Amazon OpenSearch Serverless向量引擎预览版。该向量引擎在Amazon OpenSearch Serverless中提供了一种简单、可扩展、高性能的相似性搜索功能，让用户能够轻松构建由现代化机器学习（ML）增强的搜索体验和生成式AI应用程序，无需管理底层向量数据库基础设施。
向量嵌入助力机器学习增强的搜索和生成式AI的应用
所有行业的企业都在迅速采用生成式AI，因为它能够处理庞大的数据集、生成自动化内容，并提供媲美人类的交互式响应。通过集成聊天机器人、问答系统和个性化推荐等先进的对话生成式AI应用程序，客户正在想方设法彻底变革最终用户体验以及与数字平台的交互。这些对话应用程序让用户能够用自然语言进行搜索和查询，并通过理解语义、用户意图和查询上下文，生成酷似人类的响应。
机器学习增强的搜索应用和生成式AI的应用程序都需要使用向量嵌入，向量嵌入作为文本、图像、音频和视频数据的数字表示，可以用来生成动态的相关内容。向量嵌入基于用户私有数据进行训练，代表信息的语义和上下文属性。理想情况下，这些嵌入可以就近存储和管理，如接近现有的搜索引擎或数据库等特定领域数据集。由此，企业能够通过处理用户查询找到最近的向量，并将它们与其他元数据结合，从而集成搜索结果。这一过程完全无需依赖外部数据源或其它应用程序。客户希望向量数据库是易于构建的，且便于从原型设计快速进入到生产环境，这样他们就可以将精力集中在创建差异化应用程序上。Amazon OpenSearch Serverless向量引擎扩展了Amazon OpenSearch的搜索能力，使用户能够实时存储、搜索和追溯数十亿向量嵌入，并精确进行相似性匹配和语义搜索，无需考虑底层基础设施。
探索向量引擎功能
构建于Amazon OpenSearch Serverless的向量引擎天然具备鲁棒性。使用向量引擎，用户不必担心后端基础设施的选型、调优和扩展问题。向量引擎可自动调整资源，来适应不断变化的工作负载模式和需求，从而提供始终如一的快速性能和适当规模。即便向量数量从原型设计期间的数千个猛增至生产环境中的数亿个，向量引擎也可以无缝扩展，无需重新索引或重新加载数据来扩展基础设施。此外，向量引擎为索引和工作负载搜索提供了单独的计算资源，让用户可以实时无缝地获取、更新和删除向量，同时确保用户查询性能丝毫不受影响。所有数据都长久地存储在Amazon Simple Storage Service（Amazon S3）中，因此用户可以获得与Amazon S3相同的数据持久性保证（11个9，即99.999999999%）。尽管目前还处于预览阶段，但向量引擎是为生产环境工作负载设计的，具有应对可用区中断和基础设施故障的冗余机制。
Amazon OpenSearch Serverless向量引擎由开源OpenSearch项目中的k近邻（kNN）搜索功能提供支持，该功能能够提供可靠而精确的结果。现今，许多客户在托管集群中使用OpenSearch kNN搜索，以便在应用程序中提供语义搜索和个性化推荐。向量引擎的用户体验与Serverless环境一样简单易用。向量引擎支持欧氏距离、余弦距离和点积等流行的距离指标，可容纳16000个维度，因而非常适合支持各种基础模型及其他AI/ML模型。用户还可以存储各种数据的不同字段，例如元数据中的数字、布尔值、日期、关键字和地理位置，以及包含描述性信息的文本等，来为存储的向量添加更多上下文信息。多种类型数据的合并降低了复杂性，提升了可维护性，并且避免了数据重复、版本兼容性难题和许可问题，有效地简化了应用程序栈。向量引擎支持相同的OpenSearch开源套件API，让用户可以充分利用其丰富的查询功能，例如全文搜索、高级过滤、聚合、地理空间查询、嵌套查询，以加快数据检索和增强搜索结果。以要求查找距离用户15英里以内的结果的用例为例，向量引擎可以在单个查询中完成这项任务，而不需要维护两个不同系统，并利用应用逻辑将结果合并。通过集成LangChain、Amazon Bedrock和Amazon SageMaker，用户可以轻松地将首选机器学习和AI系统与向量引擎集成。
向量引擎支持不同领域的广泛用例，包括图像搜索、文档搜索、音乐检索、产品推荐、视频搜索、基于位置的搜索、欺诈检测以及异常检测。亚马逊云科技预测，将词汇搜索方法与先进的机器学习和生成式AI功能结合的混合搜索将会日益流行。例如，当用户在电子商务网站上搜索“红色衬衫”时，语义搜索通过检索所有红色来扩大搜索范围，同时在词法（BM25算法）搜索上实现调优和逻辑增强。利用Amazon OpenSearch过滤功能，企业可以为用户提供基于尺寸、品牌、价格范围和附近商店等信息来优化搜索选项，从而进一步增强搜索结果的相关性，以便打造更个性化、更精准的体验。向量引擎支持的混合搜索使得用户能够在单个查询调用中查询向量嵌入、元数据和描述性信息，从而在不构建复杂应用程序代码的情况下，轻松地提供更准确的，与上下文相关的搜索结果。
从预览到正式可用
亚马逊云科技近日宣布推出向量引擎的预览版，用户可以立即开始试用。
在向量引擎正式可用之前，亚马逊云科技计划提供两项功能，降低客户首个集合的成本。第一项功能是新的开发-测试选项，它使用户能够在没有备份或副本的情况下启动集合，从而将入门成本降低50%。向量引擎仍然提供持久性保证，因为它将所有数据保存在Amazon S3中。第二项功能是在初始阶段配置0.5 OCU（OpenSearch计算单位）资源，资源将根据用户的实际工作负载来扩展；如果初始工作负载的规模是数万到数十万个向量（取决于维度数量），用户则可以进一步降低成本。除了这两项功能外，亚马逊云科技将把支持用户首个集合所需的最低OCU从每小时4个降至每小时1个。
亚马逊云科技还在开发一些新功能，在未来几个月，将会帮助用户实现工作负载暂停与恢复，这项新功能对向量引擎十分有用，因为其中许多用例不需要持续索引数据。
最后，亚马逊云科技持续致力于优化向量图的性能和内存使用，包括改进缓存和合并等功能。
在亚马逊云科技致力于降低用户成本的同时，亚马逊云科技将提供1400 OCU小时/每月的免费向量集合，直到开发-测试选项宣布可用为止。
Amazon OpenSearch Serverless向量引擎预览版现已在全球八个地区可用：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、欧洲（法兰克福）和欧洲（爱尔兰）。
