在生成式AI和大模型风起云涌的今天,企业应该如何把握时代的机遇?
作为一家快速成长的初创企业,北京灵奥科技CEO厉启鹏对此有着深切的心得体会。
企业落地大模型的核心挑战
虽然生成式AI与大模型的价值已经得到了越来越多企业的认可,但是就目前的应用落地情况来看,数据问题已经成为了大模型在许多企业落地的核心挑战之一。其问题主要体现在四个方面:
1、业务的数据理解:大模型需要深入理解企业多样化的业务数据,然而数据的类型繁多、格式杂乱且来源无法统一。
2、信息的持续变化:业务数据随着企业运营实时变化,大模型需要不断学习不同来源的、持续变化的业务信息。
3、数据的安全合规:数据隐私和大模型使用的安全合规是企业业务不能触碰的红线。企业既要让模型理解好数据,又需要做到安全合规。
4、数据偏见和公平性问题:不同大语言模型由于训练数据来源不同,侧重点有差异,导致模型会存在偏见。企业需要评估不同模型的能力以及为不同业务场景选择合适的模型。
而在生成式AI赛道崭露头角的北京灵奥科技,正是为了解决以上问题而生。
【北京灵奥科技CEO厉启鹏】
快速成长的生成式AI初创企业
作为一家初创企业,北京灵奥科技从诞生之日的那一天开始,就致力于通过推动生成式AI技术的普及,加速企业的商业成功。为了帮助企业解决数据问题,将大模型优势和业务数据无缝结合,打通大模型企业端落地的“最后一公里”,北京灵奥科技为企业提供了帮助构建AI Agent的SaaS平台,并先后推出了Vanus Connect、Vanus AI、VanChat等三款SaaS产品,累计服务全球客户已经超过3万家,截至目前为止已经获得靖亚资本、PNP等机构的多轮融资。
厉启鹏介绍说,介于大模型和应用之间的大模型中间件,是企业构建AI应用的必备组件。Vanus将大模型优势和企业数据无缝结合,为用户提供了Claude 3、Minimax等多模型选择,可实现商品数据自动更新、Shopify数据自动接入等商品数据自动同步,还可与网站、钉钉、飞书、企业微信等第三方应用无缝集成,助力企业灵活定制机器人,自定义聊天风格、欢迎词、外感颜色等等。
在神经网络层,Vanus Connect可以连接企业不同的数据源,实时感知企业业务事件的变化,并推送给神经中枢,然后接收神经中枢的指令去执行;在神经中枢层,Vanus AI可以结合知识库(向量数据库)和大模型,帮助企业做业务的决策;VanChat是基于Vanus AI专门为Shopify店主打造的销售类AI Agent,既是Shopify店铺的销售机器人,也是消费者的AI购物助手,可帮助电商企业将网站访客转化成付费用户。
选择亚马逊云科技的理由
北京灵奥科技之所以能够取得飞速成长,与合作伙伴亚马逊云科技的鼎力支持密不可分。厉启鹏透露,在公司成立之初,北京灵奥科技就加入了亚马逊云科技合作伙伴网络(APN),并且从中获益良多。包括整个Vanus平台,都是基于亚马逊云科技构建。“特别感谢亚马逊云科技帮助我们构建稳定、强健的数据基座,让我们能够轻松面对用户业务的不确定性。”
谈到当初为什么会选择亚马逊云科技作为合作伙伴时,厉启鹏表示主要有以下三个方面的因素:
1、亚马逊云科技提供了种类丰富、简单易用、功能强大的云服务,这是双方合作的基础。Vanus绝大部分的技术问题,在亚马逊云科技上都能找到答案和相关的云产品。这些产品能够增强性能、提升稳定性,为企业提供强有力的支撑。
2、亚马逊云科技能够为合作伙伴进行技术赋能,提供包含技术方案和架构师等全方位的技术服务,加速Vanus的产品落地。
3、通过亚马逊云科技合作伙伴网络(APN),北京灵奥科技可以获得亚马逊云科技推荐的客户和合作伙伴等全面的推广资源和支持,使其生成式AI产品得以加速进入市场。
“我认为亚马逊云科技是最值得信赖的云服务提供商。作为全球最大的一朵云,它有非常强大的运营经验,能够帮助我们更好地服务分布在不同区域、不同国家的客户。同时,它也是我们首选的一朵云,经过了全球最多用户的打磨,是最安全的云。”厉启鹏说道。
携手合作推动Vanus云上创新
厉启鹏指出,通过亚马逊云科技提供的基础云服务、大语言模型、数据存储三类云服务,Vanus能够为企业构建AI Agent平台,并且具备了多项显著优势:
1、弹性可扩展:利用Amazon Elastic Kubernetes Service(Amazon EKS)基于网络流量的弹性扩展能力,Vanus AI构建的Agent可以根据用户业务流量平滑弹性伸缩。帮助企业平均成本降低30%,性价比提高20%。
2、提高系统可用性:通过Amazon DocumentDB原生的3可用区、6副本的设计,提高可用性和可靠性,可以达到不低于99.99%正常运行时间的服务等级协议(SLA)。
3、降低回复延时:借助Amazon Simple Storage Service(Amazon S3)及数据库高并发数据查询能力提高大模型上下文加载时间,同时借助亚马逊云科技全球网络节点加速能力,整体将Agent回复系统延时降低40%。
4、推理能力强:通过Amazon Bedrock提供的Claude模型,为Vanus平台的AI Agent提供非常强的语言理解和逻辑推理能力。
举例来说,国内某ERP企业各部门沉淀了大量内部数据,但是跨部门知识共享效率低、传统搜索方式响应时间较长、用户投诉率较高等问题长期困扰着客服人员。Vanus基于Amazon S3、数据库、Amazon Bedrock等云服务,为企业构建了统一的企业知识库和AI Copilot,将客服人员的问题回复时间从分钟级降至秒级,极大地提升了工作效率,缩短了响应时间,降低了成本开支。
某服饰类电商企业拥有两个Shopify电商独立站,10000+ SKU,每天都要收到大量产品、退换货、物流等问题咨询,如果延迟回复则会降低客户满意度和错失商机。Vanus基于Amazon Bedrock、Amazon S3等云服务为Shopify电商客户构建客服类Agent VanChat,不仅可以为客户提供7*24小时即时问题回复,而且还能够通过用户意图识别、产品推荐等功能加速产品购买。这样既节省了大量人力资源,又提高了客户满意度,还提升了网站销售额,更可以通过客户洞察挖掘潜在商机,可谓一举多得。