Ninja Tech基于亚马逊云科技构建AI智能体
关键字: [innovate2024, Ninja Tech, Generative Ai Agents, Personal Ai, Productivity Tasks, Custom Ai Silicon, Affordable Personal Ai]
本文字数: 1400, 阅读完需: 7 分钟
导读Ninja Tech的联合创始人兼首席技术官在innovate2024活动上展示了他们的多智能体个人AI“忍者”。在演讲中,他阐述了Ninja Tech如何通过专门的AI智能体(如研究员、日程安排员、程序员和节俭者)来处理耗时的任务,从而提高每个人的工作效率。他解释说,Ninja Tech利用亚马逊云科技TRAINIUM和INFERENTIA定制AI硅来实现大型语言模型(如LLAMA 3)的高效和可扩展的训练和推理。该演讲着重介绍了Ninja Tech如何建立在亚马逊云科技的AI/ML服务(如TRAINIUM、INFERENTIA和SAGEMAKER)之上,从而实现了经济实惠的个人AI、按需扩展以及快速实验和部署新的AI智能体和模型。
演讲精华在尖端科技的领域,一家名为Ninja Tech的具有远见卓识的初创公司应运而生,由联合创始人兼首席技术官Sam领导。它们的使命是革命性的——通过利用多智能体个人AI的力量,为全球每一位信息工作者每周赢得一个额外的工作效率小时。
Ninja Tech的创新解决方案,恰如其分地命名为Ninja,是一个突破性的AI系统,由四个专门的智能体组成:研究员、日程安排员、编码员和节俭者。然而,真正使Ninja与众不同的是,它与使用先进的虚幻引擎5构建的栩栩如生的多语种化身无缝集成,为人机交互提供了前所未有的真实体验。
值得注意的是,Ninja Tech通过利用Anodvis平台,在亚马逊云科技(AWS)定制的AI硅数据库生态系统上构建了它们的AI智能体,实现了开创性的壮举。这一大胆的举措使它们成为首批不依赖单一GPU就开发AI智能体的初创公司之一,彰显了它们创新精神和突破界限的决心。
Sam创办Ninja Tech的历程见证了他在AI领域丰富的经验和专业知识。在Ninja Tech之前,他曾领导Meta的AI系统代码设计工作,从优化AI模型以提高广告评分,到为Meta的AI工作负载构建定制训练推理硅。此外,Sam还拥有成功的创业经历,曾成功出售包括将AI引入智能城市的Deca Scents和开创软件定义网络设备的Citadelika在内的多家公司。
Ninja Tech的创立源于Sam和他的联合创始人的一个深刻认识——各行各业的专业人士都在将大量时间花费在可以完全由AI智能体自动化和代替的任务上。基本日历安排、研究、代码咨询和各种其他主题都适合通过生成式AI的力量进行优化。这一认识促使它们开启了将个人AI民主化的使命,使之前对大多数人来说都是遥不可及的个人AI成为可能。
在构建Ninja的过程中,Ninja Tech面临着一个重大挑战——计算资源的可用性,尤其是对GPU的高度需求。然而,与亚马逊云科技的合作关系成为了一个游戏规则改变者,因为他们能够利用亚马逊云科技的Tranium和Inferentior,随时获得强大的计算能力。这种能力在许多其他云服务提供商那里是无法实现的,使Ninja Tech能够无缝扩展其体验并克服资源限制。
除了资源可用性之外,成本效率也是Ninja Tech决定与亚马逊云科技合作的关键因素。Ninja Tech透露,与使用GPU(特别是TRN1和INF2与H100相比)相比,他们的解决方案的成本效率高出82%到89%。这种成本优势对于确保Ninja能够作为一种负担得起的个人AI解决方案提供给每一位信息工作者至关重要,这与他们将这种变革性技术民主化的使命是一致的。
支撑Ninja Tech取得成功的是与亚马逊云科技团队的坚定支持和合作,特别是在利用Neuron平台方面。这种合作伙伴关系使Ninja Tech能够将知名模型(如前Meta项目LLaMa 3)集成到亚马逊云科技的定制硅上。Ninja Tech对于使用LLaMa 3感到自豪,它称其在准确性和性能方面都有了显著提升。
为Ninja构建一个能够处理同步和异步交互的AI系统是一项复杂的任务。受到丹尼尔·卡尼曼的著作《思考,快与慢》的启发,他们开发了一种系统,能够实时响应简单查询,同时也能处理需要研究和异步响应的更复杂问题。这种双重交互模式对于模仿人类交流和处理信息的自然方式至关重要。
亚马逊云科技的SageMaker在Ninja Tech的开发过程中发挥了关键作用,使他们能够扩展训练任务,并利用TRN和按需池进行实验和突发工作负载。获得强大的计算能力使Ninja Tech的数据科学家能够快速进行实验、迅速获得结果并评估模型,而无需承担过高的成本。这种敏捷性在创新和迭代至关重要的领域里至关重要。
呼应亚马逊云科技 CTO Werner Vogels 的智慧,Sam 强调了避免在非差异化的重体力劳动上进行不必要的支出的重要性。通过利用亚马逊云科技的服务和基础设施,Ninja Tech 可以将资源和精力集中在构建代理、技能和差异化能力上,而非自身管理底层基础设施。
展望未来,Ninja Tech 的抱负与生成式人工智能本身的潜力一样广阔。它们的主要目标是将 Ninja 交到每个个人手中,让他们能够利用人工智能的力量提高生产力。此外,它们计划扩大人工智能代理的产品组合,提供更广泛的技能来处理更多样化的任务。Sam 对于促进这些代理之间更大的协同和协作,从而释放新的协同效应和能力的前景表示兴奋。
此外,Ninja Tech 认识到在各个行业和垂直领域教育用户有效利用生成式人工智能来满足他们特定用例的重要性。无论是在学术界、销售、工程、金融或任何其他领域,Ninja Tech 的目标都是为专业人士提供知识和工具,以充分发挥这种变革性技术的潜力。
对于那些有兴趣利用生成式人工智能进行创新的创始人、CTO 和行业领导者,Sam 提供了宝贵的建议。首先也是最重要的,他强调建立一支出色的团队的至关重要性——这是 Ninja Tech 取得成功的秘诀所在。其次,他建议找到一个可靠和支持性强的云服务提供商合作伙伴,赞扬了亚马逊云科技提供的专门的企业支持,这对于确保持续运行时间、快速系统以及能够快速实验和部署新模型和新功能至关重要。
最后,Sam 鼓励采取创业心态,勇于尝试,因为生成式人工智能的应用是广泛且不断发展的。怀着好奇心和勇于突破界限的决心,可能性是无限的。
在人工智能飞速发展的时代,Ninja Tech矗立为创新的灯塔,由一支充满热情的团队驱动,并借助Amazon云科技强大的基础设施和服务的支持。它的历程见证了合作、坚韧不拔以及努力实现尖端技术民主化获取的力量。随着Ninja Tech不断推进生成式人工智能的边界,其对生产力和人机交互的影响有望在各个行业产生深远影响,让个人和组织能够释放新的可能性。
下面是一些演讲现场的精彩瞬间：
感谢邀请,让我们直入主题,了解一下Ninja Tech公司的情况。
与GPU相比,该公司的定制芯片TRN1和INF2在成本效率方面高出82%至89%,这对于以可负担的价格将个人AI提供给每一位信息工作者至关重要。
通过构建一个可以同时处理同步和异步任务的系统,实现了与人类自然交互的能力,例如安排会议等复杂场景。
借助SAGEMAKER的按需资源池和快速实验能力,该公司能够高效地进行训练和模型部署,加快创新步伐。
通过利用亚马逊云科技的支持,Ninja Tech公司将能够更快地构建和训练新的AI代理,为用户提供更多种类的AI技能,帮助每个人提高工作效率。
作为一家开创性的初创公司,Ninja Tech开发了一种名为Ninja的多智能体个人AI系统,旨在通过自动化耗时的任务来提高生产力。借助亚马逊云科技(AWS)的尖端AI基础设施,包括Trainium和Inferentia芯片、Neuron和SageMaker,Ninja Tech创建了一种经济高效且可扩展的个人AI智能体解决方案。
该公司的联合创始人兼首席技术官Sam强调,组建出色的团队并与可靠的云服务提供商如亚马逊云科技(AWS)建立合作关系至关重要。Ninja Tech的智能体(如研究员、日程安排员、程序员和节俭者)建立在Anodvis定制的AI硅数据库生态系统之上,使其成为首批不依赖GPU就开发AI智能体的初创公司之一。
通过利用亚马逊云科技(AWS)的按需配额、成本效益和企业支持,Ninja Tech能够快速实验、部署新模型,并在定制硅上对LLaMa 3等知名模型进行微调。该公司的愿景是使个人AI民主化,让每一位信息工作者每周都能节省一小时的生产力时间。
展望未来,Ninja Tech旨在扩大其AI智能体的范围、促进智能体之间的协作,并教育用户了解生成式AI在各个行业的深远影响。Sam鼓励其他创始人和首席技术官专注于建立出色的团队、与可靠的云服务提供商如亚马逊云科技(AWS)合作,并保持实验心态,以充分释放生成式AI应用的巨大潜力。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。