微软新出热乎论文：Transformer扩展到10亿token

作者：机器之心发布时间：2023-07-09

微软 OpenAI 大语言模型 GPT-4

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前...【查看原文】

相关资讯

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，

深度学习人工智能

机器之心 2023-05-25

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

真·量子速读:突破GPT-4理解50页文本限制，新研究扩展到百万token

作者表示，通过使用Bulatov等人在「RecurrentMemoryTransformer」一文中介绍的简单的基于token的记忆机制，他们可以将RMT与BERT这样的预训练Transformer模型结合起…

GPT-4

机器之心Pro 2023-04-25

真·量子速读：突破GPT-4一次只能理解50页文本限制，新研究扩展到百万token

机器之心报道机器之心编辑部能容纳 50 页文档的输入框不够用，那几千页呢？一个多月前，OpenAI 的 GPT-4 问世。除了各种出色的直观演示外，它还实现了一个重要更新：可以处理的上下文

GPT-4 OpenAI

机器之心 2023-04-25

Stellantis将ChatGPT扩展到阿尔法·罗密欧和雪铁龙车型

近期，语言人工智能公司SoundHound表示，除了标致和欧宝/沃克斯豪尔之外，Stellantis旗下的阿尔法罗密欧和雪铁龙品牌也正在将该公司集成了ChatGPT的ChatAI语音助手嵌入新车型。在欧洲多个…

ChatGPT 人工智能

汽车与配件 2024-09-16

近期资讯

金融界 2024-12-27

2025 年的十个营销趋势

随着2024年的落幕，我们站在新一年的门槛上，回望过去，展望未来。在这篇文章中，我们将深入探讨2025年营销领域的十大趋势，从品牌心智的复兴到直播带货的退潮，从AI技术的双刃剑效应到跨国品牌的挑战。

寻空 2024-12-27

外企产品设计日记｜产品经理必备需求分析能力之 Frame 结构化

本文通过生动的案例，详细解释了如何通过Problem Statement和Goal Statement两个模板，系统地拆解和理解用户需求，从而更精准地定义问题和目标。

CoopyZhou 2024-12-27

怎样利用微信小店“送礼”功能赚钱？

探索微信小店“送礼”功能背后的商业潜力，本文将带你深入了解如何在微信这个庞大的社交平台上，通过创新的“送礼”功能找到新的盈利模式。

郭静 2024-12-27

中国饮食，又被柳叶刀点名了？

陈根谈科技 2024-12-27

劲方医药向港交所提交上市申请

36氪 2024-12-27

拼多多助力带来的赚钱机会！

你是否曾对拼多多的砍价信息感到烦恼，甚至因此拉黑了一些亲友？然而，在这个看似令人不悦的现象背后，其实蕴藏着巨大的流量和变现潜力。

十里村 2024-12-27

微软新出热乎论文：Transformer扩展到10亿token

推荐体验

相关资讯

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

微软将ChatGPT相关技术扩展到更多工具中

真·量子速读:突破GPT-4理解50页文本限制，新研究扩展到百万token

真·量子速读：突破GPT-4一次只能理解50页文本限制，新研究扩展到百万token

Stellantis将ChatGPT扩展到阿尔法·罗密欧和雪铁龙车型

近期资讯

国产076两栖攻击舰震撼登场，创三项世界第一

尤瓦尔·赫拉利：感受很重要，但请不要成为情绪的奴隶

这十年，吃谷阵地的大变迁

福建翰达取得新型填料箱蝶阀专利，避免蝶阀阀板因冻结无法转动

2025 年的十个营销趋势

外企产品设计日记｜产品经理必备需求分析能力之 Frame 结构化

怎样利用微信小店“送礼”功能赚钱？

中国饮食，又被柳叶刀点名了？

劲方医药向港交所提交上市申请

拼多多助力带来的赚钱机会！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响