1000000000！微软改进Transformer一次能记住这么多token了

作者：量子位发布时间：2023-07-09

微软亚研院最新研究，有点震撼：他们开发了一个Transformer变体，居然将其token拓展到了10亿。什么概念？目前最强的GPT-4也才最大支持一次处理32k token，相当于50页文字。...【查看原文】

相关资讯

Stable diffusion 模型，竟然有这么多……

昨天发现 Stable diffusion 的模型有这么多，根本分不出优劣。希望将来有谁能做个视频，把各种有特色的，列个样张效果什么的，要不然真吃不准该下哪个…… 如果全部下载，就太疯狂了！仍然还得一个个测试。这密密麻麻的模型库，让人想起十多年前使用拼音加加那个时期。当时也下载了一堆各种特色的词库，自己调配得不亦乐乎，还亲自给它P了一堆浮标分享在论坛里……可惜加加论坛关闭很久很久了。

Stable Diffusion

奇葩革命 2023-02-14

支持100万token「大世界模型」火了，一次能分析1小时视频内容

这项研究为语言模型更好地理解物理世界铺平了道路。最近，谷歌发布的Gemini 1.5多模态模型和OpenAI的视频生成技术Sora引发了科技界的广泛讨论。Gemini 1.5以其处理百万级别上下文的能力受到赞誉，而Sora模型因能够理解物理运动中的世界而被誉为“世界模型”。尽管它们的技术成就令人瞩目，但仍有局限性，例如Sora模型在复现一些复杂场景，比如逆向跑步机上跑步的人时，就显得有些力不足。随着大模型技术的迅猛发展，我们也逐渐意识到了它们的局限性。例如，对于那些难以用语言描述的现实世界内容，

谷歌 OpenAI

格物时间 2024-02-19

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

选择钢琴作为学习的乐器有许多原因。以下是一些选择钢琴的理由：1. 多功能性：钢琴是一种非常多功能的乐器。它可以弹奏不同种类的音乐，包括古典音乐、流行音乐、爵士乐等等。钢琴还可以用来伴奏歌曲或合唱。2. 音乐基础：钢琴是一种非常基础的乐器，因为它可以教授音乐理论、节奏、和声和乐理等方面的知识。学习钢琴可以帮助培养学生的音乐基础，这对学习其他乐器或进行音乐创作都非常有帮助。3. 技术性：钢琴需要学生使用双手和双脚同时演奏，这需要很高的技术水平。学习钢琴可以帮助学生提高协调性、手眼协调能力和速度等方面的技术水平

ChatGPT

交子爱乐小陈老师 2023-04-23

在西安，这么多套路，想用ChatGPT不要被割韭菜

2023年5月19日（周五），西安创业社群活动品牌“聊易聊”第47期活动邀请了晁杨博为大家做《在西安，使用ChatGPT如何避免被割韭菜？》的主题分享。晁杨博是北辰三维视觉创始人，前西安维塑科技市场

ChatGPT

易旻昊 2023-05-20

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

」从照片可以看出，这是OpenAI今天的第四位访客，奥斯曼表情充满不屑，带着强烈的复仇暗示。尽管是以访客身份回到OpenAI，但很显然，这是一次谈判之旅。其中一位人士表示，奥特曼周五在没有任何通知的情况下被…

阿尔特曼 OpenAI

鞭牛士 2023-11-20

近期资讯

南阳裕翔电子取得光学镜片自动上料装置专利，增大使用范围

金融界2024年12月30日消息，国家知识产权局信息显示，南阳裕翔电子有限公司取得一项名为“一种光学镜片自动上料装置”的专利，授权公告号CN222222105U，申请日期为2024年5月。

金融界 2024-12-30

成都铭森取得塑料制品修边装置专利，提高了对塑料制品的修边效率

金融界2024年12月30日消息，国家知识产权局信息显示，成都铭森科技有限公司取得一项名为“种塑料制品修边装置”的专利，授权公告号CN222222101U，申请日期为2024年5月。

金融界 2024-12-30

如何通过系统还原让电脑焕发新生，恢复流畅使用体验的步骤解析

在日常使用电脑的过程中，遇到各种问题是常有的事。有时候，我们会发现系统变得越来越慢，或者某些软件运行不正常，甚至出现了蓝屏现象，这些都让人感到非常烦恼。不过，别担心，电脑其实是可以还原的，也就是我们常说的“恢复出厂设置”或者“系统还原”。今天，就来聊聊怎么把电脑还原到以前的状态，让它重新焕发生机。首先，咱们得搞清楚什么是还原。

新报观察 2024-12-30

张家港市光学仪器取得镜片磨边用夹持装置专利，保证加工精度

金融界2024年12月30日消息，国家知识产权局信息显示，张家港市光学仪器有限公司取得一项名为“镜片磨边用夹持装置”的专利，授权公告号CN222222107U，申请日期为2024年6月。

金融界 2024-12-30

如何选择与处理视频背景提升观赏体验与创意表达

在如今这个信息爆炸的时代，视频已经成为了我们获取信息和表达创意的重要方式。无论是做个人视频博主，还是为了工作需要，掌握视频背景的处理技巧都是非常重要的。

新报观察 2024-12-30

如何选择适合自己的手机：需求、预算与性能的全面考虑指南

在这个信息化的时代，手机已经成为我们生活中不可或缺的一部分。无论是工作、学习还是娱乐，手机都扮演着重要的角色。然而，市场上手机的种类繁多，选择一款合适的手机，常常让人感到头疼。那么，怎么才能选到一款适合自己的手机呢？接下来，就让我来聊聊这个话题。首先，明确自己的需求是选择手机的第一步。你需要思考一下，自己主要用手机做什么？

新报观察 2024-12-30

如何选择合适的音响设备提升你的音乐与电影体验

在现代生活中，音响设备的选择可不是一件简单的事。无论你是音乐爱好者，还是电影迷，甚至是喜欢在家里举办派对的社交达人，选择合适的音响都能让你的体验提升到一个新的层次。那么，怎么选音响呢？让我们一步一步来聊聊这个话题。首先，了解自己的需求是非常重要的。你是想用音响听音乐，还是看电影？或者是在家里聚会时用？

新报观察 2024-12-30

宁国市朝阳耐磨材料有限公司取得耐磨球磨光装置专利，使球体表面均能受到打磨

金融界2024年12月30日消息，国家知识产权局信息显示，宁国市朝阳耐磨材料有限公司取得一项名为“一种耐磨球磨光装置”的专利，授权公告号CN222222102U，申请日期为2024年3月。

金融界 2024-12-30

如何选择与佩戴耳机，提升音乐体验的全面指南

无论是你在家放松，还是在路上通勤，或者是在健身房挥汗如雨，耳机的佩戴方式、使用技巧以及选择都能影响你的听音体验。此外，佩戴耳机时要注意安全，尤其是在户外活动时，保持对周围环境的警觉，避免发生意外。

新报观察 2024-12-30

泰克体育取得一种头盔加工用毛刺去除装置专利，达到便捷收集清理的效果

金融界2024年12月30日消息，国家知识产权局信息显示，荆州市泰克体育用品有限公司取得一项名为“一种头盔加工用毛刺去除装置”的专利，授权公告号CN222222100U，申请日期为2024年5月。

金融界 2024-12-30

1000000000！微软改进Transformer一次能记住这么多token了

推荐体验

相关资讯

Stable diffusion 模型，竟然有这么多……

支持100万token「大世界模型」火了，一次能分析1小时视频内容

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

在西安，这么多套路，想用ChatGPT不要被割韭菜

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

近期资讯

南阳裕翔电子取得光学镜片自动上料装置专利，增大使用范围

成都铭森取得塑料制品修边装置专利，提高了对塑料制品的修边效率

如何通过系统还原让电脑焕发新生，恢复流畅使用体验的步骤解析

张家港市光学仪器取得镜片磨边用夹持装置专利，保证加工精度

如何选择与处理视频背景提升观赏体验与创意表达

如何选择适合自己的手机：需求、预算与性能的全面考虑指南

如何选择合适的音响设备提升你的音乐与电影体验

宁国市朝阳耐磨材料有限公司取得耐磨球磨光装置专利，使球体表面均能受到打磨

如何选择与佩戴耳机，提升音乐体验的全面指南

泰克体育取得一种头盔加工用毛刺去除装置专利，达到便捷收集清理的效果

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响