1000000000！微软改进Transformer一次能记住这么多token了

作者：量子位发布时间：2023-07-09

微软亚研院最新研究，有点震撼：他们开发了一个Transformer变体，居然将其token拓展到了10亿。什么概念？目前最强的GPT-4也才最大支持一次处理32k token，相当于50页文字。...【查看原文】

相关资讯

Stable diffusion 模型，竟然有这么多……

昨天发现 Stable diffusion 的模型有这么多，根本分不出优劣。希望将来有谁能做个视频，把各种有特色的，列个样张效果什么的，要不然真吃不准该下哪个…… 如果全部下载，就太疯狂了！仍然还得一个个测试。这密密麻麻的模型库，让人想起十多年前使用拼音加加那个时期。当时也下载了一堆各种特色的词库，自己调配得不亦乐乎，还亲自给它P了一堆浮标分享在论坛里……可惜加加论坛关闭很久很久了。

Stable Diffusion

奇葩革命 2023-02-14

支持100万token「大世界模型」火了，一次能分析1小时视频内容

这项研究为语言模型更好地理解物理世界铺平了道路。最近，谷歌发布的Gemini 1.5多模态模型和OpenAI的视频生成技术Sora引发了科技界的广泛讨论。Gemini 1.5以其处理百万级别上下文的能力受到赞誉，而Sora模型因能够理解物理运动中的世界而被誉为“世界模型”。尽管它们的技术成就令人瞩目，但仍有局限性，例如Sora模型在复现一些复杂场景，比如逆向跑步机上跑步的人时，就显得有些力不足。随着大模型技术的迅猛发展，我们也逐渐意识到了它们的局限性。例如，对于那些难以用语言描述的现实世界内容，

谷歌 OpenAI

格物时间 2024-02-19

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

选择钢琴作为学习的乐器有许多原因。以下是一些选择钢琴的理由：1. 多功能性：钢琴是一种非常多功能的乐器。它可以弹奏不同种类的音乐，包括古典音乐、流行音乐、爵士乐等等。钢琴还可以用来伴奏歌曲或合唱。2. 音乐基础：钢琴是一种非常基础的乐器，因为它可以教授音乐理论、节奏、和声和乐理等方面的知识。学习钢琴可以帮助培养学生的音乐基础，这对学习其他乐器或进行音乐创作都非常有帮助。3. 技术性：钢琴需要学生使用双手和双脚同时演奏，这需要很高的技术水平。学习钢琴可以帮助学生提高协调性、手眼协调能力和速度等方面的技术水平

ChatGPT

交子爱乐小陈老师 2023-04-23

在西安，这么多套路，想用ChatGPT不要被割韭菜

2023年5月19日（周五），西安创业社群活动品牌“聊易聊”第47期活动邀请了晁杨博为大家做《在西安，使用ChatGPT如何避免被割韭菜？》的主题分享。晁杨博是北辰三维视觉创始人，前西安维塑科技市场

ChatGPT

易旻昊 2023-05-20

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

」从照片可以看出，这是OpenAI今天的第四位访客，奥斯曼表情充满不屑，带着强烈的复仇暗示。尽管是以访客身份回到OpenAI，但很显然，这是一次谈判之旅。其中一位人士表示，奥特曼周五在没有任何通知的情况下被…

阿尔特曼 OpenAI

鞭牛士 2023-11-20

近期资讯

CES 2025：联想即将推出惊人的卷轴屏笔记本

据传，联想将在2025年1月8日的CES2025上发布多款革命性的笔记本电脑。这些产品在技术与设计上都带来了前所未有的突破，开创了行业的新纪元。据悉，其中一款产品将带来极致的沉浸式显示体验，这一突破将会彻底改变用户对传统笔记本电脑的认知，并使得设备在外观和功能上的表现更加完美统一。

中关村在线 2024-12-27

荣耀绿洲护眼屏项目获评人民网“企业行动案例”

【CNMO科技消息】12月25日，由人民日报社指导、人民网主办的“2024人民企业社会责任论坛”在北京举行。荣耀终端有限公司凭借绿洲护眼屏项目入选人民企业社会责任论坛“企业行动案例”，这是行业对其以技术创新践行企业社会责任的充分肯定，也是荣耀持续投入绿色护眼领域的又一个亮眼成绩单。

手机中国 2024-12-27

临近空间发展蓄力：国产超音速飞机迈上新台阶

2017年，埃隆·马斯克在一次演讲中分享了一则视频，其中展示，乘坐SpaceX旗下“星舰（Starship）”，以27000公里的最高时速飞行，乘客在纽约时间早上7点出发，39分钟后就可以实现在上海的一个海上平台落地。

21世纪经济报道 2024-12-27

双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU

快科技12月27日消息，俄罗斯服务器厂商Graviton宣布，已经开始供货首批AI/HPC服务器，基于俄罗斯自研的CPU处理器，可搭配最多八块GPU计算卡。该处理器型号为S2124B，配备两颗48核心处理器，共计96核心，主频2.0GHz，内存搭配DDR4-3200，硬盘支持12块SATA或12块NVMeU.3。

驱动之家 2024-12-27

容声509升冰箱BCD-509WD2FPQLA：补贴1200元，高端家电性价比之选

#年货节好物集市#在高端冰箱市场中，消费者最为关注的指标莫过于保鲜效果、节能性能以及智能化水平。保鲜技术直接关系到食物的新鲜度和营养保持，节能性能则涉及到长期使用成本，而智能化功能则为用户带来便捷操作体验。

小米地瓜 2024-12-27

国家级海上风电研究与试验检测基地传动链平台建成投运

12月26日，建设中的国家级海上风电研究与试验检测基地(无人机照片)。12月26日，工作人员在海上风电研究与试验检测基地传动链平台控制中心监测平台运行情况。12月26日，技术人员在海上风电研究与试验检测基地传动链平台上检测压力。

金台资讯 2024-12-27

动点科技 2024-12-27

抖音发布2024直播治理报告主播精细化管理机制效果显著

12月27日，抖音发布2024年直播治理报告，全面阐释抖音直播过去一年的治理理念、技术及最新成果。报告称，抖音在过去一年持续迭代主播“健康分”，通过加减分定级定档的长效管理机制引导主播“向善”，获得显著成效。抖音直播还配合相关部门打击黄赌毒诈黑色产业链，捣毁百余个犯罪窝点，从源头消除违法犯罪分子对直播行业的污染，全力维护行业的健康发展。

DoNews 2024-12-27

1000000000！微软改进Transformer一次能记住这么多token了

推荐体验

相关资讯

Stable diffusion 模型，竟然有这么多……

支持100万token「大世界模型」火了，一次能分析1小时视频内容

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

在西安，这么多套路，想用ChatGPT不要被割韭菜

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

近期资讯

CES 2025：联想即将推出惊人的卷轴屏笔记本

荣耀绿洲护眼屏项目获评人民网“企业行动案例”

临近空间发展蓄力：国产超音速飞机迈上新台阶

双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU

容声509升冰箱BCD-509WD2FPQLA：补贴1200元，高端家电性价比之选

国家级海上风电研究与试验检测基地传动链平台建成投运

祥鑫科技：公司在发布冷媒直冷新技术前已进行相关专利布局

工信部：2025要推进算力中心建设，出台量子产业政策

重庆市气象局发布 “天资·12h”人工智能气象预报大模型

抖音发布2024直播治理报告主播精细化管理机制效果显著

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响