1000000000！微软改进Transformer一次能记住这么多token了

作者：量子位发布时间：2023-07-09

微软亚研院最新研究，有点震撼：他们开发了一个Transformer变体，居然将其token拓展到了10亿。什么概念？目前最强的GPT-4也才最大支持一次处理32k token，相当于50页文字。...【查看原文】

相关资讯

Stable diffusion 模型，竟然有这么多……

昨天发现 Stable diffusion 的模型有这么多，根本分不出优劣。希望将来有谁能做个视频，把各种有特色的，列个样张效果什么的，要不然真吃不准该下哪个…… 如果全部下载，就太疯狂了！仍然还得一个个测试。这密密麻麻的模型库，让人想起十多年前使用拼音加加那个时期。当时也下载了一堆各种特色的词库，自己调配得不亦乐乎，还亲自给它P了一堆浮标分享在论坛里……可惜加加论坛关闭很久很久了。

Stable Diffusion

奇葩革命 2023-02-14

支持100万token「大世界模型」火了，一次能分析1小时视频内容

这项研究为语言模型更好地理解物理世界铺平了道路。最近，谷歌发布的Gemini 1.5多模态模型和OpenAI的视频生成技术Sora引发了科技界的广泛讨论。Gemini 1.5以其处理百万级别上下文的能力受到赞誉，而Sora模型因能够理解物理运动中的世界而被誉为“世界模型”。尽管它们的技术成就令人瞩目，但仍有局限性，例如Sora模型在复现一些复杂场景，比如逆向跑步机上跑步的人时，就显得有些力不足。随着大模型技术的迅猛发展，我们也逐渐意识到了它们的局限性。例如，对于那些难以用语言描述的现实世界内容，

谷歌 OpenAI

格物时间 2024-02-19

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

选择钢琴作为学习的乐器有许多原因。以下是一些选择钢琴的理由：1. 多功能性：钢琴是一种非常多功能的乐器。它可以弹奏不同种类的音乐，包括古典音乐、流行音乐、爵士乐等等。钢琴还可以用来伴奏歌曲或合唱。2. 音乐基础：钢琴是一种非常基础的乐器，因为它可以教授音乐理论、节奏、和声和乐理等方面的知识。学习钢琴可以帮助培养学生的音乐基础，这对学习其他乐器或进行音乐创作都非常有帮助。3. 技术性：钢琴需要学生使用双手和双脚同时演奏，这需要很高的技术水平。学习钢琴可以帮助学生提高协调性、手眼协调能力和速度等方面的技术水平

ChatGPT

交子爱乐小陈老师 2023-04-23

在西安，这么多套路，想用ChatGPT不要被割韭菜

2023年5月19日（周五），西安创业社群活动品牌“聊易聊”第47期活动邀请了晁杨博为大家做《在西安，使用ChatGPT如何避免被割韭菜？》的主题分享。晁杨博是北辰三维视觉创始人，前西安维塑科技市场

ChatGPT

易旻昊 2023-05-20

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

」从照片可以看出，这是OpenAI今天的第四位访客，奥斯曼表情充满不屑，带着强烈的复仇暗示。尽管是以访客身份回到OpenAI，但很显然，这是一次谈判之旅。其中一位人士表示，奥特曼周五在没有任何通知的情况下被…

阿尔特曼 OpenAI

鞭牛士 2023-11-20

近期资讯

从结绳记事到学富五车：前端开发的进化史

从最初的DOM操作到如今的Vue3，我们可以看到前端开发领域经历了巨大的变革。每个阶段的技术进步都反映了开发者社区不断追求更高效率、更好用户体验的努力。了解到这些前端框架的演变进化真的令人感触颇深。

wayhome在哪 2024-12-28

多选不再难：探索 Checkbox 设计的最佳实践

Checkbox&CheckboxGroup Checkbox:提供多选框组件，通常用于某选项的打开或关闭。 CheckboxGroup:多选框群组，用于控制多选框全选或者不全选状态。 1. Chec

梁林烁 2024-12-28

2张图彻底搞懂拖拽+缩放demo

今天让你看完图，彻底搞明白实现一个拖拽+缩放的功能，用到了那些属性，本文只是自己画图的一些心得，分享一下，也是下次遇到时忘了再翻翻时的笔记

猿小猿 2024-12-28

前端发展史-原生JS到VUE3

刀耕火种的年代：早期前端开发思想在Web发展的初期，前端开发者主要依赖于浏览器提供的底层API，如DOM编程和事件机制来构建网页。

ZXT 2024-12-28

🚀 快速搭建 React 19 + TypeScript + React-Router v7 + MobX 项目教程

📦 环境准备在开始之前，请确保你的开发环境中已经安装了以下工具： Node.js（建议版本：20.x 或更高） npm 或 yarn（Node.js 安装后会自动包含 npm）你可以通过以下命令检

摸鱼了 2024-12-28

现代前端开发中的 ISR 概念及其实际应用

现代前端开发中的 ISR（Incremental Static Regeneration，即增量静态再生）是一种用于优化网站性能的技术，尤其适用于内容密集型的网站。它结合了传统静态站点生成（Stati

汪子熙 2024-12-28

混合渲染模式：SSG 与其他技术的结合

现代前端开发中，SSG（Static Site Generation，静态网站生成）是一种前沿的技术理念。它在网站开发、构建与部署中占据着重要地位，尤其是在提高性能、SEO 优化、降低服务器压力等方面

汪子熙 2024-12-28

yarn源码的调试编译

yarn是一个老版的包管理工工具。弄懂yarn的功能及其实现原理对于理解包管理器十分重要。本文介绍自定义打包yarn源码并生成sourcemap方便调试yarn的源码。

一只小川 2024-12-28

HarmonyOS ArkTs布局入门——弹性布局Flex（02）

弹性布局（Flex）提供更加有效的方式对容器中的子元素进行排列、对齐和分配剩余空间。弹性布局在开发场景中用例特别多，比如页面头部导航栏的均匀分布、页面框架的搭建、多行数据的排列等。

小煦同学 2024-12-28

HarmonyOS ArkTs布局入门——层叠布局Stack（03）

层叠布局（StackLayout）用于在屏幕上预留一块区域来显示组件中的元素，提供元素可以重叠的布局。容器中的子元素（子组件）依次入栈，后一个子元素覆盖前一个子元素，子元素可以叠加，也可以设置位置。

小煦同学 2024-12-28

1000000000！微软改进Transformer一次能记住这么多token了

推荐体验

相关资讯

Stable diffusion 模型，竟然有这么多……

支持100万token「大世界模型」火了，一次能分析1小时视频内容

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

在西安，这么多套路，想用ChatGPT不要被割韭菜

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

近期资讯

从结绳记事到学富五车：前端开发的进化史

多选不再难：探索 Checkbox 设计的最佳实践

2张图彻底搞懂拖拽+缩放demo

前端发展史-原生JS到VUE3

🚀 快速搭建 React 19 + TypeScript + React-Router v7 + MobX 项目教程

现代前端开发中的 ISR 概念及其实际应用

混合渲染模式：SSG 与其他技术的结合

yarn源码的调试编译

HarmonyOS ArkTs布局入门——弹性布局Flex（02）

HarmonyOS ArkTs布局入门——层叠布局Stack（03）

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响