1000000000！微软改进Transformer一次能记住这么多token了

作者：量子位发布时间：2023-07-09

微软亚研院最新研究，有点震撼：他们开发了一个Transformer变体，居然将其token拓展到了10亿。什么概念？目前最强的GPT-4也才最大支持一次处理32k token，相当于50页文字。...【查看原文】

相关资讯

Stable diffusion 模型，竟然有这么多……

昨天发现 Stable diffusion 的模型有这么多，根本分不出优劣。希望将来有谁能做个视频，把各种有特色的，列个样张效果什么的，要不然真吃不准该下哪个…… 如果全部下载，就太疯狂了！仍然还得一个个测试。这密密麻麻的模型库，让人想起十多年前使用拼音加加那个时期。当时也下载了一堆各种特色的词库，自己调配得不亦乐乎，还亲自给它P了一堆浮标分享在论坛里……可惜加加论坛关闭很久很久了。

Stable Diffusion

奇葩革命 2023-02-14

支持100万token「大世界模型」火了，一次能分析1小时视频内容

这项研究为语言模型更好地理解物理世界铺平了道路。最近，谷歌发布的Gemini 1.5多模态模型和OpenAI的视频生成技术Sora引发了科技界的广泛讨论。Gemini 1.5以其处理百万级别上下文的能力受到赞誉，而Sora模型因能够理解物理运动中的世界而被誉为“世界模型”。尽管它们的技术成就令人瞩目，但仍有局限性，例如Sora模型在复现一些复杂场景，比如逆向跑步机上跑步的人时，就显得有些力不足。随着大模型技术的迅猛发展，我们也逐渐意识到了它们的局限性。例如，对于那些难以用语言描述的现实世界内容，

谷歌 OpenAI

格物时间 2024-02-19

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

选择钢琴作为学习的乐器有许多原因。以下是一些选择钢琴的理由：1. 多功能性：钢琴是一种非常多功能的乐器。它可以弹奏不同种类的音乐，包括古典音乐、流行音乐、爵士乐等等。钢琴还可以用来伴奏歌曲或合唱。2. 音乐基础：钢琴是一种非常基础的乐器，因为它可以教授音乐理论、节奏、和声和乐理等方面的知识。学习钢琴可以帮助培养学生的音乐基础，这对学习其他乐器或进行音乐创作都非常有帮助。3. 技术性：钢琴需要学生使用双手和双脚同时演奏，这需要很高的技术水平。学习钢琴可以帮助学生提高协调性、手眼协调能力和速度等方面的技术水平

ChatGPT

交子爱乐小陈老师 2023-04-23

在西安，这么多套路，想用ChatGPT不要被割韭菜

2023年5月19日（周五），西安创业社群活动品牌“聊易聊”第47期活动邀请了晁杨博为大家做《在西安，使用ChatGPT如何避免被割韭菜？》的主题分享。晁杨博是北辰三维视觉创始人，前西安维塑科技市场

ChatGPT

易旻昊 2023-05-20

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

」从照片可以看出，这是OpenAI今天的第四位访客，奥斯曼表情充满不屑，带着强烈的复仇暗示。尽管是以访客身份回到OpenAI，但很显然，这是一次谈判之旅。其中一位人士表示，奥特曼周五在没有任何通知的情况下被…

阿尔特曼 OpenAI

鞭牛士 2023-11-20

近期资讯

门店回应华为Mate 70接受预订：未接到通知或11月底发布

快科技9月18日消息，近日有媒体报道称，有部分华为线下实体门店表示，已经可以提前接受Mate70预订了，很快就会上市。对此，新浪科技称多家华为北京门店回应，目前还没有接到预定通知。

驱动之家 2024-09-18

小米三折叠手机专利曝光

根据国家知识产权局近日公示的清单，小米公司获得了一项“手机及其主体”的外观设计专利，展示了小米三折叠手机设计。信息显示，小米于2022年12月21日提交了该设计专利，展示了两种设计方案，专利权人为北京小米移动软件有限公司。

深圳商报 2024-09-18

慧之安信息申请基于物联网的分区域导航控制方法和系统专利，提高在不同环境场合的导航准确性和可靠性

金融界2024年9月18日消息，天眼查知识产权信息显示，慧之安信息技术股份有限公司申请一项名为“基于物联网的分区域导航控制方法和系统“，公开号CN202410516785.1，申请日期为2024年4月。”

金融界 19小时前

x86颠覆性CPU！Intel Lunar Lake续航超M3：本地视频播放一整天

快科技9月18日消息，据媒体报道，Intel的LunarLakeCPU在轻薄笔记本领域展示了其颠覆性的x86平台实力，其电池续航能力在一项测试中超过了苹果的M3和M2芯片，达到了接近24小时的本地视频播放时间。

驱动之家 2024-09-18

外媒评出2024年电池最耐用智能手机新iPhone上榜

【CNMO科技消息】近日，外媒Tom'sGuide评选出了2024年电池最持久的智能手机排行榜，华硕有三款手机跻身前四，摩托罗拉也有四款机型上榜。

手机中国 2024-09-18

我国电气运输设备、智慧城市等领域 32 名专家荣获 2024 年“IEC 1906 奖”，获奖人数创历史新高

9月18日消息，国际电工委员会（IEC）公布了2024年度“IEC1906奖”获奖名单，来自25个国家的228名杰出国际标准化专家获得该奖项。我国电气运输设备、智慧城市、电能供应系统等领域的32名专家获奖，获奖人数仅次于德国，名列第2位。“IEC1906奖”是IEC最重要的奖项之一，设立于2004年，为纪念IEC成立于1906年设立。

IT之家 2024-09-18

谷歌将采用C2PA认证判定图片是否AI生成

谷歌本周二表示，计划对谷歌搜索进行调整，让用户了解图片是否由AI工具创建或编辑。谷歌采用的技术是C2PA认证。亚马逊、微软、Adobe、Arm、OpenAI、英特尔和谷歌等公司都支持C2PA认证，但采用速度较慢。谷歌将其整合到搜索结果中将是该计划的首次重大测试。

南方都市报 2024-09-18

合肥天鹅制冷科技申请一种防尘制冷装置主机专利，专利能主动有效清洁防尘网保障空气流通量

金融界2024年9月18日消息，天眼查知识产权信息显示，合肥天鹅制冷科技有限公司申请一项名为“一种防尘制冷装置主机“，公开号CN202410919722.0，申请日期为2024年7月。”

金融界 19小时前

三星S25、Tab S10、Book 5设计曝光全系轻薄化

三星GalaxyS25系列旗舰级智能手机、三星GalaxyTabS10系列安卓平板和三星GalaxyBook5系列笔记本电脑的外观渲染图已经曝光。三星GalaxyS25系列与三星GalaxyS24系列相比，整体设计风格保持不变，依然注重简洁美观。在摄像头模组的设计上有所改变，背面除了摄像头模组外没有其他元素。

中关村在线 2024-09-18

每月资费999元！万兆宽带落地京城，到底能有多快？

北京宣布“光网之都，万兆之城”行动计划一周年后，万兆宽带正式在京城落地。北京首位万兆宽带用户也来到了现场，该用户在家中测速的万兆宽带下行速率超过9500Mbps(兆比特每秒）。

北京日报 2024-09-18

1000000000！微软改进Transformer一次能记住这么多token了

推荐体验

相关资讯

Stable diffusion 模型，竟然有这么多……

支持100万token「大世界模型」火了，一次能分析1小时视频内容

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

在西安，这么多套路，想用ChatGPT不要被割韭菜

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

近期资讯

门店回应华为Mate 70接受预订：未接到通知或11月底发布

小米三折叠手机专利曝光

慧之安信息申请基于物联网的分区域导航控制方法和系统专利，提高在不同环境场合的导航准确性和可靠性

x86颠覆性CPU！Intel Lunar Lake续航超M3：本地视频播放一整天

外媒评出2024年电池最耐用智能手机新iPhone上榜

我国电气运输设备、智慧城市等领域 32 名专家荣获 2024 年“IEC 1906 奖”，获奖人数创历史新高

谷歌将采用C2PA认证判定图片是否AI生成

合肥天鹅制冷科技申请一种防尘制冷装置主机专利，专利能主动有效清洁防尘网保障空气流通量

三星S25、Tab S10、Book 5设计曝光全系轻薄化

每月资费999元！万兆宽带落地京城，到底能有多快？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响