1000000000！微软改进Transformer一次能记住这么多token了

作者：量子位发布时间：2023-07-09

微软亚研院最新研究，有点震撼：他们开发了一个Transformer变体，居然将其token拓展到了10亿。什么概念？目前最强的GPT-4也才最大支持一次处理32k token，相当于50页文字。...【查看原文】

相关资讯

Stable diffusion 模型，竟然有这么多……

昨天发现 Stable diffusion 的模型有这么多，根本分不出优劣。希望将来有谁能做个视频，把各种有特色的，列个样张效果什么的，要不然真吃不准该下哪个…… 如果全部下载，就太疯狂了！仍然还得一个个测试。这密密麻麻的模型库，让人想起十多年前使用拼音加加那个时期。当时也下载了一堆各种特色的词库，自己调配得不亦乐乎，还亲自给它P了一堆浮标分享在论坛里……可惜加加论坛关闭很久很久了。

Stable Diffusion

奇葩革命 2023-02-14

支持100万token「大世界模型」火了，一次能分析1小时视频内容

这项研究为语言模型更好地理解物理世界铺平了道路。最近，谷歌发布的Gemini 1.5多模态模型和OpenAI的视频生成技术Sora引发了科技界的广泛讨论。Gemini 1.5以其处理百万级别上下文的能力受到赞誉，而Sora模型因能够理解物理运动中的世界而被誉为“世界模型”。尽管它们的技术成就令人瞩目，但仍有局限性，例如Sora模型在复现一些复杂场景，比如逆向跑步机上跑步的人时，就显得有些力不足。随着大模型技术的迅猛发展，我们也逐渐意识到了它们的局限性。例如，对于那些难以用语言描述的现实世界内容，

谷歌 OpenAI

格物时间 2024-02-19

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

选择钢琴作为学习的乐器有许多原因。以下是一些选择钢琴的理由：1. 多功能性：钢琴是一种非常多功能的乐器。它可以弹奏不同种类的音乐，包括古典音乐、流行音乐、爵士乐等等。钢琴还可以用来伴奏歌曲或合唱。2. 音乐基础：钢琴是一种非常基础的乐器，因为它可以教授音乐理论、节奏、和声和乐理等方面的知识。学习钢琴可以帮助培养学生的音乐基础，这对学习其他乐器或进行音乐创作都非常有帮助。3. 技术性：钢琴需要学生使用双手和双脚同时演奏，这需要很高的技术水平。学习钢琴可以帮助学生提高协调性、手眼协调能力和速度等方面的技术水平

ChatGPT

交子爱乐小陈老师 2023-04-23

在西安，这么多套路，想用ChatGPT不要被割韭菜

2023年5月19日（周五），西安创业社群活动品牌“聊易聊”第47期活动邀请了晁杨博为大家做《在西安，使用ChatGPT如何避免被割韭菜？》的主题分享。晁杨博是北辰三维视觉创始人，前西安维塑科技市场

ChatGPT

易旻昊 2023-05-20

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

」从照片可以看出，这是OpenAI今天的第四位访客，奥斯曼表情充满不屑，带着强烈的复仇暗示。尽管是以访客身份回到OpenAI，但很显然，这是一次谈判之旅。其中一位人士表示，奥特曼周五在没有任何通知的情况下被…

阿尔特曼 OpenAI

鞭牛士 2023-11-20

近期资讯

揭秘tv 2024-12-26

德国慕尼黑智慧能源展览会搭建费用一般是多少

　　德国慕尼黑智慧能源展览会的搭建费用会因多种因素而有所不同，以下是大致的费用范围：　　设计费用　　按面积收费：常规简单设计每平方米50-150美元或欧元；详细设计每平方米100-300美元或欧元。例如100平方米展位，概念设计费约5000-15000美元或欧元，详细设计费在10000-30000美元或欧元之间。　　按项目收费：简单项目2000-10000美元或欧元；中等复杂程度项目5000-20000美元或欧元；要求极高的个性化定制设计，费用超15000美元或欧元。　　材料费用　　基础材料：使用普通

上海宽创国际 2024-12-26

SPARKS! WEcon 经济报刊 2024 第二期

第二期更新来啦，由于主编最近比较忙，所以我们决定明年开始正式开放投稿入口，请各位耐心等待呐！（发布延后了一点，12.22-12.26） [图片] [图片]

Rosabel_F 2024-12-26

《后汉书·蔡邕列传》

《后汉书·蔡邕列传》 [图片] 蔡邕（公元133年～公元192年），字伯喈（jiē），是东汉兖州陈留郡圉县人。他的六世祖是蔡勋（谢承的《后汉书》曰：“勋，字君严。”），喜欢黄老学说，在西汉平帝时期曾经担任过右扶风郿县县令。王莽初年，蔡勋被任命为厌戎郡连率（注：‌“厌戎连率”是王莽时期设立的一种地方行政官员职位。‌在王莽初年，陇西郡被改名为“厌戎郡”，郡的长官被称为“连率”）。蔡勋面对着印绶，仰天长叹，说：“我出仕为官，效命的是汉室朝廷，死后也要回归汉室正统。从前，曾子不接受季孙氏的赏赐，更何况我如今还要

亦将有感于斯文也 2024-12-26

【一战轻武器】德意志——鲁格P08半自动手枪/瑞士P1900

一战轻武器合集——德意志第二帝国篇前言：本系列内容基于外网资料和现有书籍，由于专业不对口，轻武器的科普侧重于历史，即设计背景、时代背景、操作记录，性能及意义等。为避免版权问题，不会有很多图片。任何一期专栏都会不定时更新，以补充内容或纠正错误。 [图片] Luger Parabellum/Luger P08/Parabellum 1900 P08全称Parabellum 1908，于1908年成为德军的制式手枪。因此，在1908年之前，暂时称其为Parabellum半自动手枪。 Parabellum半自动

谌素行丶 2024-12-26

东晋才女谢道韫的传奇人生

谢道韫，字令姜，又名韬元，出生于陈郡阳夏（今河南周口市太康县），是东晋时期的一位女诗人和书法家。她的父亲是东晋安西将军谢奕，叔父则是著名的政治家谢安。在这样的家庭背景下，谢道韫自幼受到了良好的教育，并展现出过人的才智。 [图片] 谢道韫的文学才华在年少时便已显露无遗。据《世说新语》记载，一次冬日家族聚会，天上下起大雪，谢安问在座的晚辈，这纷纷扬扬的大雪像什么？谢道韫应声答道：“未若柳絮因风起。”这句诗意的比喻形象生动，富有美感，赢得了谢安的高度赞赏。从此，“咏絮才”便成为了女子文学才能的代名词。但是谢道

瞭望历史鉴 2024-12-26

三家分晋：春秋与战国的分水岭

三家分晋发生在春秋末年，晋国被韩、赵、魏三家列卿瓜分，标志着中国春秋时代的终结与战国时代的开启，具有划时代的意义。 [图片] 三家分晋的历史背景可以追溯到春秋时期晋国的“六卿”制度。自公元前633年晋文公设立三军六卿以来，六卿便一直掌握着晋国的军政大权。这些卿族在晋国政治中扮演着重要角色，他们的势力逐渐膨胀，最终导致了晋国内部的权力斗争。在晋平公时期，韩、赵、魏、智、范、中行氏六卿相互倾轧，形成了激烈的政治斗争。在这场斗争中，赵氏逐渐崭露头角，先后灭掉了范氏和中行氏，增强了自身的势力。随后，公元前453

文玩视界 2024-12-26

东方圣人毛泽东　山林子自然道德智慧教育慧商

[图片] 东方圣人毛泽东（中中道德慧智教育诗）东方圣人毛泽东他是霾夜启明星无私大爱诚奉献天地辉煌华夏红东方圣人毛泽东他是人类引航灯道德旗帜升东方高扬道德慧智风东方圣人毛泽东他为人类幸福宁誓现人类大同愿带领人类筑大同山北河南湖畔泉城山林子甲辰丙子甲子甲子聚狮林

山林子道德慧智 2024-12-26

1000000000！微软改进Transformer一次能记住这么多token了

推荐体验

相关资讯

Stable diffusion 模型，竟然有这么多……

支持100万token「大世界模型」火了，一次能分析1小时视频内容

ChatGPT回答提问：这么多乐器，为什么要选择钢琴？

在西安，这么多套路，想用ChatGPT不要被割韭菜

奥特曼回到OpenAI了：第一次也是最后一次戴访客牌

近期资讯

统威公司在同等行业中占据什么地位

庆历新政：改革的火花为何熄灭？

史上最牛的公司——英国东印度公司

德国慕尼黑智慧能源展览会搭建费用一般是多少

SPARKS! WEcon 经济报刊 2024 第二期

《后汉书·蔡邕列传》

【一战轻武器】德意志——鲁格P08半自动手枪/瑞士P1900

东晋才女谢道韫的传奇人生

三家分晋：春秋与战国的分水岭

东方圣人毛泽东　山林子自然道德智慧教育慧商

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响