比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

为了卖设备假装住酒店被偷拍一年多牟利数百万

近年来，酒店偷拍事件频发，引发了公众对个人隐私安全的担忧。许多人希望通过购买检测偷拍摄像头的仪器来保护自己免受侵害。然而，一些不法分子却利用这种恐慌心理，自导自演制造虚假的偷拍现

2024-12-28

240Hz高刷屏+RTX 4060独显翼龙15 Pro游戏本到手仅5600元

快科技12月27日消息，机械革命翼龙15 Pro游戏本主打轻薄电竞，原价7299元，正在京东参加百亿补贴与国家补贴活动，双重补贴后到后价格只要5599.2元。新一代翼龙15 Pro游戏本采用了15.3英寸16比

2024-12-28

宇树科技回应机器人表演时翻车倒地后抽搐：正常现象

快科技12月27日消息，据报道，近日，宇树科技Unitree H1人形机器人，在南京展会上发生翻车事件。网友拍摄的视频显示，这个机器人在展示过程中突然站立不稳，虽然一旁工作人员赶紧过去搀扶，但

2024-12-28

卢伟冰：2024年小米高端手机全球销量超1000万

快科技12月27日消息，卢伟冰今天进行了一场主题为“卢伟冰的年度总结”直播，他透露，2024年小米高端手机全球销量稳稳突破1000万，同比大增43%。小米15系列成为小米高端化战略落地以

建嘉 2024-12-27

俄妹COS兔女郎玛奇玛、帕瓦：完美身材

《电锯人》中有两位女主角帕瓦和玛奇玛对主角有着不同的吸引力。而近日，来自俄罗斯的两位小姐姐Shirogane-sama和Vinne就带来了帕瓦和玛奇玛兔女郎COS，红丝黑丝与绝对领域的交织，修长身材完

2024-12-28

俄妹COS《街头霸王》嘉米：腰臀比超越原版

《街头霸王》中的嘉米金发碧眼，身材火辣，一个伸懒腰的动作更是让她粉丝大涨。近日，来自俄罗斯的小姐姐Hologana也带来了她的嘉米COS，超越原版的腰臀比和精致颜值完美还原。嘉米是英国特种

2024-12-28

黄仁勋走出舒适区

即便冒着背刺自己最大客户——AWS、谷歌云、微软云的风险，英伟达做云（DGX Cloud）的野心依旧有增无减。英伟达正在招聘与AWS等云服务商常见职位相似的——39位针对特定行

2024-12-27

卢伟冰：小米15 Ultra没有延期一切尽在掌握

快科技12月27日消息，卢伟冰在今晚的直播中透露，小米15 Ultra将在春节后发布，并且会全球上市。他还强调，小米15 Ultra绝对没有延期，一切尽在掌握，都在按计划推进中。综合目前已知爆料

2024-12-28

观众不买账了！2024年好莱坞影片内地票房榜：第一未过10亿

快科技12月27日消息，2024年转眼即逝，今年的电影市场也诞生了不少热片，包括《热辣滚烫》和《飞驰人生2》等。整体来看，榜单上几乎都是国产片，以往非常受欢迎的好莱坞大片预冷，观众越来越不

2024-12-28

日本史上最畅销的实体游戏!《动森》实体销量超800万

快科技12月27日消息，根据Fami通最新发布的日本市场实体游戏销量数据，《集合啦！动物森友会》的卡带销量已突破800万份大关，成为日本历史上首款实体版销量达到这一里程碑的游戏。此前，这一纪

2024-12-28

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

为了卖设备假装住酒店被偷拍一年多牟利数百万

240Hz高刷屏+RTX 4060独显翼龙15 Pro游戏本到手仅5600元

宇树科技回应机器人表演时翻车倒地后抽搐：正常现象

卢伟冰：2024年小米高端手机全球销量超1000万

俄妹COS兔女郎玛奇玛、帕瓦：完美身材

俄妹COS《街头霸王》嘉米：腰臀比超越原版

黄仁勋走出舒适区

卢伟冰：小米15 Ultra没有延期一切尽在掌握

观众不买账了！2024年好莱坞影片内地票房榜：第一未过10亿

日本史上最畅销的实体游戏!《动森》实体销量超800万

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响