比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

大嘴猴5A级抗菌秋裤到手19元：锁温保暖赠退货宝

大嘴猴5A秋裤原价46元，下单领取优惠券，到手价为19元。购买链接：天猫(券后19元)这款秋裤采用远红外热感升温科技，面料纤维吸收远红外线光波，与人体共振产生热能，在皮肤表面形成热能循环

2024-12-31

四川一长寿老人迎124岁生日：现已六世同堂每天必食用猪油

快科技12月31日消息，据媒体报道，今日，在四川省南充市南部县花罐镇柴氏祠村，一位名叫邱柴氏老人迎来她的124岁生日。据了解，邱柴氏出生于1901年1月1日，2025年元旦将迎来她的124岁生辰。她

2024-12-31

美女COS《剑星》伊芙：身材完美还原

日前，国外美女@Abi Aikou分享了其COS《剑星》伊芙的最新作品。据称服装灵感来自游戏更新的假日兔子战衣，这套服装完美的展示了Coser的性感身材，弯腰开腿的姿势相当吸睛，一起欣赏一下吧。

2024-12-31

361°板鞋/运动鞋等89元清仓：28款可选（赠退货宝）

361°板鞋/运动鞋等标价为300元，下单立减30元，领取181元优惠券，到手价为89元。男女款共有28款可选。购买链接：天猫(券后89元)下单赠送退货宝，支持7天无理由退货，不喜可退。购买

2024-12-31

中国市场独享！蓝戟Intel Arc B580 Tri终于开售：2149元

快科技12月31日消息，前不久蓝戟正式发布了全新Intel Arc 580系列显卡，共推出了ARC B580 PHOTON、INDEX、TRI三个系列四款显卡。其中B580 PHOTON黑白两种颜色和INDEX系列已经开售，如今蓝戟In

2024-12-31

固态电池新突破：将减掉负极只留下正极

快科技12月31日消息，近日，太蓝新能源宣布与南都电源签署固态电池战略合作协议，双方将共同推进固态电池在储能领域及民用领域的规模化应用。太蓝新能源表示，技术创新的目标是实现规模化落地

2024-12-31

亚洲冬季运动会金银纪念币来了：万枚六边形彩色硬币

快科技12月31日消息，中国人民银行定于2025年1月5日发行第9届亚洲冬季运动会金银纪念币一套。该套纪念币共3枚，其中金质纪念币1枚，银质纪念币2枚，均为中华人民共和国法定货币。3克圆形金

2024-12-31

仅用七个月！特斯拉上海储能工厂通过验收预计明年初量产

快科技12月31日消息，特斯拉上海储能超级工厂已迅速完成建设，从5月动工至竣工仅耗时7个月，体现了“特斯拉速度”。该工厂预计于明年初正式量产，目标在2025年第一季度投产，年产1万

2024-12-31

赵明：荣耀12月海外销量占比突破50%！真正成为国际化企业

快科技12月31日消息，今天，荣耀CEO赵明在微博上发布了管理团队新年致辞。赵明透露，在今年12月，荣耀的海外销量占比突破50%，并在多地实现规模化盈利，真正成为一家国际化的企业。赵明表示

2024-12-31

华为乾崑高阶智驾包限时优惠：原价36000仅需零头可买断

快科技12月31日消息，华为乾崑智能汽车解决方案官方发布了“乾崑智驾高阶功能包限时优惠价格公告。”HUAWEIADS（乾崑智驾）高阶功能包标准价格为：一次性购买36000元，包月720元月

2024-12-31

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

大嘴猴5A级抗菌秋裤到手19元：锁温保暖赠退货宝

四川一长寿老人迎124岁生日：现已六世同堂每天必食用猪油

美女COS《剑星》伊芙：身材完美还原

361°板鞋/运动鞋等89元清仓：28款可选（赠退货宝）

中国市场独享！蓝戟Intel Arc B580 Tri终于开售：2149元

固态电池新突破：将减掉负极只留下正极

亚洲冬季运动会金银纪念币来了：万枚六边形彩色硬币

仅用七个月！特斯拉上海储能工厂通过验收预计明年初量产

赵明：荣耀12月海外销量占比突破50%！真正成为国际化企业

华为乾崑高阶智驾包限时优惠：原价36000仅需零头可买断

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响