比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

智能新体验，海尔燃气热水器JSQ25-13MODEL(12T)：551元到手

#年货节好物集市#海尔燃气热水器以其先进的技术和卓越的性能在市场上赢得了良好的口碑。JSQ25-13MODEL(12T)型号采用了多项创新技术，包括水伺服恒温系统，能够精准控制进出水水量和水温状态，实现出水±0.1℃无感温差，提供恒温舒适的洗浴体验。

小米地瓜 2024-12-30

剑桥大学研究：AI可能会被用来操控用户的选择，相关数据或被出售

IT之家12月30日消息，据英国《卫报》今日报道，剑桥大学的一项研究警告称，人工智能(AI)技术可能被用来操控在线用户的选择——从购买商品到投票决定。研究指出，一个名为“意图经济”的新兴市场正在成形。在这一市场中，AI助手不仅可以分析和预测用户意图，还能操控这些意图，并将相关数据出售给希望获利的公司。

IT之家 2024-12-30

外媒：英伟达2025年上半年推出新一代人形机器人芯片

【环球网科技综合报道】12月30日消息，据外媒《金融时报》报道，随着AI芯片市场竞争的日益激烈，英伟达正将目光投向机器人技术领域，视其为未来增长的重要引擎。2025年上半年英伟达将发布其最新一代人形机器人芯片——JetsonThor。

环球网科技 2024-12-30

小米 REDMI Turbo 4 后置全金属相机 Deco +“全新旋风双环灯带”

IT之家12月30日消息，小米REDMITurbo4手机已定档1月2日14:00发布，新机将提供“祥云白”配色。小米中国区市场部副总经理、REDMI品牌总经理王腾今日发文称，新机后置全金属相机Deco，并配备“全新旋风双环灯带”。据称，该灯带支持充电、通知、音乐等场景的定制灯效互动功能。

IT之家 2024-12-30

IT之家 2024-12-30

智能生活，华帝燃气热水器i12253M-16：16升超一级能效，舒适之选

#年货节好物集市#选择燃气热水器时，应考虑以下几个关键因素：首先是能效等级，高能效等级意味着更低的能耗和更长的使用寿命；其次是出水量，根据家庭用水需求选择合适的升数；再有是安全性能，包括防漏电、防干烧等安全保护功能；此外，恒温控制技术也是提升洗浴舒适度的重要因素；最后，智能化操作如APP远程控制、水量伺服器等，能够为用户带来更加便捷的使用...

小米地瓜 2024-12-30

云南胜威取得一种湿法磷酸萃取塔的清洗装置专利，可对萃取塔内壁进行冲击清洗

金融界2024年12月30日消息，国家知识产权局信息显示，云南胜威化工有限公司取得一项名为“一种湿法磷酸萃取塔的清洗装置”的专利，授权公告号CN222220605U，申请日期为2024年4月。

金融界 2024-12-30

广东美的制冷设备有限公司取得清洁组件和室内挂机专利，能够实现储水槽的自清洁

金融界2024年12月30日消息，国家知识产权局信息显示，广东美的制冷设备有限公司取得一项名为“清洁组件和室内挂机”的专利，授权公告号CN222220609U，申请日期为2024年2月。

金融界 2024-12-30

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

智能新体验，海尔燃气热水器JSQ25-13MODEL(12T)：551元到手

剑桥大学研究：AI可能会被用来操控用户的选择，相关数据或被出售

外媒：英伟达2025年上半年推出新一代人形机器人芯片

小米 REDMI Turbo 4 后置全金属相机 Deco +“全新旋风双环灯带”

先进技术应用推进超级场景发布会在合肥举行

广州市海珠区推进“琶洲算谷”的建设

雷神黑武士·猎刃台式机新增“i7-13650HX+4070S”首销，10699 元

智能生活，华帝燃气热水器i12253M-16：16升超一级能效，舒适之选

云南胜威取得一种湿法磷酸萃取塔的清洗装置专利，可对萃取塔内壁进行冲击清洗

广东美的制冷设备有限公司取得清洁组件和室内挂机专利，能够实现储水槽的自清洁

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响