比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

如何在微信朋友圈中分享生活，提升互动和吸引力的小技巧

在如今这个社交媒体盛行的时代，微信朋友圈已经成为了我们日常生活中不可或缺的一部分。无论是分享生活点滴，还是展现个人风格，朋友圈的每一次更新都能引发一阵热议。很多人可能会问，微信朋友圈到底怎么发？其实，发朋友圈并不复杂，但要发出一个引人注目的朋友圈，还是需要一些小技巧的。首先，内容是关键。

新报观察 2024-12-31

如何有效去除Word文档页眉中的横线并提升排版美观性

在使用Word文档的时候，很多朋友可能会遇到一个常见的问题，那就是页眉中出现了横线。如果你也在为此烦恼，别担心，接下来我会详细讲解几种去掉Word页眉横线的方法，让你的文档恢复整洁。说到Word的页眉，很多人可能会觉得它只是个简单的功能，实际上，页眉在文档中有着非常重要的作用。

新报观察 2024-12-31

如何轻松更换手机字体，彰显个性与独特风格的方法探讨

在当今这个手机无处不在的时代，很多人都希望自己的手机能够与众不同，尤其是在字体上。换个字体，不仅能让你的手机看起来新鲜有趣，还能展现出你独特的个性。那么，手机怎么换字体呢？而iOS系统则相对封闭一些，想换字体就需要借助一些第三方应用。

新报观察 2024-12-31

精进电动获得实用新型专利授权：“一种用于电机腔体出线口的密封结构和新能源电机”

证券之星消息，根据天眼查APP数据显示精进电动（688280）新获得一项实用新型专利授权，专利名为“一种用于电机腔体出线口的密封结构和新能源电机”，专利申请号为CN202421010902.9，授权日为2024年12月31日。

证券之星 2024-12-31

开立医疗获得实用新型专利授权：“内窥镜及其头端部”

证券之星消息，根据天眼查APP数据显示开立医疗（300633）新获得一项实用新型专利授权，专利名为“内窥镜及其头端部”，专利申请号为CN202420281868.2，授权日为2024年12月31日。

证券之星 2024-12-31

如何申请电子邮箱：步骤详解与使用技巧介绍

在如今这个数字化的时代，电子邮箱几乎成了我们生活中必不可少的一部分。不管是工作、学习，还是与朋友之间的沟通，邮箱都是一个很重要的工具。如果你还没有自己的电子邮箱，不用担心，接下来我会详细告诉你怎么申请一个邮箱。首先，选择一个合适的邮箱服务提供商是申请电子邮箱的第一步。市面上有很多邮箱服务，比如Gmail、Outlook、Yahoo等。

新报观察 2024-12-31

中国石化获得实用新型专利授权：“一种双氧水纯化的安全控制系统”

证券之星消息，根据天眼查APP数据显示中国石化（600028）新获得一项实用新型专利授权，专利名为“一种双氧水纯化的安全控制系统”，专利申请号为CN202420209776.3，授权日为2024年12月31日。

证券之星 2024-12-31

如何在小米手机上安全刷机：步骤、注意事项与风险提示

为什么要刷机呢？有很多原因，比如想要体验更流畅的系统，或者想要安装一些官方未提供的功能，甚至是想要恢复出厂设置以解决一些设备问题。第一次启动可能会比平常慢一些，这是正常现象。

新报观察 2024-12-31

光库科技获得实用新型专利授权：“一种高返回光承受力的泵浦光纤合束器”

证券之星消息，根据天眼查APP数据显示光库科技（300620）新获得一项实用新型专利授权，专利名为“一种高返回光承受力的泵浦光纤合束器”，专利申请号为CN202420969103.8，授权日为2024年12月31日。

证券之星 2024-12-31

格力电器获得实用新型专利授权：“霍尔组件、绝缘骨架、绝缘骨架组件、定子及电机”

证券之星消息，根据天眼查APP数据显示格力电器（000651）新获得一项实用新型专利授权，专利名为“霍尔组件、绝缘骨架、绝缘骨架组件、定子及电机”，专利申请号为CN202323285206.7，授权日为2024年12月31日。

证券之星 2024-12-31

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

如何在微信朋友圈中分享生活，提升互动和吸引力的小技巧

如何有效去除Word文档页眉中的横线并提升排版美观性

如何轻松更换手机字体，彰显个性与独特风格的方法探讨

精进电动获得实用新型专利授权：“一种用于电机腔体出线口的密封结构和新能源电机”

开立医疗获得实用新型专利授权：“内窥镜及其头端部”

如何申请电子邮箱：步骤详解与使用技巧介绍

中国石化获得实用新型专利授权：“一种双氧水纯化的安全控制系统”

如何在小米手机上安全刷机：步骤、注意事项与风险提示

光库科技获得实用新型专利授权：“一种高返回光承受力的泵浦光纤合束器”

格力电器获得实用新型专利授权：“霍尔组件、绝缘骨架、绝缘骨架组件、定子及电机”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响