比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

吊打面试官之【Redis的渐进式rehash】

前言 redis 渐进式rehash听说过没，没的话赶快一键三连呀😊。 redis的hash表结构，随着数据量的增加，就可能会发生扩容处理。扩容的处理方案，就是Redis 的 rehash 技术。

提前退休了 2024-12-26

全球第一拍照手机！华为Pura 70 Ultra 16GB版直降2000元

快科技12月27日消息，华为Pura 70 Ultra手机正式开启优惠活动，新增的12GB+512GB版本售价7499元起，16GB版本则限时优惠2000元。12GB+512GB售价7499元、16GB+512GB限时优惠价7999元（原价9999元

2024-12-27

mysql三种读取模式（普通、流式、游标）

在与MySQL数据库交互时，数据的读取方式有多种选择，包括流式读取、游标读取和普通读取。每种方式都有其独特的原理、优势和劣势。本文将对这三种读取方式进行详细介绍， 1. 普通读取介绍普通读取是指通

HBLOG 2024-12-26

15岁的B站正在被科技品牌们虎视眈眈

不知道大家有没有发现，曾经的二次元圣地 B 站，这几年已经被数码科技品牌们扎堆攻陷了？有多少产品、品牌，在 B 站崛起、在 B 站塌房。就这么说吧，拿下 B 站的用户，或者失去 B 站这个舆论

2024-12-27

DeepSeek AI的技术理解力超越普通程序员--以Delta定制概念的理解为例

向DeepSeek AI介绍Delta定制概念的交流过程，可以发现它的思考深度和广度超过了一般的程序员。大部分初次了解可逆计算理论和Nop平台的程序员应该都没有达到类似水平的认知，包括一些架构师

canonical_entropy 2024-12-26

荸荠、蕺菜、藠头见过吃过也听过就是不会读

植物的中文名称，犹如精炼的密码，蕴含其原产地、形态特征等丰富信息，省去冗长的生物学术语描述。然而，鉴于中国文字的深厚底蕴与悠久历史，植物名称在漫长的岁月变迁中经历诸多演变。为此，

2024-12-27

电池衰减致保时捷Taycan趴窝！车主：4S店让我自费43万维修

快科技12月27日消息，据报道，广州一位保时捷Taycan车主方先生向媒体反馈称，自己的车辆因电池衰减故障无法行驶。广州白云保时捷中心却以底板和冷却水板有凹陷为由拒绝‘三包’保修

2024-12-27

【OpenHarmony】鸿蒙 UI开发之RecyclerViewPager

简介下载安装使用说明 singleFlingPager的使用导入传入自定义布局将布局传入容器内 verticalViewPager的使用导入传入自定义布局将布局传入容器内 DD一下：

塞尔维亚大汉 2024-12-26

自动评估基准 | 设计你的自动评估任务

设计你的自动评估任务选择数据集做评估时，你可以选择现有的数据集 (参考一些评估数据集页面) 作为测试集，也可以设计自己的数据集。有一点非常重要，请注意：评估的结果与评估的数据集质量高度相关。

HuggingFace 2024-12-26

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

吊打面试官之【Redis的渐进式rehash】

全球第一拍照手机！华为Pura 70 Ultra 16GB版直降2000元

mysql三种读取模式（普通、流式、游标）

最新研究发现“砂糖橘不能再吃了” 完全是流言

15岁的B站正在被科技品牌们虎视眈眈

DeepSeek AI的技术理解力超越普通程序员--以Delta定制概念的理解为例

荸荠、蕺菜、藠头见过吃过也听过就是不会读

电池衰减致保时捷Taycan趴窝！车主：4S店让我自费43万维修

【OpenHarmony】鸿蒙 UI开发之RecyclerViewPager

自动评估基准 | 设计你的自动评估任务

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响