比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

如何理解 CNN 中的 RGB 图像和通道？

> 本文为合集收录，欢迎查看合集/专栏链接进行全部合集的系统学习。合集完整版请参考[这里](https://mp.weixin.qq.com/s?__biz=MzAwOTc2NDU3OQ==&m

董董灿是个攻城狮 2024-12-27

基于Java异步处理的 USB 设备监控系统设计与实现：技术架构与业务场景分析

随着智能设备和物联网技术的快速发展，USB 设备在各行各业中的应用越来越广泛。从工业设备到个人电子产品，USB 设备已经成为数据传输和设备连接的主流方式。然而，设备的动态插拔和状态变化的检

不惑_ 2024-12-27

前端欧阳 2024-12-27

Spring Boot项目接收前端参数的11种方式

在前后端项目交互中，前端传递的数据可以通过HTTP请求发送到后端，后端在Spring Boot中如何接收各种复杂的前端数据呢？这篇文章总结了11种在Spring Boot中接收前端数据的方式。

袁庭新 2024-12-26

鸿蒙开发：适配系统深浅色模式

无论是Android还是iOS，在系统设置中，都有着深色和浅色两种外观模式，同样，鸿蒙系统中也存在这样的外观切换，如何让自己的应用，跟随着系统的模式进行动态切换呢？目前系统给我们提供了两种方式可以实现

程序员一鸣 2024-12-27

css滤镜

css 常用滤镜有不少例如：毛玻璃效果、灰色滤镜、阴影滤镜、自定义svg滤镜等，尤其比较常见的就是毛玻璃和滤镜效果了，毛玻璃一般用在背景(z方向底部)模糊，灰色滤镜一般用于清明节主题

剪刀石头布啊 2024-12-27

成本下降100倍！非营利组织E11 Bio新成果，绘制大脑数百万细胞连接关系

在已知宇宙中，人类大脑是最复杂的结构之一。它由大约 1 千亿个神经元组成，每个神经元通过数千个突触与其他神经元相连，形成了一个难以想象的复杂网络。这张网络不仅控制着我们的身体，还塑造了我们的思想、情感

神经星星 2024-12-26

一文了解 INNER JOIN 和 WHERE 在 SQL语句中的区别

基本概念 INNER JOIN 和 WHERE 是 SQL 中用于查询和过滤数据的两种不同方式，尽管它们有时可以实现相似的结果，但它们的用途和机制有所不同。

我是区块链小学生 2024-12-27

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

如何理解 CNN 中的 RGB 图像和通道？

基于Java异步处理的 USB 设备监控系统设计与实现：技术架构与业务场景分析

flex常见内容介绍

javascript中的==、===

面试官：不会“不定高”虚拟列表，你在简历上面提他干嘛？

Spring Boot项目接收前端参数的11种方式

鸿蒙开发：适配系统深浅色模式

css滤镜

成本下降100倍！非营利组织E11 Bio新成果，绘制大脑数百万细胞连接关系

一文了解 INNER JOIN 和 WHERE 在 SQL语句中的区别

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响