比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

电脑无法开机的常见原因及解决方法详解，助你轻松排查故障

电脑开不了机，这种情况对很多人来说都不是陌生的。无论是工作、学习还是娱乐，电脑的突然“罢工”总是让人感到无比烦恼。那么，电脑开不了机到底是怎么回事呢？如果内存条松动了，或者本身就有故障，电脑就会开不了机。

新报观察 2024-12-27

智能化农业管理升级萤石网络助力农业“四情”监测

在现代农业的创新浪潮中，如何有效提升土地价值成为行业发展的关键。随着智慧农业技术的不断进步，农业管理逐步向精细化、智能化发展。萤石云与山东旭瑞智能科技有限公司联合推出了一套涵盖“四情”监测的智慧农业方案，不仅优化了农田管理，还推动了农业增值的实现。

砍柴网 2024-12-26

兆龙互连：400G、800G高速率产品需求量将会呈现快速增长的趋势

钛媒体App12月26日消息，兆龙互连接受机构调研时表示，就高速产品的类别而言，公司涵盖了从100G、200G到400G、800G的产品线。随着技术的推进，400G、800G高速率产品需求量将会呈现快速增长的趋势。相比以往，公司高速业务今年整体增长较快，其中第四季度尤为明显。

钛媒体快报 2024-12-26

2299元起！一加Ace 5发布：以“游戏”之名打旗舰性能牌

翻看手机行业的演替史，从商务手机，到音乐手机、美颜手机，均经历过“为何不直接买旗舰”的灵魂拷问，而被拷问过的“特长生”们无一不走向黄昏，成为了历史滚滚车轮下的牺牲者。

雷科技 2024-12-26

德龙激光：公司产品有用于切割AR/VR眼镜玻璃材料的设备

德龙激光在互动平台表示，公司产品有用于切割AR/VR眼镜玻璃材料的设备，暂无AI眼镜应用。

每日经济新闻 2024-12-26

亿道信息：AI眼镜产品仍处于客户导入、开模及深入优化阶段

亿道信息在互动平台表示，公司推出了AI眼镜全链路解决方案—SW3010，在拾音、拍照、图像处理、视频优化、国内外AI模型导入、与AIPC、家庭智算中心及AIoT链接等方面进行了深度优化。系统支持多模态交互，包括语音、手势、按键等多种交互方式，适应不同使用场景。目前公司的AI眼镜产品仍处于客户导入、开模及深入优化阶段，暂未达到量产阶段。

金融界 2024-12-27

华为 BRE-AL80 手机现身电信终端产品库，零售价 1799 元起

IT之家12月26日消息，型号为“BRE-AL80”的华为新机现身中国电信终端产品库“华为先锋计划”板块，相关页面显示产品零售价格1799元起。该款手机宣传名称处于保密状态，其共有雪域白、曜金黑、湖光青、云杉黛四款配色，其中云杉黛配色为8GB+512GB版本独占配色。

IT之家 2024-12-27

AMD新一代GPU蓄势待发竞争力飙升压力给到英伟达

【CNMO科技】在接下来的几个月里，显卡市场的竞争格局将发生剧变。这款GPU不仅对AMD来说至关重要，对整个显卡市场也具有深远影响。在Steam的硬件统计中，英伟达的RTX3060等显卡常年占据领先地位，这反映出大多数用户并不需要顶级显卡，而是追求一款能够流畅运行最新游戏的日常显卡。

手机中国 2024-12-26

汉威科技获得外观设计专利授权：“激光甲烷遥测巡检仪”

证券之星消息，根据天眼查APP数据显示汉威科技（300007）新获得一项外观设计专利授权，专利名为“激光甲烷遥测巡检仪”，专利申请号为CN202430243676.8，授权日为2024年12月27日。2.本外观设计产品的用途：用于甲烷气体浓度的检测。

证券之星 2024-12-27

卷造车，也卷造“人”！广汽第三代人形机器人来了，后年量产

12月26日，在2024年中国机器人网年会上，广汽集团推出了自主研发的第三代具身智能人形机器人——GoMate。此次发布的GoMate，是一款全尺寸的轮足人形机器人，全身拥有38个自由度。

南方都市报 2024-12-26

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

电脑无法开机的常见原因及解决方法详解，助你轻松排查故障

智能化农业管理升级萤石网络助力农业“四情”监测

兆龙互连：400G、800G高速率产品需求量将会呈现快速增长的趋势

2299元起！一加Ace 5发布：以“游戏”之名打旗舰性能牌

德龙激光：公司产品有用于切割AR/VR眼镜玻璃材料的设备

亿道信息：AI眼镜产品仍处于客户导入、开模及深入优化阶段

华为 BRE-AL80 手机现身电信终端产品库，零售价 1799 元起

AMD新一代GPU蓄势待发竞争力飙升压力给到英伟达

汉威科技获得外观设计专利授权：“激光甲烷遥测巡检仪”

卷造车，也卷造“人”！广汽第三代人形机器人来了，后年量产

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响