比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

联想Legion Go S掌机规格曝光搭载AMD锐龙Z2 Go

LegionGoS是LegionGo系列即将推出的三款设备之一，其他两款分别为LegionGo2和基于SteamOS的LegionGoSSteam版。此外，8英寸的联想PureSight屏幕是另一大亮点，分辨率为1920×1200，刷新率高达120Hz，亮度达到500尼特，并支持100%sRGB色域覆盖。

手机中国 2024-12-25

共青农场有限公司：开展测土配方施肥守护黑土大粮仓

发展优质高效农业离不开科技的创新，在现代农业发展进程中，北大荒集团共青农场有限公司始终将科技作为核心驱动力，通过开展测土配方施肥检测，有针对性的掌握不同土壤营养成分状况，做到用地养地相结合，推动农业良性可持续发展。

央广网 2024-12-25

AI赋能基层治理 “数智枫景”法治地图云平台上线

该平台自11月试运行以来，已提供近百次法律咨询服务，并为重点企业提供智能化风险防控建议。记者在发布现场看到，云平台可呈现“营商发展、法治政府、平安社会、家事和谐、生态环境”五大司法场景，具备“精准预警、数助决策、协同治理”三大功能。

北京日报 2024-12-25

三星折叠屏业务“折叠”！销量逆势大跌，被中国品牌彻底打懵了？

基于这些优点，尽管大多数折叠屏手机价格昂贵，但购买的消费者络绎不绝。据美国科技媒体AndroidAuthority报道，因市场降温，三星计划明年缩减折叠屏手机布局，为应对市场寒冬，三星还将推出更加轻薄的GalaxyS25Slim。

雷科技 2024-12-25

年末暖心回馈，总有一款适合你！华为服务回馈礼遇推出多重温暖服务权益

11月11日至12月31日，华为开展华为服务回馈礼遇活动，推出多重服务权益，涵盖用户维修、增值服务等，为用户带来暖心关怀、贴心服务。活动期间，手机、平板、PC、穿戴设备到店维修或寄修，换电池享受立减50元优惠。

上游新闻 2024-12-25

微信更新：支持图片评论

此前微信在朋友圈支持图片评论，当时朋友圈出现了各种“斗图”，但不知为何，最后这个功能还是下线了。然而最近微信官方正式宣布，微信视频号支持图片评论，用户在视频号依次点击评论—表情图标，现在里面多了自定义表情以及收藏的表情包，我们选择一个直接发送即可。除了视频号之外，最近微信公众号也支持图片评论了，而且方法很简单。

简科技 2024-12-25

东方网 2024-12-25

金橙子：持续开展专利工作促进业务拓展

企查查显示，金橙子近期提交了“一种连续运动无尺寸限制的量具加工方法”“一种便于固化板卡的方法、系统及存储介质”的专利申请。2024年，公司还取得了“一种基于哈希表索引的密钥查找方法和计算机可读存储介质”“一种多振镜头同步加工方法”“一种基于A3幅面扫描仪的分区域扫描大幅面振镜校正系统”“一种对环形图案的交叉填充方法及存储介质”等多项专利。

中国证券报 2024-12-25

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

联想Legion Go S掌机规格曝光搭载AMD锐龙Z2 Go

共青农场有限公司：开展测土配方施肥守护黑土大粮仓

AI赋能基层治理 “数智枫景”法治地图云平台上线

三星折叠屏业务“折叠”！销量逆势大跌，被中国品牌彻底打懵了？

年末暖心回馈，总有一款适合你！华为服务回馈礼遇推出多重温暖服务权益

微信更新：支持图片评论

河北廊坊：金融赋能科技企业创新发展

恒为科技：有智能巡检机器人、光伏清扫机器人等产品

5G赋能新质生产力，宝山区企业荣获全国二等奖！

金橙子：持续开展专利工作促进业务拓展

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响