现在ChatGPT等大模型一大痛点: 处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构,成为有力挑...【查看原文】
十年前,移动互联网充满朝气,每天都有新芽从智能手机的沃土中长出。十年后,我们早已习惯了Web2.0社
ChatGPT
appso 2023-01-15
一年时间,斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进,对大模型的适用性也更强了。近来,几种长上下文语言模型陆续问世,包括 GPT-4(上下文长度为 32k)、MosaicML 的 MPT(上下文长度为 65k)Anthropic 的 Claude(上下文长度为 100k)。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而,扩大 Transformer 的上下文长度是一
斯坦福GPT-4Claude
AI研习所 2023-07-25
这一模型比GPT-4、GeminiUltra、ClaudeOpus等模型能力更强,更引人注目的是,其训练成本只需要500美元。
斯坦福GPT-4
21世纪经济报道 2024-06-14
说回我们在AI领域贡献的开源大模型技术,从此次事件来看,中国的开源模型其实十分强大,但在国际社区中的整体知名度并不高。还有一位国外AI社区的创始人也说道:“中国在机器学习生态的工作一直以来都被社区忽视了。也有…
通义千问斯坦福清华
OSC开源社区 2024-06-18
一般来说,便当盒有隔区,这放肉食,那放米饭,Bento也是如此,他们借用了「便当理论」,在填写待办事项之前,就要求用户先把任务拆分成「小/中/大」三种类型,他们对这三种类型任务也有自己的定义。VALL-E可以…
AppSo 2023-01-26
今年中国半导体行业有啥新变化?
半导体产业纵横 2024-12-31
变革进行时。
松果财经 2024-12-31
2025年预计继续回暖
格隆汇新股 2024-12-31
历史总是在重复上演
道总有理 2024-12-31
成为霸总第一步,先换上红色薄底鞋
36氪的朋友们 2024-12-31
到底什么是管培生?没人管+没培养=大号实习生
互联网那些事 2024-12-31
2029 实现 AGI,2030 人脑将和云端协同。
AI科技大本营 2024-12-31
51WORLD距离《头号玩家》里的绿洲世界还有几光年?
GPLP 2024-12-31
新的一年,增长从哪里来?如何实施品牌建设?
空手 2024-12-31
再见2024
指北Focus 2024-12-31
Copyright © 2025 aigcdaily.cn 北京智识时代科技有限公司 版权所有 京ICP备2023006237号-1