Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

12月31日译名发布：斯里达拉·帕尼克·索马纳特

背景介绍：据《印度教徒报》网站12月31日报道，印度空间研究组织主席斯里达拉·帕尼克·索马纳特表示，印度成功发射火箭将两枚航天器送入轨道，开启了太空对接实验。索马纳特现年61岁，是一名航空航天工程师，拥有印度理工学院马德拉斯分校的博士学位。他于2022年1月出任印度空间研究组织主席，在他的领导下，印度开展了第三次探月活动。

参考消息 2024-12-31

全国首家全高帧LED影院落成

全国首家全高帧LED影院——华夏电影中心于日前在北京落成。据介绍，华夏电影中心配备了8个标准影厅和8个VIP高帧LED影厅，规划了家庭厅、全景厅、儿童厅等不同类型的特色影厅，注重通过科技赋能电影，满足观众多样化观影需要。

新华社 2024-12-31

从即梦的AI文字图片能力，浅谈AI图片工具平台的未来

通过对即梦AI图片模型的测试和分析，探讨了这一技术进步如何拓展AI图片应用的场景，并预测了AI图片工具平台的未来发展。通过输入文字，在图片上增加艺术字，或者生成融入画面的字，同时会利用图片生成AI补足画面的内容。整体上效果还挺好，只可惜，不能生成中文的，导致完全不能用上这个能力。

人人都是产品经理 2024-12-31

四大发明、三大技术，极氪亮剑北方

极氪用低温技术打破偏见。先是极氪7X、极氪007、极氪001三位黑武士成功挑战中国最大雪道登顶、冰面F1赛道竞速、全球最大矿车牵引，引爆网络。其四为800V极寒液冷极充桩，采用车桩同源液冷结构设计，工作温域-30℃~60℃，即使在-30℃的极寒环境下也能实现“一秒一公里”的充电速度，让用户在冬季也能轻松补能。

爱车兵团 2024-12-31

工信部许可基础电信运营企业开展频率重耕

中新网12月31日电据工信部网站消息，为深入贯彻落实党的二十届三中全会精神，加大无线电频谱资源对5G产业发展的支持力度，近日，工业和信息化部许可中国移动重耕已用于2G/3G/4G系统的3000MHz以下多个频段频率资源，可同时用于5G公众移动通信系统。

中国新闻网 2024-12-31

工信部：加快信息基础设施适度超前发展

据工信微报公众号，12月26日工业和信息化部召开全国信息通信监管工作会，会议强调，2025年是“十四五”规划的收官之年。全行业要以实体经济和数字经济深度融合为主攻方向，加快信息基础设施适度超前发展，推动信息通信技术为实体经济行业赋能赋值赋智，培育壮大融合产业生态。

华尔街见闻 2024-12-31

创新驱动成都造加“数”前行

12月27日，全国首个低空气象台在成都启动运行，这一全新的平台将运用气象科技创新优势资源，以服务低空经济。

国际在线 2024-12-31

大模型只是工具，而不是终点！

大模型技术曾经是科技领域最炙手可热的话题之一。即便技术指标再亮眼，若无法在产业中解决实际问题，技术便沦为炫技。

陆弃 2024-12-31

益趣科普，在尝试与探索中体验创造乐趣

为了培养少年儿童的动手能力和对科学知识的兴趣，近日徐汇区长桥街道举办了一场机械手工活动，吸引了许多社区未成年人积极参与。活动伊始，社工老师用生动形象的语言为孩子们揭开了机械结构的神秘面纱。

东方网 2024-12-31

当代年轻人的记忆方式be like，记忆会骗人那就留个证据~

有时候真的就是七秒钟的记忆，也不失为一种好办法~…

冷笑话 2024-12-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

12月31日译名发布：斯里达拉·帕尼克·索马纳特

全国首家全高帧LED影院落成

从即梦的AI文字图片能力，浅谈AI图片工具平台的未来

四大发明、三大技术，极氪亮剑北方

工信部许可基础电信运营企业开展频率重耕

工信部：加快信息基础设施适度超前发展

创新驱动成都造加“数”前行

大模型只是工具，而不是终点！

益趣科普，在尝试与探索中体验创造乐趣

当代年轻人的记忆方式be like，记忆会骗人那就留个证据~

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响