腾讯研究院AI速递 20240715

生成式AI

一、OpenAI AGI路线图曝光：18个月内实现博士级AI，十年内达成AGI

1.OpenAI公布五级AGI路线图，L1为对话AI，L2为具备博士级推理能力的AI，预计18个月内实现L2；

2.AGI将分阶段发展，最终L5为完全组织能力的AI，OpenAI目标是十年内实现AGI；

3.OpenAI强调安全性和不断收集反馈，以优化和调整AGI定义和路线图。

https://mp.weixin.qq.com/s/wrOA5PtEWmkq4z-Tv04eNw

二、OpenAI前身为Q*的秘密项目「草莓」曝光：高级推理AI将实现长期任务规划

1.OpenAI秘密项目「草莓」旨在开发具有高级推理能力的AI，前身为Q*，能自主浏览互联网并进行深度研究；

2.「草莓」项目使用后训练方法微调基础模型，类似斯坦福的STaR，通过迭代创建自己的训练数据提升智能水平；

3.该项目目标是实现长期任务规划，提升AI在科学发现和软件开发等复杂任务中的表现，内部评估已显示出显著进展。

https://mp.weixin.qq.com/s/Hq-5aIQtjER_N9j5l6Mu4g

三、英伟达支持下的FlashAttention-3问世：速度提升16倍，充分发挥H100潜力

1.FlashAttention-3利用英伟达H100架构特性，优化了生产者-消费者模型和乒乓调度策略，提高了GPU计算效率；

2.采用分块量化和非相干处理技术，实现了更高的FP8精度，与传统方法相比，精度提高2.6倍；

3.在前向传播和后向传播测试中，FlashAttention-3速度比标准Attention快16倍，比前代快1.5-2倍，充分利用了计算资源。

https://mp.weixin.qq.com/s/0YrHdL9bEtAZpgYy2REkZw

四、微软与MIT合作破解Transformer推理，6700万参数模型竟匹敌GPT-4！

1.微软与MIT联合研究，开发仅有6700万参数的微型Transformer，通过因果模型训练，达到媲美GPT-4的推理能力；

2.新训练范式利用公理框架直接教导模型学习因果推理，无需干预实验；

3.该研究得到了Yann LeCun等行业大佬的支持，展示了LLM在因果推理上的潜力及重要性。

https://mp.weixin.qq.com/s/ySRE3MaEH539vqrWDi6KBQ

五、剑桥耶鲁等推物理神经网络（PNN），AI模型扩展1000倍的关键技术

1.物理神经网络（PNN）通过利用光学、光子学和模拟电子学，解决当前AI系统高能耗、低吞吐率和高延迟问题；

2.PNN训练方法多样，包括计算模拟、物理感知反向传播训练和零阶梯度训练等，各有利弊；

3.量子计算、概率计算和光学神经网络是PNN的未来发展方向，有望显著提高AI模型效率和扩展性。

https://mp.weixin.qq.com/s/XjU-r2rKGWaatObzdh5TGw

六、Meta创新AI“快慢思考”融合，极大提升Llama2性能

1.项目Meta通过将系统2的“慢思考”结果蒸馏进系统1的“快思考”模型，大幅提升Llama2表现，实现了比GPT-4更高的性能；

2.系统2方法包括CoT、S2A、RaR、BSM，通过生成推理数据和一致性、鲁棒性筛选，形成高质量蒸馏数据；

3.微调后的Llama2在多个任务上超过GPT-4和原始系统2模型，显著降低推理成本和token数量。

https://mp.weixin.qq.com/s/l-fGuCMvnRngznYbmqOWhA

七、清华CharacterGen突破：1分钟单图生成高质量3D角色，入选SIGGRAPH

1.清华大学和VAST团队开发了CharacterGen框架，通过两阶段生成模式在1分钟内将单张图像生成高质量3D角色；

2.CharacterGen利用多视角人物图像生成器和三维重建模型，结合纹理投影策略，实现高一致性和高质量三维人物模型；

3.通过Anime3D数据集训练和多项评估指标测试，CharacterGen在纹理质量、一致性和几何质量上均优于现有方法。

https://mp.weixin.qq.com/s/FXmgjAn-nGC96bfKsnaC2Q

前沿科技

八、清华类脑神经计算模型Dendristor：高能效AI新突破，登Nature子刊

1.清华团队开发出类脑神经计算模型Dendristor，模拟树突结构和突触特性，实现高能效视觉感知；

2.Dendristor利用离子掺杂溶胶-凝胶膜，多栅极晶体管，表现出非线性树突整合和方向选择性；

3.该系统通过稀疏连接和静默突触优化信号处理，提高能效，未来研究将扩展至多模态电路和其他AI任务。

https://mp.weixin.qq.com/s/3QoTisya0hE4ilwl3z7m_Q

报告观点

九、OpenAI解析LLM幻觉：理解成因与创新方法应对

1.LLM幻觉包括上下文幻觉和外源性幻觉；避免外源性幻觉需确保模型实事求是，并在不知时表示不知；

2.检测幻觉方法包括检索增强式评估、基于采样检测和对未知知识进行校准，方法各有优缺点；

3.反幻觉方法包括RAG、编辑与归因、动作链和微调，通过外部知识和验证流程提高生成结果准确性。

https://mp.weixin.qq.com/s/UGcui0rLW2Vz7y2Mt4atqA

十、OpenAI首位投资人Vinod Khosla预测未来10年生产力飞跃与中美技术竞赛

1.AI将在未来5-10年内带来巨大的生产力增长，专业知识服务变得廉价甚至免费；

2.AI将引发收入差距扩大和经济通缩，小公司将率先应用这些技术，逐渐扩展到更大规模企业；

3.中美技术经济战中，赢得AI竞赛的国家将拥有巨大经济影响力和政策主导权。

https://mp.weixin.qq.com/s/jn8tfp0n6dzDBk41EnffAg

👇订阅下方合集，获取每日推送