腾讯研究院AI速递 20241112

生成式AI

一、 Scaling Law撞墙，OpenAI被曝遭遇瓶颈，大改技术路线

1. Orion改进放缓尤其在代码能力上，成本高且进步有限，无法重现GPT-3到GPT-4的显著跃升；

2. Scaling Law面临数据匮乏和收益递减的挑战，互联网数据枯竭迫使OpenAI探索新的数据处理方法；

3. AI推理过程可增强模型表现，但需增加计算资源，使其具备更长时间“思考”能力，推动AI推理新维度发展。

https://mp.weixin.qq.com/s/Cqh-km3htuXGiftQftkuDA

二、 专家模型不要专家并行！微软开源MoE新路径GRIN MoE

1. 微软GRIN MoE大模型通过SparseMixer-v2改进专家路由梯度估计，克服传统MoE梯度反向传播问题；

2. 摒弃专家并行，采用数据、pipeline和张量并行避免token丢弃，显著提升训练效率；

3. GRIN MoE在编码和数学基准测试中表现出色，具备高计算扩展潜力，与密集模型相比实现超过80%的训练效率提升。

https://mp.weixin.qq.com/s/pt-AlH_z4e3PNiKC9Iyz7A

三、 FrontierMath让LLM集体几乎“交白卷”：正确率不超过2%

1. FrontierMath评估显示，现有LLM在高级数学推理上表现不佳，正确率不足2%，暴露了其深层次的推理和创造性不足；

2. 传统数学基准因数据污染而偏向高分，FrontierMath通过全新未公开问题避免这一问题，测试LLM真实能力；

3. FrontierMath揭示出莫拉维克悖论，表明LLM擅长结构化封闭问题但难以自主完成长链推理，突显AI在人类式灵活思维中的局限。

https://mp.weixin.qq.com/s/G5vbP5i1qMhpdiGZwSAjYg

四、 GitHub超火开发者路线图库的AI学习路线，star近30万

1. GitHub上的developer-roadmap资源库新增了AI学习路线图，覆盖AI工程、数据科学、提示词工程等多个主题；

2. 该资源库提供每一步学习资源，包括论文、视频、代码示例等，帮助开发者系统化学习，减少探索成本；

3. 社区支持AI生成和自定义路线图，但生成路线图不受欢迎，人工创建的AI路线图仍是主要参考。

https://mp.weixin.qq.com/s/P9hWHGsiWcfEfMq54E02xg

五、 字节推出图像编辑模型 SeedEdit，主打通过文本描述P 图

1. SeedEdit是一个可实时精准文本编辑图像的模型，无需涂抹区域即可增删元素、替换背景并实现风格转换；

2. 基于Diffusion架构，SeedEdit在保持原图细节与生成新内容间平衡，支持多轮连续编辑，显著提升图像编辑质量与效率；

3. SeedEdit在理解指令、细节保留方面优于DALL-E3和Midjourney，展示了图片生成领域的技术创新能力。

https://mp.weixin.qq.com/s/n95psqmYsuRtKtUDXb8p4g

前沿科技

六、 自动驾驶界秋名山车神！CoRL杰出论文让自驾车学会漂移

1. CoRL杰出论文展示了通过扩散模型改进自动驾驶系统，使其在极限操控条件下安全漂移，为自动驾驶在复杂环境中的应用提供新思路；

2. PoliFormer利用强化学习和Transformer技术在导航任务中表现卓越，实现了机器人在多种环境中的高度泛化，提升了目标导航成功率；

3. 其他提名论文涵盖机器人视觉-语言-动作（VLA）模型、少样本模仿学习等领域，推动了机器人在复杂任务中泛化和操作效率的提升。

https://mp.weixin.qq.com/s/n-OLzk28ZUFMnPVjvVr8wg

七、 改进蛋白突变稳定性预测，清华AI蛋白工程模型登Nature子刊

1. 清华龚海鹏团队开发的GeoStab-suite套件通过GeoFitness预训练模型提高了蛋白质突变后ΔΔG和ΔTm预测的准确性；

2. GeoStab-suite基于几何学习并结合图注意力网络，能有效整合蛋白质序列和结构信息；

3. 基准测试中，GeoDDG和GeoDTm在Spearman相关系数上分别超过最先进方法30%和70%，显示出优异的性能。

https://mp.weixin.qq.com/s/gXr_azz7Bf0m6msVbcby_A

报告观点

八、 黄仁勋：SaaS 平台不会被颠覆，还将诞生数百万 AI 智能体

1. 黄仁勋认为传统SaaS平台不会被AI颠覆，反而将成为特定智能体的创新温床，并助力AI普及；

2. 英伟达正通过全栈式架构优化，将数据中心转变为生成AI内容的“AI工厂”，以低延迟和高吞吐量支持AI生成需求；

3. AI及智能体应用将推动科学和工程领域的创新，使各行业从生产到服务的自动化进程加速发展。

https://mp.weixin.qq.com/s/YqNCsq6RFaBsZj9xMLavuw

九、 OpenAI & Anthropic CPO：发展受限于评估方法而非智能水平

1. 当前AI模型的局限在于评估方法而非智能，模型的能力可以更广泛，但缺乏精准评估标准；

2. AI产品经理需掌握编写评估标准和提示工程的技能，使产品质量不再依赖传统设计，而在模型调优中优化；

3. 模型未来将趋向“主动性”和“异步性”，从被动响应转向预见性帮助用户处理事务，并实现按需处理复杂任务。

https://mp.weixin.qq.com/s/sBx86YQpMzBK-DiK-BvUKw