腾讯研究院AI速递 20240722
生成式AI
一、 OpenAI正与著名半导体厂商博通谈判，开发全新的AI芯片
1. OpenAI与博通谈判开发AI芯片，由Sam Altman领导项目;
2. OpenAI聘请前谷歌TPU团队成员，由Richard Ho领导芯片团队，目标是构建大规模算力集群;
3. OpenAI计划与外部投资者共建电力基础设施和数据中心，用于支持专用AI芯片服务器，增强与NVIDIA的议价能力.
https://mp.weixin.qq.com/s/jdoPfkhrH-XjovepIaKbGw
二、 小模型时代来了？GPT-4o mini后，苹果小模型DCLM跟进
1. 苹果发布的DCLM小模型，包括70亿和14亿参数版本，性能超越Mistral-7B，接近Llama 3和Gemma;
2. DCLM模型全开源，包括权重和训练代码，基于开放数据集DCLM-Baseline开发;
3. DCLM-7B使用decoder-only架构，预训练于4T token的DCLM-baseline数据集，性能在多个基准任务上优于同类模型.
https://mp.weixin.qq.com/s/yPWYkI3l_RpupB4fS3zQZA
三、 提升5.69倍，高效RAG上下文的创新压缩方法COCOM
1. COCOM方法通过上下文压缩技术，将长文本转换为紧凑的上下文嵌入，提高大模型处理效率;
2. 采用自编码和基于嵌入的语言建模两种预训练任务，优化模型的压缩和解压能力;
3. COCOM实现了5.69倍的效率提升和1.27倍的内存减少，支持灵活调节压缩率以平衡解码时间和答案质量.
https://mp.weixin.qq.com/s/C2r3GYpcK-B8RZevC1ejEw
四、 机器人版的「斯坦福小镇」来了，专为具身智能研究打造
1. GRUtopia是为机器人设计的虚拟小镇，包含10万个交互式场景和89种场景类别，旨在解决具身智能领域的数据稀缺问题;
2. 环境包括GRScenes数据集、GRResidents NPC系统和GRBench基准，支持复杂的社交互动和任务生成;
3. GRUtopia平台通过提供详尽的场景注释和多模态交互，使机器人能够在仿真环境中进行高效学习和评估.
https://mp.weixin.qq.com/s/PNo7dBK_thiXIwOO6udblg
五、 AI导盲眼镜lumen，模仿导盲犬的功能改变视障人士生活
1. .lumen完成500万欧元融资，由SeedBlink和其他投资者支持，用于推广其AI导盲眼镜产品;
2. .lumen眼镜利用PAD AI技术模仿导盲犬功能，通过触觉界面引导视障人士，增强独立性和安全性;
3. 公司计划2024年底在欧洲推出限量系列，2025年进入美国市场，目标2026年底前销售10,000台.
https://mp.weixin.qq.com/s/i9huIQw8HYWwYsScOy1BzA
六、 效率高，无需标签，谷歌团队用AI挖掘大量高维临床数据
1. Google Research开发的无监督深度学习模型REGLE，通过变分自动编码器（VAE）学习高维临床数据（HDCD）的低维表示，用于探索基因变异与HDCD之间的关联;
2. REGLE方法允许在不需要疾病标签的情况下，通过独立的全基因组关联研究（GWAS）发现新的基因位点，并创建多基因风险评分（PRS）以改善疾病预测;
3. 该技术在肺功能和心血管功能的测量中表现出优越性，能够发现新的潜在药物靶点，并通过PRS改进疾病如COPD和哮喘的预测效果.
https://mp.weixin.qq.com/s/cN5MQwgfha8GzsPYzbwKCw
七、 微软、OpenAI、谷歌、英伟达等成立开源大模型安全联盟
1. CoSAI联盟由多家科技巨头成立，旨在开发共享大模型安全的开源产品和方法，制定统一的开发框架和评估标准;
2. 联盟将重点关注供应链安全，开发防御框架对抗大模型攻击，并推动大模型安全和隐私治理的工作流;
3. CoSAI采用CC-BY 4.0和Apache License v2.0许可证，确保其开源产品和文档可用于商业化，与多个安全组织合作扩大影响力.
https://mp.weixin.qq.com/s/6m6kJi7rGMmm3YgZAQI6xA
前沿科技
八、 硅谷生娃也拼高科技！超级婴儿来了，更聪明、更健康、更长寿
1. 硅谷正在利用高科技生育创新如基因筛查和人造子宫，旨在培育出更聪明、更健康、更长寿的超级婴儿;
2. 投资者和科技精英如马斯克和Neuralink高管已经采用这些技术，选择健康的胚胎以避免遗传疾病;
3. 尽管技术前景光明，当前生育技术还不成熟，完美婴儿尚不存在，主要目标是提高健康婴儿的出生几率.
https://mp.weixin.qq.com/s/6X4oMQ14ryRY4JKnKbzH9A
报告观点
九、 麻省理工科技评论：自动驾驶出租车火了，美国的经验是什么？
1. 自动驾驶出租车在美国遭遇挑战，如Cruise在旧金山的严重事故导致服务暂停和公众信任下降;
2. 尽管存在挑战，如高成本和安全问题，公司如Waymo继续在美国多城市提供服务，需前期大量投资和地图绘制;
3. 自动驾驶出租车面临盈利难题，与传统出租车和共享出行服务竞争激烈，需要更低成本和高效的运营模式.
https://mp.weixin.qq.com/s/ASRtlKRVYQmZhIxsGMTgjA
十、 Ilya Sutskever 离职后首次采访：个人经历，Scaling Laws，幻觉
1. Ilya Sutskever 在采访中回顾了他的职业生涯，包括与 Jeff Hinton 的合作和在深度学习领域的早期探索;
2. 他讨论了大规模语言模型的局限性，特别是模型产生的“幻觉”问题，并提到了通过人类反馈强化学习来减少错误信息的方法;
3. Sutskever 强调了统计学习的重要性，并预测未来的AI发展将结合世界模型和无监督学习，以更深入地理解和模拟现实世界.
https://mp.weixin.qq.com/s/JeHTvbaEwiHyjd-UVHt7WA
👇订阅下方合集，获取每日推送
