OpenAI o1大模型的技术、安全与应用简析 | 积跬步，虽未至千里，仍指引前行

导语

北京时间2024年9月13日，OpenAI公司宣布推出其全新的AI模型：o1，在数学、编程和科学问题的解决处理能力上取得了显著进步。该模型通过自我对弈强化学习（Self-play RL）和思维链（Chain of Thought, CoT）技术，展现出复杂逻辑推理和问题解决能力，同时也为多个领域的应用提供了新的机遇。我国在此技术领域的技术发展和产业实践与国际水平保持同步，随着大模型能力的持续提升，更多的应用场景将得以“解锁”，不断推动我国大模型应用产业进一步繁荣发展。

一、深度思考和复杂推理能力的显著提升，“解锁”更多应用场景

OpenAI的o1大模型在多个方面展现出了显著的性能提升，其深度思考和复杂推理能力在竞赛级数学、复杂编程、物理/化学/生物等领域的基准测试中均展现出卓越能力。以下是o1大模型在这些领域的具体表现：

竞赛级数学领域：在国际数学奥林匹克（IMO）资格考试中，o1大模型正确解答了83%的问题，这一比例远高于GPT-4o的13%。这表明o1在处理复杂的数学问题时具有更高的准确性和推理能力。

复杂编程领域：在编程竞赛平台Codeforces中，o1大模型的表现排在所有人类参与者89%的百分位，这意味着它能够编写出高质量的代码，并解决编程中的难题。此外，o1大模型在国际信息学奥林匹克竞赛（IOI）赛题上得到了213分，达到了排名前49%的水平，显示了其在编程领域的高级技能。

物理/化学/生物等领域：o1大模型在物理、化学和生物学等领域的挑战性基准测试中，表现出与博士生相似的水平。它能够进行深入的思考和推理，解决科学问题，这在以往的模型中是难以见到的。

OpenAI在其官方博客中还提到，o1大模型的应用前景广阔。医疗研究人员可以借助o1大模型注释细胞测序数据，物理学家可以使用它生成量子光学所需的复杂数学公式，软件开发者也可以利用o1大模型构建多步骤工作流程。

二、自我对弈强化学习和思维链等业界前沿技术实践

（一）OpenAI的o1大模型通过自我对弈强化学习（Self-play RL）技术，显著提升了其在复杂任务处理上的表现。这种方法让模型在没有外部指导的情况下，通过不断尝试和错误来学习策略和优化决策。o1大模型在这一领域的应用，类似于AlphaGo通过自我对弈来不断优化其决策模型，从而在围棋等完美信息游戏中取得成功。o1大模型的这种自我博弈强化学习，使其在处理需要策略和决策的任务时，能够展现出更高的智能和适应性。研发团队观察到，随着训练时间（强化学习的增加）和思考时间（测试时的计算）的延长，o1大模型的表现逐渐提升。

（二）o1大模型还采用了思维链（Chain of Thought, CoT）技术，这是一种帮助AI模型进行推理的技术。它通过让模型在回答复杂问题时，逐步解释每一步的推理过程，而不是直接给出答案。这种技术的应用，使得o1大模型在处理逻辑推断、数学问题解决或编程等结构化任务时，能够展现出更接近人类的推理能力。o1大模型通过强化学习不断完善自己的思考过程，学会识别和纠正错误，将复杂步骤分解为更简单的部分，并在遇到障碍时尝试新的方法。这种训练方式显著提升了o1大模型的推理能力，让o1大模型能够更有效地解决问题。与人类在回答难题之前会长时间思考类似，o1大模型在尝试解决问题时会使用思维链。通过强化学习，o1大模型学会磨练其思维链并改进其使用的策略。o1大模型学会了识别和纠正错误，并可以将棘手的步骤分解为更简单的步骤。o1大模型还学会了在当前方法不起作用时尝试不同的方法。这个过程极大地提高了模型的推理能力。

三、安全性能的显著改进和提升

（一）o1大模型在安全方面的成功源自于OpenAI在模型安全治理中贯穿始终的“教学”-“测试”-“分享”模式。通过完善技术提高模型内生安全，建立红队、就绪度、系统卡三类测试体系，并通过主动公开、外部反馈等方式向外部共享安全相关问题和进展。具体而言，第一步“教学”，即教会AI如何辨别是非，过滤有害内容；第二步“测试”，即通过内部评估并与专家合作，对现实世界中的场景进行测试，从而加强模型的安全防护能力；第三步是“分享”，即利用现实世界的反馈来帮助提升人工智能的安全性和实用性。

（二）高级推理能力为提升模型的安全性和鲁棒性提供了新的途径。OpenAI 提出了一种新的安全训练方法，利用 o1的高级推理能力，使模型能够遵循OpenAI设定的具体指导原则和策略，更符合安全预期。特别是当应对可能不安全的提示时，模型能够结合上下文对安全策略进行推理。这使得在某些基准测试中，比如针对产生违法建议等风险时，o1大模型的表现达到了较高水平。此外，为了更好监控模型完成更复杂的任务，o1大模型还会向用户展示其分步骤推理过程的摘要，通过显示思考过程让整个链路更加可读。

（三）通过一系列的安全评估表明，o1大模型在更好应对传统安全风险的同时，并没有带来过多新挑战。

• 首先，在对传统安全能力评估上，o1大模型并未提出新的风险类型。比如越狱测试，o1大模型的得分为84分，远高于GPT-4o的22分；在公平性和非偏见性测试中的效果也比GPT-4o更优。而针对不允许的信息内容、数据“反流”复现、幻觉、偏见等其他基础安全问题以及CBRN、自主化、网络安全、不良引导等应用安全问题，OpenAI引入了更为严格的评测标准，实现了安全与性能同步“水涨船高”。
• 其次，针对o1大模型在思维链（CoT）能力上的提升，OpenAI重点设置了思维链（CoT）安全措施，且测试结果显示并未带来过多的新挑战。一方面，在高级推理能力可能引发的新风险中，模型的“欺骗”行为（如：故意向用户提供不正确信息，或省略可能导致用户产生误解的关键信息）被重点关注，对此OpenAI设置了针对CoT及最终输出结果的欺骗性检测，用以评估并监测模型在推理及最终回复中是否有意或无意地忽略重点事实和提醒带来错误结论，而OpenAI的测试结果表明o1大模型仅有0.8%的回答具有欺骗性。另一方面，OpenAI在ChatGPT中向用户展示CoT总结，在提高CoT推理透明度的同时，也防范用于CoT的数据在输出内容中复现引发数据安全和隐私问题，对此OpenAI的测试结果发现向用户展示CoT过程的摘要总结时，仅0.06%的情况会引入新的有害内容，并且该过程也几乎没有出现对原始训练数据的泄露。

四、总结和思考

（一）o1大模型虽非技术革命，但新技术实践依然耀眼

OpenAI的o1大模型并非颠覆式的技术革命，其进步更多地被视为业界最前沿AI大模型技术在现有路径上的延伸和发展。但其在自我对弈强化学习（Self-play RL）和思维链（Chain of Thought, CoT）等技术实践运用方面取得了显著的进步，并且在深度思考和复杂推理上展现出了较高的能力。o1大模型通过自我对弈强化学习技术，优化了其在没有外部指导的情况下通过试错来学习策略和优化决策的能力，使其在处理需要策略和决策的任务时，能够展现出更高的智能和适应性。同时，o1大模型采用的思维链技术，通过在回答复杂问题时逐步展示其推理过程，提高了模型的透明度和可解释性。这种方法使得o1在处理逻辑推断、数学问题解决或编程等结构化任务时，能够展现出更接近人类的推理能力。大模型领域技术的不断创新和优化，正在推动AI向更深层次的智能推理和问题解决能力迈进。

（二）o1大模型安全性能进一步提升，并未带来新的安全风险

OpenAI模型安全能力的建设围绕指导teach、测试test、分享share三部分展开，通过完善技术提高模型内生安全，建立红队、就绪度、系统卡三类测试体系，并通过主动公开、外部反馈等方式向外部共享安全相关问题和进展。就o1而言，OpenAI并未提出新的风险类型，针对不允许的信息内容、数据“反流”复现、幻觉、偏见等基础安全问题以及CBRN（化学、生物、放射性与核威胁）、自主化、网络安全、不良引导等应用安全问题，引入更为严格的评测标准，实现了安全与性能同步“水涨船高”。针对o1在思维链CoT能力上的提升，o1重点设置了CoT安全措施，包括针对CoT欺骗性的检测，评估模型在推理中有意或无意地忽略重点事实带来错误结论，以及对CoT输出总结，在提高CoT推理透明度的同时，也防范用于CoT的数据在输出内容中复现引发数据安全和隐私问题。

（三）我国在此领域的技术发展与国际同步

o1大模型所采用的自我对弈强化学习和思维链等业界前沿技术，我国大模型科研和产业界也在同步研究和实践应用中，在此领域与国际保持技术同步。科研领域，清华、北大等机构刚刚于9月10日发布自我对弈强化学习领域的技术综述报告，提出了统一的自我对弈算法框架，并在此框架下对现有的自我对弈算法进行了分类和对比。阿里巴巴通义千问大模型也已经实际采用自我对弈强化学习和思维链技术，在深度思考和复杂推理能力上代表中国大模型最高水平，与国际领先水平保持同步。并已于7月18日发布此领域的研究论文。

（四）大模型能力提升将进一步解锁应用场景，促进应用产业繁荣

今年伊始，我国大模型产业从“上新品”逐渐进入“强应用”阶段。随着模型精度和可靠性的进一步提升，大模型的可用性已达到产业规模化使用的“临界点”，一大批应用场景得以“解锁”，并正在嵌入行业的关键运行流程中，不断推动大模型调用量加速提升。大模型的能力的每个微小的提升，都会进一步拓展更大规模的应用范围。o1大模型在消除模型幻觉和提高AI应用安全性方面的探索实践，为业界大模型产业后续在工业制造、城市治理、医疗健康等多个产业领域的进一步规模化应用拓展带来了广阔前景。

本文作者：

阿里研究院：周搏、傅宏宇、王峥、彭靖芷、袁媛

版块介绍 —产业之声

紧跟产业发展脉搏，我们汇集行业领袖与企业的真实声音，在算力基础设施的规划与布局、能耗优化、大模型能力发展、大模型评测体系、产业应用案例深入研究、新技术与应用趋势前瞻探索等方面，剖析成功案例背后的逻辑与挑战，并提供基于产业深度洞察的策略建议。同时，我们依托于阿里巴巴集团在人工智能领域的全面布局，分享阿里的AI产业生态和应用的实践落地，探讨技术如何重塑产业格局并推动社会经济的转型升级。

Reading

1、

2、

3、

4、

5、

6、

7、

8、

9、

10、

11、

12、

13、

14、

15、

16、

17、

18、

19、

20、

21、

22、

23、

24、

25、

- END -