OPPO发布安第斯大模型，带来全新的个性专属智能体验
就算2023年已经进入倒计时，我们也仍在见证着AI大模型行业的瞬息万变。一个不断孕育大模型全新生机的生态土壤正在加速到来。
别让技术的星火等候，一次掷地有声的官宣
11月16日，2023OPPO开发者大会在上海世博中心举行，会上OPPO正式发布了自主训练的个性专属大模型与智能体——安第斯大模型（AndesGPT）。
AndesGPT以“端云协同”为基础架构设计思路，推出从十亿至千亿以上多种不同参数规模的模型规格，能够基于“端云分工、端云互补、端云协作”等方式，灵活支撑多元化的应用场景。AndesGPT着重强调了“对话增强、个性专属、端云协同”三个层面的技术特性。可见，OPPO在大模型赛道上已有一些自己的思路。
发布会上，OPPO提出如今是“技术驱动体验的时代”，认为大模型将全面革新智能终端交互体验，并朝这个方向不断为用户带来优质的体验。同时，在技术能力的加强方面，OPPO将布局大模型前瞻技术，联合中国科技大学成立的智能计算联合实验室，已将大模型作为核心技术研究方向。同时，OPPO还将开源智能体（Agent）框架，支持智能体的高效孵化、托管与应用。
AI赛道进入全面竞争，AndesGPT会为每个人坚定而来
这一系列的大动作的宣布，也再次印证了当下大模型的全面竞争时代。
发布会先从“智能体验”切入，强调“更有用、更专业、更专属”。比如，跟随ColorOS 14一起发布的全新小布，就内置了丰富的智能体，不同的智能体为用户提供不同的场景体验。
这个思路下，OPPO给出了AndesGPT的目标：为每个人打造有用的大模型及智能体，并且也将开源智能体框架，打造一站式的“智能体开发平台”。
据介绍，AndesGPT有三大类规格：AndesGPT-Tiny、AndesGPT-Turbo 和AndesGPT-Titan，可涵盖十亿至千亿以上多种不同参数规模的模型规格，并根据不同场景智能调度。在AndesGPT的网络架构中，OPPO也提出了两个组合创新：“RoPE 位置编码探索base最优值”——来极⼤提升上下⽂扩展能⼒，还有“GQA 结合复杂移动窗⼝加速训练和推理”—— 来实现 O（Nd）的线性复杂度。
四大核心能力凸显，AndesGPT赋能多个大模型应用场景
AndesGPT将核心能力聚焦在知识、记忆、工具和创作四大方向。
在知识能力上，AndesGPT提供了“融合知识库、知识图谱及通用搜索，提供更专业的问答”的能力，同时也通过“⾃动识别知识依赖模块、准确判别引⼊外部知识实际、引⼊精准召回机制”来将外部知识与模型融合⽣成结果，降低“幻觉”的产生。
在记忆能力上，AndesGPT具备了⻓时记忆机制，可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据，以及从中提取的结构化信息等。为了解决长时记忆引入的首字推理时长的问题，OPPO⾃研了名为SwappedAttention的机制。
这个机制有一定的领先性和原创性，相对PagedAttention，在PagedAttention基础上做了技术的演进和扩展。
比如在首字生成场景，需要对历史序列进行编码计算，当历史序列较长时，容易出现计算瓶颈，表现为首字计算耗时长，并发度低。SwappedAttention可缓存历史KV值，大幅降低首字计算量。并使用GPU显存、主机内存、GDS连接外部存储等多层级缓存方式，根据缓存时长、对话频率等策略进行分级存储与交换。
在实际应用中，如常见的“多轮对话场景“中，随着聊天轮次累积，Prompt越来越长，每个Query的首字时耗越来越长。SwappedAttention可以缓存历史KV值至多级缓存中，有效减少对话时首字推理时间，使得用户获得更快的系统响应。
在“FileChat文档对话场景”中，SwappedAttention可以读取历史计算好的KV值信息，避免长文本的KV值重计算，大量减少计算开销，缩短首字推理时间，并且可以提升首字计算的并发度；在非首字的推理过程中，SwappedAttention可以动态压缩KV值，进一步降低显存占用，提升整体吞吐。
在工具使用上，AndesGPT在训练阶段引⼊代码和⻓⽂本进⾏强化训练，并通过指令构建和微调，提升模型遵循指令的效果。同时还⽀持“系统设置、⼀⽅应⽤、三⽅服务、代码解释器”等各类⼯具。
在创作能力上，除了不断提升的“对话”能力，AndesGPT还具备“文生图、图生图、中国风、高清壁纸”等能力，并且已经全流程支持音乐生成。此前小布刚发布的单曲《专属于你：小布永相伴》，其歌词、旋律、音色等元素均由AndesGPT生成。
笃定端与云的协同，AndesGPT有条不紊地展开大模型未来之路
AndesGPT通过端云协同的设计，来为用户提供智能化服务：端侧解决方案的优势非常明显，能够提升针对任务执⾏、降级应答等场景，提升极端场景下的可⽤性；同时在云端，OPPO同样提供可信的大模型服务，会结合机密计算技术，构建加密、可信通道，充分保障用户隐私。
不久前，OPPO也与联发科宣布“共建轻量化⼤模型端侧部署⽅案”，能够看到OPPO从底层来构建“端云协同、全栈优化”的充分思考和周到考虑，正不断为未来技术发展做好扎实铺垫。
联想到刚刚过去的OPPO Find N3新机发布，几个“天花板”级别的“安全隐私”设计确实让人心动，可见OPPO一直在安全领域下功夫，想必大模型领域的安全可信也会有自己独特的技术积累，为⽤户的数据保驾护航。
不畏蜀道难，“闪着中国AI生态希望之火”的官宣发布
从这次干货满满的发布会可以看出，OPPO做大模型有自己的思考，期望将大模型落到实处、并搭建一个人人可参与的大模型应用生态。大模型之难不仅在“算力、数据、算法”等，搭起来只是完成了一部分，更在如何落地于每个人的“个性化需求”和“便捷可用、可定制”，而智能体的开源便是OPPO找到的关键一环。
也许，OPPO 早早地看到了大模型应用生态不可替代的重要作用，才会以全局化的努力在 AndesGPT 正式发布的当下就明确提出这样一个长期主义的思路。这也将持续成为未来OPPO在大模型发展之路上的底层思考。
与本次一起发布的ColorOS14联系起来看，就会发现，AndesGPT赋能整体 ColorOS⽣态，为OPPO的整体科技化与智能化助力，也已是必然的路径选择。AndesGPT作为驱动OPPO公司AI战略的核⼼引擎，全⾯赋能OPPO智慧终端只是时间问题。
技术之火会因为众人的加入而勃发。也许不远的未来，就能看到一个欣欣向荣的，OPPO与⼴⼤开发者⼀起打造的大模型应⽤⽣态。