当前位置:首页|资讯|腾讯|百度|AIGC

后发而先至的腾讯混元大模型,到底有哪些技术亮点?

作者:鲜枣课堂发布时间:2023-09-12

2023年的夏天已经结束了,但是,围绕AIGC大模型的关注热度,却丝毫没有衰退的意思。


在过去的大半年里,我们亲眼见证了大模型浪潮的崛起,甚至可以说是疯狂。截止7月,国内的大模型数量,已经超过130个。


这些大模型的创造者,既有国有及民营企业,也有大学、科研院所等研究机构。从某种意义上来说,发布大模型,已经成为宣示自身实力的一种方式。


不知道大家有没有注意到,国内互联网大厂百度和阿里,都早早推出了自家的大模型。而身为BAT“三巨头”之一的腾讯,却一直很低调。


几天前,9月7日,在2023腾讯全球数字生态大会上,腾讯自家的通用大语言模型——腾讯混元大模型终于亮相了



为什么腾讯的大模型“不着急”?是他们不重视这场科技浪潮吗?还是说,他们的AI技术不足,在竞争中落后于人?


很显然,这些说法都不对。


ChatGPT是AIGC大模型浪潮的导火线,但是,它并不是大模型的最早开端。


业界对大模型的研究,其实早几年就已经开始了。当时,AIGC并没有这么高的热度。2022年底,ChatGPT横空出世,展现出惊人的自然语言能力,才彻底激发了整个社会对大模型的关注。


正如前面所说,很多企业之所以不惜一切代价搞大模型,完全是为了追逐“风口”。


腾讯集团副总裁蒋杰在采访中介绍:“在腾讯内部,混元已经内测很久了,不是现在第一天才有。”腾讯是国内最早研究大模型的企业之一。2021年,腾讯推出了千亿规模的NLP大模型。2022年,腾讯推出万亿参数的 NLP 稀疏大模型。换言之,他们的大模型研究,是国内领先的。


ChatGPT火了之后,腾讯更加理性地思考了自己的大模型战略,提出了四大灵魂拷问:


1、自己为什么要搞大模型?

2、自己的大模型,要怎么搞?

3、自己的大模型,要搞成什么样?

4、搞出大模型之后,到底怎么用?


在经过审慎思考和激烈讨论之后,他们终于理清了自己的答案,按照自己的节奏,稳步向前推进。


腾讯混元大模型,就是在这样的背景下诞生的。


接下来,我们不妨仔细看看,腾讯混元大模型,究竟是如何解答这四个灵魂之问的。



 问题1:为什么要搞大模型?


今年3月,腾讯总裁兼投资委员会主席刘炽平,在财报电话会议上曾经表示:“AI将成为公司未来业务增长的放大器。生成式AI和基础模型技术可以补充优化腾讯的业务。…… (大模型)将在未来对每个业务线都起到正向补充作用。同时,这也有助于推出新业务。”


他还表示,“我们希望沿着正确的路线踏实前进,不急于求成,先打好基础,再追求新进展,我们的第一款产品将会是多次迭代之后的产品,整个过程将是长期的。”


他的表态,其实已经说明了腾讯对大模型的战略基调——紧密结合自身业务线,稳步推进,长期迭代。


在发布会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生也提到:“大模型需要基于产业场景,与企业数据融合,才能释放出最大的价值。”


也就是说,腾讯不会为了搞大模型而搞大模型。既然要搞,就是冲着实用性去的。


基于这个目标搞出来的混元大模型,是“从实践中来,到实践中去”的实用级大模型。它关注的不是推出速度和评测跑分,而是如何真正与实际场景结合,满足用户的真实需求。



 问题2:大模型,到底该怎么搞?


大模型是一场技术博弈。既然决定要做,就必须做出差异化的竞争优势,找准技术路线。


腾讯混元大模型,最大的特点,就是——全链路自研


行业里现有的很多大模型,都是开源大模型。东西拿来就用,依葫芦画瓢,当然推出速度会快。


蒋杰表示,腾讯是一个海量高并发的业务,开源的架构并不适应腾讯,一定要走出一套基于自主体系的研发之路。唯有自研,才能完全掌握技术内核,将大模型更好地融入到自身的技术栈中。所以,他们走上了更加具有挑战性的自研之路。


腾讯混元大模型从第一个token开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。


算法方面,腾讯在预训练上从零启动训练,优化预训练算法及策略,精调及强化学习,改进注意力机制,并开发了思维链新算法。


机器学习框架方面,腾讯采用的是自主研发的机器学习框架Angel,训练速度相比业界主流框架提升1倍,推理速度比业界主流框架提升1.3倍。


基础设施方面,采用基于云星星海自研服务器的新一代HCC高性能算力集群,搭载了超强算力GPU,性能提升了3倍。


算力集群所基于的网络底座——,具备业界最高的3.2T通信带宽,可以为AI大模型带来10倍通信性能提升。通过自研TiTa协议和自研TCCL通信库,星脉网络可将网络利用率从普通以太网的60%提升到90%以上,极大提高整体集群的算力利用率。


根据验证,腾讯新一代计算集群可以帮助混元NLP大模型训练在同等数据集下,将训练时间由50天缩短到4天。



 问题3:大模型,要搞成什么样?


全链路自研,投入虽然大,但回报也是显著的。


腾讯混元大模型,拥有超千亿参数规模,预训练语料超2万亿tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。


相比于业界已有的大模型,腾讯混元大模型在可靠性和成熟度方面,有巨大的提升。


首先,它可以降低大语言模型的幻觉比例。


使用过大模型的读者都知道,大模型很容易出现“一本正经胡说八道”的问题。也就是说,AI模型生成了不属于现实世界的内容。这就是“幻觉”。“幻觉”是大语言模型每一个厂家都应该面临的重要问题,无论技术做到什么程度,在当前的模型架构下,都无法回避“幻觉”。


针对“幻觉”问题,当前业界普遍的解决方式是采用外挂插件,即给大模型“外挂”一个知识库,使其在推理时进行检索,基于检索结果再进行输出,提高正确率。


这个方式,在遇到复杂任务时,效果有限。


腾讯混元大模型所采取的方式,是在预训练阶段,就通过“探真”算法,进行事实修正。它摆脱了对外挂的依赖,有效降低了复杂任务中的幻觉。


根据测试,经过预训练算法及策略的整体优化后,混元大模型相比其他主流开源大模型,幻觉比例降低了30%-50%。


更多的理性,更少的“胡说八道”


其次,混元大模型的“陷阱”识别能力大幅提升,可以更好地抗拒“诱导”。


人们在使用大模型时,经常会对它进行“调戏”。也就是说,问一些刁钻问题,给大模型设置“陷阱”,得到令人啼笑皆非的答案。


腾讯通过强化学习的方法,让混元大模型学会识别“陷阱”,对“调戏”说不,提升应用的安全性和智能感。根据数据显示,面对安全诱导类问题,混元大模型的拒答率提升了20%。


拒绝“挖坑”


除了上面提到的可靠性改进之外,混元也大幅提升了成熟性。


混元大模型覆盖了短文本和千字级别长文本生成能力。


当前市面上大模型在超长任务处理上很难实现。腾讯通过位置编码优化,提升长文的处理效果和性能,结合指令跟随优化,让产出内容更符合字数要求,从而提升超长文本的生成和续写能力。


在逻辑思考能力上,混元大模型持结合实际场景推理决策。


在大模型训练中,一些团队会让大模型通过“死记硬背”的方式学会中小学的数学题。但是在现实生活中,靠“背题”是不够的,还需要让大模型具备理解上下文的能力。腾讯推出思维链新策略,有效强化模型对问题拆解和分步思考的倾向。


以上这些特性,使得混元大模型在使用体验上和传统大模型有明显区别。它的智能化程度更好,表现更加稳定,更像是一个真正的专家和助手。


在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评了66个能力项。在“模型开发(共测试29个能力项)”和“模型能力(共测试37个能力项)”这两个重要领域的综合评价中,均获得了当前的最高分。



 问题4:混元大模型,到底怎么用?


前面我提到,混元大模型是“从实践中来,到实践中去”的实用级大模型。为了充分发挥混元的实用价值,腾讯率先将自己的众多互联网业务与混元进行结合、落地。


目前,腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等50多个腾讯内部业务和产品,已经接入腾讯混元大模型测试并取得初步效果。


腾讯机器学习平台部副总经理王迪提到,腾讯混元大模型和各个产品的结合,并不是一种强制绑定的关系,而是更关注产品在用户体验上的优化,关注哪些地方可以通过AI提效。



例如,基于混元的腾讯会议AI小助手,可以快速实现会中问答、会议摘要、会议待办项等多种事项。


再例如,基于混元的腾讯文档智能助手功能(内测中),不仅支持数十种文本创作场景,还能生成上百种专业文书规范,以及用自然语言生成数百种Excel公式等。


王迪表示,在将大模型的能力和业务场景结合的过程中,需要做大量的工作,比如怎么把混元大模型的基础指令理解能力、文字总结能力与会议APP里AI的能力和会议内容生成能力结合。如果只是单纯将大模型直接放进去,短期不一定真的能够对业务带来很大的提升。一定是针对业务场景进行专门的优化和提效,才能达到更好的效果。


在混元大模型的研究过程中,其实就已经从腾讯丰富的应用场景中进行了技术积累。场景锻炼了模型,模型反过来服务场景,形成了良性循环。


蒋杰表示,腾讯混元大模型团队关注的首先是做好技术本身,回归本质,做好技术的突破和路径规划。在内部,会把混元所有的能力开放给腾讯所有的业务。


内部业务场景的实践,是为外部服务开放做准备。在发布会上,蒋杰郑重宣布:腾讯混元大模型已正式通过腾讯云对外开放,助力全行业。


混元大模型将作为腾讯云MaaS服务的底座,用户不仅可以直接通过API调用混元,也可以将混元作为基底模型,为不同产业场景构建专属应用。



 结语


腾讯对四大灵魂之问的探索,最终为混元大模型的问世奠定了基础。


正所谓“方向对了,努力才有意义”。腾讯在喧嚣躁动中坚持理性思考,在找准目标后,果断投入,进行艰苦自研。最终,他们拿出了能经受考验的产品,也走出了自己的独特道路。


他们的做法无疑是正确的,也带给整个行业以启示。在百模大战逐渐升级的今天,很多公司都将面对自己的灵魂拷问。


大浪淘沙沙去尽,沙尽之时见真金。唯有那些给出正确答案的大模型,才能笑到最后,成为真正的赢家。



——全文完——


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1