当前位置:首页|资讯|清华|人工智能

清华大学教授孙茂松:理解大模型机理建立AI新理论

作者:澎湃新闻发布时间:2023-07-27

原标题:清华大学教授孙茂松:理解大模型机理建立AI新理论

·只有搞清楚大模型的机理,才有可能克服现有人工智能大模型的局限性,超越现有大模型,建立下一代人工智能理论和模型。

·人工智能最前沿之争就是人才的竞争,顶尖高手决定了人工智能的高度,广泛的应用决定了人工智能的广度。

古诗词中,哪一诗句和唐代杜甫《绝句》中的“一行白鹭上青天”最接近?大模型的回答是宋代《野景》中的“白鹭一行登碧霄”。

清华大学人工智能研究院教授、欧洲人文和自然科学院外籍院士孙茂松。

7月25日,清华大学人工智能研究院教授、欧洲人文和自然科学院外籍院士孙茂松表示,上述这类根据现有文本分析、不生成新文本的理解类大模型不存在“幻觉”。但像ChatGPT这样生成类的大模型,对话需要与事实对齐,这还要付出很大的努力,也是目前的研究热点。

他表示,当前业界对于ChatGPT的举一反三还处于“知其然,不知其所以然”的阶段,只有搞清楚大模型的机理,才有可能克服现有人工智能大模型的局限性,超越现有大模型,建立下一代人工智能理论和模型。而人工智能最前沿之争就是人才的竞争,顶尖高手决定了人工智能的高度,广泛的应用决定了人工智能的广度。

理解大模型机理,才能克服局限建立下一代AI理论

人们常常忽略语言的重要性,因为语言自然得就像空气一样。但只有人类才有语言能力,语言的地位极其重要。而ChatGPT的出现让机器也有了语言对话的能力,孙茂松说,这是5000年未有之变局,也会催生一系列新应用。

但对于ChatGPT,“现在是知其然,不知其所以然。OpenAI开发出了这样的现象,但为何会产生智能涌现这样的现象还说不清。现在人工智能领域的大公司、大机构都在拼命往前跑,把大模型效果做得更好,还没有时间停下来深刻地思考大模型的机理。”孙茂松表示,这就像蒸汽机带来了工业革命,但直到大约100年后在热力学三定律之下才解释清楚。

大模型里的元素事关数学,当前大模型的参数到了万亿级,应用数学家从来没有解过如此大的方程组,并且大模型涉及到的数学问题与经典数学完全不同,这为理解大模型机理带来了挑战。但孙茂松认为,只有搞清楚大模型的机理,才有可能克服现有人工智能大模型的局限性,超越现有大模型,建立下一代人工智能理论和模型。而这不会再像蒸汽机那样需要100年才能理解机理,他相信三五年时间就能突破大模型的机理研究。

语料利用处于粗放阶段,减少大模型幻觉是研究热点

目前大模型的语料利用还处于粗放阶段,仅仅是从互联网上抓取语料,还没有涉及网页中的超链接和图片处理、文本结构的识别与利用等。孙茂松表示,“大模型写短文可以写得很好,但写长文、短篇小说不行,它没有办法保持大逻辑流畅、人物角色连贯。因为大模型就是对下一个词的预测,预测得再好,它对语料的利用还是有深刻的不足。”

除此之外,孙茂松表示,要对语料质量保持足够关注,剔除语言不通顺的语料、计算机生成的语料,利用质量好的语料。但水至清则无鱼,越纯的语料可能导致多样性损失,例如喂给大模型的都是“高大上的语料”,大模型就看不懂带有表情符号的语料。因此要追求平衡,根据应用判断什么是好的语料。

大模型存在“幻觉”,常常一本正经地“胡说八道”。但孙茂松表示,“幻觉”是能力强的表现,是创新的源泉。大模型分为生成模型和理解模型,前者如ChatGPT,孙茂松说,以前要让计算机通顺地说话是做不到的,因为词与词的组合关系复杂。现在做到了通顺,但并不意味着所说的话是正确的,语义层、语用层都需要和现实世界对齐。“比如机器回答在上海城隍庙吃了上海小笼包和上海烤鸭,从语言角度来看,这都没有问题。哪个更符合事实,它就不知道了,这就需要人介入进来。”孙茂松表示,大模型的对话需要与事实对齐,这还要付出很大的努力,也是目前的研究热点。

对于后者,模型根据现有文本进行分析,不生成新的文本,只理解不说话,就不存在“幻觉”。利用这种理解模型,打通语料,让机器自主学习,就可以依靠模型查询相似诗句,例如哪一诗句和杜甫《绝句》中的“一行白鹭上青天”最接近?大模型的回答是宋代《野景》中的“白鹭一行登碧霄”,这就是大模型所擅长的。

AI最前沿之争是人才的竞争,顶尖高手决定高度

这一波人工智能浪潮起于2010年,彼时学术界和工业界都在开足马力研究,积累了充分的经验,ChatGPT的出现为人工智能点了一把火。孙茂松表示,国内的“百模大战”并非贬义,而是实力的象征。未来通用大模型支撑垂直模型的开发,绝大多数从业者将不会把主要精力放在基础模型上,而是面向行业应用开发垂直模型。

但在通用大模型方面,“我们确实在跟跑,跟领跑者的差距很明显。这半年我们把差距缩小了,但没有质的变化。”孙茂松表示,在ChatGPT之前,国内的大模型研究和国外相比差半个肩位,ChatGPT出现后甩开100米,这半年追了几十米,但在关键性能上还有差距。如果能够研究透彻大模型的机理,就可能棋高一着。

无论是模型还是应用,都离不开硬件厂商或云服务商,算力目前是最稀缺的资源。启明创投发布的《生成式AI》报告显示,GPU的性能实际上决定了这个新兴行业的步调,但从长期来看,人才对人工智能未来的影响超过算力。

孙茂松同样认为,人工智能最前沿之争就是人才的竞争,顶尖高手决定了人工智能的高度,广泛的应用决定了人工智能的广度。人工智能的发展需要一流的人才,这些人才除了具备顶尖的能力,还要有远大的科学理想、敏锐的洞察力和对技术的激情。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1