“
随着大模型已成为 AI 产业发展的主导力量,一场学术界和 OpenAI 之间的思辨已经开始。
本文字数5283,阅读时长约18分钟
文|林志佳
编辑|李小年
作为连续举办五届的重要学术性会议,智源大会已经有超过500位顶尖专家参与。今年则包括图灵奖得主 Geoffrey Hinton,“图灵奖”得主、“深度学习三巨头”之一的杨立昆(Yann LeCun),OpenAI CEO萨姆·奥尔特曼(Sam Altman),中国科学院张钹院士等 AI 领域重磅人士,共议人工智能前沿与热点话题。
6月10日,奥尔特曼在中国首次演讲,大谈 AI 风险与未来通用 AI 发展模式,直言为了弄清楚通用 AI 技术,OpenAI必须要推进 AI 研究变革。
但是,AI 学术界却并不完全认同奥尔特曼的说法。加州伯克利分校教授斯图尔特·罗素(Stuart Russell)现场低头修改 PPT,完全没有在看奥尔特曼,甚至演讲中抨击OpenAI研发的ChatGPT和GPT-4没有在“回答”问题,它们不理解世界,也不是一个通用 AI 的发展步骤。
杨立昆则反击GPT,认为这种自回归模型根本不行,没有规划、推理的能力,随着文本数据越大错误率更高,AI 的下一步应该是世界级模型。他预测,未来5年内,没有脑子正常的人会接着用自回归LLM(大型语言模型),GPT系统将很快被抛弃。
随着大模型已成为 AI 产业发展的主导力量,一场学术界和 OpenAI 之间的思辨已经开始。
01
Sam Altman:
十年内可能就有非常强大的AI系统
我们要立刻做好准备
随着ChatGPT风靡全球,ChatGPT之父、OpenAI联合创始人、CEO奥尔特曼(Sam Altman)的一举一动也引发关注。
近期奥尔特曼在做「全球巡回讲演」,到访了阿联酋、印度和韩国等五大洲近20个国家,会面政界和商界领袖,频频释放OpenAI将不会IPO上市、AI就像原子弹一样需要监管规范、投资韩国初创公司等重要信息,展示出 OpenAI 与政府合作的诚意。
此次智源大会AI安全与对齐论坛上,奥尔特曼发表了开场演讲和参与一场对话,总时长约40分钟。这也是自ChatGPT爆火之后,奥尔特曼在中国的首次公开演讲。
奥尔特曼表示,这次世界巡演他会见了学生、开发者和国家元首,这次旅行激励了他,因为已经看到世界各地的人们已经在使用 AI 技术,并且从用户那里得到反馈,而且有机会与各国对于 AI 安全监管进行有意义的对话,这对于确保日益强大、安全可靠的 AI 系统部署很重要。
他认为,全球大部分注意力集中在当今 AI 问题上,“鉴于我们已经取得的进展,我相信我们将实现这一目标。”而他希望谈谈未来。
具体来说,奥尔特曼提到,我们现在正见证一场 AI 革命,因此需要将把负责任的 AI 技术引入世界。他强调,十年内世界可能就有非常强大的AI系统。
“想象一下,在全球下一个十年里,通用 AI 系统或许具有 10 万行二进制代码,几乎在每个领域都超越了人类的专业知识。这些系统最终可能会超过我们最大公司的集体生产力。AI 革命将创造共享财富,并使大幅提高每个人的生活水平成为可能,但为了实现这一目标,我们必须共同管理风险。”奥尔特曼称。
他强调,通用 AI 将从根本上改变我们文明的强大力量,有意义的国际合作和协调非常必要,每个人都会从合作治理方法中受益。如果我们安全、负责任地驾驭这条道路,AGI系统可以为全球经济创造无与伦比的经济繁荣,解决气候变化和全球健康安全等共同挑战,并提高社会福祉。
对于国际合作,在安全部署人工智能(AI)方面建立全球信任,奥尔特曼提出三种方式:可扩展的监督、可解释性、泛化(概括)的 AI。
奥尔特曼认为,人类不太可能发现一些恶意模型是否在做一些邪恶的事情。所以他正在投资一些新的、互补的研究方向,希望能够实现突破。
而可扩展的监督是尝试使用 AI 系统来协助人类发现其他系统缺陷,而解释能力是用GPT-4解释GPT-2神经元,虽然还有很长的路要走,但OpenAI 相信机器学习技术可进一步提高 AI 可解释能力。
奥尔特曼强调,最终目标是,训练 AI 系统来帮助对齐研究本身,因为未来的模型变得越来越智能,越来越有帮助,从而更好的实现通用 AI 这个目标优势,同时降低 AI 风险安全。
“我们看到了美国、中国和世界各地的研究人员合作实现 AI 目标的巨大潜力,大家都致力于解决通用 AI 技术挑战。我相信我们将能够利用通用 AI 来解决世界上最重要的问题,并显著改善人类的生活质量。”奥尔特曼在演讲结尾表示。
随后智源研究院理事长张宏江博士对话奥尔特曼。
张宏江抛出了一些关于 AI 安全的关键问题,而奥尔特曼现场透露了关于 AI 安全、开源计划以及是否会短期内有GPT-5等信息,钛媒体App梳理出其中回答的几个关键内容:
奥尔特曼认为,在10年内全球将可能拥有一个强大的 AI 系统,我们要立刻做好准备。
在世界巡回之后,奥尔特曼发现,人们非常认真地对待通用 AI 的风险和机遇。他直言,全球合作总是困难的,但这是一种机遇,AI 确实让世界走到了一起,他可以为系统提出一个框架和安全标准。奥尔特曼强调,我们必须设计公平、具有代表性和包容性的 AI 系统。
他特别引用了老子《道德经》中的话:千里之行,始于足下。他认为,当下可以迈出的最有建设性的一步,是国际科技界间的通力合作。
奥尔特曼在对话中赞扬,中国拥有一些世界上最优秀的 AI 人才。考虑到解决 AI 系统对齐的困难需要来自世界各地最好的头脑,所以他真的希望,中国的 AI 研究人员能够在 AI 风险方面做出巨大的贡献。
下一步,OpenAI 对于强大 AI 大模型的技术重点是训练,而且他准备在全球建立一套数据库,以反映全球 AI 的价值观和偏好,以及开发表格来分享 AI 安全研究。
当张宏江提问:OpenAI会开源大模型吗?奥尔特曼表示,我们未来会有更多开源,但没有具体模型和时间表。
当被问及通用AI和大模型的下一步是什么?会很快看到GPT-5吗?奥尔特曼表示,我也很好奇,我们没有答案。我们不会很快有GPT-5。
对于为什么要发展OpenAI,奥尔特曼表示,当开始做OpenAI 的时候,我们认为成功的可能性很低。但如果要弄清楚如何构建AGI,OpenAI要推进 AI 变革。当然,作为其中的一部分,OpenAI必须确保安全,但对社会的好处是巨大的。“我真的相信这(AGI)将是社会所建立的最具变革性的东西。
奥尔特曼会后还发推文对这次受邀演讲表示感谢。
不过有趣的是,在奥尔特曼演讲期间,下一位演讲者加州伯克利分校教授、计算机科学家斯图尔特·罗素(Stuart Russell)低头修改 PPT,完全没有在看奥尔特曼。
他甚至在演讲时直言:通用人工智能(AGI)还没达到,大语言模型只是其中一块拼图,我们连拼图最终会是什么样子,缺哪些还不确定。他表示,ChatGPT和GPT-4没有在“回答”问题,它们不理解世界。
这一定程度上似乎能说明 AI 学术界对于奥尔特曼这种“打太极”观点的认同程度。
02
杨立昆对战Max Tegmark:
到底应乐观发展 AI 还是加强控制?
除了奥尔特曼,6月9日智源大会上还有一场比较精彩的演讲,凌晨4点在法国连线的“图灵奖”得主、“深度学习三巨头”之一、Meta首席人工智能(AI)科学家杨立昆(Yann LeCun),以及未来生命研究所创始人、知名的物理学家和 AI 科学家Max Tegmark的演讲和对话交流,共谈 AI 风险与挑战。
杨立昆认为,我们应该乐观发展人工智能,现在远没到紧张的时候。但TegMark则直言,现在就要加强管控 AI 技术。
在演讲中,杨立昆拿出了反击GPT的逻辑:自回归模型根本不行,因为它们没有规划,推理的能力。单纯根据概率生成自回归的大语言模型从本质上根本解决不了幻觉,错误的问题。在输入文本增大的时候,错误的几率也会成指数增加。
那想要通向通用人工智能(AGI)的话,人工智能的下一步在哪里呢?
杨立昆给出的答案是世界模型。一个不光是在神经水平上模仿人脑的模型,而是在认知模块上也完全贴合人脑分区的世界模型。它与大语言模型最大的差别在于可以有规划和预测能力(世界模型),成本核算能力(成本模块)。
杨立昆认为,通过世界模型,它可以真正的理解这个世界,并预测和规划未来。通过成本核算模块,结合一个简单的需求(一定按照最节约行动成本的逻辑去规划未来),它就可以杜绝一切潜在的毒害和不可靠性。不过,对于世界模型如何学习,杨立昆只给了一些规划性的想法,比如还是采用自监督模型去训练,一定要建立多层级的思维模式。他也承认之前并没有深度学习的训练做到了这些,也没人知道怎么做。
而Tegmark在现场直接表示,我们需要组织开发一个超级智能 AI,进行有效管理,可能会面临全新风险,安全使用 AI,而非仅仅追求速度。
“现在,我们面临的问题是,我们真的能控制人工智能吗?我认为答案是肯定的,但是我们需要对其进行更多、更全面的研究。”Tegmark认为,如果人工智能更接近生命3.0,我们可以做更多的事情,而不是在太空中的这个小旋转球上进行愚蠢的战斗。
当被问及评价 AI 治理水平时,Tegmark赞扬,目前为止,中国在监管人工智能方面做得最多,欧洲排在第二位,美国排在第三位。他认为这是一件好事。“我认为我们可以做得更好。”
对于人类的焦虑,Tegmark表示,经济和就业市场的变化会越来越快,如果你在基础知识方面很强,并且非常善于创造性的开放思维,你就可以灵活地随波逐流。
03
智源悟道3.0开源
大模型评测体系上线
作为邀请到奥尔特曼以及多位图灵奖得主的大会主办方,北京智源人工智能研究院(以下简称“智源研究院”,BAAI)也在今年智源大会上展示中国 AI 大模型的最新实力与进展。
6月9日开幕式上,智源研究院公布最新开源的“悟道3.0”系列大模型,包括发布首个支持中英双语知识、开源商用许可的“悟道·天鹰(Aquila)”语言大模型系列,提供“能力-任务-指标”三维评测框架的“天秤(FlagEval)”大模型评测体系,力求打造大模型时代“新Linux”生态的FlagOpen大模型开源技术体系,以及6项“悟道·视界”视觉大模型研究成果。
会后,智源研究院院长黄铁军教授对钛媒体App表示,目前大模型的主要制约点是国内训练的都太小、行业太热,现在百亿模型刚开始有涌现能力。虽然中间也都有一些技术能力,但智能水平上肯定还有差距。重复性发力,发得越多反而发散资源。
黄铁军认为,随着国内大模型行业的发展,未来能够存活的大模型生态合理数量为3个左右。而今天的大模型都是技术迭代的一个中间产品。
黄铁军强调,大模型已成为AI产业发展的主导力量,而“悟道3.0”迈向全面开源、崭新阶段。作为在通用 AI 方向一直努力的机构,智源研究院希望未来做更多的支撑性工作贡献独特力量。
“我们智源学者开启了大模型的探索,率先组建了大模型的研究团队,成为今天中国大模型学习研究的主力。我们率先预见 AI 大模型时代到来。”黄铁军在演讲中表示。
2021年6月,智源研究院正式对外发布超大规模、万亿级智能模型“悟道2.0”,同时,基于“悟道2.0”诞生的中国首个原创虚拟学生“华智冰”在北京正式亮相。据悉,悟道2.0参数规模达1.75万亿,是AI模型GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录。
尽管现场没有公开悟道3.0参数量级,但黄铁军告诉钛媒体App,此次悟道3.0参数量低于悟道2.0 1.75万亿,他强调,重点不是参数量,而更多在视频、语音方面应用和体系建设。
具体来说,据黄铁军介绍,Aquila基础模型提供了70亿、330亿参数的两个版本,以及基于这两个版本的对话模型AquilaChat。黄铁军称,通过架构优化和高质量的中英双语预训练数据集,该模型以更少的数据、更短的训练时间,获得更优的模型性能,该模型训练效率较Meta AI开源的LLaMA模型提升24%。
一同发布的还有文本生成代码模型AquilaCode-7B,同样支持中英双语,训练参数为70亿。而AquilaChat则具备很强的对话能力,并具备可扩展的特殊指令规范,令用户可以实现多任务、工具的嵌入,例如嵌入智源研究院此前和图文模型Stable Diffusion合作开发的AltDiffusion,以实现多语言下的图片生成功能。
“我们现在做的就是类似Linux的事情,Linux不是某个企业的开源生态,Linux是大家的,”黄铁军对钛媒体App等表示,现在大模型还处于技术发展的早期,过早关注商业化会制约技术发展,他呼吁产业界投入到大模型基础设施的生态建设上。他强调,大模型是一种通用的能力。
智源研究院副院长兼总工程师林咏华告诉钛媒体App,智源比较靠近学和研,接下来他们希望利用评测、研究、建议等方式建立一个可迭代、回环、充满自动流程的“大模型的生产线”,才能高效处理数据清洗、模型训练、自动评测。她认为,大模型很关键的决定技术能否落到产业,尤其是形成高质量的大模型。
“另外,从我的感受来说,需要有追求极致的工匠精神来打造大模型。”林咏华表示。
黄铁军在6月9日的另一场分论坛上表示,大模型产业很难形成垄断,需要搭建共建产业闭环。从长远来看,大模型只是标签,而不是产品、一家公司的工具,所以整个大模型开源开放生态是必然的。
黄铁军强调,未来语言类大模型会继续发展,能力越来越强。但更重要的是,未来1-3年内,视觉类大模型在自动驾驶、机器人等领域也会有巨大的新的技术突破。而更长远发展是实现真正的通用 AI 技术。
近期话题,点击阅读