Key Points
人脑中每个神经元内部可能还有我们尚未观测到的更复杂的子结构,比如单个突触本身就能完成XOR(异或)计算;
天工AI根据外界对Q*的猜想做了模型实例,验证表明它能使得7B小模型在推理能力上接近甚至超越参数量大几十倍的模型;
天工AI的策略是「先有钉子再找榔头」,与OpenAI相反;
天工AI面向国内市场的产品重点是用户量,而面向海外的产品更注重验证商业模式的可行性。
本文转载自《第一财经|新皮层》,作者何昕晔,原标题《对话昆仑万维颜水成:我倾向于选择产品驱动技术的公司,而不是反过来》。
2023年9月1日,昆仑万维正式宣布,AI领域国际顶尖学者颜水成已确认加入公司,担任昆仑万维及天工智能首席科学家。在此之前,颜水成以访问首席科学家的身份在智源研究院访学半年,外界对其去向有诸多猜测。
昆仑万维表示,颜水成将推动公司在新加坡、伦敦和硅谷三地建立2050全球研究中心。作为一家成立于2008年的公司,昆仑万维以游戏研发和全球发行业务起家,海外市场贡献了公司超八成的营收。在生成式AI领域,昆仑万维是国内的先行者之一,在2020年就开始涉足大模型领域。
目前,昆仑万维已成为中国大模型产业中布局最全面的公司之一,除了自研基座模型,昆仑十分注重模型的产品化落地。2023年4月,昆仑万维推出了首个自研大语言模型「天工」,8月推出了国内首款AI搜索引擎「天工AI搜索」。目前,昆仑万维的AI产品线已经覆盖了AI搜索、AI游戏、AI音乐等多个领域。
颜水成加入昆仑万维前,在机器学习、计算机视觉和多媒体等领域有丰富的成果积累。除了新加坡工程院院士,他还当选AAAI Fellow、ACM Fellow、IEEE Fellow和IAPR Fellow,八次入选「汤森路透全球高被引学者」。颜水成的本科、硕士与博士均就读于北京大学,随后前往香港中文大学汤晓鸥教授的多媒体实验室任博士后,从事人脸识别的相关研究。之后又赴美国UIUC跟随黄煦涛教授继续博士后研究。
2007年,颜水成加入新加坡国立大学,创立了机器学习与计算机视觉实验室。2015年,颜水成进入工业界,担任360集团副总裁、人工智能研究院院长和首席科学家。2019年,他加入依图科技,担任首席技术官。2021年,他返回新加坡加入Sea集团,创立Sea AI Lab。
以下是新皮层与颜水成的对话,他谈到了大模型时代在学界和业界做研究的区别,强调了大模型的发展产生了「研究即产品、研究即系统」的特点,因此对于初创公司而言,「先有钉子再找榔头」的策略非常重要。此外,他对于AGI发展的终极形态也有与众不同的看法,他去年曾认为多模态是最终形态,但今年他看法又有了进一步拓展,认为AGI的最终形态不是一个模型,而是由多种模型、软件共同组成的超级智能体。
昆仑万维首席科学家颜水成
大模型时代,学界和业界相比没有太大优势
新皮层:昆仑万维的2050全球研究院是在什么背景下成立的?
颜水成:在我加入昆仑万维之前,周总(周亚辉)就已经有了成立2050全球研究院的想法。2050这个名称源于库兹威尔的《奇点临近》一书,其中提到AGI(通用人工智能)的实现临界点可能在2049年。研究院希望能在人工智能领域跨越这个临界,所以起名「2050」。
众所周知,Transformer相关论文的发布推动了大模型领域的发展,2050研究院的成立也和此背景相关。在大模型时代,底层创新成为技术突破的关键,除了工程人员,做原创技术攻坚人员必不可少。我在工业界和学术界分别有八年的经验,在工业界包括依图、360和Sea集团,我都是在研究院性质的组织就职。
新皮层:2050研究院目前有多大规模?是怎样的组织方式?
颜水成:研究院目前还在早期成长阶段。我一直强调,研究、研发和产品需要打通。整个公司以6个大模型为核心,是连通研究、研发和产品团队的纽带。
研究院的工作以大模型为核心,每个员工都要链接到一个大模型上。我们的原则是从大模型出发,解决从产品中来的问题或者瞄准落地到大模型中去,同时允许一定比例的自由探索。
新皮层:产品这部分,是指天工AI吗?
颜水成:天工AI是昆仑万维集团旗下子公司,研究院和6个大模型的研究都在天工AI的架构内。昆仑万维的业务主要分为三部分:海外信息分发与元宇宙业务、AGI与AIGC业务、投资业务。AGI与AIGC的部分就是天工AI。研究院与天工AI是紧密结合在一起的。
新皮层:6个大模型具体是哪6个?
颜水成:我们6个大模型分为3个部分:语言大模型和多模态大模型;音乐大模型和语音大模型;视频大模型和3D大模型。其中,多模态大模型还包括图像大模型。
新皮层:在企业研究院和在学校做科研有什么不同?研究院在公司中扮演什么角色?
颜水成:在企业研究院和学校做科研有较大差别。学校科研的主要目标是发顶会顶刊论文,而企业科研目标是主要在于对具体业务有贡献。
此外,学界和业界目前在资源方面有较大差距,学校实验室的学生可能只能用几张卡,而公司研究人员可以用十几张甚至几十张卡,所以能处理更多数据和训练更大模型。这也是目前企业更容易做出好成果的原因。
此外,企业研究人员一般是成熟的PhD,选题更有前瞻性。这部分人员在企业做研究会更有成就感,因为资源足够,成果质量也更高。现在很多毕业生相较于留在学校,更愿意去企业,因为能将理论研究与应用场景结合。
新皮层:最近一年,很多学术界大牛重新回到企业。如果选择留在学术圈,还能得到什么呢?
颜水成:在大模型领域,学校和企业相比没有太多优势。但一些值得研究的方向仍存在,比如可信人工智能(Trustworthy AI)等AI伦理和道德问题。此外,学界还可以探索超出当前大模型的方法,比如香港科技大学的马毅教授就在探索基于白盒CRATE架构的系统等领域,尝试不同于主流的方法。总体来说,当前在工业界做研究的成就感更高,能用大量的卡跑出结果,这还是一件很让人兴奋的事。
新皮层:你决定加入昆仑万维,这个决策背后的考量是什么?你如何看待昆仑万维在AI领域的布局和潜力?
颜水成:我认为有几个关键点。首先,我在多个公司从事过AI相关的研究工作,我认为合理的布局至关重要。我更倾向于选择用产品引领技术研究和研发的公司,因为这样成功的概率更大。在我加入之前,昆仑万维已经有了产品矩阵,包括搜索、音乐、游戏、社交等。这些产品当时已经有产品原型或者已经面向用户发布,而不是先研究技术再找应用场景。这种「先有钉子再找榔头」的策略非常重要。
其次,昆仑万维86%的营收来自海外,这与我的背景更契合。我个人在新加坡有过多年的工作经历,所以对海外业务更熟悉。
此外,昆仑万维的创始人周亚辉在投资领域眼光独到,经常能投出一些看似不合理但最终非常成功的项目,这一点也吸引了我。
总的来说,昆仑万维有成型的产品闭环模式,公司不会与OpenAI这样的巨头直接竞争模型质量,而是通过产品推动技术和模型的发展。
新皮层:你提到昆仑万维的产品主要面向海外,这一点为什么很重要?面向国外市场和国内市场的AI产品有什么不同?
颜水成:这一拨AI的发展中,美国是毋庸置疑第一名,中国等国家更多是跟随者。作为跟随者,我认为在东南亚和非洲等市场成功的概率更大。比如我的上一家公司Sea就是在东南亚市场取得了成功,它的策略就是跟随阿里等国内电商公司。
昆仑万维在海外市场已经积累了充足的经验。比如在东南亚做产品,有一个特点是多语种环境,这种经验是很多其他公司不具备的。目前昆仑万维在发展中国家的市场具有先发优势。
新皮层:你去年9月加入昆仑万维,目前融入得如何?和之前的公司相比有什么不同?
颜水成:公司的氛围很务实,加入以后也融入得很顺利。在昆仑万维,大模型的发展有「研究即产品、研究即系统」的特点,研究的对象可以直接与产品功能或系统结合。在大模型时代,这一特点尤其重要。在以前的O2O时代,系统和商业模式的重要性更高,而现在AI产品的核心是模型。模型做出来后,转化为产品所需的人力规模比以前小很多。在大模型时代,少数几个人就能创造一家独角兽公司。
新皮层:你认为这是一个新的趋势,还是技术发展处于早期而呈现出的阶段特点?
颜水成:我认为这种趋势会持续。少数几个人拥有大量算力和明确的场景数据,利用现有的基础设施,就可以研发出有特点的模型。尤其是垂类模型,部署相对容易,没有太多复杂的前后端开发需求。大模型时代的创业特点是技术更靠前,更小型且垂直化,技术发挥的效果更大。
新皮层:小公司在这种趋势下是否更有优势?大公司的优势会被削弱吗?
颜水成:在各种通用场景中,大公司更有优势,原因在于拥有云服务的大公司在提供API时,可以用低于成本的价格提供服务,再通过其云计算和存储产品的利润来弥补。这种策略使得没有云产品的创业公司在竞争中处于劣势。
但在垂直领域,小公司和大公司的表现可能区别不大。垂直领域可能会涌现很多创业公司,因为这些市场对于大公司没有太大吸引力,但对小公司来说,十亿美元的市场已足够大。有了优质的数据,加上具备更加灵活的特点,小公司在特定领域做垂类模型的优势可能比大公司更大。
超级智能体可能是AGI的最终形态
新皮层:昆仑万维董事长兼CEO方汉总在之前采访中提到,文本模型是整个模型的底座,你怎么看待语言大模型在AGI中的意义?
颜水成:我非常赞同方总的观点。我一直在思考AGI的终局形态。我自己本身是研究多模态的,去年我还是认为多模态是AGI的最终形态,但今年我开始认为,超级智能体可能是AGI的最终形态。
要通向AGI,主要是希望它能无限接近人,而人最大的特点就是有意识。人的意识是什么以及意识是如何产生的,当前的研究对于这样的问题的探索还远远不够。
心理学和脑科学领域有研究认为,人脑分成两个系统:系统一和系统二。系统一是指语言模型或单个的基础模型,里面存在处理视觉、听觉、触觉等各类信息的子系统;系统二是一种全球工作空间模型(global workspace model),类似导演的角色,会决定哪些系统的信号会被处理,同时访问人的记忆和自我认知。在这个过程中,特定的计算区域和模块会被动态地调用到这个工作空间,以完成推理。推理的结果再通过类似广播的形式,传递给各个子系统,指导它们执行相应的任务。
从这个角度来看,要让AI具备人类的意识,就需要构建一个超级智能体,它拥有记忆,能够调用多个作为子系统的基础模型,能够利用各种工具推理。
之所以说语言模型是AGI的底座,是因为语言在超级智能体中扮演着重要角色。研究发现,语言是不同子系统之间进行交流的通用媒介,其他模态的信息需要通过分析后嵌入到语言这个基础中,才能进行推理。
新皮层:你去年认为AGI的终局是多模态,今年为何改变看法?
颜水成:多模态的确是AGI的一个重要维度,但我现在倾向于认为,AGI的选择机制和记忆提取功能更重要,并且这种功能可能独立于基础模型之外,所以需要一个超级智能体来调度。
新皮层:这种思路和MOE(混合专家模型)有何区别?
颜水成:MOE强调模型内部有多个专家模型,它们的结构一样但参数不同。我们还没有把这种专家机制推广到任意的工具或记忆。超级智能体有选择和激活的机制,但这个机制可能不是简单的MOE中的门控函数(Gating function),而是更复杂的机制。
新皮层:你和清华大学心理与认知科学系主任、智源首席科学家刘嘉在2020年的一次讨论中提到了AI的发展。一方面是增加神经元和参数的规模,另一方面是反过来理解其他生物更为简单的神经元系统,目前这方面的研究有何进展?
颜水成:我们在这方面的认知确实有了一些进展。我们之前就讨论过,原始神经网络模型可能过于简化了人脑的工作机制。有一篇重要的论文指出,人脑中神经元上的突触实际上具备XOR(异或)计算功能。这意味着,如果两个信号同时增强,合并后的信号反而可能减弱。这种现象在传统的线性神经元模型中是无法解释的。
所以,我们不能简单地将人脑中的神经元数量与机器学习中的参数数量等同起来。人脑中的每个神经元内部可能还有我们尚未观测到的更复杂的子结构,神经元的结构远比我们之前认为的要复杂得多。
我和团队曾发表过题为《Network in network》(网络中的网络)的论文,它意味着在一个网络的节点上,可能还存在着另一个网络。
新皮层:这种发现对现在的研究有何启发?
颜水成:这种复杂性引发了很多突触学习(synaptic learning)的相关研究。目前,这些研究在小规模数据上有效,但在大规模验证中还没有充分证明其可行性。尽管目前还面临着挑战,但这些生物学的发现至少为我们提供了坚实的基础和证据。
大多数中国公司忽略了模型优化器
新皮层:你最近发布的两项工作成果,Vitron视觉多模态大语言模型和Q*算法。能否谈谈这两个模型的研究初衷,以及它们在未来AGI框架中的作用?
颜水成:Vitron是一个视觉多模态大模型。我们希望通过一个统一的模型处理所有多模态的任务,包括图像和视频的理解与生成。这个模型实现的思路是将不同模态的输入转换为类似语言的Token,统一处理并生成输出。这是一个初步的尝试,距离产品化还有一段距离,但我们证明了这种方法的可行性。
新皮层:你提到的Vitron与OpenAI的Sora模型有何异同?
颜水成:Vitron处理图像和视频的理解与生成任务,理解包括识别物体和位置等,生成任务则是从文字生成图像或视频,或编辑图像和视频。相比之下,Sora更专注于从文字生成视频这一种方式。
新皮层:Q*算法是如何工作的?
颜水成:去年有消息称,OpenAI正在研发神秘模型Q*,有猜想指出,这个模型由Q-learning和A*搜索算法两部分组成,但是这个想法一直没人去实现。几个月之前,我们团队决定根据Q*的定义猜想去尝试把这个模型的实例给做出来。我们在数学推理和代码生成任务中验证了它的效果,能使得Llama 2这样的7B小模型在推理能力上接近甚至超越了参数量大几十倍的模型。
Q*现在并不是一个独立的模型,而是一种优化现有模型的方法。传统的模型输出是基于贪心算法,即每次选择当前概率最高的token进行预测。这种方法只考虑了局部最优,而不是整体最优。
相比之下,Q*通过引入Q-learning机制,优化了模型的预测过程。它不是简单地选择当前概率最高的token,而是考虑整个序列的累积概率,选择能使整体概率最大化的路径。具体来说,Q*算法会学习一个新的Q函数,帮助模型在每一步选择不仅当前概率高,而且从整体上看能最大化整个序列概率的token。在这个过程中,算法的每一步都考虑整个路径的综合概率,而不是仅仅看下一步的局部概率。通过这种方式,Q*能够提升模型在复杂推理任务中的表现,使其不仅仅是局部最优,而是达到全局最优。
新皮层:Q*算法会应用到昆仑万维的产品中吗?
颜水成:这个项目还在研究阶段,我们正在尝试多种实现方法。未来成熟后,我们可能会将其应用于产品中。
新皮层:你在美国和新加坡都学习和工作过。相比之下,你怎么看国内目前生成式AI的发展状况?
颜水成:国内的AI发展非常不错。总体来说,美国依然领先,但国内在中文能力方面比美国更强。新加坡则因为国家较小,更关注AI的安全性和可信度,以及针对东南亚地区的本地化语言模型。
中国在生成式AI方面的机会很多,但存在市场竞争过于激烈的问题。价格战可能导致技术和商业模式的价值被削弱,使得本来肥沃的土地变得贫瘠。我比较担心当年CV四小龙的一些场景会在大模型时代重演,但是现在看来好像没办法避免。
新皮层:除了竞争激烈外,国内生成式AI的发展与美国相比如何?
颜水成:在需要几千块卡(注:指GPU)就能完成的任务上,中国有优势。但在需要数万块卡的高端应用上,中国和美国比可能会落后。例如,视频生成任务中,中国可以快速赶上,但在像GPT-5这样需要大量算力的项目上,中国可能会落后。
新皮层:国内目前没有哪家公司有这么多算力资源,对吗?
颜水成:据我所知是没有的。目前大多数国内公司都没有达到一万块卡以上的算力系统。而在美国,像英伟达、OpenAI、Google、Meta和微软等公司都有这种级别的资源,这可能会导致技术发展的代差。
新皮层:最近OpenAI的CTO提到博士级的AI可能要一年半后才发布,这是否意味着中国还有机会赶上?
颜水成:这听起来是个利好消息,好像表明美国的AGI发展没那么快,但可能也意味着下一代的AI模型对数据和算力的要求更高,中国有可能完全追不上。
GPT-5和Sora存在明显差异。关于GPT-5的具体模型结构和创新点,外界知之甚少,很多信息并未公开。
有传言称,OpenAI使用的优化器可能比市场上其他优化器要高效得多。在中国,大多数公司似乎没有投入精力去研究和开发自己的优化器,而是采用了标准的优化器。这可能导致性能上的差距,比如在使用相同数量的计算资源时,其他公司可能需要更多的硬件才能达到OpenAI的性能水平。昆仑在这方面还是有所投入,投入了时间和资源进行优化器的创新,实现了大约1.25到1.5倍的性能提升。
新皮层:国内公司在达到GPT-4的水平上还是有信心的,但在你看来,在GPT-5或未来的技术上,中美差距会拉大吗?
颜水成:如果算力问题不解决,差距肯定会拉大。我们不可能在算力上比别人低十倍的情况下还能跑得比别人快。另外,美国公司可能已经有比GPT-4更强的模型,只是还没有发布。等到我们赶上,他们可能会发布新的版本,差距会再次拉大。
新皮层:LeCun认为,语言模型并不是AGI的基础,并且提出了自己的世界模型理论,你能否评价一下这个说法?
颜水成:我认为实践是检验真理的唯一标准。如果一个模型的思路比其他更优,就应该实际构建并测试其效果。就目前来看,我认为语言模型实现的效果还是更好的。
尽管从理论上看,LeCun的框架模型可能更先进,但要真正在实际任务中发挥价值,模型的学习效果以及学习后的推理效率等问题还需要时间来验证。长期来看,LeCun的理论将非常有价值,可能更适合解决推理等技术问题。然而,在短期内,我认为业界可能仍会认为语言模型是核心。就像虽然量子计算机理论上会比GPU更强大,但目前它们还无法解决一般的AI问题。
新皮层:你在之前一个采访中提到,13B大小的模型在推理成本和效果之间的平衡点,您是如何得到这个临界点的?
颜水成:我们是通过一条衡量推理所需的算力与评测分数的曲线来看的。在曲线上可以看出,13B模型在精度和成本上能达到一个平衡点,特别是结合MOE模型后,激活参数减少,对于学术界来说,这个规模的模型所需的算力也能够跟得上。未来7B模型可能也在可接受范围内。
面向国内和海外的AI产品我们都有,但商业化策略不同
新皮层:昆仑万维是一家主要做to C的公司,在AI时代做C端的产品,市场的需求点和之前的有不同吗?
颜水成:需求点确实有所不同。以前的需求主要集中在从线下到线上的转移,比如人们各类日常生活基本需求的线上化。而这一拨AI最大的需求点在于更好地表达自己。用户可以通过简单的文字描述或草图生成高质量的内容,如图像、音频、视频等。AI能够帮助用户将粗糙的创意转化为专业的内容,从而产生商业价值。这种创作形式的转变是非常显著的。
新皮层:昆仑万维目前的AI产品包括AI搜索、AI游戏、AI音乐等,未来公司在产品方面的策略是什么?是探索新的领域还是在现有领域上深耕?
颜水成:我们的AI应用已经覆盖了市场上的主要领域,包括AI搜索、AI音乐、AI社交、AI视频、AI游戏等,这些产品基本上已经涵盖了我们能想到的大部分场景,会是我们重点发力的产品。
在短期内,产品的商业化策略无外乎两个方向:一种是通过满足用户的核心需求,在获取大量用户后通过广告等形式实现商业变现;另一种是在产品初期就考虑其付费的可能性,即考虑买量成本和日常运维所需的GPU成本是否能与用户的付费相平衡。
这个时代的产品策略与互联网时代有所不同。之前产品的边际成本很低,一旦产品发布,复制成本几乎为零。但AI产品的情况则不同,其边际成本相对较高,为了服务一个客户,每天需要真金白银地付出成本。这可能会推动整个社会从免费时代逐渐转向付费。
新皮层:所以这种「羊毛出在猪身上」的策略不再可行了吗?
颜水成:目前大家仍在探索,不过AI时代的商业变现路径应该是与传统互联网完全不同了,目前几大主要玩家都在认真思考最合理的商业变现手段。
虽然技术和芯片的迭代可能会降低成本,但AI产品的边际成本仍然较高,不可能像以前的互联网时代那么低。这意味着产品必须具备用户付费的意愿,特别是在中国市场,这一点尤为重要。中国用户付费理念的建立仍然需要时间。
新皮层:昆仑万维在国内外市场推出的产品,定位有不同吗?
颜水成:是的。比如我们的AI搜索主要面向国内市场,重点是用户量。而一些面向海外的产品,更注重商业模式的可行性,因为海外用户更容易接受付费。相比之下,海外用户的付费意愿较强,许多海外模型产品都能实现稳定的付费收入。
新皮层:所以是国内的产品更看重增长,国外的产品更看重回报?
颜水成:目前阶段是这个策略。
新皮层:AI搜索产品为什么不在海外市场推出呢?像Perplexity这样的公司,他们的产品在海外不也取得了不错的收入吗?
颜水成:海外市场已经存在一些非常强大的竞争对手,比如Perplexity。要在海外市场取得成功,需要提供一些具有差异化的产品。
新皮层:昆仑万维的天工AI智能体平台上已经有近百万个智能体,这些智能体能做什么?他们和未来的超级智能体有什么关系?
颜水成:关于什么是智能体这个问题,目前在定义上还是比较模糊的。天工AI平台上的智能体可以被认为是智能的实体化表现,具有人格化的定义,类似于角色扮演。它们分为两种类型:一种是具有特定功能的,如画画、做PPT、创作等;另一种是根据特定角色定义的,如教师、医生等,是把通用的基础模型变成更加具象化的专家。可以利用检索增强生成(RAG)技术,来让回答更加贴近他们的个性和风格。
新皮层:它跟我们想象的那种超级智能体好像并不是一回事。
颜水成:我认为目前还不算。天工平台上的智能体更像是将一个通用的基础模型(foundation model)转变为一个更加特定化、更易于人类理解、更具体化的实体。这种转变让它变得更为狭窄,你可以认为这个智能体是在一个更垂直、更细分的领域里的专家。但对于超级智能体来说,目前的基础模型能力还不够,它需要整合更多的元素和能力,才能完成所有任务。
新皮层:昆仑万维提出的「all in AIGC和AGI」这两个目标有什么不同?会冲突吗?
颜水成:在当前阶段是没有冲突的。AIGC是通向AGI的一条路径,更容易让用户理解我们在做的事情。以前大家认为强化学习是通向AGI的路径,现在则认为AIGC是技术路径。AIGC代表了我们当前的工作重心,但AGI是我们更长期的目标。
大脑可以通过反思或辩论获得新语料,我们想研究大模型是否也可以
新皮层:昆仑万维目前在超级智能体方面有何布局?
颜水成:天工App其实就是一个准超级App了。它整合了聊天和搜索两大入口,同时涵盖了图像生成、音乐生成、PPT生成等多种功能。特别是在聊天场景下,天工的Agent版本能够根据问题智能调用不同的基础模型。昆仑万维目前是在把天工App当作是超级智能体的总入口,同时也在各垂直领域中进一步开发产品。
新皮层:您觉得未来的入口是聊天,还是搜索?
颜水成:我认为聊天更有可能成为主要入口。搜索实际上只是聊天的一种具体形式。例如,像GPT这样的系统,它的搜索功能实际上是嵌入在聊天过程中的。决定何时调用网络搜索,何时调用图像生成,何时调用PPT生成等功能,都是在聊天的闭环中进行的。
新皮层:你觉得这一拨昆仑万维的机会在模型层还是应用层?
颜水成:通用大模型可能会越来越集中在头部公司,各个垂直领域则会涌现出很多独角兽。昆仑万维目前应该吃好垂域的红利,如音乐生成、游戏、社交等,但同时也要瞄准基础大模型,兼顾模型层和应用层。
新皮层:在上一拨技术浪潮中,前沿技术最后变成了几乎每个人都拥有的基础设施。你认为在这一拨技术发展中,未来,各大公司的产品是否会在模型层面变得趋同,不再有明显的竞争差异?
颜水成:我认为尽管基础模型的能力经常被讨论,但模型在产品化的过程中,其最终效果还是取决于与场景的融合程度。GPT模型能够不断进步的原因在于,用户持续使用并生成大量数据,这些数据使模型变得更加强大。
昆仑万维的思路也是类似的,将模型和产品相互捆绑。最终大家竞争的不是模型本身有多强大,而是模型与产品的数据迭代如何服务于特定场景。模型的优劣并不由公开的互联网数据决定,而是由业务产生的数据决定。用户的回流数据对模型的提升至关重要。
新皮层:用户反馈真的有那么重要吗?用户其实可以通过点赞或点踩来优化模型,这种反馈机制会形成强壁垒吗?会不会很容易被竞争对手学习?
颜水成:不容易学,因为没有数据。
新皮层:这个是否有点类似于移动互联网早期的推荐算法,随着时间的推移,各家算法的差异逐渐缩小,那么这种反馈机制是否也会如此?
颜水成:算法的逻辑或本质维度可能没有太大差别,随着时间推移,处理问题的Know-how会越来越接近,但每家的产品是不同的。例如,我们有自己的搜索引擎和大模型来服务用户,而其他公司可能使用别人的搜索引擎加自己的大模型,这样获取的数据本质上就会有很大差别。而且场景也有很多不同,例如小红书的场景和搜索引擎、电商的场景完全不一样,喂给模型的数据也不同,最终会从通用模型变成专用模型。
新皮层:目前看来,市面上的智能助手,如智谱、Kimi、天工等,功能似乎都差不多。
颜水成:针对同一人群的服务应用肯定会有一些相似性。但大模型服务的领域千差万别,会在通用模型基础上发展出具有特色的模型。目前市面上的聊天服务很多都是免费的,反馈数据可能也相似,最终决定成败的,除了技术实力和产品能力,还有拓展客户的资金实力。
新皮层:你之前提到过「baby learning」的概念,强调未来计算要摆脱对标签数据的依赖。你现在还在推进这方面的研究吗?
颜水成:现在的「baby learning」的概念与过去有所不同,这个概念已经进入一个新的阶段。「baby learning」的核心是让模型自我学习,但采取的路径和方式与过去不同。
最初,我们认为儿童能从极少的样本中学习基本概念,并具有举一反三的能力。他们的学习过程涉及通过观察和推理不断更新对概念的理解。
但现在,我认为一个重要的研究方向是,在所有数据资源都耗尽的情况下,模型如何自我提升。一种可能的情况是,当没有新信息可用时,大脑可能会通过自我反思产生新的语料,这些语料反过来可以提升模型的性能,另一个角度是通过与其他模型的讨论和辩论,实现自我提升。
新皮层:华为推出了910B这样的芯片,传言称其性能正在逐渐接近英伟达的A100。不知道昆仑万维是否与华为有过合作?你认为这些芯片未来能否解决国内算力短缺的问题?
颜水成:我认为这是一条可能的路径。但目前来说,华为芯片的产能有限,其供应量与市场上主流的GPU资源相比,差距还是很大。同时,华为的芯片还需要时间去适应生态,比如将原有的训练模型迁移到这个平台上,需要一个迁移和适应的过程,我知道国内一些地方已经有了较大的集群,比如高文教授的鹏城实验室。
往期推荐
01
昆仑万维方汉受邀参加2024中国互联网大会
02
2024ACM TURC|昆仑万维颜水成:超级智能体,AGI的终极形式?
03
昆仑万维与蓝色光标达成战略合作
04
昆仑万维与统信软件建立生态合作伙伴关系
05
中国电信与昆仑万维等联合发布星辰MaaS平台
06
昆仑万维宣布天工AI每日活跃用户(DAU)超过100 万