APUS邓小波：场景和数据是下半年AIGC产业链决战的关键因素
风起AIGC
AIGC已经成为我们这个时代新的商业分水岭，引领着内容和创意的“寒武纪大爆发”。无论是前沿科技产业还是整个经济社会格局，都将因此产生巨大的变化。为了让创业者更好地拥抱这个时代，创业黑马将以中国AIGC第一服务平台为己任，通过走访多位业内知名企业家、投资人、专家学者和创业实践者，从软硬件平台视角、投资人视角、行业应用视角等维度进行系列报道，共话大模型时代新机会，展现产业新力量。本篇为第13篇。
本期的分享嘉宾是APUS联合创始人邓小波。APUS（麒麟合盛网络技术股份有限公司）成立于2014年6月，是一家以产品技术为核心竞争力的全球化移动互联网公司。依托自主研发的技术体系，APUS面向全球用户推出APUS Launcher、APUS Browser等上百款产品，用户遍布全球200多个国家和地区,覆盖25种语言,总用户量超24亿。2023年APUS全面转型AI，并于今年4月APUS正式发布了天燕大模型AiLMe。为了满足更具体、细分的应用场景，基于天燕大模型AiLMe，APUS还推出了文本模型“异雀八”、图像模型“异雀三”、视频模型“异雀四”、音频模型“异雀六”四个垂直领域精炼模型，并研发出智能问答大师、简笔成画、墨染等 7 款 AI 消费端产品。
在7月25日的黑马AIGC主题系列直播第三季中，邓小波围绕《大模型创新赋能行业应用》主题进行了分享，分析大模型的本质特征及其将给世界带来的改变，对大模型训练的技术路线、产品应用、关键要素和未来产业结构进行了深入探讨，并分享了APUS在大模型开发及应用中的经验。
以下为本次直播实录整理：
非常荣幸能在黑马平台上，分享APUS关于大模型及其在行业应用方面的思考。我们今天能来到这里，首先是因为去年10月份以来人工智能和大模型技术取得了关键突破，ChatGPT的横空出世，让人们看到了通用大模型的智慧化能力。通过这种“智慧涌现”，它的智能达到了接近人类的水平。从此，研究人工智能不再是少数专业人士的工作，而成为大家都关心的热门话题。
01
大模型的本质
首先，我想简单地谈一下什么是人工智能，大模型的本质是什么？
实际上，说到人工智能，就无法绕过机器学习这一概念。自从上世纪50年代电子计算机逐渐推广应用以后，大家一直在研究如何用计算机处理语言和相关问题，帮助我们在各行各业中实现智能化决策以及预测。过去，多数计算模型都是基于参数规模较小的判决式算法，是一些“小模型”。但是最后发现，基于大量数据和海量算力的机器学习方法，是一条相对更容易的实现路径。
基于海量训练数据和大参数规模神经网络的大模型输出的语言或文字，能够更好地满足用户问答或各种场景需求，从而将人工智能的能力应用到自动驾驶、智能助理等各行各业。
这很有可能成为整个人类社会的第四次科技革命，其影响力甚至超越了互联网出现。我们可以看到，第一次和第二次科技革命，无论是蒸汽时代还是电气时代，更多解决的是如何提高执行系统的效率问题，让机器取代人，以提高生产效率；到了第三次科技革命，信息时代更多地提升了我们的感知能力，收集许多信息并上传，通过快速传递数据，实现信息更透明、可信，并引领商业化的进步；而在人工智能时代，我们想解决的问题是能否让最后的决策数字化并联网，这样就能形成从感知到决策，再到执行的完整闭环，从而极大地推动整个产业，甚至整个社会的进步。
实际上，我们判断这可能是未来30-50年间最大的技术浪潮，是唯一一个可以同电力革命相媲美的技术革命。正因为如此，在国内现在已经有一百多家企业在做大模型，更多的企业也在观望如何参与其中。
那么，大模型的本质是什么？为什么它会有如此巨大的影响力？实际上，大模型是人类历史上第一次将所有的知识浓缩到一个模型里。巨大的参数量，形成了足够大的神经网络，能够包容全世界所有的知识和信息，不但包括人类图书馆中的书籍、论文等，甚至可能包括在多模态下收集的各种图片和视频信息，这样它就可以更好地利用数据进行智能决策。
过去的人工智能“小模型”，比如阿尔法狗、人脸识别算法等，解决了局部领域或专业行业中的问题，而且效果还不错，但它们更多地是从局部的知识中学习，快速获得范式或相关内容。由于缺乏足够的常识，当需要跨出专业领域，与其他系统进行对接，或者与其他人进行交互时，会遇到许多瓶颈。
而大模型由于参数规模足够大，具有了人类的常识，会出现智能涌现现象，例如In-context Learning上下文学习，CoT知识链推理。这意味着机器具备了像人一样举一反三的能力，虽然有些知识我们可能没有教过它，但是它可以处理相关问题。这就是大模型与小模型的第一个不同之处。
而且，大模型和小模型在商业化范式上也会有所不同。对于小模型来说，每个场景可能都需要单独训练，遇到不同场景，还要重新开始训练，每次训练需要付出对应的成本，这样成本一直不会降低；而对于大模型来说，建设基础通用大模型的初始投入可能会比较大，但它精炼行业模型并应用到千行百业中的边际成本相对比较低，是一种用固定成本取代边际成本的商业范式，应用越广平均成本越低，让人工智能产业有了更大的盈利可能。
当年互联网最性感的地方，就在于增加新用户时，它的边际成本相对较低，大模型也是如此。当我们拓展新的领域时，它本身的边际成本也相对较低。
此外，大模型出现了特有的“智能涌现”的现象。这种现象在百亿以上参数后才会出现，小模型中很难出现“智能涌现”。这有点类似于人类中出现贝多芬和爱因斯坦这样的天才的情况，你无法预测哪个环节会出现贝多芬或爱因斯坦，但是如果我们的参数规模达到百亿以上，并进行相对较好的数据训练，大概率会出现“智能涌现”和精准预测的效果。
02
大模型训练的
技术路线和未来产业架构
未来，大模型或者说通用人工智能将会应用于许多领域，不仅能实现对话，还能处理任务拆解、调度，甚至与线下系统进行交互。大模型一定会成为未来AI时代的“操作系统”，在它上面会生成很多应用，承载无数应用场景，为人类生活和生产提供赋能。
大模型一旦形成代差，将有可能是另一个“芯片时刻”。
以国内为例，目前我们的大模型实际上是落后的，这是一件相当可怕的事。因为大模型不但可以自己写代码，还可以帮助设计芯片，由芯片生成的算力增长会加速。通过模型训练，会形成一个快速训练的飞轮。一旦这个飞轮形成，我们想追赶国际上一流的水平，可能会更加困难。今天我国虽然有上百家企业参与大模型研发，其中真正做通用大模型的企业可能不多。我们希望有更多企业能参与其中，避免以后出现卡脖子的状态。
根据我们的经验，训练一个大模型，在技术路线上分为三个阶段：
在最初阶段，追求的是大参数，也就是说模型需要有足够大的容量，就像我们人类一样，要有足够多的脑细胞来承载知识。
在第二阶段，我们发现大型训练数据集比大参数更加重要，只有大型训练数据集才能获得更好的训练效果。
最近，我们进一步研究发现，更精准和清洁的数据、更加实时的数据，可能会取得更好的训练效果。
实际上，大参数就相当于大模型的底盘，大底盘能承载更多理论知识，但最终并不能决定这个模型的优劣。以Google为例，曾推出过一个5,400亿参数的大模型PaLM，但实际上评测效果反而不如ChatGPT 1,750亿参数的模型，这也引发了行业内很多反思。
大模型的成长也有成熟期，到了成熟期，当拥有了基础参数和一定的规模能力以后，大脑的聪明程度更多取决于神经网络的发展。当参数规模扩大后，如果其吸收能力无法满足训练数据的规模增长，也无法达到理想效果。国外的一些理论研究表明，使用20倍以上参数规模的数据去训练的时候，效果会比较好。
通用大模型预训练阶段，采用的数据基本上是无标注的，海量原始数据可能存在不精准或互相矛盾等问题，从而影响到最终训练效果。需要在后续的微调过程中，通过提升数据质量来进行输出对齐，使其更精准、更实时、更有效，让大模型的输出效果变得更好。
除了选择技术路线之外，大模型训练还有四大要素——场景、数据、算法、算力。许多专家都会提到后面三个要素，但是在我们看来，场景一个是非常重要的要素。
在算法层面，对于一些大型企业来说，大家的差异并不大，主要集中在框架中的神经网络层数、参数规模、token维数、学习率等许多细节方面。
今年上半年，大家都在关注如何购买足够的算力，为未来的大规模计算做战略储备。我们预测，在今年下半年之后，人们会意识到最终决定应用效果的最重要因素仍是大模型本身的性能效果，而影响其性能效果的关键是训练数据。
在大模型应用层面，将需要更多的行业内专业人员来对数据进行整理和输出，以便更好地与行业数据对齐，从而达到期望的效果。与此同时，大模型开发者也需要更快地与场景和行业结合，以获取更好的行业数据进行模型训练，不断迭代服务，实现数据飞轮的运转。
因此，我们认为，下半年场景和数据可能是大模型企业或相关产业链条中决战的关键因素。大模型谁最终能跑得好，主要取决于谁能拥有更好的数据和更多应用场景。
一个大模型在训练结束后，在教会大模型掌握全人类的知识和常识后，还要让它学会在不同行业中的话术，进行沟通交流，让专业人员更好地理解和适应它——我们称之为“对齐”。
“对齐”实际上包括很多方面，既包括知识对齐，也包括法律法规和价值观对齐。在运行过程中也可能存在一些矛盾，比如需要人员去帮助它了解哪些观点是正确的，以及如何将话术转化为让客户更能接受或喜闻乐见的内容等等。
在行业应用中，模型本身并不创造任何价值，它只是在技术上的储备，只有在行业“对齐”并输出后，帮助行业赋能，实现产业升级，才能创造价值。
未来的人工智能大模型产业架构，可以与城市生态做类比：
算力是一种资源，相当于土地，需要我们投入真金白银购买、租用或生产。
大模型相当于基建，可以与专利结合起来，形成有用的数据资产。就像土地开发一样，单纯土地的价值可能不大，但完成基建建设后，土地才可能会变成有价值的地产。
在大模型之上，会提炼出各行各业的行业模型和精炼大模型，就像在城市基建基础上，开发出各种不同的商业和住宅。
在不同的商业和住宅区，还会形成不同的社区生态，大模型应用中同样也会实现不同的产业应用生态，供不同的终端用户或客户使用。
这就是整个人工智能大模型产业的架构。
在这里，我们可以看到两个关键点：1）行业模型在确定性和控制性方面可能比普通消费者使用的模型要求更高；2）对于消费者来说，更多的模型需要创新和开放，以生成更多新内容。两者的侧重点可能略有不同。实际上，在大模型开发中，这是一种能力的体现，你需要有侧重点，以达到最终的生态要求。
03
APUS的努力和尝试
APUS公司是一家以产品技术为核心竞争力的全球化移动互联网公司。创始人李涛先生曾在360工作，他看好海外用户的市场潜力，希望能将我们的技术传递到不同国家，为全球每个用户都能享受科技带来的美好生活而努力。
目前我们的用户遍布全球200多个国家和地区,覆盖全球25种语言,总用户量超24亿，特别是覆盖一带一路沿线65个国家和地区，该地区用户占APUS全球用户的69%，欧美市场用户量占APUS全球用户量的20%。
APUS在人工智能领域的尝试相对较早，2018年10月份就开始面向海外推出一些人工智能产品，最初主要是相机和图像编辑类产品，引入了智能抠图、年龄变化召唤、漫画和人脸融合等一系列功能，产品受到了很多用户的喜欢，获得了千万级别持续优化的使用结果。然而，在小模型阶段，总体应用成本较高，很多产品实际上利润率较低，这是之前国内人工智能都面临的一个现实问题，因为如果企业无法盈利，会很难投入精力去完成更多任务。正是基于此，我们一直在思考如何提升自身的人工智能能力，并与现实商业结合。
当看到ChatGPT问世以后，我们迅速发现了它背后的威力。自去年12月开始，公司全面转向人工智能，并研发AiLMe大模型，中文叫天燕大模型。这是一个千亿级别的多模态通用大模型，于今年4月18日第一次对外发布。如果我没记错的话，我们应该是国内第四或者第五个发布大模型的公司。
天燕大模型具有多模态能力，即在语言能力基础上，通过语义理解和内容生成，可以理解和输出其他模态形式，如图像、音频和视频等。语言大模型让我们拥有了文字识别能力，音视频等输入输出能力，则让我们像人一样，有了眼睛，有了嘴巴，能够更好地表达，同时也能处理和判断世界上的更多数据。
在UC伯克利的英文文本评测中，如果GPT 4默认为100分，AiLMe的英文输出大约能达到90分，与chatGPT英文测评分数基本持平，这很大程度得利于APUS多年海外数据的积累。中文语料全球占比不足3%，且公开中文语料中娱乐内容较多，高质量中文语料数据缺失，AiLMe中文评分在80分左右，与其他国内几个头部大厂基本上都处于同一档位。
当然GPT4当裁判来评测，更多是采用西方标准，在某些中西方共识不一致的问题上，国产大模型的中文输出也会被一定程度误判。因此，未来一定会出现中国国产的权威中文评测体系。目前，上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型综合性考试评测集C-Eval相对比较权威，AiLMe天燕大模型7月首次参评，目前排在全球第四的水平。在复杂逻辑推理、数学、物理公式等领域，我们的分数位列全球榜首，这是因为我们提供了更多科研数据集供大模型学习。
AiLMe天燕大模型也是全球首家官网开放文本问答、图像识别和图像生成能力进行公测的大模型。图像识别和图像生成能力，以及通过Plugin获取实时信息和数据，已经被用户用于朋友圈、小红书文案生成等场景。大家都可以通过官网地址https://apusai.com来申请使用，主要能力API也已经开放给开发者用于二次开发。公司内部员工也利用AiLMe天燕大模型来进行产品语言翻译、设计创意和代码生成，大大提高了APUS产品在不同国家的产品落地和本地化效率。
除了面向普通用户的应用，在行业应用层面，我们也可通过与产业伙伴合作，利用我们的AI能力和他们对行业知识的理解，共同训练出一系列行业大模型，如医疗大模型、交通运输大模型和金融大模型等。
以医疗为例，我们现在就在为一家合作伙伴提供智能诊疗场景解决方案。在网络就诊过程中，当患者询问真实医生时，往往会发现医生们平时都很忙，一方面在出诊过程中很难回复问题；另一方面，很多时候一次问答并不能清楚地描述关于病情的所有信息，患者在提出问题后，医生很难快速做出回答。
目前，通过我们训练的医疗大模型，在智能诊疗平台上，针对基础健康、医疗类用药知识等问询，我们已经可以提供一些诊疗方案。我们发现，通过储备医疗知识，大模型可以达到三甲医院专科大夫的水平，这对解决例如常见病处理、用药禁忌等简单问题有很大帮助，从而缓解医疗资源不足或不均衡的问题。
我们也希望能够与更多伙伴合作，让我们的大模型有更多用武之地，共同实现产业的数字化升级和智能化迭代。
扫码加入黑马创业者交流群
↓↓↓
扫描下方二维码
加入黑马AIGC产业营
读懂AIGC底层逻辑，一步接入产业未来
↓↓↓
点击底部分享、赞和在看，完成三连击，把好的内容传递给更多需要的人。
更多精彩内容，尽在i黑马视频号
↓↓↓
关注黑马传播矩阵，get更多精彩内容
↓↓↓