全球AI行业：从Chat-GPT看生成式人工智能AIGC产业机遇与落地场景
Chat-GPT的出现以及中短期内的产业化落地将会为从用户创作UGC）到AI创作AIGC）的转型提供关键的辅助支持。Chat-GPT的成功证明了Transformer模型并非陷入困境，不断的AI技术方法上的新突破正驱动全球AI产业进入加速发展阶段，叠加AI产业集群效应的不断凸显，AI产业有望成为全球科技领域中期最具投资价值的产业赛道之一。AI产业有望继续保持“芯片+算力基础设施+AI框架&算法库+应用场景”的稳定产业价值链结构，拥有完整数据闭环结构、良好数据自处理能力的企业有望持续成为受益者。
报告缘起
Chat-GPT自推出以来表现优异，展现出了相比于前代更好的对话能力与上下文的逻辑一致性。OpenAI团队最新公布的语言模型Chat-GPT于现今年11月30日向社区发布测试，并立即收到了良好的反馈。从测试反馈的结果看，相比于前一代的GPT-3，Chat-GPT以对话为载体，可以回答多种多样的日常问题，对于多轮对话历史的记忆能力和篇幅增强。与GPT-3等大模型相比，Chat-GPT回答更全面，可以多角度全方位进行回答和阐述，相较以往的大模型，知识被挖掘得更充分。此外，ChatGPT增加了过滤处理机制以解决AI伦理问题，针对不适当的提问和请求，它可以做出拒绝和“圆滑”的回复。
Chat-GPT的强势”出圈”成为了对人工智能中短期内的产业化方向一系列探索的催化剂。从对Chat-GPT的测试结果来看，Chat-GPT开始能在大范围、细粒度问题上给出普遍稳妥的答案，并根据上下文形成有一定的逻辑性的创造性回答。它降低了人类学习成本和节省时间成本，可以满足人类大部分日常需求，比如快速为人类改写确定目标的文字、大篇幅续写和生成小说、快速定位代码的bug等。这些小功能在中短期内有望快速被初创公司产业化，以极低的成本表现出比此前更优越的性能。本篇报告就将从Chat-GPT背后的技术逻辑出发，分析本轮人工智能浪潮可能的产业化方向。
技术逻辑：基于人类反馈学习进行额外训练，给出Transformer未来的发展方向
Chat-GPT继承了Instruct-GPT基于GPT-3之上的创新，即人类反馈强化学习与奖励模型取得了良好的效果。OpenAI团队从GPT-3.5系列中的一个模型进行微调，使用与InstructGPT相同的方法，人类反馈强化学习RLHF）训练该模型，并对数据收集设置相对做了优化。从此前公布的兄弟模型Instruct-GPT的论文来看，Chat-GPT的模型构建主要分为三部分：
1）使用有监督学习方式，基于GPT3.5微调训练一个初始模型，训练数据约为2w~3w量级根据兄弟模型InstructGPT的训练数据量级估算）。OpenAI请来了约40人的标注师团队，由标注师分别扮演用户和聊天机器人，产生人工精标的多轮对话数据。这种标注的训练数据虽然数据量不大，但质量和多样性非常高，且都是来自真实世界数据。
2）随后模型随机抽取一大批Prompt，使用第一阶段微调模型，产生多个不同回答。标注人员对这些个结果排序，并按照个人的对回答完成度的偏好形成训练数据对。之后使用pairwiseloss来训练奖励模型，可以预测出标注者更喜欢哪个输出，在不断比较中给出相对精确的奖励值。这一步使得Chat-GPT从命令驱动转向了意图驱动。在这个过程中训练数据不需过多，维持在万量级即可。因为它不需要穷尽所有的问题，只要告诉模型人类的喜好，强化模型意图驱动的能力就行。
3）使用PPO强化学习策略来微调第一阶段的模型。随机抽取新的Prompt，用第二阶段的RewardModel给产生的回答打分。这个分数即回答的整体reward，进而将此reward回传，由此产生的策略梯度可以更新PPO模型参数。整个过程迭代数次直到模型收敛。PPO模型可以在多个训练步骤实现小批量的更新，其实现简单、易于理解、性能稳定、能同时处理离散/连续动作空间问题、利于大规模训练。
Chat-GPT成功使用小训练样本完成了与GPT-3相当甚至更好的效果，突显数据质量的重要性。Chat-GPT的兄弟模型InstructGPT仅仅使用了精选的13亿参数对比GPT-3的千亿级别参数）就完成了与GPT-3结果相当甚至更好的回复质量。从论文给出的四个数据集测试可以看出，在其中两个数据集InstructGPT就完成了明显超越GPT-3回复质量的结果。因此，我们推测InstructGPT的兄弟模型Chat-GPT也使用了小量级的数据样本取得了如此出色的结果Chat-GPT不同于InstructGPT建立于GPT-3.5系列的一个模型上，数据量应大于InstructGPT但仍小于GPT-3，处于百亿级别）。Chat-GPT的成功向我们展现了目前我们所看到的Transformer模型们的潜力尚未被完全开发，如何更好的精选优质数据将成为下一步的课题之一。
Chat-GPT的成功，是在前期大量坚实的工作基础上实现的，不是横空出世的技术跨越。这些进步主要来自于数学层面上的优化带来的结果匹配精准度提高，而并非算法真正为AI带来了创造性与完整的逻辑性，也不是能够从训练的数据中学习到新的知识。它在“解锁”unlock）和挖掘GPT3学到的海量数据中的知识和能力，但这些仅通过快速的In-context的方式较难获得。InstuctGPT找到了一种面向主观任务来挖掘GPT3强大语言能力的方式。因此从这样的底层技术逻辑出发，我们能迅速找到中短期内适合Chat-GPT的产业化方向：一个真正全方位的智能内容生成助手。
产业影响：成本下降+高质量数据加速底层应用落地
回顾过去近十年间AI产业链的发展史，我们可以简单分为以下几个阶段：
1.小模型2015年前）
AI擅长特定领域的分析任务如语义理解等），但通用型任务的完成情况很差。硬件算力不够导致重新训练成本过高；数据来源过于稀少难以提升到更高精确度，整体表达能力与人类相差较远。
2.大模型2015-现今年）
Transformer模型的出现，使得文字、语音、图像识别、语言理解等领域达到了超越人类的水平，但同时也极大得增加了模型的体积，只有拥有强大算力支撑的科技巨头才有能力训练Transformer模型。
3.兼顾经济性与可使用性现今-2024年）
Chat-GPT的成功证明了两点：1）单纯扩大模型参数并非唯一出路；2）让模型在早期开放给大众测试并收集人类反馈数据更有利于模型迭代。之前两个阶段，人工智能的进展更多体现在基于规模的技术突破，如2015-2020年，用于模型训练的计算量增长了6个数量级，同时随着规模的增大，输出结果的质量亦迎来质变，在语言文字、书写、图像识别等领域皆表现出超越人类的水平。
但在实用层面，由于所需要的算力巨大，往往需要特殊的GPU配置，同时训练过程相对封闭，大多数人并无法使用，因此技术无法被多数人触达。而人工智能的第三个阶段，随着更新的技术、更优的算法、更大的模型出现，算力的成本越来越低，使得模型训练与运行所需成本持续下降，而算法从封闭测试到开放测试、开源的逐渐普及，亦降低了使用门槛。由此人工智能无论在经济性与可获得性上都达到了支持普及的水平。
4.模型开放、快速迭代2024以后）
得益于AIGC基础设施可获得性的逐步提高，平台层变得更加稳固，算力成本持续下探，模型逐渐趋于开源与免费，应用层爆发式发展的节点正在靠近。正如GPS技术的普及打开了导航市场，我们认为AIGC整体产业链从底层硬件到中层技术再到产品思维的成熟正在催生新的杀手级应用。
应用场景：实现UGC到AIGC的助推器
Chat-GPT的出现所带来的内容生成能力将会为当今从用户创作UGC）到AI创作AIGC）的转型提供关键的辅助支持。目前我们正经历从Web2.0开始向Web3.0转型的启航阶段，在过去五年我们已经看到内容创造从专业创作PFC）转型为了用户创作UGC）。
在UGC阶段，随着消费者定制化需求越来越高，消费者本身亦参与内容的生产，并伴随着互联网的兴起，智能手机的普及，YouTube、Facebook等平台涌现，UGC成为了内容生产的主流模式。而在不远的将来，AI协助内容生成AIUGC）与AI创作AIGC）将为我们提供更低的创作门槛以及更丰富的创作思路。在这两个阶段中。内容生产主体从人类本身开始向人工智能迁移，主要区别体现在内容的生产效率、知识图谱的多样性以及提供更加动态且可交互的内容上。人脑只能基于自己的知识图谱进行少数方向的信息处理，而AI能从更庞大的知识体系中进行多个方向的处理，进而提供更多的创作思路。Gartner预计，到2025年，生成式人工智能将占所有生成数据的10%。
结合Chat-GPT的底层技术逻辑，我们认为Chat-GPT中短期内产业化的方向主要分为四大板块：
1）Chat-GPT对于文字模态的AIGC应用具有重要意义，在归纳性的文字类工作中展现出了极其优异的表现。其中在Chat-GPT的帮助下，传统的文字类工作中的一些方向会涉及到交互的全面改革，比如机器翻译不再是传统的文本输入->实时翻译，而是随时以助手问答的形式出现。甚至给出一个大概笼统的中文意思，让机器给出对应英文。中短期内Chat-GPT能在办公辅助类工具中迅速落地，例如会议总结、文件翻译、例行报告等，提升办公效率并节省人力成本。目前已有的初创公司如Jasper，主打文字生成相关服务，于现今年10月19日宣布完成1.25亿美元的A轮融资，估值达到15亿美元。该公司针对不同应用场景提供不同类型的服务，如社交媒体、广告、文章、邮件等不同类型的文字生成。
2）代码开发相关的工作更加规整也非常适合AI辅助生成。2021年中与Github、微软合作上线的Copilot是目前最成熟的AI代码补全工具，根据Github数据，测试一年来已有120万用户，这些用户编写的代码中40%是由Copilot自动生成，而截至现今年10月，Copilot已经融资2200万美元。Chat-GPT在目前测试中表现出的代码生成能力相比于Copilot更加灵活，可以独立完成一些小功能的编写，但综合看目前版本的Chat-GPT自代码生成中欠缺一些底层的稳定性。在进行针对性的优化后，基于新GPT模型的AI代码辅助工具也有望在中短期内落地。
3）图像生成领域成为了现今年下半年一级市场公司布局的热点，随着Dalle2的热度，在商稿方面用AI取代人类画手的思路基本明确。2021年OpenAI推出的初代图像生成Dalle模型就是基于GPT之上，而Dalle2则转向投入了扩散模型的怀抱并取得了更好的效果。GPT模型在图像生成领域目前效果略逊于扩散模型，但扩散模型可以利用Chat-GPT生成较佳的Prompt，对于AIGC内容和日趋火热的艺术创作，提供强大的文字形态的动力。
4）Chat-GPT将在智能客服类工作中找到适合自己的位置。根据模型现有的完成度，在垂直行业针对性的做人工反馈训练，Chat-GPT就可以落地为智能客服产品，在toC场景中率先应用。对比现有的智能客服，Chat-GPT支撑的客服将在灵活性与人性化服务方面有显著的进步。根据GrandViewResearch的报告，全球AI市场在现今年达到了13.8亿美元，该机构预计到2030年将达到70.8亿美元，对应现今年-2030年CAGR为22%。而根据CanamResearch2021年的调查数据显示，漂亮国78%的客户联络中心在未来三年内部署人工智能，46%的客户服务互动已经实现自动化，该机构预计到现今年将增长至59%。
近两年国内一级市场中也涌现了大量智能客服公司，基于模型之上做针对性的产业优化将节省大量成本。据市场研究机构沙利文发布的2021年我国智能客服市场报告》显示，2020年我国智能客服行业投融资事件有23件，投资总金额为34.4亿元，同比增长123%。另外，2021年上半年，我国智能客服投融资事件有13件，投资金额达23.4亿元，C轮至D轮融资事件占比高达50%。从投融资轮次来看，2021年上半年C轮至D轮投融资事件最为活跃，可见各细分赛道企业渐趋成熟。其中，智齿科技、来也科技、乐言科技、Udesk、晓多科技、小能科技等智能客服厂商，颇受资本市场青睐。
Chat-GPT模型的亮眼表现的背后是研究者在Transformer模型前进的道路上发现了类反馈强化学习这一方法带来的潜力，对产业界而言，数据质量的优化、AI研究人员的储备与计算能力将是未来能否走在AI应用前沿的核心能力。Chat-GPT的成功证明了Transformer模型并非陷入困境，不断的AI技术方法上的新突破正驱动全球AI产业进入加速发展阶段，叠加AI产业集群效应的不断凸显，AI产业有望成为全球科技领域中期最具投资价值的产业赛道之一。AI产业有望继续保持“芯片+算力基础设施+AI框架&算法库+应用场景”的稳定产业价值链结构，拥有完整数据闭环结构、良好数据自处理能力的企业有望持续成为产业受益者。建议持续关注：特斯拉、英伟达、AMD、高通、微软、谷歌、Mobileye等。
以上内容仅供学习交流，不构成投资建议。详情参阅原报告。