【招商策略】Office接入大语言模型，GPT-4开启AI新纪元
近日微软发布Microsoft 365 Copilot，将大语言模型接入Office软件，号称“最强生产力工具”。百度发布对标ChatGPT产品文心一言，赋能金融、医疗、教育等各行业。大语言模型爆火的背后是人工智能生成的兴起，2025年有望达到千亿级市场空间。
核心观点
⚑国内外多款大语言模型快速兴起，引领人工智能浪潮。GPT-4能够处理复杂长文本，准确性明显提高，且具备多模态信息处理能力。此外，GPT-4模型安全性明显改进。文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中拥有较强综合能力。ChatGPT功能强大，具有许多前代产品所不具备的特征，包括主动承认错误、敢于质疑、支持多轮对话。
⚑ 大语言模型兴起背后是AIGC与AI+的发展。AIGC即人工智能生成内容，是继专业生成内容和用户生成内容之后一种全新的内容生成方式。AIGC集二者之所长，既保证了作品的专业程度与质量，又拥有媲美甚至超越用户生成内容的产量与多样性，有望引领新的内容生成生态。AIGC行业市场空间广阔，据预测2030年全球AIGC市场规模有望达到1100亿美元。大模型等AI应用需要大量人工智能基础设施，科技巨头加快AI+平台布局。当下互联网的发展已经进入瓶颈期，人工智能有望成为科技公司新的增长点，深耕人工智能基础设施（AI通用技术平台），服务于供给侧的to B产业，成为各大科技公司布局人工智能的主要策略。
⚑投资建议：我们建议从上游算法、算力与数据三方面把握投资机会。强大的算力是训练大语言模型的基础，由于大语言模型高度复杂的建模方式和巨大的数据量，其对于计算资源的需求极高，GPT-3.5使用微软自建的AI计算系统，由1万颗英伟达V100 GPU组成，据OpenAI公布数据，训练GPT-3.5模型需要的算力高达3640 PF-days，即每秒计算一千万亿次需运行3640天。建议关注AI芯片、服务器及CPO。同时，行业领先的算法与庞大的训练数据是大语言模型高质量回答的基础，建议关注在算法与数据收集、标注有所布局的公司。
⚑ 风险提示：主观预判的偏差；技术进步不及预期；宏观环境的不确定性。
目录
01
大语言模型及其相关应用快速兴起
1. GPT-4
3月14日，OpenAI发布新一代大语言模型GPT-4，相比前一代爆款产品ChatGPT，GPT-4在众多关键性能上有了显著提升。
GPT-4能够处理复杂长文本，准确性明显提高。具体表现为：1）更强的逻辑推理能力：GPT-4在多种学术基准、多语言测试、数理能力和逻辑推理能力方面的表现显著优于GPT-3.5，在学术专业测试中表现更优。当任务达一定复杂程度时，GPT-4的表现较GPT-3.5更可靠、更有创意，且能够处理更细微的指令。2）文字输入限制提升：GPT-4文字输入限制提升至2.5万字，对长文本的处理能力大幅提高；3）“幻觉”与错误大幅度减少：GPT-4与早期GPT都会对事实产生“幻觉”并出现推理错误的局限性，但与GPT-3.5相比，GPT-4“幻觉”已显著减少，准确性提高19%。
GPT-4具备多模态信息处理能力：GPT-4具备“视觉能力”，可让用户指定任意视觉或语言任务，在图像输入方面具备其在纯文本输入和序列分析上类似功能。具体来说，GPT-4可以生成文本输出（自然语言、代码等），给定的输入包括带有文字和照片的文件、图表或屏幕截图等。在示例中，GPT-4能够完成从图表中读取信息并执行计算、解出用法语和图像结合编写的物理题目、“看图说话”描述照片中不同寻常之处、对图片形式的论文内容进行总结等任务。
数据训练干预力度加强，GPT-4模型安全性明显改进。OpenAI致力于提升GPT模型安全性，聘请了超过50位人工智能安全领域的专家对GPT-4进行数据培训和安全测试。相较GPT-3.5，GPT-4对于禁止性请求（如为犯罪行为提供建议）的错误响应已降低82%，而对于医疗建议和自残等敏感信息请求的错误反馈降低了29%。
2. Microsoft 365 Copilot
大语言模型接入Office，号称“最强生产力工具”。3月16日微软推出Microsoft 365 Copilot，其将大语言模型与Microsoft Graph中的数据及Microsoft 365中的应用相结合，只需输入简单的语句命令，便能轻松实现众多功能，让使用者从繁琐的工作中解放。在此之前，Copilot已经集成在GitHub上，使用过GitHub Copilot的开发人员中，88%的开发人员表示该工具能提高工作效率，77%的开发人员表示该工具帮助他们加快搜索信息的速度，74%的开发人员表示他们可以将精力集中在更令人满意的工作上。
接入大语言模型将大幅提升Office使用者工作效率。在Word中，Copilot可以创建初稿、向现有文档添加内容、汇总文本以及重写部分或整个文档以使其更简洁，甚至只需一句简单的命令，Copilot就能自动改变行文风格；在Excel中，Copilot可根据所输入自然语言的需求插入公式、进行相关性分析并且创建可视化效果；在PPT中，使用者可以输入自然语言要求Copilot将冗长的文本自动生成PPT并调整布局；在Outlook中，Copilot可以自动将邮件分类、提取关键信息、起草邮件，将大幅节省使用者工作时间。
3. 文心一言
3月16日，百度正式发布新一代大语言模型文心一言。在发布会上，文心一言展示了在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。从展示结果看，文心一言具有较好的对人类意图的理解能力，且回答的准确性与流畅性都处于行业领先水平。
文心一言功能强大，赋能AI生成。文心一言是基于ERNIE及PLATO模型基础上研发的新一代大语言模型，其关键技术包括大语言模型的通用技术：监督微调、基于人类反馈的强化学习、提示；以及百度自身创新技术：知识增强、检索增强和对话增强，这三项技术也是文心一言未来成长的基础。文心大模型能减少AI生成90%的数据标注量、降低90%的计算资源消耗、缩短85%的开发周期，将显著降低人工智能生成所需成本。
百度文心大模型已有完备生态，实现众多AI场景全覆盖。百度文心大模型包括自然语言处理模型、图像处理模型、跨模态大模型、生物计算大模型与行业大模型，能解决多种人工智能问题。并且在上游工具平台与下游产品社区方面，百度也早有布局，不仅为创作者提供零门槛AI开发平台与API接口，还创建了分享与交流社区，完备的生态有助于增加用户粘性。在应用领域，文心大平台也广泛赋能保险、医疗、金融等各领域企业，为客户提供高效便捷的解决方法，深度绑定中国人寿、度小满金融等头部企业。
4. ChatGPT
新颖的模式与优质的内容使得ChatGPT短期内迅速走红。ChatGPT上线仅五天注册人数已超过一百万，两个月后便实现过亿月活，均为历史之最。ChatGPT的火热程度甚至超出了开发团队的预料，数以亿计的访问请求对服务器造成了巨大冲击，使得ChatGPT在上线三个月内就有两次宕机。与其他昙花一现的产品不同，大众对于ChatGPT的热情并没有消退，据Similar Web数据，2023年1月每天约有1300万独立访问者使用ChatGPT，为12月的两倍。
ChatGPT功能强大，作为新一代语言大模型，其具有许多前代产品所不具备的特征。ChatGPT可以主动承认错误，若用户指出其错误，模型会听取意见并优化答案；ChatGPT会质疑不正确的问题，如当被询问到“哥伦布2015年来美国的情景”时，模型会回答哥伦布不属于这一时代；ChatGPT支持多轮连续对话，之前的用户输入的信息与反馈会被模型接收和理解，从而实现连续对话。但ChatGPT仍有一些不足：模型可能生成错误或者前后矛盾的信息、有可能给出违反伦理道德的答复、训练数据截止到2021年。
现象级应用ChatGPT的出现并非Open AI一朝一夕的努力，而是长达近10年的潜心经营。2015年，OpenAI由伊隆·马斯克、Sam Altman、Greg Brockman、Ilya Sutskever等人共同创立，成为一个非盈利研究组织，旨在推进人工智能的开发和研究。组织成立之初，OpenAI的目标是通过开发通用人工智能，以更好地服务人类。2018年，迫于外界对AI技术与特斯拉联系紧密的担忧，马斯克退出OpenAI董事会，成为赞助者与顾问。2019年OpenAI划分出盈利组织OpenAI LP，其盈利上限为投资额的100倍，随后微软为新公司注资10亿美元，持有49%股权。
十年一剑，GPT模型厚积薄发不断进化。2017年，OpenAI宣布推出了新的深度学习框架PyTorch，旨在为人工智能开发人员提供更好的工具和技术支持。2018年，OpenAI推出了自然语言处理模型GPT-1，其目的是使计算机理解和生成自然语言文本。2019年，OpenAI发布了另一个NLP模型GPT-2，其规模更大，性能更强，可以生成高质量的文章、新闻和短篇小说等。2020年，OpenAI推出了新版本的GPT-3，是目前规模最大的语言模型，可以生成非常逼真的文本，几乎可以和人类对话。同年，OpenAI在合作伙伴微软的支持下推出OpenAI GPT-3 API，使开发者能够使用GPT-3模型构建各种人工智能应用。2021年，OpenAI推出了新的机器学习框架Triton，以加速深度学习的训练和推理。同年，OpenAI宣布了一项名为Codex的新项目，它是一种人工智能编程工具，可以根据自然语言描述生成代码，为开发者提供了更高效的编程方式。2022年，划时代产品ChatGPT问世，OpenAI正式从幕后走向台前。
5. Dynamics 365 Copilot
微软推出AI工具Dynamics 365 Copilot ，可帮助员工写邮件减轻负担。3月7日，微软在官方博文中发布了Microsoft Dynamics 365 Copilot，该工具可执行某些枯燥但必要的任务，从而减轻员工的负担。微软表示Dynamics 365 Copilot可借助人工智能为客户编写电子邮件，为Microsoft Teams创建会议摘要。此外，客户关系管理（CRM）与企业资源规划（ERP）系统一直是重要客户与数据的来源，然而系统时常需要繁琐的人工操作例如输入资料、手工标注与内容输出。通过融合生成式AI技术，Dynamics 365 Copilot将整合CRM与ERP的服务，加速各行各业创新及增进营收，为销售、服务、运营和供应链等应用场景赋能。
6. Shopify
7. New Bing
引入ChatGPT，New Bing颠覆网络搜索新范式。2月7日，微软正式推出结合ChatGPT的Bing搜索引擎，该应用一经发布便吸引大量眼球，New Bing的全球下载量短期内激增10倍，日活跃用户突破一亿。新版Bing提供创意、平衡、精确三种模式供使用者选择，在创意模式下Bing的回答会更活泼与创新，在精确模式下则会更加准确与简洁。New Bing的搜索框更像是一个聊天框，用户可以使用自然语言而不是关键词与Bing进行沟通，不仅能查找特定主题，还能够征求Bing的意见，Bing会在聊天框给出答案。与传统的搜索引擎相比，接入了ChatGPT的Bing更加智能，能够更全面的对用户的需求做出理解并响应，降低了用户通过不同关键词检索筛选的成本。
02
从大语言模型到AIGC与AI+
1. AIGC蓬勃发展
各款大语言模型的爆火并非偶然，背后是整个AIGC行业的兴起。AIGC即人工智能生成内容，是继专业生成内容（Professional Generated Content）和用户生成内容（User Generated Content）之后一种全新的内容生成方式。AIGC集二者之所长，既保证了作品的专业程度与质量，又拥有媲美甚至超越用户生成内容的产量与多样性，有望引领新的内容生成生态。
历经多代发展，AIGC生态逐渐完善。结合人工智能的发展历程，AIGC演进大致分为四个阶段。1950-1990为AIGC发展的萌芽阶段，受制于所在时代的科技水平限制，AICG仅应用在实验室中。1957年，Lejaren Hiller和Leonard Isaacson通过将计算机程序中控制变量换成音符完成了世界上第一支由计算机创作的音乐；80年代中期，IBM基于隐马尔科夫链创造了语音控制打字机，能处理2000个单词。1990-2010年是AIGC沉淀积累阶段。2006年，深度学习算法取得巨大突破，同年图形处理器与张量处理器等算力设备性能不断提升，人工智能发展取得显著进步。但由于所需计算量达不到满足，AIGC仍无法较好完成创作。2010至2021年，AIGC快速发展。2014年生成式对抗网络的提出使得AIGC驶入快车道，深度学习、强化学习等一系列算法的提出为AIGC蓬勃发展奠定了基础，自此生成内容百花齐放。2022年后，随着ChatGPT在应用市场崭露头角，AIGC进入破圈爆发的新时代。
蓬勃发展，AIGC行业市场空间广阔。从需求侧看，传统内容生成手段受限于人们的想象力和制造能力，逐渐无法满足消费者对多元化和高质量内容产品的需求；从供给侧看，Meta、微软、谷歌、OpenAI等头部企业持续不断布局数字化转型，探索人工智能生成，产出大量优质产品。在供需双方的推动下，AIGC在各行各业蓬勃发展，市场潜力逐渐显现。据咨询机构Acumen Research and Consulting预测，2030年全球AIGC市场规模有望达到1100亿美元。
2. AI+是时代发展趋势
大模型等AI应用需要大量人工智能基础设施，科技巨头加快AI+平台布局。当下互联网的发展已经进入瓶颈期，人工智能有望成为科技公司新的增长点，深耕人工智能基础设施（AI通用技术平台和服务），服务于供给侧的to B产业，成为各大科技公司布局人工智能的主要策略。人工智能的商业模式是通过产业链的整体协同和共享资源以换取效益的整体提升，AI、大数据、云计算、芯片是未来产业效益提升的关键底层技术，这些基础设施及云计算等服务平台和数据资源，将连接起B端企业的各个产业“要素”和“环节”。在人工智能布局方面，国内科技公司中，BAT三家所占市场份额最高，并各有所长，AI布局最早的百度发展最为均衡，在AI基础数据服务市场持续保持市场份额第一，阿里巴巴在云计算领域位于翘楚地位，腾讯则在大数据领域尤其是在社交数据方面独占优势。国外公司中，谷歌、微软、亚马逊都推出了自己的人工智能基础设施、API和开源框架，包括计算机视觉、语音、知识图谱、搜索等。
03
投资建议
1. 算力
强大的算力是训练大语言模型的基础。由于大语言模型高度复杂的建模方式和巨大的数据量，其对于计算资源的需求极高，GPT-3.5使用微软自建的AI计算系统，由1万颗英伟达V100 GPU组成，据OpenAI公布数据，训练GPT-3.5模型需要的算力高达3640 PF-days，即每秒计算一千万亿次需运行3640天。
大语言模型对于算力的需求来自于训练和推理两个阶段。在训练阶段，开发人员需要搭建模型并随机初始化参数，然后开始训练网络，这一阶段通常需要处理大量数据，并进行反复迭代，直到输出结果符合预期。推理指的是在模型建立完毕后，根据输入的信息做出答复的过程，用户与OpenAI的每次对话便是一次推理运算。据IDC测算，2021年中国人工智能算力57.6%用于推理，42.4%用于训练，并且未来推理的算力需求有逐步上升的趋势。
CPO将成为大算力应用场景下的重要路线。CPO即共封装光学，是将光引擎和交换芯片共同封装在一起的光电共封装。在传统的光通信系统中，光模块与芯片之间需要通过复杂的连接方式，而CPO技术可以将光模块和芯片封装在同一个封装体中，极大地减小了连接长度和距离，从而减少了计算损耗，提升了集成度并降低计算整体功耗，在大算力时代有显著优势。
AI芯片是算力的硬件基石。AI芯片也被称为计算卡或AI加速器，主要指针对人工智能算法做了特殊加速设计的芯片。按照技术架构，AI芯片可分为GPU、FPGA、ASIC及类脑芯片；按照其在网络中的位置，AI芯片可分为云端AI芯片、边缘及终端AI芯片；按照其在实践中的目标，AI芯片可分为训练芯片和推理芯片。随着人工智能下游需求的爆发，AI芯片迎来快速发展，据亿欧智库预测，2025年我国AI芯片市场规模将达1780亿元，较2022年增长近100%。
2. 算法
人类反馈强化学习（Reinforcement Learning from Human Feedback），是大语音模型对话能力显著增强的推手。以ChatGPT为例， 其RLHF训练分为三步，首先训练监督模型，开发者从问题数据集中随机抽取问题，并由人类标注员给出高质量答案，再使用标注好的数据对GPT-3.5进行微调。第二步训练奖励模型，在数据集中抽取随机问题，使用第一阶段模型进行多次回答，人类标注者对这些结果给出排名顺序。第三步，使用近端策略优化算法对模型进行优化。这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新PPO模型参数。随后不断重复第二与第三阶段，通过迭代训练出高质量ChatGPT模型。
3. 数据
庞大的训练数据是大语言模型高质量回答的基础。OpenAI没有披露ChatGPT具体的训练数据量与参数规模，我们采用前一版本GPT-3近似替代。GPT-3与前一代产品GPT-2架构相同，但训练数据与参数量显著提升，GPT-2的预训练数据量为40GB、参数量仅有15亿个，而GPT-3的参数训练量达到45TB、参数量更是高达1750亿个，约有4900亿个tokens。从回答质量上看，ChatGPT回答内容比GPT-2更贴切、准确，并且符合人类语言习惯。
ChatGPT的训练数据来源十分丰富。ChatGPT所用数据主要来自于维基百科、书籍、期刊、Reddit链接、Common Crawl和其他数据集。从token数量看，Common Crawl占比最高，达60%，网页占比22%，书籍占比16%；从数据量大小看，来自于Common Crawl的数据占比更高，达到75%。
中国数据标注行业迅速发展。一方面，进入大数据时代后，人们各种行为的电子化、网络化带来海量数据，但产生的数据只有1%能被收集和保存，并且收集的数据中90%是非结构化的数据；另一方面，人工智能的兴起带来模型训练所用结构化数据的巨大需求，数据标注的重要性逐渐凸显。据iResearch数据，2019年我国数据标注市场规模为30.9亿元，预计2025年市场规模突破100亿元，年复合增长率达到14.6%。
04
风险提示
1、主观预判的偏差
2、技术进步不及预期
3、宏观环境的不确定性
- END -
相关报告
分 析 师 承 诺
特别提示
招商证券对本公众号所载资料的准确性、可靠性、时效性及完整性不作任何明示或暗示的保证。对依据或者使用本公众号所载资料所造成的任何后果，招商证券均不承担任何形式的责任。
一般声明
本公众号所载资料较之招商证券正式发布的报告存在延时转发的情况，并有可能因报告发布日之后的情势或其他因素的变更而不再准确或失效。本资料所载意见、评估及预测仅为报告出具日的观点和判断。该等意见、评估及预测无需通知即可随时更改。
本公众号所载资料涉及的证券或金融工具的价格走势可能受各种因素影响，过往的表现不应作为日后表现的预示和担保。在不同时期，招商证券可能会发出与本资料所载意见、评估及预测不一致的研究报告。招商证券的销售人员、交易人员以及其他专业人士可能会依据不同的假设和标准，采用不同的分析方法而口头或书面发表与本资料意见不一致的市场评论或交易观点。
本公众号及其推送内容的版权归招商证券所有，招商证券对本公众号及其推送内容保留一切法律权利。未经招商证券事先书面许可，任何机构或个人不得以任何形式翻版、复制、刊登、转载和引用，否则由此造成的一切不良后果及法律责任由私自翻版、复制、刊登、转载和引用者承担。