AI大模型风生水起，但是不是所有企业都适合自建大模型？
导语：2023年9月，由百度和NVIDIA共同举办的第二届百度搜索创新大赛正式启动，我们对NVIDIA进行采访，采访内容围绕AI大模型构建的核心逻辑、当前AI大模型发展情况以及生成式AI应用将带来什么样的变革展开。
从去年底市场对于ChatGPT对话的热情，到OpenAI和微软从基础模型及创新应用生态、服务模式的逐步完善，再到现在各行业都在认真思考AI大模型如何能够融入垂直领域应用和为行业带来变革，业内生成式AI应用创业正爆发式增长，
正如NVIDIA创始人黄仁勋所说：我们正处于 AI 的‘ iPhone 时刻’。
那么，对于参与大模型混战的各大企业来说，核心要做的是什么？作为其中的佼佼者，百度、NVIDIA等领军企业又在做些什么？他们之间又将会有哪些创新合作？未来趋势又将如何？本文通过与来自NVIDIA 互联网解决方案架构总监陈川进行深度对话，以求从中探析些许答案。
01
“并非所有企业都适合自建大模型，它需要技术实力、投资预算、目标场景定位等强劲的综合实力作为支撑。”
从去年底ChatGPT发布到现在，10个多月的时间转瞬即逝。而在这10个多月的时间里，不仅可以看到市场对大模型和生成式AI的认知改变，同时也可以看到AI大模型正推动世界加速拥抱AI带来的变革。
“因时而变，因势而变”。比较具体的就是，AI大模型在创作、效率工具、教育、营销、金融等领域已经衍生了大量的创新业务，而微软发布的Fabric平台开始用大模型能力打造新一代的AI数据分析平台，更给这个领域带来了无限的想象力。
创新正在发生，各大科技企业蠢蠢欲动。那么在构建AI大模型的过程中，核心要做的是什么？
对此，陈川认为，“首先要平衡对技术能力和投资预算的整体规划”。“结合当前情况能够看到，从头建立自己的基础大模型的门槛很高，即使是参考开源的社区大模型代码作为基础，从预训练开始建立自己的基础模型，在投资预算，硬件资源和数据中心规模，海量的训练数据积累和加工成优质训练数据，人才和技术能力各方面都需要很大投入。”陈川表示。
目前，大家所了解的真正在国内致力于从头建立自己的基础大模型的主要还是BBAT这样的大型平台公司及一些有足够实力的专业研究机构、行业领导者。 当然，也有在符合企业战略价值、数据和各方面积累足够的企业，也有选择自建的，比如北美的Bloomberg。
其次，“要清晰认识本企业/行业大模型应用的需求场景与价值，明确公司的目标和愿景。”陈川表示，“AI大模型发展带来了很大的算力需求，应当意识到健康的生态是算力合理利用的关键，不是所有的人都适合去搞自己的大模型，少数有能力的公司打基座，建生态，其他应该更关注业务价值。我们相信大模型的未来还是会以云服务为主要形态。”
当然，“还要选择适用于公司需求的最佳解决方案制定计划实施。”陈川指出，“大模型应用的建设路径可以有很多选择，除了上述自建专属大模型的方案，直接使用API或插件接入、基于平台公司的提供的基础大模型行业方案，公有云或混合方案来构建，现在市场上都有灵活的选择。比如，直接使用API或插件接入门槛最低，对注重快速应用上线，数据保密保护要求不高的企业可以选择效果不错；服务稳定可靠的平台公司的API或者提供有限个性化微调的公有云平台服务实现快速应用搭建；对希望能够自己控制基础设施以保护数据资产的企业，选择其他基础大模型平台提供的安全部署方式来做微调和部分定制，通过自有标注数据和配置参数来训练自己的大模型也是不错的选择。”
陈川认为，“总的来说，应该根据企业的需求、技术实力、时间、成本、数据隐私和安全要求、目标任务和性能需求等多个因素进行综合评估，并权衡各种选择的优劣，才能做出最适合自己的决策。不论采用哪种方式，重要的是要不断测试和优化，以最佳方式满足业务需求。”
02
“文心大模型3.5比3.0训练速度提升2倍，推理速度提升17倍，其在创作、问答、推理和代码能力上正呈现全面升级态势。”
从上述内容能够看到，构建AI大模型，并非一蹴而就，其建立的基础在于企业自身技术实力、投资预算以及需求定位等各方面的考量。
正如陈川所说，“并非所有企业都适合自建大模型，它需要强劲的综合实力作为支撑。”那么在这一点上，在人工智能领域深耕多年的头部科技企业百度显然较具代表性。
据了解，在过去几年在搜索领域，百度搜索构建了多项关键技术。首当其冲的就是超大规模深度语义匹配模型。该模型当前每天在线可以提供万亿次服务，是业界最大的在线推理系统，让用户可以搜到更为精准的信息。
删格化索引亦是不容错过的关键。该项技术通过索引万亿网页、视频、图片和信息，可以确保任何用户想要的信息都能在几百毫秒中返回。
同时，百度搜索还打造了一套跨模态的问答系统，可以将视频、图片中的内容直接回答用户的问题。此外，今年百度还创新打造了一套全新的搜索系统，将大语言模型和搜索系统融合在一起，大幅提升了线上效果。比如，占搜索相当大比例的各种长尾问答需求，极致满足的比例提升到70%，也激发用户每天新增表达5000w问答需求。
其中，值得关注的是，为使得服务更具多元化，真正做到搜索的极致满足体验，百度搜索还上线了包括多答案决策系统、文本、图片创作产品等，进一步提升用户的新场景满足能力，探索新的交互形式，通过自然语言多轮、跨模态交互、为用户打造AI伙伴。
创新从不止步，服务更是精细化向前。“在百度搜索的应用中，大模型对深度语义匹配、跨模态的内容理解和问答，以及百度全新推出的搜索系统长尾问答需求等很多领域效果提升明显。我们也看到，全新百度搜索系统不断推出大模型应用融合功能，比如多答案决策系统、文本、图片创作产品和对自然语言多轮、跨模态交互等新的交互方式的探索，不断融入大模型能力。”陈川表示，“从今年3月，百度公开发布的国内第一个大语言模型‘文心一言’到现在的文心大模型3.5版本，其创作、问答、推理和代码能力上正呈现全面升级态势。”
“不过，需要关注的是，这些应用上线服务对于百度搜索这样每天万亿次在线服务级别的物理系统，在性能和吞吐上将面临极大的压力。”陈川坦陈，“我们也一直在关注文心大模型的发展，并在工程优化上为百度提供合作指出。百度大模型与搜索团队的研究和工程团队不断的探索在模型规模压缩、量化和引擎优化等各方面方法的结合来优化系统性能，NVIDIA工程优化专家也在系统性的性能分析，方案分享甚至算子融合优化等各方面提供持续支持，通过搜索效率提升和资源节省实现大模型部署能力的支撑。NVIDIA工程师也在与文心大模型工程团队紧密合作，持续为训练推理的优化提供支持，从百度公布的对比结果来看，文心大模型3.5比3.0训练速度提升2倍，这大大提高了模型迭代升级的效率，大幅降低了训练及使用成本。”
03
“大模型应用背后的需求不是简单的芯片算力提升问题，而是未来数据中心层面的AI基础设施整体优化和能力提升问题。NVIDIA要做的就是满足不断增长的模型和数据规模带来的算力需求和压力。”
创新的领域，从来不乏竞争者。所以，更需不断革新。
能够看到，Microsoft已经在Bing搜索引擎中提供了聊天模式的交互式多轮检索与知识问答、创作等融合功能，并为搜索引擎的合作生态提供了各种插件式接入的协同能力。对此，陈川表示，“很期待百度搜索与不断提升的文心大模型能力结合，推出国内用户可以使用的中文大模型搜索创新应用场景。”而在这个过程中，NVIDIA的优势也在不断凸显。
从上述内容中可以看到，大模型不断增长的模型和数据在训练和部署需要大量的计算资源。“因为大模型应用背后的需求不是简单的芯片算力提升问题，而是未来数据中心层面的AI基础设施整体优化和能力提升问题，而这也是加速计算将成为未来发展趋势的原因。”陈川指出，“NVIDIA则一直致力于从硬件到软件全栈的加速计算能力的持续改进，以满足不断增长的模型和数据规模带来的算力需求和压力。”
比如，NVIDIA推出的新一代Hopper GPU。其不仅是在芯片Flops层面的算力提升，还提供了专门面向LLM的Transformer Engine 优化。同时，NVIDIA在网络、CPU/GPU高速NVLink互联，以及大规模数据中心尺度的SuperPod、GH200等参考设计， 配合软件栈的不断优化，在支撑起未来大模型应用压力的同时，也能够大幅降低单位算力成本。
据陈川介绍，NVIDIA创始人黄仁勋在前不久的SIGGRAPH大会上发布的NVIDIA GH200 Grace Hopper™ 平台，便采用了世界上速度最快的HBM3e显存， 带宽性能可达5TB/s, 它具有4petaflops的Transformer引擎处理能力。通过6TB/s的 NVLink模组间互联将两个处理器模组连到一个计算节点，可以提供282GB的HBM3e显存，各种大语言/生成式 AI 模型都可以在这个超级芯片上实现惊人的推理。GH200在大规模部署上支持非常容易的横向扩展，可以将其与NVIDIA Spectrum以太网、可以将其与以太网、InfiniBand 连接，甚至通过NVLink互联形成更庞大的系统。
除了Grace Hopper超级芯片，NVIDIA还推出了L40S产品用于满足小型训练、微调和语言模型/AI生成模型推理的需求，为各种规模的应用场景提供更灵活的选择。
另外，陈川指出，“大模型训练推理工程上的复杂性也为研究和工程师提供了机会，探索如何更高效地训练和应用这些模型。”
目前，NVIDIA除了在软件栈层面提供在GPU上的底层加速库和专门面向大模型的加速引擎TRT-LLM, 也开源了Megatron-LLM最佳实践的参考。同时，为专注于应用而不是具备框架自研能力的企业客户，NVIDIA也推出了面向企业用户的Nemo framework大模型训练、微调、RLHF和推理部署的端到端方案。
“NVIDIA的工程师在不断与百度合作优化文心性能同时，也在跟百度云一起探讨合作将大模型优化方案与百度云大模型能力相关的云服务结合，让云上客户可以同样利用到这些优化能力。”陈川表示。
04
“基于双方合作，将百度在搜索领域包括AI大模型应用及各种搜索技术创新以最优的性能在NVIDIA加速计算平台上提供给用户，为用户提供更丰富、个性化和智能化的搜索体验。”
回顾过往，展望当下，可以发现，百度与NVIDIA 之间早已形成了根深蒂固的合作关系。双方的合作早已超越了技术维度，扩展到了生态建设、人才培养等领域。
比如，上述提及的NVIDIA 与百度在文心一言大模型训练推理工程优化上的合作。据陈川介绍，“从百度ERNIE的推出，到”知一搜索跨模态大模型， 到现在的文心一言大模型，NVIDIA 和百度的合作伴随着百度在大模型领域持续创新的各个阶段。
具体来看，NVIDIA提供GPU计算专家团队的专门支持帮助分析底层性能瓶颈，通过量化及深度学习编译器、GPU算法优化，通信优化等各方面提供支持帮助百度在NVIDIA GPU上实现训练和推理的最佳性能。比如文心大模型的高性能训练推理优化工作中，通过采用最新fused Multi-Head-Attention算子，以及INT8量化技术， 模型推理性能提升1.8x。
“NVIDIA自身并不专注搜索系统的研究和创新，但我们会和百度合作一起探索加速计算在搜索领域全流程各个环节的加速优化和创新技术在GPU实现的支持。”陈川表示。
当然， NVIDIA除了和百度在大语言模型方面的合作，其在搜索领域的索引算法GPU优化，AI编译器，图像生成， ANN检索，图模型等很多领域都开展了合作。比如，双方在AI编译器poros的合作，平均加速比达到了1.6x, 自动化编译优化功能极大地节约了工程团队的人力成本. 在图像生成Stable Diffusion模型上从训练到推理展开深度合作，训练效率提升1.5x（相比于deepspeed）；推理延迟在SOTA基础上（指的是TRT 8.6）继续提升1.1x以上。同时，还合作优化了Paddle PGLBox软硬件协同图模型训练系统，并基于NVIDIA RAFT加速库，探索基于IVF-PQ以及Graph-Based的ANN检索算法在GPU上的合作优化。
除了在技术层面的合作，NVIDIA与百度也都非常重视生态建设和创新人才的培养。“我们积极支持百度的Paddle平台框架在NVIDIA软硬件平台的加速优化，并通过技术大赛，技术社区共同推广的方式共同推动AI创新生态的发展，发掘和培育创新AI技术人才。”陈川表示，“我们期待通过双方的合作，将百度在搜索领域包括AI大模型应用及各种搜索技术创新以最优的性能在NVIDIA加速计算平台上提供给客户，助力百度搜索不断推出创新服务，结合在AI大模型为客户提供多语言、多模态和包含更多领域知识的服务，为用户提供更丰富、个性化和智能化的搜索体验。”
对于AI大模型未来的发展趋势，陈川从两个方面进行了分析预判。一是从基础模型的发展来看，陈川认为，“业内会不断探索大模型的能力上限，更大的基础模型，实现跨模态的融合和转化的Multi-Modal各方面都会持续推进，我们能够看到GPT4披露的信息模型已经超过万亿规模， 国内平台公司也在积极跟进这方面的研究。”
从应用发展来看，陈川指出，“AI大模型将不断与跨专业领域知识融合释放应用潜能和创造价值，并且将与各类应用形态结合，融入云服务、桌面电脑、移动设备、自动驾驶汽车及机器人等方方面面。随着国内基础能力的追赶，国内也会最终呈现各种应用和创新企业爆发的趋势。”
“预期AI大模型引领将继续推动从过去的专用AI到跨领域世界知识理解及通用AI的变革，虽然目前只是具备雏形，能力并不完善与成熟，但我们相信更大的模型驱动更通用的AI是必然趋势，未来可期。 ”陈川表示。
