「前瞻分析」2024-2029年中国大语言模型技术路线及商业化探索
行业主要上市公司：百川智能(A04400.SH)、昆仑万维(300418.SZ)、拓维信息(002261.SZ)、浪潮信息(000977.SZ)、科大讯飞(002230.SZ)等
大语言模型产业链全景梳理：互联网巨头纷纷布局大语言模型
从产业链角度来看，大语言模型产业链主要分为三部分，分别为基础技术层、大语言模型产品以及应用层。基础层包括芯片、云平台、数据等基础技术和数据要素，大语言模型产品目前可分为四大类，分别为国外开源平台、国外闭源平台、国内开源平台、国内闭源平台。在落地应用层面，主要应用包括搜索引擎、对话式AI、文案输出等。
大语言模型产业链区域分布热力图：一线城市大语言模型产业氛围良好
我国大语言模型产业链分布主要集中在北京、上海、深圳、广州、杭州等经济发达的一线城市、新一线城市中，截至2023年11月，根据前瞻不完全统计，全国已有130个左右的大语言模型产品，其中，北京已有54个大语言模型公司，上海市有12个，深圳市11个，杭州市8个，广州4个，成都3个，南京3个，其他地区11个。总体来看，大语言模型产业链分布呈现明显的区域化特征，主要聚集在经济发达地区。
注：该图表数据截至2023年12月。
大语言模型商业化探索进程
截至2024年，中国的大型语言模型(LLMs)在商业化进程中表现出显著的活力和创新。百度的文心一言在智能办公、旅行服务、电商直播、政务服务和金融服务等多个领域实现应用，技术迭代迅速，用户规模庞大。讯飞星火在智能办公上优势明显，2024年4月，公司推出了业界性能最优的130亿参数的大模型，在效果损失仅3%以内的情况下，输出效率、语义理解准确率等均得到提升，在讯飞星火大语言模型的飞速发展下，讯飞自有的硬件产品也受到消费市场的关注，搭载讯飞星火的讯飞智能办公本、讯飞听见、讯飞智能录音笔以及讯飞AI学习机等销量不断攀升。阿里巴巴的通义千问以其开源策略和高性能，在中文大模型领域占据一席之地，推动了低成本、易于部署的商业化解决方案。整体来看，中国的LLMs正通过技术创新、行业合作和安全合规等多维度努力，加速推动AI技术的商业化落地和产业智能化转型。
大语言模型技术路线分析
根据技术路线不同，大语言模型可分为Encoder-Decoder(或者Encoder-Only)和Decoder-Only，其中，Encoder-Decoder或者Encoder-Only训练方式为Masked语言模型，代表性模型包括ELMo，BERT，RoBERTa，DistilBERT，BioBERT，XLM，Xlnet，ALBERT，ELECTRA，T5，XLM-E，ST-MoE，AlexaTM;Decoder-Only训练方式为自回归语言模型，代表模型包括GPT-3，OPT，PaLM，BLOOM，GLM，MT-NLG，GLaM，Gopher，
chinchilla，LaMDA，GPT-J，LLaMA，GPT-4，BloombergGPT等。
2020年后，Encoder-Only技术基本不在发展，近年来，Encoder-Decoder类型技术路线较多。Encoder-Decoder模型相比Encoder-Only模型，通常具有更强的序列学习和生成能力，尤其擅长实现输入序列到输出序列的结构映射，所以在机器翻译、文摘生成和聊天机器人等任务上有更好的应用前景。但Encoder-Only的模型结构简单，training和inference速度更快，在一些简单分类或标注任务上也具有优势。
更多本行业研究分析详见前瞻产业研究院《中国大模型产业发展前景与投资战略规划分析报告》。
同时前瞻产业研究院还提供产业新赛道研究、投资可行性研究、产业规划、园区规划、产业招商、产业图谱、产业大数据、智慧招商系统、行业地位证明、IPO咨询/募投可研、专精特新小巨人申报等解决方案。在招股说明书、公司年度报告等任何公开信息披露中引用本篇文章内容，需要获取前瞻产业研究院的正规授权。