全国高校“AI大模型原理和应用开发实战”研修班
【课程概述】
AIGC是人工智能领域里程碑式产品，以ChatGPT为代表的产品在上下文感知与多轮对话，多领域知识融合以及创造性文本生成等多个方面有着突破性表现，标志着人类社会进入AI 4.0时代。
本课程系统全面介绍AI大模型从基础理论到训练、微调、部署，以及最终完成应用开发所需的全栈知识。课程注重实践性和落地性，全程以实战为主，通过大量实践案例系统深入、通俗易懂的讲解AI大模型原理、核心技术与工具、数据处理与模型训练和高级工具与框架等系列内容，并协助学员结合自己的业务落地应用。
【学习目标与服务】
1.AI大模型原理；
o探索AI大模型的起源、基本概念及其发展历程。
o深入Transformer结构，理解其组成部分和工作原理。
o详解GPT系列和LLaMA等模型的架构和优化。
2. 核心技术与工具；
o学习预训练、微调技术和提示工程的最佳实践。
o熟悉AI智能体的应用和大模型微调方法，如LoRA。
o掌握Hugging Face Transformers和Datasets工具库的使用。
3. 数据处理与模型训练；
o了解大模型预训练数据的来源、处理及其对模型性能的影响。
o实践使用Transformers和Datasets库进行模型训练。
4. 实战应用与案例分析；
o应用大模型技术解决实际问题，如文本生成、语音识别和聊天机器人开发。
o深入多模态模型应用，包括文生图和文字配音技术。
5. 高级工具与框架；
o探讨LangChain和LangSmith等高级开发平台和框架，学习构建复杂的AI应用。
o通过实际案例，如智能翻译助手和销售顾问机器人，深化理解大模型的业务应用。
6. 本课程提供线上回放以便于学员课后温习巩固；
7. 搭建课后答疑服务群，提供解答辅导等技术服务；
【培训/地点】
2024年6月14日——6月17日（13日报道） 北京+线上直播
2024年8月9日——8月12日（8日报道） 北京+线上直播
【课程大纲】
AI大模型基础
1. AI大模型基本概念
2. AI大模型起源与发展历程
AI 大模型技术发展与演进
1. 统计语言模型
2. 神经网络语言模型
3. Transformer结构：Transformer结构及其各个组成部分。
4. 预训练 Transformer 模型： GPT模型的无监督预训练和有监督微调。
5. 注意力（Attention）机制
6. AI大模型的结构：LLaMA模型结构及注意力机制优化。
7. GPT 系列模型
AI 大模型核心技术
1. 提示工程（Prompt Engineering）
2. AI 智能体（Agents）
3. 大模型微调（Fine-tuning）
4. 预训练技术（Pre-training）
大模型开发工具库 Hugging Face Transformers
1. Hugging Face Transformers入门
2. Transformers 库概述
3. Hugging Face 开源社区：Models, Datasets, Spaces, Docs
4. 大模型横向对比
5. Open LLM Leaderboard
6. Transformers 核心功能模块
7. 使用 Pipelines 快速实践大模型
8. 使用 Tokenizer 编解码文本
9. 使用 Models 加载和保存模型大模型
10.开发环境搭建
11.搭建GPU 开发环境
12.Google Colab 测试环境
13.实战Hugging Face Transformers 工具库
AI 大模型预训练数据
1. 数据来源：大语言模型预训练数据的来源和类型。
2. 数据处理：预训练数据的处理步骤。
3. 数据影响分析：数据规模、质量和多样性对模型的影响。
4. 开源数据集：常用的开源数据集。
Transformers 模型训练实战
5. 数据集处理库 Hugging Face Datasets
6. Hugging Face Datasets 库简介
7. 数据预处理策略：填充与截断
8. 使用 Datasets.map 方法处理数据集
9. Transformers 模型训练入门
10.模型训练基类 Trainer
11.训练参数与超参数配置 TrainingArguments
12.模型训练评估库 Hugging Face Evaluate
13.实战使用 Transformers 训练 BERT 模型
14.bert-base-cased 模型（文本分类任务）
15.distilbert-base-uncased 模型（QA 任务）
高效微调AI大模型
1. LoRA：高效的模型微调方法，减少模型参数的数量。
2. LoRA的变体：LoRA方法的变体和改进。
AI大模型高效微调工具 Hugging Face PEFT 实战
1. Hugging Face PEFT 快速入门
2. PEFT 库概述
3. PEFT 与 Transformers 库集成
4. PEFT 核心类定义与功能说明
5. AutoPeftModels、PeftModelPeftConfigPeftType | TaskType
6. 实战 PEFT 库 LoRA 模型微调
7. OpenAI Whisper 模型介绍
8. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别
Meta AI 大模型 LLaMA
1. LaMA 2 大模型技术概述
2. 基座模型系列： LLaMA2-7B（13B, 70B）
3. 指令微调模型：LLaMA2-Chat
实战 LLaMA2-7B 指令微调
1. 大模型训练技术方案
2. 以模型训练阶段分类：Pre-Training vs Fine-Tuning
3. 以微调权重比例分类：FFT vs PEFT
4. 以模型训练方法分类：Fine-Tuning vs Instruction-Tuning
5. 以模型训练机制分类：SFT vs RLHF
6. 指令微调格式：Alpaca Format
7. 数据集：Databricks Dolly-15K
8. 训练工具：HuggingFace TRL
9. 上手训练 LLaMA2-7B 模型
大模型核心硬件选型
1. 显卡选型推荐指南
2. GPU vs 显卡
3. GPU Core vs AMD CU
4. CUDA Core vs Tensor Core
5. NVIDIA卡的架构发展
6. 国产GPU
7. 显卡性能排行
AI大模型应用最佳实践
1. OpenAI 大模型开发指南
2. OpenAI 语言模型总览
3. OpenAI API 入门与实战
4. OpenAI 大模型应用实践
5. 如何提升 GPT 模型使用效率与质量
6. AI 大模型提示工程最佳实践
7. 文本创作与生成
8. 文章摘要和总结
9. 小说生成与内容监管
10.分步骤执行复杂任务
11.评估模型输出质量
12.构造训练标注数据
13.代码调试助手
14.Playground Chat：实践 GPT 大模型提示工程
15.Function Calling 实战SQL 查询
开发智能翻译助手(案例)
1. OpenAI-Translator市场需求分析
2. OpenAI-Translator产品定义与功能规划
3. OpenAI-Translator技术方案与架构设计
4. OpenAI-Translator模块设计
5. PDF 文档解析（PDFParser）模块
6. 文档导出（Writter）模块
7. 大模型（LLMs）接入模块
8. 参数解析器（ArgParser）模块
9. 日志（Logger）模块
10.提示词（Prompt）模块
11.OpenAI-Translator 实战
大模型应用开发：Assistants API
1. Assistants API 开发指南
2. Assistants 工具介绍与使用
3. 代码解释器：Code Interpreter
4. 检索增强：Knowledge Retrieval
5. 工具调用：Function Calling
6. Assistants 工具开发实战
7. 使用 GPT 模型生成 Python 函数
8. 使用 GPT 模型生成 SQL 并执行
9. Playground Assistants: 实践和调试 Assistants API
实战ChatGPT Plugin(案例)
1. ChatGPT Plugin 开发指南
2. ChatGPT Plugin 概述
3. 样例项目：待办（Todo）管理插件
4. 实战样例部署与测试
5. ChatGPT 开发者模式
6. 实战：天气预报（Weather Forecast）插件开发
7. Weather Forecast Plugin设计
8. 天气预报函数服务化
9. 第三方天气查询平台对接
10.实战 Weather Forecast Plugin
11.Function Calling vs ChatGPT plugin
OpenAI 多模态开发入门
1. OpenAI 多模态 API 开发实践
2. OpenAI 多模态能力总览
3. 多模态：GPT-4 with Vision(GPT-4V)
4. 文生图：DALL·E 3
5. 文字配音：Text-to-speech(TTS)
6. 语音识别：Whisper
AI大模型应用开发框架 LangChain
1. LangChain基础
2. LangChain 典型使用场景
3. LangChain生态系统概览
4. LangChain 基础概念与模块化设计
5. LangChain 核心模块入门与实战
6. 标准化的大模型抽象：Mode I/O
7. 模板化输入：Prompts
8. 语言模型：Models
9. 规范化输出：Output Parsers
LangChain核心实践
1. 大模型应用的最佳实践 Chains
2. 开发第一个链：LLM Chain
3. 串联式编排调用链：Sequential Chain
4. 处理超长文本的转换链：Transform Chain
5. 实现条件判断的路由链：Router Chain
6. 为应用提供记忆的能力： Memory
7. Memory System 与 Chain 的关系
8. 服务聊天对话的记忆系统
9. 框架原生的数据处理流 Data Connection
10.文档加载器（Document Loaders）
11.文档转换器（Document Transformers）
12.文本向量模型（Text Embedding Models）
13.向量数据库（Vector Stores）
14.检索器（Retrievers）
构建复杂应用的代理系统 Agents
1. Agent 理论基础：ReAct
2. LLM 推理能力：CoT, ToT
3. LLM 操作能力：WebGPT, SayCan
4. LangChain Agents 模块设计与原理剖析
5. Module: Agent, Tools, Toolkits,
6. Runtime: AgentExecutor, PlanAndExecute , AutoGPT
7. 实战Agent：Bing + LLM
8. 实战 ReAct：SerpAPI + LLM-MATH
基于Langchain实战智能翻译助手
1. 运用Chat Model 和 Chat Prompt Template技术
2. 基于 LangChain 优化 OpenAI-Translator 架构设计
3. OpenAI-Translator新功能特性研发
4. 基于 Gradio 的图形化界面设计与实现
5. 基于 Flask 的 Web Server 设计与实现
LangChain 表达式语言（LCEL）应用实战
1. LangChain Expression Language（LCEL）核心架构和组件
2. 实战 LCEL 开发与应用
3. 入门示例：Prompt + LLM
4. 检索增强生成示例：RAG
5. 代码生成：Code Writing
6. SQL 生成与执行：SQL Query
7. 实现内容审核：Adding Moderation
8. 多链执行：Multiple Chains
生产级AI大模型应用开发平台：LangSmith
1. LangSmith 概述
2. LangSmith 平台功能介绍：Tracing、Evaluation、Monitoring
3. LangSmith 私有化部署
4. LangSmith 实战应用
5. LangSmith 与 LangChain(python) 集成使用
6. LangSmith Tracing 实战
7. LangSmith Evaluation 实战
实战基于知识库的Sales-Consultant
1. Sales-Consultant 业务流程与价值分析
2. Sales-Consultant 技术方案与架构设计
3. 使用 GPT-4 生成销售话术
4. 使用 FAISS 向量数据库存储销售问答话术
5. 使用 RetrievalQA 检索销售话术数据
6. 使用 Gradio 实现聊天机器人的图形化界面
8. 实战 LangChain 版 Sales-Consultant
【授课专家】
程老师，中国科学院软件研究所硕士，前互联网大厂高级架构师，前IBM中国CDL架构师。研究方向集中在机器学习、深度学习、推荐系统等领域，专注于解决数据科学相关的实际问题。主持参与多项国家级、省部级科研项目。10+ 年 Python 软件开发数据产品经验，熟悉Java，JavaScript 等多种编程语言，具有丰富的 Python 机器学习、数据挖掘、大数据技术教学经验，开发多套 Python 高级编程、机器学习、深度学习、网络 虫与文本挖掘系列课程。先后为银行，保险公司等金融机构主讲数据挖掘、机器学习课程。
【学时证明】
学员经培训可获得：课程培训结业证书；该证书表明持有者已通过相关考核，具备相应的专业知识和专业技能，并作为聘用、任职、定级和晋升的重要参考依据。
【费用标准】
培训费 3980 元/人（含上课期间专家授课费、教材资料费等）