微调ChatGPT，Azure OpenAI微调教程
Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。
企业如何合规、稳定使用ChatGPT以及Copilot？
出于合规角度，建议国内企业可以选择微软的Azure OpenAI服务来使用接口。
通过微软官方合作伙伴获取服务，企业用户可以合规、稳定地使用ChatGPT，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。
作为微软的合作伙伴，全云在线可为企业开通绿色申请通道！包括最新版本GPT-4o、Dalle-3等，只要企业有需求，全云在线都能协助快速开通！
企业微软 Azure OpenAI 免费试用申请：
https://azureopenai.cloudallonline.com/?zxwsh73
我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。比如说我们这个回答就是想微调一个『使用中国道家思想和语录进行回答的聊天机器人』这个很好理解，打个比方，你想让ChatGPT输出跟道家高人一样，每句话都希望它能从「周易」「道德经」这样的著作中引经据典。GPT是做不到的，因为它训练的资料大多数是通用知识，而周易或者道德经这种属于是特定领域的知识，以后不排除它会拿左右的资料进行训练，但是现在的GPT确实做不到。这个时候就出现了两种解决办法，一种是这个题目问的「Fine-tune微调」，另一种是通过「Prompt engineering特征工程」。
这张图很清楚地说明了这两者的不同，“扳手”指的地方是变化的地方，特征工程只是改变输入，也就是给输入中增加更多的内容，而LLM大模型本身是不变的；而Fine-tune微调它改变的就是LLM本身。微调不是万能的。根据OpenAI的官方介绍，微调适用于以下五种情况：
- 调整写作风格、语气、格式等
- 提高生成正确结果的稳定性
- 修正模型在复杂提示下的表现
- 处理一些特殊的、意外的情况
- 学习和执行在提示中无法明确说明的新技能或任务
如果你确定你的问题通过prompt engineering解决不了，那么做Fine-Tune的话就是下面几个步骤：
- 确定进行微调的模型
- 准备并上传训练数据
- 训练新的微调模型
- 评估结果并根据需要是否重新训练
- 使用您的微调模型
我在对OpenAI的API做微调的时候，碰到的最大问题就在于准备数据集上，因为其他步骤基本是都是自动化的，数据集的质量好坏其实决定了微调后模型的好坏。我失败了好几次的原因就是因为数据集的格式不对，它不是普通的json格式，而是jsonl格式，这一点儿我会在后面单独提到。
我们一步步地进行准备。
第一步：确定进行微调的模型
OpenAI有很多模型，从初代GPT3到现在最新的GPT4o，大多数的模型都有其API，但是并不是所有的大模型都可以进行微调。
真正能进行微调的就是这五个模型:
- gpt-3.5-turbo-0125
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- babbage-002
- davinci-002
其中最推荐的就是gpt-3.5-turbo-0125，属于是便宜还好用的一款模型。
第二步：准备并上传训练数据
训练数据分为两种格式，对于gpt-3.5-turbo这个系列，它的训练数据是「对话」格式的。比如这个例子:
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}这个例子是为了微调一个偶尔回答带有讽刺意味的机器人，我们来分析一下。
它由三部分构成：
❶系统角色设定/system：
内容："Marv is a factual chatbot that is also sarcastic."
分析：定义聊天机器人的角色和行为特点，即“Marv”是一个提供事实但具有讽刺性的聊天机器人。
❷用户输入/user：
内容："What's the capital of France?"
分析：用户提出一个简单的事实性问题，适合测试机器人的知识和回答风格。
❸助手回答/assistant：
内容："Paris, as if everyone doesn't know that already."
分析：
a.事实部分："Paris" 是准确的回答，符合“factual”要求。
b.讽刺部分："as if everyone doesn't know that already." 表达讽刺语气，暗示问题过于简单，符合“sarcastic”要求。那么回到我们的初始目标，道家思想和回答方式的机器人，那么我们就可以根据上面这个模版做一些训练数据。
系统角色：说明白这个机器人的特点。我们设定的内容：道言是一个基于道家思想和语录回答问题的聊天机器人用户输入：这个就可以是任何正常的句子
我们设定的内容：生命的意义是什么？助手回答：这个是关键，因为你想要让GPT微调成你想要的回答格式，所以你得想一下你希望的输出是什么。
我们设定的内容：生命的意义在于顺其自然。正如老子所说："道法自然。"在助手回答这里我们的回答是，道家思想的直接回答，以及再加上一个引经据典的操作。然后完整的训练数据就长这个样子：{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "生命的意义是什么？"}, {"role": "assistant", "content": "生命的意义在于顺其自然。正如老子所说：'道法自然。'"}]}
以此类推，我们可以准备更多的训练数据：{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "如何找到内心的平静？"}, {"role": "assistant", "content": "内心的平静在于清心寡欲。正如庄子所言：'淡泊以明志，宁静以致远。'"}]}
{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "如何面对挫折？"}, {"role": "assistant", "content": "面对挫折，要像水一样柔韧。老子说：'上善若水，水善利万物而不争。'"}]}一般来说，这样的训练数据最少也得10个，但是最好准备个几十上百个，否则会容易学不到什么东西，提供的内容越多就更容易学。
把训练数据保存为jsonl格式，然后准备下一步。
第三步：训练新的微调模型
我们直接用OpenAI提供的训练工具来训练：https://platform.openai.com/finetune打开微调后点击创建。
最简单的方法，就两步，选择模型后上传训练数据。
这是我们选择的模型以及上传数据，其余地方保持默认即可。
然后点击最下方的Create开始。
显示如下则表面开始微调了。
可以看到这个loss下降得挺快的，在50轮的时候就到了0.1969了。
最后训练成功了，花了138轮，最后的loss是0.0703。
第四步：测试一下微调后的模型，我们要记住这个ID。
然后打开chat，选择我们刚刚训练好的模型。
我们来测试一下。
再测试几次，可以看到即使问的是数学题，它都用的是我们设定好的格式。
我们先不管回答的质量怎么样，但是很明显的，它按照了我们预想的方法进行了，这就说明我们的微调是成功了，只不过后续需要更多的数据以及更多次的微调，以达到理想的程度。以下是遇到的几个问题：
①微调的花费：我这次一共花了0.09美元，算是非常便宜了。
定价可以在OpenAI官网上找到，这是一个具体案例。
②导致微调失败的常见原因：我失败了两次，原因都是数据集的格式有问题。
这个必须得严格按照标准来，建议用OpenAI提供的工具进行分析：https://cookbook.openai.com/examples/chat_finetuning_data_prep这个工具很简单，可以告诉你哪里出问题了。