微调ChatGPT，Azure OpenAI微调教程

Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。

企业如何合规、稳定使用ChatGPT以及Copilot？

出于合规角度，建议国内企业可以选择微软的Azure OpenAI服务来使用接口。

通过微软官方合作伙伴获取服务，企业用户可以合规、稳定地使用ChatGPT，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

作为微软的合作伙伴，全云在线可为企业开通绿色申请通道！包括最新版本GPT-4o、Dalle-3等，只要企业有需求，全云在线都能协助快速开通！

企业微软 Azure OpenAI 免费试用申请：

https://azureopenai.cloudallonline.com/?zxwsh73

我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。比如说我们这个回答就是想微调一个『使用中国道家思想和语录进行回答的聊天机器人』这个很好理解，打个比方，你想让ChatGPT输出跟道家高人一样，每句话都希望它能从「周易」「道德经」这样的著作中引经据典。GPT是做不到的，因为它训练的资料大多数是通用知识，而周易或者道德经这种属于是特定领域的知识，以后不排除它会拿左右的资料进行训练，但是现在的GPT确实做不到。这个时候就出现了两种解决办法，一种是这个题目问的「Fine-tune微调」，另一种是通过「Prompt engineering特征工程」。

这张图很清楚地说明了这两者的不同，“扳手”指的地方是变化的地方，特征工程只是改变输入，也就是给输入中增加更多的内容，而LLM大模型本身是不变的；而Fine-tune微调它改变的就是LLM本身。微调不是万能的。根据OpenAI的官方介绍，微调适用于以下五种情况：

• 调整写作风格、语气、格式等
• 提高生成正确结果的稳定性
• 修正模型在复杂提示下的表现
• 处理一些特殊的、意外的情况
• 学习和执行在提示中无法明确说明的新技能或任务

如果你确定你的问题通过prompt engineering解决不了，那么做Fine-Tune的话就是下面几个步骤：

• 确定进行微调的模型
• 准备并上传训练数据
• 训练新的微调模型
• 评估结果并根据需要是否重新训练
• 使用您的微调模型

我在对OpenAI的API做微调的时候，碰到的最大问题就在于准备数据集上，因为其他步骤基本是都是自动化的，数据集的质量好坏其实决定了微调后模型的好坏。我失败了好几次的原因就是因为数据集的格式不对，它不是普通的json格式，而是jsonl格式，这一点儿我会在后面单独提到。

我们一步步地进行准备。

第一步：确定进行微调的模型

OpenAI有很多模型，从初代GPT3到现在最新的GPT4o，大多数的模型都有其API，但是并不是所有的大模型都可以进行微调。

真正能进行微调的就是这五个模型:

• gpt-3.5-turbo-0125
• gpt-3.5-turbo-1106
• gpt-3.5-turbo-0613
• babbage-002
• davinci-002

其中最推荐的就是gpt-3.5-turbo-0125，属于是便宜还好用的一款模型。

第二步：准备并上传训练数据

训练数据分为两种格式，对于gpt-3.5-turbo这个系列，它的训练数据是「对话」格式的。比如这个例子:

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}这个例子是为了微调一个偶尔回答带有讽刺意味的机器人，我们来分析一下。

它由三部分构成：

❶系统角色设定/system：

内容："Marv is a factual chatbot that is also sarcastic."

分析：定义聊天机器人的角色和行为特点，即“Marv”是一个提供事实但具有讽刺性的聊天机器人。

❷用户输入/user：

内容："What's the capital of France?"

分析：用户提出一个简单的事实性问题，适合测试机器人的知识和回答风格。

❸助手回答/assistant：

内容："Paris, as if everyone doesn't know that already."

分析：

a.事实部分："Paris" 是准确的回答，符合“factual”要求。

b.讽刺部分："as if everyone doesn't know that already." 表达讽刺语气，暗示问题过于简单，符合“sarcastic”要求。那么回到我们的初始目标，道家思想和回答方式的机器人，那么我们就可以根据上面这个模版做一些训练数据。

系统角色：说明白这个机器人的特点。我们设定的内容：道言是一个基于道家思想和语录回答问题的聊天机器人用户输入：这个就可以是任何正常的句子

我们设定的内容：生命的意义是什么？助手回答：这个是关键，因为你想要让GPT微调成你想要的回答格式，所以你得想一下你希望的输出是什么。

我们设定的内容：生命的意义在于顺其自然。正如老子所说："道法自然。"在助手回答这里我们的回答是，道家思想的直接回答，以及再加上一个引经据典的操作。然后完整的训练数据就长这个样子：{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "生命的意义是什么？"}, {"role": "assistant", "content": "生命的意义在于顺其自然。正如老子所说：'道法自然。'"}]}

以此类推，我们可以准备更多的训练数据：{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "如何找到内心的平静？"}, {"role": "assistant", "content": "内心的平静在于清心寡欲。正如庄子所言：'淡泊以明志，宁静以致远。'"}]}

{"messages": [{"role": "system", "content": "道言是一个基于道家思想和语录回答问题的聊天机器人。"}, {"role": "user", "content": "如何面对挫折？"}, {"role": "assistant", "content": "面对挫折，要像水一样柔韧。老子说：'上善若水，水善利万物而不争。'"}]}一般来说，这样的训练数据最少也得10个，但是最好准备个几十上百个，否则会容易学不到什么东西，提供的内容越多就更容易学。

把训练数据保存为jsonl格式，然后准备下一步。

第三步：训练新的微调模型

我们直接用OpenAI提供的训练工具来训练：https://platform.openai.com/finetune打开微调后点击创建。

最简单的方法，就两步，选择模型后上传训练数据。

这是我们选择的模型以及上传数据，其余地方保持默认即可。

然后点击最下方的Create开始。

显示如下则表面开始微调了。

可以看到这个loss下降得挺快的，在50轮的时候就到了0.1969了。

最后训练成功了，花了138轮，最后的loss是0.0703。

第四步：测试一下微调后的模型，我们要记住这个ID。

然后打开chat，选择我们刚刚训练好的模型。

我们来测试一下。

再测试几次，可以看到即使问的是数学题，它都用的是我们设定好的格式。

我们先不管回答的质量怎么样，但是很明显的，它按照了我们预想的方法进行了，这就说明我们的微调是成功了，只不过后续需要更多的数据以及更多次的微调，以达到理想的程度。以下是遇到的几个问题：

①微调的花费：我这次一共花了0.09美元，算是非常便宜了。

定价可以在OpenAI官网上找到，这是一个具体案例。

②导致微调失败的常见原因：我失败了两次，原因都是数据集的格式有问题。

这个必须得严格按照标准来，建议用OpenAI提供的工具进行分析：https://cookbook.openai.com/examples/chat_finetuning_data_prep这个工具很简单，可以告诉你哪里出问题了。