ChatGpt是什么？
试着和ChatGPT聊天，它解决了我的问题。
当大家都在等GPT-4发布的时候，OpenAI已经很久没有消息了，还在修复它的前身。昨天，旧金山的企业发布了一款名为ChatGPT的新模型，是GPT-3的衍生品，通过对话互动。
这种对话允许chatGPT回答后续问题，承认错误，挑战不恰当的前提，拒绝不恰当的请求。与其他语言模型不同，例如，由于编辑不负责任，meta的语言模型Galactica在线几天后被删除。chatGPT的区别在于，当它不知道自己在说什么时，它承认不清楚。此外，chatGPT拒绝回答未经训练的问题，例如，它不会试图回答2022年后发生的事件。它不会回答个人问题。
这个模型有多智能？之前程序员自己做过调试代码的脑力劳动，现在ChatGPT可以承担这种苦差。
客户说:这个代码没有我预期的那样运行。我该怎么修改？
ChatGPT：你给的上下文信息太少，很难说代码问题。您可以提供更多关于代码的信息，例如代码是用来做什么的，这是整个代码还是其中的一部分？
客户:这是代码的一部分。我认为channel有问题。
ChatGPT：如果没有更多的信息来解释代码应该做什么，以及在执行过程中发生了什么，这个问题就很难解释了。根据您提供的信息，代码的一个潜在问题是，代码从未关闭，这意味着如果代码从未写入代码。例如，如果resultworker没有回到错误，或者在有机会回到错误之前被取消，这种情况就会发生。
为了解决这个问题，你可以在写入resultworkerchanel后关闭它。例如，您可以在向channel发送错误后添加以下代码：
这将确保resultworkerchanel总是关闭，即使besultworkerchanel总是关闭.cretworker从未回到过错误。同样，如果你没有更多关于你看到的问题的信息，很难判断这是否是你正在经历的问题。您能提供更多关于操作代码的细节吗？
以上是ChatGPT修改bug的过程，可以说是追根究底。
在下面的例子中，ChatGPT响应了后续指令。大致代表了用户要求ChatGPT帮助他们写一个简短的介绍来了解邻居；ChatGPT给出了一个简短的文本介绍，但客户不喜欢不够正式，好脾气的ChatGPT有一个正式的版本；然后客户要求ChatGPT帮助发送。最后，ChatGPT回答说：「对不起，我是一个基于文字的人工智能助手。我不能给你发实体信。我只能提供关于写什么的建议。你可以接受这个建议，自己发这封信。」
看到这里，你也想试试吗？是的，这个模型一发布，就让很多人沉迷其中，无法自拔。就连马斯克也说:「许多人陷入了ChatGPT的疯狂循环。」
有一段时间，每个人似乎都找到了一种新的快乐，并开启了与ChatGPT的对话模式。「它需要解释一种复杂的正则表达式，没有前后文本...」这是一个非常困难的问题，但ChatGPT却非常困难。看看这个解释空间，应该解释清楚。
「chatGPT是debuging的好伙伴，它不仅能解释bug，还能修复bug，解释修复bug的方法。」网友表示。
更令人难以置信的网友：「天啊，ChatGPT竟然知道AWSIAM策略。」
「ChatGPT可以生成数百行Python代码，并将100GB文件上传到AWSS3bucket。「WritepythoncodetouplodafiletonAWSS3bucket(编写Python代码，将文件上传到AWSS3bucket)。」
因为大家都太热情了，试用网站崩溃了:「我们的需求非常强劲。我们正在扩展我们的系统，请稍等。」
使用与InstructGPT相同的方法-使用人类反馈来加强学习。(RLHF)培训模型，但数据收集设置不同。ChatGPT使用控制微调来培训初始模型：人工智能培训师提供对话，他们在对话中扮演双方的角色——用户和人工智能助手。人工智能培训师可以浏览模型编写的对话回复，并协助人工智能调整回复内容。
为了建立一个加强学习的奖励模型，本研究需要收集比较数据，包括根据质量排序的两个或多个模型回复。本研究收集了人工智能培训师与聊天机器人的对话，随机选择了一个模型编写的信息，并提取了几个候选人的回复，让人工智能培训师对这些回复进行排名。此外，该研究还采用了近端策略优化算法（PPO）微调模型，迭代整个过程几次。
2022年初，3.5系列中的一个模型进行了微调。ChatGPT和GPT3.训练AzureAI超级计算基础设施。
局限性:
1.有时候ChatGPT会写出看似合理但不正确或荒谬的答案。解决这个问题很有挑战性，因为:
在RL训练过程中，需要现实世界的数据，但还没有来源。
2.模型训练过于谨慎，拒绝正确回答问题。
3.监督训练会影响模型的性能，因为理想情况是模型知道正确答案是什么，而不是人类演示者知道正确答案是什么。
ChatGPT对调整输入措辞或多次尝试相同的prompt特别敏感。例如，如果您提出问题，模型可以声称您不知道答案，但只要您稍微重写问题，模型就可以正确回答。
一般来说，模型的答案太复杂了，有些句子被过度使用。例如，重申这是一个在线人工智能训练的语言模型。这些问题来自于训练数据和过度改进。
理想情况下，当客户提供模棱两可的查询时，模型会提出质疑，尽管该研究试图拒绝该模型的不当要求，但它有时会回复有害指令或给出偏见的答案。研究小组正在使用ModerationAPI警告模型或阻止某些类型的不安全内容，并试图收集用户反馈，以进一步改进系统工作。
与GPT-3和Codex相比，ChatGPT作为OpenAI发布的最新模型，在可靠性和可用性方面做了很多改进，吸取了以往模型的经验教训，并根据人类反馈加强了学习(RLHF)大大降低了模型的有害性和不真实导出。