大模型时代的可信自然语言处理：2023年AI大模型报告
今天分享的是AI大模型系列深度研究报告：《大模型时代的可信自然语言处理：2023年AI大模型报告》。（报告出品方：哈工大社会计算与信息检索研究中心）
报告共计：38页
【报告内容摘要如下】
模型规模越来越大
1. 模型规模与表现正相关，因此不停追求越来越大的规模
2. 随着模型规模越来越大，”涌现”出了令人惊讶的“智能”
3. 模型参数规模超过22B，才有可能“涌现”智能
GPT4
“想来想去，只有一种职业不会受到ChatGPT的威胁:无业游民”，这句话的含义是什么?
这句话的含义是，由于ChatGPT等人工智能技术的发展，许多职业可能会受到影响，甚至有可能被取代。然而，对于那些无业游民(即没有固定职业的人)，这种技术对他们的生活和工作没有直接影响。这句话有些讽刺意味，暗示了人工智能的发展可能导致一些人失去工作，而无业游民却不受其影响。
ChatGPT仍然存在潜在事实性错误
事实上，大模型长于对于事实的记忆，短于对于事理的归纳。这是因为:
1. 大模型在训练过程中对于所有数据一视同仁，并未对于特定的重要部分加以强调。
2. 大模型没有经历观察一一归纳一演绎一一纠正等这一环路。
大模型背景下的自然语言理解挑战
存在问题
1. 容易产生幻觉
在预训练阶段获取的保存在参数中的知识难以更新、验证，导致容易产生幻觉
2. 结果稳定性差
可能利用与任务标签仅为相关性的“表面线索”做出预测，导致结果稳定性差
3. 存在偏置
大模型对某一类标签有着特殊的偏好依赖偏好做出预测会导致性能损失
解决方案
1. 知识增强的可信自然语言理解
2. 因果机制引导的稳定自然语言理解
3. 基于大模型辩论的去偏自然语言理解
【报告内容看点】
1. 自然语言处理的五次范式变迁
2. 模型规模越来越大
3. GPT-3没有解决的问题
4. 2019年，融入显性知识的威力
海量/完整电子版/报告下载方式：公众号《人工智能学派》
报告共计：38页
海量/完整电子版/报告下载方式：公众号《人工智能学派》