ChatGPT标注数据比人类便宜20倍，80%任务上占优势 | 苏黎世大学
Pine 发自 凹非寺
量子位 | 公众号 QbitAI
又一“人类饭碗”被AI抢走，还是和训练AI息息相关的：
数据标注。
苏黎世大学研究发现，在ChatGPT面前，无论成本还是效率，人类可以说是毫无优势：
- 成本上，ChatGPT平均每个标注成本低于0.003美元，比众包平台便宜20倍；
- 效率上，在相关性、立场、主题等任务中，ChatGPT也是以4:1的优势“碾压”人类。
论文发出后，有网友调侃，“生成训练数据需要人工”的说法已经成为过去式了。
还有人直呼“古籍修复数字化工作是不是有希望提速了”。
还有人看热闹不嫌事大，直接发推称：
这是直接端了平台工作者的饭碗。
话说回来，ChatGPT是怎么抢了数据标注工作者的“饭碗”的？
ChatGPT在80%任务上占优势
首先得先了解下数据标注工作的具体内容。
简单来讲，数据标注就是给社交媒体上的内容数据贴标签，将其以不同主题或者概念进行分类，或是对其立场以及情绪进行判别。
这些经过标注的数据就可以用作NLP模型的训练集或是评估标准。
以往，这类工作都是交由人工处理的，比如说MTurk就是专门进行数据标注的一个众包平台。
在MTurk这类众包平台内部，还会有更加精细的分工，比如说会有经过专业训练的数据标注者以及众包工作者。
前者在产出高质量数据上具有优势，但自然成本也更高，而后者虽然更便宜但质量也会随任务难度波动。
于是研究团队就开始着手研究大语言模型 （LLM）在这方面的潜力，并且对比了没有额外训练 （zero-shot）的ChatGPT （基于GPT-3.5）和MTurk在数据标注上的性能。
这项对比基于研究团队此前收集到的2382条推文样本。
ChatGPT和MTurk分别将推文以“相关性、立场、主题、政策、实用性”这五种任务进行标注。
评估的标准有两条：
- 准确性：ChatGPT和MTurk众包工作者相较于正确标注的百分比；
- 编码者间的一致性信度：用ChatGPT、MTurk众包工作者以及专业数据标注者任意二者之间的一致性来计算；
结果呢也显而易见，在 准确性上，ChatGPT有五分之四的任务都要优于MTurk众包工作者。
在 一致性信度上，ChatGPT全部任务都超过了专业数据标注者。
成本方面，开头也已经提过，ChatGPT平均每条比人工便宜20倍，何况AI还能24*7无休。
不过对于研究团队得出的这个结论并不是所有网友都买账，有人表示：
这五条任务都太单一了，难度也是。仅凭这一点就得出这样的结论可靠性存疑。
甚至还有网友嘲讽了起研究样本太少来：
（竟然）只用 2382条推文做样本。
“饭碗威胁”不止数据标注
现在，AI会不会完全取代某一类工作还不好说，但它会在一定程度上影响人类工作是毋庸置疑的。
上周，OpenAI就发布过一份分析报告，称有80%的工作都会在一定程度上受到ChatGPT的影响，19%的岗位会受到ChatGPT的严重冲击。
并且薪资越高的职业受到的冲击就越大。
OpenAI还进一步列出了会被影响的 具体职业，从大到小依次是：
翻译从业者、文字创作者 （包括诗人、作家等）、公关人员、数学家、税务编制人员、区块链工程师、财务工作者、媒体从业者……
△图源：OpenAI
除此之外，OpenAI的CEO奥特曼也不止在一个场合下说过“AI会取代现有的部分工作”。
前不久，MidjourneyV5大升级也是让不少人类画师直呼饭碗不保。
emmmmmm，你觉得你的饭碗还保得住吗？
— 完—
【AIGC 技术探索与应用创新】
4月13日「掘金城市沙龙·北京站」
限量免费参会！
从 ChatGPT看， AI 模型服务化趋势是怎样的？AIGC 新时代下， 文本智能创作面临什么样的变革？如何 轻松训练 AIGC 大模型？基于大模型的 AIGC 工作原理和 应用场景是什么样？
畅聊「AIGC 技术探索与应用创新」， 字节跳动 AI Lab算法工程师陈家泽、 英特尔AI软件工程师杨亦诚、 Google Cloud机器学习专家王顺、 清华大学 KEG知识工程实验室研究助理郑勤铠、 九合创投 COO张少宇、 稀土掘金江昪等多位业界专家已集结完毕！
4月13日下午， 北京大钟寺地铁站方恒时尚中心，邀你线下参会，更有多款稀土掘金原创周边等你来！
扫描下方二维码， 抢线下免费参会票！