当前位置:首页|资讯|ChatGPT

Science:ChatGPT缩小了打工人的差距

作者:量子位发布时间:2023-07-17

Science正刊发表对ChatGPT的调查报告,《生成式人工智能对生产力影响的实验证据》

对于一些文书任务,ChatGPT不仅能在节省40%时间的同时提高18%的绩效,还降低了不同人之间的绩效差异

MIT官方也对这一研究成果进行了报道。

对照组也会偷用

这场实验一共邀请了453名受试者,分为实验组和对照组。

这些受试者是来自不同领域、受过高等教育的专业人士。

两个组中人员的薪资水平、职业等信息如下表所示:

在为期一个月的实验中,他们被要求完成与职业相关的写作任务。

这些任务包括撰写新闻稿、简短报告、分析计划和电子邮件,时长约为20到30分钟。

评估的指标包括效率和质量两部分,每份成果分别交由三名相关领域的专业人士进行盲评(1-7分)。

结果显示,实验组所用时间减少了0.75个标准差(约11分钟),评分则提高了0.41个标准差。

如果换算成百分数,时间缩短和质量提高的比例分别是40%和18%。

具体而言,实验组首先被安排完成一项任务,之后注册ChatGPT(3.5版本)。

他们被告知,如果觉得ChatGPT好用,那么就要在第二个任务中使用。

而对照组则被要求注册一款LaTex编辑器(注册复杂度与ChatGPT相当),但没有类似的告知。

结果,有80%的实验组人员在第二个任务中使用了ChatGPT,而对照组中只有不到5%使用了LaTex工具。

对于第二个任务,实验组平均耗时为17分钟,比对照组少了10分钟。

质量方面,实验组的平均成绩为4.53,对照组的平均成绩则为3.802。

除了提质增效,ChatGPT还降低了不同人之间工作质量的差异。

根据第一个任务完成情况的不同,研究人员将这些人第二次任务的评分进行了线性拟合。

结果显示,实验组评分的拟合斜率为0.414,比对照组低了0.272。

那么这些人又是如何使用ChatGPT的呢?是直接使用输出结果或仅做微调,还是只用来打草稿?

跟踪结果显示,有33%的受试者提交的是原汁原味的ChatGPT结果,而53%进行了修改。

但这些修改可能十分微小,比如只是调整一下格式等等。

得出这一结论的理由是,他们在ChatGPT生成回复后的平均活动之间只有3.3分钟,且大部分位于0-2分钟之间。

需要说明的是,在实验开始之前,70%的受试人员已经听说过ChatGPT,32%曾经使用过。

所以,在实验过程中,研究人员发现,对照组中也有10~20%的人使用了ChatGPT。

这一现象对实验结果存在一定影响,研究人员利用了统计学方法进行修正。

实验结束后,研究人员还对这些受试者进行了两次回访,分别有92%和83%的人给出了回复。

第一次回访是在实验结束后两周,实验组和对照组分别有34%和18%的人仍在使用ChatGPT。

六周之后,也就是实验结束后两个月,这组数字分别提升到了42%和27%。

综上所述,研究人员认为,ChatGPT在提升工作质效方面确实有显著作用,但其能否取代人类仍不明确

作者简介

该研究由MIT华裔经济学博士生Whitney Zhang和同学Shakked Noy共同完成。

Zhang从2017年开始一直在MIT就读,目前的研究领域包括行为经济学等经济学分支领域。

Zhang还是波士顿华人社区大学初入者帮扶项目导师。

Noy则来自新西兰,2022年进入MIT攻读经济学博士。

论文地址:

https://www.science.org/doi/10.1126/science.adh2586参考链接:

[1]https://news.mit.edu/2023/study-finds-chatgpt-boosts-worker-productivity-writing-0714

[2]https://economics.mit.edu/people/phd-students/whitney-zhang

[3]https://economics.mit.edu/people/phd-students/shakked-noy

本文来自微信公众号“量子位”(ID:QbitAI),作者:克雷西,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1