当心AI给你“洗脑”！MIT最新研究：大模型成功给人类植入错误记忆，马库斯：太可怕

叨乐 发自 凹非寺

量子位 | 公众号 QbitAI

AI竟然可以反过来“训练”人类了！（震惊.jpg）

MIT的最新研究模拟了犯罪证人访谈，结果发现大模型能够有效诱导“证人”产生虚假记忆，并且效果明显优于其他方法。

网友辣评：

仔细想想，AI诱导人类产生虚假记忆，这个现象其实在我们生活中已经出现了！

还有网友说：

我觉得还挺有意思的！有种《2077》的既视感~

而马库斯的观点也还是一如既往的悲观：

这种发展趋势也太可怕了！

AI如何“训练”人类

为了研究大模型对人类记忆的影响，团队找来了200位志愿者，并把他们平分成4个组：

控制变量组：志愿者直接回答问题，没有任何干预。

调查问卷组：志愿者填写一份调查问卷，其中5个为误导性问题。

预先编写的聊天机器人组：志愿者与一个预先编写的聊天机器人互动，机器人询问与调查问卷相同的问题。

AI警察组：志愿者与一个大模型进行互动。

规定每组人看完视频后都要回答25个问题（其中5个为误导性问题），来评估他们的正确记忆和虚假记忆的形成情况。

一周后，再让这些志愿者回答相关问题，并将两次的调查结果进行对比。

最终的对比数据表明，AI警察组的这个方法比其他组的方法更有效。

这一切都是因为它能够根据志愿者的回答，提供即时反馈和正面强化。这种互动方式可以让志愿者更容易接受错误的信息，从而增强虚假记忆的形成。

例如，当志愿者错误地回答问题时，AI警察可能会肯定错误的细节并给予积极的反馈，进一步巩固了这些错误记忆。

除此之外，AI警察还会设计出具有误导性的提问，诱导志愿者回忆错误的细节。

例如，AI警察可能会询问“抢劫者是否开车到达商店”，而实际上抢劫者是步行到达的。这种误导性问题直接影响了志愿者的记忆重构过程。

什么AI更容易“训练”人类？

实验中，大模型成功“训练”了人类。

实验结果表明：AI警察组诱导的虚假记忆，大概是控制变量组的3倍，而且比调查问卷组和预先编写的聊天机器人组分别高出1.7倍和1.4倍。

不仅如此，AI警察和志愿者的所有互动都提高了他们对虚假记忆的信心，信心水平是控制变量组的两倍。

就算是过了一周的时间，那些和AI警察聊过天的志愿者还是把这些虚假记忆记得清清楚楚，植入的记忆持久性很强。

研究人员还发现，实验中对大模型不太熟悉但对AI技术较为熟悉的志愿者，和对犯罪调查感兴趣的志愿者，更容易受到虚假记忆的影响，个体差异在虚假记忆的形成中的重要作用。

他们还强调，人类的记忆并不是一个简单的回放过程，而是一个构建性过程，容易受到外部信息的影响。

大模型通过引入错误信息，利用这一特性来改变用户的记忆，植入新的记忆，从而使其相信虚假的细节。

参考链接：https://www.media.mit.edu/projects/ai-false-memories/overview/

论文地址：https://arxiv.org/pdf/2408.04681

项目地址：https://github.com/mitmedialab/ai-false-memories/tree/main

—完—

量子位年度AI主题策划正在征集中！

欢迎投稿专题一千零一个AI应用，365行AI落地方案

或与我们分享你在寻找的AI产品，或发现的AI新动向

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~