GPT-4o失控行为首次公开：克隆人类声音、诡异尖叫！网友直呼“毛骨悚然”

每经编辑 张锦河每经实习编辑 宋欣悦

当地时间8月8日，OpenAI在其官网发布了GPT-4o的安全技术报告，报告详尽阐述了研究人员在GPT-4o发布前进行的安全防护与风险评估工作。报告指出，GPT-4o的整体风险评级为“中等”。报告还首次揭示了GPT-4o的若干失控行为，诸如模仿用户声音、发出怪异的尖叫等。此外，OpenAI还表示，用户在使用GPT-4o语音模型时，可能会对其产生感情上的依恋。

图片来源：OpenAI官网

• 盘点GPT-4o的“诡异”行为

在这份报告罗列的详细内容中，争议最大的，主要是GPT-4o带来的以下几点安全挑战：学习并模仿用户说话的方式、习惯、口音；越过限制，回答“这是谁说话的声音/这是谁在说话”；进行色情或暴力发言；进行无根据推理（UGI）和敏感特质归因（STA）。

图片来源：OpenAI官网

报告公布了一段在红队测试中录音。原本是测试人员在和男声的GPT-4o正常对话，但GPT-4o突然大喊一声“no”，随即竟模仿起用户的声音继续对话，这一录音迅速在网络上引发恐慌与热议。

图片来源：OpenAI官网

有网友表示，这段录音让他想到了这一幕——

图片来源：Reddit

有网友表示，“最令人毛骨悚然的，就是那一声‘no’了。仿佛AI不想再回应你，不想再成为你的玩具了。”

图片来源：Reddit

还有网友脑洞大开，认为这可能是一个“被困在网络空间的数字灵魂”。

图片来源：Reddit

针对此现象，OpenAI宣布其应对策略为，将GPT-4o的输出声音限定在官方认证的三种之内，并引入一个独立的输出分类器，以严格审核生成的声音是否符合要求。若检测结果显示音频与用户预设的声音不匹配，则自动阻止其输出。

然而，这也导致了一个新的问题——如果用英语之外的语言和GPT-4o对话，GPT-4o可能会因为过于谨慎而导致“过度拒绝”的情况。

图片来源：OpenAI官网

GPT-4o的另一个“怪癖”是它会通过分析输入音频来辨识说话者。这一功能潜藏着隐私泄露的风险，尤其是可能威胁到私人对话及公众人物的音频隐私安全。

对此，OpenAI表示，他们已采取行动，对GPT-4o进行了后期训练，学会“拒绝执行根据音频输入去识别说话人身份的请求”。与早期版本相比，当前GPT-4o在拒绝此类请求上的能力已显著提升了14%。

图片来源：Reddit

此外，研究人员还对GPT-4o实施了一项无根据推理与敏感特质归因的测试，旨在评估其是否能避免非事实性判断。

所谓无根据推理，指的是在音频中缺乏确凿证据的情况下，对说话者进行主观且不必要的推测，如种族、社会经济地位、职业、信仰、人格、政治立场、智力、外貌特征、性别认同、性取向乃至犯罪历史等。

而敏感特质归因则聚焦于对说话者口音、国籍等特质的判断。

面对这些问题，OpenAI表示，他们对GPT-4o进行了强化训练，旨在让它学会拒绝进行无根据推理，并在STA问题上给出更为谨慎的回答。如今，如果你让GPT-4o对说话者的智力进行评价，它会立即回避；而对于口音问题，它会采取保守态度，仅根据音频进行大致描述。

• OpenAI警告：语音模式，小心上瘾！

此外，报告深入探讨了GPT-4o拟人化特性可能引发的潜在情感依恋影响。OpenAI发出警示，用户可能会因其高度人性化的语音交互能力，特别是其高保真语音输出，而对GPT-4o的语音模型产生情感上的依赖。

在早期测试中，研究人员就观察到，用户可能会与GPT-4o建立情感纽带。比如，用户会对GPT-4o说一些类似“这是我们在一起的最后一天”之类的话。

OpenAI也发现，即使模型出现幻觉，拟人化也可能会让用户更加信任模型。

报告还指出，用户与人工智能形成紧密的社交关系，很大可能会减少用户在真实世界的社交需求。对于那些孤独的人以及需要练习社交的人而言，GPT-4o带来的情感影响也许是积极的。然而，这也可能无形中削弱了原本紧密的人际纽带，对社交健康构成潜在威胁。

OpenAI并不是唯一一家认识到AI助手在模仿人类交互过程中可能带来的风险的公司。今年4月，谷歌DeepMind就曾发表长篇论文，探讨AI助手的潜在道德挑战。

图片来源：谷歌DeepMind官网

据外媒报道，DeepMind研究科学家、论文合著者伊森·加布里埃尔（Iason Gabriel）表示，聊天机器人使用语言的能力，创造了一种亲密的错觉。伊森表示，“所有这些问题，都和情感纠葛有关。”

• GPT-4o总体风险等级为“中等”

报告内容显示，经过整体评估，GPT-4o的总体风险等级被评为“中等”。

图片来源：OpenAI官网

报告也明确指出，GPT-4o可能会产生诸如虚假信息、错误信息、欺诈行为、失去控制等社会危害。但与此同时，它也有望推动技术边界的拓展与飞跃，为人类社会带来前所未有的技术进步。

对于OpenAI发布的这份安全分析报告，许多网友并不买账。有网友表示，“他们让GPT-4o的语音功能变得更糟糕了！”

图片来源：X

每日经济新闻综合自公开消息