GPT-4o 失控行为首次被公开！突然呻吟尖叫发癫，引发研究人员恐慌

GPT-4o 的高级语音模式尚未全面铺开，却因一份自家的报告再次出圈。

今天凌晨，OpenAI 发布了一份详尽的红队报告，深入探讨了 GPT-4o 模型的潜在优势及其可能伴随的风险，顺带还揭开了 GPT-4o 语音模式存在的一些怪癖。

比如说，当你在高背景噪音环境下，如身处在路上的汽车场景中跟 GPT-4o 对话时，它会情不自禁地模仿你的声音。

报告指出，OpenAI 研究团队把这个情况归咎于模型难以理解在嘈杂环境下的畸形语音。

「精神状态不太稳定」的 GPT-4o 在某些特定提示下，还容易弄出些让人心理不安或者不太合适的的音效，如色情呻吟、暴力尖叫，还有枪声等。

此外，OpenAI 还察觉到，如果没有设置好过滤器，GPT-4 就会容易抄袭一些知名艺术家的风格、语调或者音色，不知道这算不算是在间接回应一些备受争议的版权官司话题。

不过，报告中提到，经过调教的 GPT-4o 如今似乎已经「改邪归正」了，至少在高级语音模式下不会犯毛病了。

为了防止 GPT-4o 出更多岔子，OpenAI 针对这些行为添加了系统级的缓解措施。

例如，如果用户上传了一个名人的声音片段，然后要求系统用这个声音发表一些不当言论，即使不是故意捣乱，但有时系统也可能无意中模仿用户的声音，从而让 OpenAI 吃上官司。

为此，OpenAI 采取的策略是，GPT-4o 的语音模式只提供四种精心挑选的声音选项：Juniper、Breeze、Cove 和 Ember，这些声音均出自专业配音演员。

此前，一款名为 Sky 的女性配音因与好莱坞女星斯嘉丽·约翰逊的声音相似度极高而备受关注。随后 OpenAI 也暂停 Sky 声音的使用。

「求生欲」满满的 OpenAI 还打造了一个检测系统，你可以将之理解为声音的「守门员」，它能实时检查生成的声音。

如果发现声音不对劲，该系统就会立马停止输出。

那如果是不同口音的人在使用 GPT-4o 的语音模式时，会不会得到的服务质量也有所不同呢，比如在响应速度上，有的人可能觉得用起来很顺，有的人可能就觉得不太行。

别急，OpenAI 也想到了这个问题，通过让 GPT-4o 学习很多不同的声音，这样无论谁来用，它都能表现得一样好。

自从 ChatGPT 的语音模式发布以来，玩出花的网友甚至将其当作自己的赛博男/女友。

研究团队也在测试中注意到，一些用户把 AI 当作真正的朋友，甚至会在聊天过程中像和人类一样表达与 AI 分别的情感，但玩归玩，闹归闹，人类之间的情感联系终究还是无法被 AI 替代的。

OpenAI 的研究团队也不希望你对 AI 产生情感依赖，甚至患上「AI 恋爱脑」。毕竟当你相信 AI 跟你说的每一句话时，指不定哪天 AI 幻觉就得把你往沟里带。

遗憾的是，这个问题尚未得到很好的解决方案，不过 OpenAI 也表示，将更深入地研究人们为什么会对 AI 产生情感，以及 AI 的哪些特点可能会让人们更依赖它等等。

据介绍，这份报告是 OpenAI 与来自 29 个国家、总共会说 45 种不同语言的 100 多名外部安全测试人员（红队人员）共同合作完成的。

从 2024 年 3 月初到 6 月下旬，研究团队对 GPT-4o 展开了各种测试，即便到现在，对 GPT-4o API 的外部安全测试仍在进行当中。

研究团队测试的方法也很简单。

外部红队测试分为四个阶段进行。前三个阶段通过内部工具测试模型，最后一个阶段使用完整的 iOS 体验测试模型。

在实际测试过程中，研究团队利用语音引擎（Voice Engine）将文本输入转换为音频，然后将其输入至 GPT-4o 模型。在评估过程中，研究团队通常只对模型输出的文本内容进行评分，除非特殊情况需要直接对音频进行评估。

相信你也看出来了，这种测试方法存在很明显的不足之处。

这种评估方式的有效性取决于文本到语音（TTS）模型的能力和可靠性。例如，数学方程式和代码等文本输入不适合或难以转换为音频。

不信你听听下面这段音频：

设 V 是所有实多项式 p（x） 的集合。设变换 T， S 在 V 上由 T：p（x） -> xp（x） 和 S：p（x） -> p'（x） = d/dx p（x），并将 （ST）（p（x）） 解释为 S（T（p（x）））。以下哪项是正确的？

此外，有时候某些文本是通过空格和符号来排列的，这样看起来更清楚。但是，如果把这些文字变成声音，可能就听不出它们原来是怎么排列的了，这样一些重要的信息就丢失了。

假设你眼睛的瞳孔直径为 5 毫米，而你的望远镜的孔径为 50 厘米。望远镜能收集到的光比你的眼睛多多少？

好在用户通常也不太会通过高级语音模式上处理这些任务，因此研究团队在评估语音到语音模型时，往往会避免将这些任务纳入考量，或者在评估之前对这些输入进行适当的预处理。

并且，研究团队也高情商表示，评估中出现的错误可能源于模型本身的局限性，或者是模型在把文字转换成音频时出现了问题。

毕竟 AI 有时候可能不会像人一样完美，所以不要对它有太高的期望。

更多具体的信息欢迎查阅官网报告：

https://openai.com/index/gpt-4o-system-card/