微软新必应聊天“翻车”，聊天机器人有哪些局限和风险？
继上周谷歌聊天机器人“Berd”对用户提问给出错误答案后，微软旗下接入ChatGPT的搜索引擎“新必应”也出现了回答错乱。
微软于近期启动了人工智能增强版必应的公开测试，但许多用户发现，新版必应在某些情况下会出现“精神错乱的”言论，甚至侮辱用户、撒谎，并试图操纵用户的情绪。
如在时间错乱问题上，有用户试图通过说现在是 2023 年来纠正机器人，但据称 Bing 否认了他们的说法。“我不知道你为什么认为今天是2023年，但也许你感到困惑或错误”，Bing聊天机器人回答说，“请相信我，我是Bing，我知道日期。”
网友晒出其与微软新bing搜索的聊天截图
微软官方回应称正在根据反馈采取行动，以优化回答的语气和准确性。微软同时警告称，较长的聊天会话可能会导致问题。
回顾最初7天的公开测试，微软必应团队表示，他们没有“完全预计到”，人们会使用聊天界面来进行“社交娱乐”，或是将其作为一种“全面发现世界”的工具。该团队发现，如果聊天会话持续15个或更多的问题，新版必应的模型会感到困惑。这些较长的聊天也会让必应“变得翻来覆去，或者受到刺激，做出不一定有帮助，或是与设计语气一致的回应”。
新华社照片
在英国谢菲尔德大学博士彭煦潭在参与南都举办的沙龙时表示，错误回答是大型语言模型的常见问题，目前ChatGPT仍面临三方面的局限，“第一个是ChatGPT本身所具有的知识是静态的，它不知道如何把新发生的信息源源不断地输入到它的数据库中，无法进行自身的知识更新。第二是目前为止，ChatGPT仍然是一个单模态的模型，只能以文本的方式与它进行交互，同时它也只能输出文本，但是大家心目中真正的人工智能应该是一个多模态的输入输出模型。第三是无法对自己的事实性问题进行纠偏”。
这种能力缺陷也将带来道德风险。浙江大学计算机科学与技术学院教授金小刚则指出了ChatGPT在数据训练过程中可能会带来隐私问题和人为偏见问题，尤其是在接受数据训练时人类自带的无意识偏见会对AI造成较大影响，而这种影响也会体现在它为人类提供的指导方案中。“ChatGPT在理解力和整个知识面上无疑是超越了现有的对话机器人，但它的缺点是对知识的真伪不做区分，也没法区分。什么是智能？综合知识的能力只是一方面，还有一部分是超越现有框架去探索未知的能力，而这些ChatGPT并不具备。”
此外，彭煦潭更加关注ChatGPT生成代码所带来的系统风险，“如果对ChatGPT生成代码中插入无关内容则可能对计算机系统造成伤害，而黑客们可以利用这一点进行攻击”。奇安信人工智能研究院负责人介绍，美国在暗网中发现了1500多条恶意软件和验证代码中有ChatGPT的身影，甚至还利用恶意代码对ChatGPT进行“培训”，以生成可逃避病毒检测的恶意代码不同变体，研究人员已经确定ChatGPT可以有效生成信息窃取器、远程访问木马和加密货币窃取器等。
采写：南都记者 马宁宁 实习生 张海若