当前位置:首页|资讯|微软|谷歌|ChatGPT|新版必应|人工智能

微软新必应聊天“翻车”,聊天机器人有哪些局限和风险?

作者:南方都市报发布时间:2023-02-17

原标题:微软新必应聊天“翻车”,聊天机器人有哪些局限和风险?

继上周谷歌聊天机器人“Berd”对用户提问给出错误答案后,微软旗下接入ChatGPT的搜索引擎“新必应”也出现了回答错乱。

微软于近期启动了人工智能增强版必应的公开测试,但许多用户发现,新版必应在某些情况下会出现“精神错乱的”言论,甚至侮辱用户、撒谎,并试图操纵用户的情绪。

如在时间错乱问题上,有用户试图通过说现在是 2023 年来纠正机器人,但据称 Bing 否认了他们的说法。“我不知道你为什么认为今天是2023年,但也许你感到困惑或错误”,Bing聊天机器人回答说,“请相信我,我是Bing,我知道日期。”

网友晒出其与微软新bing搜索的聊天截图

微软官方回应称正在根据反馈采取行动,以优化回答的语气和准确性。微软同时警告称,较长的聊天会话可能会导致问题。

回顾最初7天的公开测试,微软必应团队表示,他们没有“完全预计到”,人们会使用聊天界面来进行“社交娱乐”,或是将其作为一种“全面发现世界”的工具。该团队发现,如果聊天会话持续15个或更多的问题,新版必应的模型会感到困惑。这些较长的聊天也会让必应“变得翻来覆去,或者受到刺激,做出不一定有帮助,或是与设计语气一致的回应”。

新华社照片

在英国谢菲尔德大学博士彭煦潭在参与南都举办的沙龙时表示,错误回答是大型语言模型的常见问题,目前ChatGPT仍面临三方面的局限,“第一个是ChatGPT本身所具有的知识是静态的,它不知道如何把新发生的信息源源不断地输入到它的数据库中,无法进行自身的知识更新。第二是目前为止,ChatGPT仍然是一个单模态的模型,只能以文本的方式与它进行交互,同时它也只能输出文本,但是大家心目中真正的人工智能应该是一个多模态的输入输出模型。第三是无法对自己的事实性问题进行纠偏

这种能力缺陷也将带来道德风险。浙江大学计算机科学与技术学院教授金小刚则指出了ChatGPT在数据训练过程中可能会带来隐私问题和人为偏见问题,尤其是在接受数据训练时人类自带的无意识偏见会对AI造成较大影响,而这种影响也会体现在它为人类提供的指导方案中。“ChatGPT在理解力和整个知识面上无疑是超越了现有的对话机器人,但它的缺点是对知识的真伪不做区分,也没法区分。什么是智能?综合知识的能力只是一方面,还有一部分是超越现有框架去探索未知的能力,而这些ChatGPT并不具备。”

此外,彭煦潭更加关注ChatGPT生成代码所带来的系统风险,“如果对ChatGPT生成代码中插入无关内容则可能对计算机系统造成伤害,而黑客们可以利用这一点进行攻击”。奇安信人工智能研究院负责人介绍,美国在暗网中发现了1500多条恶意软件和验证代码中有ChatGPT的身影,甚至还利用恶意代码对ChatGPT进行“培训”,以生成可逃避病毒检测的恶意代码不同变体,研究人员已经确定ChatGPT可以有效生成信息窃取器、远程访问木马和加密货币窃取器等。

采写:南都记者 马宁宁 实习生 张海若


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1