公测才一周,微软的新一代搜索引擎New Bing就错误频出。
美东时间2月8日,在谷歌发布会上,谷歌的人工智能聊天机器人Bard在该产品的第一个演示视频中犯了一个“事实错误”,成了谷歌当日股价大跌的导火索。作为与 Bard 对标、嵌入 ChatGPT 技术的微软 New Bing,在最初的48小时内,有超过100万人注册试用,却也没有承载住人们的期待。
几天前,在微软副总裁 Yusuf Mehdi 对 Bing 的展示中,它需要对服装公司 Gap 2022年第三季度财报进行要点整理,但却给出了一些错误的数据,甚至自己编造了一些数据。具体来看:
Bing 给出的 Gap 调整后的运营毛利率为5.9%。然而在实际财报中,Gap的运营毛利率是4.6%,调整后则是3.9%。
(Gap 2022年第三季度财报)
Bing 给出的 Gap 毛利率为37.4%,但实际调整后的毛利率应为38.7%;现金和现金等价物为14亿美元,但实际财报中是6.79亿美元;调整后摊薄每股收益为0.42美元,但实际财报里的数据应是0.71美元。
(Gap 2022年第三季度财报)
Gap 在去年8月就下调了全年业绩预期,并在对四季度的展望中表示,四季度销售净增长率“可能呈中间个位数下降”,但 New Bing 给出的全年的销售指引为“预计销售净增长率为低双位数”。
Bing 甚至还编造了一些财务数据,给出了 Gap 的“营业毛利率为7%,摊薄每股收益为1.6美元到1.75美元之间”,但这些数据在 Gap 三季度财报中并没有出现。
对于 Lululemon 的财报分析,Bing也犯了大量的类似错误。New Bing 给出的 Lululemon 毛利率为58.7%,实际上应为55.9%;营业毛利率为20.6%,实际上应为19.0%;摊薄每股收益为1.65美元,实际上应为2.00美元。
(Lululemon 2022年第三季度财报)
独立搜索研究员 Dmitri Brereton 周一在社交平台上写道:
在演示过程中,Bing的一些答案完全错误。但没有人注意到。
相反,所有人都迫不及待地跳上这趟“炒作”的列车。
Brereton 指出,除了财务数据错误之外,Bing 为在墨西哥城旅行的游客们也提供了一些存在问题的建议。Bing 推荐的几个酒吧,没有任何客户评价、联系方式或者商店介绍,但这些信息都可以在谷歌地图或者商店的 Facebook 主页上找到。此外,Bing 给出的营业时间、商品价格和商店地址都存在误差。
专家对此表示,这可能是它的一种“幻觉”(hallucination),基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。ChatGPT 这类大型语言模型的生成,随着生成的序列越长,越容易脱离给定的数据,生成各种虚假错误信息。
而微软方面表示,他们知道这些错误,预计 Bing 也会犯错。微软发言人周二在接受媒体采访时表示:
我们注意到了这份报告,并分析了调查结果,正努力改善用户体验。
我们意识到仍有工作要做,预计系统在测试期间还可能会继续犯错,正因如此,反馈才至关重要,这可以帮助我们学习和改进模型。