美国哥伦比亚大学研究揭示ChatGPT新闻搜索结果准确性问题堪忧

根据The Verge的报道，美国哥伦比亚大学Tow数字新闻研究中心的研究人员最近对OpenAI推出的ChatGPT搜索工具进行了评估。这项工具旨在为用户提供快速且精准的答案，并附带来源链接，但在准确性方面却暴露出了一些问题。

这项研究是在今年11月OpenAI向订阅用户推出ChatGPT搜索工具后不久进行的。研究人员选取了20家出版商的200条引文作为测试样本，其中包括来自禁止OpenAI爬虫抓取内容的网站的40条引文。尽管如此，ChatGPT仍然以高度自信的态度提供了答案，而这些答案中几乎没有显示出不确定性或怀疑。

测试结果揭示，ChatGPT在处理文章引用时存在明显的困难，尤其是在面对与OpenAI有数据共享协议的出版商内容时。在这次测试中，ChatGPT共作出了153次完全或部分错误的回答，仅有7次明确表示无法准确作答。这7次回答使用了诸如“看起来”、“有可能”等表达不确定性的词汇，或者直接承认找不到具体的文章。

进一步分析显示，ChatGPT给出的全部回答中，“错误”的比例高达89次，“部分正确”的有57次，而完全正确的只有47次。一些具体的案例也展示了这一问题的严重性：例如，ChatGPT将《奥兰多哨兵报》的一封读者来信错误地归因于《时代周刊》的文章；而在另一例中，它试图验证一篇《纽约时报》关于濒危鲸鱼的文章时，却链接到了一个抄袭该文章的网站。

对于这些发现，OpenAI回应说，在没有获得测试的具体数据和方法的情况下，纠正这些问题非常具有挑战性。公司认为这次研究并不典型，但承诺会持续改进搜索结果的质量。此外，OpenAI早前已经宣布与新闻行业建立了广泛的合作关系，包括与多家知名媒体合作，以改善其搜索功能的表现。通过这些合作，OpenAI希望能够提升ChatGPT搜索工具的可靠性和准确性，从而更好地服务于用户需求。