ChatGPT确有缺陷
|
廖俊平 广州学者
上周的专栏文章提到我猜测ChatGPT给出不靠谱回答的两种可能，一是中文语言处理能力不足，二是以高度的幽默来对付胡编乱造的问题。但我接着再试了一下，又把我自己的这两种假设都否定了。
我用英文提问：“What did Caddy and Versh do when they caught that great fish?”（Caddy和Versh在抓到那条大鱼之后做了些什么？）
英文提问，不存在中文语言处理能力不足的问题。再看回答，答案出来得比中文对话时要快多了，回答的第一句是：“‘Caddy and Versh’ and ‘that great fish’ is a reference to a short story by Ernest Hemingway called ‘The Old Man and the Sea’”首先应该判断它是在努力认真回答，因为如果把“Caddy and Versh”去掉，整句话是完全正确的。尤其是：“that great fish”虽说是从海明威的《老人与海》中原样拷贝下来的文字，但这个表述并非十分特别，别的书里也完全有可能出现，可它能辨认出并且认定这就是《老人与海》里面的文字。不过它为啥就不能认出“Caddy and Versh”呢？Caddy和Versh是另一位诺奖得主福克纳的小说《喧哗与骚动》里面的主要人物，我之所以同时用了两个名字，是因为这样两个名字同时再出现在另外作品里面的概率是很小的，哪怕在百度搜索Caddy and Versh，结果都会跟《喧哗与骚动》联系起来（在谷歌搜索当然也是这样）。
为了进一步判别，我又问了一个不那么“胡扯”的问题：“Why did Caddy play with Versh?”（Caddy为什么要跟Versh一起玩耍？）
在《喧哗与骚动》里有不少Caddy和Versh一起玩耍的场景，这个问题应该比较好回答，可出乎意料，它似乎陷在前面对话的场景中了，回答说海明威的《老人与海》里面没有提到“Caddy and Versh”（这也算是对刚才回答错误的修正？）
我看看能不能帮它跳出这个陷阱，再问：“Do you know anything about Caddy and Versh?”（关于Caddy和Versh，你知道些啥？），这绝对是送分题了，可它认真诚实地回答（译成中文）：Caddy和Versh这两个词并不常见，可能是某本书或者某个电影里的人物，如果你能提供更多的相关场景，我或许能解答你的问题。
结论：ChatGPT掌握的知识的确还很不够。