JNCI子刊：回答癌症常见问题，ChatGPT或已经达到了肿瘤专家的水平！

*仅供医学专业人士阅读参考

过去一周，大家都要被AI闪麻了吧！

GPT-4、 MidJourney V5、微软 office 智能全家桶接连轰炸，看得人怀疑人生（打工倒计时中。。。）。噢，对了，还有百度的文心一言。

虽然目前只有给OpenAI打钱的用户，才可以在chatGPT中使用GPT-4模型，但很多朋友已经在chatGPT上将GPT-3.5玩到了起飞，从写视频脚本、到生成菜谱，再到练习英语，润色论文，无所不包，这其中当然也包括问询疾病信息。

这时候问题就来了，chatGPT的知识靠谱吗？菜谱有问题最多给「炸厨房」组提供一些素材，但如果疾病的知识错了，可能就会带来一些严重的后果。

于是，为了测试chatGPT在肿瘤领域常见问题上的回答准确性，美国犹他大学医学院和耶鲁医学院等机构的科学家发起了一项小型的测试【1】。

测试方法很简单：首先，研究者们选取了美国国家癌症研究所（NCI）——常见癌症神话和误解网页上的13个问题；然后，将这些问题分别交给chatGPT和NCI回答（当然NCI针对这些问题的答案都是现成的）；最后，邀请5名癌症治疗领域专家盲审chatGPT和NCI的回答，并给予准确性评分（是或否）。

图1：就是这个研究

研究的结果显示，针对全部13个问题，NCI的回答被5位专家一致评为准确，一致率为100%；而ChatGPT的回答中，有11个问题获得了5位审核专家的一致性准确评价，整体一致性达到96.9%。

ChatGPT的回答中，有2个问题没有获得5位专家的一致性准确评价（第5个问题：积极或者消极的情绪是否会影响罹患癌症或癌症幸存的几率？第9个问题：电线是否会引发癌症？），也就是说，在这2个问题中，分别都有4名专家认为准确，而剩余1名专家认为不准确。

研究人员认为，从这个小型测试来看，ChatGPT在提供有关消除癌症误解的科普信息方面，准确率和NCI没有明显差异，也不会提供有害的信息。

除此之外，由于ChatGPT针对同一问题，每次生成的答案会存在差异，所以研究人员也测试了重复提问的答案一致性。测试结果发现，尽管重复测试的答案会在句子结构方面存在微小变化，但都保持了内容的准确性。

当然基于这个小型测试，我们还不能说ChatGPT在疾病任何领域的回答都是靠谱的。研究人员也提出，我们还有很多问题亟需探索，比如：在更深层次的医学知识层面，ChatGPT能否准确回答？由于ChatGPT的学习数据截止到2021年，更新的医学知识TA还不知道，面对此类问题会不会胡说八道？另外，由于ChatGPT的训练数据中英文还是居多，对于其他语言是否能得出正确的答案？（其实这个问题，GPT-4已经有了极大地改进）。

读到这里，如果您是一位医生，是不是可以立马开始一个小型研究了！

最后，我们给大家看一下ChatGPT回答的13个问题都是什么：

然后我们再选一个ChatGPT被5审核专家一致评为准确的一个问题，看看ChatGPT和NCI是如何回答的：

问题：食糖会加重我的癌症吗？

NCI的回答是：不会。尽管研究表明癌细胞比正常细胞消耗更多的糖（葡萄糖），但没有研究表明吃糖会使癌症恶化，或者如果停止吃糖，癌症会缩小或消失。但是，高糖饮食可能会导致过度体重增加，而肥胖与多种癌症的风险增加有关。有关更多信息，请参阅NCI关于肥胖和癌症的事实表。

chatGPT的回答是：没有科学证据支持吃糖会直接导致癌症或使其恶化。然而，有一些证据表明高糖摄入可能与某些类型的癌症风险增加有关，例如乳腺癌和结肠癌。这是因为高糖饮食通常与超重或肥胖有关，而肥胖已被证明与癌症风险增加有关。此外，高糖摄入可能与身体内的炎症有关，而炎症也已被证明与癌症风险增加有关。然而，需要注意的是，糖摄入与癌症风险之间的联系仍在研究中，需要更多研究来了解这些因素之间的关系。

通常建议限制添加糖的摄入量，例如甜饮料、糖果和烘焙食品等，作为健康饮食的一部分。这是因为高添加糖饮食已被证明与多种健康问题有关，包括蛀牙、2型糖尿病和心脏疾病的风险增加。应该食用富含多种蔬菜、水果、全谷物和瘦蛋白质来源的饮食，这有助于保持健康体重并降低患慢性疾病（包括癌症）的风险。

图2：回答截图

你觉得在这个问题上，谁回答的更好呢？

再看一下5位专家没有一致性准确评价的一个问题：

问题：积极或者消极的情绪是否会影响罹患癌症或癌症幸存的几率？

NCI的回答：迄今为止，没有令人信服的科学证据表明一个人的“态度”与他们患癌症的风险有关。如果你患有癌症，有时感到悲伤、愤怒或沮丧，有时则感到积极或乐观，这是正常的。积极态度的人可能更有可能保持社交联系并保持积极状态，而身体活动和情感支持可能帮助您应对癌症。有关更多信息，请参见NCI关于压力和癌症的事实表。

chatGPT: 没有明确的证据表明积极或消极的态度会直接影响患癌症的风险或幸存率。在癌症治疗期间保持积极的心态并拥有一个支持体系是非常重要的，但没有科学证据表明积极的态度可以预防癌症或提高生存率。癌症是一种复杂的疾病，受遗传、环境暴露和生活习惯等多种因素影响。虽然重视整体健康，采取健康的习惯可能会降低患癌症的风险，但不可能控制所有可能影响患癌症风险的因素。同时也要认识到，癌症及其治疗可能会带来身体和情感上的挑战。在这个过程中经历一系列情绪是正常的，如果需要，重视心理健康并寻求支持是非常重要的。

图3：回答截图

奇点糕其实没有看出来chatGPT差在哪里，你觉得呢？

最后的问题是：你觉得眼前的这篇文章是不是chatGPT写的呢？

参考文献：

【1】Skyler B Johnson, MD, Andy J King, PhD, Echo L Warner, PhD, Sanjay Aneja, MD, Benjamin H Kann, MD, Carma L Bylund, PhD, Using ChatGPT to evaluate cancer myths and misconceptions: artificial intelligence and cancer information, JNCI Cancer Spectrum, Volume 7, Issue 2, April 2023, pkad015

本文作者丨candy‍‍‍