GPT-4.0的科研应用大升级,底层科研人员也极有可能被替代!
本文我们对比了免费版chatGPT-3.5、GPT-4.0、NewBing Chat在给定主题综述框架汇总上的表现,GPT-4.0完胜!并且不论在文本逻辑还是思考深度上都有质的飞升!
如果用一句话总结使用感受,我会如下说:chatGPT-3.5像一个乐于助人的小伙子,反应快,但是经验较少,回答问题流于表面;GPT-4.0就像一个智慧的老者,反应慢一些,但是经验丰富,给我们的回答更反映出深入思考的特征!
接下来我们看下针对免费版chatGPT-3.5、GPT-4.0、NewBing Chat这三种应用的科研应用具体测试对比效果。
目的:测试以上三种chatGPT应用对给定主题提供综述写作框架效果,以反映它们的文本深度学习及逻辑推理能力
主题:巨噬细胞代谢异质性在肺癌免疫治疗中的研究进展
要求:提供综述写作框架
实现方式:通过场景限定、角色定位、让chatGPT针对特定主题给出综述写作框架
测试结果
1. 免费版chatGPT-3.5:我们可以看到,GPT-3.5给出的答复。乍一看确实也是那么回事,可是当我们尝试根据该框架投入综述写作实战时,就会发现,这个框架很虚,虽然总体方向没问题,但是不够细化。因此,如果我们参考该框架去写综述,仍然需要投入大量的时间进行框架小标题的细化。
2. NewBing Chat:这里使用的是Skype内置的Bing chat,本质上调用的是GPT-4.0的阉割版。通过测试结果,可以看出,相同的问题,NewBing Chat第一次回答,只是简单列出了大标题框架,非常不具体。于是我们让它继续给出详细框架,此时,NewBing Chat确实可以给一个更加详尽的框架,当和免费版的chatGPT-3.5相比,仍然没有实质性的提升。二者给的框架都还是停留在更大范畴,看起来很虚,不太能够直接拿来使用,仍然有结合人工深入细化修改才行。
3. GPT-4.0:惊奇的是,当我们把相同的问题丢给GPT-4.0后,我们看到的答复,相比于上面两种,就有了质的飞跃。主要表现为,给出的回复,能够非常具体的列出综述写作框架细节,让我们拿到这个框架后真的可以不用怎么修改就直接投入使用。
查重问题:当然,看到这里,很多小伙伴又要担心查重问题。比如不同的人,如果问GPT-4.0相同的问题,那么会不会得到相同的答案,如果会,那就涉及重复及查重问题。
于是我们将上面相同的问题再次丢给GPT-4.0,通过结果我们可以看到,针对相同主题,得到了完全不同的综述写作框架(见下图)。这也说明,我们担心的重复性问题,很可能在GPT-4.0这里不存在。当然,最好的建议是,如果大家拿GPT-4.0来提供综述写作框架时,最好让它给我们提供3-5个版本,我们拿到后综合考量一下,根据需要也可以做一下不同版本的拆分组合,这样基本可以保证不存在查重问题了。
简而言之:免费版chatGPT和NewBing Chat给出的答案,还需要借助人工大量深度修改才能实用;而GPT-4.0给出的答案,基本可以拿来就直接使用了!
科研应用场景:当然,GPT-4.0在科研应用上的升级不仅仅局限于综述写作中的逆天表现,在诸如语言润色(中文润色、中译英、英文润色、文本校对等)、R语言学习辅助、文献解析、整合研究领域前沿热点、研究思路推荐等等方面都将带来极大提升!
我们后续也将针对GPT-4.0在科研中的应用做系列解读视频,欢迎大家打开Bilibili扫下面二维码先预约,避免错过!
关注大师兄,科研不迷路!