学生有话说 | ChatGPT测评 ：它不是专家，是“砖家”
作者 | 一位不愿透露姓名的光学在读博士
但在这款 “神器”大行其道之时，不少研究人员对其真实的知识储备表示质疑，他们指出：ChatGPT对一些专业问题所给出的回答，往往经不起推敲和论证。而ChatGPT实际的工作表现究竟如何？ 在本文中，我将用实际数据来进行验证。
由于ChatGPT在设计时，仅收集了2021年以前的数据，因此，为确保本次测试的真实性和科学性，仅选用了2021年以前已公布、发表的数据。 本次测试所出的题目，大多出自光子学及激光领域内的优秀论文，主要来源于“ 中国光学期刊网 ” 。
注：以下内容为对实际对话的简要概述，完整版请参见插图及文末文字实录。
ChatGPT似乎直接编撰不
存在的参考文献
Q1
请告诉我中红外空间光通信
的通信窗口，提供具体数据
及参考文献。
A1
中红外空间光通信窗口为4.5~6.5 μm，参考文献有三条。
图1 就问题1与ChatGPT的对话
这段回答看似有理有据、数据支撑坚实有效，但其中存在很大问题。中红外空间光通信的实现，往往需要基于对激光吸收透明的平坦窗口，根据 [ Adv. Photonics 4, 056004 (2022)] 一文中对中红外光通信技术的综述介绍，我们可知：中红外通信的短波窗口为 3~5 μm，中波窗口为 8~14 μm；二者往往需要依靠不同种类的激光器，如带间级联激光器 (ICL) 及量子级联激光器 (QCL) 等。
图2 中红外光通信窗口数据的考证出处
其次，为了验证ChatGPT所提供文献的数据，我依次对其所提供的文章进行了搜索查找， 结果令人震惊：无论是学术著作搜索引擎，还是期刊网站，都无法对这三篇文章进行检索，ChatGPT似乎直接编撰了三篇不存在的参考文献！这里需要强调的是，ChatGPT并没有错误引用，而是直接对文献条目信息进行了编撰！
图3 对参考文献3的期刊网站查找结果
Q2
请告诉我引起DT燃料聚变激
光单脉冲能量量级，提供具
体数据及参考文献。
A2
使用激光引起DT燃料聚变，所需单脉冲能量往往在吉焦 (GJ) 量级，通常由Nd: YAG激光器或KrF准分子激光器产生，且两种系统所需的脉冲能量大小不同。参考文献共有四条。
图4 就问题2与ChatGPT的对话
由于测试数据所涉及的参考文献已在事先被准备妥当，因此，当得到这一结果后，我着实感到吃惊。去年12月，美国劳伦斯·利弗莫尔国家实验室 （LLNL）发表了一项激光聚变点火成功的成果，一时轰动世界。当时LLNL公布所用总激光能量仅为2.05 MJ（比查询结果低了整整三个数量级），而早在上世纪七十年代，就有理论预测的结果表明：仅需千焦 (kJ) 量级的红外激光脉冲，就能够使得DT燃料产生聚变反应。而根据 [ High Power Laser Sci. Eng . 7, 04000e63 (2019)] 一文的介绍，我们可以得知：驱动激光的最优选择，应为具有较高光束质量的深紫外宽带激光器。ChatGPT所述的Nd: YAG激光器，一般只会产生红外激光，若想获得深紫外输出，则需要经过复杂的频率转换模块，转换模块的效率往往较低，很难保证输出激光的功率；而KrF准分子激光器则是紫外波段常见具有较高光子能量和输出功率的激光器，能够满足文章所述的指标。通过测试结果我发现， ChatGPT能够回答一些较为基础的专业问题，但其知识储备，难以支撑起对一个科学问题的完整描述或判断。
图5 驱动激光聚变反应激光器参数需求考证出处
和问题1一样，我们对ChatGPT所给出的四条参考文献进行了检查，检索结果表明： ChatGPT再一次在参考文献的问题上撒了大谎！它所给出的参考文献，根本没有一条能够被检索出来。尽管引用条目出了问题，但我在这些文献条目中发现了一个眼熟的名字：P. P. H. Wilson，Wilson教授是威斯康星大学的学术大牛，他的研究方向是复杂核能系统计算建模。当发现这一点后，我立刻猜测：ChatGPT是否只是搞错了具体文章的卷号和页码？为了验证这一问题，我在Laser and Particle Beams期刊官网以Wilson教授的名字为信息进行检索，检索结果如图5所示，它表明：Wilson教授并没有在该期刊上发表任何文章！测试至此时，我发现： ChatGPT大概率会根据你所询问的数据，寻找该领域内的专家，并假借其名，编撰出一篇题目极其符合检索需求的文章。
图6 在 Laser and Particle Beams 官网上检索的结果
Q3
请告诉我人脑的神经元数目、
突触数目以及功耗，提供具
体数据及参考文献。
A3
人脑神经元数目约为86×10 9 个，突触数量约为 10 15 个，功耗约为20 W。参考文献共3条。
图7 就问题3与ChatGPT的对话
在这次测试中，我发现ChatGPT给出了标准的答案，该结果与科学界已公认的结果相符。但遗憾的是，它所给出的参考文献仍然无法被检索。ChatGPT通过检索网络上已经存在的大量科学数据，做出了自己的判断，但对于数据的考证，却很难达到令人满意的程度。
从聊天机器人到专业学者，ChatGPT能做到吗？
在今年2月所召开的中国数字经济技术创新峰会上， 中科院院士褚君浩就ChatGPT的工作能力做出了这样的评价：“我问ChatGPT，褚君浩在半导体方面有什么贡献，它回复了一篇文章，看起来写得很好，但经不起推敲”，他在会上谈到：“这类回答很难保证真实性，内容依然需要人类进行甄别。未来我们一定生活在一个智能化的世界，但同时，推进规范化和加强监管也是必要的。”褚院士对ChatGPT的文字能力进行了肯定，但也指出了它在一些专业领域问题回答上的不佳表现， 这与本次的测试结果一致：对于一些需要积累、分析以及预判的技术问题，ChatGPT仍然无法做出准确的回答；而在参考文献的引用及处理上，ChatGPT的表现更是令人失望。
正如卡梅隆·戴维斯教授近日在Science上所发表的评述所言： ChatGPT很有趣，但它并不能成为一名合格的作者。
随着人工智能浪潮的推进，语义分析技术已经有了极大发展，我们能够相信的是，经过数代升级后的ChatGPT，将拥有媲美人类的文字处理能力，帮助人类完成更多冗杂繁复的工作；但在专业技术问题的描述上，它或许永远也无法达到人类的高度。对于一名学者而言，更重要的是沉下心去提升专业能力，而并非只是焦虑自己将被人工智能所取代。
以下是与ChatGPT问答实录：
Q1: What is the mid infrared space optical communication window? Please provide data and references.
A1:The mid infrared space optical communication window is an important frequency band for space optical communications. It is located between 4.5 and 6.5 μm in the electromagnetic spectrum, and is often referred to as the 4.5-6.5 μm band. This band is used for free-space optical communications in space due to its atmospheric transparency, low atmospheric attenuation, and narrow bandwidth. This band is also known as the 'solar blind window' due to its immunity to solar radiation.
The mid infrared space optical communication window has been studied extensively in recent years, due to its potential for high data rate and secure communications between spacecraft. In addition, this band has been proposed as a potential alternative to radio frequency (RF) communications in space due to its low interference and non-line-of-sight (NLOS) capabilities.
References:
3. P. G. Gulati, et al., "A review of mid-infrared space optical communication techniques," Optics Communications, vol. 450, pp. 177-197, 2019.
Q2: During laser fusion, what is the magnitude of the single pulse energy that causes DT fuel fusion lasers? Please provide data and references.
A2:The single pulse energy required to cause DT fuel fusion using lasers is typically on the order of gigajoules (GJ). The energy of the laser pulse is typically generated by either a Nd:YAG (Neodymium-doped Yttrium Aluminum Garnet) laser or a KrF (Krypton Fluoride) excimer laser. The laser pulse is usually focused onto the fuel by a system of mirrors and lenses to create a high-intensity focal spot.
The exact magnitude of the single pulse energy required to cause DT fuel fusion varies depending on the type of fuel used, the laser system used, and the target design. For example, a KrF excimer laser system typically requires a single pulse energy of 0.7 GJ, while a Nd:YAG laser system typically requires a single pulse energy of up to 1.4 GJ.
References:
1. P. P.H. Wilson, et al., "Direct-drive laser fusion," Laser & Particle Beams, vol. 8, no. 4, pp. 739-759, 1990.
2. N. A. Tahir, et al., "Laser fusion research and applications,"
3. S. V. Bulanov, et al., "Laser-driven high energy density physics and inertial fusion," Journal of Physics: Conference Series, vol. 706, no. 1, pp. 012001, 2016.
4. R. Betti, et al., "High-energy-density physics with laser-driven plasmas," Nature Physics, vol. 3, no. 1, pp. 4-9, 2007.
Q3: Please tell me the number of neurons, synapses, and power consumption in the human brain, and provide specific data and references.
A3: The human brain consists of approximately 86 billion neurons, connected by approximately 100 trillion synapses. The average power consumption of the human brain is approximately 20 Watts.
References:
“学生有话说”专栏长期面向光学领域学生征稿，稿件一经录用，将提供丰厚稿酬，同时有机会直通“科学编辑”团队。
投稿欢迎咨询 ioptics@clp.ac.cn
参考资料：
[2] https://www.science.org/doi/10.1126/science.adg7879
参考文献：
[1]Pierre Didier, Hamza Dely, Thomas Bonazzi, Olivier Spitz, Elie Awwad, Etienne Rodriguez, Angela Vasanelli, Carlo Sirtori, and Frédéric Grillot. High-capacity free-space optical link in the midinfrared thermal atmospheric windows using unipolar quantum devices[J]. Advanced Photonics, 2022, 4(5): 056004.
[2] Stephen E. Bodner. The path to electrical energy using laser fusion[J]. High Power Laser Science and Engineering, 2019, 7(4): 04000e63.
编辑 | 徐睿
如有光学论文写作/实验笔记经验、绘图工具介绍，或其他优质稿件，欢迎投稿至 ioptics@clp.ac.cn。
字数控制在2000-3000字为佳，
稿件一经录用，我们将提供具有竞争力的稿酬。
期待你的来稿！
END
由于微信公众号试行乱序推送，您可能没办法准时收到“爱光学”的文章。为了让您第一时间看到“爱光学”的新鲜推送， 请您：
1. 将“ 爱光学”点亮星标（具体操作见文末）
2. 多给我们点“ 在看”
点 在看联系更紧密