ChatGPT「化学助手」预测实验结果 ，为LLM加速科学发现提供新途径
编辑 | 凯霞
由于新材料的开发耗时又耗力。当我们站在通用人工智能 (AGI) 时代的边缘时，AI 和化学之间的协同潜力巨大。
化学家希望 AI 有朝一日能够彻底改变传统化学研究范式。
近日，来自加州大学的研究团队使用 AI 模型 ChatGPT 执行一项特别耗时的任务：搜索科学文献。利用这些数据，他们构建了第二个工具，一个预测实验结果的模型。
研究人员使用提示工程（prompt engineering ）来指导 ChatGPT 从不同格式和风格的科学文献中自动进行金属有机框架 (MOF) 合成条件的文本挖掘。这有效地缓解了 ChatGPT 产生信息幻觉的倾向，这是以前在科学领域使用大型语言模型（LLM）具有挑战性的问题。这个称为 ChatGPT 化学助手 ( ChatGPT Chemistry Assistant，CCA) 的新系统也可用于其他化学领域。
该研究以「ChatGPT Chemistry Assistant for Text Mining and the Prediction of MOF Synthesis」为题，发表在《Journal of the American Chemical Society》上。
论文链接：https://doi.org/10.1021/jacs.3c05819
LLM 有望改变传统化学研究方式
化学家的梦想是创造物质，造福社会。创建 AI 驱动的化学助手的想法提供了前所未有的机会，通过应用跨学科的知识，有效地处理劳动密集型和耗时的任务，如文献检索、化合物筛选和数据分析，来彻底改变化学研究的格局。AI 驱动的化学可能最终超越人类认知的极限。
确定化合物的化学信息，包括理想的合成条件和物理和化学性质，一直是化学研究中的重要工作。从文献报告（如出版物和专利）中全面总结化学信息，并将其存储在有组织的数据库格式中，是发现材料的下一个合乎逻辑且必要的步骤。挑战在于如何有效地挖掘大量现有文献，以获得有价值的信息和见解。
传统上，采用专门的自然语言处理（NLP）模型来解决这个问题。然而，这些方法可能是劳动密集型的，需要编码、计算机科学和数据科学方面的专业知识。此外，它们的可泛化性较差，当目标发生变化时需要重写程序。GPT-3、GPT-3.5 和 GPT-4 等大型语言模型 (LLM) 的出现有可能从根本上改变这一过程，并在未来十年彻底改变化学研究的常规。
ChatGPT 化学助手
在此，研究人员证明了 LLM，包括基于 GPT-3.5 和 GPT-4 模型的 ChatGPT，可以充当化学助手与人类研究人员合作，促进文本挖掘和数据分析，以加速研究进程。为了利用所谓的 ChatGPT 化学助手的强大功能，研究人员为化学相关任务的 ChatGPT 提示工程提供了综合指南，使研究人员无论是否熟悉机器学习都可以使用它，从而弥合化学家和计算机科学家之间的差距。
研究人员提出了：
（1）一种使用 ChatGPT 对金属有机框架（MOF）的合成条件进行文本挖掘的新方法，该方法可以轻松推广到需要最少编码知识并主要根据口头指令操作的其他环境；
（2）通过准确度评估和数据提炼能力来评估 ChatGPT 在文献文本挖掘方面的智能程度；
（3）利用文本挖掘获得的化学合成反应数据集来训练能够预测反应结果为结晶粉末或单晶的模型。
此外，证明了 CCA 聊天机器人可以根据文献条件进行调整，专门回答与 MOF 合成相关的问题，并且产生最少的幻觉。该研究强调了 ChatGPT 和其他 LLM 在化学研究领域的变革潜力，为合作和加速科学发现提供了新的途径。
基于 ChatGPT 的文本挖掘的设计注意事项
利用一定的选择标准，研究人员从 Web of Science、Cambridge Structure Database MOF 子集和 CoreMOF 数据库检索的大量 MOF 论文中，将选择范围缩小到 228 篇论文。
为了使 ChatGPT 能够处理每篇论文，设计了三种类似于人类阅读论文的不同方法：（1）在文档中定位包含合成条件的潜在部分，（2）确认所识别的部分中是否存在合成条件，（3）逐一提取合成参数。对于 CCA，这些步骤是通过过滤、分类和汇总来完成的。
图 1：CCA 工作流程示意图。（来源：论文）
在流程 1 中，研究人员开发了提示来指导 ChatGPT 总结这些论文中指定实验部分的文本。为了取代人工干预来获取合成部分的需要，在流程 2 中，为 ChatGPT 设计了一种方法，将文本输入分类为「实验部分」或「非实验部分」，使其能够生成用于摘要的实验部分。在流程 3 中，进一步设计了一种技术来快速消除不相关的论文部分，例如参考文献、标题和致谢，这些部分不太可能包含全面的综合条件。这加快了后续分类任务的处理速度。因此，在流程1中，ChatGPT 单独负责总结和列出合成条件，并需要一段或多段实验文本作为输入，而流程 2 和流程 3 可以被认为是一个「自动论文阅读系统」。虽然流程 2 需要对整篇论文进行彻底检查以仔细检查每个部分，但更高效的流程 3 会快速扫描整篇论文，删除最不相关的部分，从而减少 ChatGPT 必须仔细分析的段落数量。
指示工程在化学相关任务领域，通过采用提示工程 (PE) 可以显著提高 ChatGPT 的性能，这一精心设计提示的方法，可引导 ChatGPT 生成精确且相关的信息。研究人员提出了以化学为重点的应用中提示工程的三个基本原则，称为 ChemPrompt engineering:
（1）最小化幻觉，这需要制定提示以避免从 ChatGPT 中引出捏造或误导性的内容。
（2）实施详细说明，即在提示中提供明确的指示，以帮助 ChatGPT 理解上下文和所需的响应格式。
（3）请求结构化输出，包括纳入有组织且定义明确的响应模板或指令以促进数据提取。
通过问题后的附加提示，可以最大限度地减少幻觉并迫使 ChatGPT 根据其知识回答问题（表 1 和表 2）。
表 1：在没有指示工程的情况下对 ChatGPT 反应中的幻觉进行评估。（来源：论文）
表 2：利用基本提示工程策略改进 ChatGPT 响应准确性。（来源：论文）
由于几乎没有文献系统地讨论化学中的指示工程，而且该领域相对较新，因此研究人员为初学者提供了全面的分步 ChemPrompt 工程指南。研究人员希望该研究能够激发更强大的指示工程技能的发展，帮助每一位化学家快速了解 ChemPrompt 工程的艺术，从而推动整个化学领域的发展。
图 2：精心设计的 ChemPrompt（图左）的图示，其中包含了 ChemPrompt 工程的所有三个基本原理（图右）。（来源：论文）
具体研究：文本挖掘、ML 模型、聊天机器人
为了评估文本挖掘中三个过程的准确性，研究人员对整个结果数据集进行了全面分析。特别是，他们手动写下了三个过程中所有论文中报告的约 800 种化合物的所有 11 个参数的基本事实，用于判断文本挖掘输出。这涉及对近 26000 个合成参数的分级。
此过程结合了其 ChemPrompt 工程策略来指导 ChatGPT 进行文本挖掘，从而实现令人印象深刻的精确度、召回率和 90-99% 的 F1 分数。
图 3：基于 ChatGPT 的文本挖掘流程的多方面性能分析。（来源：论文）
这些分数超过了 MOF 相关领域文本挖掘中大多数其他模型的分数。这一创新的 ChatGPT 化学助手工作流程的成功建立有望显著简化科学研究。
此外，利用文本挖掘建立的数据集，研究人员构建了一个机器学习模型，预测 MOF 实验结晶结果的准确率超过 87%，并初步识别了 MOF 结晶的重要因素。
最后，为了使数据更加用户友好，研究人员还开发了一个可靠的基于数据的 MOF 聊天机器人来回答有关化学反应和合成程序的问题。
图 4：MOF 聊天机器人。（来源：论文）
LLM 在化学研究领域极具潜力
该研究成功证明了 LLM 在化学研究领域的潜力。研究人员推出了 ChatGPT 化学助手，极大地推进了 MOF 合成文献的提取和分析，准确率、召回率和 F1 分数超过 90 %。
研究人员从合成条件数据集中阐明了两个重要的见解。首先，这些数据可用于构建反应结果的预测模型，从而揭示影响 MOF 结晶过程的关键实验因素。其次，可以创建一个 MOF 聊天机器人，它可以基于文本挖掘提供准确的答案，从而改善对合成数据集的访问并实现数据到对话的过渡。这说明了 ChatGPT 和其他 LLM 作为概念证明所固有的快速发展的潜力。
从根本上讲，这项研究为与 LLM 的互动提供了指导，以充当化学家的 AI 助手，以最少的先决条件编码专业知识加速研究，从而更有效地弥合化学与计算和数据科学领域之间的差距。通过互动和聊天，可以修改实验的代码和设计，使数据挖掘民主化并改善科学研究的前景。该研究为 LLM 在各个科学领域的进一步探索和应用奠定了基础，为 AI 辅助化学研究的新时代铺平了道路。
参考内容：https://phys.org/news/2023-08-chatgpt-chemistry.html