利用大型语言模型进行预测化学

机器学习已经改变了许多领域，最近在化学和材料科学中得到了应用。化学中常见的小型数据集引发了复杂的机器学习方法的发展，这些方法将化学知识纳入每个应用，因此需要专业知识来开发。研究人员展示了通过对GPT-3进行微调以正确答案以自然语言回答化学问题，从而轻松适应解决化学和材料科学中的各种任务。他们将这种方法与专用的机器学习模型进行了比较，用于许多应用，涵盖分子和材料的特性以及化学反应的产率。令人惊讶的是，微调的 GPT-3 版本可以与传统的机器学习技术相媲美，甚至优于传统的机器学习技术，尤其是在低数据限制方面。

关键词

大型语言模型 (LLM)、分子性质预测、分子设计、逆向设计、GPT-J模型

正文内容

实验设计与方法

1.任务选择和目标设定

研究人员选择了涵盖材料特性、分子设计等方面的一系列任务，并设定了解决这些任务的主要目标，包括评估GPT-3模型在化学领域的性能和适用性。

2.GPT-3模型微调

使用选定的任务和数据集对GPT-3模型进行微调，采用了提供问题和答案示例的方式，以使模型适应化学领域的特定任务。。

3.性能评估指标

研究人员确定了用于评估模型性能的主要指标，包括分类准确率、回归误差等，以及与传统机器学习模型进行性能比较的方法。

4.数据需求

相对于传统机器学习模型，GPT-3模型通常需要更少的数据就能达到相似的性能水平，这对于化学领域中数据稀缺的情况尤为重要。

实验结果与分析

实验结果表明，GPT-3模型在化学领域展现出了出色的性能和广泛的适用性。与传统机器学习模型相比，GPT-3模型在各种化学任务上表现出至少相当的性能水平，甚至在某些情况下表现更好。尤其值得注意的是，GPT-3模型通常需要更少的数据就能达到相似的性能水平，这对于化学领域中数据稀缺的情况尤为重要。此外，实验结果还表明，GPT-3模型具有良好的泛化性能，能够适应新领域和任务，而对于不同的分子表示方法，模型的性能影响不大，使得微调GPT-3模型相对简单。综上所述，GPT-3模型在化学领域具有巨大的潜力，可以成为解决各种化学问题的有效工具。

‍‍‍‍

论文地址：https://www.nature.com/articles/s42256-023-00788-1