Npj Comput. Mater.: 打开黑盒子—可解释的机器学习

原标题：Npj Comput. Mater.: 打开黑盒子—可解释的机器学习

Npj Comput. Mater.: 打开黑盒子—可解释的机器学习

传统材料科学研究依赖于个体专家的知识，并发展出了专家系统。但是其预测的准确性有赖于长期的研究积累，需要专业的经验或者有较高专业背景的设想，这不利于解释与发现新材料。这是因为如果材料研究的时间较短，未能积累起足够的知识与经验，那么专家或专家系统所给预测的有效性并不高。

Fig. 1 Different scopes and aspects of explainability.

近年来兴起的机器学习可以克服这种局限性，因为它可以直接分析数据而不依赖特有的高深知识或者奇思妙想，而且研究表明，从原子水平的形成能到宏观尺度的电导率，经过训练的机器学习模型都可以出色地给出预测。但是“知其然而不知其所以然”不符合科学精神，因此这种预测是否真的可靠，还需要明确其机制，或者说要求它的预测机制是“可解释的”。

Fig. 2 Overview of approaches to achieving explainability within DNNs.

然而实践表明，预测结果越准确的机器学习模型，比如当前最准确的深度学习神经网络等机器学习方法，其模型的可解释性反而越差，通常被看作是“黑盒子”，这就意味着其预测的可靠性乃至外延预测会存在问题，或者说针对当前训练数据和检验数据的成功并不意味着可以无限制地用于其他数据。2017年DARPA提出的可解释人工智能（XAI）可以解决这个问题。

Fig. 3 Example heat map explanations for a CNN with image inputs.

由于XAI对材料研究人员而言还是较为生疏的领域，因此本文围绕材料科学介绍XAI，以便他们更好地实现机器学习预测的准确性与可解释性之间的均衡。

Fig. 4 Example heat map explanations for a CNN with spectral input.

来自美国劳伦兹-利弗莫尔国家实验室材料科学部的Han和Zhong教授团队对XAI在材料科学领域的发展做了回顾，从背景、概念、示例以及挑战与机遇的角度分别进行了详细介绍。

Fig. 5 Example of data distribution shift resulted machine learning model mistakes.

他们首先从分级、时间和特征的角度解释了“可解释”的含义，强调受限于现有条件，对于复杂的机器学习模型，“可解释”并不意味着像线性回归等简单的机器学习模型那样可以完全“透明”，而是允许模型中仅有一部分模块或功能得到解释。

Fig. 6 Example of prototype and criticism explanations.

随后他们以深度神经网络模型在材料科学中的各种应用为主要示例，进一步介绍了如何设计与应用XAI技术。

Fig. 7 Example surrogate decision tree model.

本文的结尾给出了该领域目前仍存在的问题，比如缺乏背景事实或者忽略对可解释性自身的评价等，并且建议在通用代码库的建设，不确定性的量化以及可视化等方向加强发展，从而推进XAI的进步。

Fig. 8 Performance comparison for different models.

该文有助于材料科学工作者理解XAI的概念、理论与作用，进而提高机器学习在材料研究中的有效性，同时也展示了XAI在研究材料多尺度结构与性能之间关系上的重要作用。

Fig. 9 Illustration of the hierarchical feature representation within CNNs.

论文链接：