普林斯顿大学团队成功利用大型语言模型精确预测晶体特性，加速材料发现工作

编辑 | X

晶体特性的预测在晶体设计中扮演着非常重要的角色。目前，主要依靠图神经网络（GNN）对晶体结构进行建模来预测晶体的特性。虽然GNN非常强大，但是准确地模拟晶体内部原子和分子之间的复杂相互作用仍然是一个具有挑战性的任务。

虽然文本数据提供了丰富的信息和表现力，但晶体文本描述预测晶体特性的研究仍不充分，其中一个主要原因是缺乏公开数据。

普林斯顿大学的研究人员利用一种名为大型语言模型（LLM）的人工智能工具开发出一种新方法，用于预测晶体材料的行为。这个新方法结合了文本描述中的各种信息，例如原子之间键的长度和角度，以及电子和光学特性的测量结果等细节。通过这种综合分析，新方法可以更准确地预测新材料的特性，比现有的模拟方法更全面。这一突破有望加快新技术设计和测试的过程。

研究人员开发并公开了一个基准数据集（称为 TextEdge），其中包含来自 Materials Project 的 140,000 多个晶体的描述，然后，提出了 LLM-Prop，一种利用 LLM 的通用学习能力从文本描述中预测晶体的物理和电子特性的方法。

研究人员测试了该工具对先前研究的晶体结构（从食盐到硅半导体）特性的预测能力。已经验证了LLM-Prop的预测能力，并正在努力将其应用于新晶体材料的设计。

论文一作、普林斯顿大学计算机科学助理教授 Adji Bousso Dieng 表示，他们的方法代表了一个新的基准，可以加速材料的广泛应用。他们是第一个团队使用大型语言模型来解决这个问题的。

该方法于 2023 年 11 月 29 日，在波士顿举行的 the Materials Research Society's Fall Meeting 上提出。

相关研究以「LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions」为题，发布到 arXiv 预印平台。

现有的基于人工智能的晶体特性预测工具依赖于图神经网络的方法，但这些方法的计算能力有限，无法充分捕捉晶体中原子之间的几何形状和键长的细微差别，以及由这些结构产生的电子和光学性质。

「我们在计算机视觉和自然语言方面取得了巨大进步，」Dieng 说，「但在处理 AI 图方面，我们还不是很先进。所以，我想从图转移到我们已经有了很好的工具的领域。如果我们有文本，那么我们就可以在文本上利用所有这些强大的大型语言模型。」

该研究的合著者、普林斯顿大学机械与航空航天工程教授兼负责创新的副院长 Craig Arnold 表示，基于语言模型的方法「为我们提供了一种全新的方式来看待材料设计问题。这实际上是关于，我如何获取人类已经开发的所有这些知识，以及如何处理这些知识以向前发展？它与我们当前的方法有本质上的不同，我认为这赋予了它很大的力量。」

研究的主要贡献概述如下：

• 研究人员收集、整理并公开一个基准数据集，其中包含大约 144K 晶体文本描述及其属性。
• 提出 LLM-Prop，这是一种高效微调的网络，使其能够在晶体特性预测方面实现最先进的性能，优于当前最好的基于 GNN 的晶体特性预测器。

表 1：来自收集的基准数据集的示例。（来源：论文）

数据包含 144, 931 个晶体，将其分为 125, 098 个晶体用于训练，9,945 个晶体作为验证集，9,888 个晶体作为测试集。对于每个晶体，收集其 ID、结构信息、带隙、体积以及其带隙是直接还是间接的。使用 Robocrystallographer 提取了晶体文本描述。

LLM-Prop，是一个源自 T5 的精心微调的网络，用于晶体特性预测。通过大量实验证明，LLM-Prop 在预测晶体固体的物理和电子特性方面实现了卓越的性能，超越了当前最先进且使用广泛的基于 GNN 的架构（例如 ALIGNN）。

LLM-Prop 在所有任务上都能产生更好或相当的性能，包括 zero-shot 预测。尽管超参数少了 3 倍，LLM-Prop 的性能也优于经过微调的 MatBERT（一种特定领域的预训练 BERT 模型）。

LLM-Prop 在回归和分类任务上都优于所有基于 GNN 的基线。

表 2：与带隙预测基线的性能 (MAE) 比较。（来源：论文）

对于带隙预测，LLM-Prop 在验证集和测试集上均优于性能最佳的基线 (ALIGNN)，分别提高了约 8% 和 4%。

表 3：性能 (MAE) 与体积预测基线的比较。（来源：论文）

对于体积预测，LLM-Prop 还比验证集和测试集上的最佳性能基线 (ALIGNN) 分别提高了约 67% 和 66%。这种改进的可能原因可能是，与 GNN 相比，LLM-Prop 可以很容易地从文本描述中获取最重要的体积预测信息。

研究结果凸显了基于文本的方法在材料科学中的巨大潜力，基准文本数据 TextEdge 将助力这一新兴领域的研究。

参考内容：https://techxplore.com/news/2024-01-harness-large-language-materials-discovery.html