MEGNet普適性圖神經(jīng)網(wǎng)絡(luò) 精確預(yù)測分子和晶體性質(zhì)

近年來機(jī)器學(xué)習(xí)算法在包括自然語言處理，圖像識(shí)別等諸多領(lǐng)域大放異彩。得益于如Materials Project1, QM92,3等材料數(shù)據(jù)庫的不斷完善和發(fā)展，機(jī)器學(xué)習(xí)正在被越來越多的應(yīng)用在材料學(xué)領(lǐng)域的研究中。然而，由于研究目標(biāo)的單一性，多數(shù)工作仍然局限于解決特定的晶體結(jié)構(gòu)以及特定的材料性質(zhì)預(yù)測問題。一種泛化的，普適性的機(jī)器學(xué)習(xí)模型仍然是材料學(xué)領(lǐng)域研究的重點(diǎn)目標(biāo)。此研究是基于

基于DeepMind建立的圖神經(jīng)網(wǎng)絡(luò)框架。

在材料學(xué)領(lǐng)域，對(duì)分子或晶體結(jié)構(gòu)的特征描述需要滿足平移，轉(zhuǎn)動(dòng)，鏡面不變性，以及對(duì)整體結(jié)構(gòu)特異信息的表征。常見的結(jié)構(gòu)特征描述由于其局域性，缺乏對(duì)整體結(jié)構(gòu)信息的表達(dá)，因而不具有普適性。圖網(wǎng)絡(luò)模型(graph-network)是一種基于圖論的結(jié)構(gòu)化模型，從理論上完美解決了這一問題。在圖論中，圖(graph)由若干給定的頂點(diǎn)(node)及連接頂點(diǎn)的邊(edge)構(gòu)成。運(yùn)用到分子(或晶體)結(jié)構(gòu)中，原子(atom)可以由頂點(diǎn)(node)描述，連接原子之間的化學(xué)鍵(bond)可以由邊(edge)描述，從而可以把一個(gè)個(gè)分子或晶體結(jié)構(gòu)看作一個(gè)個(gè)獨(dú)立的“圖”。基于此類模型的結(jié)構(gòu)描述方法，科研工作者可以開發(fā)出針對(duì)任何材料結(jié)構(gòu)或任何物理化學(xué)性質(zhì)的普適性模型。盡管具有理論可行性，此類模型由于模型復(fù)雜度，材料數(shù)據(jù)量的限制，仍很少被應(yīng)用在材料學(xué)領(lǐng)域中4,5。近日，UC San Diego 的 Shyue Ping Ong 課題組基于DeepMind建立的圖神經(jīng)網(wǎng)絡(luò)框架6，開發(fā)了一套分子和晶體通用性質(zhì)預(yù)測模型(MEGNet)，在各項(xiàng)性質(zhì)預(yù)測測試中達(dá)到了領(lǐng)先水平7。

圖 1. MEGNet 概述。每個(gè)分子/晶體結(jié)構(gòu)由化學(xué)鍵信息，原子信息，和狀態(tài)信息描述。每個(gè)結(jié)構(gòu)描述輸入模型后，依次更新，直到總的結(jié)構(gòu)輸出性質(zhì)與DFT計(jì)算值接近。

圖1中描述了該模型的工作模式： 每個(gè)結(jié)構(gòu)可用三個(gè)向量表征，分別包含原子信息，化學(xué)鍵信息，和狀態(tài)函數(shù)信息。在每一次模型訓(xùn)練迭代中，依次更新化學(xué)鍵向量，原子向量，和狀態(tài)函數(shù)向量，得到新的結(jié)構(gòu)表征向量，直到通過該表征輸出的性質(zhì)與DFT計(jì)算結(jié)果趨于一致。作者首先用QM9 分子數(shù)據(jù)集中超過130k數(shù)據(jù)作為訓(xùn)練集訓(xùn)練模型，并用得到的模型預(yù)測分子中的13項(xiàng)物理化學(xué)性質(zhì)，在其中的11項(xiàng)中達(dá)到同類模型中的最優(yōu)結(jié)果（表1）。更為先進(jìn)的是，之前的工作對(duì)由狀態(tài)參數(shù)關(guān)聯(lián)的狀態(tài)函數(shù)，如內(nèi)能（U0, U），焓(H)，和吉布斯自由能(G)，采用的是分別訓(xùn)練模型進(jìn)行預(yù)測的方法。

然而本工作中，作者采用加入狀態(tài)參數(shù)作為輸入的方法，可由單一模型同時(shí)預(yù)測U0, U, H和G，并保持與分別模型訓(xùn)練類似的準(zhǔn)確度，大大提高了訓(xùn)練效率[YZ1]。在針對(duì)晶體結(jié)構(gòu)的應(yīng)用中，作者用Materials Project數(shù)據(jù)庫中超過69k數(shù)據(jù)作為訓(xùn)練集，針對(duì)生成能，能帶帶隙，體積模量和剪切模量進(jìn)行了回歸（Regression）分析，并用帶隙值作為金屬和非金屬的判據(jù)進(jìn)行分類(classification)分析?；貧w分析中的平均絕對(duì)誤差（MAE）低于同類型模型SchNet4和CGCNN5（表2），金屬和非金屬分類分析中綜合準(zhǔn)確率達(dá)86.9%，ROC中AUC達(dá)到0.926，與此前最優(yōu)模型CGCNN類似。

表1. 不同模型在QM9上預(yù)測13項(xiàng)性質(zhì)的平均絕對(duì)誤差（MAE）對(duì)比

表2. MEGNet和其他基于圖像模型

在Materials Project數(shù)據(jù)集的預(yù)測準(zhǔn)確度對(duì)比

在對(duì)模型的深入分析中，作者發(fā)現(xiàn)，從最優(yōu)模型中提取出的元素映射（embedding）與化學(xué)常識(shí)吻合。例如，將元素映射投影二維空間可發(fā)現(xiàn)，Eu和Yb與其他鑭系元素距離較遠(yuǎn)，而與堿土金屬更接近，這與化學(xué)經(jīng)驗(yàn)相符。這樣的分析一方面佐證了模型可以學(xué)習(xí)到可靠的化學(xué)信息，另一方面可將學(xué)習(xí)到的化學(xué)信息用于遷移學(xué)習(xí)，以大大降低訓(xùn)練新模型訓(xùn)練所需數(shù)據(jù)量。例如，在此例中，作者通過用~69k生成熱的數(shù)據(jù)訓(xùn)練的模型提取的元素映射，用于預(yù)測帶隙和彈性性質(zhì)的模型訓(xùn)練，后者的數(shù)據(jù)量只有生成熱的一半甚至十分之一。通過遷移學(xué)習(xí)的方法作者得到比直接訓(xùn)練更低的MAE和提高兩倍的收斂速度。這為小數(shù)據(jù)量的性質(zhì)的高效準(zhǔn)確模型訓(xùn)練提供了可行的方案。

在模型的使用方面，用戶可登陸http://megnet.crystals.ai，根據(jù)提示輸入晶體結(jié)構(gòu)編碼或cif文件即可得到模型預(yù)測的性質(zhì)。另外，文章所涉及的Python代碼均已開源（https://github.com/materialsvirtuallab/megnet.git）。下面示例如何使用已有模型和訓(xùn)練新的模型。

1示例一： 使用分子模型

2示例二：使用晶體模型預(yù)測剪切模量

3示例三：訓(xùn)練新模型