Net5.5G智能云網(wǎng)即將全面發(fā)布，打造新一代數(shù)字基礎(chǔ)設(shè)施

中科大團(tuán)隊(duì)開發(fā)首個(gè)通用的大語言模型分子交互學(xué)習(xí)框架，在多個(gè)數(shù)據(jù)集超 4,000,000 個(gè)分子對(duì)上驗(yàn)證了其可靠性。

簡述

分子關(guān)系學(xué)習(xí)（Molecular Relational Learning）旨在理解和建模分子對(duì)的交互作用，如分子對(duì)交互（Drug-drug Interaction，DDI）、溶液-溶劑交互（Solution-solvent Interaction）。近來，憑借豐富的知識(shí)儲(chǔ)備和優(yōu)秀的推演能力，大型語言模型（LLMs）已成為實(shí)現(xiàn)分子關(guān)系高效學(xué)習(xí)的重要工具。

盡管這一方法頗有成效，但當(dāng)前范式的主要問題是數(shù)據(jù)利用的不充分。如下圖（a）所示，當(dāng)前范式主要依賴于文本數(shù)據(jù)（如 SMILES），未能充分且顯式地利用分子圖中固有的豐富結(jié)構(gòu)信息。

加劇這一問題的是統(tǒng)一學(xué)習(xí)框架的缺失，因?yàn)槠渥璧K了從各個(gè)數(shù)據(jù)集中學(xué)習(xí)到的關(guān)鍵交互信息與底層交互邏輯的高效共享和整合。如下圖 b 所示，這一缺失擴(kuò)大了數(shù)據(jù)利用的不充分的影響，使得 LLMs 因高度過擬合的風(fēng)險(xiǎn)而無法建模那些廣泛存在的、數(shù)據(jù)量較少的分子交互任務(wù)。

▲ 圖1：當(dāng)前基于 LLMs 的分子交互學(xué)習(xí)范式與 MolTC 的比較。（a）現(xiàn)行方法的通用范式；（b）將當(dāng)前范式應(yīng)用于樣本量較少的任務(wù)時(shí)所帶來的挑戰(zhàn)；（c）我們的 MolTC 的架構(gòu)。

為了緩解這一問題，我們提出了一個(gè)通用的、基于 LLM 的多模態(tài)分子交互學(xué)習(xí)框架，MolTC(Molecular inTeraction Modeling enhanced by Chain-of-thought theory)。如上圖 c 所示，MolTC 通過圖編碼器（Encoder）和映射器（Projector）高效地建模分子圖信息，并創(chuàng)新性地提出了多層級(jí)思維鏈（Multi-hierarchical Chain-of-thought）的概念來引導(dǎo)訓(xùn)練范式的優(yōu)化。

此外，為了加強(qiáng)數(shù)據(jù)間的信息共享，我們?yōu)槠湓O(shè)計(jì)了一個(gè)新穎的動(dòng)態(tài)參數(shù)共享策略，以實(shí)現(xiàn)效率和精度的雙贏。同時(shí)，鑒于這一領(lǐng)域數(shù)據(jù)集的缺失，我們還構(gòu)建了一個(gè)全面的分子交互指令數(shù)據(jù)集，MoT-instructions，用于提高當(dāng)前基于 LLMs 的學(xué)習(xí)框架（包擴(kuò)我們的 MolTC）對(duì)分子交互任務(wù)的理解能力。

我們在涉及超過 4,000,000 個(gè)分子對(duì)的十二個(gè)不同領(lǐng)域數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)。結(jié)果表明，我們的方法優(yōu)于當(dāng)前基于 GNN 的、基于（除 GNN 外）其它傳統(tǒng)深度學(xué)習(xí)架構(gòu)的、和基于 LLMs 的基線方法。

多模態(tài)輸入框架

我們首先簡要介紹上圖 c 中所示的 MolTC 框架。其中，Graph Encoder 采用傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)（GNN）架構(gòu)；Projector 采用在視覺領(lǐng)域常用于多模態(tài)對(duì)齊的 Querying Transformers （Q-Former）架構(gòu)，作為 backbone 的 LLM 則是采用在生化任務(wù)中表現(xiàn)突出的 Galactica。更多細(xì)節(jié)勞請移步我們的論文和代碼。

基于多層級(jí)思維鏈的訓(xùn)練范式

我們重點(diǎn)介紹基于多層級(jí)思維鏈的 MolTC 訓(xùn)練范式。首先，考慮到從分子對(duì)中直接生成復(fù)雜相互作用的挑戰(zhàn)性，處于上層的思維鏈指導(dǎo) MolTC 的預(yù)訓(xùn)練過程優(yōu)先識(shí)別并按次序輸出輸入分子對(duì)中，每個(gè)分子的關(guān)鍵生化性質(zhì)，為準(zhǔn)確預(yù)測它們的交互奠定基礎(chǔ)。具體而言，在預(yù)訓(xùn)練階段，Prompts 的統(tǒng)一設(shè)計(jì)如下：

預(yù)訓(xùn)練階段的數(shù)據(jù)來自多個(gè)權(quán)威的、包含分子-性質(zhì)對(duì)的生化數(shù)據(jù)庫如 Drugbank 和 PubChem。為了提高 MolTC 在不同分子交互場景下的泛化能力，我們對(duì)上述數(shù)據(jù)庫中的分子進(jìn)行隨機(jī)組合，來構(gòu)造不同的分子對(duì)。

隨后，在微調(diào)階段，針對(duì)定性分子交互分析任務(wù)，Prompts 直接根據(jù)特定的下游任務(wù)進(jìn)行定制。而針對(duì)傳統(tǒng) LLMs 較難處理的定量分析任務(wù)，下層的思維鏈指導(dǎo) MolTC 優(yōu)先為目標(biāo)數(shù)值預(yù)估一個(gè)大致的范圍，然后逐步將其細(xì)化到一個(gè)精確的值。以溶液-溶劑交互任務(wù)為例，其 Prompts 的設(shè)計(jì)如下：

動(dòng)態(tài)參數(shù)共享策略

為了提高上述訓(xùn)練范式的效率，MolTC 引入了一種新穎的參數(shù)共享策略。具體而言，我們首先考慮分子交互任務(wù)的以下關(guān)鍵屬性：

（1）交互中分子角色的重要性。例如，在溶液-溶劑交互場景中，水和乙醇互為溶劑會(huì)產(chǎn)生不同的能量釋放。某些時(shí)候，角色的顛倒甚至?xí)?dǎo)致交互反應(yīng)的停滯。

（2）交互中分子順序的重要性。例如，在藥物對(duì)交互場景中，藥物引入順序的不同可能會(huì)導(dǎo)致不同的治療效果。

（3）分子角色/順序帶來的特征重要性的差異。例如，在發(fā)色團(tuán)-溶液對(duì)中，一個(gè)化學(xué)基團(tuán)在溶液內(nèi)會(huì)對(duì)交互屬性產(chǎn)生關(guān)鍵的影響，但其在發(fā)色團(tuán)中時(shí)，則可能對(duì)交互無足輕重。

▲ 圖2：應(yīng)用動(dòng)態(tài)參數(shù)共享策略后的的 MolTC 訓(xùn)練范式。其中，鏈環(huán)表示兩個(gè)模塊之間的參數(shù)共享；雪花表示參數(shù)凍結(jié)；火焰表示參數(shù)更新。

這些屬性自然地啟發(fā) MolTC 適應(yīng)性地優(yōu)先考慮倆個(gè)分子內(nèi)的不同信息，即根據(jù)角色和順序?yàn)榉肿觿?chuàng)建獨(dú)特的編碼。具體而言，為了學(xué)習(xí)到這種差異性，同時(shí)維持分子對(duì)中學(xué)習(xí)到的共性信息的共享，我們引入了如下參數(shù)共享策略：

（1）考慮 Graph Encoder 專注于提取底層的分子圖結(jié)構(gòu)，并未將語義與分子結(jié)構(gòu)進(jìn)行對(duì)齊，因此，在預(yù)訓(xùn)練和微調(diào)階段，MolTC 共享倆個(gè) Graph Encoder 的參數(shù)，以增強(qiáng)其學(xué)習(xí)效率。

（2）考慮 Projector 專注于實(shí)現(xiàn)分子結(jié)構(gòu)與語義信息的對(duì)齊，因此，在預(yù)訓(xùn)練階段，MolTC 共享倆個(gè) Projector 的參數(shù)以提高系統(tǒng)的泛化性和魯棒性；在微調(diào)階段，MolTC 終止這一共享，實(shí)現(xiàn)根據(jù)不同下游任務(wù)中的分子角色和順序量身定制的語義映射。

MoT-instruction數(shù)據(jù)集開發(fā)

在 MolTC 的訓(xùn)練過程中，鑒于當(dāng)前缺乏一個(gè)通用的、為大模型分子關(guān)系學(xué)習(xí)量身定制的指令數(shù)據(jù)集，我們首先給出這一數(shù)據(jù)集應(yīng)當(dāng)滿足的關(guān)鍵性質(zhì)：（1）它應(yīng)包含橫跨多個(gè)領(lǐng)域的、可以進(jìn)行交互的大量分子對(duì)；（2）它應(yīng)詳細(xì)描述這些分子對(duì)中每個(gè)分子的重要生化屬性，以及（3）它應(yīng)根據(jù)思維鏈的形式闡述分子對(duì)的交互性質(zhì)。

具體來說，我們通過以下三步構(gòu)建上述 MoT-instructions 數(shù)據(jù)集：

（1）我們首先收集多個(gè)具有代表性的分子交互數(shù)據(jù)集，并從 DrugBank 和 PubChem 等權(quán)威生化數(shù)據(jù)庫中獲取這些交互所涉及分子的生化屬性；

（2）隨后，我們進(jìn)行最優(yōu)指令確定。具體而言，我們根據(jù)訓(xùn)練 MolTC 得到的預(yù)測性能作為指標(biāo)，來對(duì)定量交互 instructions 中的數(shù)值區(qū)間進(jìn)行設(shè)定。并結(jié)合該值的統(tǒng)計(jì)數(shù)據(jù)（如均值和方差）得出最優(yōu)區(qū)間設(shè)定和統(tǒng)計(jì)數(shù)據(jù)之間的規(guī)律，推廣至更多的定量交互數(shù)據(jù)集中；

（3）最后，我們將交互涉及的每個(gè)屬性單獨(dú)抽取至一個(gè)獨(dú)立的數(shù)據(jù)空間，以在排除交互屬性中缺失值、模糊值的干擾下，不浪費(fèi)分子對(duì)所提供的其他有用信息。

實(shí)驗(yàn)

為了更全面地評(píng)估 MolTC 的有效性，我們將基線算法分為三類：基于 GNN 的、基于其他深度學(xué)習(xí)模型的以及基于 LLMs 的方法。部分定性和定量的實(shí)驗(yàn)結(jié)果如下表所示。更多結(jié)果如消融實(shí)驗(yàn)結(jié)果煩請移步我們的文章或代碼。

▲ 表1：定性實(shí)驗(yàn)結(jié)果（以藥物對(duì)交互任務(wù)為例）

▲ 表2：定量實(shí)驗(yàn)結(jié)果（以溶液溶劑交互任務(wù)為例）




審核編輯：劉清