首個中文醫(yī)學(xué)知識LLM：真正的賽華佗—華駝(HuaTuo)

先劃重點：中文醫(yī)學(xué)知識，不是「中醫(yī)」。

自從 Meta（原 Facebook）的 LLaMA 大語言模型發(fā)布以來，相信大家看到了許多以“駝類動物”命名的 LLM。比如斯坦福用了 Alpaca，伯克利用了 Vicuna，Joseph Cheung 等開發(fā)者團隊用了 Guanaco。

據(jù)說南美洲的無峰駝類動物一共就是上圖列出的 4 種 —— 已經(jīng)被各家的大模型命名使用。

不得不承認(rèn)這些以“駝類動物”命名的 LLM 都很厲害，但如果，我是說如果，我拿出下面這個 LLM，閣下又當(dāng)如何應(yīng)對？

沒錯，正是「華駝」。

見名知意，華駝肯定跟醫(yī)學(xué)有關(guān)——這是一個基于中文醫(yī)學(xué)知識的LLaMA 微調(diào)模型。

說到這，這個 LLM 的命名很難不讓人拍案叫絕，將神醫(yī)華佗與基于“羊駝”的大語言模型巧妙地結(jié)合在一起。

此項目開源了經(jīng)過中文醫(yī)學(xué)指令精調(diào) / 指令微調(diào) （Instruct-tuning） 的 LLaMA-7B 模型。

通過醫(yī)學(xué)知識圖譜和 GPT 3.5 API 構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對 LLaMA 進行了指令微調(diào)，提高了 LLaMA 在醫(yī)療領(lǐng)域的問答效果。

據(jù)介紹，醫(yī)學(xué)知識庫圍繞疾病、藥物、檢查指標(biāo)等構(gòu)建，字段包括并發(fā)癥，高危因素，組織學(xué)檢查，臨床癥狀，藥物治療，輔助治療等。知識庫示例如下：

{“中心詞”： “偏頭痛”， “相關(guān)疾病”： ［“妊娠合并偏頭痛”， “惡寒發(fā)熱”］， “相關(guān)癥狀”： ［“皮膚變硬”， “頭部及眼后部疼痛并能聽到連續(xù)不斷的隆隆聲”， “晨起頭痛加重”］， “所屬科室”： ［“中西醫(yī)結(jié)合科”， “內(nèi)科”］， “發(fā)病部位”： ［“頭部”］}

然后利用 GPT3.5 接口圍繞醫(yī)學(xué)知識庫構(gòu)建問答數(shù)據(jù)，并設(shè)置了多種 Prompt 形式來充分利用知識。指令微調(diào)的訓(xùn)練集數(shù)據(jù)示例如下：

“問題：一位年輕男性長期使用可卡因，突然出現(xiàn)胸痛、嘔吐、出汗等癥狀，經(jīng)檢查發(fā)現(xiàn)心電圖反映心肌急性損傷，請問可能患的是什么疾??？治療方式是什么？” 回答： 可能患的是心肌梗塞，需要進行維拉帕米、依普利酮、硝酸甘油、?阻滯劑、嗎啡等藥物治療，并進行溶栓治療、低分子量肝素、鈣通道阻滯劑等輔助治療。此外需要及時停用可卡因等藥物，以防止病情加重?！?/p>

該項目提供模型的訓(xùn)練數(shù)據(jù)集共計八千余條，需要注意的是，雖然訓(xùn)練集的構(gòu)建融入了知識，但是仍存在錯誤和不完善的地方。

基于相同的數(shù)據(jù)，項目團隊還訓(xùn)練了醫(yī)療版本的 ChatGLM 模型：ChatGLM-6B-Med。

這些模型在醫(yī)療領(lǐng)域的問答效果得到了顯著提升，下面是不同模型的效果對比：

由此可見，指令微調(diào)在醫(yī)療領(lǐng)域具有很大的應(yīng)用潛力。

同時，該項目還嘗試將醫(yī)學(xué)文獻的【結(jié)論】融入多輪對話，在此基礎(chǔ)上對 LLaMA 進行指令微調(diào)，以進一步提高模型的實用性。

目前，項目團隊只開放針對”肝癌“單個疾病訓(xùn)練的模型參數(shù)。未來計劃發(fā)布融入文獻結(jié)論的醫(yī)學(xué)對話數(shù)據(jù)集，并且會針對“肝膽胰”相關(guān) 16 種疾病訓(xùn)練模型。這將有助于廣泛應(yīng)用于更多疾病的診斷和治療建議。

下面是訓(xùn)練樣本的示例：

華駝項目團隊稱下一個發(fā)布的新模型會被命名為扁鵲 （PienChueh）。

審核編輯 ：李倩