MiniGPT-4，開(kāi)源了！

大家好，我是程序羊。

上個(gè)月GPT-4發(fā)布時(shí)，我曾寫過(guò)一篇文章分享過(guò)有關(guān)GPT-4的幾個(gè)關(guān)鍵信息。

當(dāng)時(shí)的分享就提到了GPT-4的一個(gè)重要特性，那就是多模態(tài)能力。

比如發(fā)布會(huì)上演示的，輸入一幅圖（手套掉下去會(huì)怎么樣？）。

GPT-4可以理解并輸出給到：它會(huì)掉到木板上，并且球會(huì)被彈飛。

再比如給GPT-4一張長(zhǎng)相奇怪的充電器圖片，問(wèn)為什么這很可笑？

GPT-4回答道，VGA 線充 iPhone。

用戶甚至還可以直接畫一個(gè)網(wǎng)站草圖拍照丟給GPT-4，它就可以立馬幫助生成代碼。

但是時(shí)間過(guò)去了這么久，GPT-4像這樣的識(shí)圖功能也遲遲沒(méi)有開(kāi)放。

就在大家都在等待這個(gè)功能開(kāi)放的時(shí)候，一個(gè)名為MiniGPT-4的開(kāi)源項(xiàng)目悄悄做了這件事情。

沒(méi)錯(cuò)，就是為了增強(qiáng)視覺(jué)語(yǔ)言理解。

MiniGPT-4背后團(tuán)隊(duì)來(lái)自KAUST（沙特阿卜杜拉國(guó)王科技大學(xué)），項(xiàng)目是幾位博士開(kāi)發(fā)的。

項(xiàng)目除了是開(kāi)源的之外，而且還提供了網(wǎng)頁(yè)版的demo，用戶可以直接進(jìn)去體驗(yàn)。

在線體驗(yàn)：https://minigpt-4.github.io

GitHub倉(cāng)庫(kù)：https://github.com/Vision-CAIR/MiniGPT-4

論文：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf

MiniGPT-4也是基于一些開(kāi)源大模型來(lái)訓(xùn)練得到的。 團(tuán)隊(duì)把圖像編碼器與開(kāi)源語(yǔ)言模型Vicuna（小羊駝）整合起來(lái)，并且凍結(jié)了兩者的大部分參數(shù)，只需要訓(xùn)練很少一部分。

訓(xùn)練分為兩個(gè)階段。

傳統(tǒng)預(yù)訓(xùn)練階段，在4張A100上使用500萬(wàn)圖文對(duì)，10個(gè)小時(shí)內(nèi)就可以完成，此時(shí)訓(xùn)練出來(lái)的Vicuna已能夠理解圖像，但生成能力有限。

然后在第二個(gè)調(diào)優(yōu)階段再用一些小的高質(zhì)量數(shù)據(jù)集進(jìn)行訓(xùn)練。這時(shí)候的計(jì)算效率很高，單卡A100只需要7分鐘。

并且團(tuán)隊(duì)正在準(zhǔn)備一個(gè)更輕量級(jí)的版本，部署起來(lái)只需要23GB顯存，這也就意味著未來(lái)可以在一些消費(fèi)級(jí)的顯卡中或許就可以進(jìn)行本地訓(xùn)練了。

這里也給大家看幾個(gè)例子。

比如丟一張食物的照片進(jìn)去來(lái)獲得菜譜。

或者給出一張商品的照片來(lái)讓其幫忙寫一篇文案。

當(dāng)然也可以像之前GPT-4發(fā)布會(huì)上演示的那樣，畫出一個(gè)網(wǎng)頁(yè)，讓其幫忙生成代碼。

可以說(shuō)，GPT-4發(fā)布會(huì)上演示過(guò)的功能，MiniGPT-4基本也都有。

這一點(diǎn)可以說(shuō)非常amazing了！

可能由于目前使用的人比較多，在MiniGPT-4網(wǎng)頁(yè)demo上試用時(shí)會(huì)遇到排隊(duì)的情況，需要在隊(duì)列中等待。

但是用戶也可以自行本地部署服務(wù)，過(guò)程并不復(fù)雜。

首先是下載項(xiàng)目&準(zhǔn)備環(huán)境：

gitclonehttps://github.com/Vision-CAIR/MiniGPT-4.git cdMiniGPT-4 condaenvcreate-fenvironment.yml condaactivateminigpt4

然后下載預(yù)訓(xùn)練模型：

最后在本地啟動(dòng)Demo：

pythondemo.py--cfg-patheval_configs/minigpt4_eval.yaml

通過(guò)這個(gè)項(xiàng)目我們也再一次看出大模型在視覺(jué)領(lǐng)域的可行性，未來(lái)在圖像、音頻、視頻等方面的應(yīng)用前景應(yīng)該也是非常不錯(cuò)的，我們可以期待一下。

審核編輯 ：李倩