谷歌全新推出開(kāi)放式視覺(jué)語(yǔ)言模型PaliGemma

作者 / 產(chǎn)品管理總監(jiān) Tris Warkentin;高級(jí)研究員翟曉華;產(chǎn)品經(jīng)理 Ludovic Peran

在 Google，我們相信合作和開(kāi)放研究能夠推動(dòng)創(chuàng)新。我們非常感謝社區(qū)對(duì) Gemma 的支持，使其自發(fā)布短短幾個(gè)月以來(lái)就獲得了數(shù)百萬(wàn)的下載量。

這種熱烈的反響非常鼓舞人心，開(kāi)發(fā)者們打造了一系列多樣的項(xiàng)目，例如用于印度語(yǔ)言的多語(yǔ)言變體 Navarasa，以及設(shè)備端側(cè)動(dòng)作模型 Octopus v2。開(kāi)發(fā)者們展示了 Gemma 在打造極具影響力且易于使用的 AI 解決方案方面的巨大潛力。

這種探索和創(chuàng)造精神也促使我們開(kāi)發(fā)了 CodeGemma (具有強(qiáng)大的代碼補(bǔ)全和生成能力) 和 RecurrentGemma (在高效推理和研究領(lǐng)域極具潛力)。

Gemma 是先進(jìn)的輕量級(jí)開(kāi)放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。今天，我們非常高興地推出強(qiáng)大的開(kāi)放式視覺(jué)語(yǔ)言模型 (VLM) PaliGemma，進(jìn)一步擴(kuò)展 Gemma 系列。同時(shí)我們將介紹 Gemma 2 的相關(guān)信息，讓您搶先了解即將推出的全新功能。此外，我們通過(guò)更新 Responsible Generative AI 工具包，為開(kāi)發(fā)者提供用于評(píng)估模型安全性和過(guò)濾有害內(nèi)容的全新和增強(qiáng)型工具，進(jìn)一步落實(shí)在負(fù)責(zé)任 AI 方面的承諾。

PaliGemma: 全新推出的

開(kāi)放式視覺(jué)語(yǔ)言模型

PaliGemma 是一個(gè)強(qiáng)大的開(kāi)放式 VLM，其靈感源自 PaLI-3。PaliGemma 基于開(kāi)放式組件 (包括 SigLIP 視覺(jué)模型和 Gemma 語(yǔ)言模型) 構(gòu)建，可在廣泛的視覺(jué)語(yǔ)言任務(wù)中實(shí)現(xiàn)卓越的微調(diào)性能。這包括為圖片和短視頻描述生成、視覺(jué)問(wèn)答、理解圖像中的文本、對(duì)象檢測(cè)和對(duì)象分割。

我們將提供支持多種分辨率且經(jīng)過(guò)預(yù)訓(xùn)練和微調(diào)檢查點(diǎn)，以及專(zhuān)門(mén)針對(duì)多種任務(wù)進(jìn)行微調(diào)的檢查點(diǎn)，供您立即探索。

為了促進(jìn)開(kāi)放式探索和研究，PaliGemma 可通過(guò)多種平臺(tái)和資源使用。歡迎您立即通過(guò) Kaggle 和 Colab 筆記本等免費(fèi)方式開(kāi)始探索!在視覺(jué)語(yǔ)言研究領(lǐng)域?qū)で笸黄频膶W(xué)術(shù)研究人員還可以申請(qǐng) Google Cloud 積分，更好地開(kāi)展工作。

立即開(kāi)始使用 PaliGemma。您可以在 GitHub、Hugging Face 模型、Kaggle、Vertex AI Model Garden 和 ai.nvidia.com (通過(guò) TensoRT-LLM 加速) 中找到 PaliGemma，并可通過(guò) JAX 和 Hugging Face Transformers 輕松集成該模型。Keras 集成方式即將推出，您還可以通過(guò)此 Hugging Face Space 與該模型交互。

Gemma 2 推出:

性能和效率再上新臺(tái)階

我們非常高興地宣布，新一代 Gemma 模型 Gemma 2 即將發(fā)布。Gemma 2 將提供新的模型大小，以滿足廣泛的 AI 開(kāi)發(fā)者用例的需求;此外，它還將采用全新架構(gòu)來(lái)實(shí)現(xiàn)突破性的性能和效率，帶來(lái)以下優(yōu)勢(shì):

卓越性能: Gemma 2 具有 270 億個(gè)參數(shù)，其性能可與 Llama 3 70B 相媲美，但大小卻不到 Llama 3 70B 的一半。這種突破性的效率為開(kāi)放模型領(lǐng)域樹(shù)立了新的標(biāo)桿。

更低部署成本: Gemma 2 采用高效設(shè)計(jì)，最低所需的計(jì)算資源不到同級(jí)別模型的一半。27B 模型經(jīng)過(guò)專(zhuān)門(mén)優(yōu)化，可在 NVIDIA 的 GPU 上運(yùn)行，也可在 Vertex AI 中的單個(gè) TPU 主機(jī)上高效運(yùn)行，讓更多的用戶能夠更方便、更經(jīng)濟(jì)高效地部署該模型。

多元化調(diào)優(yōu)工具鏈: Gemma 2 提供多元化的平臺(tái)和工具生態(tài)系統(tǒng)，讓開(kāi)發(fā)者可從中選用穩(wěn)健的調(diào)優(yōu)功能。從 Google Cloud 等云端解決方案到 Axolotl 等熱門(mén)社區(qū)工具，豐富多樣的選擇讓微調(diào) Gemma 2 變得更加簡(jiǎn)單。此外，Gemma 2 與 Hugging Face、NVIDIA TensorRT-LLM 等眾多合作伙伴實(shí)現(xiàn)了無(wú)縫整合，同時(shí)還集成了 Google JAX 和 Keras，讓您可以優(yōu)化性能，并在各種硬件配置中實(shí)現(xiàn)高效部署。

擴(kuò)展 Responsible Generative AI 工具包

為了迎接該模型的發(fā)布，我們將開(kāi)源發(fā)布 LLM Comparator 來(lái)擴(kuò)展 Responsible Generative AI 工具包，以便開(kāi)發(fā)者進(jìn)行更穩(wěn)健的模型評(píng)估。LLM Comparator 是一種新的交互式視覺(jué)工具，能夠進(jìn)行有效的并排評(píng)估，以評(píng)估模型響應(yīng)的質(zhì)量和安全性。您可以查看 LLM Comparator 的實(shí)際應(yīng)用演示，了解 Gemma 1.1 和 Gemma 1.0 的對(duì)比情況。

我們希望 LLM Comparator 可以進(jìn)一步推進(jìn)該工具包的使命，助力開(kāi)發(fā)者打造兼具創(chuàng)新性和安全性且負(fù)責(zé)任的 AI 應(yīng)用。

我們將不斷擴(kuò)展 Gemma 開(kāi)放模型系列，并一如既往地營(yíng)造協(xié)作環(huán)境，讓前沿 AI 技術(shù)與負(fù)責(zé)任的開(kāi)發(fā)齊頭并進(jìn)。我們對(duì)您將利用這些新工具打造的應(yīng)用充滿期待，與您共赴 AI 美好未來(lái)!