谷歌全新推出開放式視覺語言模型PaliGemma

作者 / 產(chǎn)品管理總監(jiān) Tris Warkentin;高級研究員翟曉華;產(chǎn)品經(jīng)理 Ludovic Peran

在 Google，我們相信合作和開放研究能夠推動創(chuàng)新。我們非常感謝社區(qū)對 Gemma 的支持，使其自發(fā)布短短幾個月以來就獲得了數(shù)百萬的下載量。

這種熱烈的反響非常鼓舞人心，開發(fā)者們打造了一系列多樣的項目，例如用于印度語言的多語言變體 Navarasa，以及設(shè)備端側(cè)動作模型 Octopus v2。開發(fā)者們展示了 Gemma 在打造極具影響力且易于使用的 AI 解決方案方面的巨大潛力。

這種探索和創(chuàng)造精神也促使我們開發(fā)了 CodeGemma (具有強大的代碼補全和生成能力) 和 RecurrentGemma (在高效推理和研究領(lǐng)域極具潛力)。

Gemma 是先進的輕量級開放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。今天，我們非常高興地推出強大的開放式視覺語言模型 (VLM) PaliGemma，進一步擴展 Gemma 系列。同時我們將介紹 Gemma 2 的相關(guān)信息，讓您搶先了解即將推出的全新功能。此外，我們通過更新 Responsible Generative AI 工具包，為開發(fā)者提供用于評估模型安全性和過濾有害內(nèi)容的全新和增強型工具，進一步落實在負責任 AI 方面的承諾。

PaliGemma: 全新推出的

開放式視覺語言模型

PaliGemma 是一個強大的開放式 VLM，其靈感源自 PaLI-3。PaliGemma 基于開放式組件 (包括 SigLIP 視覺模型和 Gemma 語言模型) 構(gòu)建，可在廣泛的視覺語言任務(wù)中實現(xiàn)卓越的微調(diào)性能。這包括為圖片和短視頻描述生成、視覺問答、理解圖像中的文本、對象檢測和對象分割。

我們將提供支持多種分辨率且經(jīng)過預(yù)訓練和微調(diào)檢查點，以及專門針對多種任務(wù)進行微調(diào)的檢查點，供您立即探索。

為了促進開放式探索和研究，PaliGemma 可通過多種平臺和資源使用。歡迎您立即通過 Kaggle 和 Colab 筆記本等免費方式開始探索!在視覺語言研究領(lǐng)域?qū)で笸黄频膶W術(shù)研究人員還可以申請 Google Cloud 積分，更好地開展工作。

立即開始使用 PaliGemma。您可以在 GitHub、Hugging Face 模型、Kaggle、Vertex AI Model Garden 和 ai.nvidia.com (通過 TensoRT-LLM 加速) 中找到 PaliGemma，并可通過 JAX 和 Hugging Face Transformers 輕松集成該模型。Keras 集成方式即將推出，您還可以通過此 Hugging Face Space 與該模型交互。

Gemma 2 推出:

性能和效率再上新臺階

我們非常高興地宣布，新一代 Gemma 模型 Gemma 2 即將發(fā)布。Gemma 2 將提供新的模型大小，以滿足廣泛的 AI 開發(fā)者用例的需求;此外，它還將采用全新架構(gòu)來實現(xiàn)突破性的性能和效率，帶來以下優(yōu)勢:

卓越性能: Gemma 2 具有 270 億個參數(shù)，其性能可與 Llama 3 70B 相媲美，但大小卻不到 Llama 3 70B 的一半。這種突破性的效率為開放模型領(lǐng)域樹立了新的標桿。

更低部署成本: Gemma 2 采用高效設(shè)計，最低所需的計算資源不到同級別模型的一半。27B 模型經(jīng)過專門優(yōu)化，可在 NVIDIA 的 GPU 上運行，也可在 Vertex AI 中的單個 TPU 主機上高效運行，讓更多的用戶能夠更方便、更經(jīng)濟高效地部署該模型。

多元化調(diào)優(yōu)工具鏈: Gemma 2 提供多元化的平臺和工具生態(tài)系統(tǒng)，讓開發(fā)者可從中選用穩(wěn)健的調(diào)優(yōu)功能。從 Google Cloud 等云端解決方案到 Axolotl 等熱門社區(qū)工具，豐富多樣的選擇讓微調(diào) Gemma 2 變得更加簡單。此外，Gemma 2 與 Hugging Face、NVIDIA TensorRT-LLM 等眾多合作伙伴實現(xiàn)了無縫整合，同時還集成了 Google JAX 和 Keras，讓您可以優(yōu)化性能，并在各種硬件配置中實現(xiàn)高效部署。

擴展 Responsible Generative AI 工具包

為了迎接該模型的發(fā)布，我們將開源發(fā)布 LLM Comparator 來擴展 Responsible Generative AI 工具包，以便開發(fā)者進行更穩(wěn)健的模型評估。LLM Comparator 是一種新的交互式視覺工具，能夠進行有效的并排評估，以評估模型響應(yīng)的質(zhì)量和安全性。您可以查看 LLM Comparator 的實際應(yīng)用演示，了解 Gemma 1.1 和 Gemma 1.0 的對比情況。

我們希望 LLM Comparator 可以進一步推進該工具包的使命，助力開發(fā)者打造兼具創(chuàng)新性和安全性且負責任的 AI 應(yīng)用。

我們將不斷擴展 Gemma 開放模型系列，并一如既往地營造協(xié)作環(huán)境，讓前沿 AI 技術(shù)與負責任的開發(fā)齊頭并進。我們對您將利用這些新工具打造的應(yīng)用充滿期待，與您共赴 AI 美好未來!