谷歌發(fā)布多模態(tài)Gemini大模型及新一代TPU系統(tǒng)Cloud TPU v5p

谷歌亦發(fā)布新一代TPU 系統(tǒng)——Cloud TPU v5p，以幫助訓(xùn)練尖端的 AI 模型。目前，Bard 已開始使用 Gemini Pro 的微調(diào)版本來進行更高級的推理，并計劃將 Gemini 引入旗下智能手機品牌Pixel。此外，從 12 月 13 日起，開發(fā)者和企業(yè)客戶可以通過 Google AIStudio 或 Google Cloud Vertex AI 中的 Gemini API 訪問 Gemini Pro。谷歌計劃于 2024 年初向開發(fā)人員和企業(yè)客戶正式推出 Gemini Ultra。

（1）Gemini 多模態(tài)：支持文本、圖像、視頻、音頻輸入，支持文本和圖像輸出。

（2）Gemini 三個版本：Ultra、Pro、Nano。

（3）AlphaCode2：Gemini 加成，擅長編程、涵蓋了復(fù)雜的數(shù)學(xué)和理論計算機科學(xué)等問題。

（4）視頻理解方面：從官方的演示視頻里我們可以看到，Gemini 對于演示人員的動作可以進行分析和推理，并且實時性很高。從類人角度看，實現(xiàn)了聽、說、看、互動等，甚至可以同時識別和理解文本、圖像和視頻。

（5）應(yīng)用融合情況：Bard 和 Pixel 8 Pro 智能手機已經(jīng)應(yīng)用了 Gemini，未來 Gemini 會被整合到 Google 的搜索引擎、廣告產(chǎn)品、Chrome 瀏覽器等。

（6）硬件層面：用了谷歌的 TPU 集群。Gemini Ultra 用了最新版本的 v5p，如圖 v5p 在互聯(lián)帶寬方面的提升更顯著。

谷歌使用內(nèi)部設(shè)計的 TPU v4 和 v5e 訓(xùn)練 Gemini 1.0。谷歌針對三種不同的尺寸對 Gemini 1.0 進行了優(yōu)化：

①Gemini Ultra，是谷歌迄今為止最大且能力最強的模型，適用于復(fù)雜度高的任務(wù)，主要面向數(shù)據(jù)中心和企業(yè)級應(yīng)用；

②Gemini Pro，可擴展的模型，適用于廣泛的任務(wù)，其為谷歌諸多 AI 服務(wù)提供動力，目前已成為 Bard 的支柱模型；

③Gemini Nano，作為運行在終端設(shè)備上的最為高效的模型，其能夠在Android 設(shè)備上本地和離線運行。Pixel 8 Pro 將會是第一款運行Gemini Nano 的智能手機。Gemini Nona 擁有兩個版本，其中，Nano-1 參數(shù)量為 1.8B，Nano-2 參數(shù)量為 3.25B。在公布 Gemini的同時，谷歌亦推出其迄今為止最強大、最高效且可擴展的 TPU 系統(tǒng) Cloud TPU v5p，該系統(tǒng)專為訓(xùn)練尖端 AI 模型而設(shè)計。

在 AI 性能方面，TPU v5p 能夠提供 459 TFLOPS 的 BF16 性能或 918 TFLOPS的 INT8 性能，支持 95GB 的高帶寬內(nèi)存，能夠以 2.76TB/s 的速度傳輸數(shù)據(jù)。在模型訓(xùn)練方面，TPU v5p 在 LLM 訓(xùn)練速度上顯示出 2.8倍的代際提升，即使相比 TPU v5e 也有約 50%的提升。

Gemini 是首款原生多模態(tài)大模型，其性能或基本全面領(lǐng)先 GPT-4Gemini 可無縫理解和推理各種模態(tài)的輸入內(nèi)容，并非將純文本、純視覺及純音頻模型拼接在一起，后者如 OpenAI 的 GPT-4、DALL·E和 Whisper。根據(jù)谷歌官方的評估，從自然圖像、音頻、視頻理解到數(shù)學(xué)推理，Gemini Ultra 在 32 個常用的學(xué)術(shù)基準的 30 個上超越GPT-4。在 MMLU（大規(guī)模多任務(wù)語言理解）測試中，Gemini Ultra以 90.0%的高分首次超過人類專家，力壓得分為 86.4%的 GPT-4。在圖像、音頻和視頻等基準測試中，Gemini Ultra 超越之前的領(lǐng)先模型，且這一成果是在沒有 OCR 系統(tǒng)幫助的情況下實現(xiàn)的，充分體現(xiàn)了 Gemini 原生多模態(tài)的特性。

審核編輯：劉清