谷歌亦發布新一代TPU 系統——Cloud TPU v5p，以幫助訓練尖端的 AI 模型。目前，Bard 已開始使用 Gemini Pro 的微調版本來進行更高級的推理，并計劃將 Gemini 引入旗下智能手機品牌Pixel。此外，從 12 月 13 日起，開發者和企業客戶可以通過 Google AIStudio 或 Google Cloud Vertex AI 中的 Gemini API 訪問 Gemini Pro。谷歌計劃于 2024 年初向開發人員和企業客戶正式推出 Gemini Ultra。

（1）Gemini 多模態：支持文本、圖像、視頻、音頻輸入，支持文本和圖像輸出。

（2）Gemini 三個版本：Ultra、Pro、Nano。

（3）AlphaCode2：Gemini 加成，擅長編程、涵蓋了復雜的數學和理論計算機科學等問題。

（4）視頻理解方面：從官方的演示視頻里我們可以看到，Gemini 對于演示人員的動作可以進行分析和推理，并且實時性很高。從類人角度看，實現了聽、說、看、互動等，甚至可以同時識別和理解文本、圖像和視頻。

（5）應用融合情況：Bard 和 Pixel 8 Pro 智能手機已經應用了 Gemini，未來 Gemini 會被整合到 Google 的搜索引擎、廣告產品、Chrome 瀏覽器等。

（6）硬件層面：用了谷歌的 TPU 集群。Gemini Ultra 用了最新版本的 v5p，如圖 v5p 在互聯帶寬方面的提升更顯著。

谷歌使用內部設計的 TPU v4 和 v5e 訓練 Gemini 1.0。谷歌針對三種不同的尺寸對 Gemini 1.0 進行了優化：

①Gemini Ultra，是谷歌迄今為止最大且能力最強的模型，適用于復雜度高的任務，主要面向數據中心和企業級應用；

②Gemini Pro，可擴展的模型，適用于廣泛的任務，其為谷歌諸多 AI 服務提供動力，目前已成為 Bard 的支柱模型；

③Gemini Nano，作為運行在終端設備上的最為高效的模型，其能夠在Android 設備上本地和離線運行。Pixel 8 Pro 將會是第一款運行Gemini Nano 的智能手機。Gemini Nona 擁有兩個版本，其中，Nano-1 參數量為 1.8B，Nano-2 參數量為 3.25B。在公布 Gemini的同時，谷歌亦推出其迄今為止最強大、最高效且可擴展的 TPU 系統 Cloud TPU v5p，該系統專為訓練尖端 AI 模型而設計。

在 AI 性能方面，TPU v5p 能夠提供 459 TFLOPS 的 BF16 性能或 918 TFLOPS的 INT8 性能，支持 95GB 的高帶寬內存，能夠以 2.76TB/s 的速度傳輸數據。在模型訓練方面，TPU v5p 在 LLM 訓練速度上顯示出 2.8倍的代際提升，即使相比 TPU v5e 也有約 50%的提升。

Gemini 是首款原生多模態大模型，其性能或基本全面領先 GPT-4Gemini 可無縫理解和推理各種模態的輸入內容，并非將純文本、純視覺及純音頻模型拼接在一起，后者如 OpenAI 的 GPT-4、DALL·E和 Whisper。根據谷歌官方的評估，從自然圖像、音頻、視頻理解到數學推理，Gemini Ultra 在 32 個常用的學術基準的 30 個上超越GPT-4。在 MMLU（大規模多任務語言理解）測試中，Gemini Ultra以 90.0%的高分首次超過人類專家，力壓得分為 86.4%的 GPT-4。在圖像、音頻和視頻等基準測試中，Gemini Ultra 超越之前的領先模型，且這一成果是在沒有 OCR 系統幫助的情況下實現的，充分體現了 Gemini 原生多模態的特性。

審核編輯：劉清