谷歌新一代云端AI芯片TPU v5p發(fā)布，性能提升2.8倍

12月7日凌晨，谷歌（Google）在發(fā)布多模態(tài)大模型Gemini的同時，還推出了全新的面向云端AI加速的TPU v5p ，這也是谷歌迄今為止功能最強大且最具成本效益的 TPU（云張量處理單元）。

據(jù)介紹，每個 TPU v5p Pod 由多達 8,960 個芯片組成，使用最高帶寬的芯片間連接（每芯片 4,800 Gbps）進行互連，確?？焖賯鬏斔俣群妥罴研阅?。

在AI性能方面，TPU v5p能夠提供459 teraFLOPS（每秒可執(zhí)行459萬億次浮點運算）的bfloat16（16位浮點數(shù)格式）性能或918 teraOPS（每秒可執(zhí)行918萬億次整數(shù)運算）的Int8（執(zhí)行8位整數(shù)）性能，支持95GB的高帶寬內(nèi)存，能夠以2.76 TB/s的速度傳輸數(shù)據(jù)。

與TPU v4相比，新發(fā)布的TPU v5p具有兩倍的FLOPS（每秒浮點運算）和三倍的高內(nèi)存帶寬提升，這在人工智能領域是令人驚嘆的。

此外，在模型訓練方面，TPU v5p 在 LLM（大語言模型）訓練速度上顯示出 2.8 倍的代際提升，即使相比TPU v5e也有約50%的提升。Google還擠出更多的計算能力，因為 TPU v5p“就每個 Pod 的總可用 FLOP 而言，可擴展性比 TPU v4 高 4 倍”。

0

總結(jié)來說，TPU v5p與 TPU v4 相比：

• 浮點運算次數(shù)增加了 2 倍（459 TFLOPs Bf16 / 918 TOPs INT8）

• 內(nèi)存容量比 TPU v4 (95 GB HBM) 高出 3 倍

• LLM 培訓速度提高 2.8 倍

• 嵌入密集模型訓練速度提高 1.9 倍

• 帶寬增加 2.25 倍（2765 GB/秒 vs 1228 GB/秒）

• 芯片間互連帶寬是原來的 2 倍（4800 Gbps 與 2400 Gbps）

谷歌已經(jīng)認識到在擁有最好的硬件和軟件資源方面取得了明顯的成功，這就是該公司擁有人工智能超級計算機的原因，它是一組旨在協(xié)作工作以實現(xiàn)現(xiàn)代人工智能工作負載的元素。谷歌集成了性能優(yōu)化計算、最佳存儲和液體冷卻等功能，以充分利用巨大的功能，輸出的性能確實是行業(yè)領先。

在軟件方面，Google已經(jīng)加強了使用開放軟件來調(diào)整其人工智能工作負載，以確保其硬件的最佳性能。

以下是AI Hypercomputer新增軟件資源的概要：

對流行的 ML 框架（例如 JAX、TensorFlow 和 PyTorch）的廣泛支持開箱即用。JAX 和 PyTorch 均由 OpenXLA 編譯器提供支持，用于構(gòu)建復雜的 LLM。XLA 充當基礎骨干，支持創(chuàng)建復雜的多層模型（使用 PyTorch/XLA 在云 TPU 上進行 Llama 2 訓練和推理）。它優(yōu)化了各種硬件平臺上的分布式架構(gòu)，確保針對不同的 AI 使用案例進行易于使用且高效的模型開發(fā)（AssemblyAI 利用 JAX/XLA 和 Cloud TPU 進行大規(guī)模 AI 語音）。

開放且獨特的多片訓練和多主機推理軟件分別使擴展、訓練和服務工作負載變得順利和簡單。開發(fā)人員可以擴展到數(shù)萬個芯片來支持要求苛刻的人工智能工作負載。

與 Google Kubernetes Engine (GKE) 和 Google Compute Engine 深度集成，提供高效的資源管理、一致的操作環(huán)境、自動擴展、節(jié)點池自動配置、自動檢查點、自動恢復和及時的故障恢復。

Google的人工智能革命性方法通過其新的硬件和軟件元素顯而易見，這些元素都將打破限制該行業(yè)的障礙。看看新的 Cloud TPU v5p 處理單元如何與 AI 超計算機一起幫助正在進行的AI開發(fā)將會很有趣，但有一點是肯定的，它們肯定會加劇競爭。

編輯：芯智訊-浪客劍