Google揭AI超級電腦晶片TPU 稱比英偉達A100更快更節能
【2023年4月6日訊】
谷歌（Google）周二公布了其用於訓練人工智慧模型的超級計算機的新細節，稱其系統比英偉達（Nvidia）的A100晶片更快更節能。谷歌自2016年以來一直在設計和部署一種名為張量處理單元（Tensor Processing Unit，簡稱TPU）的人工智慧晶片，部分用於內部使用。
谷歌是人工智慧領域的先驅之一，其員工在過去十年中開發了該領域的一些最重要的進展。但有人認為，谷歌在商業化其發明方面落後了，而且在內部，該公司一直在競相發布產品並證明它沒有浪費自己的領先優勢。
人工智慧模型和產品，如谷歌的Bard或OpenAI的ChatGPT——由英偉達的A100晶片驅動——需要大量的計算機和數百或數千個晶片協同工作來訓練模型，計算機需要連續運行數周或數月。
周二，谷歌表示，它已經建造了一個由4000多個TPU組成的系統，使用自己定製開發的光學開關來幫助連接單個機器。它自2020年以來一直在運行，並被用於訓練谷歌的PaLM模型，該模型與OpenAI的GPT模型競爭，用了50天的時間。谷歌稱其基於TPU的超級計算機，名為TPU v4，「比英偉達A100快1.2倍至1.7倍，耗電量少1.3倍至1.9倍」。谷歌的研究人員寫道：「性能、可擴展性和可用性使TPU v4超級計算機成為大型語言模型的主力軍。」
然而，谷歌的TPU結果並沒有與英偉達最新的人工智慧晶片H100進行比較，因為它是更近期並且使用了更先進的製造技術製造的晶片。周三發布了一個行業範圍內的人工智慧晶片測試MLperf 3.0的結果和排名，英偉達執行長黃仁勛（Jensen Huang）表示，最新英偉達晶片H100的結果比上一代晶片快得多。「今天的MLPerf 3.0突顯了Hopper比A100提供了4倍的性能。」黃仁勛在他的公司博客中寫道。
相關論文
消息來源
- Google Says Its AI Supercomputer is Faster, Greener Than Nvidia A100 Chip，slashdot，2023年4月5日。
- Stephen Nellis，Google says its AI supercomputer is faster, greener than Nvidia A100 chip，reuters，2023年4月5日。
- Kif Leswing，Google reveals its newest A.I. supercomputer, says it beats Nvidia，CNBC，2023年4月5日。
- Google’s Cloud TPU v4 provides exaFLOPS-scale ML with industry-leading efficiency，Google Cloud Blog，2023年4月6日。
- NVIDIA Takes Inference to New Heights Across MLPerf Tests，NVIDIA Blog，2023年4月5日。
