科技與AI

老黃在GTC台上,又把自己的晶片講差了(是謙虛嗎?)

Max Lu 呂元鐘 ・ ・ 原載於 Facebook
重點摘要

文章分析黃仁勳在GTC發布新晶片平台Vera Rubin的效能數據,指出他過去兩次在台上都把自家晶片效能講得比後續實測結果保守,並比較輝達與AMD在不同軟體堆疊下的實際token產出與延遲表現差異。

你可能不知道,黃爸常常把自己家產品講比較弱(還是健忘?)。

輝達上週發布了新一代晶片平台Vera Rubin的第一份真實測試數據,用的是一套叫AgentX的基準,重播真實世界裡AI助理的多輪對話流量——跟一問一答的聊天機器人不同,一次對話會拉出幾十上百輪互動,還會臨時叫出好幾個子代理程式各自跑一段。

黃仁勳在今年GTC的台上放過一張圖,說Vera Rubin NVL72在每百萬瓦的效能上,是上一代Blackwell的三倍,測試模型大約一到三兆參數、時速兩百個token。輝達自己拿早期還沒正式release的軟體去實測,量出來的數字是每百萬瓦七倍的token產出。

這不是他第一次在台上把自己的東西講低了。兩年前的GTC 2024,他說GB200 NVL72比上一代Hopper快三十倍;後來SemiAnalysis實測,量出來的是九十八倍。

換算成利潤,以這批早期軟體估算,Vera Rubin每消耗一百萬瓦電力能賺的利潤,是Blackwell的兩倍以上。輝達說,等軟體堆疊跟開發者社群更熟悉這顆新晶片,差距只會再拉大。

量產版本的規格是每個運算托盤兩千三百瓦的熱設計功耗,配一點五TB的CPU端LPDDR5X記憶體——這個容量,是輝達把原本規劃的Vera記憶體砍半之後留下的數字。

真正決定買家荷包的是「每一塊錢能買到多少token」這個算法。在時速一百七十個token、同一套TRT-LLM軟體、同樣用NVFP4精度的條件下,Vera Rubin NVL72每一塊錢能生的token數,是GB300用Dynamo TRT-LLM組合的六十七倍。

多數服務商實際營運的時速區間是六十到一百個token,不是一百七十。在那個區間裡,Vera Rubin只比GB300最新配置快一點四倍到三倍——六十七倍是尖峰條件下量出來的數字。

延遲的部分也有一句沒對齊的話。用TRT-LLM測,Vera Rubin的P90互動速度是每秒276.24個token,比GB300 Dynamo TRT-LLM的171.53快六成一;但同一批人如果改用開源的SGLang軟體堆疊,GB300可以追平Vera Rubin的互動速度。硬體上的差距,在這裡被軟體的選擇整個吃掉。

這套基準測試背後站的名單不小:Google Cloud、微軟Azure、甲骨文、Meta都採用,vLLM、SGLang、PyTorch、Huggingface也支援,連OpenAI、MiniMax、智譜、通義千問、月之暗面Kimi都在用。AMD已承諾把自家的MI455X UALoE72拿去跑同一套測試,InferenceX是全世界唯一同時測過TPUv7、輝達、AMD三家晶片的基準。

馬斯克在推自己蓋晶圓廠的計畫,真的做出來理論上會鬆動台積電在先進製程上的獨占位置,但那還沒發生。我看現在檯面上這些數字,不管掛輝達還是AMD的牌子,晶圓底下刻的名字都還是同一家。

黃仁勳兩次站上GTC的台,兩次都把自己的東西講得比實測結果差:一次是把三十倍講成後來的九十八倍,一次是把三倍講成後來的七倍。兩份簡報中間隔了兩年,句型一模一樣。

← 看更多 Max Lu 呂元鐘 的文章・依主題瀏覽