科技與AI

Positron創辦人:比電力更大的限制,是全世界肯借多少債

Max Lu 呂元鐘 ・ ・ 原載於 Facebook
重點摘要

Positron共同創辦人在20VC訪談中主張,反對數據中心的輿論多源於「中國心理戰」而非真實水電問題,真正限制是全球願意舉多少債,不是能源;他也談記憶體頻寬布局與Oracle債務信心,但多數論點出自身為晶片供應商立場,部分缺乏來源佐證。

100字解釋一下positron :Positron 是 2023 年成立的美國 AI 晶片新創,專攻大型語言模型的推論加速。它採「記憶體優先」架構,希望用更大的記憶體容量、頻寬與較低耗電,降低企業運行 AI 的成本。首款 Atlas 系統已商用,後續 Asimov 晶片鎖定更大型模型,直接挑戰 NVIDIA GPU 在 AI 推論市場的主導地位。

最近的20VC訪問裡,Positron AI共同創辦人Thomas Sohmers談到數據中心,他說美國左派右派在反對數據中心這件事上幾乎站到同一邊,而這股風向幾乎全是他口中的「中國心理戰」。Positron做AI推論晶片,剛募了8.75億美元C輪,估值50億美元。

—-
▍他怎麼推出「中國心理戰」

Harry追問為什麼算到中國頭上,Sohmers分三層回。

第一層是水。他說早期流傳的資訊很多出自不專業的寫手,例如一間In-N-Out用水比美國最大的數據中心還多,所有高爾夫球場更是高出好幾個數量級,而且數據中心多半是封閉循環的液冷。

第二層是電。他說新蓋的數據中心自帶發電容量,供自己用還有剩,不可能去動配給民宅的電。他說問題出在不讓它們併網,否則可以把電價壓低。他還說電力公司有人遊說反對新增發電,因為供給變多價格會降。

第三層才是中國。他說中國正在增加GW級的發電,多半是髒電,蓋大型數據中心,而且可以說推倒民宅就推倒、說輪流停電就停電,這是西方沒有的彈性。他珍惜西方能批評公司與政府的自由,只是批評建立在錯誤資訊上,就成了戰略劣勢。

水和電的說法是他的主張,訪問裡沒有附來源。至於中國在背後操作,他只講到心理戰這個定性,沒有點出具體行動或證據。

計畫中的數據中心會蓋成多少

Harry問規劃中的數據中心有幾成會完工,Sohmers沒有給百分比。他說大型業者規劃的容量大致會實現,只是地點會變:有社區擋下,設施就搬去別處。一年前建商沒料到阻力這麼大,他的觀察是現在有更多人投入社區教育。

他不擔心這會卡死建置容量,理由是美國還有大片土地。他點名內華達州,有地熱和太陽能,也能蓋核能,聯邦土地上離人煙數百英里的地方要蓋,限制卻很多。他還說,連原本主打拚成長的共和黨州長,看到選民反對也在往後退。

能源之外他更擔心錢

被問到能源是不是瓶頸,他說建電廠的技術都有,更大的限制是經濟,也就是全世界願意再借多少債,去蓋接下來幾年的一切。

他最擔心的是主權債務。談到Oracle的債務,他說對Oracle的信心比對美國政府高很多,理由是政府能發行自己的貨幣,還有槍和核彈可以徵稅。

AI債務鏈裡的公司達不達得到營收目標,他說不擔心,過去三、四年營收和獲利都在加速。他也提到,供應商靠快取token賺很多,處理快取token的成本約是重新生成的千分之一,Anthropic 據報API毛利約80個百分點,他說這是「據報導」,他自己覺得令人印象深刻,也認為競爭會把毛利壓低。

—-
▍記憶體頻寬,才是他的本行

他說2014到2024年,單顆GPU的浮點運算能力進步約120倍,記憶體頻寬只進步17倍。推論時每生成一個token都要把權重讀過一遍,沒辦法像訓練那樣大量平行。

他還算了:外界預期的10兆參數模型,權重約5TB,長上下文下單一使用者的對話狀態可到100GB上下,只要50個使用者,對話狀態就超過權重。Positron下一代每顆裝置的記憶體容量,他說會是Nvidia最高規格的8倍。

我們可以怎麼看這場訪談

水、電、債務、記憶體,這些判斷出自同一位利益相關者,他賣的是記憶體容量大八倍的晶片。他給的一些擔心,是我們可以參考的一個很實際的角度。

← 看更多 Max Lu 呂元鐘 的文章・依主題瀏覽