英偉達(dá)年終核彈！全新B300為o1推理大模型打造 RTX5090也曝光了

2024-12-28 21:49:21 分類：知識(shí) 閱讀(89133)

英偉達(dá)老黃，英偉也曝成了今年的達(dá)年彈全大模圣誕老黃。

AI芯片大禮包剛剛曝光：

GPU新核彈B300，終核造以及附帶CPU的新B型打超級(jí)芯片GB300。

高算力，推理在產(chǎn)品層面上相比B200在FLOPS上提高50%

大顯存，英偉也曝從192GB提升到288GB，達(dá)年彈全大模也是終核造提高了50%。

△Grok AI繪圖

包含72塊GB300的新B型打“新一代計(jì)算單元”GB300 NVL72，更是推理被評(píng)價(jià)為“能讓OpenAI o1/o3推理大模型的思維鏈長(zhǎng)度，在高batch size下達(dá)到10萬(wàn)tokens的英偉也曝唯一方案”。

這與今年3月份“AI春晚”發(fā)布的達(dá)年彈全大模B200系列只隔了幾個(gè)月。

根據(jù)SemiAnalysis爆料，終核造從第三季度開始，新B型打許多AI巨頭已經(jīng)將訂單從B200轉(zhuǎn)移到了B300（只有微軟還在第四季度繼續(xù)購(gòu)買了部分B200）。推理

有不少網(wǎng)友感嘆，更新速度實(shí)在太快了！

既是解決了此前傳聞中B200因設(shè)計(jì)缺陷被迫推遲的問題，又是對(duì)隔壁AMD MI300系列后續(xù)產(chǎn)品將在2025年提升顯存容量的回應(yīng)。

又一款A(yù)I核彈

既然都是Blackwell架構(gòu)沒有跨代，B300的算力提高來(lái)自哪里呢？

根據(jù)這次爆料，主要有三部分：

工藝節(jié)點(diǎn)，與B200使用同樣的臺(tái)積電4NP，但是全新流片

增加功率，GB300和B300 HGX的TDP分別達(dá)到1.4KW、1.2KW，相比之下B200系列分別提高0.2KW

架構(gòu)微創(chuàng)新，例如在CPU和GPU之間動(dòng)態(tài)分配功率

除了更高FLOPS之外，B300系列的顯存也做了升級(jí)：

從8層堆疊的HBM3E升級(jí)到12層（12-Hi HBM3E）

顯存容量從192GB升級(jí)到288GB

顯存帶寬保持不變，仍為8TB/s

此外產(chǎn)品交付層面還有一個(gè)大變化：

GB200系列提供整個(gè)Bianca Board，也就包括兩顆GPU、一顆CPU、CPU的內(nèi)存等所有組件都集成在一塊PCB版上。

△GB200概念圖

GB300系列將只提供參考板（Reference Board），包括兩顆B300 GPU、一顆Grace CPU、HMC（Hybrid Memory Cube），LPCAMM內(nèi)存模塊等組件將由客戶自行采購(gòu)。

這給供應(yīng)鏈上的OEM和ODM制造商帶來(lái)了新的機(jī)會(huì)。

為推理大模型打造

顯存的升級(jí)對(duì)OpenAI o1/o3一類的推理大模型至關(guān)重要，因?yàn)橥评硭季S鏈長(zhǎng)度會(huì)增加KVCache，影響batch size和延遲。

以一個(gè)GB300 NVL72“計(jì)算單元”為單位考慮時(shí)，它使72個(gè)GPU能夠以極低的延遲處理相同的問題，并共享顯存。

在此基礎(chǔ)上從GB200升級(jí)到GB300，還可以帶來(lái)許多好處：

每個(gè)思維鏈的延遲更低

實(shí)現(xiàn)更長(zhǎng)的思維鏈

降低推理成本

處理同一問題時(shí)，可以搜索更多樣本，最終提高模型能力

為了解釋這些提升，SemiAnalysis舉了個(gè)更為直觀的例子。

下圖是在不同批處理大小下，使用H100和H200兩種GPU處理長(zhǎng)序列時(shí)，Llama 3.1 405B在FP8精度下的處理速度。

輸入設(shè)置為1000個(gè)token、輸出19000個(gè)token，由此模擬OpenAI o1和o3模型中的思維鏈。

從H100升級(jí)到H200，有兩個(gè)顯著改進(jìn)。

一是在所有可比較的batch size中，H200的內(nèi)存帶寬更大（H200 4.8TB/s，H100 3.35TB/s），從而使得處理效率普遍提高了43%。

二是H200可運(yùn)行更高的batch size，這使得其每秒可以生成的token數(shù)量增加了3倍，相應(yīng)地，成本也減少了約3倍。

內(nèi)存增加所帶來(lái)的效益遠(yuǎn)不止表面上的這些。

眾所周知，推理模型響應(yīng)時(shí)間一般更長(zhǎng)，顯著縮短推理時(shí)間可以提高用戶體驗(yàn)和使用頻率。

而且內(nèi)存升級(jí)實(shí)現(xiàn)3倍性能提升，成本減少3倍，這一提升速度也遠(yuǎn)超摩爾定律。

除此之外，SemiAnalysis還分析觀察到，能力更強(qiáng)和具有明顯差異化的模型能收取更高的溢價(jià)——

前沿模型毛利率超70%，而還在與開源模型競(jìng)爭(zhēng)的次一級(jí)模型毛利率不足20%。

當(dāng)然，英偉達(dá)并不是唯一一家能增加內(nèi)存的芯片公司，但奈何英偉達(dá)還有殺手锏NVLink。

One More Thing

英偉達(dá)消費(fèi)級(jí)顯卡方面，RTX5090的PCB板也首次曝光了～

就在昨天，一張RTX 5090 PCB照片在網(wǎng)上瘋轉(zhuǎn)。

特點(diǎn)就是超超超大號(hào)。

結(jié)合此前爆料稱5090有可能會(huì)配備32GB大顯存，有望支持8K超高清游戲，實(shí)現(xiàn)60fps的流暢游戲體驗(yàn)。

網(wǎng)友們直接坐不住。

關(guān)于5090的發(fā)布時(shí)間，大伙兒猜測(cè)大概會(huì)是1月6日老黃CES演講的時(shí)候。

參考鏈接：

[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/

[2]https://x.com/mark_k/status/1871864813913330003

[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/