算力提高50%,顯存也提高50%
原標題:英偉達年終!全新B300為o1推理大模型打造,RTX5090也曝光了
文章來源:量子位
內容字數:3437字
英偉達圣誕大禮包:AI芯片B300和GB300震撼發布
英偉達在圣誕節前夕發布了重磅AI芯片新品:B300 GPU和集成CPU的超級芯片GB300,引發業界熱議。這兩款芯片基于Blackwell架構,算力較前代B200提升50%,顯存也從192GB提升至288GB。
1. B300和GB300的性能提升
B300系列的性能提升主要來自三個方面:工藝節點提升(雖然仍為臺積電4N工藝,但功耗增加,GB300和B300 HGX的TDP分別達到1.4KW和1.2KW);架構微創新,例如在CPU和GPU之間動態分配功率;顯存升級,從8層堆疊的HBM3E升級到12層(12-Hi HBM3E),顯存容量增加,帶寬保持不變。
2. GB300的創新設計及供應鏈影響
與前代GB200提供完整的Bianca Board不同,GB300系列只提供參考板,其他組件由客戶自行采購,這為OEM和ODM廠商帶來了新的機遇。
3. 針對推理大模型的優化
B300系列的顯存升級對OpenAI o1/o3等推理大模型至關重要。GB300 NVL72“計算單元”包含72個GPU,能夠以極低的延遲處理問題并共享顯存,從而實現更長的思維鏈、更低的延遲和更低的推理成本。 SemiAnalysis的案例研究顯示,相比H100,H200的內存帶寬更大,處理效率提高43%,每秒生成的token數量增加3倍,成本降低約3倍。
4. 內存升級帶來的效益
顯存的升級不僅提升了性能,還顯著縮短了推理時間,改善用戶體驗,并提升了模型的盈利能力。高性能模型的毛利率可達70%以上,而低性能模型則不足20%。
5. 英偉達的競爭優勢
雖然其他廠商也能增加芯片內存,但英偉達擁有NVLink技術,構成了其競爭優勢。
6. RTX 5090曝光
文章最后還提到了英偉達消費級顯卡RTX 5090的PCB板曝光,預計配備32GB大顯存,支持8K超高清游戲,或將于1月6日老黃CES演講時發布。
總而言之,英偉達的B300和GB300系列芯片的發布,代表著AI芯片領域的一次重大飛躍,其性能提升和針對推理大模型的優化,將對整個AI產業產生深遠的影響。
聯系作者
文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破