NVIDIA přesouvá řadič paměti z akcelerátoru do základního čipu NVHBM

NVIDIA 26. srpna představila paměť NVHBM pro zákaznické akcelerátory připojené přes NVLink Fusion. Hlavní změna není v počtu vrstev paměti. Řadič, který u běžného HBM4E zabírá místo na výpočetním čipu, se má přesunout do základního čipu pod vrstvami DRAM.

Výrobce slibuje proti standardnímu HBM4E až o 30 % vyšší propustnost a o 15 % nižší spotřebu paměti. Jde o údaje NVIDIA, ne o nezávisle zopakovaný test. Oznámení neuvádí kapacitu jednoho paměťového stohu, šířku rozhraní, cenu ani termín prvních dodávek.

Řadič se stěhuje z XPU do paměťového stohu

HBM tvoří několik vrstev paměti DRAM poskládaných nad základním čipem. Celý stoh leží v pouzdře vedle akcelerátoru a s ním komunikuje přes velké množství spojů. NVIDIA používá zkratku XPU pro zákaznický výpočetní čip, například akcelerátor navržený provozovatelem cloudu.

Jinou cestu ke snazšímu pouzdření navrhuje standard SPHBM4: omezuje počet datových signálů a míří na organický substrát. NVHBM místo toho mění umístění řadiče a NVIDIA ji váže na svou infrastrukturu NVLink Fusion.

U standardního HBM4E zůstává řadič na hlavním výpočetním čipu. NVHBM ho spolu s vlastním fyzickým rozhraním přesouvá do základního čipu paměti. Podle technického rozboru NVIDIA se tím plocha rozhraní a podpůrných obvodů zmenší až o 67 %. Užší spojení má zároveň zjednodušit vedení spojů v mezivrstvě pouzdra.

Vyšší propustnost má pomoci tam, kde výpočetní jednotky čekají na váhy modelu, aktivační data nebo mezipaměť KV. Ta uchovává mezivýsledky pozornosti pro předchozí tokeny, aby je model při každém dalším tokenu nepočítal znovu. Přesun dat mezi pamětí a výpočetními jádry pak může být užším místem než samotný výpočet.

Uvolněná plocha vychází jednou 25 a podruhé 30 procent

Dva materiály výrobce se rozcházejí v tom, kolik místa má přesun uvolnit. Kratší oznámení uvádí až o 25 % více plochy na výpočetním čipu XPU. Technický článek na jednom místě píše o 30 % více dostupného křemíku hlavního čipu, ale ve výpočtu celkového přínosu znovu pracuje s 25 %.

Texty nevysvětlují, zda se čísla počítají z jiného základu, nebo jde o nepřesnost. Nelze je proto sloučit do jediného údaje. Totéž platí pro tvrzení o 30 % nárůstu výkonu celého XPU: NVIDIA ho odvozuje společně z vyšší propustnosti, volné plochy a nižší spotřeby, ale nepřipojuje popis konkrétního čipu, modelu ani měřeného úkolu.

Výrobci pamětí mají dodat stohy se společným základem

NVIDIA nechce vyrábět vrstvy DRAM sama. Slibuje jednotné provedení základního čipu, které ověří s více výrobci pamětí. Pro návrháře akcelerátorů by to znamenalo, že nebudou kvalifikovat odlišné paměťové rozhraní pro každého dodavatele zvlášť.

Network World popisuje stejnou dělbu práce: NVIDIA navrhne základní čip a rozhraní, samotnou paměť vyrobí zavedený výrobce DRAM. Článek zároveň upozorňuje, že NVHBM není samostatný výrobek. Je to součást NVLink Fusion pro firmy, které stavějí vlastní akcelerátory a chtějí je zapojit do rackové infrastruktury NVIDIA.

Prvním oznámeným zájemcem je Annapurna Labs patřící Amazonu. Firma má NVHBM zkoumat spolu s propojením NVLink pro budoucí infrastrukturu AWS. Samotný Trainium4 má podle NVIDIA podporovat NVLink Fusion, oznámení však neříká, že dostane právě NVHBM.

Bez vzorků nejde sliby porovnat s HBM4E

NVHBM má tedy popsané rozdělení řadiče, první spolupráci a několik procentních tvrzení. Chybí parametry, podle kterých by se dal návrh porovnat s konkrétním HBM4E: kapacita stohu, počet stohů u XPU, dosažená propustnost v GB/s, spotřeba ve wattech a podmínky měření. Dokud se neobjeví vzorky nebo technický list, zůstávají uváděná zlepšení cílem výrobce.

Zdroje

• Oznámení NVIDIA z 26. srpna 2026, přesun řadiče, hlavní procentní údaje a spolupráce s Annapurna Labs
• Technický rozbor NVIDIA, rozhraní PHY, využití u modelů a odlišné údaje o volné ploše
• Network World, nezávislý popis architektury a role výrobců pamětí