NVIDIA Rubin CPX får HBM4-minne i ny design

Vad är nyheten om NVIDIAs Rubin CPX med HBM4-minne?

NVIDIA har enligt supply chain-analytikern Ming Chi Kuo återupplivat projektet för Rubin CPX, som tidigare hade pausats. Den väsentligaste ändringen är ett komplett skifte i minnesarkitekturen; där den ursprungliga planen var att använda 128 GB GDDR7-minne, kommer den nya versionen istället att utrustas med 168 GB HBM4 (High Bandwidth Memory 4). Denna ändring kräver en redesign av chippaketet, där NVIDIA förväntas använda TSMC:s CoWoS-S eller CoWoS-L teknologier för integrationen.

Enligt tillgänglig information är Rubin CPX inte en generell GPU, utan en specialiserad accelerator designad för agentiska AI-arbetsbelastningar. Den är specifikt riktad mot prefill-uppgifter, vilket innebär att den hanterar input-kontexten för LLM:er (Large Language Models) och processeringen av KV cache (Key-Value cache). Genom att separera prefill från decode-uppgifter kan systemet leverera tokens snabbare till slutanvändaren. Hårdvaran levereras i separata rack med konfigurationer från 64 till 256 självständiga CPX-GPU:er per rack, och en enskild chip sägs leverera 30 PetaFLOPS beräkningsprestanda baserat på NVFP4-formatet på en monolithic die.

Vilka tekniska förbättringar medför skiftet till HBM4?

Skiftet från GDDR7 till HBM4 innebär i praktiken ett massivt hopp i minnesbandbredd och kapacitet, vilket är kritiskt för modeller med biljoner parametrar. Medan GDDR7 är snabbare än tidigare generationer, kan den inte matcha den vertikala staplingen och direkta integrationen som HBM4 erbjuder via CoWoS-paketering (Chip on Wafer on Substrate). Detta gör det möjligt att hantera betydligt större kontextfönster utan att stöta på flaskhalsar i dataöverföringen mellan minne och kärna.

För att förstå värdet måste man se på uppdelningen av inferens. Prefill är den fas där modellen läser hela input-prompten; här är bandbredd helt avgörande. Decode är fasen där tokens genereras en efter en. Genom att dedikera Rubin CPX till prefill och standard Rubin GPU:er till decode, undviker man att en process blockerar den andra, vilket resulterar i en mer flytande användarupplevelse.

Hur skiljer sig prefill- och decode-uppgifter tekniskt?

Skillnaden mellan prefill och decode är fundamental för modern AI-arkitektur, då de två faserna har vitt skilda krav på hårdvaran. Prefill är beräkningsintensiv (compute-bound) och kräver massiv bandbredd för att ladda in prompten snabbt, medan decode är minnesbegränsad (memory-bound), då den genererar tokens sekventiellt. Genom att använda Rubin CPX specifikt för prefill kan NVIDIA optimera hårdvaran för just denna flaskhals.

Denna disaggregerade inferensmodell innebär att man inte längre behöver kompromissa med prestandan över hela processen.

Vilka konfigurationer finns för MGX ETL-rack?

Implementeringen av Rubin CPX sker inte via enskilda kort, utan genom MGX ETL (Enterprise Technology Layer) rack. Dessa system är designade för att skalas efter modellens storlek och den förväntade belastningen. Valet av antal GPU:er per rack har direkt inverkan på hur många parametrar en modell kan köra effektivt utan extrem latens.

Det är viktigt att notera att skalningen inte bara handlar om råstyrka, utan om att matcha mängden HBM4-minne med modellens behov av KV cache. Ju fler GPU:er i racket, desto större blir den totala minnespoolen, vilket minskar behovet av att flytta data mellan olika noder i datacentret.

Vilka ström- och kylningskrav ställer ett Rubin CPX-rack?

Övergången till HBM4 och monolithic dies med 30 PetaFLOPS beräkningsprestanda medför en drastisk ökning av energiförbrukningen. Ett fullt utrustat MGX ETL-rack kräver specialiserad infrastruktur, då traditionell luftkylning inte längre är tillräcklig för att avlägsna den värme som dessa tätt packade acceleratorer genererar under full belastning.

Företag som planerar en uppgradering till Rubin CPX bör därför först göra en revision av sitt datacenter för att säkerställa att strömdistributionen kan hantera de nya racken. Bristande investeringar i kylning kommer att leda till termisk throttling, vilket eliminerar den hastighetsvinst som HBM4-minnet medför.

Hur jämför sig GDDR7 och HBM4 tekniskt?

Skillnaden mellan GDDR7 (Graphics Double Data Rate 7) och HBM4 (High Bandwidth Memory 4) är inte bara hastighet, utan arkitektur. Medan GDDR7 placeras runt GPU:n på kretskortet, staplas HBM4 vertikalt och ansluts direkt till chippen via ett interposer-lager. Detta minskar det fysiska avståndet data måste färdas, vilket sänker strömförbrukningen per överförd bit och ökar bandbredden exponentiellt.

För en svensk köpare innebär detta skifte att produkten har flyttats från att vara en "prismedveten" accelerator till att vara ett high-end instrument. HBM4 är betydligt dyrare att producera än GDDR7, vilket placerar Rubin CPX i den absoluta toppen av prisklassen för AI-hårdvara.

Hur ser svenskt pris och tillgänglighet ut för Rubin CPX?

För svenska företag innebär lanseringen av Rubin CPX att man måste planera för en infrastrukturinvestering i absolut toppklass. Eftersom produkten levereras som rack-lösningar (MGX ETL-rack) och inte som enskilda kort till befintliga servrar, rör det sig om ett komplett datacenter-setup.

Det är viktigt att notera att detta inte är en produkt för mindre företag eller standard workstation-användare. Prisklassen ligger i det högsta enterprise-segmentet, där kostnaderna inte bara täcker hårdvaran, utan även den massiva strömförsörjningen och kylningen som HBM4-baserade system kräver. För aktuellt pris och lagerstatus på tillgängliga AI-acceleratorer hänvisas till produktkarusellen vid artikeln.

Kompatibilitetsmässigt kräver Rubin CPX en strikt integration. NVIDIA rekommenderar specifikt ett 1:1-förhållande mellan CPX-enheter och standard Rubin GPU:er i decode-racket för att undvika flaskhalsar. Om man bara investerar i CPX utan motsvarande decode-kapacitet kommer systemet att vara ur balans, då prefill-fasen kommer att köra snabbare än vad tokens kan genereras.

Typiska fel vid val av Rubin CPX

Vid implementering av så specialiserad hårdvara som Rubin CPX finns det flera kritiska fallgropar som kan leda till dyra felinköp eller ineffektiva system.

1. Bristande balans mellan Prefill och Decode: Det största felet är att köpa CPX-enheter utan att upprätthålla NVIDIAs rekommenderade 1:1-ratio till standard Rubin GPU:er. Detta skapar en obalans där prefill-kapaciteten överstiger decode-hastigheten, vilket gör den extra investeringen i HBM4 bortkastad.
2. Underskattning av ström och kylning: Skiftet från GDDR7 till HBM4 och användningen av monolithic dies med 30 PetaFLOPS beräkningsprestanda ökar strömkraven markant. Företag gör ofta felet att tro att befintlig rack-infrastruktur kan hantera de nya MGX ETL-racken utan uppgradering av kylsystemet (t.ex. till vätskekylning).
3. Förväxling med generella GPU:er: Rubin CPX är inte en ersättning för standard AI-GPU:er, utan ett komplement. Att försöka använda CPX för generella träningsuppgifter eller ren decode kommer att vara ineffektivt, då chippen är optimerad specifikt för prefill och KV cache processing.
4. Ignorerande av rack-skalning: Eftersom systemet konfigureras från 64 till 256 GPU:er per rack, riskerar man att underdimensionera sitt setup i förhållande till de modeller (LLM:er) man önskar köra. Modeller med biljoner parametrar kräver den övre delen av rack-skalan för att utnyttja HBM4-kapaciteten fullt ut.
5. Bristande validering av software-stack: Ett vanligt fel är att inte säkerställa att CUDA-versioner och orkestreringsmjukvara (som Kubernetes eller NVIDIA Triton) är uppdaterade för att stödja disaggregerad inferens, vilket kan leda till att hårdvaran körs i ett suboptimalt kompatibilitetsläge.
6. Förbisedd övergång från luft- till vätskekylning: Många svenska datacenter är byggda för luftkylning. Att installera Rubin CPX utan att ha etablerat en sluten vattenloop eller immersion cooling-infrastruktur kommer att leda till omedelbar termisk throttling och potentiella hårdvarukrascher.