AMD Helios MI400 Systemarkitektur och rack-skala AI

Vad har hänt?

AMD har presenterat en ny rack-skala AI-plattform på Hot Chips 2026, vilket markerar ett strategiskt skifte från att leverera enskilda komponenter till att designa hela systemarkitekturer. Enligt AMD består plattformen av tre centrala kiselblock: den 96-kärniga EPYC Venice CPU:n, high-end GPU-acceleratorer och Pensando Vulcano nätverkskort (NIC). Syftet med denna integration är att säkerställa att AI-infrastrukturen är co-designad över compute och nätverk för att eliminera effektivitetsförluster som uppstår när separata delar bara pressas samman.

Systemet är uppbyggt kring en switch-topologi, där varje GPU får tillgång till massiv bandbredd via 72 IFoE-länkar. En väsentlig teknisk detalj är implementeringen av UALoE (UALink over Ethernet), som AMD understryker är baserat på öppna standarder istället för proprietära lösningar, vilket ger större flexibilitet i valet av switchar och minskar leverantörsberoendet.

Vad är en rack-skala arkitektur?

En rack-skala arkitektur innebär att hela serverracket betraktas som en enda dator istället för en samling individuella servrar. Istället för att optimera den enskilda noden flyttas fokus till det totala systemets bandbredd, strömförsörjning och kylning, så att data kan flöda fritt mellan alla komponenter i racket utan flaskhalsar.

Detta tillvägagångssätt är nödvändigt för moderna AI-modeller, då träning av stora språkmodeller (LLM) kräver att tusentals GPU:er kan dela data nästan omedelbart. Genom att flytta intelligensen och styrningen till racknivå kan man uppnå en betydligt högre effektivitetsgrad än vid traditionell nätverksanslutning mellan separata servrar.

Vad är nytt med AI-plattformen?

Det mest markanta nya elementet i arkitekturen är integrationen av HBM4 (High Bandwidth Memory 4) och skiftet mot en rackcentrerad designfilosofi. Där man tidigare optimerade den enskilda GPU:n, optimerar AMD nu hela racket som en stor dator med delad minnesåtkomst via UALoE. Detta gör det möjligt för acceleratorer att kommunicera över hela podden utan att vara begränsade till lokala segment.

För att förstå den underliggande beräkningskraften måste man se på CDNA 5-arkitekturen i de använda acceleratorerna. AMD upplyser att denna generation fokuserar på MXFP4-precision för att maximera genomströmningen av AI-inferens och träning. Detta stöds av EPYC Venice CPU:erna, som fungerar som host med 96 kärnor per nod via SP7-sockeln, vilket säkerställer att dataflödet till acceleratorerna inte blir en flaskhals.

Vad betyder det för svenska kunder?

För svenska företag och datacenter innebär denna utveckling att man måste flytta fokus från traditionella serverinköp till systemarkitektur. Eftersom plattformen kräver specialiserad infrastruktur som 50V DC busbars och avancerad vätskekylning, kan den inte bara placeras i ett standardrack. Det krävs en genomgripande uppgradering av datacentrets ström- och kylkapacitet för att kunna utnyttja den massiva beräkningskraften.

Kompatibiliteten är centrerad kring öppna standarder. Genom att använda Broadcom-switchar i sin UALoE-setup gör AMD det lättare för svenska IT-avdelningar att integrera systemen i befintliga nätverksmiljöer jämfört med slutna ekosystem. För dem som redan använder AMD EPYC guide till datacenter, kommer övergången till Venice-baserade system att vara en naturlig evolution i deras infrastruktur.

För aktuellt pris och lagerstatus på kompatibla komponenter hänvisas till produktkarusellen vid artikeln.

Vilken hårdvara krävs för att driva systemet?

Plattformen är inte en enskild komponent, utan ett ekosystem av high-end hårdvara. För att köra systemet krävs specifika CPU:er och nätverkskort som är co-designade för att kommunicera via Infinity Fabric. Detta inkluderar EPYC Venice-processorerna, som levererar den nödvändiga PCIe-lane-densiteten och minnesbandbredden för att styra fyra accelerator-moduler per compute tray.

Nätverksdelen hanteras av programmerbara nätverkskort (NICs) som är designade för att avlasta GPU:erna från nätverkstrafik. Detta är essentiellt i ett rack med 72 GPU:er, där trafikmängden annars skulle överväldiga systemets kontrollplan. För mindre installationer kan man titta i kategorin hårdvara för att se basala komponenter, men denna arkitektur kräver dedikerad enterprise-utrustning.

Hur fungerar nätverket via UALoE?

UALoE står för UALink over Ethernet och är kärnan i systemets förmåga att skala. Det skapar en delad minnesmodell där GPU:er kan läsa och skriva direkt till varandras HBM4-minne via DMA (Direct Memory Access) utan att behöva gå genom CPU:n varje gång. Detta reducerar latency markant i stora AI-modeller.

AMD använder en multi-plane arkitektur med 512-portars switchar, vilket innebär att om en switch eller ett helt tray fallerar, kan trafiken dynamiskt omdirigeras via andra plan. Detta säkerställer hög upptid i missionskritiska AI-miljöer. För dem som bygger mindre system kan principerna från Konfigurerbar PC guide hjälpa till att förstå vikten av bandbredd mellan komponenter.

Vad gör Helios AI-tekniken unik?

Det unika med denna teknik är kombinationen av öppna standarder och extremt tät hårdvaruintegration. Genom att bygga UALoE på öppen Ethernet istället för en låst, proprietär fabric, ger AMD kunderna möjlighet att använda tredjepartsswitchar (som Broadcom), samtidigt som de uppnår prestandan från ett integrerat system.

Vidare är implementeringen av rack-skala confidential computing unik. Systemet säkerställer datakonfidentialitet över CPU, GPU och NIC via universell länkkryptering med snabb nyckelrotation. Detta innebär att känsliga AI-modeller kan tränas i en miljö där även en kompromitterad hypervisor har svårt att extrahera själva modelldata.

Typiska fel vid AI rack-infrastruktur

1. Underskattning av strömkrav: Många försöker köra high-end acceleratorer på standard 230V AC-installationer, men denna arkitektur kräver en 50V DC busbar för att minimera konverteringsförluster och värmeutveckling.
2. Bristfällig kylplanering: Att installera ett system med 72 GPU:er utan ett fullt integrerat vätskekylningssystem (Liquid Cooling) kommer att leda till omedelbar termisk throttling, då luftkylning inte kan flytta den mängden värme.
3. Ignorerande av NIC-kapacitet: Ett vanligt fel är att fokusera uteslutande på GPU:ns TFLOPS och glömma nätverkskortet. Utan programmerbara AI NICs blir nätverket flaskhalsen, och GPU:erna kommer att stå i tomgång.
4. Bristande partitionering: Att köra hela racket som en stor enhet utan att konfigurera VPods. Detta innebär att ett enskilt hårdvarufel potentiellt kan sänka hela compute-klustret istället för bara ett isolerat segment.
5. Fel här kan leda till ineffektiv DMA-mapping, vilket reducerar den effektiva bandbredden markant.
6. Bristande övervakning av link-layer: Att ignorera hårdvarurapportering om soft errors i link-layret. Även om systemet är resilient kan upprepade fel på enskilda länkar indikera fysiska problem med kablar eller switchar innan ett totalt haveri sker.