Aktuella AI -datacentra står inför två kärnflaskhalsar i skalning, och traditionell skala - upp och skala - ut modeller kämpar för att möta giga - skala AI -krav:
Skala - upp begränsningar: Uppnås genom att uppgradera enstaka system eller rack (t.ex. öka GPU -räkningen eller förbättra enstaka - enhetsprestanda), men begränsas av krafttak från infrastruktur som vattenkylning. Befintliga datacenter har fysiska trösklar för kraftinmatning och värmeavledning, vilket förhindrar oändliga ökningar i beräkningstäthet per rack eller datacenter.
Skala - ut begränsningar: Utökad genom att lägga till rack och servrar till skala kluster, men begränsat av det fysiska utrymmet i en enda plats, vilket innebär hårda mössor på utrustningskapaciteten.
För att övervinna detta dilemma föreslår Nvidia den nya dimensionen av "skala - över", optimering av nätverkskommunikation mellan geografiskt spridda datacentra för att göra distribuerade AI -kluster samarbeta som en. NVIDIA -grundaren och VD Jensen Huang beskriver detta kors - Regional AI Super Factory som nyckelinfrastruktur för AI Industrial Revolution, med Spectrum - XGS som Core Technology Enabler.
CORE Technologies of Spectrum - xgs
Spectrum - XGS är inte en helt ny hårdvaruplattform utan en utveckling av Nvidias befintliga spektrum - X Ethernet -ekosystem. Sedan lanseringen av 2024 har Spectrum - X levererat 1,6x högre generativ AI -nätverksprestanda än traditionellt Ethernet via Spectrum - 4 Arkitekturens SN5600 -switchar och BlueField - 3 DPU: er, och blir mainstream -valet för AI -datacentra med NVIDIA GPU. Genombrottet i spektrum-XG: er ligger i tre algoritmiska innovationer och hårdvarusynergier som behandlar kommunikationslatens, trängsel och synkroniseringsutmaningar i tvärregionala GPU-kluster.
1.Core -algoritmer: Dynamisk anpassning till lång - Distansnätverkegenskaper
Spectrum - XGS's Core är en uppsättning "Distance - Aware Network Optimization Algoritms" som analyserar nyckelparametrar för Cross - Data - Centerkommunikation i Real - tid (avstånd, trafik, koncentrationsnivåer, koncentrationsnivåer, prestanda, prestanda) och dynamiskt justeringspolier:
Avstånd - Adaptiv trängselkontroll:Till skillnad från traditionell Ethernets enhetliga behandling av alla anslutningar, justerar Spectrum - XGS -algoritmer automatiskt tröskelvärden baserat på faktiska avstånd mellan datacentra (för närvarande stödjande avstånd upp till hundratals kilometer), undvik paketförlust eller uppbyggnad i långa - avstånd.
Precise Latency Management:Genom per - paket fine - Kornad adaptiv routing, eliminerar det latensjitter från paketöverföring i traditionella nätverk. Jitter är en kritisk fara i AI -kluster: Om en enda GPU -fördröjning på grund av försening, måste alla samarbetande GPU: er vänta och direkt påverka den totala prestandan.
Slut - till - slut telemetri: Real - tidssamling av full - länkprestanda data från gpus till switchar och korsa - data - centerlänkar ger millisekund - nivå feedback för algoritmiska justeringar, säkerställer dynamisk matchning av nätverksstatus till AI -arbetslast.
2. Hardware Synergies: utnyttjande spektrum - x Ecosystem's High - Bandwidth Foundation
Spektrum - XGS uppnår optimal prestanda i kombination med specifik NVIDIA -hårdvara:
Spectrum - x switchar: Som den underliggande nätverksryggraden, vilket ger hög portdensitet och låg - Latens vidarebefordran.
Connectx-8 supernic: 800 gb/s ai - dedikerad nätverksadapter för hög - hastighetsdataöverföring mellan GPU: er och switchar.
Blackwell Arkitektur Hårdvara: Såsom B200 GPU: er och GB10 -superchips, djupt integrerade med spektrum - xgs för att minska änden - till - slutlatens. NVIDIA validated through NCCL (collective communications library) benchmarks: Spectrum-XGS boosts communication performance between cross-data-center GPUs by 1.9x while controlling end-to-end latency at about 200 milliseconds-a level that Känns lyhörd och fördröjning - gratis för användarinteraktioner, uppfyller verkliga - tidskrav för AI -slutsatser.
Full - Stackoptimering för AI -träning och inferenseffektivitet med spektrum - xgs
Spektrum - XGS är inte en isolerad teknik utan ett viktigt tillägg till Nvidias fulla - Stack AI -ekosystem. I denna utgåva avslöjade NVIDIA också programvara - nivåprestandaförbättringar som synergiserar med spektrum - xgs för hårdvara - algoritm - Programvarusamarbete:
Dynamo -programvaruuppgradering: Optimerad för Blackwell Architecture (t.ex. B200 -system) för att öka AI -modellinferensprestanda med upp till 4x, vilket avsevärt minskar beräkningsförbrukningen för stor modellinferens.
Spekulativ avkodningsteknik: Använder en liten utkastsmodell för att förutsäga nästa utgångstoken för den huvudsakliga AI -modellen i förväg, minska huvudmodellens beräkning och förbättra inferensprestanda med ytterligare 35%. Detta är särskilt lämpat för samtalsscenarier i stora språkmodeller (LLM).
NVIDIA: s accelererade datoravdelningsdirektör Dave Salvator uppgav att kärnmålet för dessa optimeringar är att skala ambitiösa agentiska AI -applikationer. Oavsett om du tränar biljoner - Parameter stora modeller eller stödjer AI Inference Services för miljoner samtidiga användare, ger kombinationen av spektrum - XGS och programvaruekosystemet förutsägbar prestanda.
Tidiga applikationer och branschpåverkan av spektrum - XGS
Första användare: CoreWeave Pioneers Cross - Domän AI Super FactoryGPU -molntjänstleverantör Coreweave är bland de första adoptörerna av spektrum - xgs. Företagets CO - grundare och CTO Peter Salanki konstaterade att denna teknik kommer att göra det möjligt för sina kunder att få tillgång till Giga - skala AI -kapacitet och påskynda genombrott i olika branscher. Till exempel, stödja Ultra - Large - skala AI -projekt som Stargate -initiativet från Oracle, SoftBank och OpenAI.
Branschtrender: Ethernet ersätter Infiniband som AI Network MainstreamÄven om Infiniband innehöll cirka 80% av AI Backend Network Market 2023, växlar branschen snabbt till Ethernet. Nvidias val att utveckla spektrum - xgs på Ethernet anpassar sig till denna trend:
Kompatibilitet och kostnadsfördelar:Ethernet är den universella standarden för globala datacenter, mer bekant för nätverksingenjörer och billigare att distribuera än Infiniband.
Prognoser för marknadsskala:Dell'oro Group -data visar att Ethernet Data Center Switch -marknaden kommer att nå nästan 80 miljarder dollar under de kommande fem åren.
Nvidias egen tillväxt: 650 grupprapporter indikerar NVIDIA som "snabbaste - växande leverantör" på 2024 Data Center Switch -marknaden, med sina nätverksintäkter når 5 miljarder dollar i Q 2 2024 (slutar april 27), upp 56% år - över - år.
Lanseringen av Spectrum - XGS utvidgar Nvidias fulla - stack monopolstrategi i AI -infrastruktur, samtidigt som man leder till ny konkurrensdynamik:
Nvidias fulla - stacklayout: Från GPU: er (Blackwell), interconnect (nvlink/nvlink switch), nätverk (spektrum - x/spektrum - xgs, kvant - x infiniband) till programvara (cuda, tensorrt - llics, nime a micSerices), nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, nvidia, n visioned), nvidia, n visionice, nvidia, nwidia, noryed gate Loop Covering "Compute - Connect -} programvara" för AI -infrastruktur. Spectrum-XGS synergizes with NVLink for three-level scaling: intra-rack (NVLink), intra-data-center (Spectrum-X), and cross-data-center (Spectrum - xgs).
Konkurrenternas svar: Broadcoms tidigare SUE -teknik delar liknande mål med Spectrum - XGS, som syftar till att optimera Ethernet -prestanda för att stänga gapet med Infiniband. Dessutom accelererar leverantörer som Arista, Cisco och Marvell Ai - dedikerade Ethernet -switchar, med konkurrens med fokus på prestanda - Cost - Ekosystemkompatibilitet.
Kärnvärdet för spektrum - XGS ligger i att driva AI -datacenterskalning från "Single - webbplatsbegränsningar" för att "korsa - regionalt samarbete." När kraft och mark blir hårda gränser för enskilda datacenter kommer Cross - City and Cross - land AI superfabriker att bli kärnformen som stöder nästa - Generation AI Applications (t.ex. General Artificial Intelligence, Large-} skala Agent).
As NVIDIA's networking department senior vice president Gilad Shainer previewed at the Hot Chips conference: "Cross-data-center fiber optic physical networks have long existed, but software algorithms like Spectrum-XGS are the key to unlocking the true performance of these physical infrastructures."
