Nuværende AI -datacentre står over for to kerneflaskehalse i skalering, og traditionel skala - op og skala - ud modeller kæmper for at møde Giga - skala AI kræver:
Skala - op begrænsninger: Opnået ved at opgradere enkeltsystemer eller stativer (f.eks. Forøgelse af GPU -tælling eller forbedring af enkelt - enhedsydelse), men begrænset af strømlofter fra infrastruktur som vandkøling. Eksisterende datacentre har fysiske tærskler for effektindgang og varmeafledning, hvilket forhindrer uendelige stigninger i beregningstæthed pr. Rack eller datacenter.
Skala - out begrænsninger: Udvidet ved at tilføje stativer og servere til at skalere klynger, men begrænset af det fysiske rum på et enkelt sted, der pålægger hårde kasketter.
For at overvinde dette dilemma foreslår Nvidia den nye dimension af "skala - på tværs", optimering af netværkskommunikation mellem geografisk spredte datacentre for at få distribuerede AI -klynger til at samarbejde som en. NVIDIA -grundlægger og administrerende direktør Jensen Huang beskriver dette kors - regional AI Super Factory som nøgleinfrastruktur til AI Industrial Revolution med Spectrum - XGS som kerneteknologi muliggør.
Core Technologies of Spectrum - XGS
Spectrum - XGS er ikke en helt ny hardwareplatform, men en udvikling af Nvidias eksisterende spektrum - X Ethernet -økosystem. Siden lanceringen i 2024 har Spectrum - X leveret 1,6x højere generativ AI -netværksydelse end traditionel Ethernet via spektret - 4 Arkitekturs SN5600 -switches og Bluefield - 3 dpus, der bliver mainstream -valget for AI -datacentre ved hjælp af nvidia -gpus. Gennembrudet i Spectrum-XGS ligger i tre algoritmiske innovationer og hardwaresynergier, der adresserer kommunikations latenstid, overbelastning og synkroniseringsudfordringer i tværregionale GPU-klynger.
1.Core -algoritmer: Dynamisk tilpasning til Long - Distance Network -egenskaber
Spectrum - XGS's kerne er et sæt af "afstand - AWARE -netværksoptimeringsalgoritmer", der analyserer nøgleparametre for kryds - data - midtkommunikation i reelle - tid (afstand, trafikmønster, forbindelsesniveau
Afstand - Adaptiv overbelastningskontrol:I modsætning til traditionel Ethernets ensartede behandling af alle forbindelser justerer Spectrum - XGS -algoritmer automatisk overbelastningstærskler baseret på faktiske afstande mellem datacentre (i øjeblikket understøtter installationer op til hundreder af kilometer), idet man undgår pakketab eller opbygning i lange - distanceoverførsler.
Præcis latensstyring:Gennem pr. - pakke bøde - kornet adaptiv routing, eliminerer det latens jitter fra pakkens genfartsselskaber i traditionelle netværk. Jitter er en kritisk fare i AI -klynger: Hvis en enkelt GPU -forsinkelse på grund af forsinkelse, skal alle samarbejde GPU'er vente og direkte påvirke den samlede ydelse.
Slut - til - sluttelemetri: Ægte - Tidsopsamling af fuld - Link Performance Data fra GPU'er til switches og Cross - Data - Center Links giver millisekund - niveau feedback til algoritmiske justeringer, hvilket sikrer dynamisk matchning af netværksstatus til AI -arbejdsbelastning kræver.
2. Hardwaresynergier: Udnyttelse af spektrum - x økosystemets High - Bandwidth Foundation
Spectrum - XGS opnår optimal ydelse, når det kombineres med specifik NVIDIA -hardware:
Spektrum - X switches: Som det underliggende netværks rygrad, tilvejebringer høj porttæthed og lav - videresendelse af latenstid.
ConnectX-8 Supernic: 800 GB/s AI - Dedikeret netværksadapter til høj - Speed -dataoverførsel mellem GPU'er og switches.
Blackwell Architecture Hardware: Såsom B200 GPU'er og GB10 Superchips, dybt integreret med spektrum - XGS for at reducere ende - til - End Latency. NVIDIA valideret gennem NCCL (Collective Communications Library) benchmarks: spektrum - xgs øger kommunikationsydelsen mellem kryds - data - center gpus med 1,9x, mens den kontrollerer ende {- til {- slutning ca. 200 milliseconds {{{{{{{10} til {- ende limency ca. 200 milliseconds {{-}} til {11-} ende limency ca. 200 milliseconds {-}}} a live Det føles lydhør og forsinket - gratis til brugerinteraktioner, opfylder reelle - tidskrav til AI -inferens.
Fuld - Stakoptimering til AI -træning og inferenseffektivitet med spektrum - XGS
Spectrum - XGS er ikke en isoleret teknologi, men en vigtig tilføjelse til NVIDIAs fulde - Stack AI -økosystem. I denne udgivelse afslørede NVIDIA også software - -præstationsforbedringer, der synergiserer med Spectrum - XGS til hardware - algoritme - Softwaresamarbejde:
Dynamo -softwareopgradering: Optimeret til Blackwell -arkitektur (f.eks. B200 -systemer) for at øge AI -modelens inferensydelse med op til 4x, hvilket reducerer beregningsforbruget markant for stor modelinferens.
Spekulativ afkodningsteknologi: Bruger en lille udkast til model til at forudsige det næste output -token af hoved AI -modellen på forhånd, hvilket reducerer hovedmodellens beregning og forbedrer inferensets ydeevne med yderligere 35%. Dette er især egnet til samtaleinterferensscenarier i store sprogmodeller (LLM'er).
NVIDIAs Accelerated Computing Department Director Dave Salvator oplyste, at det centrale mål for disse optimeringer er at skalere ambitiøse Agentiske AI -applikationer. Uanset om du træner trillion - parameter store modeller eller understøtter AI -inferenstjenester til millioner af samtidige brugere, giver kombinationen af spektrum - XGS og softwareøkosystemet forudsigelig ydelse.
Tidlige applikationer og industriens påvirkning af spektrum - XGS
Første brugere: Coreweave Pioneers Cross - Domain AI Super FactoryGPU Cloud -tjenesteudbyder Coreweave er blandt de første adoptører af Spectrum - XGS. Virksomhedens co - grundlægger og CTO Peter Salanki bemærkede, at denne teknologi vil gøre det muligt for sine kunder at få adgang til Giga - skala AI -kapaciteter og fremskynde gennembrud på tværs af brancher. For eksempel understøtter Ultra - stor - skala AI -projekter som Stargate -initiativet fra Oracle, SoftBank og Openai.
Industristendenser: Ethernet, der erstatter Infiniband som AI -netværk mainstreamSelvom Infiniband havde ca. 80% af AI Backend Network Market i 2023, skifter industrien hurtigt til Ethernet. NVIDIAs valg om at udvikle Spectrum - XGS på Ethernet stemmer overens med denne tendens:
Kompatibilitet og omkostningsfordele:Ethernet er den universelle standard for globale datacentre, mere kendt for netværksingeniører og billigere at implementere end Infiniband.
Fremskrivninger af markedsskala:Dell'oro -gruppedata viser, at Ethernet Data Center Switch -markedet når næsten 80 milliarder dollars i løbet af de næste fem år.
Nvidias egen vækst: 650 grupprapporter viser NVIDIA som den "hurtigste - voksende leverandør" på 2024 Data Center Switch -markedet, med dets netværksforretningsindtægter, der når 5 milliarder dollars i q 2 2024} (slutter 27. april), op 56% år {{7} over {{{8} år.
Lanceringen af Spectrum - XGS udvider NVIDIAs fulde - Stack Monopol -strategi i AI -infrastruktur, mens den udløser ny konkurrencedynamik:
NVIDIAs fulde - staklayout: Fra GPU'er (Blackwell), sammenkoblinger (NVLINK/NVLINK -switch), netværk (spektrum - x/spektrum - xgs, kvante - x infiniband) til software (cuda, tensorrt - {llm, nim mikro mikro En lukket sløjfe, der dækker "Compute - Connect - software" til AI -infrastruktur. Spektrum - Xgs synergiserer med nvlink for tre - niveau skalering: intra - rack (nvlink), intra - data - center (spektrum - x), og Cross - data - center (spektrum - xgs).
Konkurrenters svar: Broadcoms tidligere Sue -teknologi deler lignende mål med Spectrum - XGS, der sigter mod at optimere Ethernet -ydelsen for at lukke kløften med Infiniband. Derudover accelererer leverandører som Arista, Cisco og Marvell AI - dedikerede Ethernet -switches, med konkurrence med fokus på ydeevne - omkostninger - økosystemkompatibilitet.
Kerneværdien af spektrum - XGS ligger i at skubbe AI -datacenterskalering fra "enkelt- webstedsbegrænsninger" til "Cross - regionalt samarbejde." Efterhånden som magt og jord bliver hårde grænser for enkelt datacentre, vil kryds - by og kryds - land AI Superfabrikker blive kerneform, der understøtter næste - Generation AI -applikationer (f.eks. Generel kunstig intelligens, stor - Scale Agent Clusters).
Som NVIDIAs netværksafdeling senior vicepræsident Gilad Shainer forhåndsvisning på HOT CHIPS -konferencen: "Cross - data - Center Fiber Optic Physicy Networks har længe eksisteret, men softwarealgoritmer som Spectrum - XGS er nøglen til at fjerne den sande ydeevne for disse fysiske infrastrukturer."
