10GbE netværksopsætning: Hardware, kabling og hastighedstest

10GbE opsætning

Hvis du kun læser et afsnit, så læs dette:

• Begge ender af hvert link har brug for et 10GbE-interface. Et hurtigt NIC skaber ikke et hurtigt link.
• Medierne mellem dem skal være kompatible med begge porte:Cat6A til RJ45, DAC eller optik til SFP+.
• To enheder kan tilsluttes direkte. En switch er kun nødvendig, når en tredje enhed tilslutter sig.
• Forlad MTU ved 1500 under idriftsættelse. Jumborammer er en optimering, ikke et krav.
• Bevis netværket mediperf3først. Først da skylder du NAS'en, CPU'en eller protokollen.
• Alt nedenfor forklarer, hvordan man træffer disse fem beslutninger korrekt, og hvordan man fortæller, hvilken komponent der holder linket tilbage, når tallene skuffer.

Hvad har du brug for til et 10GbE-netværk?

Et minimalt 10GbE-link er to egnede endepunkter og en kompatibel forbindelse mellem dem. Et større netværk tilføjer en switch med nok 10GbE-porte.

• 10GbE netværkskort eller indbyggede 10GBASE-T-porte
• En 10GbE switch - medmindre de to enheder er forbundet direkte
• Kobberkabler, DAC'er, AOC'er eller transceivere plus fiber
• Værter og lager hurtigt nok til den tilsigtede arbejdsbyrde
• Drivere, firmware og OS-understøttelse for den valgte hardware

Det operative ord erkompatibel. En SFP+-port accepterer ikke en RJ45-patch-ledning, medmindre et understøttet 10GBASE-T SFP+-modul eller mediekonverter sidder imellem, og SFP+ er enport og modul formfaktor, ikke et fiberstik - optiske SFP+-moduler afsluttes næsten altid i duplex LC.

Valg af netværksinterfacekort

Før du bestiller et NIC, afgør fire ting, om det rent faktisk vil køre ved 10 Gbps: Slottet skal være fysisk tilgængeligt; Slottet skal levere nok brugbar PCIe-båndbredde (et kort kan passe til en x8-slot, der er elektrisk kablet x1); driveren skal eksistere for din kerne- eller serverudgivelse; og kortet må ikke tilberede sig selv i et passivt afkølet skrivebord. Ældre servertræk og noget 10GBASE-T-silicium kører bemærkelsesværdigt varmt.

Den mest almindelige overraskelse her er vognbanetildeling. Et NIC placeret i et chipset-tilsluttet slot, der deler båndbredde med et M.2-drev, vil forhandle et smallere PCIe-link, og operativsystemet vil med glæde rapportere "10 Gbps" på Ethernet-siden, mens bussen stille og roligt begrænser dig til 6-7 Gbps.

Switch eller direkte forbindelse?

En switch er ikke altid nødvendig. Et direkte link fungerer godt, når præcis to systemer har brug for båndbredden - for eksempel en videoredigeringsarbejdsstation og en NAS - med et statisk adressepar på et dedikeret undernet.

Flyt til enskiftet designnår mere end to enheder har brug for 10GbE, når flere arbejdsstationer rammer den samme lagerpulje, når 10GbE-segmentet skal nå det eksisterende LAN, eller når VLAN'er og centraliseret styring betyder noget. Når du gør det, tæl porte ærligt: ​​en switch med otte porte mister hurtigt porte til NAS-links, router-uplinks og inter-switch-forbindelser.

Opbevaring og værtsydelse

Et 10GbE-link har en linjehastighed på 10 gigabit per sekund. En filoverførsel har intet af den slags. Det er afgrænset af drevantal og RAID-layout, NAS CPU, SSD-cache-adfærd, filsystemoverhead, SMB- eller NFS-konfiguration, kryptering, klient-CPU, PCIe-båndbredde og antallet af brugere, der deler poolen.

Det er grunden til, at et netværksbenchmark og et filoverførselsbenchmark er to forskellige tests, og hvorfor den rækkefølge, du kører dem i, betyder mere end nogen tuningparameter.

Har du faktisk brug for 10GbE?

10GbE tjener sine omkostninger, hvor et lokalt netværk regelmæssigt flytter bulkdata eller betjener mange samtidige klienter: redigering af højopløsningsvideo fra delt lager, flytning af projektfiler mellem arbejdsstationer og en NAS, sikkerhedskopiering af flere systemer til én server, kørsel af VM'er fra netværkslager, replikering mellem servere eller tilvejebringelse af en højkapacitets uplink mellem switches.

Det gør ikke en internetforbindelse hurtigere. Det forbedrer kun trafikken, hvor hele stien understøtter den højere hastighed.

Når 2,5GbE eller 5GbE er det bedste køb

En multigigabit-opgradering er ofte de smartere penge, når de fleste endepunkter allerede har 2,5 GbE ombord, når lagersystemet alligevel ikke kan nærme sig 10 Gbps, når den dominerende arbejdsbyrde er internetadgang frem for lokal overførsel, eller når kablerne ikke kan udskiftes.

Et almindeligt og effektivt mønster for små kontorer: 2,5 GbE ved skrivebordene, 10 GbE mellem switche, servere og lager. Båndbredden går derhen, hvor trafikken konvergerer i stedet for at blive sprøjtet hen over havne, der aldrig vil bruge den.

Krav, Topologi og Medier

RJ45, DAC eller Fiber?

Ciscos 10GBASE SFP+ dokumentationviser passiv twinax DAC i længder op til 5 meter og aktive versioner op til 10 meter,10GBASE-SRnår 300 m på OM3 og 400 m på OM4, og10GBASE-LRnå 10 km på standard single-mode fiber. Behandl dem som det standarddefinerede loft og bekræft mod de faktiske moduler og switches, du har til hensigt at købe.

10GBASE-T over Cat6 eller Cat6A

Hvor RJ45-struktureret kabling allerede eksisterer, er 10GBASE-T normalt vejen til mindst modstand. De praktiske regler:

• AngivCat6Afor enhver ny 100 meter 10GbE kanal.
• Cat6 kan bære 10GbE over kortere kørsler - 55 m er det tal, der normalt citeres, under passende forhold - men dette er en tilladelse, ikke en garanti.
• Testkanal, ikke kabeltromlen. Patchpaneler, keystones, koblinger og patch-leads tæller alle sammen, og kanalen er kun så god som dens værste komponent.

Skeln også en indbygget 10GBASE-T switchport fra et kobber SFP+ modul. Kobber SFP+-moduler har generelt kortere 10 Gbps rækkevidde og højere termiske krav; Cisco specificerer op til 30 meter ved 10 Gbps for et af sine SFP+ RJ45-moduler. Hvis du stadig vejer kobber mod glas til en løbetur,sammenligning af kobberkategorier et nyttigt udgangspunkt.

Fiber: SR, LR og hvad der faktisk går galt

Brug SR med den korrekte multimode-grad, LR med single-mode. Match Ethernet-standarden, bølgelængden og fibertypen i begge ender, hold modtagestrømmen inde i det understøttede vindue, og bekræft, at switchen vil acceptere det modul, du har købt.

I praksis er de fejl, vi ser på optiske 10GbE-links, sjældent eksotiske. De er beskidte endeflader, en APC-patch-ledning i en UPC-kæde og et modul, som kontakten høfligt nægter at genkende. Konnektorpolering er ikke en detalje: LC/UPC dominerer i datacom, og blanding af UPC og APC endeflader er en pålidelig måde at miste adskillige dB på. Hvis du idriftsætter fiber for første gang, budgetter tid tilrengør og inspicér hvert stikfør du tilslutter den - og hvis SR/LR-forskellen stadig er uklar, så læssingle-mode versus multimode sammenligningfør du bestiller optik kan du ikke returnere.

Sådan opsætter du et 10GbE-netværk, trin for trin

Trin 1: Kortlæg enheder og trafik

List hver enhed og identificer, hvilke datastrømme der faktisk er begrænset i dag. Registrer kilde og destination, aktuelle porthastigheder, kabelafstande, forventede samtidige brugere, tilgængelige udvidelsesslots og eksisterende uplinks. Dette er, hvad der forhindrer en komplet netværkserstatning, når tre links skulle opgraderes.

Trin 2: Vælg topologi og medier

Brug beslutningstabellen ovenfor, og opbyg derefter en materialeliste, der viser hver port, modul og kabelende. En optisk transceiver bestilt uden at vide, hvad der sidder i den fjerne ende, er et møntkast.

Trin 3: Bekræft kompatibilitet på papir

Tjek understøttede porthastigheder, SFP+- og DAC-kompatibilitetslister, autoforhandlingsadfærd, drivere, NIC og switch-firmware, maksimalt understøttet MTU og termiske grænser. Nogle SFP+-porte kører kun ved 10 Gbps; andre accepterer også 1G SFP-moduler. Nogle 10GBASE-T-porte forhandler 1G/2,5G/5G/10G; andre understøtter et smallere sæt.

Trin 4: Installer NIC'erne og klargør switchen

Strømsystemer nede for interne kort, medmindre hot-plug er eksplicit understøttet. Installer derefter den aktuelle driver, opdater NIC-firmwaren, hvor leverandøren anbefaler det, bekræft, at OS ser grænsefladen, og - dette er det trin, folk springer over - bekræft, at NIC'en forhandlede den forventede PCIe-generering og linkbredde. Opdater switch-firmwaren, før den går i produktion, og mærk porte og kabler, mens du stadig husker, hvad de er.

Trin 5: Tilslut og bekræft linkhastigheden

Hvert link skal rapporteres, 10 Gbps, fuld dupleks, uden fejltællere, der stiger. På optiske links med digital diagnostik kan du se på temperaturen og modtage strøm. Hvis et link forhandler ved 1G, 2,5G eller 5G, skal du stoppe og rette det. Det nytter ikke at tune protokoller oven på et fysisk lag, der allerede ligger for dig.

Trin 6: Konfigurer IP-adressering (med et fungerende eksempel)

På et eksisterende LAN kan 10GbE-grænsefladen simpelthen leve på det normale undernet. For et direkte lagerlink holder et separat undernet den hurtige vej ren. En konfiguration, der fungerer pålideligt:

• Arbejdsstation, 10 GbE port: 192.168.50.10 / 255.255.255.0, gateway efterladt tom
• NAS, 10GbE port: 192.168.50.20 / 255.255.255.0, gateway efterladt tom
• Begge enheder beholder deres eksisterende 1GbE-grænsefladerpå det normale LAN-undernet, med gatewayen konfigureret der

At lade gatewayen være tom på 10GbE-grænsefladen er det, der stopper almindelig internettrafik med at vandre ind på et link, der ingen vegne går. For at bekræfte, at routingen opfører sig, skal du kontrollere, at trafikken til NAS'en tager den hurtige vej - Get-NetRoute og Test-NetConnection på Windows, ip-ruten får 192.168.50.20 på Linux - og mount share'en ved dens 192.168.50.x-adresse i stedet for dens værtsnavn, da navneopløsning ofte vil give dig 1GbE-adressen i stedet.

Hvor VLAN'er bruges, konfigurer dem på switchen, match taggede/utaggede indstillinger på værten, bekræft, at VLAN er tilladt på uplinks, og test grundlæggende tilgængelighed, før du trykker på ydeevnen. Skift én ting ad gangen.

Trin 7: Lad MTU være i fred (indtil videre)

Kommission ved standard 1500-byte MTU. Jumbo-rammer kan reducere per-pakke CPU-overhead ved store sekventielle overførsler, menIntels vejledning er eksplicit: Aktiver dem kun, når hver enhed på stien understøtter dem og er konfigureret til samme rammestørrelse. Etabler basislinjen først; du kan ikke se, om en ændring hjalp, hvis du aldrig målte "før".

Trin 8: Test netværket med iperf3 - og læs resultatet korrekt

iperf3, vedligeholdt af ESnet, måler opnåelig IP-netværks båndbredde uden at røre en disk. Server på én maskine:

iperf3 -s

Klient på den anden side:

iperf3 -c
iperf3 -c-P 4 - fire parallelle strømme
iperf3 -c-R - omvendt retning
iperf3 -c-t 30 - vedvarende løb

Nu er den del, de fleste guider udelader - hvad tallene betyder:

• 9,3–9,5 Gbits/sek. enkelt stream:et sundt 10GbE link. TCP og framing overhead tegner sig for resten; du vil ikke se 10.0.
• Omkring 8 Gbits/sek. enkelt stream, men 9,4 med -P 4:linket er fint. En enkelt stream er CPU-bundet på én kerne. Normal på beskedne desktop-CPU'er, og ikke en fejl.
• Ingen forbedring med parallelle strømme og en mættet kerne:CPU'en er loftet. Se på RSS- og aflastindstillinger, før du giver netværket skylden.
• Hurtigt frem, langsomt med -R:asymmetripunkter ved det ene endepunkt, ikke kablet. Mistænk en driver, en virtuel switch eller sikkerhedssoftware, der inspicerer indgående trafik.
• 4–6 Gbits/sek. i begge retninger, stabil:næsten altid en PCIe eller ekstern adapter begrænsning, ikke Ethernet.
• Hurtigt i ti sekunder og derefter kollaps:termisk. Tjek modulet og NIC-kølepladen.

Registrer betingelserne med resultatet: OS, driverversion, MTU, CPU, strømtælling, testvarighed. Et gennemløbsnummer uden dets miljø er et rygte.

Trin 9: Test den reelle arbejdsbyrde

Først når netværket passerer, bør du teste NAS'en, backup-jobbet eller redigeringstidslinjen - se læse/skrive-gennemløb, diskudnyttelse, CPU, NIC-udnyttelse og RAID-aktivitet sammen. En enkelt stor sekventiel fil opfører sig intet som ti tusinde små, så registrer arbejdsbyrden sammen med resultatet i stedet for at rapportere et toptal.

To diagnoser, du sandsynligvis vil løbe ind i

Case 1: iperf3 er hurtig, filkopier er det ikke

En fire-bay NAS med roterende diske, forbundet med DAC til en switch i nærheden. iperf3 rapporterer 9,4 Gbits/sek i begge retninger. Kopiering af en 40 GB videofil kører med omkring 190 MB/s og nægter at gå højere.

Intet er ødelagt. 190 MB/s er omkring 1,5 Gbits/sek., hvilket er et ganske almindeligt sekventielt loft for det array. Netværket var aldrig begrænsningen - arrayet er. Tilføjelse af jumborammer, tuning af offloads eller udskiftning af DAC'en ville alle have produceret nøjagtigt det samme antal. Rettelsen, hvis en er ønsket, er en SSD-cache eller flere spindler, ikke en netværksændring.

Den diagnostiske regel, som dette illustrerer: når netværkstesten består, og filtesten ikke gør det, er netværket ikke den primære flaskehals. Test opbevaringen lokalt i begge ender, før du rører ved noget andet.

Case 2: Linket kom op på 1 Gbps

Et nyt 10GBASE-T NIC på et kontor med eksisterende Cat6-kabler. Interfacet rapporterer 1Gbps. Det vandrette kabel er fint; patchpanelet er Cat5e, installeret år tidligere og aldrig gensynet.

Det er kanalen, ikke kablet, der forhandler. Dette er den mest almindelige årsag til en "brudt" 10GbE-installation, og det er helt et papirproblem - synligt i trin 3, hvis kompatibilitetstabellen bliver udfyldt ærligt.

Almindelige 10GbE flaskehalse

• Fysisk lag:kabelkategori og -terminering, porthastighedskonfiguration, ikke-understøttede SFP+-moduler eller DAC-kodning, beskadiget fiber, snavsede stik, klatrefejltællere.
• Opbevaring:antal drev, RAID-niveau, tilfældig I/O, paritet, skrive-cache-politik, snapshot eller dedup-overhead, kryptering, baggrundsgenopbygninger.
• Bus og CPU:indsnævret PCIe-linkbredde, slots, der deler båndbredde, mættede kerner, manglende RSS eller afladninger, USB/Thunderbolt-adaptere, der deler båndbredde med lager, et upassende virtuelt NIC inde i en VM, sikkerhedssoftware, der inspicerer hver byte.
• Termik:højeffekt kobber SFP+ moduler, blæserløse kontakter, tætte SFP+ grupper, lukkede kabinetter, støvblokerede køleplader. Symptom: fint i starten, nedværdigende efter minutter.
• Overtegnede uplinks:en 10GbE arbejdsstation, der taler med en server, der sidder bag en 1GbE uplink, har intet vundet. Gennemgå hele stien - inter-switch links, firewall-grænseflader, storage-controller links, virtuelle switch uplinks.

Avancerede indstillinger: Jumborammer, Aggregation, Multichannel

Det er optimeringer til et netværk, der allerede fungerer. Anvendt på en, der ikke gør det, gør de for det meste den oprindelige fejl sværere at finde.

Jumbo rammerkan hjælpe med stor sekventiel trafik og lagertrafik. Baseline ved 1500 først, bekræft, at hver enhed på stien - inklusive virtuelle switche og lagergrænseflader - understøtter den planlagte rammestørrelse, anvend den konsekvent, test med pakker, der ikke kan fragmenteres, genkør iperf3 og arbejdsbelastningen, og behold kun ændringen, hvis den hjalp målbart. En inkonsekvent MTU producerer virkelig forvirrende symptomer: Pings lykkes, store overførsler går i stå, og forbindelser fungerer kun i én retning.

Link aggregeringtilføjer samlet kapacitet og redundans på tværs af mange flows. Det fordobler ikke en enkelt filoverførsel: Switch-aggregation fastgør typisk et flow til et medlemslink ved hjælp af en hash, så en session forbliver på ét link.

SMB multikanaler en anden mekanisme. OmMicrosofts dokumentation, SMB 3.x etablerer flere TCP-forbindelser pr. session, samler tilgængelig båndbredde, giver fejltolerance og - på en RSS-kompatibel adapter - spreder behandlingen på tværs af CPU-kerner i stedet for at fastgøre den til én. Det sidste punkt er præcis, hvorfor et enkelt-stream iperf3-resultat kan se middelmådigt ud, mens den reelle arbejdsbyrde er fin.

Oversigt

For en kort forbindelse mellem en NAS og en nærliggende SFP+ switch, start med en understøttet DAC. For nye kabler i væggen, der skal bære 10 GbE på tværs af bygningsafstande, skal du installere og certificere en Cat6A-kanal. For udstyrsrum, gulv-til-gulv-kørsler og elektrisk støjende miljøer, vurder fiber - SR medOM4 multimode patch ledninger, LR med single-mode, hvor rækkevidde eller fremtidig kapacitet berettiger det. I et hjem eller et lille kontor, opgrader kun de links, der fører koncentreret trafik; en 10GbE NAS og core uplink over 2,5GbE brugeradgang slår normalt udskiftning af hver port i bygningen.

Og test netværket separat fra lageret. En vellykket 10GbE-opsætning er ikke defineret af etiketten på switchen. Det er defineret af en kompatibel ende-til-ende-sti, der holder sig under den arbejdsbyrde, du byggede den til.