Sigma2 Tromsø og

Trondheim

FRAM og NIRD

FRAM er navnet på det nye HPC-anlegget for sektoren.

NIRD er navnet på lagringsinfrastrukturen som består av to lagringsklynger. NIRDtos og NIRDtrd. Hver av dem består av ca 6.2PB lagring.

FRAM skal overta for dagens anlegg

Fram består av 1006 beregningsnoder med tilsammen 32576 kjerner. Totalt 79.7TB minne. Hver node har 100Gbit/s infiniband tilkobling tildelt lagring.

Både minne og CPUer er vannkjølt og overskuddsvarmen er med på åvarme opp bygningsmassen til UiB

19. desember 2013 2

3

Tromsø

4

Trondheim

NIRD-DS1-Tromsø

5

o Spine har 48x40G koblet

opp

o Det er ca 20 samband

mellom DS1 og DS2.

NIRD-Trondheim

6

Erfaringer og utfordringer

Ansvarsområde og grensesnittet er delt mellom UNINETT og leverandørene. Kan være problematisk.

Følge grundig med på detaljene i leveransen. Selv om man har spesifisert LR optikk så er det jo billigere å levere SR.

Startet tidlig i planleggingsfasen med å prøve å få oversikt over behov.

• Antall forskjellige nett.

• Størrelsen på nett

• Hvilke nett som skulle snakke med hvilke andre.

• Hvem som hadde behov for å være tilgjengelig på internett

Lærer raskt at veien blir til mens man går. Ingen har den fulle oversikt over hvordan de tenker at ting skal fungere. Viktig å stille spørsmål for å få igang tankeprossen.

Mye utstyr skulle ikke være tilgjengelig fra Internett. Det ble etterhvert behov for nåbarhet utenfra for flere nett. IPv6 ble da løsningen.

19. desember 2013 7

Erfaringer og utfordringer

Vi har hatt flere utfordringer og problemstillinger å jobbe med i dette prosjektet

Feilsøking av leverandøren sitt nettutstyr. MLAG var ikke noe de hadde satt opp for mange ganger før.

Grave seg inn i detaljer på hvordan melanox IB til ethernet bridger fungerer og hvilken ytelse ASICene faktisk har. Møte med leverandør og produsent for å få de rette svar og hvordan de skulle settes opp.

LACP og hashing algoritmer på servere. Brukt mye tid på å få dem til å forstå hvordan det faktisk fungerer. For å få opp ytelsen må man ta ibruk alle 4x10G fra hver server.

Tuning av TCP-buffer på GPFS og NFS for å få opp ytelsen mellom Tromsø og Trondheim.

Iperf3 ytelsesmålinger mellom NIRDtrd og NIRDtos. Gleder meg til å teste med 100G mellom Trondheim og Tromsø

19. desember 2013 8

Teknologi oppsummering

Interface i rutere har laveste hastighet på 10G noe som var en utfordring

for å kunne levere nett til management og Helge sine sensorer.

Rutere og svitsjer har multirate interface som støtter 10G/40G/100G

Benytter mye forskjellig optikkmoduler

• 10G LR

• 40G LR

• 40G SR4 til 10G SR

• 40G LR4 til 10G LR

• 100G LR4

• 40G DAC-kablel

19. desember 2013 9

Telemetry - GPB

10

Telemetry - GPB

11

Telemetry - GPB

12

Telemetry - GPB

13