Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Internet Exchange Point (IXP)i primer SOX-a
Autor slajdova Dr Nenad Krajnović
E-mail: [email protected]
Prezentuje Zoran Perović
E-mail: [email protected]
Kako izgleda Internet?
09.03.2018. 2
Deo Interneta u Srbiji
09.03.2018. 3
BGPlay for AS13004
BGP je zadužen za globalno rutiranje na Internetu
09.03.2018. 4
AS 286
AS 27
AS 5377
AS 3 AS 11
147.91 /16
Path: 286
147.91 /16
Path: 286
147.91 /16
Path: 3 - 286
147.91 /16
Path: 11 - 3 - 286
147.91 /16
Path: 27 - 286
147.91 /16
Path: 27 - 286
Klasična Internet arhitektura
09.03.2018. 5
Rezidencijalni
korisnici
Biznis
korisnici
Internet
Servis
provajder
(ISP)
ESPANIX
CERN
AMS-IX
PARIX
DE-CIX
Šta je Internet Exchange?
09.03.2018. 6
Internet Exchange Point (IXP) is:
A physical network infrastructure operated by a single entity with the purpose to facilitate the exchange of Internet traffic between Autonomous Systems. The number of Autonomous Systems connected should at least be three and there must be a clear and open policy for others to join.
09.03.2018. 7
Razvoj telekomunikacija
• Danas je IP protokol postao osnova telekomunikacionih mreža i servisa
• Pored standardnih Internet servisa, i ostali TK servisi koriste IP mreže za transport (npr: video streaming, audio streaming, web TV...)
• Razmena “živog” TV programa ide preko IP-a
• Razmena telefonskog saobraćaja ide preko IP-a
09.03.2018. 8
Razmena multimedijalnog sadržaja
• Iako se sve vrste informacija prenose preko IP-a, još uvek ne postoji jedna telekomunikaciona infrastruktura koja će obezbediti razmenu tih informacija sa odgovarajućim QoS-om.
• Postoji potreba za formiranjem tačke za razmenu saobraćaja, svojevrsne berze telekomunikacionih usluga za operatore.
• Potrebno je omogućiti razmenu multimedijalnog sadržaja sa garantovanjem QoS-a.09.03.2018. 9
Šta je multiservice exchange?• Multiservice exchange point predstavlja mesto
razmene različitih vrsta sadržaja pri čemu se IP protokol koristi kao osnovni transportni protokol.
• Pošto je IP osnova Interneta, uglavnom ih zovemo Internet Exchange Point.
• Tipični servisi koji se razmenjuju:
– Internet saobraćaj između ISP-eva,
– TV program između proizvođača i kablovskih operatora,
– telefonski saobraćaj između operatora,
– privatni saobraćaj korisnika,
– ...
09.03.2018. 10
Zašto multiservice exchange point?
• Uvek postoji mogućnost da dva operatora uspostave direktan link i tako razmene saobraćaj.
• Ako imamo 20 operatora, takvo rešenje bi zahtevalo 190 linkova što je preskupo rešenje.
• Jednostavnije i jeftinije rešenje je da svi operatori uspostave jedan link (za naš primer to bi bilo ukupno 20 linkova) do jedne tačke razmene saobraćaja.
09.03.2018. 11
Načini realizacija IXP-a
• IXP-eve možemo grubo podeliti na dve grupe:
– Layer 2 Exchange Point,
– Layer 3 Exchange Point.
• U zavisnosti od vrste saobraćaja, postoje i razne mešovite realizacije.
09.03.2018. 12
Layer 3 IXP
• Osnovu čine veoma brzi ruteri.
• Svi korisnici se povezuju na ruter.
• Razmena saobraćaja se obavlja posredstvom IXP rutera, na L3 nivou.
• Ograničena mogućnost kontrole oglašavanja.
• Ruter predstavlja usko grlo ovakve implementacije.
• Sve se ređe koristi za realizaciju.
09.03.2018. 13
Layer 2 IXP - osnova
• Ima realizovanu brzu ethernet mrežu (1G, 10G, 100G) na koju se povezuju svi korisnici.
• Korisnici direktno komuniciraju na L2 nivou.
• Razdvajanje različitih servisa se obavlja korišćenjem VLAN i/ili MPLS tehnologije.
• Zbog potrebe transporta korisničkog saobraćaja, podržavaju i Q-in-Q standard.
09.03.2018. 14
Layer 2 IXP - redundansa
• Koristi se LACP (Link Aggregation Control Protocol) i MLAG (Multi-chassis Link AGgregation) za agregaciju linkova u cilju povećanja protoka i obezbeđenja redundantnih veza.
09.03.2018. 15
SiSi SiSi
MLAG -
LACP
agregacijaLACP
agregacija
Layer 2 IXP - redundansa
• Može da se koristi Rapid Spanning Tree protokol za sprečavanje formiranja petlji.
• Češće se koriste noviji protokoli poput:
– EAPS (Ethernet Advance Protection Switching),
– ERPS (Ethernet Ring Protection Switching),
– TRILL (TRansparent Interconnection of Lots of Links),
– VxLAN (Virtual eXtensible LAN),
– ...
09.03.2018. 16
Layer 2 IXP - nadzor
• Za analizu saobraćaja neophodno je da ethernet switch-evi podržavaju sflow ili netflow protokole.
• Upravljanje pomoću SNMP-a.
• Automatizacija upravljanja.
09.03.2018. 17
Layer 2 IXP – zaštita i širenje
• Potrebno je da switch-evi podržavaju mehanizme za filtriranje saobraćaja po MAC adresama u cilju zaštite mreže.
• Za potrebe razmene Internet saobraćaja, koriste se route-serveri čiji zadatak je razmena informacija o dostupnim rutama između korisnika IXP-a.
• Za povezivanje sa drugim IXP-evima potrebni su ruteri odgovarajućih performansi.
09.03.2018. 18
Route-serveri
• Najčešće korišćeni softveri za route-servere su:
– BIRD
– Quagga
– OpenBGP
• Zadatak je da omoguće razmenu mrežnih prefiksa između korisnika IXP-a uz fleksibilnu kontrolu oglašavanja.
• MANRS inicijativa za povećanje sigurnosti Interneta (www.manrs.org).
09.03.2018. 19
Mapa evropskih IXP-eva
09.03.2018. 20
Tipična IXP arhitektura
09.03.2018. 21
Ethernet
switch
AS3561
(CW/MCI)
ISP
Ruteri
AS286
(KPN)
AS3300
(AUCS)
AS1755
(GTS/Ebone)
AS5511
(GlobalOne)
AS3320
(DTAG)
DE-CIX arhitektura (2013.)
09.03.2018. 22
AMS-IX arhitektura (2018. god)
09.03.2018. 23
LINX arhitektura (2018. god)
09.03.2018. 24
London 2
London 1
Evolucija Interneta
• CDN-ovi (Google, Akamai, Facebook,...) postaju dominantni izvori saobraćaja.
• Pojava OTT (Over-The-Top) provajdera, poput Netflix-a, koji generišu video streaming saobraćaj.
• Sve više korisnika svoje informacione sisteme pozicionira u Cloud-e.
09.03.2018. 25
Posledice evolucije Interneta
• Više nije bitna samo Internet konektivnost već kvalitet pristupa CDN-ovima, OTT provajderima i Cloud provajderima.
• IP je best effort protokol pa se problem QoS-a rešava “grubom silom”, tj. uspostavom linkova velikog kapaciteta do IXP-eva.
• CDN-ovi, OTT provajderi i Cloud provajderi se trude da imaju što bolje linkove ka velikim IXP-evima.
09.03.2018. 26
Posledice evolucije Interneta
• Korisnici, pored ISP-a (tranzitni provajder), traže i konektivnost na IXP gde su “izvori Internet saobraćaja”.
09.03.2018. 27
KORISNIK
ISPIXP
CDN, OTT, Cloud
• Izvori saobraćaja hoće da budu što bliže korisnicima da bi kvalitet servisa bio što bolji.
• Ne isplati im se da se povezuju na svaki IXP već traže one sa najvećim brojem korisnika.
• Ovakvi zahtevi direktno utiču na rast IXP-eva i prelazak sa lokalnog na regionalno i globalno pokrivanje.
• Pojava velikih IXP-eva koji nude povezivanje između najvećih Cloud-a (Azure, AWS, Google).09.03.2018. 28
Globalno pokrivanje DE-CIX-a
09.03.2018. 29
Globalno pokrivanje AMS-IX-a
09.03.2018. 30
Grafik saobraćaja za DE-CIX
09.03.2018. 31
Grafik saobraćaja za AMS-IX
09.03.2018. 32
Grafik saobraćaja za LINX
09.03.2018. 33
Kako radi Internet?
• Internet je baziran na “dobroj volji”!!!
• Glavni protokol za globalno rutiranje je BGPv4.
• BGPv4 je baziran na poverenju:
– Oglašavanje je bez provere validnosti!
– Greške se propagiraju po celom svetu!
– Ne postoji validan izvor za proveru validnosti oglašavanja!
34
Problemi su svakodnevni…
35
Šta stvara probleme? (1)
• IP prefix hijack
– AS oglasi prefiks koji ne pripada njemu,
– AS oglasi prefiks sa kraćom as-path putanjom da bi preuzeo saobraćaj.
• Saobraćaj završi na pogrešnom mestu (blackhole)
• DoS, presretanje saobraćaja,...
36
Šta stvara probleme? (2)
• “Curenje” ruta
– Saobraćaj se rutira u “pogrešnom” smeru.
– Ne možete kontrolisati kako upstream provajder oglašava vaše prefikse.
• IP address spoofing
– Spoofed saobraćaj napušta mrežu bez problema.
– Osnovni uzrok reflection DDoS napada.
37
Ja ću se sam zaštititi!
• POGREŠNO!!!• Vaša sigurnost je u tuđim rukama jer ne
možete da sprečite tuđe greške ili “greške ”!
• Neophodna je zajednička akcija svih Internet provajdera i IXP-eva da bi se obezbedilo stabilno i pouzdano rutiranje saobraćaja (MANRS inicijativa - Mutually Agreed Norms for Routing Security)!
38
MANRS definiše osnove aktivnosti
• Filtering – Ensure the correctness of your own announcements and of announcements from your customers to adjacent networks with prefix and AS-path granularity
• Anti-spoofing – Enable source address validation for at least single-homed stub customer networks, your own end-users, and infrastructure
• Coordination – Maintain globally accessible up-to-date contact information
• Global Validation – Publish your data, so others can validate routing information on a global scale
39
Šta je SOX?
• SOX je prvi domaći nezavisni i carrier neutral Internet exchange.
• Započeo kao standardni IXP a danas polako prerasta u multiservice exchange.
09.03.2018. 40
Elementi realizacije
• Fizičko povezivanje.
• Komunikaciona oprema.
• Logičko povezivanje.
• BGP peering – BIRD.
• L2 i L3 prosleđivanje saobraćaja.
• Servisi.
• Nadzor i upravljanje.
09.03.2018. 41
Arhitektura SOX-a (1)• Primenjena distribuirana arhitektura uz
korišćenje “jeftinih” sistema prenosa.
• Na lokacijama SOX-a se nalaze samo L2 (L3) ethernet svičevi SOX-a (Extreme Networks Summit x650/x670 + Cisco 4948E + Supermicro + DCN + Dell+FiberStore+EdgeCore).
• Korisnička oprema je kod korisnika.
• Značajno smanjeni troškovi realizacije SOX čvorišta.09.03.2018. 42
Arhitektura SOX-a (2)
• Počelo se sa dva čvora u prstenu.
• EAPS (Ethernet Automatic Protection Switching) obezbeđuje prerutiranje saobraćaja za manje od 50ms.
• Kasnije se prešlo na LACP agregiranje linkova.
• Pristupni protoci: 1Gb/s, 10Gb/s, n x 1Gb/s, n x 10Gb/s, 100Gb/s.
09.03.2018. 43
Arhitektura SOX-a (3)
• Korišćenje Route servera za BGP peering.
• Pošto se koristi L2 ethernet switching postoji opasnost od prolaska BPDU paketa i Cisco Discovery Protocol paketa.
• Neophodno filtriranje na L2 nivou po MAC adresama.
• Na pristupnim linkovima koji su u trunk modu neophodno filtriranje i po VLAN-ovima.
09.03.2018. 44
Arhitektura SOX-a (4)• Sada je regionalna mreža
09.03.2018. 45
Osnovni princip rada IXP-a
Route
server
Korisničk
i saobra
ćaj
BGP routing update
Korisnički saobraćaj
BG
P r
outing u
pdate
BG
P rou
ting
upda
te
AS 1
AS 2
AS 3
09.03.2018. 46
Logička topologija SOX mreže
09.03.2018. 47
BIRD route server (1)
• Open source softver za rutiranje.
• Instaliran na Linux platformi.
• Omogućava napredne funkcije kao što je route server.
• Brisanje SOX AS-a iz AS_path atributa.
• Kontrolisano oglašavanje i formiranje BGP tabela za svakog partnera ponaosob.
09.03.2018. 48
Klasičan BGP ruter
09.03.2018. 49
BIRD route server
09.03.2018. 50
Kontrola saobraćaja - MANRS
• Filtriranje oglašavanja– Zbog grešaka u konfiguraciji rutera kod korisnika,
neophodno je precizno filtriranje svih BGP oglašavanja u skladu sa dogovorenom politikom rutiranja.
– Kontrola oglašavanja svakog korisnika putem BGP community atributa.
• Filtriranje nepoželjnog saobraćaja na L2 nivou– Do SOX-a prolaze razni spanning tree paketi i
slično koji moraju da budu filtrirani.
09.03.2018. 51
Kontrola saobraćaja - MANRS
• Oglašavanje prefiksa se kontroliše na bazi podataka koji postoje u Internet Routing Registrima (evropski je RIPE).
• Korisnici mogu da upravljaju oglašavanjem svojih prefiksa putem community BGP atributa.
09.03.2018. 52
Servisi SOX-a
• BGP peering posredstvom Route servera.
• Uspostavljanje VLAN-ova za tačka-tačka komunikaciju uz garantovanje QoS-a.
• Hosting servisa i sadržaja za brzi pristup sa domaćih Internet mreža.
• Berza telekomunikacionih usluga.
09.03.2018. 53
CDN u SOX-u
• SOX je prirodna tačka za povezivanje CDN-ova.
• Trenutno povezani:
– Google Cache Node,
– Akamai Cache Node,
– Facebook,
– Valve,
– Limeligth,
– Mainstream,
– Cloudflare.09.03.2018. 54
Ostali servisi
• Putem SOX-a se distribuiraju neki TV kanali koje preuzimaju kablovski operatori za dalju distribuciju kroz svoju mrežu.
• Multicast MPEG-2 i MPEG-4 streaming over IP po posebnim VLAN-ovima.
• Razmena privatnih sadržaja kroz point-to-point linkove realizovane kao L2VPN.
09.03.2018. 55
Ukupan saobraćaj na SOX mreži
Vršni saobraćaj preko 200Gb/s!
09.03.2018. 56
Analiza saobraćaj
• Za analizu saobraćaja se koristi SOX aplikacija bazirana na sflow i netflow podacima.
• Neophodno je konstantno praćenje intenziteta saobraćaja na linkovima.
• SOX koristi Cacti (www.cacti.net).
• Preporučuju se i ostali paketi:
– IXP manager (https://www.inex.ie/ixp/index/about)
– Observium (www.observium.org)
09.03.2018. 57
How SOX really works?
09.03.2018. 58
Internet Exchange Point (IXP)i primer SOX-a
Dr Nenad KrajnovićE-mail: [email protected]