Jornadas Técnicas RedIRIS 2014
2012
UEx: Campus 10G convergente
David Rodríguez Lozano {[email protected]} Antonio Gordillo Bardón {[email protected]}
Juan Manuel González Ramos {[email protected]} Luis Enrique Martín Márquez {[email protected]}
Servicio de Informática y Comunicaciones Universidad de Extremadura
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación LAN. • Implantación CPD. • Resultados. • Preguntas.
2 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
Situación de Partida: Necesidades de AdB crecientes
Cisco: Se estima que el tráfico de red se triplicará durante los próximos 5 años (1)
3 UEx: Campus 10G Convergente
(1) http://www.cisco.com/c/en/us/solutions/collateral/service-provider/ip-ngn-ip-next-generation-network/white_paper_c11-481360.html
11-veces más tráfico móvil de 2013 a 2018
131.6 exabytes por mes
Jornadas Técnicas RedIRIS 2014
2012
Situación de Partida: Nuestros datos
4 UEx: Campus 10G Convergente
(BYOD >3)
Jornadas Técnicas RedIRIS 2014
2012
Situación de Partida: ¿Qué debe soportar la nueva red? Equipos:
ü Incremento constante del nº de puertos LAN y APs WIFI.
ü 2 ó 3 dispositivos por persona.
ü Sensores, cámaras, VoIP, Plasmas….
ü Tráfico hacia y desde los CPDs .
ü Replicación (Backup y DR).
ü eduroam, nuevos nodos virtualizados a 10G.
Servicios
ü Nuevos modelos de docencia virtual.
ü Servicios en la Nube.
ü Mensajería instantánea.
ü Uso masivo del video.
ü …………………………..
5 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
Situación de Partida: Red LAN
ü Red Multi Campus (Badajoz, Cáceres, Mérida, Plasencia).
ü Red robusta basada en equipos Enterasys Matrix X/N.
ü Core por campus con LAG Activo-Pasivo (MSTP).
ü Equipos han alcanzado el End-of-Sale/ y en breve el End-of-Service-Life .
6 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación red. • Implantación CPD. • Resultados. • Preguntas.
7 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
Rediseño de la Red: Especificaciones nueva red 10G
ü Core multi-campus con (TRILL/SPB).
ü Soporte Chasis Virtual LAG Activo-Activo .
ü Soporte Balanceo de carga.
ü Soporte protocolos Data Center DCBX, EVB….
ü Soporte protocols SAN: FCoE, FIP Snooping.
ü Virtual Network Profiles (vNP)
ü Actualizable a Ethernet 40Gb/100Gb.
ü Soporte para puertos 10/100/1000 Mb/s.
ü IPv6, QoS, VRF……..
ü Recomendable soporte SDN.
ü Mantenemos el acceso por falta de presupuesto, se amplia RAM y actualiza OS.
8 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación red. • Implantación CPD. • Resultados. • Preguntas.
9 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
¿Cómo pagamos la renovación? LAN
ü Mediados de 2013 licitación del concurso de comunicaciones de la UEx.
ü Convencemos al equipo directivo para reinvertir el ahorro en COM en LAN.
ü 2 Lotes: Red Corporativa Multiservicio (Lote I) y Telefonía Móvil (Lote II).
ü Core electrónica de Red y Seguridad incluidos dentro del Lote I.
SAN
ü Enero 2014, licitación del mantenimiento y renovación tecnológica equipos SAN.
ü Upgrade de los nodos de virtualización SAN a 10Gb con soporte FCoE e iSCSI.
10 UEx: Campus 10G Convergente
Rediseño de la Red: Renovación tecnológica
Jornadas Técnicas RedIRIS 2014
2012
Renovación tecnológica: Core y CPD a 10Gb
LAN
ü Core de Campus (Badajoz y Cáceres) compuesto por 4 equipos Alcatel OS10K.
ü Equipos de CPD (Badajoz y Cáceres) compuesto por 4 Alcatel OS6900.
ü Equipos de Seguridad (Badajoz y Cáceres) Fortigate FG-1500D.
CPD
ü 2 Conmutadores HP Virtual Connect y 4 IBM VSFM con FCoE en los chasis.
ü 4 nodos IBM SVC 2145-CG8 (4x8Gb FC) + 2 10Gb FCoE/iSCSI.
ü Tarjetas Emulex CNAs 10Gb para blades IBM HS22/HS23 y HP 460G.
11 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación red. • Implantación CPD. • Resultados. • Preguntas.
12 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
13 UEx: Campus 10G Convergente
Renovación tecnológica: Red convergente 10Gb
Jornadas Técnicas RedIRIS 2014
2012
14 UEx: Campus 10G Convergente
Implantación: SPB vs STP
§ Estandar IEEE § Beneficios:
§ Topologías de nivel 2 robustas
§ Multipath forwarding
§ Escalabilidad +1000 nodos
§ Topologías en malla
§ Shortest Path Routing real
§ Tiempo de convergencia < 100’s ms
§ NO bucles
§ Multiples “Equal Cost Paths”
§ Abstracción de MAC en trásito
Jornadas Técnicas RedIRIS 2014
2012
15 UEx: Campus 10G Convergente
Implantación: SPB vs STP
ROOT bridge
MACs M1…M100
Source
Destination-1
Cannot use these links
Inefficient routes
All the nodes on the route need to learn
MAC’s M1-M100
1
2
3
Destination-2
Shortest Path Bridging Overview Of Control Plane and Data Plane (Alcatel-Lucent)
Jornadas Técnicas RedIRIS 2014
2012
16 UEx: Campus 10G Convergente
Implantación: SPB vs STP
MACs M1…M100
All the links are usable
Multiple shortest paths
MAC’s M1-M100 learning restricted
to the edges
1
2
3
Destination-1
Destination-2
PBB encapsulation at the edges
PBB encapsulation at the edges
PBB encapsulation at
the edges
Shortest Path Bridging Overview Of Control Plane and Data Plane (Alcatel-Lucent)
Jornadas Técnicas RedIRIS 2014
2012
17
UEx: Campus 10G Convergente
Implantación: SPB para el Core y CPD
OS6900 OS6900
OS10K-1 OS10K-2
Fabric FC
Servidores Blade
Fabric FC
OS6900 OS6900
OS10K-1 OS10K-2
Fabric FC
Servidores Blade
Fabric FC
10Gb BVLAN
10Gb BVLAN
Badajoz Cáceres Dominio SPB
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación red. • Implantación CPD. • Resultados. • Preguntas.
18 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
19 UEx: Campus 10G Convergente
Implantación: Escenarios SAN/LAN en la UEx
Actualmente cinco escenarios operativos: Un lío
ü FC puro: Blades IBM con Fabric Brocade y SVC FC de IBM (6 años)
ü iSCSI 1G - Blades IBM/HP – SVC 1G (a extingir) (6 años)
ü FCoE – FC Chasis: Blades HP Gateway FCoE-FC + Brocade + SVCs. (3 años)
Nuevos:
ü FCoE – Gateway FCoE-FC ToR – Brocade - SVC (2 meses)
ü iSCSI 10G con DCBx - Blades IBM/HP – ToR – SVC 10G (2 meses)
Nos planteamos utiilzar escenarios convergentes iSCSI/FCoE y DCB
para amortizar inversión en FC
Jornadas Técnicas RedIRIS 2014
2012
Implantación: Data Center Bridging (DCB)
ü Estándar 802.1 del IEEE que permite el transporte de tráfico SAN y LAN por la misma red mediante Lossless Ethernet
ü Se soporta sobre los protocolos:
• Priority-based Flow Control (PFC: 802.1Qbb): define el proceso configurar la priorización y pausa del tráfico basado en una prioridad por aplicación en vez de por puerto.
• Enhanced Transmission Selection (ETS: 802.1Qaz): utiliza 802.1p para clasificar el tráfico en grupos con requerimientos y ancho de banda similares.
• Data Center Bridging Exchange Protocol (DCBX: 802.1Qaz): utiliza Link Layer Discovery Protocol (LLDP) para que los equipos vecinos puedan negociar la configuración y capacidades DCB, incluidos los requerimientos.
20 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
21 UEx: Campus 10G Convergente
Implantación: Converged Network Adapter (CNA ) en Chasis IBM
ü Tarjeta con 2 puertos 10Gb Ethernet con soporte DCB.
ü Posibilidad de 4 vNICs, 1 con soporte hardware para FCoE o iSCSI.
ü Permite configurar caudales en múltiplos de 100Mb .
ü Permite configurar los vNICs DCBx .
Jornadas Técnicas RedIRIS 2014
2012
22 UEx: Campus 10G Convergente
Implantación: CNA Emulex y HP Virtual Connect
ü Tarjeta con 2 puertos 10Gb Ethernet con soporte DCB.
ü Posibilidad de 4 vNICs, 1 con soporte hardware para FCoE o iSCSI.
ü Shared UpLink Set para gestión de tráficos.
Jornadas Técnicas RedIRIS 2014
2012
25/11/14 UEx: Campus 10G Convergente 23
Implantación: Escenario convergente Proxy E_port
ü Establece un link punto a punto transparente entre puertos E_port.
ü Permite establecer Inter Switch Link (ISL) entre Fabrics FC sobre FCoE.
ü Actualmente resuelto en la UEx mediante replicación SAN por IP (menos complejo).
Jornadas Técnicas RedIRIS 2014
2012
25/11/14 UEx: Campus 10G Convergente 24
Implantación: Escenario convergente Proxy F_Port
ü Permite acceder a hosts FC (HBA N_port) a un nodo FC sobre una red FCoE.
ü No es posible para equipos en Blade.
Jornadas Técnicas RedIRIS 2014
2012
25/11/14 UEx: Campus 10G Convergente 25
Implantación: Escenario convergente Proxy N_port (Operativo)
ü Permite acceder a hosts FCoE (Enodes) a una red SAN FC sobre una red FCoE.
ü El gateway FCoE/FC agrega las peticiones en un puerto NP_port.
ü Implantado en la UEx para dar acceso vía FCoE al almacenamiento.
ü No es un FCF, requiere de un Fabric FC para finalizar el login y cursar el tráfico.
Jornadas Técnicas RedIRIS 2014
2012
25/11/14 UEx: Campus 10G Convergente 26
Implantación: Escenario convergente Proxy N_port en la UEx
FCoE SAN Volumen Controler (puertos 1/17 y 1/18)
Uplink 20Gb tráfico FCoE Blades Puertos FC 8Gb hacia Fabric Brocade (2/1 y 2/2)
WWN y sesiones FLOGI Blades
WWN y sesiones FLOGI Blades
XenServer Blades con vNICs FCoE
Jornadas Técnicas RedIRIS 2014
2012
25/11/14 UEx: Campus 10G Convergente 27
Implantación: Escenario Proxy N_port con XenServer
El Hypervisor ve el vNIC FCoE como una HBA de FC
Mismo rendimiento que FC (pruebas a 4Gb) con Multipathing
Jornadas Técnicas RedIRIS 2014
2012
INDICE
• Situación de Partida. • Rediseño. • Renovación Tecnológica. • Implantación red. • Implantación CPD. • Resultados. • Preguntas.
25/11/14 28 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
Resultados
PROS
• SPB y Virtual Chassis permiten una red más robusta y eficiente.
• FCoE es una tecnología madura y estable, pero compleja.
• FCoE permite simplificar el diseño del CPD eliminando la duplicidad SAN/LAN.
• Ahorro de costes al no requerir HBAs FC.
• DCB Permite priorizar el tráfico iSCSI con Lossless Ethernet.
CONTRAS
• SPB vs TRILL. “Is SPB the Betamax of Layer 2?”
• Configuración inicial compleja si multifabricante (Emulex-IBM-HP-Alcatel-Brocade).
• Problemas con las VLANs FCoE con los conmutadores del chasis estacados
• Ancho de banda compartido por el tráfico Ethernet y FCoE/iSCSI (2x10Gb para todo).
• El tráfico FCoE-FCoE no soportado, pendiente de Direct VN2VN B8-6.
25/11/14 29 UEx: Campus 10G Convergente
Jornadas Técnicas RedIRIS 2014
2012
Resultados: Adopción de la tecnología
25/11/14 UEx: Campus 10G Convergente 30
Un futuro probable: iSCSI 40/100Gb con lossless Ethernet.
T1 FC
T2 FCOE
T3 iSCSI 40/100Gb