75
Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path Cisco Support Community Expert Series Webcasts in Russian:

Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Embed Size (px)

DESCRIPTION

Презентация с вебинара, организованного в рамках сообщества Cisco Support Community. Приглашаем Вас на другие мероприятия Cisco Support Community, а также к участию в жизни нашего сообщества технической поддержки Cisco: http://cs.co/CSCRu

Citation preview

Page 1: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Created by Anton Tugai, Cisco TAC

Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Support Community Expert Series Webcasts in Russian:

Page 2: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 2

Cisco Support Community – Expert Series Webcasts in Russian

Сегодня на семинаре эксперт Cisco TAC

Антон ТугайCCIE in Routing and Switching

Expert’s photo

Page 3: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 3

Спасибо, что посетили наш семинар сегодня

Сегодняшняя презентация включает опросы аудитории

Пожалуйста, участвуйте!

Page 4: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 4

Спасибо, что посетили наш семинар сегодня

Если Вы хотите получить копию слайдов сегодняшнего семинара, пожалуйста, используйте следующие ссылки:

https://supportforums.cisco.com/community/russian/other

или, https://supportforums.cisco.com/docs/DOC-27769

Page 5: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 5

Вопрос №1

a) Нет, не знаком. Это новая платформа для меня.

b) Я знаю о существовании этой платформы, но не имею практического опыта

c) Я имею опыт работы с этой платформой в тестовой среде

d) Оборудование Nexus используется в production среде

Знакомы ли Вы с платформой Nexus (включая серии 7ххх/5ххх/4xxx/3ххх/2ххх/1ххх)

Page 6: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 6

Задавайте Ваши вопросы!

Используйте Q&A панель, чтобы послать вопрос. Наши эксперты ответят на них

Page 7: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 7

Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Антон Тугай

Page 8: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 8

Программа вебинара• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 9: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 9

Серия коммутаторов Nexus 5000/5500

Nexus 5010

20 Портов 10G/FCoE/IEEE DCBНеблоикируемые 10G порты1 слот расширенияДублированные блоки питания и модули вентияции

Nexus 502040 Портов 10G/FCoE/IEEE DCBНеблоикируемые 10G порты2 слота расширенияДублированные блоки питания и модули вентияции

Nexus 5548UP32 порта 1/10G Ethernet or 1/2/4/8 FCНеблоикируемые 10G FCoE/IEEE DCB порты 1 слот расширенияIEEE 1588, FabricPath и поддержка L3Дублированные блоки питания и модули вентияции

Nexus 5596UP48 портов 1/10G Ethernet or 1/2/4/8 FCНеблоикируемые 10G FCoE/IEEE DCB порты 3 слота расширенияIEEE 1588, FabricPath и поддержка L3Дублированные блоки питания и модули вентияции

End of SALE – Ноябрь 2012 для Nexus 5010 и 5020

Page 10: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

Серия Nexus 5596UP & 5548UP

10GE / 1GE / FCoE / 8G FC

Reverse airflow / DC-питание

Поддержка 1G на всех портах

Новый функционал Унифицированные порты

Поддержка L3

Возможность подключения до 24 FEX

Multi-hop FCoE

Adapter-FEX

Cisco FabricPath

VM-FEX

Lowest TCO for the Virtualized Datacenter

Page 11: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 11

Блок питания

Блок питания

Модуль охлажден

ия

Модуль охлажден

ия

Out of Band Mgmt10/100/1000

Консольный порт

Fabric InterconnectНе активен на Nexus

платформах Слот подключения USB

32 Унифицированных порта 1/10 GE or 1/2/4/8 FC Слот расширения

Nexus 5500 Внешний видNexus 5548 (5548P и 5548UP)

Page 12: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 12

Nexus 5500 Внешний видNexus 5596UP

КонсольOut of Band Mgmt

10/100/1000

Fabric InterconnectНе активен на Nexus

платформах Слот USB

48 Унифицированных портов 1/10 GE or 1/2/4/8 FC

3 слота расширения

Блоки питания

Модуль охлаждения

Модуль охлаждения

Page 13: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 13

Nexus 5500 Слоты расширения

16 x 1/10GE 8 x 1/10GE + 8 x 1/2/4/8G FC

16 унифицированных портов настраиваемые индвидуально 1/10GE

or 1/2/4/8G FC

L3 модуль

Слоты расширения можно менять при включенном питании (В будующем будет поддержка OIR для L3 карты)

Содержит ASIC второго поколения (UPC-2)

Page 14: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 14

Модуль унифицированных портов

Expansion Module16 Ports 1/10 GE

Expansion Module8 Port FC 1/2/4/8 Gig

+ 8 Ports 1/10 GE

Fibre Channel Ethernet

Unified

Полноценная поддержка 1/2/4/8G Fibre Channel

Полноценная поддержка

1G/10G and FCoE. Поддержка подключения FEX

устройств

Гибкая настройка портов в режим

Ethernet, Fibre Channel

Nexus 5548PN55-M16UP

Page 15: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 15

ç

Архитектура Nexus 5500

Gen 2 UPC

Unified Crossbar FabricGen 2

Gen 2 UPC Gen 2 UPC

Gen 2 UPC Gen 2 UPC

PEX 85254 port PCIE

Switch

SouthBridge

10 Gig

12 Gig

Mgmt0

PCIe x4

PCIe x8

PCIEDual Gig

0 1

CPU Intel

. . .PCIE

Dual Gig

0 1

PCIEDual Gig

0 1

Serial

Flash

Memory

NVRAM

DRAMDDR3

Слот расширения

Консоль

Page 16: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 16

Все коммутаторы 5500 серии поддерживают 1/10G на всех портах

Все порты 5548UP, 5596UP и N55-M16UP (модуль расширения) могут работать в любом режиме:

1/10G Ethernet 10G DCB/FCoE 1/2/4/8G Fibre Channel

Архитектура Nexus 5500 5548UP/5596UP – UPC (Gen-2) и унифицированные порты

Unified Port Controller 2

SFP+ Cage

Ethernet PHY

SFP+ Cage

5548UP, 5596UP & N55-M16UP5548P Unified Port

Controller 2

Ethernet PHY1/10G on all ports

Page 17: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 17

UPC 2-го поколения

Carmel - port ASIC второго поколения (UPC-2)

Каждый Carmel обслуживает 8 портов

Состоит из 3-х основных компонентов

MAC контроллерo 1/2/4/8G FC, 1/10 GE

Контроллер форварднига

Буферизация и обработка очередей

Page 18: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 18

Поддержка L3 на Nexus 5500

Nexus 5548P/UP Возможность заказа с уже

установленной картой или установка в уже имеющийся коммутатор

Nexus 5596UP Поддержка OIR L3 карты и

возможность установки до 3-х L3 карт (будет в будующих версиях NX-OS)

160Gbps (240Mpps) Производительность L3

Page 19: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 19

Поддержка L3 на Nexus 5500

N55-D160L3• Дочерняя карта для Nexus 5548• Поддержка L3 на всех 48 10GE портах• 160Gbps (240Mpps) производительность L3

N55-M160L3• Модуль расширения для Nexus 5596P• Поддержка L3 на всех портах 5596• 160Gbps (240Mpps) производительность L3• Возможность расширения производитнльности

до 480Gbps*

* будет в будующих версиях NX-OS

Page 20: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 20

Лицензирование L3 функционала

N55-BAS1K9• Бесплатная базовая L3 лицензия• Static Routing, RIPv2, OSPFv2, EIGRP-stub• HSRP, VRRP• IGMP v2/v3, PIMv2 (sparse mode)• Routed ACL and uRPF• Ограничение до 256 динамических маршрутов

N55-LAN1K9• Расширенная L3 лицензия• Полноценная поддержка EIGRP• BGP• Поддержка VRF-Lite (IP-VPN)• До 8К динамических маршрутов

Page 21: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 21

• Базовая лицензия (N55-BAS1K9) необходима для включения Layer 3 функционала

• Только инсталляции L3 карты не достаточно

• Перед установкой Enterprise лицензии необходима базовая лицензия (N55-BAS1K9, бесплатная)

Лицензирование L3 функционала

Page 22: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 22

L3 крта второго поколенияN55-D160L3-V2 и N55-M160L3-V2

2я версия L3 дочерней карты и

модуля

Capability ScaleIPv4 Longest Prefix

Match Routes8k (16K with uRPF

disabled)

IPv4 16,000*

IP Multicast 8,000*

L3 Interfaces 1K

VRF 1K

Capability ScaleIPv4 Longest Prefix

Match Routes8k (16K with uRPF

disabled)

IPv4 8,000

IP Multicast 4,000

L3 Interfaces 1K

VRF 1K

N55-D160L3-V2 и N55-M160L3-V2 N55-D160L3 и N55-M160L3

* Не поддерживается в NX-OS 5.(1)3N1

Page 23: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 23

Программа вебинара• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 24: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 24

Виртуальный Port Channel - vPC• vPC технология объединения физических каналов

подключенных к разным коммутаторам

• Нет необходимости в использовании STP

• Увеличение полосы пропускания

Все каналы активны

• vPC независимые control plane

• vPC коммутаторы образуют “домен”Virtual Port Channel

L2

SiSi SiSi

Non-vPC vPC

Физическая топология Логическая топология

vPC домен

Page 25: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 25

Определения• vPC peer – один из коммутаторов в паре

• vPC member port – физический порт образующий vPC

• vPC – объединенный port channel между vPC пирами и нижестоящим устройством

• vPC peer link – канал синхронизации между vPC пирами. Транспортировка данных - multicast/broadcast/flooding когда локальные vPC порты недоступны

• vPC peer keepalive link – обеспечения механизма информирования о доступности пира.

• CFS – протокол синхронизации между vPC пирами

• Orphan port — порт не образующий vPC

vPC peer keepalive link

vPC peer link

Orphan PortOrphan PortOrphan PortOrphan Port

РезервныйОсновной

vPC

vPC member port

vPC peer

Page 26: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 26

Peer Keepalive Link

• Peer Keep-alive обеспечивает информирование о доступности пиров

• Основное назначение определение доступности и роли в случае сценария Split Brain (Dual Active)

• Peer Keep-alive не должна быть организована внутри peer-link

• Как правило используется mgmt0 интерфейс

• Опционально может быть выдеденным 1G каналом

• Также возможно использовать выделенный SVI интерфейс

dc11-5020-1(config)# vpc domain 20dc11-5020-1(config-vpc-domain)# peer-keepalive destination 172.26.161.201 source 172.26.161.200 vrf management Note: --------:: Management VRF will be used as the default VRF ::--------

Peer Keepalive организована

через внешнюю сеть управления

int mgmt 0

Page 27: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 27

Не рекомендуется использовать для peer-keepalive vlan внутри peer-link

• Проблема в том что peer-link не может перейти в состояние forwarding до тех пор пока vpc peers не увидят друг друга через peer-keepalive

• В случае когда peer-keepalive настроен поверх peer-link VPC домен не функционирует

Page 28: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 28

Проверка целостности vPC• Оба коммутатора в домене имеют

независимые control plane (в отличии от VSS)

• CFS обеспечиывате синхронизацию состояний между пирами (MAC таблица, IGMP, …)

• Существует 2 метода синхронизации конфигурации:

Ручная настройка с автоматической проверкой целостности

config-sync

2 типа проверки целостности Тип 1 – Интерфейсы будут отключены в

случае рассинхронизации настроек

Type 2 – Будут выведены сообщения об ощибках для информирования о потенциальных проблемах

Page 29: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 29

Глобальные параметры VPC целостности

• c-nexus5010-1# show vpc consistency-parameters global

• Legend:

• Type 1 : vPC will be suspended in case of mismatch

• Name Type Local Value Peer Value

• ------------- ---- ---------------------- -----------------------

• QoS 2 ([], [3], [], [], [], ([], [3], [], [], [],

• Network QoS (MTU) 2 (1538, 2240, 0, 0, 0, (1538, 2240, 0, 0, 0,

• Network Qos (Pause) 2 (F, T, F, F, F, F) (F, T, F, F, F, F)

• STP Mode 1 Rapid-PVST Rapid-PVST

• STP Disabled 1 None None

• STP MST Region Name 1 "" ""

• STP MST Region Revision 1 0 0

• STP MST Region Instance to 1

• VLAN Mapping

• STP Loopguard 1 Disabled Disabled

• STP Bridge Assurance 1 Enabled Enabled

• STP Port Type, Edge 1 Normal, Disabled, Normal, Disabled,

• Allowed VLANs - 1,50 1

• Local suspended VLANs - 50 -

Page 30: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 30

Осноыные правила форвардинга пакетов в режиме VPC

√ √ X √

x

Page 31: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 31

Spanning-Tree и VPC

• Когда коммутатор находится в VPC домене – только первичный VPC peer шлет STP BPDU

• Вторичный VPC peer только пересылает STP BPDU от коммутаторов достпа первичному

vPC primary

BPDUs

Page 32: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 32

Peer-Switch и VPCПервичный Вторичный

BP

DU

BP

DU

left# sh span vlan 101

VLAN0101 Spanning tree enabled protocol rstp Root ID Priority 8293 Address 0023.04ee.be01 This bridge is the root...

Bridge ID Priority 8293 (priority 8192) Address 0023.04ee.be01...

Interface Role Sts Cost Prio.Nbr Type---------------- ---- --- --------- -------- ---------------Po1 Desg FWD 1 128.4096 (vPC) P2pPo100 Root FWD 2 128.4195 (vPC peer-link)

left# sh vpc role | i macvPC system-mac : 00:23:04:ee:be:01 vPC local system-mac : 00:1b:54:c2:42:43

right# sh span vlan 101

VLAN0101 Spanning tree enabled protocol rstp Root ID Priority 8293 Address 0023.04ee.be01 This bridge is the root...

Bridge ID Priority 8293 (priority 8192) Address 0023.04ee.be01...Interface Role Sts Cost Prio.Nbr Type---------------- ---- --- --------- -------- ---------------Po1 Desg FWD 1 128.4096 (vPC) P2pPo100 Desg FWD 2 128.4195 (vPC peer-link)

ROOT ROOT

Page 33: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 33

Peer-gateway и VPC

HSRP Active

HSRP Standby

L2

L3

RMAC-A RMAC-B

N5k-1N5k-2

RMAC-A

RMAC-A

Некоторые устройства могут слать IP пакеты предназначенные одному из пиров но на MAC-адрес другого пира

Такие пакеты будут транспортированы через peer-link

Peer-gateway решает эту проблему – такие пакеты будут обработаны локальным коммутатором

L3-N5548-1(config-vpc-domain)# peer-gateway

Page 34: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 34

Программа вебинара• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 35: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 35

Cisco FEX расширитель фабрики

=

Распределенное модульная архитектура

+

Cisco Nexus Parent Switch

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500

Nexus 2000 Fabric Extender (FEX) является модулем для Nexus 5000, сохраняя централизованные настройки и управление на Nexus 5000 таким образом формируя виртуальное шасси

Page 36: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 36

Cisco Nexus 2000 Fabric Extender

• Родительский коммутатор: Является супервизором и свич-фабрикой для виртуального коммутатора

• Fabric Links (NIF): Продлевают свич-фабрику к удаленным картам(Соединение Nexus 5000 и Fabric Extender)

• Хост-порты (HIF)

• Соединение Nexus 5000 и Nexus 2000 (FEX) может быть организованио либо пиннингом либо port-channels

Nexus 5000

FEX100 FEX101

dc11-5020-1# show interface fex-fabric Fabric Fabric Fex FEX Fex Port Port State Uplink Model Serial ---------------------------------------------------------------100 Eth1/17 Active 1 N2K-C2148T-1GE JAF1311AFLL100 Eth1/18 Active 2 N2K-C2148T-1GE JAF1311AFLL100 Eth1/19 Active 3 N2K-C2148T-1GE JAF1311AFLL100 Eth1/20 Active 4 N2K-C2148T-1GE JAF1311AFLL101 Eth1/21 Active 1 N2K-C2148T-1GE JAF1311AFMT101 Eth1/22 Active 2 N2K-C2148T-1GE JAF1311AFMT

Page 37: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 37

FEX

• Хост порты (HIF) не поддерживают STP

• HIF порты посылают несколько BPDUs во время активации линка для детектирования петель

• BPDU перестают генерироваться как только будет установлено что порт не подключен к другому коммутатору

• По умолчанию на HIF портах настроены:Port type edge

BPDU guard

BPDU filter

• Трафик между хост портами на FEX коммутируюися родительским коммутатором

N5k01

1,2,3,4

Page 38: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 38

• Все хост порты настраиваются с родительского коммутатора

• A 50xx supports up to 12 FEX

• A 55XX supports up to 24 FEX

1-48 GigE

N5k01

Fabric Ports

Host Ports

1,2,3,4

FEX

Page 39: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 39

Режимы подключения FEX

Хост порты статически привязаны к определенным аплинкам (NIF) либо все интерфесы привязаны к одному port-channel

Статический пиннинг – хост порты ассоциированные с определенным NIF будут недоступны в случае падения этого палинка

Port Channel – трафик хост портов будет перераспределен на другие аплинки в port-channel

Статический пиннинг

Port Channel

HIF будет недоступен

HIF остается активен

Page 40: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 40

VNTag

• FEX не поддерживает локальный форвардинг

• Forwarding осуществляется на основании VNTag

• VNTag добавляется к пакету между Fabric Extender и Nexus 5000

• VNTag удаляется перед отправкой пакетов хостам

Ether type

Destination VIF

Source VIF

MAC DA MAC SA VNTag 802.1Q TL Frame Payload CRC

Page 41: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 41

Коммутация пакетов на Nexus 5000 и 2000

Unified Crossbar

Fabric

Ingress UPC

Egress UPCNexus 2000

ASIC

1. Пакет приходит на хост порт N2K

1

2 3 4 5

6

2. Nexus 2000 добавляет VNTag и

отправляет пакет на аплинк (NIF)

3. Nexus 5000 UPC осуществляет

форвардинг пакета

4. Обработка исходящих очередей и контроля доступа

5. Nexus 5000 UPC добавляет

исходящий VNTag и отправляет на FEX

6. VNTag удаляется и

пакет отпарвляется на

хост порт

Nexus 5000 Nexus 2000Nexus 2000

Nexus 2000ASIC

Page 42: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 42

Модели Cisco Nexus 2000 Fabric Extenders

ModelNexus 2148T Nexus 2224TP Nexus 2248TP Nexus 2248-TP-E

Form Factor 1 RU 1 RU 1 RU 1 RU

Uplink Ports 4 x 10GbE SFP+ 2 x 10GbE SFP+ 4 x 10GbE SFP+ 4 x 10GbE SFP+

Uplink Transceivers Supported

Copper CX-1 (passive): 1m, 3m, 5m. Copper CX1 (active): 7m, 10mOptical: FET (Nexus 2200 platforms), SR, LR

Host Facing Ports 48 x 1GbE RJ45(note: 1000BaseT only)

24 x 100/1000Base-T RJ45 48 x 100/1000Base-T RJ45 48 x 100/1000Base-T RJ45

FCoE N/A N/A N/A N/A

Dimensions 1.72 x 17.3 x 20.0 in 1.72 x 17.3 x 17.7in 1.72 x 17.3 x 17.7in 1.72 x 17.3 x 17.7 in

Operational Power 165W 80-95W 95-110W

Supports FET No Yes Yes Yes

Multiple PortChannel member ports on a FEX

Not Supported Yes Yes Yes

Buffer 320KB per port-group (4 ports)

800KB peer port-group (8 ports)

800KB per port-group (8 ports)

32MB shared (48 ports)

Number of FEX 24 FEX per N5500 24 FEX per N5500 24 FEX per N5500 24 FEX per N5500

Page 43: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 43

Архитектура Nexus 2248TP & 2248TP-E

Nexus 2248TP Nexus 2248TP-E

HIF 1-8

HIF 9-16

HIF 17-24

HIF 25-32

HIF 33-40

HIF 41-48

NIF 1-4x10GE

800 KB

480 KB

800 KB

480 KB

800 KB

480 KB

800 KB

480 KB

800 KB

480 KB

800 KB

480 KB

NIF 1-4x10GE

HIF 1-48

32MB общий пул буферов

Page 44: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 44

Модели Cisco Nexus 2000 Fabric Extenders

ModelNexus 2232PP-10G Nexus 2232TM-10G

Form Factor 1 RU 1 RU

Uplink Ports 8 x 10GbE SFP+ 8 x 10GbE SFP+

Uplink Transceivers Supported Copper CX-1 (passive): 1m, 3m, 5m. Copper CX1 (active): 7m, 10mOptical: FET (Nexus 2200 platforms), SR, LR

Host Facing Ports 32 x SFP/SFP+ (1/10G) 32 x 1/10GBase-T RJ45

FCoE Yes No

Dimensions 1.72 x 17.3 x 17.7 in 1.72 x 17.3 x 17.7 in

Operational Power 225-270W 350-415W (10GT 100m)215-260W(1GT)

Supports FET Yes Yes

Multiple PortChannel member ports on a FEX

Yes Yes

Scalability 768 10GE Ports /N5K1024 10GE Ports /N5K

768 1/10GbT Ports per N5K

Number of FEX 24 FEX per N550032 FEX per N7K (Delhi)

24 FEX per N5500

Page 45: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 45

Варианты правильного подключения FEX к Nexus 5x00

FE

X21

48T

sta

rtin

g fr

om 4

.1(3

)N1(

1)F

EX

224

8, 2

232

from

4.2

(1)N

1(1)

FE

X 2

248,

223

2, 2

224

from

4.2

(1)N

1(1)

Page 46: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 46

Варианты неправильного подключения FEX к Nexus 5x00

Реализовано в 5.1(3)N1(1)

Page 47: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 47

Расширенный vPC

Возможность включения до 16

линков

5548P/5548UP/5596UP

2148T/2248TP/2224TP2232PP/2232TM

Page 48: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 48

Повышенная отказоустойчивость с расширенным vPC

Page 49: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 49

Переподписка на FEX Nexus 2000 Fabric Extender is

connected upstream to the Nexus 5000 by 10 GE links

Минимально – 1 x 10GE Максимально до 4 x 10GE

Неблокируемая производительность для 40 x 1GE портов

Переподписка варьируется от 1.2:1 до 4.8:1

Переподписка 1.2 : 1

Переподписка 4.8 : 1

Page 50: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 50

Вопрос №2

a) Нет, в нашей сети нет необходимости в такой функциональности

b) Нет, мы используем оборудование другого вендора

c) Да, мы можем разделить функции между Nexus и другой платформой

d) Да, сможет

Сможет ли Nexus 5000 стать частью Вашей сети?

Page 51: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 51

Программа вебинара• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 52: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 52

Необходимость / Актуальность L2 в дата-центрах

L2 необходим определенным приложениям

Перемещение / инсталляция новых серверов не требут вовлечения ижненеров сетевой команды

Отсутствие огрничений физического расположения серверов

Layer 2 в большинстве случаев является “plug and play”

Page 53: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 53

L2 требует построения дерева

STP используется для построение дереве без петель

Недостатки топологии дерево: Часть каналов простаивает Не всегда оптимальный путь трафика

11 Физических каналов 5 логических

S1

S2

S3

Page 54: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 54

Эффектвность FabricPath

• 16 каналов ECMP, максимально до 256x10G каналов между 2 устройствами, 160Tbps пропускная способность

• Трафик идет по кратчайшему пути внутри FP облака• Быстрая сходимость

Classical Ethernet Mac Address Table

A B

MAC IF

A xx

… …

B yyMAC Lookup делается только 1 на границеFP

Пакеты балансируются между всеми каналами

Форвардинг пакетов основан не на MAC

внутри FP облака

Fabric

FabricPath

Classical Ethernet

S42S11

Page 55: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 55

Терминология

• Classical Ethernet: Классический Ethernet• Switch ID: 12 битный ID для уникальной идентификации

каждого коммутатора внутри FP облака• Mac in Mac: Инкапсуляция используемая в FP для

транспортировки L2 внутри L2. • Edge device: Устройство на границе FP и CE.• Fabric: L2 сеть в которой работает FabricPath• Topology: Группа линков в фабрике. Изначально все

каналы принадлежат топологии 0. Другие топологии могут быть созданы перенесенним в нее каких-либо каналов.

Page 56: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 56

Терминология

FabricPath Порт• Интерфейсы подключенные к другим

FabricPath портам• Прием/передача FabricPath трафика• Не используется STP• Нет ‘MAC Learning’• Обмен информацией о топологии по L2

ISIS• Форвардинг пакетов ‘Switch Routing Table’

Classic Ethernet (CE) Порт• Подключение non-FabricPAth устройств• Прием/передача Ethernet кадров• Работает STP• Используется MAC таблица

STP Domain

Fabric (Network running

FabricPath)

Eth

ern

et

FabricPath PortCE Port

FP

Hea

der

Eth

ern

et

Page 57: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 57

STP DomainFabricPath

STP Domain 1 STP Domain 2

Форвардинг пакетов в FabricPath

• Заголовок FabricPath добавляется на входе в облако FP• Адреса Ingress и egress коммутаторов используются для

принятия решения по маршрутизации кадра• MAC learning не происходит внутри FP облака

A C

S11 S42

C

A

DATA

C

A

DATA

FabricPath Header

Ingress Switch

S11

S42

Egress Switch

S11 S42 FabricPath Routing

L2 Bridging

A C A C

A C

Page 58: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 58

Инкапсуляция FabricPath

• Switch ID: 12-bit ID определяет устройство внутри FP облака

• Sub-Switch ID: Совместно с Switch ID используется для идентификации устройства в vPC+

• Tree ID: Уникальный номер для определения “дерева”

• TTL: Механизм предотвращения петель

Cisco FabricPath Frame

Ether Type

Tree ID(10)

TTL(6)

(Classical) Ethernet Frame

Switch ID

(12)

Sub-Switch ID

(8)

Port ID(16)

OOO/DL(1)

RSVD(1)*

EndNode_ID(5:0)

EndNode_ID

(7:6)

I/GU/L

OuterDA

(48)*

OuterSA

(48)*

FPTAG(32*)

DMAC SMACEther Type

Payload802.1Q Header

CRC

DMAC SMACEther Type

Payload802.1Q Header

CRC(New)

* Lengths for all fields are shown in “bits”

Page 59: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 59

HITLEARN

Форвардинг пакетов в FabricPath: Unknown Unicast

MAC IFMAC IF

C 3/1

Encap

Decap

Decap

L1

L2 L3 L4

A B C

L8L5L6 L7

L9

L10 L11 L12

S1 S2 S3 S4

S11 S12 S42L2 Fabric

A C

FF S42 (1)A C

A C

C A

1/1 3/1

FF

S42

(1)

A

C

MAC IF

A 1/1MISS

MISSDon’t LEARN

MAC IF

A 1/1

C S42

FabricPath PortCE Port

Page 60: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 60

Форвардинг пакетов в FabricPath: Known Unicast

Switch

IF

… …

S42 L1, L2, L3, L4

L1

L2L3 L4

A B C

L8

L5L6 L7

L9

L10 L11L12

S1 S2 S3 S4

S11 S12 S42

A CA

C

S11 S42

A C

1/1 3/1

S11

S42

A

C

L2 Fabric

MAC IF

A 1/1

C S42

MAC IF

C 3/1Encap

Switch IF

… …

S42 L12

HIT!Decap

HIT!

MAC IF

C 3/1

A S11

FabricPath PortCE Port

Page 61: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 61

Unicast Equal Cost Multipathing (ECMP)

• Поддержка 2-х и более маршрутов (16 ECMP) через фабрики

Маршрутизация осуществляется на основе ‘маршрутной таблици FabricPath’

A

L1

L2

S1 S2 S3 S4

S11 S12 S42L2 Fabric

L3

L4

C

A C

A C

Switch

IF

… …

S42 L1, L2, L3, L4MAC IF

A 1/1

… …

C S421/1

Page 62: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 62

Предотвращение петель в FabricPath

• Control protocol (STP) единственный механизм предотвращения петель

• В случае нарушения STP – L2 петля, нет резервного механизма на уровне данных

Time To Live (TTL)

STP DomainRoot

L2 Fabric

S1

S10

S2

TTL=3

TTL=2 TTL=1

TTL=0

TTL в заголовке FabricPath Уменьшение на 1 в каждом узле Кадры с TTL =0 отбрасываются

Root

M

S2

Page 63: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 63

Расширение vPC для FabricPath

• Ограничение – в таблице MAC адресов возможно только 1 соответствие MAC – Switch ID Каждый VPC представляется

как виртуальный коммутатор

Switch ID виртуального коммутатора используется для FP инкапсуляции

L2 Fabric

S1 S2

A

B

S3

MAC Table

A ???

MAC Table

B S3

B A Payload

B A PayloadS2S3B A PayloadS1S3

MAC Table

A S4

vPC

L2 Fabric

S1 S2

B

S3

B A PayloadA

S4

B A PayloadS4S3 B A PayloadS4S3

vPC+MAC Table

B S3

Page 64: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 64

Взаимодействие FP и STP

• L2 фабрика должна быть рутом для всех подключенных STP доменов. Ethernet порты на граничных коммутаторах будут блокированы в случае получения BPDU с меньшим BID (rootguard)

• BPDUs не форвардятся через фабрику.

L2 Fabric

Classical Ethernet

(STP)

FabricPath(L2 IS-IS)

BP

DU

BPDU

BPDU

BPDU

BP

DU

✖STP Domain 1

STP Domain 2

FabricPath PortCE Port

Page 65: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 65

Multiple Topologies

L1

L2 L3 L4L8L5

L6 L7

L9

L10 L11 L12

L2 Fabric

Topology: Группа каналов внутри фабрики. Изначально все каналы принадлежат топологии 0.

• Другие топологии могут быть созданы добавлением в них каналов.

• Канал может принадлежать нескольким топологиям

• VLAN может принадлежать только одной топологии

Разные топологии могут быть использованы для traffic engineering, зон безопасности и т.д.

Topology 0

Topology 1

Topology 2

Page 66: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path
Page 67: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 67

Вопрос №3

a) Детальное рассмотрение технологии FabricPath

b) Детальное рассмотрение технологии OTV

c) Детальное рассмотрение технологии VPC

d) Вебинары посвященные устранению неполадок в коммутаторах серии Cisco Nexus

e) Платформа Cisco Nexus 3000

Какие темы будущих семинаров Вам интересны? Выберите из предложенных или предложите свои

Page 68: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 68

Q & A

Эксперт ответит на некоторые Ваши вопросы. Используйте Q&A панель, чтобы задать еще вопросы

Page 69: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 69

Сессия «Спросить Эксперта»

Получить дополнительную информацию, а также задать вопросы экспертам в рамках данной темы вы можете в течение двух недель, на странице, доступной по ссылке

https://supportforums.cisco.com/community/russian/expert-corner/ask-the-experts

Вы можете получить видеозапись данного семинара и текст сессии Q&A в течение ближайших 5 дней по следующей ссылке

https://supportforums.cisco.com/community/russian/expert-corner/webcast

Page 70: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 70

Вебинар с экспертом на английском

Среда, 28 ноября,

19:00 по московскому времени

Эксперт Cisco:

Mahesh Anjan

Во время презентация вы получите советы по решению проблем связанных с видео звонками, затрагивающими VCS (Video Communications Server) и CUCM.

Регистрация:

http://tools.cisco.com/gems/cust/customerSite.do?METHOD=E&LANGUAGE_ID=E&PRIORITY_CODE=4&SEMINAR_CODE=S17285

Тема: Troubleshooting Cisco Unified Communication Manager Integration with Cisco Telepresence video Communication Server

Page 71: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 71

Спросить эксперта на английском

Обе сессии начнутся, 2-го ноября, 2012Присоединяйтесь:https://supportforums.cisco.com/community/netpro/expert-corner#view=ask-the-experts

Troubleshoot Memory and other issues on CISCO ISR, ISR-G2 , 7200 (NPE-G1, NPE-G2

Эксперты Cisco: Srikanth Babu & Vishnu Asok

Узнайте как решать проблемы с высокой загрузкой CPU, памяти а так же с другими проблемами на Cisco ISRs и 7200s.

RF Matters in Mobility Design

Эксперт Cisco: Flavien Richard

Задайте свои вопросы о 802.11 radio, MIMO, новых точках доступа, антеннах и их установке, и о многом другом

Page 72: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 72

Спросить эксперта на английскомТема: Concepts, Smart Call Home

Эксперт Cisco: Bryan Williams.

Задайте вопросы о Cisco Smart Call Home, инструменте, который помогает обнаруживать и решать проблемы быстрее и с меньшими трудозатратами и который включен в большинство контрактов на поддержку

Сессии начнутся 5-го ноябряПрисоединяйтесь:https://supportforums.cisco.com/community/netpro/expert-corner#view=ask-the-experts

Тема: Configuring and troubleshooting Faxing in Cisco IP Voice Networks

Эксперт Cisco: Edson Pineiro

Узнайте как решать проблемы, а также получите советы связанные с факсимильной связью в Cisco IP voice сетях.

Page 73: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 73

Приглашаем Вас активно участвовать в Cisco Support Community и социальных сетях

https://supportforms.cisco.com/community/russian

http://www.facebook.com/CiscoRu

http://twitter.com/CiscoRussia

http://www.youtube.com/user/CiscoRussiaMedia

http://itunes.apple.com/us/app/cisco-technical-support/id398104252?mt=8

http://www.linkedin.com/groups/CSC-Cisco-Support-Community-3210019

Newsletter Subscription: https://tools.cisco.com/gdrp/coiga/showsurvey.do?surveyCode=589&keyCode=146298_2&PHYSICAL%20FULFILLMENT%20Y/N=NO&SUBSCRIPTION%20CENTER=YES

Page 74: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 74

Спасибо за Ваше время

Пожалуйста, участвуйте в опросе

Page 75: Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path