Северо Западный ФОРУМ CISCO...2018/10/25 · Автоматизация на основе политик Физические серверы, виртуальные

ФОРУМ CISCO23 октября 2018

Санкт-Петербург

КонцепцияИнтуитивной

сети

Северо-Западный

Как работает сетевая фабрика для ЦОД Cisco ACI и что она даёт сетевому инженеру?

Александр Скороходов

Технический консультант

© 2018 Cisco and/or its affiliates. All rights reserved.

Cisco ACIСамое полное решение для сети ЦОД

Application CentricInfrastructure

Автоматизация на основе политик

Физические серверы, виртуальные машины и контейнеры

“SDN из коробки”

Открытость, опора на стандарты, встроенная безопасность

Более 5000 заказчиков!

Архитектурные элементыCisco ACI

4Северо-Западный ФОРУМ CISCO © 2018 Cisco and/or its affiliates. All rights reserved.

Ключевые аспекты Cisco ACI

Северо-Западный ФОРУМ CISCO © 2018 Cisco and/or its affiliates. All rights reserved. 5

APIC

L2 + L3

▪ Коммутация L2+L3

через опорную IP сеть

▪ Распределенный

«шлюз по умолчанию»

▪ Хостовые маршруты

(/32): уход от

фладинга

▪ Внедрение в одном и

во многих ЦОД

▪ Настройка и

мониторинг

▪ Декларативный

подход

▪ Управление через

GUI, CLI, API

EPG1cons prov

EPG2

▪ Принцип «белого

списка» по умолчанию

▪ Политики

безопасности,

независимые от

адресов

▪ Микросегментация

▪ Сегментация

транспорта и

управления

Современная сетевая фабрика

Центральное управление по политикам

Интегрированные политики безопасности

▪ Интеграция о

средами

виртуализации

▪ Поддержка

контейнерных

платформ

▪ Сетевой транспорт,

безопасность,

мониторинг

Физические серверы + VM + контейнеры

Pod

© 2018 Cisco and/or its affiliates. All rights reserved. 6

Из чего состоит Cisco ACI?

ACI фабрика

Неблокируемая фабрика на базе оверлеевApplication Policy

Infrastructure

Controller

APIC

Коммутаторы

Nexus 9000

App DBWeb

QoS

Filter

QoS

Filter

QoS

Service

Внешняя сеть

передачи

данных

Модель политик

Коммутаторы Nexus 9000 для ACI фабрики

9504 9508 9516

Nexus 9500

32/36*40/100G QSFP Line card

NX-OS и ACI

+или

Nexus 9364C

Nexus 9300-EX/FX

48p 100M/1/10GT + 6p 40/100G QSFPNexus 93108TC-EX/FX

48p 1/10/25G SFP + 6p 40/100G QSFPNexus 93180YC-EX/FX

Leaf

Spine

64*40/100G QSFP

32p QSFP (24p 40/50G+6p 100G или 18p 100G)Nexus 93180LC-EX

36p 40/100G QSFP Nexus 9336C-FX2

48p 100M/1GT + 4p 10/25G SFP + 2p 40/100G QSFPNexus 9348GC-FXP

Nexus 9332C

32*40/100G QSFP


▪ Маршрутизируемый опорный транспорт на основе IPv4

▪ Пул адресов задаётся при запуске фабрики

▪ Протокол маршрутизации IS-IS, unnumbered соединения

▪ Обнаружение топологии, настройка IS-IS, выдача адресов для Loopback интерфейсов –

автоматически, без участия администратора

ACI фабрикаМаршрутизируемая опорная сеть (underlay)

APIC APICAPIC

Spine коммутаторы

Nexus 9332C/9364C

или Nexus 9500

Leaf коммутаторы

Nexus 9300

IS-IS


▪ Транспорт L2 и L3 через опорную сеть с VXLAN инкапсуляцией – host routing

▪ Распределённая маршрутизация – Distributed Anycast Gateway

▪ Мобильность подключений

▪ Передача метаданных в iVXLAN заголовке для применения политик

▪ Протокол COOP для поддержания на Spine информации об L2/L3 адресах в фабрике

▪ Протокол MP-BGP для распространения в фабрике внешних маршрутов

ACI фабрикаНаложенная сеть L2+L3 (underlay) на базе VXLAN с расширениями


Nexus 9332C/9364C

или Nexus 9500


Nexus 9300

MP-BGP RR

VTEP VTEP VTEP VTEP VTEP VTEP

PayloadIPVXLANVTEP


▪ Политики взаимодействия (контракты) на основе групп подключений (EPG)

▪ Соотнесение хостов с EPG по гибким критериям (порт+VLAN, IP/адрес, подсеть, порт-группа, имя или иные атрибуты VM, DNS имя....)▪ Классификация локальных Endpoint -> EPG

▪ Распределённое применение политик на Leaf коммутаторах▪ Policy TCAM на основе EPG – компактнее, чем обычные IP ACL

▪ Мобильность политик вслед за нагрузками

ACI фабрикаПрименение политик безопасности


Nexus 9332C/9364C

или Nexus 9500


Nexus 9300

EPG1cons prov

EPG2

HTTP (80)

Policy TCAM

Policy TCAM

Сетевое взаимодействие в Cisco ACI



L2/L3 связность в традиционной сети

• Централизованная маршрутизация • Транки для необходимых VLAN на уровень агрегации• Проблема растягивания L2 за пределы блока агрегации• Применение политик (ACL) – только между VLAN• Опора на фладинг• Потребность в VPC peer-link на доступе и агрегации

Vlan 100

Vlan 100

Vlan 200

WAN - Core

L2

L3

L2

HSRPSVIACL

HSRPSVIACL

Peer-link

Peer-link Peer-linkVlan 100 Vlan 200

Trunk:vlan 100, 200…

Trunk:vlan 200, …

Vlan 200

Vlan 200

ACL

Vlan 200

L3


L2/L3 связность в ACI фабрике

• Распределённая коммутация L2/L3 через IP транспорт

• Локальный «шлюз по умолчанию» на уровне доступа - без HSRP

• Минимизация фладинга

WAN - Core

L2

L3

IP

vlan 100 (local)

vlan 200 (local)

Bridge Domain

Bridge Domain

VRF

EPGEPG EPG

VPC Aencap vlan 100

VPC Bencap vlan 200

Модель политик

int 102/e1/1encap vlan 200

L3Out

• Применение политик – в том числе и внутри подсети

• VLANы – локально значимы• Не нужен VPC peer-link


Bridge Domain (BD)VLAN или нет?

Домен широковещания (аналог VLAN на коммутаторе)

Не связан с конкретным номером 802.1Q VLAN

Не обеспечивает бесконтрольного взаимодействия

внутри

Может содержать одну или несколько подсетейАналог SVI (“interface vlan”)

Несколько подсетей – аналог secondary адресов на SVI

Всегда связан с VRF (даже если чистый L2)

Вариант именования – «имя подсети»Пример: “10.1.1.0”

Настройки «оптимизации» (отмечены красным) -

важны!См https://www.cisco.com/c/en/us/solutions/collateral/data-center-

virtualization/application-centric-infrastructure/white-paper-c11-

739989.html

https://www.cisco.com/c/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/white-paper-c11-739989.html


VRF«Виртуальный маршутизатор»

Домен (экземпляр) маршрутизации

С ним ассоциируются BD

К нему «подключаются» маршрутизируемые

выходы (L3Out)

С точки зрения VXLAN соответствует L3 VNI

Настройка “Enforcement” управляет тем,

требуются ли контракты для

взаимодействия

Контролируемая связность между VRF:

Route Leaking


Сопряжение с L3 сетями: L3Out

L3Out – маршрутизируемое подключение VRF к

внешним маршрутизаторам

Поддерживается статическая маршрутизация, OSPF,

EIGRP, iBGP, eBGP

Поддерживается маршрутизация через VPC

Выучивание хостов за L3Out не производится,

достижимость внешних адресов – за счёт

распространения LPM маршрутов в фабрике через

MP-BGP

C L3Out могут быть связаны External EPG – ссылка

на набор внешних подсетей для применения политик

L3OUT

ROUTE PEERING

VRF-1

Mapping DB

No Learning of

External endpoints


EPG: «группа подключений»Самый важный класс объектов в ACI!

Участники EPG (endpoints):

• Имеют адрес, интерфейс, атрибуты и т.д.

• Физические серверы, VM, контейнеры (или их смесь)

• Равноправны с точки зрения политик

EPG всегда связана с Bridge Domain

Может является провайдером или потребителем

контракта

Взаимодействие внутри EPG может быть открыто, закрыто

или ограничено

Разные подходы к использованию EPG (можно сочетать):

• “Network-centric”: EPG = BD = VLAN, воспроизведение

традиционного подхода (EPG “VLAN 100”)

• “Application-centric”: EPG соответствует приложению

или уровню приложения (EPG “Web”)


EPGНевиртуализированные подключения

Аналог традиционного подхода

«Настройка VLAN на порту»

Указание на конкретный интерфейс + VLAN

(статический путь)

Может ссылаться на port channel или VPC

Может ссылаться на интерфейсы FEX

VLANы на разных портах могут различаться

Статических путей в EPG может быть много

Статический путь – один из способов связи с

существующей (legacy) сетью ЦОД

Вариант: указание на VLAN на всём Leaf (аналог

VLAN на традиционном коммутаторе)


EPGИнтеграция с виртуализацией: VMM домен

Обеспечивает «продолжение» EPG в среду виртуализации

VMWare vSphere, Microsoft Hyper-V, OpenStack/KVM, RedHat RHV

Связь Port Group/VM Network на стороне виртуализации и EPG на стороне модели политик ACI

Использует пул VLAN (или VXLAN)

Двухсторонний обмен информациейСоздание/удаление port group/VM Network

Сбор информации о подключениях и статистики

Интеграция с контейнерными средами: контейнерный домен

Kubernetes, OpenShift, Cloud Foundry


EPGМикросегментационные группы

Микросегментационные группы (uSeg EPG): «перенос»

подключений из базовой EPG на основе динамических критериев

или их комбинации

Имя VM

Атрибуты VM

VM теги

DNS имя

Группа LDAP

MAC адрес

IP адрес

....

Поддержка

VMWare vSphere (DVS, Cisco AVS/AVE)

Microsoft Hyper-V

Невиртуализированные подключения (IP/MAC адрес)

Атрибуты ВМ

Guest OS

VM Name

VM (id)

VNIC (id)

Hypervisor

DVS port-group

DVS

Datacenter

Custom Attribute

MAC Address

IP Address

vCen

terV

M A

ttribu

tesV

M Traffic

Attrib

utes


КонтрактыПолитики взаимодействия в ACI

Управляют передачей данных между End Point Group (EPG), а так же между L3out и EPG

Без контракта (по умолчанию) взимодействия нет – даже в одной подсети!

Не перенаправляют трафик (service graph - исключение)

Являются аппаратными ACL

Фильтры, из которых состоят контракты, используют Policy CAM на нужных Leaf

Contract Client_to_Web

Subject: ICMP

Subject: Web-traffic

Filter:httpTCP :80UDP:80

Filter: icmp

EPG

Client

EPG

Web

Filter:httpsTCP :443

Контракты в сетевом профиле приложенияРазрешённые виды взаимодействия

Сетевой профиль приложения

C Контракт

Контракт определяет какую услугу один EPG предоставляет

другому EPG

Можно использовать существующие фильтры

(повторное использование = упрощение)

C

C

EPG NFS

EPG MGMT

EPG DBEPG AppEPG WebC CC

Спектр возможностей модели политик

Методы определения EPG

VLAN/VXLAN=EPG IP Based EPG MAC Based EPG VM Attribute based EPG

Создание контрактов и организация фильтрации

vzAny Preferred Contract Group(2.2)

Enforced/Unforced

ContractInheritance(2.3)

Intra-EPG Contract(3.0)

Intra-EPGIsolation

DNS-based EPG


EP lookup, IP Prefix

Вычисляем source EPG pcTag

local EP, IP Prefix, или Encap

Применяем политику (filter)

Вычисляем destination EPG pcTag

Scope

VRF

VRF

Access Control Entry (ACE) Format

action src-EPG dst-EPG [filters]

permit any any (unenforced mode)

1

Политика создается на основе контактов между EPG с учетом L2/L3/L4 фильтров так же как и обычный ACL.

Поиска в EP databasesrc MAC для L2 traffic или IP для L3 трафика

longest-prefix match для src IP

(IP-based EPG или L3Out external EPG)

Входной port + encap

Leaf вычисляет destination EPG pcTag на основе:

Поиска в EP databasedst MAC для L2 traffic или dst IP для L3 трафика

longest-prefix match для dst IP

(L3Out external EPG или shared-services)

Правила программируются внутри VRF.Проверяется комбинация ( VRF , src-EPG , dst-EPG , filter).

Трафик между всеми EPG разрешен, если VRFнастроен в режиме unenforced

Реализация контрактов в аппаратуреLeaf вычисляет source EPG pcTag на основе:

Cisco ACI для задач сетевой эксплуатации


Application Policy Infrastructure ControllerЦентрализованная автоматизация и управление фабрикой

• Единая точка управления сетью ЦОД на

основе политик:

• Профили приложений

• Политики безопасности

• Инициализация фабрики

• Управление конфигурациями

• Управление ПО коммутаторов

• Накопление и экспорт статистики/телеметрии

• Мониторинг приложений

• Поиск и устранение неисправностей

• Открытая модель данных для управления при

помощи внешних средств оркестрации

• Не принимает непосредственное участие в

передаче данных

• Единое управление наложенным

транспортом и фабрикой

• Кластеризация для масштабирования и

доступности (от 3 до 5 и более узлов)

Сервисы 4..7Управление

системами

Безопасность Оркестрация

Storage SME Server SME Network SME

Security SME App. SME OS SME

Открытый

RESTful API

Управление на

основе политик

APIC

Изоляция контекстов/организаций«Тенанты»

• Логические контейнеры с наборов

изолированных ресурсов – приложений,

сетевых элементов, политик, сбора и экспорта

статистики и т.д.

• Управление доступом администраторов

• Возможность контролируемого

взаимодействия между тенантами и

совместного доступа к разделяемым ресурсам

• Сценарии использования

• Разные заказчики оператора

• Среды разработки/тестирования/продуктива

• Слияние/разделение организаций

• Резервирование многих ЦОД

Pepsi-Tenant Coke-Tenant

VRF 1

VRF 2

VRF 1

VRF 2

Bridge Domain 1

Bridge Domain 2

Bridge Domain 3

Bridge Domain 4

Bridge Domain 1

Bridge Domain 2

Bridge Domain 3

Bridge Domain 4

EPG

EPG

EPGEPG

EPG

EPG

EPG

EPG EPG

EPG

Масштабируемая эксплуатация фабрикиОбнаружение, инициализация, управление

ACI фабрика: масштабируемое централизованное управление с помощью APIC

• Обнаружение, адресация и инициализация фабрики

• Управление образами ПО

• Проверка корректности и отображение топологии

Loopback и VTEP IP адреса

выделяются с “Infra VRF” по DHCP с

APIC

APIC кластер

Обнаружение топологии с

использованием LLDP

APICAPICAPIC

Управление конфигурациями:на уровне системы и отдельных тенантов

• Хранение истории конфигураций

• На уровне всей фабрики или отдельных тенантов

• Настройки физических (порты коммутаторы) и

логических (приложения, группы, BD, VRF…)

объектов

• Сохранение по команде администратора или

по расписанию

• Возможность сравнения версий конфигуций и

отката изменений

• Сохранение на контроллерах APIC или экспорт

на внешний сервер

Диагностика проблемУправление отказами и показатели «здоровья»

• Идентификация проблем

• На любом уровне иерархии ACI

• Классификация по степени серьёзности

• Текущие отказы и хранение истории

• Возможность настройки

• Показатель «здоровья»

• На любом уровне иерархии

• От 0 до 100

• Возможность поиска причин деградации –

анализ первопричины

• Работа с отказами на контроллерах APIC

или отправка на внешние системы

Статистика на уровне сети и приложенийСбор, накопление, экспорт• Сбор статистики на уровне

физических и логических

объектов:

• Порты

• Ресурсы оборудования

• Группы подключений

• ...

• Накопление и хранение

статистики

• Обобщение за интервал времени

• 5/15 мин, час/день/неделя/месяц/год

• Визуализация в GUI

• Автоматический экспорт на

внешний сервер

Масштабирование сетей на базе Cisco ACI


Стратегия развития ACI AnywhereРазвитие решений для связи ЦОД и масштабирования фабрики

ACI 1.1

Geographically

Stretch a single

fabric

DC1 DC2

ACI Stretched Fabric

APIC Cluster

ACI 2.0 - Multiple

Networks (Pods) in a

single Availability Zone

(Fabric)

Pod ‘A’

MP-BGP - EVPN

…

IPNPod ‘n’

ACI Multi-Pod Fabric

APIC Cluster

ACI Single Pod Fabric

ACI 1.0 Leaf/Spine

Single Pod Fabric

ACI 3.0 - Multiple Availability

Zones (Fabrics) in a Single

Region ’and’ Multi-Region

Policy Management

Fabric ‘A’

MP-BGP - EVPN

…

IPFabric ‘n’

ACI Multi-Site

…и это не всё!

«Модульная фабрика»: ACI Multi-Pod

Pod ‘A’

MP-BGP - EVPN

Single APIC Cluster

▪ Несколько модулей (ACI Pod) связанных IP

сетью (Inter-Pod network), каждый состоит из

набора leaf и spine

▪ Управлением единым кластером APIC

▪ Единый домен управления и политик

▪ Изоляция доменов отказов протоколов

control plane (IS-IS, COOP)

▪ Инкапсуляция VXLAN между модулями

▪ EVPN (MP-BGP) для плоскости управления

▪ Сквозное применение политик

Pod ‘n’

Inter-Pod Network

…

IS-IS, COOP, MP-BGP IS-IS, COOP, MP-BGP

35

▪ Отдельные ACI фабрики с независимыми

кластерами APIC

▪ Каждая фабрика рассматривается как отдельный

«регион» и «зона доступности»

▪ Ограничение зоны вносимых изменений

▪ Использование для сценариев DR и Active/Active

▪ Нет ограничений по расстоянию

▪ Multi-Site контроллер настраивает

сквозные конфигурации в нескольких

кластерах APIC

▪ MP-BGP EVPN с VXLAN инкапсуляцией

между сайтами

▪ Сквозное применение политик

«Федерация фабрик»: ACI Multi-Site

Site 1

MP-BGP - EVPN

Site 2

…

L3Регион ‘A’ Регион ‘B’

Multi-Site

Orchestrator

Web

GUI

Rest

API

35

IP Network (WAN Core – IPv4, MPLS, SR, etc …)

«Сателлитные ЦОД»: ACI Remote Leaf

Site A Remote Location

Автоматическое обнаружение вынесенных коммутаторов

До 32 сателлитных ЦОД (пар Remote Leaf) в ACI 4.0

Продолжение EPG, BD, VRF,тенантов, контрактов

Диагностика и статистика

VMVMVM VMVMVMVMVMVMVM VMVMVMVM

Port Speed:1/10/40/100G

Application Centric Infrastructureдля сетевых администраторов

• Эффективная система центрального управления

• Инициализация фабрики и построение топологии

• Управление конфигурациями и прошивками

• Сбор, накопление и экспорт статистики

• Информация об отказах и «здоровье»

• Высокая производительность и масштабируемость

• Доступ 1/10G/25G, 40G

• Горизонтальная масштабируемость

• Внутренний транспорт 40/100G с эффективной балансировкой нагрузки и приоритезацией транзакций

• Оптимизированный транспорт L2+L3

• Распределённая маршрутизация

• Единая среда коммутации для физических и виртуальных серверов

• Сквозной транспорт P+V

• Поддержка многих гипервизоров

• Детальная телеметрия и диагностика

• Атомарные счётчики

• Инструменты диагностики

Spine: модульные (Nexus 9500) или фиксированные (9332/9364)Аппаратная база отображения адресов

До 576 x 40/100 G портов на устройство

Высокая плотность за умеренную стоимость

Оптимизация фабрикиОптимальная балансировка ECMP

Быстрая сходимость

Атомарные счётчики

Leaf (доступ): Nexus 9300Применение политик

Интеллектуальное кеширование

Поддержка терминации оверлеев

Улучшенная аналитика

APIC

Заинтересовались? Вопросы? Хотите демо?Обращайтесь на [email protected]

Спасибо за внимание!

www.cisco.com

Documents

Северо Западный ФОРУМ CISCO...2018/10/25 · Автоматизация на основе политик Физические серверы, виртуальные