cisco expo...Построение сетей современных ЦОД...
Post on 09-Jun-2020
23 Views
Preview:
TRANSCRIPT
Cisco Expo 2010
Игорь Воронцев Системный инженер ivoronts@cisco.com
Построение сетей современных ЦОД Конвергентный транспорт, поддержка виртуализации, расширение подсетей
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Presentation_ID
Консолидация ввода-вывода в ЦОД
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 3
Консолидация ввода-вывода: Объединенный транспорт FCoE/IEEE DCB
Используя DCB • Общий транспорт • Сокращение числа кабелей, портов, адаптеров • Обеспечение совместимости
LAN SAN IPC
Storage RDMA/IPC Internet/ Intranet
Сегодня • Много портов ввода-вывода • Высокие расходы на оборудование и эксплуатацию
Unified Fabric
LAN SAN
IPC
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 4
• Метод передачи фреймов FC по Ethernet Выглядит как FC для серверов и сети Сохраняет текущую инфраструктуру
и управление FC Фрейм FC остается неизменным
Может работать на стандартных коммутаторах (с jumbo фреймами)
Priority Flow Control обеспечивает отсутствие потерь Имитирует систему буферных кредитов FC
Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
Fibre Channel
Ethernet
Fibre Channel over Ethernet (FCoE)
Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 5
1, 2, 4, 8, 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps
FCoE
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 6
Требования FCoE к Ethernet транспорту
Ethe
rnet
H
eade
r
FCoE
H
eade
r
FC
Hea
der
FC Payload CR
C
EOF
FCS
Обычный фрейм FC
Дополнительная информация
Обычный Ethernet фрейм, ethertype = FCoE
10Gbps+ Ethernet FC использует 1/2/4/8G
Lossless Ethernet Соответствует поведению, обеспечиваемому в FC с использованием B2B credits
Jumbo фреймы Ethernet Максимальный размер FC фрейма = 2112 байт
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 7
Возможности Data Center Bridging: PFC
Возможность транспорта без потерь индивидуально для определенного класса трафика Отправка PAUSE для данной виртуальной полосы (virtual lane): Per Priority Pause (PPP) Дифференцированное поведение для каждой VL Стандартизация: IEEE 802.1Qbb
Priority-Based Flow Control (PFC)
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 8
Enhanced Transmission Selection (ETS)
Гарантированная полоса передачи и разделение полосы между VL Также называется Priority Grouping Стандартизация: IEEE 802.1Qaz
Возможности Data Center Bridging: ETS
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 9
Возможности Data Center Bridging: DCBX
Data Center Bridging eXchange
Согласование настроек для: Управления полосой по классам Управления потоком по классам Управления перегрузками Логического состояния интерфейса
Data Center Ethernet
Data Center Ethernet
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 10
10
Стандартизация FCoE
T11 IEEE 802.1 FCoE
FC on other
network media
FC on Other Network Media
FC-BB-5
PFC ETS DCBX
802.1Qbb
DCB
802.1Qaz 802.1Qaz
Lossless Ethernet
Priority Grouping
Configuration Veritifcation
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 11 11
Все стандарты FCoE готовы Состояние стандартов
11
PFC
ETS
DCBX
Inv Dev Appr Pub
Technically Stable
FC-BB-5
Inv Dev Appr Pub
Inv Dev Appr Pub
Inv Dev Appr Pub
Technically stable in October, 2008
Completed in June 2009
Published in May, 2010
Completed in July 2010, awaiting publication
Completed in July 2010 (completing Approval Phase 3)
Completed in July 2010 (completing Approval Phase 3)
Metz, DeSanti - FCoE Standards © 2010 Cisco Systems, Inc. All rights reserved. Cisco Confidential
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 12
FCoE: консолидация на уровне доступа Первый шаг – «консолидация доступа» («Unified Wire»)
Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel
SAN A SAN B 10GE Backbone
VF порты
VN порты
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 13
Консолидация на уровне доступа: элементы решения
Converged Network Adapter (CNA)
Адаптер 10GE с поддержкой Fibre Channel over Ethernet
Адаптер 10GE Adapter и программная поддержка
FCoE
Unified Fabric
Коммутатор 10 Gigabit Ethernet Switch с поддержкой
Fibre Channel over Ethernet
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 14
• Заменяет несколько адаптеров на сервере
• Выглядит для ОС/гипервизора как отдельные адаптеры Ethernet и Fibre Channel
• Консолидирует 10GE и FC на едином интерфейсе / паре интерфейсов 10GE/DCB/FCoE
• Минимум изменений в существующей среде
• Вариант с использованием микросхем от Qlogic или Emulex: Существующие драйверы Обеспечение совместимости
10GE/FCoE
PCIe Bus
FC 10GE
Converged Network Adapter
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 15
FCoE: перспективы применения
Решаемые задачи: Расширение консолидации ввода-вывода на магистраль Поддержка систем хранения с подключением по DCB/FCoE
SAN A SAN B
Магистраль
Система хранения с подключением по FCoE
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 16
RoCE (RDMA Over Converged Ethernet)
Source: Mellanox Corp.
OFA Verbs Interface
IB Transport Protocol
Network Layer
InfiniBand Link Layer
InfiniBand
OFA* Stack
InfinBand Management
RDMA Application / ULP
RDMAP
DDP
IP
SCTP MPA
TCP
Ethernet Link Layer
iWARP
Ethernet Management
RoCE
Ethernet Link Layer
Ethernet Management
IB Transport Protocol
Network Layer
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Presentation_ID
Сетевая поддержка виртуализации
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 18
Распознать в сети трафик виртуальной машины Представляем VN-Link
Проблемы:
VN‐Link:• Расширяет сеть до VM • Общие с физическими коммутаторами функции сетевых сервисов
• Скоординированное с VM управление
VMo4on
• VMotion может переместить VM на другой сервер. Политика должна следовать вслед за VM
• Сеть не видит локально коммутируемый трафик и не может применить к нему политику
• Сеть не может выделить на порту трафик конкретной VM
VLAN101
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 19
Применение сетевые политики (QoS, безопасность, управление) с точностью до конкретной VM
Поддержка vMotion
Сохранение разделения ролей между сетевой и серверной «командами»
VN-Link (Virtual Network Link) – «соединение» между данной VM и коммутатором Cisco. Соответствует комбинации NIC, интерфейса коммутатора и патч-кабеля в физической среде
Сетевая поддержка виртуализации
Гипервизор
VNIC VNIC
VETH VETH
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 20
Программная коммутация
VN-Link в аппаратуре VN-Link в аппаратуре с VM DirectPath
Альтернативные варианты реализации VN-Link
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 21
Cisco Nexus 1000V Виртуальный распределенный программный коммутатор
Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX
Возможности VN-Link: – Управление VM по политикам – Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel
– Мобильность настроек сети, безопасности и мониторинга
– Сохраняет эксплуатационную модель
Сохранение политик и связи с сетью при использовании VMotion
VMW ESX VMware vSwitch Nexus 1000V
VMW ESX VMware vSwitch Nexus 1000V Nexus 1000V
VM #4
VM #3
VM #2
VM #1
VM #8
VM #7
VM #5
VM #5
VM #2
VM #3
VM #4
VM #5
VM #6
VM #7
VM #8
VM #1
VM #1
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 22
Архитектура Nexus 1000V и варианты управляющего модуля VSM
Cisco VEM
VM1 VM2 VM3
Cisco VEM
VM4 VM5 VM6 VM7
Cisco VEM
VM8 VM9 VM10 VM11
VSM Виртуальная машина ESX До 64 VEMs (64 хоста) Установка из ISO или OVA файла Внедрения парами для резервирования
Nexus 1010 До четырех VSM Внедрения парами для резервирования Сервер Cisco UCS Платформа для виртальных сервисов
(vNAM, VSG, vWAAS, etc)
VSM-VA
Nexus 1010 Физическое устройство: развёртывает сетевой
администратор
Виртуальная машина: развёртывает серверный
администратор
Virtual Ethernet Module (VEM) Заменяет vSwitch Работает на уровне гипервизора Обеспечивает «порты» для каждой VM
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 23
Распределенная коммутация на виртуальных модулях Ethernet На каждом VEM свои:
Уровень коммутации MAC таблица Настройка аплинков (EtherChannel, «pinning» и т.д.) Номер модуля
Общие для всех VEM управляемых VSM
Уровень управления Domain ID Настройки профилей портов Пул интерфейсов veth
Nexus 1000V
VSM
VMW ESX1
VEM Module 3
VMW ESX2
VEM Module 4
VMW ESX3
VEM Module n
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 24
Профиль порта в Nexus 1000V
n1000v# show port-profile name WebProfile port-profile WebProfile description: status: enabled capability uplink: no system vlans: port-group: WebProfile config attributes: switchport mode access switchport access vlan 110 no shutdown evaluated config attributes: switchport mode access switchport access vlan 110 no shutdown assigned interfaces: Veth10
Поддерживаются:
VLAN PVLAN Port-channel ACL Netflow Port Security QoS ...
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 25
Профиль порта: для сети и серверов
N1k-VSM# sh port-profile name Ubuntu-VM
port-profile Ubuntu-VM
description:
status: enabled
capability uplink: no
capability l3control: no
system vlans: none
port-group: Ubuntu-VM
max-ports: 32
inherit:
config attributes:
switchport mode access
switchport access vlan 95
no shutdown
assigned interfaces:
Vethernet2
Vethernet4
Администратор серверов Администратор сети
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 26
Виртуализированный адаптер Cisco VIC в среде VMware
Сейчаc
VM VM VM
Virtual Switch
VN-Link в аппаратуре
VM VM VM
Virtual Switch
No Network visibility Into virtual machines
Virtualized Adapter
Multiple vNICs VM-level Network Visibility
Изоляция отдельный подключений VM – защищенная среда виртуализации
– Применение сетевых политик к конкретным VM
«Видимость» для сети отдельных VM – упрощение диагностики - Однозначная идентификация трафика VM
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 27
Профиль порта Cisco VIC в UCS
Администратор vCenter
• Применяет профиль порта к виртуальной машине
Администратор UCS
• Создаёт профиль порта • Настраивает:
• Структуру VLAN • QoS • Используемые аплинки • Сетевую политику
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Presentation_ID
Расширение подсетей
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 29
«Растягивание» LAN: внутри и между ЦОД
Ряд приложений требуют смежности на 2 уровне Кластеры (Veritas, MSFT) vMotion «Доморощенные» приложения
Миграция серверов
Высокая доступность
Распределенные служебные и прикладные сервисы
Data Center
A
Data Center
B
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 30
L2
L3
L3
L2
IP Cloud
vPC
Core
Aggregation
Access
Servers
vPC
vPC
STP+ Усовершенствования STP
Bridge Assurance
vPC Simplified loop-free trees
2x Multi-pathing
Cisco L2MP 16x ECMP
MAC Scaling
L2MP
Эволюция технологий расширения подсетей
Nexus 7K/5K: Q4CY10 Nexus 7k/5k
OTV Связь L2 подсетей через L3
Изоляция доменов отказов Nexus 7000
Nexus 7k/5k
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 31
Virtual Port Channel на Cisco Nexus Обзор функции
Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора
Избавляет от опоры на STP
Использование полосы всех имеющихся соединений
Быстрая сходимость при отказе устройства или канала
Обеспечение отказоустойивости и масштабируемости при подключении серверов
Сокращение CAPEX и OPEX
Совместимость со всеми функциями
Без vPC
С использованием vPC
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 32
Функция VSS
(Virtual Switching System)
vPC (Virtual Port
Channel) Multi-Chassis Port Channel ✓ ✓ Топология без петель ✓ ✓
STP как «запасной вариант» ✓ ✓
Уровень управления Один Два, оба активны
Поддержка для L3 Portchannel ✓ ✗
Управляющие протоколы Один экземпляр Экземпляры на каждом узле Портов 10GE на
Etherchannel 8 16
Конфигурация устройств Единая конфигурация Отдельные конфигурации (с контролем совместимости)
ISSU без потерь ✗ ✓ Порты для связи узлов
(Inter-switch Link) Virtual Switching Supervisor 720-10G, карты 6708, 6716 Любые модули 10GE
Обзор функционнальности Сравнение Nexus vPC и Catalyst VSS
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 33
Long Distance
DC 1 DC 2
CO
RE
AG
GR
AC
CES
S
Server Cluster
CO
RE
AG
GR
AC
CESS
Server Cluster
Основные рекомендации
Различающиеся номера vPC доменов BPDU Filter на пограничных устройствах для блокирования распространения BPDU STP Edge Mode для быстрого восстановления Отсутствие петель между ЦОД в обход vPC
vPC domain 10 vPC domain 20
vPC domain 21 vPC domain 11
E E
- -
- -
- -
E
E
E
E
F
F
F
F -
-
- -
-
- -
B B
N N N N
N
N N
N
R R
-
R R R R
R R
Многоуровневый vPC для агрегирования и DCI
Rootguard
B
F
N
E
BPDUguard
BPDUfilter
Network port
Edge or portfast port type
- Normal port type
R
Ani
mat
ed S
lide!
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 34
Spanning Tree превращает многосвязную сеть в дерево
Нужно альтернативное решение, позволяющее: Задействовать все соединения Наращивать производительность путем увеличения числа связей Принципиально исключить возможность бесконечных «петель» Обеспечить быструю и надежную сходимость
...и всё это – для коммутации на втором уровне!
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 35
TRILL (Transparent Interconnection of Lots of Links)
Стандарт, разрабатываемый IETF
Свойства Построение топологии и таблиц коммутации с помощью IS-IS Оптимальная доставка фреймов Распределение нагрузки по равноценным путям Сохранение интероперабельности с существующими протоколами и технологиями
Подход, заменяющий Spanning Tree Устранение Spanning Tree на магистрали
Масштабирование полосы, когда скорости соединений на разных уровнях одинаковы или близки
Сокращение задержки коммутации
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 36
Структура передачи в TRILL/FabricPath
От узла A до D/R1: обычная коммутация Ethernet на основе MAC адреса получателя
От D/R1 до D/R2: коммутация («маршрутизация») по адресу «выходного» L2MP моста и таблицам, вычисленным с помощью IS-IS
От D/R2 до узла B: обычная коммутация Ethernet на основе MAC адреса получателя
Минимальное число MAC адресов в ядре
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 37
Cisco FabricPath Ключевые возможности
Продолжение возможностей TRILL Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP)
Заголовок FabricPath Иерархическая адресация со встроенным предотвращением «зацикливания» (RPF,TTL)
Выучивание MAC «по диалогам» Эффективное использование аппаратных ресурсов за счет выучивания только нужных MAC адресов
Совместимость с «классическим» Ethernet
• VPC+ позволяет VPC в L2MP сеть • STP Boundary Termination
Поддержка множественных топологий – возможность Traffic Engineering
Up to 16Way L2 ECMP
Up to 16-Way L2 ECMP
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 38
32 Chassis
16 Chassis
16-way ECMP
8,192 10GE ports 512 10GE FabricPath ports per system
256 10GE FabricPath Ports
160 Tbps System Bandwidth
Open I/O Slots for connectivity
Spine Switch
Edge Switch
16-port Etherchannel
Пример использования: HPC Масштабирование больших вычислительных кластеров
Требования HPC
Большое число вычислительных узлов
Минимальная «переподписка»
Низкая задержка между узлами
Преимущества FabricPath для HPC
FabricPath образует производительное «толстое дерево» (fat tree)
Неблокируемый транспорт за счёт FabricPath ECMP и агрегирования портов (port-channel)
Сокращение числа транзитных узлов для снижения задержки
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 39
Серверы приложений
Web серверы
Репликация СХД
Связь центров обработки данных (DCI)
Global Site Selector
Хранение
Балансировщик
Кластеры, LD VMotion
Балансировщик
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 40
Overlay Transport Virtualization Базовые свойства OTV
Ethernet трафик инкапсулируется в IP: “MAC in IP”
Динамическая инкапсуляция с использованием таблицы маршрутизации MAC
Не строится Pseudo-Wire или туннель
Communication between MAC1 (site 1) and MAC2 (site 2) Server 1
MAC 1 Server 2 MAC 2
OTV OTV MAC IF
MAC1 Eth1
MAC2 IP B
MAC3 IP B IP A IP B
Encap Decap MAC1 MAC2 IP A IP B MAC1 MAC2 MAC1 MAC2
New in 5.0
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 41
Работа поверх любого транспорта (IP, MPLS)
Изоляция доменов сбоев
Независимость сайтов Оптимальное использование полосы
Встроенная отказоустойчивость
Встроенная защита от «петель»
Связь многих сайтов Масштабируемость
VLANs, сайты, MACs ARP, broadcasts/floods
Простота настройки
Легкость добавления сайтов
Проблемы «растягивания» LAN Решаемые OTV
South Data
Center
North Data
Center
Fault Domain
Fault Domain
Only 6 CLI commands
LAN Extension
Fault Domain
Fault Domain
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 42
Дополнительная литература
© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 43
Вопросы и Ответы
top related