Общий вид шасси на примере Cisco 6509-E:
Shared Bus по сути состоит из 3 отдельных шин:
Data bus (DBus) - передает данные от принимающей карты к супервизору, а также копии всем остальным картам. Шина имеет ширину 32Gbps. Half Duplex (доступ к ней регулируется отдельным блоком на активном супервизоре).
Results bus (RBus) - по этой шине после обработки супервизором данных, пришедших по DBus, решение передается всем картам. Нужная карта продолжает обработку данных, остальные дропают.
Control bus (CBus, EOBC) - связывает линейные карты с Network Management Processor (NMP) для общего контроля и мониторинга.
Различают 5 стандартных режимов работы шасси Cisco 6500 в зависимости от установленных карт:
1. Классический.
Вся работа происходит по Shared Bus. По сути - попакетная обработка супервизором (точнее PFC на супервизоре) каждого приходящего пакета с задержкой на время обработки приема пакетов шиной DBus до выдачи результата по шине RBus.
Для ускорения работы был применен механизм Pipelining - создание очереди из 31 пакета на постепенное обслуживание супервизором. 32й пакет по DBus передан не будет до ответа по первому из очереди. Он встанет в очередь локально на входящем порту карты.
В данном режиме (и только так) работают Supervisor1 и Supervisor32.
2. CEF256.
Режим работы, использующий кроме Shared Bus отдельную коммутационную фабрику (Switch Fabric).
В данном режиме решение производится также централизованно PFC на супервизоре, но изначальный входящий пакет ставится в локальной очереди на входе линейной карты (не передается всем картам). После получения ответа по RBus, передача пакета на исходящий порт производится через выделенную коммутационную фабрику, емкость которой равна 256Gbps.
Для работы в этом режиме необходимы фабрика и карты CEF256 (65xx), имеющие 1x8Gbps соединение с фабрикой и 1 соединение с Shared Bus. .
Фабрика в случае Sup720 встоена в супервизор. В случае Sup2 требуется наличие специального модуля Swith Fabric Module (SFM или SFM2).
3. dCEF256.
В этом режиме работают карты CEF256 с установленными модулями DFC (Distributed Forwarding Card), которые представляют собой локальные модули PFC, хранящие копии центральной базы FIB. Решение производится силами данного модуля, не занимая ресурс супервизора. Подкючение в Shared Bus также не требуется.
Работает с Sup720 (при наличии на картах модулей WS-F6K-DFC3x) и с Sup2 (при наличии модуля SFM/SFM2, MSFC2 на супервизоре и модулей WS-F6K-DFC на картах)
Карты WS-X6548-GE-TX, WS-X6548V-GE-TX, и WS-X6548-GE-45AF не поддерживают режим dCEF256.
4. CEF720.
Режим работы аналогичен CEF256, но использует соединения 1х20 Gbps или 2х20Gbps (в зависимости от архитектуры карты и типа шасси) со встроенной в Sup720 коммутационной фабрикой, емкость которой равна 720Gbps (или 360Gbps Full Duplex). Решение производится централизованно супервизором.
Работает на картах CEF720 (67xx) и, естественно, требует Sup720.
Путь прохождения пакета в режиме CEF720:
1. Пакет приходит на входящий порт карты и передается на Fabric ASIC.
2. По DBus заголовки пакета (не данные) передаются к Fabric ASIC супервизора и всем картам, подключеннымм к общей шине.
3. PFC супервизора производит L2 Lookup.
4. L2 Engine PFC передает заголовок L3 Engine на L3/L4 обработку (NetFlow, QoS ACL, SecACL, L3 Lookup).
5. PFC передает результаты обработки центральному супервизору.
6. Супервизор передает результаты по RBus всем подключенным к общей шине картам.
7. Входящая карта, видя результат по шине RBus, передает пакет через Switch Fabric исходящей карте.
8. Исходящая карта передает пакет на исходящий порт.
5. dCEF720.
Режим работы аналогичен dCEF256, но использует соединения 1х20Gbps или 2х20Gbps со встроенной в Sup720 коммутационной фабрикой. Решение производится локально. Соединение с Shared Bus не требуется.
Требует Sup720 и установку модулей WS-F6700-DFC3х на карты 67xx.
Путь прохождения пакета в режиме dCEF720:
1. Пакет приходит на входящий порт и передается на локальную Fabric ASIC.
2. Локальная Fabric ASIC передает заголовки пакета на локальную DFC.
3. Локальная DFC производит расчеты маршрутизации, QoS, SecACL и результаты возвращает обратно локальной Fabric ASIC.
4. Локальная Fabric ASIC передает пакет через Switch Fabric исходящей карте.
5. Исходящая карта передает пакет на исходящий порт.
Режимы совместной работы карт разных типов:
Flow-Through Mode (Bus Mode.
Пакет передается целиком через Shared Bus.
В этом режиме работают классические карты между собой и класссические карты с картами Fabric Enabled, а также CEF256-карты в случае использования их совместно с Sup1, Sup1a и Sup32 (и Sup2 без модуля SFM/SFM2).
В таком режиме максимум производительности системы не превысит 15Mpps.
Compact Mode.
Все модули в системе Fabric Enabled (CEF256, dCEF256, CEF720), и Switch Fabric присутствует. В данном режиме по DBus передается только заголовок пакета. Заголовок перед передачей дополниетльно сжимается. В таком режиме можно достичь 30Mpps на систему. Наиболее скоростной из не-dCEF режимов работы системы.
Если в системе присутствует хоть одна классическая карта, коммутатор переходит в Truncated Mode.
Truncated Mode.
Если в системе одновременно присутствуют CEF256/CEF720 карты, классические карты и Switch Fabriс. В этом режиме классические карты передают пакет целиком по DBus, а CEF256/CEF720-карты - только заголовки пакета по DBus, а целиком пакеты через Switch Fabric.
Общая производительность из-за присутствия классических карт не превысит 15Mpps.
Производительность карт, работающих в режимах dCEF256 и dCEF720 ни в одном из перечисленных случаев не страдает при смешивании их с картами других типов в одном шасси.
Получилось как-то отрывочно. Стоит, наверное, оформить выводы:
1. Sup1, Sup1a, Sup32 - классические супервизоры, не поддерживающие Switch Fabric, значит использование с ними неклассических модулей или модулей SFM не имеет смысла.
2. Крайне нежелательно мешать в одном шасси классические и Fabric Enabled карты, работающие не в режиме dCEF, т.к. режим Truncated сведет на нет все плюсы наличия Switch Fabric в такой конфигурации.
3. Необходимо следить за степенью oversubscription даже при использовании hi-end карт и Sup720, помня, например, что карта WS-X6724-SFP имеет только 1 линию 20Gbps для связи с фабрикой, а в шасси 6513 слоты 1-8 не готовы предоставить больше 1 линии 20Gbps независимо от типа установленной в них карты.
4. Существуют карты 68xx, которые вообще не имеют соединения с Shared Bus, а значит не смогут работать с супервизорами 1, 1а и 32, т. к. те не поддерживают Switch Fabric. Также карты 68xx не могут работать с Sup2 без модуля SFM/SFM2, т. к. в данном случае будет отсутствовать сама коммутационная фабрика. Классические модули и 68хх связываются между собой через цепочку "SFM-супервизор-Shared Bus".
5. Требуется добиваться режима dCEF в шасси с разнотипными картами, т.к. в этом случае они используют неблокируемую выделенную фабрику вместо разделяемой общей шины, и низкоскоростные карты не будут оказывать влияния на производительность системы в целом.
P.S. Возможно допишу выводов еще. Пока оставлю так.
Ссылки:
Cisco Catalyst 6500 Architecture White Paper
Cisco Catalyst 6500 Supervisor Engine 32 Architecture
Understanding the Catalyst 6500 Switch Fabric Module with Supervisor Engine 2
Catalyst 6000/6500 (Constellation, Constellation+, and Constellation II)
Комментариев нет:
Отправить комментарий