Как дата-центры резервируют доступ в интернет

Давайте начнем с азов, чтобы не путаться в терминологии. Википедия говорит нам: «Интерне́т — всемирная система объединённых компьютерных сетей для хранения и передачи информации. Построена на стеке протоколов TCP/IP».

Интернет – совокупность провайдеров, которые связаны друг с другом и делятся на различные уровни. Различают 3–4 уровня интернет-провайдеров

Tier 1 — это совокупность провайдеров связанных друг с другом по принципу каждая с каждым, которые находятся на самом верху иерархии. Соответственно у них нет аплинков (связей с провайдерами верхнего уровня) К этому уровню относятся провайдеры Level 3, AT&T, Telefonica, NTT. Как правило клиентами этих провайдеров являются другие провайдеры уровня Tier 2 или Tier 3.

Tier 2 — провайдеры этого уровня имеют аплинки. Как правило являются международными провайдерами, работающих в нескольких регионах мира. Для России типичными представителями являются Ростелеком, Вымпелком, Мегафон. Как правило данные провайдеры имеют собственные магистральные сети масштаба страны или континента.

Tier 3 — Провайдеры регионального уровня. Типичные представители WestCall, Раском, RETN Net. Как правило не имеют собственных магистральных сетей. В лучшем случае арендуют волокна в чужих магистральных кабелях или длины волн в чужих системах спектрального уплотнения.

Tier 4 — Провайдеры, которые работают только в одном городе или районе и подключают только конечных клиентов физических и юридических лиц. Имеют сети масштаба города или района города.

На следующем рисунке показана примерная иерархия провайдеров. Чем дальше от центра тем ниже уровень провайдера.

По сути Интернет представляет из себя сеть связанных друг с другом автономных систем.

Автономная система (AS — Autonomous System) в интернете — это система IP-сетей и маршрутизаторов, управляемых одним или несколькими операторами, или организациями, имеющими единую политику маршрутизации с Интернет по протоколу BGP (Border Gateway Protocol).

Уникальный номер AS (или ASN — AS Number) присваивается каждой AS для использования в маршрутизации по протоколу BGP. На начало 2017 года в глобальной таблице маршрутизации представлено более 56 тысяч ASN.

Каждая AS может представлять из себя небольшую сеть, масштаба одного здания, так и гигантскую трансконтинентальную сеть.

Внутри сети одной автономной системы как правило работают протоколы маршрутизации типа IS-IS или OSPF.

Маршрутизаторы, которые поддерживают протокол BGP и терминируют линки к другим AS называют border gateway (BG) или граничный маршрутизатор.

На каждую AS назначено некоторое количество диапазонов IP адресов IPv4 и IPv6

Каждый BG содержит по сути всю таблицу маршрутизации интернета. Одним из основных критериев по которым строится таблица маршрутизации является AS-Path. AS-Path описывает через какие автономные системы надо пройти, чтобы дойти до сети назначения. Чем AS-Path короче, тем более предпочтительным будет маршрут при всех равных для отсылки трафика на Host нужной сети.

Есть различные способы управления исходящим и входящим трафиком. Данная задача обычно ставится когда у AS есть несколько аплинков к другим AS. Очевидно, что если аплинк только один, то задача балансировки не стоит.

AS-Path учитывает длину маршрута только на основе количества AS и не учитывает никакие другие факторы.

Дело в том, что короткий путь может состоять из одной транзитной AS, но последняя может представлять гигантскую сеть состоящую из сотен транзитных маршрутизаторов. Но размеры AS не учитываются.

В настоящий момент в интернете работает около 700т префиксов, которые распределены по 56т AS.

Региональный интернет-регистратор RIR (Regional Internet Registry) — организация, занимающаяся вопросами адресации и маршрутизации в сети Интернет.

В данных организациях зарегистрированы все AS и соответствующие им адресные пространства.

Ниже приведена картинка отражающая региональное распределение ответственности регистраторов.

В зависимости от размеров и политики владельца AS у него может быть минимум одно логическое подключение с провайдером более высокого уровня. Как правило такое подключение характерно для Tier-4 провайдеров.

Компании подключаются к Интернет по BGP и имеют свою AS только если имеют свои собственные IP адреса. В противном случае такое подключение бессмысленно, так как накладывает требование поддержки BGP на сетевом оборудовании, что характерно только для оборудовании класса выше SOHO и требует достаточно высокой квалификации для настройки BGP стыка.

Резервирование интернет-канала

Подключение к одному провайдеру не обеспечивает высокого уровня надежности, так как в случае если единственный аплинк падает — пропадает доступность всей сети.

Промежуточным вариантом можно рассматривать вариант подключения к вышестоящему провайдеру в двух точках сети, которые достаточно независимы с точки зрения топологии в сети провайдера верхнего уровня. В этом случае мы можем защититься от падения одного аплинка, но не от падения всего провайдера верхнего уровня.

Наилучшим вариантом включение можно считать подключения к двум независимым провайдерам в различных точках. В этом случае мы защищаемся как от падения одного провайдера верхнего уровня так и от падения одного физического линка.

Потенциально чем больше точек включения и чем больше провайдеров верхнего уровня имеется, тем выше надежность и выше качество предоставляемых услуг.

Но это лишь потенциально. Дело в том, что при каждом падении BGP сессии идет перестроение сети и перестроение таблиц маршрутизации всех BG. На это уходит время в течении которого клиенты будут чувствовать частичную недоступность сети по определенным направлениям.

Чем больше провайдеров верхнего уровня, тем выше вероятность падения BGP сессий и тем чаще будут происходить перестроения.

Таким образом можно сказать оптимальным является подключение к 2-м максимально независимым провайдерам в нескольких точках. Для российских условий это могут быть пары типа Вымпелком, Ростелеком или Мегафон, Транстелеком.

Многие компании для снижения стоимости трафика подключаются к Internet Exchange (IX). В зависимости от типа и предпочтений клиентов провайдера подключение к IX может дать существенный экономический эффект, так как трафик IX дешевле полноценного провайдера, а в ряде случаев может быть бесплатным.

Однако следует отметить, что качество предоставляемых услуг IX как правило существенно ниже чем у полноценного провайдера.

Таким образом, если требования к качеству услуг для конечных клиентов не критично, то IX может быть хорошим выбором. Например, домашние клиенты часто просто не в состоянии заметить полного или частичного пропадания сервиса, которое будет иметь место при перестроении таблиц маршрутизации.

Если услуги предоставляются для бизнес клиентов, то качество услуг уже требуется существенно выше.

А если клиентами являются пользователи ЦОД, то их требования к качеству как правило очень высокие. Они сразу замечают частичное или полное пропадание сервиса даже на несколько секунд.

При этом необходимо обеспечить максимальную скорость восстановления при пропадании связи с провайдером верхнего уровня.

Для обеспечения максимальной скорости переключения целесообразно терминировать BGP сессии от провайдеров верхнего уровня на одном BG. В этом случае перестроение таблиц будет идти внутри маршрутизатора и переключение будет происходить так быстро, что клиенты на заметят данного переключения.

Для подключения терминирования BGP сессий от различных IX желательно выделить отдельный BG чтобы уменьшить потенциальное влияние ошибок в настройках других клиентов IX на собственную сеть.

Чем мощнее маршрутизатор тем быстрее перестраивается таблица маршрутизации. Скорость перестроения зависит от скорости обмена между маршрутизаторами. Целесообразно чтобы линки были не менее 10G. Также существенным является скорость управляющего процессора, так как BGP протокол обрабатывается именно им. Очень существенным является скорость шины управления внутри маршрутизатора. Именно она используется для передачи таблиц маршрутизации от центрального процессора в интерфейсные платы. Большинство действующих маршрутизаторов имеют скорость шины управления 1Гбит/с, но новые модульные маршрутизаторы имеют скорость шины управления 10G.

Скорость шины управления сейчас тем более имеет большое значение, так как количество префиксов в сети непрерывно растет. И с ними растут таблицы маршрутизации. При массовом переходе на IPv6 скорость обработки и размеры памяти таблиц сделают невозможным использование многих текущих моделей маршрутизаторов, так как они не смогут справляться с выросшим объемом данных адресной информации. Либо не будет хватать памяти для хранения таблиц, либо скорость перестроения будет занимать слишком много времени.

Резервирование доступа в сеть на примере ЦОД

Очевидно, что при построении сети провайдера дата-центра сеть должна сохранять работоспособность при выходе из строя практически любого элемента:

1. Выход из строя Одиночного волокна в волоконно-оптическом кабеле
2. Разрыв целого волоконно-оптического кабеля
3. Разрыв медного или оптического патч-корда
4. Выход из строя любого порта
5. Выход из строя любого оптического модуля
6. Пропадание питание на удаленной удалённой площадке
7. Выход из строя любого коммутатора
8. Выход из строя любого маршрутизатора
9. Выход из строя любого провайдера верхнего уровня

Рассмотрим методы обеспечения надежности самой сети

Мощным средством обеспечения надежности является LAG (Link Aggregation Group). Все существенные соединения внутри инфраструктуры должны быть реализованы только на LAG с использованием LACP.

LAG позволяет закрыть большое количество пунктов из выше приведенного списка (1, 3, 4, 5).

Для того чтобы уменьшить влияние на сеть выхода одного коммутатора целесообразно стекировать коммутаторы для реализации конфигурасии VC (Virtual Chassis). При этом линки LAG разносятся по разным коммутаторам в стеке.

Проблемы выхода из строя маршрутизатора решаются различными методами, в зависимости от того какую роль выполняет маршрутизатор.

Если речь идет о BG, то желательно разносить аплинки к внешним провайдерам по различным BG. Таким образом выход из строя одного BG не приводит к выходу из строя всей сети, так как остаются другие BG, связанные с провайдерами верхнего уровня.

Для маршрутизаторов, которые терминируют сессии от клиентов целесообразно использовать технологию Multi Chassis- LAG (MC-LAG) или решения конкретных компаний по объединению маршрутизаторов. Для Juniper данная технология называется MX–VC. Нужно учитывать, что при использовании таких решений функциональность объединенного маршрутизатора снижается. Некоторые функции поддерживаться не будут.

Рассмотрим методы резервирования на примере сети оператора дата-центра Xelent.

Ниже представлена логическая сеть маршрутизаторов

KT12-GW, East-GW и West-GW выполняют роль BG. CR1 является маршрутизатором, который терминирует VLAN клиентов.

Как видно оба IX — Data-IX и Global-IX подключены к одному маршрутизатору, который находится на удаленной площадке Кантемировская 12 (К12). Сделано это не случайно. Если возникнут проблемы на IX (это происходит относительно часто), паразитный трафик можно будет отсечь на удаленной плащадке и этот трафик не придет в ядро сети на площадку ЦОДа.

Основной провайдер Раском терминируется на маршрутизаторе West-GW. При этом он терминирует сессии с двух разных площадок Раском (К12 и Миран). Сделано это для того чтобы при падении одной из сессий переключение происходило быстро с минимальным влиянием на клиентов.

Второй резервный провайдер Global-Net подключен к маршрутизатору East-GW. Таким образом любой из GW может выйти из строя и при этом сеть будет подключено к одному из провайдеров.

Для защиты клиентов используется решения на основе VC как показано на картинке ниже.

Если нужно обеспечить высокий уровне резервирования на уровне L2 клиент подключается через LAG, который подключен к VC коммутатору. Клиенты без резервирования подключаются одним портом к одиночным коммутаторам.

Сами коммутаторы доступа всегда подключаются к VC коммутаторов агрегации посредством LAG.

Ниже приведена картинка ядра сети. Сеть доступ, которая подключается к коммутаторам агрегации не показана.

Следует отметить несколько особенностей сети.

1. К маршрутизаторам никогда не подключается оконечное оборудование напрямую. Это связано с высокой стоимости портов маршрутизатора. Маршрутизаторы подключаются только к коммутаторам агрегации, которые в свою очередь выполняют для них роль расширителей портов
2. В сети для всех соединений используется только LAG
3. На магистралях везде используется одноволоконная схема с WDM
4. Связи с удаленными площадками осуществляется минимум по двум непересекающимся кабелям. К12 подключена тремя кабелями
5. В сети нет горячего резерва для маршрутизатора клиентов. Но в качестве клиентского используется модульный маршрутизатор MX480, вероятность отказа которого очень мала. Кроме того, под питанием находится второй такой маршрутизатор, который имеет полностью аналогичную конфигурацию основному. При выходе из строя основного переключение на резерв осуществляется запуском скрипта, который деактивирует на коммутаторе агрегации порты неисправного маршрутизатора и активирует порты резервного исправного.
6. Питание всего сетевого оборудования дополнительно резервировано UPS. Исключение составляет площадка Миран.

Миграция вашей инфраструктуры в облако за 1 день

Перенесите Вашу физическую инфраструктуру в облако за 1 день.

Переезд ИТ-инфраструктуры в дата-центр

Мы перевезем и смонтируем Вашу ИТ-инфраструктуру в дата-центр Tier III по цене грузовых перевозок. За качество и сохранность отвечаем!

Облако ATOMDATA CLOUD

Решения для бизнеса на удаленке.