Вкратце о сети в дата-центре или заглянем под капот

Главная
Блог
Вкратце о сети в дата-центре или заглянем под капот

29 Ноября 2018

Когда поступает задача написать материал о сети для блога одного из крупнейших облачных провайдеров страны, то рука не поднимается написать о выборе роутера для офиса или настройке статического IP в «бубунте». А вот о том, как устроена сеть в дата-центре — это уже интересно.

Один, два или три уровня

Сеть в дата-центре (он же ЦОД, центр обработки данных) может быть 1, 2 или 3-х уровневой. Если не вникать в подробности, то уровень сети зависит от размера дата-центра. В самых небольших ЦОД, как правило, применяются одноуровневые решения, в ЦОД среднего размера — двухуровневые, в самых крупных — у сети уже будет целых три уровня.

Одноуровневые решения

При использовании одноуровневой сети оборудование ядра/агрегации связано непосредственно с серверами. Данный подход, как уже было отмечено, применяется только в небольших ЦОД, которые ориентированы на виртуализацию. В качестве платформы в таких ЦОД часто используют блейд-серверы.

Блейд-сервер — это сервер с компонентами, вынесенными и обобщенными в корзине для уменьшения занимаемого пространства. Корзина — это шасси для блейд-серверов, предоставляет доступ к общим компонентам, например, блокам питания и сетевым контроллерам. Второе название блейд-серверов — ультракомпактные серверы.

Рис. 1. Блейд-сервер и корзина

Конечно, такая небольшая корзина (рис. 1), подойдет больше для офисного применения. В дата-центре используются целые стойки блейд-серверов (рис. 2).

Рис. 2. Как все устроено в дата-центре

Одноуровневый дизайн сети поддерживает интеграцию IPS-устройств в оборудование ядра дата-центра в местах агрегации VLAN: как говорится, и просто, и удобно.

Двухуровневая архитектура сети

В средних дата-центрах возникает потребность в дополнительной емкости портов, также часто бывает нужно обеспечить дополнительный уровень терминации трафика клиентов. Именно поэтому полезно использовать двухуровневую архитектуру.

Такая архитектура подразумевает наличие дополнительного уровня между оборудованием ядра/агрегации и сервером. Как правило, этот уровень реализован средствами ToR (Top-of-Rack) коммутаторов, поэтому такую архитектуру также называют ToR-архитектурой. Классический пример такого коммутатора (пусть он уже и устарел на сегодняшний день) — ZyXEL XS3900-48 °F. Он позволяет подключить до 48 серверов и систем хранения в стойке по каналам 10 GE (Gbit Ethernet) к общей сети дата-центра.

Рис. 3. ToR-архитектура

Ключевые моменты (преимущества и ограничения) ToR-архитектуры выглядят так:

Минимум кабелей, поскольку все серверы подключены к коммутатору в той же стойке, а за пределы самой стойки выходят только несколько кабелей.
Количество кабелей и их общая длина меньше, поскольку каждый сервер не должен напрямую подключаться к коммутатору агрегации (aggregation switch) с использованием длинного кабеля — как в архитектуре EOR (End-Of-Row) — о ней мы еще поговорим.
Обычно внутри стойки используются медные кабели, а для подключения ToR-коммутатора к коммутатору агрегации используется оптоволокно. Сегодня, как правило, такие сети работают в конфигурации 1GE/10GE, но с минимальными затратами возможно расширение до конфигурации 10GE/40GE.
Если стойки небольшие, то можно использовать один коммутатор на 2–3 стойки.
Архитектура ToR поддерживает модульное развертывание стоек дата-центра, так как каждая стойка может быть встроена со всеми необходимыми кабелями/коммутаторами и может быть быстро развернута на месте.
Поскольку в каждой стойке используются 1U/2U коммутаторы, получить масштабируемость, когда закончится определенное количество портов, будет очень сложно.
Архитектура ToR требует больше коммутаторов и каждый коммутатор должен управляться отдельно. Поэтому нужно понимать, что при развертывании архитектуры ToR эксплуатационные и капитальные затраты могут быть выше.
Незапланированные расширения (внутри стойки) могут быть проблематичными.

Эксперты рекомендуют двухуровневую архитектуру для ЦОД с высокой виртуализацией и инфраструктур облачных вычислений.

Если облака для вас
не просто теория

Широкий спектр услуг
по выделенным северам
и мультиклауд-решениям

Конфигурация VPS и бесплатный тест уже через 2 минуты

Сконфигурировать VPS

Организация вашей IT-инфраструктуры на основе мультиклауд-решения

Запросить КП

Треухровневая архитектура

У трехуровневой архитектуры есть еще один дополнительный уровень коммутаторов. Они называются EoR (End-of-Row) коммутаторами. Трехуровневая архитектура также называется EoR-архитектурой. Отлично подходит для дата-центров, где важно получить большую емкость сети и большое количество широкополосных интерфейсов.

Рис. 4. Трехуровневая архитектура

Преимущества и ограничения EoR-архитектуры:

Поскольку в EoR-конфигурации развернуты коммутаторы шасси (chassis switches), получить дополнительное количество портов можно путем добавления линейной карты. Другими словами, эта сеть проще поддается масштабируемости.
Коммутаторы шасси позволяют конфигурировать высокую доступность (High Availability) практически без точек отказа, поскольку большинство критических компонентов (модуль управления, модуль охлаждения, модуль питания и т. д.) дублируются.
Размещение серверов можно выбирать самостоятельно, без каких-либо ограничений на минимальное/максимальное количество серверов в стойке. Таким образом, можно более равномерно распределить серверы по стойкам и не может быть проблем с охлаждением из-за плотно расположенных серверов.
Архитектура EoR резко снижает количество неиспользуемых портов коммутатора.
Количество коммутаторов/портов, которыми нужно управлять, в EoR гораздо ниже, что снижает текущие затраты и время на обслуживание.
Поскольку каждому пакету нужно пройти меньшее число коммутаторов, задержки, связанные с прохождением пакета через коммутаторы, сводятся к минимуму.
Серверы, которые обмениваются большим числом пакетов данных сами с собой, могут быть подключены к той же самой линейной карте в коммутаторе шасси, независимо от стойки, к которой они принадлежат. Локальная коммутация минимизирует задержку и обеспечивает лучшую производительность.
Для подключения каждого сервера к коммутатору шасси требуются более длинные кабели. Кабелей будет больше, общая длина кабелей тоже будет больше, если сравнивать с ToR с тем же количеством серверов.
Стоимость высокопроизводительных кабелей (которые используются в ЦОД) довольно высока, следовательно, затраты на кабели будут выше, чем в случае с ToR.
Сложность модернизации — перейти с 1GE на 10GE будет сложнее и дороже, чем в случае с ToR.
Оптоволоконные кабели, которые легко модернизировать путем простой замены оптики с обеих сторон кабеля, не могут быть использованы повсеместно, поскольку многие серверы не поддерживают OFC.