Вкратце о сети в дата-центре или заглянем под капот

29 Ноября 2018

Когда поступает задача написать материал о сети для блога одного из крупнейших облачных провайдеров страны, то рука не поднимается написать о выборе роутера для офиса или настройке статического IP в «бубунте». А вот о том, как устроена сеть в дата-центре — это уже интересно.

Один, два или три уровня

Сеть в дата-центре (он же ЦОД, центр обработки данных) может быть 1, 2 или 3-х уровневой. Если не вникать в подробности, то уровень сети зависит от размера дата-центра. В самых небольших ЦОД, как правило, применяются одноуровневые решения, в ЦОД среднего размера — двухуровневые, в самых крупных — у сети уже будет целых три уровня.

Одноуровневые решения

При использовании одноуровневой сети оборудование ядра/агрегации связано непосредственно с серверами. Данный подход, как уже было отмечено, применяется только в небольших ЦОД, которые ориентированы на виртуализацию. В качестве платформы в таких ЦОД часто используют блейд-серверы.

Блейд-сервер — это сервер с компонентами, вынесенными и обобщенными в корзине для уменьшения занимаемого пространства. Корзина — это шасси для блейд-серверов, предоставляет доступ к общим компонентам, например, блокам питания и сетевым контроллерам. Второе название блейд-серверов — ультракомпактные серверы.

1.jpg

Рис. 1. Блейд-сервер и корзина

Конечно, такая небольшая корзина (рис. 1), подойдет больше для офисного применения. В дата-центре используются целые стойки блейд-серверов (рис. 2).

2.jpg

Рис. 2. Как все устроено в дата-центре

Одноуровневый дизайн сети поддерживает интеграцию IPS-устройств в оборудование ядра дата-центра в местах агрегации VLAN: как говорится, и просто, и удобно.

Двухуровневая архитектура сети

В средних дата-центрах возникает потребность в дополнительной емкости портов, также часто бывает нужно обеспечить дополнительный уровень терминации трафика клиентов. Именно поэтому полезно использовать двухуровневую архитектуру.

Такая архитектура подразумевает наличие дополнительного уровня между оборудованием ядра/агрегации и сервером. Как правило, этот уровень реализован средствами ToR (Top-of-Rack) коммутаторов, поэтому такую архитектуру также называют ToR-архитектурой. Классический пример такого коммутатора (пусть он уже и устарел на сегодняшний день) — ZyXEL XS3900-48 °F. Он позволяет подключить до 48 серверов и систем хранения в стойке по каналам 10 GE (Gbit Ethernet) к общей сети дата-центра.

3.jpeg

Рис. 3. ToR-архитектура

Ключевые моменты (преимущества и ограничения) ToR-архитектуры выглядят так:

  • Минимум кабелей, поскольку все серверы подключены к коммутатору в той же стойке, а за пределы самой стойки выходят только несколько кабелей.
  • Количество кабелей и их общая длина меньше, поскольку каждый сервер не должен напрямую подключаться к коммутатору агрегации (aggregation switch) с использованием длинного кабеля — как в архитектуре EOR (End-Of-Row) — о ней мы еще поговорим.
  • Обычно внутри стойки используются медные кабели, а для подключения ToR-коммутатора к коммутатору агрегации используется оптоволокно. Сегодня, как правило, такие сети работают в конфигурации 1GE/10GE, но с минимальными затратами возможно расширение до конфигурации 10GE/40GE.
  • Если стойки небольшие, то можно использовать один коммутатор на 2–3 стойки.
  • Архитектура ToR поддерживает модульное развертывание стоек дата-центра, так как каждая стойка может быть встроена со всеми необходимыми кабелями/коммутаторами и может быть быстро развернута на месте.
  • Поскольку в каждой стойке используются 1U/2U коммутаторы, получить масштабируемость, когда закончится определенное количество портов, будет очень сложно.
  • Архитектура ToR требует больше коммутаторов и каждый коммутатор должен управляться отдельно. Поэтому нужно понимать, что при развертывании архитектуры ToR эксплуатационные и капитальные затраты могут быть выше.
  • Незапланированные расширения (внутри стойки) могут быть проблематичными.

Эксперты рекомендуют двухуровневую архитектуру для ЦОД с высокой виртуализацией и инфраструктур облачных вычислений.

Если облака для вас
не просто теория
Широкий спектр услуг
по выделенным северам
и мультиклауд-решениям
Конфигурация VPS и бесплатный тест уже через 2 минуты
Организация вашей IT-инфраструктуры на основе мультиклауд-решения

Треухровневая архитектура

У трехуровневой архитектуры есть еще один дополнительный уровень коммутаторов. Они называются EoR (End-of-Row) коммутаторами. Трехуровневая архитектура также называется EoR-архитектурой. Отлично подходит для дата-центров, где важно получить большую емкость сети и большое количество широкополосных интерфейсов.

4.jpeg

Рис. 4. Трехуровневая архитектура

Преимущества и ограничения EoR-архитектуры:

  • Поскольку в EoR-конфигурации развернуты коммутаторы шасси (chassis switches), получить дополнительное количество портов можно путем добавления линейной карты. Другими словами, эта сеть проще поддается масштабируемости.
  • Коммутаторы шасси позволяют конфигурировать высокую доступность (High Availability) практически без точек отказа, поскольку большинство критических компонентов (модуль управления, модуль охлаждения, модуль питания и т. д.) дублируются.
  • Размещение серверов можно выбирать самостоятельно, без каких-либо ограничений на минимальное/максимальное количество серверов в стойке. Таким образом, можно более равномерно распределить серверы по стойкам и не может быть проблем с охлаждением из-за плотно расположенных серверов.
  • Архитектура EoR резко снижает количество неиспользуемых портов коммутатора.
  • Количество коммутаторов/портов, которыми нужно управлять, в EoR гораздо ниже, что снижает текущие затраты и время на обслуживание.
  • Поскольку каждому пакету нужно пройти меньшее число коммутаторов, задержки, связанные с прохождением пакета через коммутаторы, сводятся к минимуму.
  • Серверы, которые обмениваются большим числом пакетов данных сами с собой, могут быть подключены к той же самой линейной карте в коммутаторе шасси, независимо от стойки, к которой они принадлежат. Локальная коммутация минимизирует задержку и обеспечивает лучшую производительность.
  • Для подключения каждого сервера к коммутатору шасси требуются более длинные кабели. Кабелей будет больше, общая длина кабелей тоже будет больше, если сравнивать с ToR с тем же количеством серверов.
  • Стоимость высокопроизводительных кабелей (которые используются в ЦОД) довольно высока, следовательно, затраты на кабели будут выше, чем в случае с ToR.
  • Сложность модернизации — перейти с 1GE на 10GE будет сложнее и дороже, чем в случае с ToR.
  • Оптоволоконные кабели, которые легко модернизировать путем простой замены оптики с обеих сторон кабеля, не могут быть использованы повсеместно, поскольку многие серверы не поддерживают OFC.
Получить консультацию специалиста
Персональный ассистент
Cloud.Xelent