Сколько графических процессоров может выдержать ваша стойка Руководство по планированию питания и охлаждения

Сколько графических процессоров может выдержать ваша стойка? Руководство по планированию электропитания и охлаждения

Вы наверняка слышали эту фразу сотни раз:

“Итак... сколько графических процессоров мы можем вместить в стойку?”

Если вы начнете с “количества GPU”, то закончите спором с физикой. Стойку не волнует, насколько вы увлечены ИИ. Его волнуют два скучных ограничения:

  • Мощность (кВт на стойку)
  • Отвод холода (кВт тепла, которое вы можете реально отвести)

Мое мнение простое: Плотность стоек - это, во-первых, проблема помещения, а во-вторых, проблема шасси. Но шасси все равно имеет значение, потому что от него зависит, будет ли ваш воздушный поток вести себя хорошо... или превратится в хаос.

Давайте разберемся, как это делает оперативная группа: выключатель → PDU → потребление сервера → тепло → воздушный поток/жидкость → стабильность.


Сколько графических процессоров может выдержать ваша стойка Руководство по планированию питания и охлаждения

Средняя плотность стоек менее 8 кВт

Вот что неприятно: во многих серверных комнатах до сих пор используется “устаревшая плотность”. Отраслевые исследования показывают. Средняя плотность стоек не превышает 8 кВт, и Стойки мощностью >30 кВт встречаются нечасто в большинстве мест.

Именно из-за этого разрыва и возникают проблемы с внедрением ИИ. Вы подключаете современные GPU-узлы, и вдруг ваша комната начинает играть в догонялки:

  • заниженные размеры электрораспределительного устройства
  • слабые пути воздушного потока
  • отсутствие сдерживания
  • горячие точки, которые раньше не были проблемой

Так что да, ты может купить графические процессоры. Настоящий вопрос заключается в следующем: Можете ли вы питать и охлаждать их без дросселирования?


Бюджет мощности стойки (кВт на стойку)

Входящие ватты равны выходящему теплу

В стационарном режиме стойка - это, по сути, обогреватель с вентиляторами. Если ваш шкаф тянет 40 кВт, Вы должны удалить примерно 40 кВт тепла. Не “вроде бы”. Это настолько прямолинейно.

Именно поэтому планирование электропитания и охлаждения должно быть связано между собой:

  1. Начните с вешалки Бюджет на электроэнергию для ИТ (то, что вы можете безопасно доставить)
  2. Подтвердите мощность охлаждения в этом месте
  3. Только после этого переводите на графический процессор.

Истощение, запас прочности и резервирование (N+1, 2N)

Если вы будете устанавливать размер до самого края, вы пожалеете об этом. Реальные развертывания имеют дело с:

  • понижение номинала выключателя
  • пиковые скачки потребления (загрузочные штормы реальны)
  • рампы вентилятора при тепловом напряжении
  • резервирование (N+1 или 2N каналов)

Другими словами: не планируйте как электронную таблицу. Планируйте как ротацию вызовов.


TDP GPU до 700 Вт и мощность всего сервера

Многие современные карты-ускорители показывают TDP до ~700 Вт в зависимости от модели и конфигурации. Круто. Но вот в чем ловушка:

Ватт GPU ≠ ватт сервера.

Ваша платформа также включает в себя:

  • Процессор(ы)
  • память
  • Сетевые карты (200/400/800G)
  • ретаймеры / переключатели
  • хранение
  • вентиляторы и блоки питания

Поэтому если кто-то говорит: “Мы сделаем 8 GPU, это 8 × 700 Вт”, он не учитывает остальную часть коробки. Именно в таких случаях проекты идут наперекосяк.

Мощность сервера с 8 графическими процессорами составляет около 10 кВт

Хорошая проверка реальности: обычные системы на 8 ГПУ могут содержать около ~10 кВт макс. на уровне сервера. Именно поэтому многие команды используют приблизительный множитель планирования:

Мощность всего сервера ≈ 1,6-2,0× (общий TDP GPU)

Идеально ли это? Нет. Полезен ли он для раннего проектирования? Да.


Соотношение мощности стойки и количества графических процессоров (таблица планирования)

Ниже показано, как это выглядит на практике. Левый столбец - “оптимистичная математика только для GPU”. В правом столбце применяется более реалистичный коэффициент для всего сервера (с использованием 1.8× в качестве руководства по планированию).

Бюджет мощности ИТ-системы стойки (кВт)Оценка только для GPU (700 Вт на GPU)Оценка для всего сервера (≈1,8× только для GPU)
10147
152111
202815
304223
405731
507139
608547
8011462

Эта таблица не пытается сбить математику. Она пытается избавить вас от распространенной ошибки:

  • вы заказываете “мощность GPU”.”
  • затем вы обнаруживаете, что на самом деле заказали “тепло и амперы”.”

Сколько графических процессоров может выдержать ваша стойка Руководство по планированию питания и охлаждения

Пределы воздушного охлаждения составляют около 20-30 кВт на стойку

Воздушное охлаждение может зайти гораздо дальше, чем люди думают, но оно быстро становится хрупким.

Многие операторы исторически относились к 20-30 кВт на стойку как точка, где воздушное охлаждение перестает быть “простым”. Вы можете добиться большего, улучшив конструкцию воздушного потока, но теперь вы находитесь в мире, где маленькие ошибки вредят здоровью.

Сдерживание горячих проходов и управление рециркуляцией

Как только вы подниметесь в плотности, вашим главным врагом станет рециркуляция.

Горячие выхлопы проникают обратно в воздухозаборники GPU, и внезапно ваш “700-ваттный GPU” ведет себя как тостер, который не может дышать. Вы увидите:

  • Падение тактовой частоты графического процессора (город дросселей)
  • скорость вращения вентилятора
  • горячие точки внутри шасси
  • Неравномерная температура серверов в одном шкафу

Сдерживание помогает. Как и чистые кабели. Также не стоит загромождать переднюю часть шасси “временными” вещами, которые становятся постоянными.


Когда использовать жидкостное охлаждение (RDHx, CDU, direct-to-chip)

В определенный момент борьба за воздух становится дорогостоящей. Вот тут-то вы и услышите, как люди, работающие с оборудованием, бросаются такими терминами, как:

  • RDHx (теплообменник задней двери)
  • CDU (блок распределения охлаждающей жидкости)
  • прямо на чип
  • гибридное охлаждение

Не обязательно переходить на жидкую пищу в первый же день. Но вы должны спланировать этот путь. Модернизация впоследствии всегда оказывается более болезненной, чем вы думаете, и она никогда не происходит в спокойные выходные.


Практические сценарии плотности размещения стоек (15 кВт, 30 кВт, 40 кВт, 80 кВт)

Стойки мощностью 15 кВт: модернизация предприятий и смешанные рабочие нагрузки

Это ситуация “у нас уже есть серверная комната”.

Что обычно помогает:

  • Распределение графических процессоров по нескольким шкафам
  • Выбирайте корпус со стабильным воздушным потоком, а не с максимальной плотностью любой ценой
  • Приоритет - удобство обслуживания, потому что вы будете часто прикасаться к оборудованию.

Именно поэтому выбор надежного стоечного шасси имеет большое значение. Если вы занимаетесь масштабным поиском поставщиков, то последовательный Серверный шкаф Семья делает ваши билды повторяемыми, а повторяемость - это то, что позволяет оперативникам оставаться в здравом уме.

Стойки мощностью 30-40 кВт: новые капсулы искусственного интеллекта и центры алгоритмов

Теперь у вас “настоящая плотность”.”

Ваш контрольный список должен включать:

  • сдерживание с первого дня
  • PDU с запасом и резервированием
  • прокладка кабелей, не перекрывающая воздушный поток
  • шасси, предназначенное для термостатов GPU (стенки вентилятора + перегородки)

Если ваша команда покупает такие фразы, как серверная стойка корпус ПК или компьютерный корпус сервер, На самом деле вам нужен специализированный корпус для GPU, а не коробка для хобби в костюме для стойки.

Посвященный Серверный корпус с графическим процессором обеспечит давление воздушного потока, расстояние и доступ к обслуживанию, которые необходимы для плотных ускорителей.

Стойки мощностью 80 кВт: кластеры с высокой плотностью и готовностью к работе с жидкостями

Здесь вы перестаете “развертывать серверы” и начинаете “управлять инфраструктурой”.”

Вам будет интересно:

  • быстрое время MTTR (в минутах)
  • чистый уход расчистка
  • надежные рельсовые системы
  • предсказуемое расположение труб/кабелей

Рельсы кажутся скучными, но они влияют на время работы. Хороший Направляющая шасси настройка предотвращает неаккуратную установку и делает замену более безопасной (и быстрой).


Сколько графических процессоров может выдержать ваша стойка Руководство по планированию питания и охлаждения

Воздушный поток в корпусе сервера GPU: стенки вентилятора, перегородки и возможность обслуживания

Вот та часть, которую покупатели пропускают, а операторы их за это ненавидят:

шасси - это машина воздушного потока.

Для плотных узлов GPU ищите:

  • варианты с мощными стенками вентилятора (высокое статическое давление)
  • перегородки/проводники, прогоняющие воздух через горячие зоны
  • компоновки, изолирующие нагрев БП от нагрева GPU
  • Удобный доступ сверху для быстрой замены

Если вы собираете рабочую станцию, то вам подойдут такие поисковые запросы, как корпус серверного ПК и Корпус сервера atx. Обычно это сигнал: “Мне нужна гибкость, но я не могу согласиться с термопастой класса рабочей станции”. Совершенно справедливо. Просто убедитесь, что корпус был создан с учетом особенностей воздушных потоков сервера, а не только отверстий для винтов ATX.

Для краевых комнат или лабораторий вам также могут понадобиться компактные форматы: Корпус ITX и Настенный чехол может быть практичным, если у вас нет возможности организовать воздушный поток на весь ряд, или вы используете небольшие “стручки” вблизи рабочих нагрузок.


Корпус GPU-сервера для OEM/ODM для массового развертывания

Если вы развертываете десятки (или сотни) узлов, ваша проблема - не “один сервер”. Это повторяемость:

  • стабильные температуры в разных партиях
  • постоянное наличие запчастей
  • спецификация шасси, которая не дрейфует в середине проекта
  • настройка для точного расположения GPU, сетевой карты и системы хранения данных

Именно здесь IStoneCase подходит как нельзя лучше. Они специализируются на корпусах для GPU/серверов и шасси для систем хранения данных с поддержкой OEM/ODM, рассчитанных на оптовые и индивидуальные заказы. Если ваш план предусматривает масштабирование, стоит поговорить с поставщиком, который занимается этим каждый день, а не просто перепродает случайные корпуса.

Несколько страниц IStoneCase, которые вы можете использовать в качестве внутренних ссылок в своем контенте:

Свяжитесь с нами, чтобы решить вашу проблему

Полный портфель продуктов

Мы предлагаем широкий ассортимент продукции для любых вычислительных задач - от серверных корпусов на базе GPU до корпусов для сетевых хранилищ.

Индивидуальные решения

Мы предлагаем услуги OEM/ODM для создания индивидуальных серверных корпусов и решений для хранения данных на основе ваших уникальных требований.

Всесторонняя поддержка

Наша специальная команда обеспечивает бесперебойную доставку, установку и постоянную поддержку всех продуктов.