Применение серверных корпусов с графическими процессорами для задач искусственного интеллекта и вычислительных нагрузок

Корпус для сервера с графическими процессорами, также называемый шасси для сервера с графическими процессорами, представляет собой готовый к установке в стойку корпус, предназначенный для интеграции графических процессоров с центральным процессором, материнской платой, системами хранения данных, сетевыми компонентами, системами охлаждения и компонентами питания. Он обеспечивает необходимую плотность размещения графических процессоров, воздушный поток, подачу питания, возможности расширения и настройку под конкретные рабочие нагрузки, требуемые для надежного ускоренного вычисления.

Примеры применения GPU в серверах

Что такое специализированный корпус для графического процессора?

Это специализированный корпус, предназначенный для создания систем, ориентированных на выполнение ресурсоемких задач в области графики, моделирования, ускоренных вычислений или высокопроизводительных вычислений. В отличие от стандартного компьютерного корпуса или корпуса сервера общего назначения для монтажа в стойку, он должен обеспечивать значительный воздушный поток, достаточный свободный пространство, тщательно распланированное расположение разъемов PCIe, стабильное распределение питания и механическую опору для крупных ускорительных плат.

Шасси определяет размеры графического процессора, платформу центрального процессора, компоновку платы, архитектуру расширения, зону размещения вентиляторов, источники питания, отсеки для накопителей и сетевые адаптеры. Корпус является частью системной конструкции, а не просто металлическим кожухом.

Какой размер шасси подходит для данной рабочей нагрузки?

Правильный форм-фактор обеспечивает оптимальный баланс между плотностью размещения в стойке, мощностью охлаждения, удобством обслуживания, возможностями расширения и требованиями приложений. Шасси высотой 1U или 2U подходит для компактных установок; конструкция высотой 4U или 5U обеспечивает больше места для плат полной высоты, воздушного потока, хранения данных и прокладки кабелей; платформа высотой 8U или более поддерживает плотное размещение ускорителей, охлаждение высокой мощности, резервирование питания и обслуживание на уровне инфраструктуры.

Фактительная производительность графического процессора никогда не определяется исключительно его высотой. Она зависит от внутренней компоновки, длины графического процессора и ширины слота, конструкции платы, топологии райзера, системы охлаждения, источников питания и расположения слотов расширения.

Примеры применения GPU в серверах
Примеры применения GPU в серверах

Где находят применение серверы с графическими процессорами формата 1U и 2U?

Серверы с графическими процессорами формата 1U и 2U обычно подходят для рабочих нагрузок, при которых плотность установки в стойке и эффективность развертывания имеют большее значение, чем максимально возможное количество полноразмерных графических процессоров. К типичным примерам применения относятся:

Компактный сервер на базе графического процессора позволяет разместить средства ускоренной обработки в непосредственной близости от пользователей, камер или оборудования, не занимая при этом лишнего места в серверной стойке. Окончательный выбор размера по-прежнему зависит от габаритов графического процессора, режима охлаждения, объёма хранилища и имеющихся возможностей электропитания.

Почему 4U так широко используется для обучения ИИ и рендеринга?

Шасси формата 4U широко используется в высокопроизводительных системах с несколькими графическими процессорами, поскольку обеспечивает достаточно места для размещения ускорителей, вентиляторов, прокладки кабелей PCIe, систем хранения данных и обеспечения доступа для технического обслуживания. Типичные области применения шасси 4U включают обучение моделей искусственного интеллекта, разработку больших языковых моделей (LLM) и генеративного ИИ, глубокое обучение, 3D-рендеринг, анимацию, архитектурную визуализацию, научные симуляции, финансовое моделирование, обработку больших данных и основные вычисления высокой производительности (HPC).

Некоторые правильно спроектированные платформы формата 4U могут вместить до восьми полноразмерных графических процессоров, в зависимости от платформы, схемы охлаждения, компоновки платы и типа графического процессора. Современные конструкции стоечных серверов формата 4U представляют собой диапазон от карт с прямым подключением до базовых плат класса HGX.

Корпус формата 4U не всегда подходит для любой видеокарты. Необходимо проверить давление воздуха, создаваемое вентиляторами, температуру на входе, расстояние между картами, прокладку кабелей питания, маршруты прокладки кабелей, а также тип охлаждения (активный или пассивный).

Примеры применения GPU в серверах
Примеры применения GPU в серверах

В каких случаях целесообразно использовать системы с графическими процессорами 8U и более?

Системы с графическими процессорами размером 8U и более целесообразны в тех случаях, когда плотность размещения ускорителей, мощность охлаждения, резервирование, возможности межпроцессорной связи между графическими процессорами и удобство обслуживания имеют приоритет над эффективностью использования пространства в стойке. Предприятия, университеты, научно-исследовательские институты, национальные лаборатории, операторы центров обработки данных и поставщики инфраструктуры искусственного интеллекта используют эти платформы для кластеров генеративного ИИ, разработки базовых моделей, корпоративных супервычислений, научных вычислений, многоузловой инфраструктуры на базе графических процессоров, корпоративных ускорителей высокой плотности и других ресурсоемких развертываний.

Платформы класса HGX объединяют несколько графических процессоров с высокоскоростными межкомпонентными соединениями для масштабируемых задач искусственного интеллекта и ускоренных вычислений. Более крупные системы также предоставляют место для оборудования охлаждения, сетевых компонентов, систем хранения данных и резервного источника питания; коммерческие платформы формата 8U отличаются интегрированной архитектурой с широкими возможностями расширения и несколькими отсеками для 2,5-дюймовых дисков.

Какие сценарии использования серверов с графическими процессорами соответствуют каждому размеру корпуса?

Для покупателей, сравнивающих серверы на базе графических процессоров для искусственного интеллекта, эти взаимосвязи являются полезными отправными точками, а не универсальными ограничениями:

Приложение Стандартный размер шасси Основной приоритет при проектировании
VDI, облачные игры, удалённая обработка графики 1U или 2U Плотность размещения в стойках и эффективное развертывание
Вычисления на периферии, видеоаналитика, обработка данных с датчиков 1U или 2U Локальные вычисления, воздушный поток, компактная интеграция
Обучение моделей искусственного интеллекта, рендеринг, высокопроизводительные вычисления широкого применения 4U Возможности использования нескольких графических процессоров, охлаждение, возможности расширения
Крупные кластеры генеративного ИИ, супервычисления 8U или больше Плотность ускорителей, межкомпонентные соединения, резервирование

Как следует оценивать корпус для графического процессора?

Оцените шасси как часть полной системы на базе графического процессора. Перед покупкой убедитесь в следующих факторах:

Примеры применения GPU в серверах

Что такое направляющие шасси?

Для чего используется корпус для сервера с графическим процессором?

Корпус сервера на базе графических процессоров вмещает один или несколько графических процессоров, а также центральный процессор, материнскую плату, устройства хранения данных, сетевые компоненты, систему охлаждения и компоненты питания, необходимые для ускоренного выполнения рабочих нагрузок. По сравнению с корпусом сервера общего назначения он спроектирован с учётом пространства для размещения графических процессоров, высокой тепловой нагрузки, подключения по интерфейсу PCIe, распределения питания и доступа для обслуживания. Типичные области применения включают обучение и вычисления в области искусственного интеллекта, рендеринг, виртуальные рабочие станции, видеоаналитику, научные вычисления и высокопроизводительные вычисления (HPC).

Выберите форм-фактор с учетом рабочей нагрузки, габаритов графического процессора, требований к охлаждению, потребностей в расширении и доступного места в стойке. Шасси 1U или 2U обычно используются для компактных решений по инференции, VDI, видеоаналитики или удаленного графического развертывания. Платформа 4U часто выбирается для обучения ИИ с использованием нескольких графических процессоров, рендеринга и основных вычислений высокой производительности (HPC), тогда как системы 8U и более крупные, как правило, рассматриваются для платформ с высокой плотностью ускорителей и кластеров ИИ инфраструктурного масштаба. Это скорее рекомендации, чем жесткие ограничения; текущий ассортимент серверов включает модели высотой 4U, 5U, 8U и 10U для различных архитектур искусственного интеллекта и высокопроизводительных вычислений.

Некоторые системы формата 4U поддерживают до восьми графических процессоров, однако эта возможность зависит от конкретной платформы, типа графического процессора, топологии PCIe, компоновки материнской платы, теплового дизайна и системы питания. Например, современные платформы Supermicro формата 4U включают конфигурации, рассчитанные на установку до восьми графических процессоров с прямым подключением по интерфейсу PCIe, однако эту спецификацию не следует применять ко всем корпусам формата 4U. Всегда проверяйте полную конфигурацию системы, а не полагайтесь исключительно на высоту стойки.

Сначала уточните длину графического процессора, его высоту, ширину слота, способ охлаждения и требования к питанию. Затем обратите внимание на поколение PCIe и распределение линий, конструкцию райзера, совместимость с процессором и материнской платой, производительность вентилятора, направление воздушного потока, разъёмы питания, варианты резервного питания, отсеки для хранения данных, глубину стойки, прокладку кабелей и доступ для технического обслуживания. Сертификация производителя особенно полезна, поскольку в ходе неё комплексно оцениваются требования к тепловым и механическим характеристикам, питанию и целостности сигнала.

Платформа класса HGX более подходит в тех случаях, когда рабочая нагрузка требует тесно интегрированной архитектуры с несколькими графическими процессорами, высокоскоростной связи между графическими процессорами, корпоративных сетевых решений, а также возможностей масштабирования в области искусственного интеллекта или высокопроизводительных вычислений. Компания NVIDIA описывает HGX как платформу, объединяющую графические процессоры, технологию NVLink, сетевые возможности и оптимизированное программное обеспечение, поэтому она отличается от традиционного шасси, укомплектованного независимыми графическими картами PCIe. Правильный выбор зависит от размера модели, схем взаимодействия, архитектуры кластера, инфраструктуры охлаждения, доступности электропитания и бюджета.

Выберите подходящий корпус для графического процессора в соответствии с вашими рабочими задачами

Правильно подобранное шасси обеспечивает сохранность стоимости всего сервера на базе графических процессоров за счет оптимизации подбора ускорителей, возможностей подключения, системы охлаждения, питания, систем хранения данных и доступа для обслуживания с учетом требований конкретного приложения.

Укажите предпочтительные модели графических процессоров, их количество, модель материнской платы, платформу процессора, требования к хранению данных, ограничения по занимаемому месту в стойке, требования к охлаждению, условия электропитания, а также предполагаемые рабочие нагрузки: искусственный интеллект, рендеринг, инференс или высокопроизводительные вычисления.