이 이야기는 백 번도 더 들어보셨을 겁니다:
“그럼... 랙에 몇 개의 GPU를 넣을 수 있을까요?”
“GPU 수”로 시작하면 결국 물리학과의 논쟁을 벌이게 될 것입니다. 랙은 사용자가 AI에 대해 얼마나 흥분했는지는 신경 쓰지 않습니다. 랙은 두 가지 지루한 한계에 관심이 있습니다:
- 전력 엔벨로프(랙당 kW)
- 냉각 제거(실제로 제거할 수 있는 열량 kW)
제 생각은 간단합니다: 랙 밀도는 시설 문제이고 섀시 문제는 두 번째 문제입니다. 하지만 섀시는 공기 흐름이 정상적으로 작동할지, 아니면 혼돈으로 변할지를 결정하기 때문에 여전히 중요합니다.
운영팀과 같은 방식으로 차단기 → PDU → 서버 드로우 → 열 → 공기 흐름/액체 → 안정성 순으로 설명해 보겠습니다.
평균 랙 밀도 8kW 미만
많은 서버룸이 여전히 “레거시 밀도”로 운영되고 있다는 점이 불편한 부분입니다. 업계 설문조사에 따르면 평균 랙 밀도 8kW 미만 유지및 >30kW 이상의 랙은 일반적이지 않습니다. 대부분의 사이트에서.
이러한 격차 때문에 AI 롤아웃이 지저분해지는 것입니다. 최신 GPU 노드를 도입하면 갑자기 모든 것이 따라잡히게 됩니다:
- 소형 전기 배전
- 약한 공기 흐름 경로
- 봉쇄 없음
- 이전에는 문제가 되지 않았던 핫스팟
네, 그렇습니다. 할 수 있다 GPU를 구매합니다. 진짜 문제는: 스로틀링 없이 먹이를 주고 식힐 수 있나요?
랙 전력 예산(랙당 kW)
와트 입력은 열 출력과 같습니다.
안정된 상태에서 랙은 기본적으로 팬이 있는 공간 히터입니다. 캐비닛이 40kW, 를 대략적으로 제거해야 합니다. 40kW의 열. “약간”이 아닙니다. 그 정도로 직접적입니다.
그렇기 때문에 전력과 냉각 계획이 긴밀하게 연계되어야 합니다:
- 랙으로 시작하기 IT 전력 예산 (안전하게 전달할 수 있는 내용)
- 확인 냉각 용량 해당 위치에서
- 그래야만 GPU 수로 변환됩니다.
디레이팅, 헤드룸 및 리던던시(N+1, 2N)
가장자리에 맞게 크기를 조정하면 후회할 것입니다. 실제 배포에서는
- 차단기 감속
- 피크 드로우 급증(부팅 폭풍은 현실입니다)
- 열 스트레스를 받는 팬 램프
- 이중화 설계(N+1 또는 2N 피드)
다시 말해 스프레드시트처럼 계획하지 마세요. 당직 로테이션처럼 계획하세요.
최대 700W의 GPU TDP 및 전체 서버 전력
최신 가속기 카드의 대부분은 최대 ~700W TDP 모델 및 구성에 따라 다릅니다. 멋지네요. 하지만 여기 함정이 있습니다:
GPU 와트 ≠ 서버 와트.
플랫폼에는 다음도 포함됩니다:
- CPU
- 메모리
- NIC(200/400/800G)
- 리타이머/스위치
- 스토리지
- 팬 및 PSU
따라서 누군가가 “GPU 8개를 사용할 테니 8×700W를 사용하겠다”고 말하면 나머지 부분을 놓치고 있는 것입니다. 바로 여기서 프로젝트가 틀어지는 것입니다.
8-GPU 서버 전력 약 10kW
좋은 현실 점검: 현장에서 흔히 볼 수 있는 8-GPU 시스템은 다음과 같습니다. 최대 약 ~10kW 서버 수준에서. 그렇기 때문에 많은 팀이 대략적인 계획 배율을 사용합니다:
전체 서버 전력 ≈ 1.6-2.0배(GPU TDP 합계)
완벽한가요? 아니요. 초기 디자인에 유용하나요? 네. 유용합니다.
GPU 수 대비 랙 전력 예산(계획 표)
아래는 이것이 실제로 어떻게 보이는지 보여줍니다. 왼쪽 열은 “낙관적인 GPU 전용” 계산입니다. 오른쪽 열은 보다 현실적인 전체 서버 계수를 적용합니다( 1.8× 를 계획 가이드로 사용하세요.).
| 랙 IT 전력 예산(kW) | GPU 전용 추정치(GPU당 700W) | 전체 서버 추정치(≈1.8× GPU 전용) |
|---|---|---|
| 10 | 14 | 7 |
| 15 | 21 | 11 |
| 20 | 28 | 15 |
| 30 | 42 | 23 |
| 40 | 57 | 31 |
| 50 | 71 | 39 |
| 60 | 85 | 47 |
| 80 | 114 | 62 |
이 표는 수학을 구사하려는 것이 아닙니다. 일반적인 실패 모드에서 사용자를 구하려는 것입니다:
- “GPU 용량”을 주문합니다.”
- 실제로 “열과 앰프”를 주문한 것을 발견합니다.”
랙당 20-30kW에 가까운 공랭식 냉각 한계
공기 냉각은 사람들이 생각하는 것보다 더 멀리 갈 수 있지만, 금방 약해집니다.
역사적으로 많은 운영자가 랙당 20-30kW 공기 냉각이 더 이상 “쉬운” 일이 아닌 시점이 되었습니다. 더 나은 공기 흐름 엔지니어링으로 더 높은 곳을 향해 나아갈 수 있지만, 이제는 작은 실수가 큰 피해를 주는 세상에 살고 있습니다.
열 통로 봉쇄 및 재순환 제어
밀도가 높아지면 가장 큰 적은 다음과 같습니다. 재순환.
뜨거운 배기가 GPU 흡입구로 몰래 들어가면 갑자기 “700W GPU'가 숨을 쉬지 못하는 토스터기처럼 작동합니다. 곧 알게 되실 겁니다:
- GPU 클럭 저하(스로틀 시티)
- 비명을 지르는 팬 속도
- 섀시 내부의 핫스팟
- 동일한 캐비닛 내 서버 간 온도 불균일성
봉쇄가 도움이 됩니다. 케이블을 깔끔하게 정리하는 것도 도움이 됩니다. 섀시 전면을 “임시” 물건으로 막지 않는 것도 도움이 됩니다.
액체 냉각(RDHx, CDU, 다이렉트 투 칩) 사용 시기
어느 순간부터 공기는 값비싼 싸움이 됩니다. 바로 이때 시설 담당자들이 다음과 같은 용어를 사용하는 것을 듣게 됩니다:
- RDHx (후면 도어 열교환기)
- CDU (냉각수 분배 장치)
- 직접 칩 연결
- 하이브리드 냉각
첫날부터 완전히 액체를 마실 필요는 없습니다. 하지만 경로를 계획해야 합니다. 나중에 개조하는 것은 항상 생각보다 더 고통스럽고, 평온한 주말에는 결코 일어나지 않습니다.
실제 랙 밀도 시나리오(15kW, 30kW, 40kW, 80kW)
15kW 랙: 엔터프라이즈 레트로핏 및 혼합 워크로드
이것은 “이미 서버룸이 있는” 상황입니다.
일반적으로 작동하는 방법:
- 더 많은 캐비닛에 GPU 분산
- 최대 밀도가 아닌 안정적인 공기 흐름을 가진 섀시를 선택하십시오.
- 하드웨어를 자주 만지게 되므로 서비스 가능성을 우선시해야 합니다.
따라서 견고한 랙 섀시를 선택하는 것이 중요합니다. 대규모로 소싱하는 경우 일관된 서버 케이스 제품군을 사용하면 빌드를 반복할 수 있고, 반복할 수 있어야 운영이 안정적으로 유지됩니다.
30~40kW 랙: 새로운 AI 포드 및 알고리즘 센터
이제 “실제 밀도”에 도달했습니다.”
체크리스트에는 다음이 포함되어야 합니다:
- 첫날부터 격리
- 헤드룸과 리던던시를 갖춘 PDU 크기
- 공기 흐름을 막지 않는 케이블 라우팅
- GPU 방열을 위해 설계된 섀시(팬 월 + 배플)
팀에서 다음과 같은 문구를 쇼핑하는 경우 서버 랙 PC 케이스 또는 컴퓨터 케이스 서버, 실제로 필요한 것은 랙 코스튬을 한 취미용 상자가 아니라 특수 제작된 GPU 섀시입니다.
전용 GPU 서버 케이스 는 고밀도 가속기에 필요한 공기 흐름 압력, 간격 및 서비스 액세스를 제공할 수 있습니다.
80kW 랙: 액체 지원 및 고밀도 클러스터
여기에서 “서버 배포”를 중지하고 “인프라 실행”을 시작합니다.”
관심을 갖게 될 것입니다:
- 빠른 MTTR(분 중요)
- 깨끗한 유지보수 클리어런스
- 안정적인 레일 시스템
- 튜브/케이블을 위한 예측 가능한 레이아웃
레일은 지루하게 들리지만 가동 시간에 영향을 미칩니다. 좋은 섀시 가이드 레일 설정은 엉성한 설치를 방지하고 더 안전하게(그리고 더 빠르게) 스왑할 수 있게 해줍니다.
GPU 서버 섀시 공기 흐름: 팬 월, 배플 및 서비스 가능성
구매자가 건너뛰는 부분과 운영자가 싫어하는 부분이 바로 여기에 있습니다:
섀시는 공기 흐름 기계입니다.
고밀도 GPU 노드의 경우, 다음을 찾아보세요:
- 강력한 팬 월 옵션(높은 정압)
- 뜨거운 구역에 공기를 강제로 통과시키는 배플/덕트
- PSU 열을 GPU 흡기로부터 분리하는 레이아웃
- 빠른 교체를 위한 간편한 상단 액세스
워크스테이션과 유사한 부품을 중심으로 구축하는 경우 다음과 같은 검색이 표시됩니다. 서버 PC 케이스 그리고 ATX 서버 케이스. 이는 보통 신호입니다: “유연성을 원하지만 워크스테이션급 써멀은 받아들일 수 없습니다.”라는 신호입니다. 완전히 공평합니다. 다만 섀시가 ATX 나사 구멍이 아닌 서버 공기 흐름 패턴에 맞게 제작되었는지 확인하세요.
엣지룸이나 연구실의 경우 컴팩트한 포맷이 필요할 수도 있습니다: ITX 케이스 그리고 벽걸이 케이스 는 전열 공기 흐름 설계가 없거나 워크로드 근처에서 소규모 “포드'를 실행하는 경우 실용적일 수 있습니다.
대량 배포를 위한 OEM/ODM GPU 서버 케이스
수십(또는 수백) 개의 노드를 배포하는 경우, “서버 한 대”가 문제가 아닙니다. 바로 반복성입니다:
- 배치 전반에 걸쳐 안정적인 열 관리
- 일관된 부품 가용성
- 프로젝트 도중 이탈하지 않는 섀시 사양
- 정확한 GPU, NIC 및 스토리지 레이아웃을 위한 사용자 정의
바로 여기에 IStoneCase가 적합합니다. 대량 주문 및 맞춤형 실행을 위해 제작된 OEM/ODM을 지원하는 GPU/서버 인클로저 및 스토리지 섀시에 중점을 둡니다. 계획에 확장이 포함되어 있다면 무작위로 케이스를 재판매하는 것이 아니라 매일 이 작업을 수행하는 공급업체와 상담하는 것이 좋습니다.
콘텐츠에서 내부 참조로 사용할 수 있는 몇 가지 IStoneCase 페이지가 있습니다:
