GPU 서버를 대규모로 구축해 본 적이 있다면 이미 알고 있을 추악한 진실이 있습니다: 실험실에서는 괜찮아 보이던 섀시가 실제 랙에서는 녹아내리거나(혹은 조용히 성능이 저하되거나) 할 수 있다는 점입니다. 팬 소리가 요란해지고, 클럭 속도가 떨어지며, 노드가 흔들리고…
GPU 박스를 책상 옆에 놓아본 적이 있다면 그 분위기를 알 것이다: 한 순간은 조용하다가, 다음 순간에는 헤어드라이어가 유산소 운동을 하는 듯한 소리가 난다. 내 생각은 이렇다: 소음 제어는 단순히 “폼을 붙여라”가 아니다…
새 GPU 박스를 랙에 장착하고 전원을 켜면… 이상한 스로틀링, 무작위 링크 끊김, 혹은 “내 벤치에서는 작동하는데” 같은 재앙을 겪어본 적이 있다면, 이미 진실을 알고 있을 겁니다: 통합은 훌륭한 빌드가 죽어가는 곳입니다. GPU는…
동일한 하드웨어에서 여러 고객을 위한 GPU를 호스팅한다면, 실제로 판매하는 것은 “서버”가 아닙니다. 판매하는 것은 SLA, 예측 가능한 성능, 그리고 문제가 발생했을 때의 신속한 복구입니다. 그리고 맞습니다, 그 경쟁의 상당 부분은 바로 섀시에서 벌어집니다…
모델 훈련을 위해 새 랙을 가동합니다. GPU는 준비되었습니다. 전원 공급은 그럭저럭 괜찮습니다. 이제 어려운 선택이 다가옵니다: 4U, 5U, 아니면 6U GPU 서버 케이스? 잘못된 높이를 선택하면 열, 케이블 엉킴, 소음과 싸워야 합니다…
GPU는 전력을 많이 소모하고 발열이 심합니다. 서버 케이스 내부의 공기 흐름이 잘못되면, 그래픽 카드는 단순히 “조금” 속도가 떨어지는 수준이 아닙니다. 클럭 속도가 떨어지고 작업이 중단되며, 고급스러운 랙이 공간 히터로 변해버립니다. 바로 여기서 4U용 공기 흐름 설계가...
오늘날 GPU 워크로드를 실행하는 경우 이미 느끼셨겠지만, 트레이닝 박스와 추론 박스는 동일하게 작동하지 않습니다. 따라서 기본적으로 두 박스를 정확히 동일한 섀시에 넣는 것도 의미가 없습니다. 아래에서 실제...