エッジAIとオンプレミス推論のためのGPUサーバーケースの設計

エッジAIとオンプレミス推論のためのGPUサーバーケースの設計

エッジの推論は、杜撰なシャーシ設計を罰するものだ。埃、振動、発熱、サービス・アクセスなど、すべてが “動くはずの ”箱の中で衝突する。これは、バイヤーがベンダーに従わせることを望む、厳しい設計の脚本である。.

熱は稼働時間を奪う。.
私は、チームがGPUに6桁の金額を費やし、そのGPUがスペックで動くか、何カ月もスロットルするか、あるいは早期に死ぬかを決めるボックスで「お金を節約」しているのを見続けている。エアフロー経路、インピーダンス、ケーブル配線、サービスの人間工学がエンジニアリングのように扱われず、板金のように扱われたからだ。.
なぜ我々はシャシーを “単なるパッケージ ”だと偽り続けるのか?

AI対応」はステッカーであり、仕様ではない。そして、そのステッカーには、フィルター下の静圧を保持できないファンウォール、吸気量が不足するPSUベイ、あらゆるメンテナンス作業をダウンタイムイベントに変えてしまうレイアウトなど、通常、同じような疲弊した妥協が隠されている。.

エッジAIとオンプレミス推論のためのGPUサーバーケースの設計

本当の制約はGPUコンピュートではない。電力密度+熱+アクセスだ。.

マーケティング・デッキよりも重要な3つの数字:ワット、パスカル、分。.

ワットは、GPUが交渉しないからだ。NVIDIAの L4 は整然としている。 72W その部分は、紙の上では寛容でエッジに優しい。しかし、あなたの “真剣な ”推論カードは激しくジャンプする: L40S リスト 最大出力350W. .そして、H100クラスのシステムは、次のことを可能にする。 700Wまで (SXM)または 350-400W (PCIe、設定可能)。.

風量は “より多くのファン ”ではないからだ。それは圧力バジェットです。フィルター、グリル、狭い屈曲部、ケーブルの束の配置不良など、それぞれが静圧を食い、「高エアフローGPUサーバー・シャーシ冷却」を静かに暖かい乱流に変えてしまうのです。.

エッジとオンプレミスの推論は趣味ではないからだ。技術者がノードを引き出すのに45分と3つのツールを必要とするなら、それは “オペレーション ”ではない。希望的観測に過ぎない。.

調達するのであれば、シャーシを商品としてではなく、製品として扱っているベンダーから始めましょう。 カスタムビルド 少なくとも、GPUのレイアウトが万能ではないことは認めている(GPUのレイアウトに関する独自の枠組みを参照)。 カスタムGPUサーバーシャーシメーカーのアプローチ).

エッジとオンプレム:同じシリコンでも異なる障害モード

ホコリがファンをダメにする。.
エッジAIの導入は、微粒子、水しぶき、振動、ケーブル配線の手抜きで窒息し、オンプレミスのラックは持続的な熱負荷とサービス頻度で罰する。.
では、なぜバイヤーは「ラックシャーシだが、より小さい」というエッジプランを受け入れるのだろうか?

エッジを使用するのであれば、汚れた部屋にオープンフレームを出荷し、最善を望むのはやめましょう。現実世界の汚れと人の手を想定したエンクロージャー戦略を使用すること-iStoneCaseは、この点を彼らの 工場/OTネットワーク向け産業用ウォールマウントサーバーケースのご案内.

オンプレでやるなら、ラックを生産ラインのように扱え:スワップ、スライド、リプレース、ログ。Railsはみんなが認めている以上に重要です。なぜなら、Railsなしで30~50kgのノードを優雅にサービスする人はいないからです ( ラックマウントシャーシガイドレール).

2024年に事態が悪化する難しい理由

パワーは締まっている。.
米国政府は現在、データセンターを国家的な電力問題として公にモデル化している。 ~2023年、米国の総電力量の4.4%, に達すると予想されている。 ~6.7%から2028年までに12%へ-使用量は推定で 176 TWh(2023年) そして 325~580 TWh(2028年).
グリッドにストレスがかかった場合、サーマルヘッドルームや設備の制約はどうなると思いますか?

このDOEのリリースはブログ記事ではなく、2020年エネルギー法に対応して作成されたLBNLの報告書に結びついた組織的な警告である。.

エッジAIとオンプレミス推論のためのGPUサーバーケースの設計

GPUサーバーシャーシの設計:ベンダーが嫌うチェックリスト

どうデザインするか」の答えが欲しい?私が、本格的なシャーシ・エンジニアリングとカタログに載っているようなフィラーとを区別するために見ているのは、以下のようなものだ。.

1) ファン数ではなくエアフロー構造

  • ストレート・スルー・フロー 賢さに勝る。前対後ろはうまくいくからつまらない。.
  • ホットゾーンのパーティション:GPU、CPU、PSU、NVM-それぞれに定義されたパスが必要です。.
  • フィルター(エッジ)が必要な場合は、圧力予算を設計する。 周辺 後付けクリップではない。.

2) 高さは熱的な判断(2U/4U/6Uは美観ではない)

  • 2U より低いTDPのカード、より少ないダブルワイドGPU、より高い回転数のファン、より高いノイズ)。.
  • 4U GPU+ストレージ+サービス性をミックスした場合のデフォルトは、まともなものである。 4Uラックマウントケースのオプション.
  • 6U より多くの容積、より良いダクト、より少ない「アクセス・ジムナスティックス」( 6U GPUサーバーケース一覧).

3) 素材と剛性:振動はエッジでの静かな殺人者である。

堅牢なエッジGPUサーバー筐体設計とは、単に「金属を厚くする」ことではありません。適切な場所での剛性、共振点の少なさ、適切な取り付け、GPUブラケットを構造梁と見なさないことです。.

私はここで単刀直入に言う:私は、ベンダーが形容詞的な表現ではなく、実際の素材の表記(厚さ、鋼鉄の等級、アルミニウム部品)を公表している方が信頼できる。製品ページであっても、具体的な説明がある方が、ふわっとした表現よりも優れています。.

4) 電力供給とケーブル形状

  • デュアルPSUのサポートは “エンタープライズ ”ではない。.
  • ケーブルの取り回しは、吸気経路に干渉してはならない。.
  • GPU電源コネクタ(8ピン/16ピン)がエアフローのバッフルにならないように計画する。.

5) サービス設計:アクセスはパフォーマンス機能である

もし技術者がファントレイを素早く交換できなければ、恒久的になるまで “一時的に ”冷却が低下することになる。.

レールやツールレスパターンが “あると便利 ”でなくなるのは、ここからだ。もう一度言う: シャーシガイドレール は小さな部品であり、経営に大きな影響を与える。.

エッジAIとオンプレミスの推論シャーシの要件

デザイン属性エッジAIサーバーシャーシラックマウント型GPUサーバーケース無視すれば壊れるもの
空気ろ過フィルター付きインテーク、簡単なフィルター交換、圧力を考慮したファンプランフィルタリングされていないことが多く、バルクエアフローに最適化されている。ファンが詰まる(エッジ)、またはホットスポットができる(ラック)
衝撃/振動剛性の高いマウント、カンチレバー荷重の最小化、カードの確実な保持ほぼ安定した環境GPU/PCIeの取り付け問題、経年劣化によるマイクロクラック
音響予算通常は拘束される(人の近く)制約が少ないことが多い(サーバールーム)チーム「キャップ」ファン → サーマルスロットリング
サービスへのアクセスフロントアクセス、ウォールマウント/ショートデプスオプションスライドレール、可能な限りホットスワップ1件あたりのダウンタイムが長い
サーマルヘッドルームスパイキーな負荷+汚れた空気+高い周囲温度持続荷重+施設限界スロットル、そして故障
コンプライアンス圧力データの地域性、OTの安全対策監査可能性、文書化、ガバナンスリスク/コンプライアンスに阻まれる

コンプライアンスがオンプレミスの推論を静かに後押ししている

規制が噛み付く.
オンプレミスのAI推論サーバー・ハードウェアへのプッシュは、レイテンシーやコストだけでなく、ガバナンス、文書化、そして規制されたワークフローでモデルが誤作動を起こしたときに誰が責任を取らされるかということだ。.
具体的な理由は?

NISTの AIリスク管理フレームワーク 1.0 (として出版された NIST AI 100-12023これは基本的に、企業に対して「コンテクスト、影響、説明責任を大人のように管理せよ」というシグナルである。.

そこに欧州のリーガル・ハンマーが加わる: 規則(EU)2024/1689 (EUのAI法)が採択された。 13 2024年6月-実際の罰則と文書化が期待される法律である。.

コンプライアンス・チームが緊張すると、予想通りの質問をする:「センシティブなデータを管理されたバウンダリー内に保持できるか?この質問は、推論をエッジやオンプレミに近づけ、突然、筐体の選択肢が「ITハードウェア」でなくなり、「リスク・インフラ」になる。“

エッジAIとオンプレミス推論のためのGPUサーバーケースの設計

よくある質問

GPUサーバーシャーシとは何ですか?
GPUサーバシャーシは、1枚以上のアクセラレータカードを定格電力(多くの場合、GPUあたり72W~700W)で動作させるための機械的および熱的プラットフォーム(シートメタル、レール、エアフロー経路、配電、およびI/O開口部)であり、ラックまたはエッジエンクロージャ内でスロットリングや故障を起こすことなく動作します。.
実際には、ファンを交換したり、カードを再装着したり、エアフローをクリーンに保ったりするメンテナンスシステムでもある。.

エッジAIサーバー筐体とラックマウント型GPUサーバー筐体の違いは?
エッジAIサーバーシャーシは、汚れた空気、より高い周囲温度、振動、および制約されたサービスアクセスに対応するように設計されたGPU対応筐体です。一方、ラックマウントGPUサーバーケースは、制御された環境を想定し、19インチラック内の密度、標準化されたレール、および予測可能な前後方向のエアフローに最適化されています。.
エッジをデータセンターのように展開すれば、「フィルターと圧力」という教訓を高くつく方法で学ぶことになる。.

2U/4U設計の350W-700W GPUの冷却サイズは?
冷却のサイジングは、総熱負荷(GPU+CPU+PSU損失)、許容温度上昇、およびファンの静圧能力を、定義されたエアフロー経路に適合させるプロセスです。これにより、アクセラレータは、実際のインピーダンス(フィルタ、グリル、ケーブルバンドル)および最悪のケースの入口温度の下で、スロットリングしきい値を超えることなくブーストクロックを維持することができます。.
経験則:研究室の日ではなく、嫌な日のためにデザインする。.

GPUサーバーケースで液冷の価値があるのはいつ?
液冷は、冷却ループが熱エネルギーをGPU/CPUからラジエーターまたは設備水に移動させる熱除去アプローチであり、特に、騒音制限、ダスト・フィルター、または極端なGPU TDP要件によってエアフローが制約される場合に、同じ容積で空冷よりも高い持続電力密度を可能にします。.
高出力のカードを積み重ね、エアフローの経路が損なわれると、液体はエキゾチックなものではなくなり、数学的なものになる。.

規制はオンプレミスの推論ハードウェアの決定にどのような影響を与えるのか?
規制の影響とは、ガバナンス要件(文書化、説明責任、リスク管理、データ取り扱い規則)が、組織に管理された境界内で推論を実行するよう促す方法である。なぜなら、監査証跡とデータのローカリティは、インフラがサードパーティのクラウドサービスに分散しているよりも、所有され物理的にアクセスできる方が証明しやすいからだ。.
NISTのAI RMFとEUのAI法は、この圧力が衰えていないことを示す2つの大きなシグナルである。.

結論

エッジAIやオンプレミスの推論に真剣に取り組むなら、シャーシを最後に選ぶのはやめよう。そこから始めましょう。.
iStoneCaseのような参考レイアウトをブラウズする 4Uラックマウントケースのオプション そして 6U GPUサーバーケースライン, そして、実際の配備上の制約条件(ダスト、サービス時間、ノイズ、ワット数)に対して、要件をプレッシャーテストします。.
そして、もしあなたの配備が工場やOTに隣接しているなら、何かを取り付ける前にこれを読んでほしい: 工場ネットワーク向け産業用ウォールマウントサーバーケース.

お問い合わせ

完全な製品ポートフォリオ

GPUサーバーケースからNASケースまで、あらゆるコンピューティングニーズに対応する幅広い製品を提供しています。

オーダーメイド・ソリューション

お客様独自の要件に基づき、カスタムサーバーケースやストレージソリューションを作成するOEM/ODMサービスを提供しています。

包括的サポート

当社の専門チームは、すべての製品のスムーズな納入、設置、継続的なサポートを保証します。