Unsere NVIDIA HGX-Server mit NVIDIA H200 Tensor Core GPUs sind für KI-, LLM- und HPC-Workloads ausgelegt, die klassische GPU-Server an ihre Grenzen bringen. Statt einzelner PCIe-Karten setzt die HGX-Plattform auf ein gemeinsames SXM-Baseboard für bis zu acht GPUs, aktuell auf Basis von NVIDIA H200. Die GPUs kommunizieren direkt über NVLink mit bis zu 900 GB/s pro GPU, ohne Einschränkungen wie bei klassischen PCIe-Verbindungen.

Warum ein NVIDIA HGX H200 Server für Dich die richtige Wahl ist

Die Kombination aus HGX-Plattform und H200 GPU deckt drei Einsatzfelder ab: das Training und die Inferenz komplexer KI-Modelle, die Verarbeitung großer Sprachmodelle mit hohem Speicherbedarf sowie speicherintensive HPC-Aufgaben von Simulationen bis zur Genomsequenzierung. Die H200 baut auf der Hopper-Architektur auf und bringt 141 GB HBM3e-Speicher sowie 4,8 Terabyte pro Sekunde (TB/s) Bandbreite mit, nahezu die doppelte Kapazität und die 1,4-fache Bandbreite der H100. Das beschleunigt Training und Inferenz großer Deep-Learning- und Sprachmodelle wie Llama 2 ebenso wie die genannten HPC-Aufgaben, wo Datenengpässe sonst den Durchsatz limitieren. Trotz der hohen Leistung bleibt die Energieeffizienz besser als bei der Vorgängergeneration, was die Gesamtbetriebskosten (TCO) im Rechenzentrum senkt.

Optimale Hardware-Konfiguration für Deinen HGX H200 Server

Ein leistungsstarker GPU-Server braucht mehr als die Grafikkarten an sich: AMD EPYC 9005 oder Intel Xeon Scalable v5 Prozessoren bereiten die Daten für die GPUs auf und halten sie konstant ausgelastet, großzügiger ECC-Arbeitsspeicher sichert die Datenintegrität im Dauerbetrieb. Schnelle NVMe-SSDs für Betriebssystem und Cache, kombiniert mit hochkapazitiven Datenspeichern, sorgen für optimalen Datenfluss beim Laden großer Trainingsdatensätze. Für den Zusammenschluss mehrerer Server zum Cluster sorgen NVIDIA ConnectX-7 und ConnectX-8 SuperNICs für InfiniBand- oder High-Speed-Ethernet-Anbindung mit bis zu 800 Gb/s pro Port, während BlueField-DPUs die Haupt-CPUs von Netzwerk-, Speicher- und Sicherheitsaufgaben entlasten. Redundante Netzteile und Hochleistungslüfter sichern die Verfügbarkeit auch unter Volllast, optional ergänzt um Direct-Liquid-Cooling-Schnittstellen für maximale Packungsdichte; Hot-Swap-Komponenten erleichtern die Wartung.

Dein individueller NVIDIA HGX H200 Server

Ob Forschungseinrichtung, Universität oder Unternehmen: Jede Komponente lässt sich frei konfigurieren. Weitere Optionen findest Du in den Server Technik Highlights. Wenn Du noch unsicher bist, ob ein HGX-Server die richtige Wahl ist, hilft Dir unsere Server Kaufberatung mit konkreten Empfehlungen. Im Server Konfigurator konfigurierst Du Dein System nach Deinen individuellen Wünschen.