Was ist Hochleistungs-Computing?

Hochleistungs-Computing besteht aus drei Hauptkomponenten:

• Computing
• Netzwerk
• Speicher

Grundsätzlich sind die Knoten (Computing) des HPC-Systems mit anderen Knoten verbunden, um Algorithmen und Software gleichzeitig auszuführen, und dann mit Datenservern (Speicher) verbunden (Netzwerk), um die Ausgabe zu erfassen. Da HPC-Projekte in der Regel groß und komplex sind, müssen die Knoten des Systems in der Regel die Ergebnisse ihrer Berechnungen untereinander austauschen. Das bedeutet, dass schnelle Laufwerke, Hochgeschwindigkeitsarbeitsspeicher und Netzwerke mit niedriger Latenz und hoher Bandbreite zwischen den Knoten und Speichersysteme erforderlich sind.

HPC lässt sich in der Regel in zwei allgemeine Designtypen unterteilen: Cluster-Computing und verteiltes Computing.

Paralleles Computing wird mit einer Sammlung von Computern (Clustern) durchgeführt, die zusammenarbeiten. Dies kann eine verbundene Gruppe von Servern sein, die sowohl physisch als auch in der Netzwerk-Topologie nahe beieinander platziert sind, um die Latenz zwischen den Knoten zu minimieren. 

Das Modell für verteiltes Computing verbindet die Rechenleistung mehrerer Computer in einem Netzwerk, das sich entweder an einem einzigen Standort (häufig lokal) oder über mehrere Standorte verteilt, was z. B. lokale Hardware und Cloud-Ressourcen enthalten kann.

Außerdem kann man bei HPC-Clustern zwischen homogenen und heterogenen Hardwaremodellen unterscheiden. In homogenen Clustern haben alle Maschinen eine ähnliche Leistung und Konfiguration und werden oft als gleich und austauschbar behandelt. In heterogenen Clustern gibt es eine Sammlung von Hardware mit unterschiedlichen Eigenschaften (hohe Anzahl an CPU-Kernen, GPU-beschleunigt usw.). Das System wird am besten genutzt, wenn Knoten Aufgaben zugewiesen werden, die ihre jeweiligen Vorteile optimal nutzen.

Arbeitslasten in einer HPC-Umgebung lassen sich in zwei verschiedene Typen unterteilen: lose gekoppelte und eng gekoppelte.

Lose gekoppelte Arbeitslasten (oft als parallele Jobs oder Jobs mit hohem Durchsatz bezeichnet) bestehen aus unabhängigen Aufgaben, die gleichzeitig im gesamten System ausgeführt werden können. Die Aufgaben können sich einen gemeinsamen Speicher teilen, sind aber nicht kontextabhängig und müssen daher keine Ergebnisse miteinander austauschen, wenn sie abgeschlossen sind. Ein Beispiel für eine lose gekoppelte Arbeitslast ist das Rendern von CGI-Bildern (Computer Generated Imagery) für einen Spielfilm. Dabei wird jedes Bild des Videos unabhängig von den anderen Bildern gerendert, obwohl sie dieselben Eingabedaten, z. B. Hintergründe und 3D-Modelle, verwenden.

Eng gekoppelte Workloads bestehen aus vielen kleinen Prozessen, die jeweils von verschiedenen Knoten in einem Cluster verarbeitet werden und voneinander abhängig sind, um die Gesamtaufgabe zu erledigen. Eng gekoppelte Arbeitslasten erfordern in der Regel ein Netzwerk mit niedriger Latenz zwischen Knoten und schnellen Zugriff auf gemeinsamen Arbeitsspeicher und sonstigen Speicher. Die Interprocess Communcication für diese Arbeitslasten wird über ein Message Passing Interface (MPI) mit Software wie OpenMPI und Intel MPI abgewickelt. Ein Beispiel für eine eng gekoppelte Arbeitslast ist die Wettervorhersage, die eine physikbasierte Simulation dynamischer und voneinander abhängiger Systeme mit Temperatur, Wind, Druck, Niederschlag und mehr umfasst. Hier kann jeder Clusterknoten Teillösungen für verschiedene Wetterfaktoren berechnen und so zur Gesamtwettervorhersage beitragen.

HPC kann lokal mit dedizierten Geräten, in der Cloud oder mit einem Hybridansatz aus beiden durchgeführt werden.

HPC in der Cloud bietet Flexibilität und Skalierbarkeit, ohne dass teure, dedizierte Supercomputer angeschafft und gewartet werden müssen. HPC in der Cloud bietet die gesamte notwendige Infrastruktur, um große, komplexe Aufgaben wie Datenspeicherung, Vernetzungslösungen, spezialisierte Rechenressourcen, Sicherheit und Anwendungen für künstliche Intelligenz auszuführen. Arbeitslasten können on demand ausgeführt werden. Das bedeutet, dass Unternehmen Geld bei Geräten und Zeit bei Rechenzyklen sparen können und nur die Ressourcen nutzen, die sie benötigen, wenn sie sie benötigen.

Einige häufige Überlegungen bei der Entscheidung, HPC in der Cloud auszuführen sind:

Latenz und Bandbreite: Angesichts der Datenmengen, die in HPC-Arbeitslasten verarbeitet werden, müssen Cloud-Anbieter robuste Vernetzungsfunktionen (>100 GB/s) mit niedriger Latenz bereitstellen.

Leistung: HPC in der Cloud funktioniert am besten mit Anbietern, die ihre Systeme ständig aktualisieren, um die Leistung zu optimieren, insbesondere bei Computerprozessoren, Speicherlösungen und Vernetzungsfunktionen.

Nachhaltigkeit: HPC ist eine ressourcenintensive Form des Computings, die viel mehr Strom benötigt als normale Arbeitslasten. Lokale Hochleistungscomputer können pro Jahr Millionen von Dollar an Stromkosten kosten. Öffentliche Clouds, die erneuerbare Energien priorisieren – wie Google Cloud –, können die Auswirkungen von HPC auf den Energieverbrauch verringern. 

Speicher: Angesichts der Größe der meisten HPC-Aufgaben ist ein skalierbarer Datenspeicher eine wichtige Überlegung beim Ausführen von HPC-Arbeitslasten. Cloud-Anbieter, die große Datenmengen einfach speichern und verwalten können (z. B. über die verwalteten Speicherdienste von Google, einschließlich Filestore oder Managed Lustre), haben einen Vorteil bei HPC.

Sicherheit : Ein Cloud-Anbieter mit einer privat verwalteten globalen Infrastruktur sorgt dafür, dass Daten und Anwendungen am wenigsten dem öffentliche Internet ausgesetzt sind. VPC-Netzwerke (Virtual Private Cloud) ermöglichen die Verbindung zwischen Knoten und können Firewalls für HPC-Anwendungen konfigurieren. Die Funktionen von Confidential Computing ermöglichen die Verschlüsselung während der Verwendung sowie die Verschlüsselung ruhender Daten und von In-Flight-Daten.

Schnell und leistungsfähig

Hochleistungs-Computing kann Daten und Aufgaben viel schneller verarbeiten als ein einzelner Server oder Computer. Aufgaben, die auf einem normalen Computersystem Wochen oder Monate dauern würden, können in einer HPC-Umgebung in wenigen Stunden erledigt werden.

Flexibilität und Effizienz

Mit HPC in der Cloud können Arbeitslasten je nach Bedarf herauf- oder herunterskaliert werden. Mit einer stabilen Internetverbindung kann von überall auf der Welt auf HPC zugegriffen werden. 

Kosteneinsparungen

Dank der Geschwindigkeit, Flexibilität und Effizienz von HPC in der Cloud können Unternehmen Zeit und Geld für Rechenressourcen und Arbeitsstunden sparen.

Fehlertoleranz

Wenn ein Knoten eines HPC-Clusters ausfällt, ist das System so robust, dass der Rest des Systems nicht zusammenbricht. Angesichts der großen und komplexen Aufgaben, die HPC-Systeme ausführen, ist Fehlertoleranz ein großer Vorteil. 

Schnellere Forschung und Entwicklung

HPC bietet Unternehmen, die Forschung und Entwicklung betreiben, einen Vorteil, da die Ergebnisse datenintensiver Projekte wie pharmazeutische Modellierung, die Entwicklung neuer Maschinen und Teile oder die Simulation von Tests zur Reduzierung physischer Tests beschleunigt werden.

Anfangskosten

Lokale HPC-Cluster und Supercomputer verursachen hohe Anfangskosten. Ein lokales HPC wäre für die meisten Organisationen nicht erreichbar, wenn man die Kosten für Ausrüstung, Arbeit, Software und Konfiguration berücksichtigen würde.

Energieverbrauch

Die Energiekosten für lokale Supercomputer-Installationen können hoch sein. Für umweltfreundliche und kostenbewusste Unternehmen kann der HPC-Energieverbrauch durch die Ausführung von HPC in der saubersten Cloud der Welt nachhaltig sein.

Wartung

HPC funktioniert am besten mit der neuesten Hardwaregeneration und optimierter Software. Einen lokalen HPC-Cluster oder Supercomputer auf dem neuesten Stand zu halten, um eine optimale Leistung zu gewährleisten, kann schnell zu einem großen und laufenden Kostenfaktor werden.

Das moderne Ökosystem wird von Daten und rechenintensiven Tools, um sie zu analysieren, überschwemmt. Mit HPC können Unternehmen und Organisationen all diese Daten zeitnah verarbeiten und so neue Erkenntnisse, Innovationen und wissenschaftliche Entdeckungen bedingen. Unternehmen können Geschäftsszenarien prognostizieren, Marktschwankungen vorhersagen und Empfehlungen aussprechen. Auch die Medizin profitiert von HPC in der Cloud. So lassen sich potenzielle Krankheitsausbrüche modellieren, das Genom von Krebszellen entschlüsseln und die Entwicklung von Krankheiten besser verstehen.

Kurz gesagt: HPC beschleunigt den wissenschaftlichen, technologischen und wirtschaftlichen Fortschritt und trägt so zu einer besseren Zukunft für die Menschheit bei.