Google Cloud Managed Lustre
Paralleles Dateisystem mit hoher Leistung
Beschleunigen Sie HPC- und KI-Training und -Bereitstellung mit dem leistungsstärksten, POSIX-konformen, parallelen Dateisystem von Google.
Features
Leistung und Skalierbarkeit für KI-/ML-Arbeitslasten
Für das Training großer Deep-Learning-Modelle sind riesige Datasets erforderlich. Managed Lustre basiert auf DDN EXAScaler und verteilt den Datenzugriff, wodurch sich die Trainingszeiten verkürzen. So lassen sich schneller Erkenntnisse gewinnen, die Genauigkeit verbessern und komplexe KI-Projekte bewältigen. Die Skalierbarkeit ist so konzipiert, dass die Leistung mit den wachsenden Daten Schritt hält und Speicherengpässe vermieden werden. Hier finden Sie eine Übersicht von Omdia zu Managed Lustre.
KI-Inferenz mit KV-Cache beschleunigen
Agentische KI bedingt weiterhin große Kontextfenster, wodurch Speicherherausforderung auf dem Weg dahin entstehen, eine responsive Interaktion mit Large Language Models zu ermöglichen. Große Kontextfenster erhöhen die Latenzempfindlichkeit, da der lokale Arbeitsspeicher auf den Beschleunigern oft erschöpft ist, sodass das Modell auf externen Speicher zugreifen muss.
GPU-Sättigung und ROI für Rechenleistung maximieren
Die wahren Kosten von KI entstehen nicht nur im Bereich des Speichers, sondern auch durch inaktive Rechenressourcen. Managed Lustre bietet die Datenbereitstellung mit hohem Durchsatz und geringer Latenz, die erforderlich ist, um Ihre teuersten Assets voll auszulasten. Durch die Optimierung der Datenverteilung und die Beschleunigung der schnellen Prüfpunktverarbeitung verbessern Sie die Nutzung von Beschleunigern erheblich, was zu geringerem Aufwand und einer besseren Leistung pro Dollar führt.
Innovationen in allen Branchen fördern
| Branchen |
|---|
KI und ML Datenmangel beseitigen und Foundation Models in großem Umfang trainieren. Durch die Entkopplung von Rechenleistung und Speicher erhöht Managed Lustre den Durchsatz der LLM-Inferenz mit externem Schlüssel/Wert-Caching im Submillisekundenbereich, sodass Ihre teuersten Beschleuniger voll ausgelastet bleiben. KI bei Google Cloud |
Gesundheitswesen und Biowissenschaften Treiben Sie bahnbrechende Innovationen für neue Heilmethoden voran. Sie liefern die extrem hohen IOPS, die für die Beschleunigung der Arzneimittelentwicklung, die Analyse komplexer Genomsequenzierungen und KI-gestützte medizinische Bildgebungssuiten erforderlich sind, und verkürzen die Zeit bis zum Erhalt aussagekräftiger Ergebnisse für Forschende und Klinikpersonal drastisch. Gesundheitswesen und Biowissenschaften bei Google Cloud entdecken |
Machine Vision, Robotik und autonome Fahrzeuge Die Pipeline für softwarebasierte Fahrzeuge beschleunigen. Innovatoren können mühelos Sensordaten in Petabyte-Größe aufnehmen und gleichzeitig Forschung und Entwicklung durch Speicher mit geringer Latenz für Simulationen in den Bereichen Aerodynamik, Sicherheit und thermische Optimierung beschleunigen. Automobillösungen bei Google Cloud |
Kapitalmärkte Führen Sie Arbeitslasten aus, die eine Präzision im Submillisekundenbereich erfordern. Ob komplexe quantitative Risikoanalysen und Echtzeit-Marktsimulationen für Finanzdienstleistungen oder die Beschleunigung von VFX-Rendering mit hoher Auflösung und Postproduktions-Workflows für globale Medienstudios. Kapitalmärkte und Finanzdienstleistungen bei Google Cloud entdecken. |
Medien und Unterhaltung Produktionstermine einhalten – mit kompromissloser Speicherleistung. Sie bieten den extrem hohen Durchsatz, der für eine nahtlose Bearbeitung von Videos mit hoher Auflösung, das Rendern von VFX in Echtzeit und beschleunigte Workflows in der Postproduktion erforderlich ist. Medien und Unterhaltung bei Google Cloud entdecken. |
KI und ML
Datenmangel beseitigen und Foundation Models in großem Umfang trainieren. Durch die Entkopplung von Rechenleistung und Speicher erhöht Managed Lustre den Durchsatz der LLM-Inferenz mit externem Schlüssel/Wert-Caching im Submillisekundenbereich, sodass Ihre teuersten Beschleuniger voll ausgelastet bleiben.
KI bei Google Cloud
Gesundheitswesen und Biowissenschaften
Treiben Sie bahnbrechende Innovationen für neue Heilmethoden voran. Sie liefern die extrem hohen IOPS, die für die Beschleunigung der Arzneimittelentwicklung, die Analyse komplexer Genomsequenzierungen und KI-gestützte medizinische Bildgebungssuiten erforderlich sind, und verkürzen die Zeit bis zum Erhalt aussagekräftiger Ergebnisse für Forschende und Klinikpersonal drastisch.
Gesundheitswesen und Biowissenschaften bei Google Cloud entdecken
Machine Vision, Robotik und autonome Fahrzeuge
Die Pipeline für softwarebasierte Fahrzeuge beschleunigen. Innovatoren können mühelos Sensordaten in Petabyte-Größe aufnehmen und gleichzeitig Forschung und Entwicklung durch Speicher mit geringer Latenz für Simulationen in den Bereichen Aerodynamik, Sicherheit und thermische Optimierung beschleunigen.
Automobillösungen bei Google Cloud
Kapitalmärkte
Führen Sie Arbeitslasten aus, die eine Präzision im Submillisekundenbereich erfordern. Ob komplexe quantitative Risikoanalysen und Echtzeit-Marktsimulationen für Finanzdienstleistungen oder die Beschleunigung von VFX-Rendering mit hoher Auflösung und Postproduktions-Workflows für globale Medienstudios.
Kapitalmärkte und Finanzdienstleistungen bei Google Cloud entdecken.
Medien und Unterhaltung
Produktionstermine einhalten – mit kompromissloser Speicherleistung. Sie bieten den extrem hohen Durchsatz, der für eine nahtlose Bearbeitung von Videos mit hoher Auflösung, das Rendern von VFX in Echtzeit und beschleunigte Workflows in der Postproduktion erforderlich ist.
Medien und Unterhaltung bei Google Cloud entdecken.
Jetzt starten
- Managed Lustre-Instanz erstellen: Stellen Sie Ihre Managed Lustre-Instanz mit nur wenigen Klicks bereit.
- Aufnehmen und verbinden: Sie können Ihr Managed Lustre-Dateisystem ganz einfach mit Daten direkt aus Google Cloud Storage füllen.
- Verarbeitung im großen Maßstab: Sie können riesige Datasets mit extrem niedriger Latenz in Vertex Training Clusters (VTC) oder GKE einlesen.
- Beschleunigen: Sie können Daten mit hohem Durchsatz direkt an Hardware der nächsten Generation weiterleiten, um für eine maximale GPU-Auslastung zu sorgen.
Tutorials, Kurzanleitungen und Labs
- Managed Lustre-Instanz erstellen: Stellen Sie Ihre Managed Lustre-Instanz mit nur wenigen Klicks bereit.
- Aufnehmen und verbinden: Sie können Ihr Managed Lustre-Dateisystem ganz einfach mit Daten direkt aus Google Cloud Storage füllen.
- Verarbeitung im großen Maßstab: Sie können riesige Datasets mit extrem niedriger Latenz in Vertex Training Clusters (VTC) oder GKE einlesen.
- Beschleunigen: Sie können Daten mit hohem Durchsatz direkt an Hardware der nächsten Generation weiterleiten, um für eine maximale GPU-Auslastung zu sorgen.
Preise
| Preise für Managed Lustre | Die Preise für Managed Lustre richten sich in erster Linie nach Standort und Servicelevel. |
|---|---|
| Service-Level | Preise |
1.000 MB/s/TiB Ideal für Arbeitslasten mit hoher Leistung wie KI/ML-Training, bei denen der Durchsatz entscheidend ist. | Ab 0,60 $ pro GiB und Monat |
500 MB/s/TiB Ideale Balance für hohe Leistung: Hervorragend geeignet für anspruchsvolle KI/ML-Arbeitslasten, komplexe HPC-Anwendungen und datenintensive Analysen, die einen hohen Durchsatz erfordern, aber von einem ausgewogeneren Preis-Leistungs-Verhältnis profitieren können. | Ab 0,34 $ pro GiB und Monat |
250 MB/s/TiB Ideal für allgemeine HPC- und durchsatzintensive KI: Geeignet für eine breite Palette von HPC-Arbeitslasten, KI/ML-Inferenz, Datenvorverarbeitung und Anwendungen, die eine deutlich bessere Leistung als herkömmliches NFS zu einem kostengünstigen Preis benötigen. | Ab 0,21 $ pro GiB und Monat |
125 MB/s/TiB Am besten geeignet für kapazitätsorientierte Arbeitslasten mit parallelem Zugriff: Entwickelt für Szenarien, in denen große Kapazitäten und paralleler Dateisystemzugriff entscheidend sind. Gut für weniger E/A-intensive parallele Aufgaben. | Ab 1,45 $ pro GiB und Monat |
Google Cloud-Preise Vollständige Preisinformationen
Preise für Managed Lustre
Die Preise für Managed Lustre richten sich in erster Linie nach Standort und Servicelevel.
1.000 MB/s/TiB
Ideal für Arbeitslasten mit hoher Leistung wie KI/ML-Training, bei denen der Durchsatz entscheidend ist.
Ab 0,60 $ pro GiB und Monat
500 MB/s/TiB
Ideale Balance für hohe Leistung: Hervorragend geeignet für anspruchsvolle KI/ML-Arbeitslasten, komplexe HPC-Anwendungen und datenintensive Analysen, die einen hohen Durchsatz erfordern, aber von einem ausgewogeneren Preis-Leistungs-Verhältnis profitieren können.
Ab 0,34 $ pro GiB und Monat
250 MB/s/TiB
Ideal für allgemeine HPC- und durchsatzintensive KI: Geeignet für eine breite Palette von HPC-Arbeitslasten, KI/ML-Inferenz, Datenvorverarbeitung und Anwendungen, die eine deutlich bessere Leistung als herkömmliches NFS zu einem kostengünstigen Preis benötigen.
Ab 0,21 $ pro GiB und Monat
125 MB/s/TiB
Am besten geeignet für kapazitätsorientierte Arbeitslasten mit parallelem Zugriff: Entwickelt für Szenarien, in denen große Kapazitäten und paralleler Dateisystemzugriff entscheidend sind. Gut für weniger E/A-intensive parallele Aufgaben.
Ab 1,45 $ pro GiB und Monat
Google Cloud-Preise Vollständige Preisinformationen
Anwendungsszenario
Kundenstimmen zu Managed Lustre
Unsere neuesten Produkte:
„Unsere Fähigkeit, Unternehmen dabei zu unterstützen, Deepfake-Audio, ‑Video und ‑Bilder zu erkennen und zu blockieren, hängt von der Qualität unserer Modelle ab. Managed Lustre ist entscheidend für unser erfolgreiches Modelltraining mit unseren dynamischen Datasets. Wir können unsere GPUs voll auslasten und es ist sechsmal schneller als die anderen Speicherlösungen, die wir getestet haben.“
—Zohaib Ahmed, CEO von Resemble AI
„Mit Managed Lustre können wir das KI-Modelltraining für AFEELA Intelligent Drive im Vergleich zu anderen Google Cloud-Lösungen um das Dreifache skalieren.“
—Motoi Kataoka, Senior Manager, AI and Data Analytics Platform, Sony Honda Mobility Inc.
„Durch die Einbindung von Managed Lustre in VTC (Vertex Training Clusters) konnte Salesforce AI Research die typischen Onboarding-Engpässe beseitigen, sodass wir mit der Inferenz-Arbeitslast sofort loslegen konnten. Dieser Speicher mit hohem Durchsatz und niedriger Latenz hält unsere B200-GPUs voll ausgelastet und sorgt für eine deutliche Leistungssteigerung bei der Inferenz von Large Language Models im Vergleich zur H200. Für unsere Kundenunternehmen bedeutet das schnellere, responsivere KI-Agenten, die komplexe Schlussfolgerungen mit einem Bruchteil der bisherigen Latenzzeit verarbeiten können.“
—Lavanya Karanam, Principal Software Engineer, Salesforce
GKE-Arbeitslasten mit Managed Lustre skalieren
Anleitung zur Verwendung des Managed Lustre CSI-Treibers mit der Google Kubernetes Engine (GKE) zur nahtlosen Bereitstellung von Hochleistungsspeicher für containerisierte KI-, ML- und HPC-Arbeitslasten. Blog lesen
KI und HPC mit Managed Lustre beschleunigen
Übersicht darüber, wie Managed Lustre die Bereitstellung paralleler Dateisysteme für HPC-Arbeitslasten vereinfacht. Blog lesen
Externer KV-Cache mit Managed Lustre
Eine detaillierte Anleitung zur Verwendung von Lustre zum Auslagern von Schlüssel/Wert-Caches für die Large Language Model-Inferenz (LLMs), wodurch der Speicheraufwand auf TPUs/GPUs reduziert wird. Blog lesen
