Angekündigt im Mai 2025: Dataproc Serverless ist jetzt Google Cloud Serverless for Apache Spark
Google Cloud Serverless for Apache Spark
Konzentrieren Sie sich auf Ihren Code, nicht auf Ihre Infrastruktur
Führen Sie Ihre Apache Spark-Jobs einfacher auf einer anpassbaren Zero-Ops-Plattform, intelligenter dank Gemini-Unterstützung und schneller dank der Leistung der Lightning Engine aus.
Apache Spark ist eine Marke der Apache Software Foundation.
Features
Branchenführende Leistung
Mit der Lightning Engine, unserer vektorisierten Engine der nächsten Generation, können Sie Ihre Aufträge beschleunigen. Sie profitieren von einer mehr als 4,3‑mal schnelleren Leistung und niedrigeren Gesamtkosten bei Ihren serverlosen Spark-Arbeitslasten – automatisch.
Zero-Ops mit intelligentem Autoscaling
Dank intelligentem Autoscaling entfällt die Clusterverwaltung. Die Ressourcen werden automatisch hoch- und herunterskaliert, um den Anforderungen Ihres Jobs perfekt zu entsprechen. So wird maximale Leistung und Kosteneffizienz gewährleistet, ohne dass Sie für Leerlaufzeiten bezahlen müssen.
KI-basierte Entwicklung
Beschleunigen Sie Ihren gesamten Workflow. Mit Gemini Code Assist in BigQuery Studio können Sie PySpark-, Scala- und Java-Code schreiben und debuggen und GPU-beschleunigte Umgebungen mit vorkonfigurierten ML-Laufzeiten starten.
Einheitliche Spark- und SQL-Nutzung
Vermeiden Sie Kontextwechsel. Sie können Ihre Arbeitslasten in einer einzigen Umgebung wie BigQuery Studio entwickeln und ausführen. Dabei lassen sich leistungsstarkes SQL und die Flexibilität von PySpark nahtlos in einem Notebook kombinieren.
Zwei Leistungsstufen
| Zwei Leistungsstufen | Es gibt verschiedene Stufen für spezifische Anforderungen – von der Standard-Batchverarbeitung bis hin zu den anspruchsvollsten, leistungskritischen Jobs. |
|---|---|
| Stufe | Optimal für |
Standard | Ideal für kosteneffiziente Batchverarbeitung, Datentransformationen und allgemeine Spark-Jobs.
|
Premium | Für die anspruchsvollsten Arbeitslasten mit maximaler Leistung durch die Lightning Engine, KI-/ML-Beschleunigung und interaktive Funktionen.
|
Zwei Leistungsstufen
Es gibt verschiedene Stufen für spezifische Anforderungen – von der Standard-Batchverarbeitung bis hin zu den anspruchsvollsten, leistungskritischen Jobs.
Standard
Ideal für kosteneffiziente Batchverarbeitung, Datentransformationen und allgemeine Spark-Jobs.
- Allgemeine Spark-ETL
- Geplante Datenpipelines
- Kostensensitive Batchjobs
Premium
Für die anspruchsvollsten Arbeitslasten mit maximaler Leistung durch die Lightning Engine, KI-/ML-Beschleunigung und interaktive Funktionen.
- Leistungskritische Jobs mit der Lightning Engine für eine 4,3‑fache Steigerung
- Interaktive Data Science und Analysen
- GPU-beschleunigte KI und ML
- Komplexe, umfangreiche Datenverarbeitung
Interaktive Data Science
Interaktive Data Science
Data Scientists können Daten untersuchen und schnell Spark ML-Modelle iterieren. Vereinheitlichen Sie SQL und Spark in einem einzigen BigQuery Studio-Notebook und wechseln Sie nahtlos von der Datenexploration mit SQL zur Modellentwicklung mit PySpark, ohne jemals die Infrastruktur verwalten zu müssen.
Tutorials, Kurzanleitungen und Labs
Interaktive Data Science
Interaktive Data Science
Data Scientists können Daten untersuchen und schnell Spark ML-Modelle iterieren. Vereinheitlichen Sie SQL und Spark in einem einzigen BigQuery Studio-Notebook und wechseln Sie nahtlos von der Datenexploration mit SQL zur Modellentwicklung mit PySpark, ohne jemals die Infrastruktur verwalten zu müssen.
Preise
| Transparente, wertorientierte Preisgestaltung | Die Preise für Serverless for Apache Spark basieren auf der sekundengenauen Nutzung von Rechenleistung (DCUs), GPUs und Shuffle-Speicher. | |
|---|---|---|
| Dienste und Nutzung | Abotyp | Preis (in $) |
Data Compute Unit (DCU) | Standard | Ab 0,06 $ pro Stunde |
Premium | Ab 0,089 $ pro Stunde | |
Zufällige Speicherung | Standard | Ab 0,04 $ pro GB/Monat |
Premium | Ab 0,1 $ pro GB/Monat | |
Preise für Beschleuniger | a100 40 GB | Ab 3,52069 $ pro Stunde |
a100 80 GB | Ab 4,713696 $ pro Stunde | |
L4 | Ab 0,672048 $ pro Stunde | |
Preisinformationen für Google Cloud Serverless for Apache Spark ansehen
Transparente, wertorientierte Preisgestaltung
Die Preise für Serverless for Apache Spark basieren auf der sekundengenauen Nutzung von Rechenleistung (DCUs), GPUs und Shuffle-Speicher.
Data Compute Unit (DCU)
Standard
Starting at
0,06 $
pro Stunde
Premium
Starting at
0,089 $
pro Stunde
Zufällige Speicherung
Standard
Starting at
0,04 $
pro GB/Monat
Premium
Starting at
0,1 $
pro GB/Monat
Preise für Beschleuniger
a100 40 GB
Starting at
3,52069 $
pro Stunde
a100 80 GB
Starting at
4,713696 $
pro Stunde
L4
Starting at
0,672048 $
pro Stunde
Preisinformationen für Google Cloud Serverless for Apache Spark ansehen
Anwendungsszenario
Business Case für Google Cloud Serverless for Apache Spark erstellen
Die wirtschaftlichen Vorteile von Google Cloud Dataproc und Serverless Spark im Vergleich zu alternativen Lösungen
Hier erfahren Sie, wie Sie mit Serverless for Apache Spark im Vergleich zu lokalen und anderen Cloud-Lösungen die Gesamtbetriebskosten deutlich senken und den Geschäftswert steigern können.
Unter anderem im Bericht:
Dataproc und Serverless for Apache Spark können im Vergleich zu anderen cloudbasierten Spark-Alternativen Kosteneinsparungen von 18–60 % erzielen.
Erfahren Sie, wie Google Cloud Serverless for Apache Spark eine 21% bis 55% bessere Preis-Leistungs-Relation als andere serverlose Spark-Angebote bieten kann.
Erfahren Sie, wie Dataproc und Google Cloud Serverless for Apache Spark die Bereitstellung von Spark vereinfachen und die betriebliche Komplexität reduzieren.
FAQs
Wann sollte ich Serverless for Apache Spark und wann Dataproc verwenden?
Wählen Sie Serverless for Apache Spark, wenn Sie sich auf Ihren Code konzentrieren und die gesamte Infrastrukturverwaltung eliminieren möchten. Es eignet sich ideal für neue Spark-Pipelines, interaktive Analysen und Jobs mit unvorhersehbarer Nachfrage, bei denen Geschwindigkeit und Einfachheit im Vordergrund stehen.
Muss ich meine eigenen Bibliotheken (z. B. PyTorch oder XGBoost) installieren?
Der Premium-Tarif ist für KI/ML konzipiert und bietet vorkonfigurierte ML-Laufzeiten mit gängigen Bibliotheken wie PyTorch, XGBoost und scikit-learn. So entfällt die komplexe Einrichtung und Sie können in wenigen Minuten mit Ihren Data-Science-Arbeitslasten beginnen.
Wie erziele ich die beste Leistung und wie funktioniert das Preismodell?
Für maximale Leistung können Sie den Premium-Tarif auswählen, der auf der Lightning Engine basiert. Die Preise basieren auf einem nutzungsbasierten Modell, bei dem Sie pro Sekunde nur für die Dauer der Ausführung Ihres Jobs zahlen. Dies ist sehr kosteneffizient, da die Kosten für inaktive Cluster entfallen.
