almacenamiento

Google Cloud Managed Lustre

Sistema de archivos paralelos de alto rendimiento

Acelera el entrenamiento y la entrega de IA y HPC con el sistema de archivos paralelos de Google con mayor rendimiento y que cumplen con POSIX.

Funciones

Rendimiento y escalamiento para cargas de trabajo de IA/AA

Entrenar modelos de aprendizaje profundo grandes requiere conjuntos de datos masivos. Managed Lustre, basado en DDN EXAScaler, distribuye el acceso a los datos, lo que reduce los tiempos de entrenamiento y permite obtener estadísticas más rápido, mayor exactitud y manejar proyectos de IA complejos. Su escalabilidad está diseñada para que el rendimiento siga el ritmo del crecimiento de los datos, lo que evita los cuellos de botella en el almacenamiento. Mira la descripción general de Omdia sobre Managed Lustre aquí.

Acelera la inferencia de la IA con la caché de par clave-valor

La IA de agentes sigue impulsando las grandes ventanas de contexto, lo que puede plantear un desafío de almacenamiento para proporcionarte una experiencia responsiva a medida que interactúas con los modelos de lenguaje grandes. Las ventanas de contexto grandes aumentan la sensibilidad a la latencia, ya que la memoria local de los aceleradores suele agotarse, lo que requiere que el modelo acceda al almacenamiento externo.

Maximiza la saturación de la GPU y el ROI de procesamiento

El verdadero costo de la IA no es solo el almacenamiento, sino el procesamiento inactivo. Managed Lustre ofrece la entrega de datos de alto rendimiento y baja latencia necesaria para mantener tus recursos más costosos completamente saturados. Gracias a la optimización de la distribución de datos y la aceleración de la creación de puntos de control, se mejora drásticamente el uso del acelerador, lo que reduce la sobrecarga y mejora el rendimiento por dólar.

Potenciamos la innovación en todas las industrias

Industrias

IA y AA

Elimina la falta de datos y entrena modelos de base a gran escala. Con la separación del procesamiento y el almacenamiento, Managed Lustre aumenta la capacidad de procesamiento de la inferencia de LLM con almacenamiento externo en caché de pares clave-valor de menos de un milisegundo, lo que mantiene tus aceleradores más costosos completamente saturados.

Explora la IA en Google Cloud.

Salud y ciencias biológicas

Impulsa la innovación revolucionaria hacia nuevas curas. Ofrece las IOPS extremas necesarias para acelerar el descubrimiento de fármacos, analizar secuencias genómicas complejas y potenciar los conjuntos de imágenes médicas basadas en IA, lo que reduce drásticamente el tiempo de obtención de información para investigadores y médicos.

Explora salud y ciencias biológicas en Google Cloud.

Visión artificial, robótica y vehículos autónomos

Acelera la canalización definida por software para vehículos. Permite que los innovadores transfieran fácilmente telemetría de sensores a escala de petabytes, mientras que la ingeniería de investigación y desarrollo se potencia con almacenamiento de latencia cero para simulaciones de aerodinámica, seguridad y optimización térmica.

Explora la industria automotriz en Google Cloud.

Mercados de capital

Ejecuta cargas de trabajo que exigen una precisión de menos de un milisegundo. Ya sea que ejecutes análisis de riesgo cuantitativos complejos y simulaciones de mercado en tiempo real para servicios financieros, o que aceleres la renderización de VFX de alta resolución y los flujos de trabajo de posproducción para estudios de medios globales.

Explora los mercados de capitales y los servicios financieros en Google Cloud.

Medios de comunicación y entretenimiento

Cumple con los plazos de producción con un rendimiento de almacenamiento sin concesiones. Ofrece a tus estudios la capacidad ultraalta de procesamiento necesaria para la edición fluida de videos de alta resolución, la renderización de VFX en tiempo real y los flujos de trabajo de posproducción acelerados.

Explora medios de comunicación y entretenimiento en Google Cloud.

IA y AA

Elimina la falta de datos y entrena modelos de base a gran escala. Con la separación del procesamiento y el almacenamiento, Managed Lustre aumenta la capacidad de procesamiento de la inferencia de LLM con almacenamiento externo en caché de pares clave-valor de menos de un milisegundo, lo que mantiene tus aceleradores más costosos completamente saturados.

Explora la IA en Google Cloud.

Salud y ciencias biológicas

Impulsa la innovación revolucionaria hacia nuevas curas. Ofrece las IOPS extremas necesarias para acelerar el descubrimiento de fármacos, analizar secuencias genómicas complejas y potenciar los conjuntos de imágenes médicas basadas en IA, lo que reduce drásticamente el tiempo de obtención de información para investigadores y médicos.

Explora salud y ciencias biológicas en Google Cloud.

Visión artificial, robótica y vehículos autónomos

Acelera la canalización definida por software para vehículos. Permite que los innovadores transfieran fácilmente telemetría de sensores a escala de petabytes, mientras que la ingeniería de investigación y desarrollo se potencia con almacenamiento de latencia cero para simulaciones de aerodinámica, seguridad y optimización térmica.

Explora la industria automotriz en Google Cloud.

Mercados de capital

Ejecuta cargas de trabajo que exigen una precisión de menos de un milisegundo. Ya sea que ejecutes análisis de riesgo cuantitativos complejos y simulaciones de mercado en tiempo real para servicios financieros, o que aceleres la renderización de VFX de alta resolución y los flujos de trabajo de posproducción para estudios de medios globales.

Explora los mercados de capitales y los servicios financieros en Google Cloud.

Medios de comunicación y entretenimiento

Cumple con los plazos de producción con un rendimiento de almacenamiento sin concesiones. Ofrece a tus estudios la capacidad ultraalta de procesamiento necesaria para la edición fluida de videos de alta resolución, la renderización de VFX en tiempo real y los flujos de trabajo de posproducción acelerados.

Explora medios de comunicación y entretenimiento en Google Cloud.

Cómo funciona

Almacenamiento de alto rendimiento para IA. Aprovisiona y escala al instante la HPC en la nube a pedido con Google Cloud Managed Lustre, que aprovecha la tecnología de DDN EXAScaler.

Usos comunes

Primeros pasos

  1. Crea una instancia de Managed Lustre: Implementa tu instancia de Managed Lustre con solo unos clics.
  2. Transferencia y conexión: Hidrata fácilmente desde Google Cloud Storage a tu sistema de archivos Lustre administrado.
  3. Procesamiento a gran escala: Alimenta conjuntos de datos masivos en clústeres de entrenamiento de Vertex (VTC) o GKE con latencia ultrabaja.
  4. Acelera: Proporciona datos de alto rendimiento directamente al hardware de nueva generación, lo que garantiza que las GPU funcionen con el máximo uso.

    1. Crea una instancia de Managed Lustre: Implementa tu instancia de Managed Lustre con solo unos clics.
    2. Transferencia y conexión: Hidrata fácilmente desde Google Cloud Storage a tu sistema de archivos Lustre administrado.
    3. Procesamiento a gran escala: Alimenta conjuntos de datos masivos en clústeres de entrenamiento de Vertex (VTC) o GKE con latencia ultrabaja.
    4. Acelera: Proporciona datos de alto rendimiento directamente al hardware de nueva generación, lo que garantiza que las GPU funcionen con el máximo uso.

      Precios

      Precios de Managed LustreLos precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio.
      Nivel de servicioPrecios

      1,000 MB/s/TiB

      Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA/AA, en que la capacidad de procesamiento es fundamental.

      Desde $0.60 por GiB al mes

      500 MB/s/TiB

      Ideal para un equilibrio de alto rendimiento: Excelente para cargas de trabajo exigentes de IA/AA, aplicaciones complejas de HPC y análisis con uso intensivo de datos que requieren una capacidad de procesamiento importante, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada.

      Desde $0.34 por GiB al mes

      250 MB/s/TiB

      Ideal para HPC de uso general y para IA con uso intensivo de capacidad de procesamiento: Adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA/AA, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el NFS tradicional, a un precio rentable.


      Desde $0.21 por GiB al mes

      125 MB/s/TiB

      Ideal para cargas de trabajo enfocadas en la capacidad con requisitos de acceso paralelo: Diseñado para situaciones en las que son clave las grandes capacidades y el acceso paralelo al sistema de archivos. Es bueno para tareas paralelas con menos E/S.

      Desde $0.145 por GiB al mes

      Explora los precios de Google Cloud. Ver todos los detalles de precios.

      Precios de Managed Lustre

      Los precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio.

      1,000 MB/s/TiB

      Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA/AA, en que la capacidad de procesamiento es fundamental.

      Precios

      Desde $0.60 por GiB al mes

      500 MB/s/TiB

      Ideal para un equilibrio de alto rendimiento: Excelente para cargas de trabajo exigentes de IA/AA, aplicaciones complejas de HPC y análisis con uso intensivo de datos que requieren una capacidad de procesamiento importante, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada.

      Precios

      Desde $0.34 por GiB al mes

      250 MB/s/TiB

      Ideal para HPC de uso general y para IA con uso intensivo de capacidad de procesamiento: Adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA/AA, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el NFS tradicional, a un precio rentable.


      Precios

      Desde $0.21 por GiB al mes

      125 MB/s/TiB

      Ideal para cargas de trabajo enfocadas en la capacidad con requisitos de acceso paralelo: Diseñado para situaciones en las que son clave las grandes capacidades y el acceso paralelo al sistema de archivos. Es bueno para tareas paralelas con menos E/S.

      Precios

      Desde $0.145 por GiB al mes

      Explora los precios de Google Cloud. Ver todos los detalles de precios.

      Calculadora de precios

      Estima los cargos mensuales de los productos de Google Cloud.

      Presupuesto personalizado

      Comunícate con nuestro equipo de Ventas y obtén una cotización personalizada para tu organización.

      Comienza tu prueba de concepto

      Comienza a usar Managed Lustre

      Analiza los detalles técnicos

      Explora Managed Lustre en Google Cloud

      Comienza a crear tu aplicación de IA con Vertex AI

      Explora AI Hypercomputer, la arquitectura de supercomputación integrada de Google

      Caso empresarial

      Conoce la opinión de nuestros clientes de Managed Lustre


      “Nuestra capacidad para ayudar a las empresas a identificar y bloquear audios, imágenes y videos deepfake depende de la calidad de nuestros modelos. Managed Lustre es fundamental para el entrenamiento exitoso de nuestros modelos con nuestros conjuntos de datos dinámicos. Podemos saturar por completo nuestras GPU y es 6 veces más rápido que las otras soluciones de almacenamiento que evaluamos”.

      Zohaib Ahmed, director general de Resemble AI

      “Managed Lustre nos permite escalar el entrenamiento de modelos de IA para AFEELA Intelligent Drive 3 veces más rápido en comparación con otras soluciones de Google Cloud”.

      Motoi Kataoka, gerente sénior de la plataforma de IA y análisis de datos de Sony Honda Mobility Inc.

      "Gracias a la integración de Managed Lustre con VTC (clústeres de entrenamiento de Vertex), Salesforce AI Research eliminó los típicos cuellos de botella de la incorporación, lo que nos permitió empezar a trabajar de inmediato con la carga de trabajo de inferencia. Este almacenamiento de alto rendimiento y baja latencia mantiene nuestras GPU B200 completamente saturadas, lo que genera una mejora sustancial en el rendimiento de la inferencia de modelos de lenguaje grandes en comparación con la H200. Para nuestros clientes, esto se traduce directamente en agentes de IA más rápidos y con mayor capacidad de respuesta que pueden manejar razonamientos complejos con una latencia mucho menor que antes".

      Lavanya Karanam, ingeniera de software principal, Salesforce

      Escala cargas de trabajo de GKE con Managed Lustre

      Una guía sobre el uso del controlador Managed Lustre CSI con Google Kubernetes Engine (GKE) para aprovisionar sin problemas almacenamiento de alto rendimiento para cargas de trabajo de IA, AA y HPC en contenedores. Leer el blog

      Aceleración de la IA y la HPC con Managed Lustre

      Una descripción general de cómo Managed Lustre simplifica la implementación de sistemas de archivos paralelos para cargas de trabajo de computación de alto rendimiento. Leer el blog

      Caché de par clave-valor externa con Managed Lustre

      Un análisis detallado sobre el uso de Lustre para descargar cachés de par clave-valor para la inferencia de modelos de lenguaje grandes (LLM), lo que reduce la sobrecarga de memoria en TPU y GPU. Leer el blog

      • Logotipo de Resemble AI
      • Sony Honda Mobility
      • Logotipo de Salesforce
      Google Cloud