armazenamento

Google Cloud Managed Lustre

Sistema de arquivos paralelo de alto desempenho

Acelere o treinamento e a disponibilização de HPC e IA com o sistema de arquivos paralelo de alto desempenho e compatível com POSIX do Google.

Recursos

Desempenho e escalonamento para cargas de trabalho de IA/ML

Treinar modelos grandes de aprendizado profundo exige conjuntos de dados enormes. O Managed Lustre, baseado no DDN EXAScaler (link em inglês), distribui o acesso aos dados, reduzindo os tempos de treinamento, permitindo insights mais rápidos, maior precisão e gerenciamento de projetos complexos de IA. A escalonabilidade foi projetada para que o desempenho acompanhe o aumento dos dados, evitando gargalos de armazenamento. Assista a uma visão geral da Omdia sobre o Managed Lustre aqui.

Acelere a inferência de IA com o cache de chave-valor

A IA agêntica continua a impulsionar as grandes janelas de contexto, o que pode representar um desafio de armazenamento para oferecer a você uma experiência responsiva ao interagir com LLMs. Janelas de contexto grandes aumentam a sensibilidade à latência, porque a memória local nos aceleradores costuma se esgotar, exigindo que o modelo acesse o armazenamento externo.

Maximize a saturação da GPU e o ROI da computação

O verdadeiro custo da IA não é apenas o armazenamento, mas também a computação ociosa. O Managed Lustre oferece a entrega de dados de alta capacidade e baixa latência necessária para manter seus recursos mais caros totalmente saturados. Ao otimizar a distribuição de dados e acelerar a criação de pontos de verificação rápidos, você melhora drasticamente o uso do acelerador, o que leva a uma redução da sobrecarga e a um desempenho superior por dólar.

Impulsionando a inovação em vários setores

Setores

IA e ML

Elimine a falta de dados e treine modelos de fundação em grande escala. Ao desacoplar computação e armazenamento, o Managed Lustre aumenta a capacidade de processamento da inferência de LLM, com o armazenamento em cache de chave-valor externo em menos de um milissegundo, mantendo seus aceleradores mais caros totalmente saturados.

Conheça a IA no Google Cloud.

Saúde e ciências biológicas

Impulsionar a inovação revolucionária em direção a novas curas. Ofereça as IOPS extremas necessárias para acelerar a descoberta de medicamentos, analisar sequências genômicas complexas e alimentar suítes de imagens médicas baseadas em IA, reduzindo drasticamente o tempo de geração de insights para pesquisadores e médicos.

Conheça as soluções de saúde e ciências biológicas no Google Cloud.

Visão computacional, robótica e veículos autônomos

Acelerar o pipeline de veículos definidos por software. Permita que os inovadores ingiram sem esforço telemetria de sensores em escala de petabytes, ao mesmo tempo em que turbinam a engenharia de pesquisa e desenvolvimento com armazenamento de latência zero para simulações de aerodinâmica, segurança e otimização térmica.

Conheça o setor automotivo no Google Cloud.

Mercados de capitais

Executar cargas de trabalho que exigem precisão de submilisegundos. Seja executando análises de risco quantitativas complexas e simulações de mercado em tempo real para serviços financeiros, acelerando a renderização de efeitos visuais de alta resolução e fluxos de trabalho de pós-produção para estúdios de mídia globais.

Conheça as soluções do Google Cloud para mercados de capitais e serviços financeiros.

Mídia e entretenimento

Cumpra os prazos de produção com desempenho de armazenamento sem compromissos. Ofereça aos seus estúdios a capacidade de processamento ultrarrápida necessária para edição de vídeo de alta resolução, renderização de efeitos visuais em tempo real e fluxos de trabalho de pós-produção acelerados.

Conheça o setor de mídia e entretenimento no Google Cloud.

IA e ML

Elimine a falta de dados e treine modelos de fundação em grande escala. Ao desacoplar computação e armazenamento, o Managed Lustre aumenta a capacidade de processamento da inferência de LLM, com o armazenamento em cache de chave-valor externo em menos de um milissegundo, mantendo seus aceleradores mais caros totalmente saturados.

Conheça a IA no Google Cloud.

Saúde e ciências biológicas

Impulsionar a inovação revolucionária em direção a novas curas. Ofereça as IOPS extremas necessárias para acelerar a descoberta de medicamentos, analisar sequências genômicas complexas e alimentar suítes de imagens médicas baseadas em IA, reduzindo drasticamente o tempo de geração de insights para pesquisadores e médicos.

Conheça as soluções de saúde e ciências biológicas no Google Cloud.

Visão computacional, robótica e veículos autônomos

Acelerar o pipeline de veículos definidos por software. Permita que os inovadores ingiram sem esforço telemetria de sensores em escala de petabytes, ao mesmo tempo em que turbinam a engenharia de pesquisa e desenvolvimento com armazenamento de latência zero para simulações de aerodinâmica, segurança e otimização térmica.

Conheça o setor automotivo no Google Cloud.

Mercados de capitais

Executar cargas de trabalho que exigem precisão de submilisegundos. Seja executando análises de risco quantitativas complexas e simulações de mercado em tempo real para serviços financeiros, acelerando a renderização de efeitos visuais de alta resolução e fluxos de trabalho de pós-produção para estúdios de mídia globais.

Conheça as soluções do Google Cloud para mercados de capitais e serviços financeiros.

Mídia e entretenimento

Cumpra os prazos de produção com desempenho de armazenamento sem compromissos. Ofereça aos seus estúdios a capacidade de processamento ultrarrápida necessária para edição de vídeo de alta resolução, renderização de efeitos visuais em tempo real e fluxos de trabalho de pós-produção acelerados.

Conheça o setor de mídia e entretenimento no Google Cloud.

Como funciona

Armazenamento de alto desempenho para IA. Provisione e dimensione o HPC em nuvem sob demanda com o Google Cloud Managed Lustre, com tecnologia DDN EXAScaler.

Usos comuns

Começar

  1. Criar instância do Managed Lustre: Implante sua instância do Managed Lustre com apenas alguns cliques.
  2. Ingestão e conexão : hidrate facilmente seu sistema de arquivos Managed Lustre com dados diretamente do Google Cloud Storage.
  3. Processamento em escala: alimente conjuntos de dados massivos em clusters de treinamento da Vertex (VTC) ou no GKE com latência ultrabaixa.
  4. Acelerar: forneça dados de alta capacidade de processamento diretamente ao hardware de última geração, garantindo que as GPUs funcionem com uso máximo.

    1. Criar instância do Managed Lustre: Implante sua instância do Managed Lustre com apenas alguns cliques.
    2. Ingestão e conexão : hidrate facilmente seu sistema de arquivos Managed Lustre com dados diretamente do Google Cloud Storage.
    3. Processamento em escala: alimente conjuntos de dados massivos em clusters de treinamento da Vertex (VTC) ou no GKE com latência ultrabaixa.
    4. Acelerar: forneça dados de alta capacidade de processamento diretamente ao hardware de última geração, garantindo que as GPUs funcionem com uso máximo.

      Preços

      Preços do Managed LustreOs preços do Managed Lustre são baseados principalmente no local e no nível de serviço.
      Nível de serviçoPreços

      1.000 MB/s/TiB

      Ideal para cargas de trabalho de alto desempenho que querem treinar IA/ML, em que a capacidade de processamento é fundamental.

      A partir de US$ 0,60/GiB por mês

      500 MB/s/TiB

      Melhor para equilíbrio de alto desempenho: excelente para cargas de trabalho exigentes de IA/ML, aplicativos complexos de HPC e análises intensivas em dados que exigem capacidade de processamento substancial, mas podem se beneficiar de uma relação preço-desempenho mais equilibrada.

      A partir de US$ 0,34/GiB por mês

      250 MB/s/TiB

      Ideal para HPC de uso geral e IA com uso intensivo de capacidade de processamento: adequado para uma ampla variedade de cargas de trabalho de HPC, inferência de IA/ML, pré-processamento de dados e aplicativos que precisam de um desempenho significativamente melhor do que o NFS tradicional, a um preço econômico.


      A partir de US$ 0,21/GiB por mês

      125 MB/s/TiB

      Ideal para cargas de trabalho focadas em capacidade com requerimentos de acesso paralelo: projetado para cenários em que grandes capacidades e acesso paralelo ao sistema de arquivos são essenciais. Bom para tarefas paralelas com menos vinculação de E/S.

      A partir de US$ 0,145/GiB por mês

      Conheça os preços do Google Cloud. Confira todos os detalhes de preços.

      Preços do Managed Lustre

      Os preços do Managed Lustre são baseados principalmente no local e no nível de serviço.

      1.000 MB/s/TiB

      Ideal para cargas de trabalho de alto desempenho que querem treinar IA/ML, em que a capacidade de processamento é fundamental.

      Preços

      A partir de US$ 0,60/GiB por mês

      500 MB/s/TiB

      Melhor para equilíbrio de alto desempenho: excelente para cargas de trabalho exigentes de IA/ML, aplicativos complexos de HPC e análises intensivas em dados que exigem capacidade de processamento substancial, mas podem se beneficiar de uma relação preço-desempenho mais equilibrada.

      Preços

      A partir de US$ 0,34/GiB por mês

      250 MB/s/TiB

      Ideal para HPC de uso geral e IA com uso intensivo de capacidade de processamento: adequado para uma ampla variedade de cargas de trabalho de HPC, inferência de IA/ML, pré-processamento de dados e aplicativos que precisam de um desempenho significativamente melhor do que o NFS tradicional, a um preço econômico.


      Preços

      A partir de US$ 0,21/GiB por mês

      125 MB/s/TiB

      Ideal para cargas de trabalho focadas em capacidade com requerimentos de acesso paralelo: projetado para cenários em que grandes capacidades e acesso paralelo ao sistema de arquivos são essenciais. Bom para tarefas paralelas com menos vinculação de E/S.

      Preços

      A partir de US$ 0,145/GiB por mês

      Conheça os preços do Google Cloud. Confira todos os detalhes de preços.

      Calculadora de preços

      Faça uma estimativa dos seus custos mensais para produtos do Google Cloud.

      Cota personalizada

      Fale com nossa equipe de vendas e receba uma cotação personalizada para sua organização.

      Comece sua prova de conceito

      Comece a usar o Managed Lustre

      Conheça os detalhes técnicos

      Conheça o Managed Lustre no Google Cloud

      Comece a criar seu aplicativo de IA com a Vertex AI

      Conheça o Hipercomputador de IA, a arquitetura de supercomputação integrada do Google

      Caso de negócios

      Conheça nossos clientes do Managed Lustre


      "Nossa capacidade de ajudar as empresas a identificar e bloquear áudios, vídeos e imagens deepfake depende da qualidade dos nossos modelos. O Lustre gerenciado é essencial para o treinamento bem-sucedido do nosso modelo com os conjuntos de dados dinâmicos. Ele satura totalmente nossas GPUs e é 6 vezes mais rápido do que as outras soluções de armazenamento que avaliamos."

      Zohaib Ahmed, CEO da Resemble AI

      "O Managed Lustre nos permite escalonar em 3 vezes o treinamento de modelo de IA para o AFEELA Intelligent Drive em comparação com outras soluções do Google Cloud."

      Motoi Kataoka, gerente sênior da plataforma de análise de dados e IA da Sony Honda Mobility Inc.

      "Ao integrar o Managed Lustre aos VTC (clusters de treinamento da Vertex), a Salesforce AI Research eliminou os gargalos típicos de onboarding, o que nos permitiu começar a trabalhar imediatamente com a carga de trabalho de inferência. Esse armazenamento de alta capacidade e baixa latência mantém nossas GPUs B200 totalmente saturadas, gerando um ganho de desempenho substancial na inferência de modelos de linguagem grandes em comparação com a H200. Para nossos clientes, isso se traduz diretamente em agentes de IA mais rápidos e responsivos que podem lidar com raciocínios complexos com uma fração da latência anterior."

      Lavanya Karanam, engenheira-chefe de software da Salesforce

      Como escalonar cargas de trabalho do GKE com o Managed Lustre

      Um guia sobre como usar o driver CSI do Managed Lustre com o Google Kubernetes Engine (GKE) para provisionar facilmente armazenamento de alto desempenho para cargas de trabalho de IA, ML e HPC conteinerizadas. Leia o blog.

      Como acelerar a IA e o HPC com o Managed Lustre

      Visão geral de como o Managed Lustre simplifica a implantação de sistemas de arquivos paralelos para cargas de trabalho de computação de alto desempenho. Leia o blog.

      Cache externo de chave-valor com o Managed Lustre

      Um aprofundamento no uso do Lustre para descarregar caches de chave-valor para inferência de modelos de linguagem grandes (LLM), reduzindo o overhead de memória em TPUs/GPUs. Leia o blog.

      • Logotipo da Resemble AI
      • Sony Honda Mobility
      • Logotipo da Salesforce
      Google Cloud