存储

Google Cloud Managed Lustre

高性能并行文件系统

利用 Google 性能最强、符合 POSIX 标准的并行文件系统,加速 HPC 和 AI 训练与服务。

功能

提升 AI/机器学习工作负载的性能和规模

训练大型深度学习模型需要大量数据集。基于 DDN EXAScaler 的 Managed Lustre 可分散数据访问,缩短训练时间,实现更快的洞察、更高的准确性,并处理复杂的 AI 项目。其可伸缩性旨在确保性能跟上不断增长的数据,避免存储瓶颈。点击此处观看 Omdia 关于 Managed Lustre 的概览。

利用 KV 缓存加速 AI 推理速度

智能体 AI 将继续推动大上下文窗口的发展,这可能会带来存储方面的挑战,因为在最终用户与大语言模型交互时,需要提供迅捷的体验。由于加速器上的本地内存常常会耗尽,需要模型访问外部存储空间,因此大上下文窗口会增加延迟敏感程度。

最大限度地提高 GPU 利用率和计算投资回报率

AI 的真正成本不仅仅是存储,还有空闲计算。Managed Lustre 可提供所需的高吞吐量、低延迟的数据传输,让您最昂贵的资产充分发挥效用。通过优化数据分布和加速快速检查点,您可以显著提高加速器利用率,从而降低开销并提高性价比。

推动各行各业的创新

行业

AI 和机器学习

消除数据匮乏,大规模训练基础模型。通过将计算和存储分离,Managed Lustre 可提高 LLM 推理吞吐量,并提供亚毫秒级的外部 KV 缓存,让您最昂贵的加速器充分发挥性能。

探索 Google Cloud 的 AI 解决方案。

医疗保健和生命科学

推动突破性创新,研发新的治疗方法。提供加速药物研发、分析复杂基因组测序和为 AI 驱动的医学成像套件提供支持所需的极高 IOPS,大幅缩短研究人员和临床医生获得分析洞见所需的时间。

探索 Google Cloud 的医疗保健与生命科学

机器视觉、机器人和自动驾驶汽车

加速软件定义车辆流水线。使创新者能够轻松注入 PB 级传感器遥测数据,同时利用零延迟存储为空气动力学、安全性和热优化模拟提供支持,从而为研发工程注入强劲动力。

探索 Google Cloud 的汽车行业

资本市场

执行需要亚毫秒级精度的工作负载。无论是为金融服务运行复杂的定量风险分析和实时市场模拟,还是为全球媒体工作室加速高分辨率 VFX 渲染和后期工作流。

探索 Google Cloud 的资本市场金融服务解决方案。

媒体和娱乐

存储性能毫不妥协,助您按时完成制作。为您的工作室提供超高吞吐量,满足无缝高分辨率视频编辑、实时 VFX 渲染和加速后期工作流的需求。

探索 Google Cloud 的媒体和娱乐行业解决方案。

AI 和机器学习

消除数据匮乏,大规模训练基础模型。通过将计算和存储分离,Managed Lustre 可提高 LLM 推理吞吐量,并提供亚毫秒级的外部 KV 缓存,让您最昂贵的加速器充分发挥性能。

探索 Google Cloud 的 AI 解决方案。

医疗保健和生命科学

推动突破性创新,研发新的治疗方法。提供加速药物研发、分析复杂基因组测序和为 AI 驱动的医学成像套件提供支持所需的极高 IOPS,大幅缩短研究人员和临床医生获得分析洞见所需的时间。

探索 Google Cloud 的医疗保健与生命科学

机器视觉、机器人和自动驾驶汽车

加速软件定义车辆流水线。使创新者能够轻松注入 PB 级传感器遥测数据,同时利用零延迟存储为空气动力学、安全性和热优化模拟提供支持,从而为研发工程注入强劲动力。

探索 Google Cloud 的汽车行业

资本市场

执行需要亚毫秒级精度的工作负载。无论是为金融服务运行复杂的定量风险分析和实时市场模拟,还是为全球媒体工作室加速高分辨率 VFX 渲染和后期工作流。

探索 Google Cloud 的资本市场金融服务解决方案。

媒体和娱乐

存储性能毫不妥协,助您按时完成制作。为您的工作室提供超高吞吐量,满足无缝高分辨率视频编辑、实时 VFX 渲染和加速后期工作流的需求。

探索 Google Cloud 的媒体和娱乐行业解决方案。

工作方式

专为 AI 打造的高性能存储。借助由 DDN EXAScaler 提供支持的 Google Cloud Managed Lustre,您可以根据需求即时预配和扩缩云 HPC。

常见用途

开始使用

  1. 创建 Managed Lustre 实例:只需点击几下即可部署 Managed Lustre 实例。
  2. 注入和连接:直接从 Google Cloud Storage 向 Managed Lustre 文件系统注入数据,轻松完成数据填充。
  3. 大规模处理:以超低延迟将海量数据集馈送到 Vertex Training 集群 (VTC) 或 GKE
  4. 加速:直接向新一代硬件提供高吞吐量数据,确保 GPU 以最高利用率运行。

    1. 创建 Managed Lustre 实例:只需点击几下即可部署 Managed Lustre 实例。
    2. 注入和连接:直接从 Google Cloud Storage 向 Managed Lustre 文件系统注入数据,轻松完成数据填充。
    3. 大规模处理:以超低延迟将海量数据集馈送到 Vertex Training 集群 (VTC) 或 GKE
    4. 加速:直接向新一代硬件提供高吞吐量数据,确保 GPU 以最高利用率运行。

      价格

      Managed Lustre 价格Managed Lustre 的价格主要取决于位置和服务等级。
      服务等级价格

      1,000 MB/秒/TiB

      最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。

      每月每 GiB 低至 $0.60

      500 MB/秒/TiB

      最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。

      每月每 GiB 低至 $0.34

      250 MB/秒/TiB

      最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。


      每月每 GiB 低至 $0.21

      125 MB/秒/TiB

      最适合注重容量且需要并行访问的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。

      每月每 GiB 低至 $0.145

      了解 Google Cloud 价格。查看所有价格详情

      Managed Lustre 价格

      Managed Lustre 的价格主要取决于位置和服务等级。

      1,000 MB/秒/TiB

      最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。

      价格

      每月每 GiB 低至 $0.60

      500 MB/秒/TiB

      最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。

      价格

      每月每 GiB 低至 $0.34

      250 MB/秒/TiB

      最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。


      价格

      每月每 GiB 低至 $0.21

      125 MB/秒/TiB

      最适合注重容量且需要并行访问的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。

      价格

      每月每 GiB 低至 $0.145

      了解 Google Cloud 价格。查看所有价格详情

      价格计算器

      估算您使用 Google Cloud 产品的每月费用。

      定制报价

      请与我们的销售团队联系,获取为贵组织量身定制的报价。

      开始概念验证

      Managed Lustre 使用入门

      深入探究技术细节

      探索 Google Cloud 上的 Managed Lustre

      开始使用 Vertex AI 构建您的 AI 应用

      探索 AI Hypercomputer,Google 的集成式超级计算架构

      业务用例

      听取 Managed Lustre 客户的看法


      “我们帮助公司识别和阻止深度伪造音频、视频和图片的能力取决于我们的模型。Managed Lustre 对于我们使用动态数据集顺利训练模型至关重要。它可以充分利用我们的 GPU,且速度比我们评估的其他存储解决方案快 6 倍。”

      Resemble AI 首席执行官 Zohaib Ahmed

      “与 Google Cloud 的其他解决方案相比,Managed Lustre 让我们能够将 AFEELA Intelligent Drive 的 AI 模型训练规模扩大 3 倍。”

      - Sony Honda Mobility Inc. AI 和数据分析平台高级经理 Motoi Kataoka

      “通过将 Managed Lustre 与 VTC(Vertex 训练集群)集成,Salesforce AI Research 消除了典型的新手入门瓶颈,使我们能够立即开始处理推理工作负载。这种高吞吐量、低延迟的存储可让我们的 B200 GPU 充分发挥性能,与 H200 相比,在大语言模型推理方面实现了显著的性能提升。对于我们的客户来说,这意味着 AI 智能体可以更快、更灵敏地处理复杂的推理,延迟时间仅为之前的几分之一。”

      - Salesforce 首席软件工程师 Lavanya Karanam

      使用 Managed Lustre 扩缩 GKE 工作负载

      本指南介绍了如何将 Managed Lustre CSI 驱动程序与 Google Kubernetes Engine (GKE) 搭配使用,以便为容器化 AI、机器学习和 HPC 工作负载无缝预配高性能存储。阅读博文

      使用 Managed Lustre 加速 AI 和 HPC

      概述 Managed Lustre 如何简化高性能计算工作负载的并行文件系统部署。阅读博文

      使用 Managed Lustre 的外部 KV 缓存

      深入了解如何使用 Lustre 来卸载大语言模型 (LLM) 推理的 KV 缓存,从而减少 TPU/GPU 上的内存开销。阅读博文

      • Resemble AI 徽标
      • Sony Honda Mobility
      • Salesforce 徽标
      Google Cloud