功能
训练大型深度学习模型需要大量数据集。基于 DDN EXAScaler 的 Managed Lustre 可分散数据访问,缩短训练时间,实现更快的洞察、更高的准确性,并处理复杂的 AI 项目。其可伸缩性旨在确保性能跟上不断增长的数据,避免存储瓶颈。点击此处观看 Omdia 关于 Managed Lustre 的概览。
智能体 AI 将继续推动大上下文窗口的发展,这可能会带来存储方面的挑战,因为在最终用户与大语言模型交互时,需要提供迅捷的体验。由于加速器上的本地内存常常会耗尽,需要模型访问外部存储空间,因此大上下文窗口会增加延迟敏感程度。
AI 的真正成本不仅仅是存储,还有空闲计算。Managed Lustre 可提供所需的高吞吐量、低延迟的数据传输,让您最昂贵的资产充分发挥效用。通过优化数据分布和加速快速检查点,您可以显著提高加速器利用率,从而降低开销并提高性价比。
推动各行各业的创新
| 行业 |
|---|
AI 和机器学习 消除数据匮乏,大规模训练基础模型。通过将计算和存储分离,Managed Lustre 可提高 LLM 推理吞吐量,并提供亚毫秒级的外部 KV 缓存,让您最昂贵的加速器充分发挥性能。 探索 Google Cloud 的 AI 解决方案。 |
医疗保健和生命科学 推动突破性创新,研发新的治疗方法。提供加速药物研发、分析复杂基因组测序和为 AI 驱动的医学成像套件提供支持所需的极高 IOPS,大幅缩短研究人员和临床医生获得分析洞见所需的时间。 探索 Google Cloud 的医疗保健与生命科学。 |
机器视觉、机器人和自动驾驶汽车 加速软件定义车辆流水线。使创新者能够轻松注入 PB 级传感器遥测数据,同时利用零延迟存储为空气动力学、安全性和热优化模拟提供支持,从而为研发工程注入强劲动力。 探索 Google Cloud 的汽车行业。 |
媒体和娱乐 存储性能毫不妥协,助您按时完成制作。为您的工作室提供超高吞吐量,满足无缝高分辨率视频编辑、实时 VFX 渲染和加速后期工作流的需求。 探索 Google Cloud 的媒体和娱乐行业解决方案。 |
AI 和机器学习
消除数据匮乏,大规模训练基础模型。通过将计算和存储分离,Managed Lustre 可提高 LLM 推理吞吐量,并提供亚毫秒级的外部 KV 缓存,让您最昂贵的加速器充分发挥性能。
探索 Google Cloud 的 AI 解决方案。
医疗保健和生命科学
推动突破性创新,研发新的治疗方法。提供加速药物研发、分析复杂基因组测序和为 AI 驱动的医学成像套件提供支持所需的极高 IOPS,大幅缩短研究人员和临床医生获得分析洞见所需的时间。
探索 Google Cloud 的医疗保健与生命科学。
机器视觉、机器人和自动驾驶汽车
加速软件定义车辆流水线。使创新者能够轻松注入 PB 级传感器遥测数据,同时利用零延迟存储为空气动力学、安全性和热优化模拟提供支持,从而为研发工程注入强劲动力。
探索 Google Cloud 的汽车行业。
媒体和娱乐
存储性能毫不妥协,助您按时完成制作。为您的工作室提供超高吞吐量,满足无缝高分辨率视频编辑、实时 VFX 渲染和加速后期工作流的需求。
探索 Google Cloud 的媒体和娱乐行业解决方案。
价格
| Managed Lustre 价格 | Managed Lustre 的价格主要取决于位置和服务等级。 |
|---|---|
| 服务等级 | 价格 |
1,000 MB/秒/TiB 最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。 | 每月每 GiB 低至 $0.60 |
500 MB/秒/TiB 最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。 | 每月每 GiB 低至 $0.34 |
250 MB/秒/TiB 最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。 | 每月每 GiB 低至 $0.21 |
125 MB/秒/TiB 最适合注重容量且需要并行访问的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。 | 每月每 GiB 低至 $0.145 |
了解 Google Cloud 价格。查看所有价格详情。
Managed Lustre 价格
Managed Lustre 的价格主要取决于位置和服务等级。
1,000 MB/秒/TiB
最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。
每月每 GiB 低至 $0.60
500 MB/秒/TiB
最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。
每月每 GiB 低至 $0.34
250 MB/秒/TiB
最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。
每月每 GiB 低至 $0.21
125 MB/秒/TiB
最适合注重容量且需要并行访问的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。
每月每 GiB 低至 $0.145
了解 Google Cloud 价格。查看所有价格详情。
业务用例
听取 Managed Lustre 客户的看法
“我们帮助公司识别和阻止深度伪造音频、视频和图片的能力取决于我们的模型。Managed Lustre 对于我们使用动态数据集顺利训练模型至关重要。它可以充分利用我们的 GPU,且速度比我们评估的其他存储解决方案快 6 倍。”
— Resemble AI 首席执行官 Zohaib Ahmed
“与 Google Cloud 的其他解决方案相比,Managed Lustre 让我们能够将 AFEELA Intelligent Drive 的 AI 模型训练规模扩大 3 倍。”
- Sony Honda Mobility Inc. AI 和数据分析平台高级经理 Motoi Kataoka
“通过将 Managed Lustre 与 VTC(Vertex 训练集群)集成,Salesforce AI Research 消除了典型的新手入门瓶颈,使我们能够立即开始处理推理工作负载。这种高吞吐量、低延迟的存储可让我们的 B200 GPU 充分发挥性能,与 H200 相比,在大语言模型推理方面实现了显著的性能提升。对于我们的客户来说,这意味着 AI 智能体可以更快、更灵敏地处理复杂的推理,延迟时间仅为之前的几分之一。”
- Salesforce 首席软件工程师 Lavanya Karanam
使用 Managed Lustre 扩缩 GKE 工作负载
本指南介绍了如何将 Managed Lustre CSI 驱动程序与 Google Kubernetes Engine (GKE) 搭配使用,以便为容器化 AI、机器学习和 HPC 工作负载无缝预配高性能存储。阅读博文。
使用 Managed Lustre 加速 AI 和 HPC
概述 Managed Lustre 如何简化高性能计算工作负载的并行文件系统部署。阅读博文。
使用 Managed Lustre 的外部 KV 缓存
深入了解如何使用 Lustre 来卸载大语言模型 (LLM) 推理的 KV 缓存,从而减少 TPU/GPU 上的内存开销。阅读博文。


