Dataplex Universal Catalog

从智能数据到 AI 治理

在您的数据平台上集中发现、管理、监控和治理数据和 AI 工件,从而提供对可信数据的访问权限,并为分析和 AI 提供大规模支持。

功能

借助与 Vertex AI 的集成,实现从数据到 AI 的治理

在单一搜索体验中跨项目和区域即时发现您需要的 AI 模型、数据集、功能和相关数据工件,同时遵循 IAM 权限。使用 Dataplex Universal Catalog 为 AI 制品补充关键业务元数据(如所有权、关键属性和相关上下文),以支持更明智的决策。



BigQuery 中的数据治理

为了支持端到端数据生命周期并满足您的需求,我们正在改进 BigQuery 中的数据管理、发现和治理功能,让您可以更轻松地管理、发现和治理数据。我们正将 Dataplex Universal Catalog 的功能直接集成到 BigQuery 中,包括数据质量、数据沿袭和数据分析,以实现情境治理。

生成式 AI 赋能的数据洞见发掘和语义搜索

通过您可以就自己的数据提出的一系列精心整理的问题,快速启动分析。数据分析功能利用元数据和先进的 Gemini 模型的强大功能,生成量身定制的查询,从您的数据中挖掘隐藏的模式和有价值的数据洞见。数据的语义元数据搜索可帮助您使用所选语言发现数据。用户可以使用自然语言查询来搜索数据资产,而无需重新调用搜索语法和限定符。

使用通用语义搜索简化数据发现

借助内置数据搜索功能,自动执行对存储在 Google Cloud 及其他位置的结构化、半结构化和非结构化数据的数据发现、分类和元数据增强。通过统一、灵活且强大的目录,管理所有数据的技术、运营和业务元数据。使用内置的业务术语库,通过相关的业务上下文来丰富元数据。利用内置的全局分面搜索,使用自然语言轻松搜索、查找和理解您的数据

端到端数据沿袭

通过端到端数据沿袭轻松了解数据来源和经历的转换过程。针对 Google Cloud 数据源自动处理,并可扩展至第三方数据源。

自动评估数据质量

使用自动捕获的数据沿袭和内置的数据分析功能来更好地了解您的数据、跟踪依赖关系,并有效地排查数据问题。自动处理分布式数据中的数据质量,实现对可信数据的访问。

工作方式

借助 Dataplex Universal Catalog,您可以管理、监控和治理数据湖、数据仓库和数据库中的数据和 AI 制品。它可帮助用户智能建立数据分析、评估数据质量、确定数据沿袭、对数据进行分类、将数据按领域进行组织,并管理和治理贯穿整个 AI 生命周期的数据。

常见用途

从数据到 AI 的治理

利用 Dataplex 和 Vertex AI 实现数据到 AI 治理

在单一搜索体验中,您可以发现整个组织的数据和 AI 资产,并即时发现跨项目和区域的 AI 模型、数据集和相关数据工件,同时遵循 IAM 权限。此外,您还可以利用业务上下文来增强资产,并使用业务元数据丰富 AI 工件,从而做出明智的决策,例如所有权、关键属性和相关情境。

    利用 Dataplex 和 Vertex AI 实现数据到 AI 治理

    在单一搜索体验中,您可以发现整个组织的数据和 AI 资产,并即时发现跨项目和区域的 AI 模型、数据集和相关数据工件,同时遵循 IAM 权限。此外,您还可以利用业务上下文来增强资产,并使用业务元数据丰富 AI 工件,从而做出明智的决策,例如所有权、关键属性和相关情境。

      构建数据网格

      使用 Dataplex Universal Catalog 构建数据网格

      数据网格是一种策略,其中数据所有权是分散的,由网域数据所有者处理,跨地点的分布式数据集可以提高数据可访问性和运营效率。Dataplex 有助于以逻辑方式将数据及相关资源归类到数据域中,从而统一分布式数据,并根据业务上下文进行组织管理。

      数据网格架构

        使用 Dataplex Universal Catalog 构建数据网格

        数据网格是一种策略,其中数据所有权是分散的,由网域数据所有者处理,跨地点的分布式数据集可以提高数据可访问性和运营效率。Dataplex 有助于以逻辑方式将数据及相关资源归类到数据域中,从而统一分布式数据,并根据业务上下文进行组织管理。

        数据网格架构

          普及数据洞见

          借助 Dataplex Universal Catalog 实现数据洞见的民主化

          使用全托管式无服务器 Dataplex Universal Catalog,实现跨孤岛的数据和 AI 制品搜索与发现。Dataplex Universal Catalog 具备内置功能,可自动注入技术元数据,并结合业务上下文丰富元数据,使组织中的每位用户都能借助强大的分面搜索界面,轻松查找和理解其数据和 AI 制品。

            借助 Dataplex Universal Catalog 实现数据洞见的民主化

            使用全托管式无服务器 Dataplex Universal Catalog,实现跨孤岛的数据和 AI 制品搜索与发现。Dataplex Universal Catalog 具备内置功能,可自动注入技术元数据,并结合业务上下文丰富元数据,使组织中的每位用户都能借助强大的分面搜索界面,轻松查找和理解其数据和 AI 制品。

              管理您的开放式湖仓一体

              对 Apache Iceberg 和开源引擎进行统一治理

              Dataplex Universal Catalog 与 Google Cloud 的原生 Apache Iceberg 存储引擎 BigLake 深度集成。Dataplex Universal Catalog 原生支持 BigLake Metastore,可确保以集中式方式定义的治理政策在多个引擎中得到执行。Dataplex Universal Catalog 对 BigLake 的支持还通过语义搜索、数据沿袭、数据分析和质量检查,增强了整个平台的治理功能,为您的开放式数据湖仓提供托管式基础。

                对 Apache Iceberg 和开源引擎进行统一治理

                Dataplex Universal Catalog 与 Google Cloud 的原生 Apache Iceberg 存储引擎 BigLake 深度集成。Dataplex Universal Catalog 原生支持 BigLake Metastore,可确保以集中式方式定义的治理政策在多个引擎中得到执行。Dataplex Universal Catalog 对 BigLake 的支持还通过语义搜索、数据沿袭、数据分析和质量检查,增强了整个平台的治理功能,为您的开放式数据湖仓提供托管式基础。

                  自动执行 Apache Spark 工作流

                  安排自定义 Spark 和 Spark SQL 任务

                  Dataplex Universal Catalog 可让您直接在数据网格或湖仓一体中安排自定义 Spark 和 Spark SQL 任务,从而自动管理数据生命周期。此功能可简化常见的数据处理操作(例如数据注入、复杂转换和数据质量检查),确保您的数据始终准确、最新,并可用于分析和 AI 工作负载。

                    安排自定义 Spark 和 Spark SQL 任务

                    Dataplex Universal Catalog 可让您直接在数据网格或湖仓一体中安排自定义 Spark 和 Spark SQL 任务,从而自动管理数据生命周期。此功能可简化常见的数据处理操作(例如数据注入、复杂转换和数据质量检查),确保您的数据始终准确、最新,并可用于分析和 AI 工作负载。

                      价格

                      Dataplex Universal Catalog 价格Dataplex Universal Catalog 价格基于随用随付的用量。
                      服务和用量说明价格 (USD)

                      Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 标准处理和高级处理按数据计算单元 (DCU) 计量。DCU 小时数是 Dataplex 的抽象结算单位,实际计量单位取决于您使用的各项功能。

                      免费层级 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 标准处理每月前 100 个 DCU 小时免费。

                      免费

                      标准 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 标准层级涵盖的数据发现功能可自动从 Cloud Storage 中发现表和文件集的元数据。

                      起价

                      $0.060

                      每 DCU-小时

                      高级 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 高级处理层级涵盖 Dataplex 的数据探索工作台数据沿袭数据质量数据分析功能。

                      起价

                      $0.089

                      每 DCU-小时

                      Dataplex Universal Catalog 元数据和 API 价格

                      元数据存储价格

                      Dataplex Universal Catalog 会在短时间间隔内测量所存储元数据的平均量。计费时,系统会综合计算这些计量结果,得出一个月内的平均值,然后将此平均值乘以每月费率。


                      Dataplex Universal Catalog 免费层级

                      平均每月存储空间前 1 MiB。

                      免费

                      元数据存储

                      月平均存储空间超过 1 MiB。

                      起价

                      $2

                      每月每 GiB

                      API 费用

                      若有针对 Data Catalog APIData Lineage API 进行的 API 调用,Dataplex Universal Catalog 会收取相关费用。

                      API 调用

                      一个月中的前 100 万个。

                      免费

                      API 调用

                      每月 100 万次以上。

                      起价

                      $10

                      每 10 万次 API 调用

                      Dataplex Universal Catalog Shuffle 存储价格

                      Shuffle 存储价格涵盖为数据探索工作台配置的环境中指定的任何磁盘存储空间。

                      起价

                      $0.040

                      每 GB-月

                      其他使用情况

                      Dataplex Universal Catalog 中的数据组织功能(数据湖、可用区或资产设置)以及安全政策的应用和传播是免费的。

                      某些 Dataplex Universal Catalog 功能使用 DataprocBigQueryDataflow 触发作业执行。这些服务的使用费将根据其各自的价格模式计算,并且也会显示在这些服务下。

                      Dataplex Universal Catalog 价格

                      Dataplex Universal Catalog 价格基于随用随付的用量。

                      Dataplex Universal Catalog 处理

                      说明

                      Dataplex Universal Catalog 标准处理和高级处理按数据计算单元 (DCU) 计量。DCU 小时数是 Dataplex 的抽象结算单位,实际计量单位取决于您使用的各项功能。

                      价格 (USD)

                      免费层级 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 标准处理每月前 100 个 DCU 小时免费。

                      说明

                      免费

                      标准 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 标准层级涵盖的数据发现功能可自动从 Cloud Storage 中发现表和文件集的元数据。

                      说明

                      Starting at

                      $0.060

                      每 DCU-小时

                      高级 Dataplex Universal Catalog 处理

                      Dataplex Universal Catalog 高级处理层级涵盖 Dataplex 的数据探索工作台数据沿袭数据质量数据分析功能。

                      说明

                      Starting at

                      $0.089

                      每 DCU-小时

                      Dataplex Universal Catalog 元数据和 API 价格

                      说明

                      元数据存储价格

                      Dataplex Universal Catalog 会在短时间间隔内测量所存储元数据的平均量。计费时,系统会综合计算这些计量结果,得出一个月内的平均值,然后将此平均值乘以每月费率。


                      价格 (USD)

                      Dataplex Universal Catalog 免费层级

                      平均每月存储空间前 1 MiB。

                      说明

                      免费

                      元数据存储

                      月平均存储空间超过 1 MiB。

                      说明

                      Starting at

                      $2

                      每月每 GiB

                      API 费用

                      若有针对 Data Catalog APIData Lineage API 进行的 API 调用,Dataplex Universal Catalog 会收取相关费用。

                      说明

                      API 调用

                      一个月中的前 100 万个。

                      说明

                      免费

                      API 调用

                      每月 100 万次以上。

                      说明

                      Starting at

                      $10

                      每 10 万次 API 调用

                      Dataplex Universal Catalog Shuffle 存储价格

                      说明

                      Shuffle 存储价格涵盖为数据探索工作台配置的环境中指定的任何磁盘存储空间。

                      价格 (USD)

                      Starting at

                      $0.040

                      每 GB-月

                      其他使用情况

                      说明

                      Dataplex Universal Catalog 中的数据组织功能(数据湖、可用区或资产设置)以及安全政策的应用和传播是免费的。

                      价格 (USD)

                      某些 Dataplex Universal Catalog 功能使用 DataprocBigQueryDataflow 触发作业执行。这些服务的使用费将根据其各自的价格模式计算,并且也会显示在这些服务下。

                      说明

                      探索价格

                      如需了解每个区域的价格等信息,请访问 Dataplex Universal Catalog 价格页面。

                      定制报价

                      请与我们的销售团队联系,获取为贵组织量身定制的报价。

                      开始概念验证

                      新客户可获 $300 赠金

                      什么是数据治理?

                      Dataplex Universal Catalog 的工作原理

                      Dataplex Universal Catalog 最佳实践

                      详细了解您的湖仓一体架构的治理

                      合作伙伴与集成

                      与业界领导者合作
                      • accenture
                      • Confluent
                      • Collibra 徽标
                      • HCL
                      • Informatica 徽标
                      • Nvidia 徽标
                      • Starburst 徽标
                      • Tableau
                      • accenture
                      • Confluent
                      • Collibra 徽标
                      • HCL
                      • Informatica 徽标
                      • Nvidia 徽标
                      • Starburst 徽标
                      • Tableau

                      请前往 Google Cloud 合作伙伴中心探索所有合作伙伴。

                      Dataplex
                      Google Cloud