Azure Databricks 提供了工具,用于简化 Parquet 和 Apache Iceberg 数据到 Delta Lake 的迁移。
工具 | 何时使用 |
---|---|
CONVERT TO DELTA SQL 命令 |
此命令执行一次性、本地的 Parquet 表和 Iceberg 表转化为外部表。 |
CLONE |
对 Parquet 和 Iceberg 的 CLONE 支持扩展了 CONVERT TO DELTA 功能,包括对转换的增量支持。 你可以使用 DEEP CLONE 来创建 Unity Catalog 托管表。 |
Databricks 建议使用 Unity Catalog 托管表来存储数据,但就地转换提供了许多相同的优势,而无需完全重写所有数据。 如果源系统在迁移期间继续接收更新,Databricks 建议使用 CLONE
。