轉換為 DELTA

適用於： Databricks SQL Databricks Runtime

將現有的 Parquet 資料表轉換為就地 Delta 數據表。 此命令會列出目錄中的所有檔案、建立 Delta Lake 事務歷史記錄來追蹤這些檔案，並藉由讀取所有 Parquet 檔案的頁尾自動推斷數據架構。 轉換程式會收集統計數據，以改善已轉換之 Delta 數據表的查詢效能。 如果您提供數據表名稱，中繼存放區也會更新，以反映數據表現在是 Delta 數據表。

此命令支援轉換基礎檔格式為 Parquet 的 Iceberg 資料表。 在此情況下，轉換器會根據 Iceberg 數據表的原生檔案指令清單、架構和數據分割資訊，產生 Delta Lake 事務歷史記錄。

語法

CONVERT TO DELTA table_name [ NO STATISTICS ] [ PARTITIONED BY clause ]

參數

• table_name

  選擇性限定的數據表標識碼或 或 檔案iceberg目錄的路徑parquet。 名稱不得包含 時態規格。 對於 Iceberg 數據表，您只能使用路徑，因為不支援轉換 Managed Iceberg 數據表。

• NO STATISTICS

  在轉換程式期間略過統計數據收集，並更快完成轉換。 將數據表轉換成 Delta Lake 之後，您可以使用 OPTIMIZE ZORDER BY 來重新組織數據配置並產生統計數據。

• 數據分割者

  依指定的數據行分割所建立的數據表。 當 table_name 路徑時分割 PARTITIONED BY 資料需要 。 table_name當 是合格的數據表標識符時，子句是選擇性的，PARTITIONED BY而且會從中繼存放區載入數據分割規格。 在任一種方法中，如果目錄結構不符合提供的或已載入 PARTITIONED BY 的規格，轉換程式就會中止並擲回例外狀況。

  注意

  在 Databricks Runtime 11.1 和以下， PARTITIONED BY 是所有分割數據的必要自變數。

範例

注意

您不需要為向中繼存放區註冊的 Iceberg 資料表或數據表提供資料分割資訊。

CONVERT TO DELTA database_name.table_name; -- only for Parquet tables

CONVERT TO DELTA parquet.`abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/table`
  PARTITIONED BY (date DATE); -- if the table is partitioned

CONVERT TO DELTA iceberg.`abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/table`; -- uses Iceberg manifest for metadata

警示

Delta Lake 未追蹤的任何檔案都是看不見的，而且可以在您執行 VACUUM時刪除。 您應該避免在轉換程式期間更新或附加資料檔。 轉換數據表之後，請確定所有寫入都會經過 Delta Lake。

多個外部數據表有可能共用相同的基礎 Parquet 目錄。 在此情況下，如果您在其中一個外部數據表上執行 CONVERT ，您將無法存取其他外部數據表，因為其基礎目錄已從 Parquet 轉換成 Delta Lake。 若要再次查詢或寫入這些外部數據表，您也必須在它們上執行 CONVERT 。

CONVERT 在 Delta Lake 事務歷史記錄中填入目錄資訊，例如架構和數據表屬性。 如果基礎目錄已轉換成 Delta Lake，且其元資料與目錄元資料不同， convertMetastoreMetadataMismatchException 則會擲回 。

使用 Databricks Runtime 時，如果您想要 CONVERT 覆寫 Delta Lake 事務歷史記錄中的現有元數據，請將 SQL 組態 spark.databricks.delta.convert.metadataCheck.enabled 設為 false。

相關文章

• 數據分割者
• 真空