Konversi ke Delta Lake

CONVERT TO DELTA Perintah SQL melakukan konversi satu kali untuk tabel Parquet dan Iceberg ke tabel Delta Lake. Untuk konversi bertahap tabel Parquet atau Iceberg ke Delta Lake, lihat Mengkloning parquet dan tabel Iceberg secara bertahap ke Delta Lake.

Unity Catalog mendukung CONVERT TO DELTA perintah SQL untuk tabel Parquet dan Iceberg yang disimpan di lokasi eksternal yang dikelola oleh Unity Catalog.

Anda dapat mengonfigurasi file data Parquet yang ada sebagai tabel eksternal di Unity Catalog lalu mengonversinya ke Delta Lake untuk membuka kunci semua fitur databricks lakehouse.

Untuk dokumentasi teknis, lihat CONVERT TO DELTA.

Mengonversi direktori file Parquet atau Iceberg di lokasi eksternal ke Delta Lake

Catatan

• Mengonversi tabel Iceberg ada di Pratinjau Umum.
• Mengonversi tabel Iceberg didukung dalam Databricks Runtime 10.4 LTS ke atas.
• Mengonversi tabel metastore Iceberg tidak didukung.
• Mengonversi tabel Iceberg yang mengalami evolusi partisi tidak didukung.
• Mengonversi tabel merge-on-read Iceberg yang mengalami pembaruan, penghapusan, atau penggabungan tidak didukung.
• Berikut ini adalah batasan untuk mengonversi tabel Iceberg dengan partisi yang ditentukan pada kolom terpotong:
  • Dalam Databricks Runtime 12.2 LTS dan di bawahnya, satu-satunya jenis kolom terpotong yang didukung adalah string.
  • Di Databricks Runtime 13.3 LTS ke atas, Anda dapat bekerja dengan kolom jenis stringterpotong , , longatau int.
  • Azure Databricks tidak mendukung bekerja dengan kolom tipe decimalterpotong .

Anda dapat mengonversi direktori file data Parquet ke tabel Delta Lake selama Anda memiliki akses tulis di lokasi penyimpanan. Untuk informasi tentang mengonfigurasi akses dengan Katalog Unity, lihat Menyambungkan ke penyimpanan dan layanan objek cloud menggunakan Katalog Unity.

Catatan

Unity Catalog memerlukan Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Untuk memuat tabel yang dikonversi sebagai tabel eksternal ke Unity Catalog, Anda memerlukan CREATE EXTERNAL TABLE izin di lokasi eksternal.

Catatan

Untuk Databricks Runtime 11.3 LTS ke atas, CONVERT TO DELTA secara otomatis menyimpulkan informasi partisi untuk tabel yang terdaftar ke metastore Apache Hive. Anda harus memberikan informasi partisi untuk tabel eksternal Unity Catalog.

Mengonversi tabel terkelola dan eksternal ke Delta Lake di Unity Catalog

CONVERT TO DELTA sintaksis hanya dapat digunakan untuk membuat tabel eksternal Unity Catalog. CTAS Gunakan pernyataan untuk mengonversi tabel Parquet terkelola metastore Apache Hive warisan langsung ke tabel Unity Catalog Delta Lake terkelola, lihat Meningkatkan tabel Apache Hive ke tabel terkelola Katalog Unity menggunakan CREATE TABLE AS SELECT.

Untuk memutakhirkan tabel Parquet eksternal ke tabel eksternal Katalog Unity, lihat Memutakhirkan satu tabel Apache Hive ke tabel eksternal Katalog Unity menggunakan wizard pemutakhiran.

Setelah mendaftarkan tabel Parquet eksternal ke Unity Catalog, Anda dapat mengonversinya ke tabel Delta Lake eksternal. Anda harus memberikan informasi partisi jika tabel Parquet dipartisi.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);