Konversi ke Delta Lake

CONVERT TO DELTA Perintah SQL melakukan konversi satu kali untuk tabel Parquet dan Iceberg ke tabel Delta Lake. Untuk konversi bertahap tabel Parquet atau Iceberg ke Delta Lake, lihat Mengkloning parquet dan tabel Iceberg secara bertahap ke Delta Lake.

Unity Catalog mendukung CONVERT TO DELTA perintah SQL untuk tabel Parquet dan Iceberg yang disimpan di lokasi eksternal yang dikelola oleh Unity Catalog.

Anda dapat mengonfigurasi file data Parquet yang ada sebagai tabel eksternal di Unity Catalog lalu mengonversinya ke Delta Lake untuk membuka kunci semua fitur databricks lakehouse.

Untuk dokumentasi teknis, lihat CONVERT TO DELTA.

Mengonversi direktori file Parquet atau Iceberg di lokasi eksternal ke Delta Lake

Catatan

• Mengonversi tabel Iceberg ada di Pratinjau Umum.
• Mengonversi tabel Iceberg didukung di Databricks Runtime 10.4 ke atas.
• Mengonversi tabel metastore Iceberg tidak didukung.
• Mengonversi tabel Iceberg yang mengalami evolusi partisi tidak didukung.
• Mengonversi tabel merge-on-read Iceberg yang mengalami pembaruan, penghapusan, atau penggabungan tidak didukung.
• Berikut ini adalah batasan untuk mengonversi tabel Iceberg dengan partisi yang ditentukan pada kolom terpotong:
  • Dalam Databricks Runtime 12.2 LTS dan di bawahnya, satu-satunya jenis kolom terpotong yang didukung adalah string.
  • Di Databricks Runtime 13.3 LTS ke atas, Anda dapat bekerja dengan kolom jenis stringterpotong , , longatau int.
  • Azure Databricks tidak mendukung bekerja dengan kolom tipe decimalterpotong .

Anda dapat mengonversi direktori file data Parquet ke tabel Delta Lake selama Anda memiliki akses tulis di lokasi penyimpanan; untuk informasi tentang mengonfigurasi akses dengan Unity Catalog, lihat Koneksi ke penyimpanan objek cloud menggunakan Katalog Unity.

Catatan

Unity Catalog memerlukan Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Untuk memuat tabel yang dikonversi sebagai tabel eksternal ke Unity Catalog, Anda memerlukan CREATE TABLES izin di lokasi eksternal.

Catatan

Untuk Databricks Runtime 11.3 LTS ke atas, CONVERT TO DELTA secara otomatis menyimpulkan informasi partisi untuk tabel yang terdaftar ke metastore, menghilangkan persyaratan untuk menentukan partisi secara manual.

Mengonversi tabel terkelola dan eksternal ke Delta Lake di Unity Catalog

Unity Catalog mendukung banyak format untuk tabel eksternal, tetapi hanya mendukung Delta Lake untuk tabel terkelola. Untuk mengonversi tabel Parquet terkelola langsung ke tabel Unity Catalog Delta Lake terkelola, lihat Meningkatkan tabel terkelola Apache Hive ke tabel terkelola Unity Catalog menggunakan CLONE.

Untuk memutakhirkan tabel Parquet eksternal ke tabel eksternal Katalog Unity, lihat Memutakhirkan satu tabel Apache Hive ke tabel eksternal Katalog Unity menggunakan wizard pemutakhiran.

Setelah mendaftarkan tabel Parquet eksternal ke Unity Catalog, Anda dapat mengonversinya ke tabel Delta Lake eksternal. Perhatikan bahwa Anda harus memberikan informasi partisi jika tabel parquet dipartisi.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);