Delta Lake'e dönüştürme

SQL komutu Parquet CONVERT TO DELTA ve Iceberg tabloları için Delta Lake tablolarına tek seferlik dönüştürme gerçekleştirir. Parquet veya Iceberg tablolarının Delta Lake'e artımlı olarak dönüştürülmesi için bkz . Parquet ve Iceberg tablolarını Delta Lake'e artımlı olarak kopyalama.

Unity Kataloğu, Unity Kataloğu tarafından yönetilen dış konumlarda depolanan Parquet ve Iceberg tabloları için SQL komutunu destekler CONVERT TO DELTA .

Unity Kataloğu'nda mevcut Parquet veri dosyalarını dış tablolar olarak yapılandırabilir ve sonra Bunları Delta Lake'e dönüştürerek Databricks lakehouse'un tüm özelliklerinin kilidini açabilirsiniz.

Teknik belgeler için bkz . DELTA'YA DÖNÜŞTÜR.

Dış konumdaki Parquet veya Iceberg dosyalarının dizinini Delta Lake'e dönüştürme

Not

• Iceberg tablolarını dönüştürme işlemi Genel Önizleme aşamasındadır.
• Iceberg tablolarının dönüştürülmesi Databricks Runtime 10.4 ve üzerinde desteklenir.
• Iceberg meta veri deposu tablolarının dönüştürülmesi desteklenmez.
• Bölüm evrimi yaşayan Iceberg tablolarının dönüştürülmesi desteklenmez.
• Iceberg'in güncelleştirmeler, silmeler veya birleştirmelerle karşılaşmış olan okundu tabloları dönüştürmesi desteklenmez.
• Iceberg tablolarını kesilmiş sütunlarda tanımlanan bölümlere dönüştürmeye yönelik sınırlamalar aşağıdadır:
  • Databricks Runtime 12.2 LTS ve altında desteklenen tek kesilen sütun türüdür string.
  • Databricks Runtime 13.3 LTS ve üzerinde, , longveya inttüründe stringkesilmiş sütunlarla çalışabilirsiniz.
  • Azure Databricks, türünde decimalkesilmiş sütunlarla çalışmayı desteklemez.

Depolama konumunda yazma erişiminiz olduğu sürece Parquet veri dosyalarının dizinini Delta Lake tablosuna dönüştürebilirsiniz; Unity Kataloğu ile erişimi yapılandırma hakkında bilgi için bkz. Unity Kataloğu'nu kullanarak bulut nesne depolamaya Bağlan.

Not

Unity Kataloğu için Azure Data Lake Storage 2. Nesil gerekir.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Dönüştürülen tabloları Unity Kataloğu'na dış tablo olarak yüklemek için dış konumda izinlere sahip olmanız gerekir CREATE TABLES .

Not

Databricks Runtime 11.3 LTS ve üzeri için, CONVERT TO DELTA meta veri deposuna kayıtlı tablolar için bölümleme bilgilerini otomatik olarak çıkararak bölümleri el ile belirtme gereksinimini ortadan kaldırır.

Unity Kataloğu'nda yönetilen ve dış tabloları Delta Lake'e dönüştürme

Unity Kataloğu dış tablolar için birçok biçimi destekler, ancak yalnızca yönetilen tablolar için Delta Lake'i destekler. Yönetilen Parquet tablosunu doğrudan yönetilen Unity Kataloğu Delta Lake tablosuna dönüştürmek için bkz . CLONE kullanarak Hive yönetilen tablosunu Unity Kataloğu yönetilen tablosuna yükseltme.

Dış Parquet tablosunu Unity Kataloğu dış tablosuna yükseltmek için bkz . Yükseltme sihirbazını kullanarak tek bir Hive tablosunu Unity Kataloğu dış tablosuna yükseltme.

Bir dış Parquet tablosunu Unity Kataloğu'na kaydettikten sonra, bunu dış Delta Lake tablosuna dönüştürebilirsiniz. Parquet tablosu bölümlenmişse bölümleme bilgileri sağlamanız gerektiğini unutmayın.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);