Převod na Delta Lake

Příkaz CONVERT TO DELTA SQL provede jednorázový převod tabulek Parquet a Iceberg na tabulky Delta Lake. Přírůstkové převody tabulek Parquet nebo Iceberg na Delta Lake najdete v tématu Přírůstkové klonování tabulek Parquet a Iceberg do Delta Lake.

Katalog Unity podporuje CONVERT TO DELTA příkaz SQL pro tabulky Parquet a Iceberg uložené v externích umístěních spravovaných katalogem Unity.

Existující datové soubory Parquet můžete nakonfigurovat jako externí tabulky v katalogu Unity a pak je převést na Delta Lake, abyste odemkli všechny funkce Databricks Lakehouse.

Technická dokumentace najdete v tématu CONVERT TO DELTA.

Převod adresáře souborů Parquet nebo Iceberg v externím umístění na Delta Lake

Poznámka:

• Převod tabulek Iceberg je ve verzi Public Preview.
• Převod tabulek Iceberg je podporován v Databricks Runtime 10.4 LTS a vyšší.
• Převod tabulek metastoru Iceberg není podporován.
• Převod tabulek Iceberg, u kterých došlo k vývoji oddílů, se nepodporuje.
• Převod tabulek při čtení, které obsahují aktualizace, odstranění nebo sloučení, se nepodporuje.
• Následující omezení platí pro převod tabulek Iceberg s oddíly definovanými ve zkrácených sloupcích:
  • V Databricks Runtime 12.2 LTS a níže je podporován stringpouze zkrácený typ sloupce .
  • Ve službě Databricks Runtime 13.3 LTS a vyšší můžete pracovat se zkrácenými sloupci typů string, longnebo int.
  • Azure Databricks nepodporuje práci se zkrácenými sloupci typu decimal.

Adresář datových souborů Parquet můžete převést na tabulku Delta Lake, pokud máte přístup k zápisu do umístění úložiště. Informace o konfiguraci přístupu pomocí katalogu Unity najdete v tématu Připojení ke cloudovému úložišti objektů pomocí katalogu Unity.

Poznámka:

Katalog Unity vyžaduje Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Pokud chcete načíst převedené tabulky jako externí tabulky do katalogu Unity, potřebujete CREATE EXTERNAL TABLE oprávnění k externímu umístění.

Poznámka:

Pro Databricks Runtime 11.3 LTS a novější CONVERT TO DELTA automaticky odvodí informace o dělení tabulek registrovaných do metastoru Hive. Je nutné zadat informace o dělení externích tabulek katalogu Unity.

Převod spravovaných a externích tabulek na Delta Lake v katalogu Unity

CONVERT TO DELTA Syntaxi lze použít pouze pro vytváření externích tabulek Katalogu Unity. CTAS Pomocí příkazu převeďte starší spravovanou tabulku Metastore Hive Parquet přímo na spravovanou tabulku Delta Lake katalogu Unity. Viz Upgrade tabulky Hive na spravovanou tabulku Katalogu Unity pomocí příkazu CREATE TABLE AS SELECT.

Pokud chcete upgradovat externí tabulku Parquet na externí tabulku katalogu Unity, přečtěte si téma Upgrade jedné tabulky Hive na externí tabulku Katalogu Unity pomocí průvodce upgradem.

Po registraci externí tabulky Parquet do katalogu Unity ji můžete převést na externí tabulku Delta Lake. Pokud je tabulka Parquet rozdělená na oddíly, musíte zadat informace o dělení.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);