Konvertálás Delta Lake-vé

Az CONVERT TO DELTA SQL-parancs egyszeri átalakítást hajt végre Parquet- és Iceberg-táblák esetében Delta Lake-táblákra. A Parquet- vagy Iceberg-táblák Delta Lake-ké való növekményes átalakításáról lásd : Parquet- és Iceberg-táblák növekményes klónozása Delta Lake-nek.

A Unity Catalog támogatja a CONVERT TO DELTA Unity Catalog által felügyelt külső helyeken tárolt Parquet- és Iceberg-táblák SQL-parancsát.

A Meglévő Parquet-adatfájlokat külső táblákként konfigurálhatja a Unity Katalógusban, majd delta lake-vé alakíthatja őket a Databricks lakehouse összes funkciójának feloldásához.

A műszaki dokumentációt a KONVERTÁLÁS DELTA-ra című témakörben találja.

Parquet- vagy Iceberg-fájlok könyvtárának átalakítása külső helyen Delta Lake-vé

Feljegyzés

• Az Iceberg-táblák konvertálása nyilvános előzetes verzióban érhető el.
• Az Iceberg-táblák konvertálása a Databricks Runtime 10.4 LTS és újabb verziókban támogatott.
• Az Iceberg-metaadattártáblák konvertálása nem támogatott.
• A partíciófejlődést tapasztalt Iceberg-táblák konvertálása nem támogatott.
• A frissítéseket, törléseket vagy egyesítéseket átélt Iceberg-egyesítési táblák konvertálása nem támogatott.
• Az alábbi korlátozások vonatkoznak az Iceberg-táblák csonkolt oszlopokon definiált partíciókkal való konvertálására:
  • A Databricks Runtime 12.2 LTS-ben és alatta az egyetlen csonkolt oszloptípus támogatott.string
  • A Databricks Runtime 13.3 LTS és újabb verzióiban csonkolt típusú stringoszlopokkal dolgozhat, longvagy int.
  • Az Azure Databricks nem támogatja a csonkolt típusú oszlopok decimalműködését.

A Parquet-adatfájlok könyvtárát delta Lake-táblává alakíthatja, ha írási hozzáféréssel rendelkezik a tárolóhelyen. A Unity Cataloghoz való hozzáférés konfigurálásával kapcsolatos információkért lásd : Csatlakozás a felhőbeli objektumtárhoz és szolgáltatásokhoz a Unity Catalog használatával.

Feljegyzés

A Unity Catalog használatához az Azure Data Lake Storage Gen2 szükséges.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Ha külső táblákként szeretné betölteni a konvertált táblákat a Unity Katalógusba, szüksége van a CREATE EXTERNAL TABLE külső helyen található engedélyre.

Feljegyzés

A Databricks Runtime 11.3 LTS és újabb CONVERT TO DELTA verziók esetén a Rendszer automatikusan particionálási adatokat keres a Hive metaadattárban regisztrált táblákhoz. A Unity Catalog külső tábláihoz particionálási információkat kell megadnia.

Felügyelt és külső táblák konvertálása Delta Lake-vé a Unity-katalógusban

CONVERT TO DELTA szintaxis csak a Unity Catalog külső tábláinak létrehozásához használható. CTAS Egy régi Hive metaadattár felügyelt Parquet-táblát közvetlenül felügyelt Unity Catalog Delta Lake-táblává alakíthat át. Lásd: Hive-tábla frissítése Unity Catalog felügyelt táblára a CREATE TABLE AS SELECT használatával.

Ha egy külső Parquet-táblát unitykatalógusbeli külső táblára szeretne frissíteni, olvassa el egyetlen Hive-tábla frissítését a Unity Catalog külső táblára a frissítési varázslóval.

Miután regisztrált egy külső Parquet-táblát a Unity Catalogban, átalakíthatja azt külső Delta Lake-táblává. Particionálási adatokat kell megadnia, ha a Parquet-tábla particionált.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);