Konvertálás Delta Lake-vé

Az CONVERT TO DELTA SQL-parancs egyszeri átalakítást hajt végre Parquet- és Iceberg-táblák esetében Delta Lake-táblákra. A Parquet- vagy Iceberg-táblák Delta Lake-ké való növekményes átalakításáról lásd : Parquet- és Iceberg-táblák növekményes klónozása Delta Lake-nek.

A Unity Catalog támogatja a CONVERT TO DELTA Unity Catalog által felügyelt külső helyeken tárolt Parquet- és Iceberg-táblák SQL-parancsát.

A Meglévő Parquet-adatfájlokat külső táblákként konfigurálhatja a Unity Katalógusban, majd delta lake-vé alakíthatja őket a Databricks lakehouse összes funkciójának feloldásához.

A műszaki dokumentációt a KONVERTÁLÁS DELTA-ra című témakörben találja.

Parquet- vagy Iceberg-fájlok könyvtárának átalakítása külső helyen Delta Lake-vé

Feljegyzés

• Az Iceberg-táblák konvertálása nyilvános előzetes verzióban érhető el.
• Az Iceberg-táblák konvertálása a Databricks Runtime 10.4-ben és újabb verziókban támogatott.
• Az Iceberg-metaadattártáblák konvertálása nem támogatott.
• A partíciófejlődést tapasztalt Iceberg-táblák konvertálása nem támogatott.
• A frissítéseket, törléseket vagy egyesítéseket átélt Iceberg-egyesítési táblák konvertálása nem támogatott.
• Az alábbi korlátozások vonatkoznak az Iceberg-táblák csonkolt oszlopokon definiált partíciókkal való konvertálására:
  • A Databricks Runtime 12.2 LTS-ben és alatta az egyetlen csonkolt oszloptípus támogatott.string
  • A Databricks Runtime 13.3 LTS és újabb verzióiban csonkolt típusú stringoszlopokkal dolgozhat, longvagy int.
  • Az Azure Databricks nem támogatja a csonkolt típusú oszlopok decimalműködését.

A Parquet-adatfájlok könyvtárát Delta Lake-táblává alakíthatja, ha írási hozzáféréssel rendelkezik a tárolóhelyen; A Unity Cataloghoz való hozzáférés konfigurálásával kapcsolatos információkért lásd: Csatlakozás a felhőbeli objektumtárhoz a Unity Catalog használatával.

Feljegyzés

A Unity Catalog használatához az Azure Data Lake Storage Gen2 szükséges.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Ha a konvertált táblákat külső táblákként szeretné betölteni a Unity Katalógusba, a külső hely engedélyére van szüksége CREATE TABLES .

Feljegyzés

A Databricks Runtime 11.3 LTS és újabb CONVERT TO DELTA verziók esetén a metaadattárban regisztrált táblák particionálási adatai automatikusan kikövetelik a partíciók manuális megadásának követelményét.

Felügyelt és külső táblák konvertálása Delta Lake-vé a Unity-katalógusban

A Unity Catalog számos formátumot támogat külső táblákhoz, de csak felügyelt táblákhoz támogatja a Delta Lake-t. Ha egy felügyelt Parquet-táblát közvetlenül egy felügyelt Unity Catalog Delta Lake-táblává szeretne konvertálni, olvassa el a Hive által felügyelt táblák frissítését a CLONE használatával felügyelt Unity Catalog-táblára.

Ha egy külső Parquet-táblát unitykatalógusbeli külső táblára szeretne frissíteni, olvassa el egyetlen Hive-tábla frissítését a Unity Catalog külső táblára a frissítési varázslóval.

Miután regisztrált egy külső Parquet-táblát a Unity Catalogban, átalakíthatja azt egy külső Delta Lake-táblává. Vegye figyelembe, hogy particionálási adatokat kell megadnia, ha a parquet tábla particionált.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);