Munka külső táblákkal

Külföldi táblák, más néven federált táblák, a Unity Katalógusban egy külföldi katalógus részeként regisztrált táblák. A külső táblák külső rendszerek által felügyelt adatokat és metaadatokat tartalmaznak, és a Unity Catalog adatszabályozást ad hozzá a táblák lekérdezéséhez.

Az Azure Databricks a következő módszereket támogatja a külföldi táblák regisztrálásakor:

• A lekérdezési összevonás biztonságos JDBC-kapcsolatokat használ a külső adatrendszerekhez, például a PostgreSQL-hez és a MySQL-hez való összevonáshoz.
• A katalógus-összevonás külső katalógusokat, például Hive Metastore-t vagy Snowflake Horizon-katalógust kapcsol össze az adatok közvetlenül a fájltárolóban való lekérdezéséhez.

Important

Az örökölt Apache Spark- és Azure Databricks-számítási feladatokkal való visszamenőleges kompatibilitás érdekében az összevont Hive-metaadattárban lévő idegen táblák metaadatokat adnak vissza a Hive metaadattárából, beleértve azt is, hogy a tábla Hive által felügyelt tábla vagy Hive külső tábla-e.

Miért érdemes idegen táblát használni?

A külföldi táblák rugalmasságot biztosítanak az Azure Databricks meglévő adatrendszerekkel való integrálása vagy az örökölt rendszerekről való migrálás során.

Számos külföldi tábla ideiglenes megoldásként szolgál a nem az Azure Databricks által kezelt adatokhoz való közvetlen hozzáféréshez, mivel gyors megoldást nyújtanak anélkül, hogy adatmigrálást vagy kód újrabontást igényelnének a felsőbb rétegbeli ETL-munkafolyamatokhoz. A Databricks azt javasolja, hogy migrálja azokat az adathalmazokat, amelyek éles számítási feladatokat hajtanak vagy gyakran kérdeznek le a Unity Catalog által felügyelt táblákba, mivel a felügyelt táblák a legjobb teljesítményt nyújtják, és számos beépített optimalizálással rendelkeznek. Lásd : Idegen tábla átalakítása felügyelt Unity-katalógustáblává.

A lekérdezés-összevonás ingyenes megoldást kínál a Lakeflow Connect által nem támogatott külső adatrendszerekből származó adatok betöltésére. A Databricks azt javasolja, hogy materializált nézetekkel replikálja az idegen táblákat a Unity Catalogba. Lásd: Adatok betöltése külföldi táblákból materializált nézetekkel.

Külső táblák létrehozása vagy írása bele

Ha rendelkezik megfelelő jogosultságokkal, és a munkaterülete egy belső összevont Hive-metaadattárral van konfigurálva, létrehozhat vagy írhat a belső összevont Hive-metaadattár által támogatott idegen táblákba. A külső összevont Hive metaadattár és a Lakehouse Federationen keresztül elért összes idegen tábla írásvédett.

Bár a külföldi táblák írásvédettek , a Frissített mező azt a felhasználót jeleníti meg, aki a legutóbbi metaadat-frissítést aktiválta. Az Azure Databricks automatikusan frissíti a külső tábla metaadatait a lekérdezések során, amikor észleli, hogy a metaadatok elavultak. Ennek eredményeképpen a Frissített mező megjeleníti a session_user lekérdezést futtató felhasználót, annak ellenére, hogy a felhasználó nem módosította a mögöttes adatokat.

Az Azure Databricks nem kezeli az idegen táblákba történő írás metaadatait, adatait és szemantikáját. Előfordulhat, hogy a külföldi táblákat ACID-kompatibilis formátum( például Delta Lake vagy Apache Iceberg) készíti el, de a külföldi táblák nem biztosítják a Unity Catalog által felügyelt táblák tranzakciós garanciáit.

Az Azure Databricks legtöbb optimalizálása a lekérdezési teljesítmény, a jobb írási sebesség, az adatok kihagyása és a csak metaadat-lekérdezések esetében megköveteli a Unity Catalog használatát. A Databricks azt javasolja, hogy a databricks futtatókörnyezet legújabb verziójával hasonlítsa össze az olvasási és írási lekérdezési teljesítményt a külső táblák és a Unity Catalog által felügyelt táblák között a késés és a költségkülönbségek kiértékelése érdekében. Lásd a Delta Lake és az Apache Iceberg számára az Azure Databricks-ben az Unity Catalog felügyelt táblák leírását.