Databricks-adatok elérése külső rendszerekkel

Ez az oldal áttekintést nyújt az adatok külső rendszerek számára történő kezelésének és szabályozásának Azure Databricks funkciójáról és javaslatáról.

Ezek a modellek olyan helyzetekre összpontosítanak, amikor a szervezetnek hitelesített eszközöket vagy rendszereket kell integrálnia az Azure Databricks adataihoz. Ha útmutatást keres a szervezeten kívüli adatok megosztásához, tekintse meg az adatok és AI-eszközök biztonságos megosztását ismertető témakört.

Milyen külső hozzáférést támogat Azure Databricks?

Azure Databricks a Unity Catalog használatát javasolja az összes adategység szabályozásához. A Unity Catalog integrációkat biztosít a Delta Lake-ügyfelekhez a Unity REST API és az Apache Iceberg-ügyfelek használatával az Iceberg REST-katalógus használatával. A támogatott integrációk teljes listájáért tekintse meg a Unity Catalog-integrációkat.

A Unity Catalog támogatja a felügyelt táblák, a materializált nézetek és a streamelő táblák kompatibilitási módját is, amely lehetővé teszi a REST API-kat nem támogató ügyfelek írásvédett hozzáférését. Ebben az esetben közvetlenül hozzáférhetnek az adatok klónozott másolatához.

Az alábbi táblázat áttekintést nyújt a Unity Catalog-objektumok támogatási formátumairól és hozzáférési mintáiról.

Unity Catalog-objektum Támogatott formátumok Hozzáférési minták
Felügyelt táblák Delta Lake, Iceberg Unity REST API, Iceberg REST-katalógus, OpenSharing, kompatibilitási mód (csak olvasható)
Materializált nézetek és adatfolyam-táblák Delta Lake, Iceberg Használja a külső hozzáférést az adatfolyamokhoz azokhoz a kliensekhez, amelyek támogatják a Delta 4.0-t vagy az Iceberg v3-at. Kompatibilitási mód régebbi ügyfelek számára.
Read-only.
Unity REST API, Iceberg REST-katalógus, fájlhozzáférés (kompatibilitási módban)
Külső táblák Delta-tó Unity REST API, Iceberg REST-katalógus, OpenSharing, felhőalapú URI-k
Külső táblák CSV, JSON, Avro, Parquet, ORC, szöveg Unity REST API, felhőalapú URI-k
Külső kötetek Minden adattípus Felhőalapú URI-k
Idegen táblák* Delta Lake, Iceberg Unity REST API, Iceberg REST-katalógus (előzetes verzió), OpenSharing
Idegen táblák* CSV, JSON, Avro, Parquet, ORC, szöveg Unity REST API, felhőalapú URI-k

* Csak a katalógus-összevonással összevont idegen táblák támogatottak. Az idegen táblákhoz tartozó frissebb olvasatok garantálása érdekében az ügyfelek rendszeresen frissíthetik a metaadatokat Lakeflow feladatok használatával.

A Unity Catalog objektumokkal kapcsolatos további részletekért tekintse meg a következőket:

Unity Catalog hitelesítő adatok kiosztása

A Unity Catalog hitelesítő adatainak kezelése lehetővé teszi a felhasználók számára, hogy külső ügyfeleket konfiguráljanak a Azure Databricks által szabályozott adatokra vonatkozó jogosultságok öröklésére. Az Iceberg- és Delta-kliensek egyaránt támogathatják a hitelesítő adatok kiadását. Lásd: Unity Catalog hitelesítő adatok kiosztása külső rendszer-hozzáféréshez.

Táblák elérése Delta-ügyfelekkel

A Unity REST API-val a Támogatott Delta-ügyfelekből származó, a Delta Lake által felügyelt és külső táblákat olvashat, írhat és hozhat létre a Unity Katalógusban. Lásd: Access Databricks-táblák Delta-ügyfelekről.

Fontos

A Unity Catalog által felügyelt táblák létrehozása és a Delta-kliensekből ezekbe való írás nyilvános előzetes verzióban érhető el.

Külső táblák esetében a Unity Catalog nem szabályozza a külső rendszerekről közvetlenül a felhőobjektum-tárolón végzett olvasásokat és írásokat, ezért további szabályzatokat és hitelesítő adatokat kell konfigurálnia a felhőfiókban, hogy az adatszabályozási szabályzatok Azure Databricks kívül legyenek tiszteletben tartva.

Megjegyzés:

A Azure Databricks dokumentációja a Databricks Runtime-verziók és a platformfunkciók alapján felsorolja a korlátozásokat és a kompatibilitási szempontokat. Meg kell győződnie arról, hogy az ügyfelük milyen olvasói és írói protokollokat, valamint táblafunkciókat támogat. Lásd: delta.io.

Táblák elérése Iceberg-ügyfelekkel

Azure Databricks az Iceberg-ügyfelek számára olvasást, írást és támogatást biztosít a Unity Catalogban regisztrált táblákhoz. A támogatott ügyfelek közé tartozik az Apache Spark, az Apache Flink, a Trino és a Snowflake. Lásd: Access Azure Databricks táblák Apache Iceberg-ügyfelekről.

Írásvédett táblák megosztása domainek között

Az OpenSharing használatával írásvédett hozzáférést biztosíthat a felügyelt vagy külső Delta-táblákhoz tartományok és támogatott rendszerek között. Az OpenSharing-táblák másolás nélküli olvasását támogató szoftverrendszerek közé tartozik az SAP, az Amperity és az Oracle. Lásd: Adatok és AI-eszközök biztonságos megosztása.

Megjegyzés:

Az OpenSharing használatával írásvédett hozzáférést is biztosíthat az ügyfeleknek vagy partnereknek. Az OpenSharing a Databricks Marketplace használatával megosztott adatokat is támogatja.

Nem Delta Lake táblázatos adatok elérése külső táblákkal

A Unity Catalog külső táblái a Delta Lake-en kívül számos formátumot támogatnak, beleértve a Parquetet, az ORC-t, a CSV-t és a JSON-t. A külső táblák az összes adatfájlt címtárakban tárolják a tábla létrehozása során megadott felhőbeli URI által megadott felhőobjektum-tárolóhelyen. Más rendszerek közvetlenül a felhőobjektum-tárolóból érik el ezeket az adatfájlokat.

A Unity Catalog nem szabályozza a külső rendszerekből származó, közvetlenül a felhőobjektum-tárolókon végzett olvasásokat és írásokat, ezért további szabályzatokat és hitelesítő adatokat kell konfigurálnia a felhőfiókban, hogy az adatszabályozási szabályzatok Azure Databricks kívül legyenek tiszteletben tartva.

A több rendszerből származó külső táblák olvasása és írása konzisztenciaproblémákhoz és adatsérüléshez vezethet, mivel a Delta Lake-től eltérő formátumokra nem nyújtanak tranzakciós garanciát.

Előfordulhat, hogy a Unity Catalog nem veszi fel a Delta Lake-en kívüli formátumok által készített, külső táblákra írt új partíciókat. A Databricks javasolja a MSCK REPAIR TABLE table_name rendszeres futtatását, hogy a Unity Catalog regisztrálja-e a külső rendszerek által írt összes adatfájlt.

Nem táblázatos adatok elérése külső kötetekkel

A Databricks azt javasolja, hogy külső kötetekkel tárolja a nem táblázatos adatfájlokat, amelyeket a Azure Databricks mellett külső rendszerek olvasnak vagy írnak. Lásd Mik azok a Unity Catalog-kötetek?.

A Unity Catalog nem szabályozza a külső rendszerekből származó, közvetlenül a felhőobjektum-tárolókon végzett olvasásokat és írásokat, ezért további szabályzatokat és hitelesítő adatokat kell konfigurálnia a felhőfiókban, hogy az adatszabályozási szabályzatok Azure Databricks kívül legyenek tiszteletben tartva.

A kötet API-kat, SDK-kat és egyéb eszközöket biztosít a fájlok lehívásához és kötetekbe helyezéséhez. Lásd : Fájlok használata a Unity-katalógus köteteiben.

Megjegyzés:

Az OpenSharing lehetővé teszi kötetek megosztását más Azure Databricks fiókokba, de nem integrálható külső rendszerekkel.

  • Last updated on