Csatlakozás felhőobjektum-tárolóba a Unity Catalog használatával

Ez a cikk áttekintést nyújt azokról a felhőbeli tárolókapcsolat-konfigurációkról, amelyek szükségesek az adatok Unity Catalog használatával való használatához.

A Databricks azt javasolja, hogy a Unity Catalog használatával kezelje a felhőobjektum-tárolóban tárolt összes adathoz való hozzáférést. A Unity Catalog eszközkészletet biztosít a felhőobjektum-tároló biztonságos kapcsolatainak konfigurálásához. Ezek a kapcsolatok hozzáférést biztosítanak a következő műveletek végrehajtásához:

• Nyers adatok betöltése egy tóházba.
• Felügyelt táblák létrehozása és olvasása biztonságos felhőbeli tárolóban.
• Táblázatos adatokat tartalmazó külső táblák regisztrálása vagy létrehozása.
• Strukturálatlan adatok olvasása és írása.

Figyelmeztetés

Ne adjon a végfelhasználóknak társzintű hozzáférést a Unity Catalog által felügyelt táblákhoz vagy kötetekhez. Ez veszélyezteti az adatbiztonságot és a szabályozást.

Ha a felhasználók közvetlen társzintű hozzáférést biztosítanak a külső tárolóhoz az Azure Data Lake Storage Gen2-ben, nem tartják be a Unity Catalog által megadott engedélyeket vagy auditálásokat. A közvetlen hozzáférés megkerüli a Unity Catalog naplózási, leágaztatási és egyéb biztonsági és monitorozási funkcióit, beleértve a hozzáférés-vezérlést és az engedélyeket. Ön felel az Azure Data Lake Storage Gen2-en keresztüli közvetlen tárhozzáférés kezeléséért, valamint annak biztosításáért, hogy a felhasználók rendelkezzenek a Fabricen keresztül megadott megfelelő engedélyekkel.

Kerülje azokat a forgatókönyveket, amelyek közvetlen tárolási szintű írási hozzáférést biztosítanak a Databricks által felügyelt táblákat tároló gyűjtőkhöz. A Unity Catalog által eredetileg felügyelt tárolón keresztüli objektumok módosítása, törlése vagy fejlesztése adatsérülést okozhat.

Feljegyzés

Ha a munkaterület 2023. november 9. előtt lett létrehozva, lehetséges, hogy a unitykatalógus nem engedélyezi. A fiókadminisztrátornak engedélyeznie kell a Unity Katalógust a munkaterületen. Lásd: Munkaterület engedélyezése a Unity Cataloghoz.

Hogyan csatlakoztatja a Unity Catalog az objektumtárolást az Azure Databrickshez?

Az Azure Databricks az Azure Data Lake Storage Gen2-tárolókat és a Cloudflare R2 gyűjtőket (nyilvános előzetes verzió) is támogatja felhőalapú tárolóhelyként a Unity Katalógusban regisztrált adatok és AI-eszközök számára. Az R2 elsősorban olyan használati esetekre szolgál, amelyekben el szeretné kerülni az adatforgalom díjait, például a felhők és régiók közötti deltamegosztást. További információ: Cloudflare R2-replikák használata vagy tároló áttelepítése R2-re.

A táblákat és köteteket tartalmazó mögöttes felhőalapú tárolóhoz való hozzáférés kezeléséhez a Unity Catalog a következő objektumtípusokat használja:

• A tárolási hitelesítő adatok egy hitelesítési és engedélyezési mechanizmust jelentenek a felhőbérltetőn tárolt adatok elérésére az Azure Data Lake Storage Gen2-tárolókhoz tartozó Azure-beli felügyelt identitással vagy szolgáltatásnévvel, illetve a Cloudflare R2-tárolók R2 API-jogkivonatával. Minden tárolási hitelesítő adatra a Unity Catalog hozzáférés-vezérlési szabályzatai vonatkoznak, amelyek szabályozzák, hogy mely felhasználók és csoportok férhetnek hozzá a hitelesítő adatokhoz. Ha egy felhasználó nem fér hozzá a Tárolási hitelesítő adatokhoz a Unity Katalógusban, a kérés meghiúsul, és a Unity Catalog nem kísérli meg a hitelesítést a felhőbeli bérlőn a felhasználó nevében. A tár hitelesítő adatainak létrehozására csak olyan felhasználóknak lehet engedélyt adni, akiknek külső helyeket kell meghatározniuk. Lásd: Tároló hitelesítő adatainak létrehozása az Azure Data Lake Storage Gen2-hez való csatlakozáshoz, valamint egy tároló hitelesítő adatainak létrehozása a Cloudflare R2-hez való csatlakozáshoz.

• A külső hely egy olyan objektum, amely egyesíti a felhőbeli tároló elérési útját egy tároló hitelesítő adataival, amely engedélyezi a felhőbeli tárolási elérési úthoz való hozzáférést. Minden tárolóhelyre a Unity Catalog hozzáférés-vezérlési szabályzatai vonatkoznak, amelyek szabályozzák, hogy mely felhasználók és csoportok férhetnek hozzá a hitelesítő adatokhoz. Ha egy felhasználó nem fér hozzá a Unity Katalógusban található tárolóhelyhez, a kérés meghiúsul, és a Unity Catalog nem kísérli meg a hitelesítést a felhőbeli bérlőn a felhasználó nevében. A külső helyek létrehozására és használatára csak azoknak a felhasználóknak adható engedély, akiknek külső táblákat, külső köteteket vagy felügyelt tárolóhelyeket kell létrehozniuk. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.

  A külső helyeket külső adategységekhez, például külső táblákhoz és külső kötetekhez, valamint felügyelt adategységekhez, például felügyelt táblákhozés felügyelt kötetekhez egyaránt használják. A különbségről további információt a Táblák és kötetek című témakörben talál.

  Ha egy külső helyet használ a felügyelt táblák és a felügyelt kötetek tárolására, az úgynevezett felügyelt tárolóhely. A felügyelt tárolóhelyek a metaadattár, a katalógus vagy a séma szintjén is létezhetnek. A Databricks a felügyelt tárolóhelyek katalógusszintű konfigurálását javasolja. Ha részletesebb elkülönítésre van szüksége, a séma szintjén megadhatja a felügyelt tárolóhelyeket. A Unity-katalógushoz engedélyezett munkaterületek alapértelmezés szerint automatikusan nem rendelkeznek metaadattárszintű tárterülettel, de megadhat egy felügyelt tárolóhelyet a metaadattár szintjén, hogy az alapértelmezett tárterületet biztosítsa, ha nincs meghatározva katalógusszintű tároló. A Unity Cataloghoz engedélyezett munkaterületek alapértelmezés szerint metaadattárszintű felügyelt tárolóhelyet kapnak. Tekintse meg a Felügyelt tárhely megadása a Unity Catalogban és a Unity Catalog ajánlott eljárásait.

A kötetek olyan biztonságos objektumok, amelyeket a legtöbb Azure Databricks-felhasználónak közvetlenül kell használnia a nem táblázatos adatokkal való közvetlen interakcióhoz a felhőobjektum-tárolóban. Lásd: Kötetek létrehozása és létrehozása.

Feljegyzés

Míg a Unity Catalog támogatja a külső táblákhoz és külső kötetekhez való elérési utakon alapuló hozzáférést a felhőalapú tárolási URI-k használatával, a Databricks azt javasolja, hogy a felhasználók olvassák és írják meg az összes Unity Catalog-táblát táblanevek használatával, és férjenek hozzá a kötetekben lévő adatokhoz elérési utak használatával /Volumes .

Következő lépések

Ha még csak most kezdi el rendszergazdaként a Unity Catalog használatát, olvassa el a Unity Catalog beállítása és kezelése című témakört.

Ha Ön új felhasználó, és a munkaterülete már engedélyezve van a Unity Cataloghoz, tekintse meg az oktatóanyagot: Az első tábla létrehozása és jogosultságok megadása.