Mi az a Unity katalógus?

Ez a cikk bemutatja a Unity Catalogot, az Azure Databricksen tárolt adatok és AI-eszközök egységes szabályozási megoldását. Ismerteti a legfontosabb fogalmakat, és áttekintést nyújt arról, hogyan használható a Unity Catalog az adatok szabályozására.

Feljegyzés

A Unity Catalog nyílt forráskódú implementációként is elérhető. Tekintse meg a bejelentési blogot és a nyilvános Unity Catalog GitHub-adattárat.

A Unity-katalógus áttekintése

A Unity Catalog egy központosított adatkatalógus, amely hozzáférés-vezérlési, naplózási, vonalvezetési, minőségi monitorozási és adatfelderítési képességeket biztosít az Azure Databricks-munkaterületeken.

A Unity Catalog főbb funkciói a következők:

• Definiáljon egyszer, biztonságosan mindenhol: A Unity Catalog egyetlen helyet kínál az adathozzáférési szabályzatok felügyeletéhez, amelyek egy régió összes munkaterületére vonatkoznak.
• Szabványoknak megfelelő biztonsági modell: A Unity Catalog biztonsági modellje szabványos ANSI SQL-en alapul, és lehetővé teszi a rendszergazdák számára, hogy a meglévő data lake-beli engedélyeket ismerős szintaxissal biztosíthassák.
• Beépített naplózás és leválasztás: A Unity Catalog automatikusan rögzíti az adatokhoz való hozzáférést rögzítő felhasználói szintű naplózási naplókat. A Unity Catalog emellett olyan életútadatokat is rögzít, amelyek nyomon követik az adategységek létrehozását és használatát minden nyelven.
• Adatfelderítés: A Unity-katalógus lehetővé teszi az adategységek címkézését és dokumentálást, valamint keresési felületet biztosít az adatfelhasználók számára az adatok megtalálásához.
• Rendszertáblák: A Unity Katalógus lehetővé teszi a fiók működési adatainak egyszerű elérését és lekérdezését, beleértve az auditnaplókat, a számlázható használatot és a leválasztást.

Metaadattár

A metaadattár a Unity Catalog metaadatainak legfelső szintű tárolója. Regisztrálja az adatok és az AI-eszközök metaadatait, valamint az azokhoz való hozzáférést szabályozó engedélyeket. Ahhoz, hogy egy munkaterület a Unity Catalogot használja, egy Unity Catalog-metaadattárat kell csatolnia. Minden régióban, ahol munkaterületek találhatók, legyen egy metaadattára.

A Hive-metaadattártól eltérően a Unity Catalog metaadattára nem szolgáltatáshatár: több-bérlős környezetben fut, és logikai határt jelöl az adatok régiónkénti elkülönítéséhez egy adott Azure Databricks-fiókhoz.

A Unity Catalog objektummodell

A Unity Catalog metaadattárában a háromszintű adatbázis-objektumhierarchia sémákat tartalmazó katalógusokból áll, amelyek viszont adatokat és AI-objektumokat, például táblákat és modelleket tartalmaznak. Ez a hierarchia háromszintű névtérként (catalog.schema.table-etc) jelenik meg, amikor táblákra, nézetekre, kötetekre, modellekre és függvényekre hivatkozik.

Első szint:

• A katalógusok az adategységek rendszerezésére szolgálnak, és általában az adatelkülönítési séma legfelső szintjeként használják. A katalógusok gyakran tükrözik a szervezeti egységeket vagy a szoftverfejlesztési életciklus hatóköreit. Lásd : Mik azok a katalógusok az Azure Databricksben?.
• A nem adatvédhető objektumok, például a tár hitelesítő adatai és a külső helyek az adatszabályozási modell felügyeletére szolgálnak a Unity Catalogban. Ezek a metaadattár közvetlen közelében élnek. Ezeket részletesebben a Unity Catalog által a külső adatforrásokhoz való hozzáférés kezeléséhez használt biztonságos objektumokban ismertetjük.

Második szint:

• A sémák (más néven adatbázisok) táblákat, nézeteket, köteteket, AI-modelleket és függvényeket tartalmaznak. A sémák az adatokat és az AI-objektumokat a katalógusoknál részletesebb logikai kategóriákba rendezik. A séma általában egyetlen használati esetet, projektet vagy csapat tesztkörnyezetet jelöl. Lásd : Mik azok a sémák az Azure Databricksben?.

Harmadik szint:

• A táblák sorok és oszlopok szerint rendezett adatgyűjtemények. A táblák kezelhetők úgy, hogy a Unity Catalog felügyeli a tábla teljes életciklusát, vagy külső, a Unity Catalog pedig az Azure Databricksből származó adatokhoz való hozzáférést felügyeli, más ügyfelektől származó felhőbeli tárolóban lévő adatokhoz való hozzáférést azonban nem. Lásd Bevezetés az Azure Databricks-táblákhoz és a felügyelt és a külső táblák és kötetek közötti különbségeket.
• Nézetek olyan lekérdezések, amelyek egy vagy több táblára lettek mentve. Lásd Mi az a nézet?.
• A kötetek a felhőobjektum-tárolóban lévő adatok logikai köteteit jelölik. Kötetekkel bármilyen formátumban tárolhatja, rendszerezheti és elérheti a fájlokat, beleértve a strukturált, félig strukturált és strukturálatlan adatokat is. Általában nem táblázatos adatokhoz használják őket. A kötetek kezelhetők úgy, hogy a Unity Catalog felügyeli az adatok teljes életciklusát és elrendezését a tárolóban vagy külső környezetben, a Unity Catalog pedig az Azure Databricksből származó adatokhoz való hozzáférést kezeli, más ügyfelektől származó felhőbeli adatokhoz való hozzáférést azonban nem. Lásd Mik azok a Unity Catalog-kötetek? és A felügyelt és külső táblák és kötetek közötti különbség.
• A függvények mentett logikai egységek, amelyek skaláris értéket vagy sorkészletet adnak vissza. Lásd a felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban.
• A modellek MLflow-ban csomagolt AI-modellek, amelyek a Unity Katalógusban függvényként vannak regisztrálva. Lásd: Modell életciklusának kezelése a Unity Katalógusban.

A Unity Catalog által a külső adatforrásokhoz való hozzáférés kezelésére használt biztonságos objektumok

A sémákban található adatbázis-objektumok és AI-objektumok mellett a Unity Catalog a következő biztonságos objektumokat is használja a felhőbeli tárolókhoz és más külső adatforrásokhoz és szolgáltatásokhoz való hozzáférés kezelésére:

• A tároló hitelesítő adatai, amelyek egy hosszú távú felhőalapú hitelesítő adatokat foglalnak magában, amely hozzáférést biztosít a felhőbeli tárolókhoz. Lásd : Tároló hitelesítő adatainak létrehozása az Azure Data Lake Storage-hoz való csatlakozáshoz.
• Külső helyek, amelyek a felhőbeli tárolási útvonalra és a hozzáféréshez szükséges tárolási hitelesítő adatokra is hivatkoznak. A külső helyekkel külső táblákat hozhat létre, vagy felügyelt tárolóhelyet rendelhet a felügyelt táblákhoz és kötetekhez. Lásd: Külső hely létrehozása a felhőbeli tárolás Azure Databrickshez való csatlakoztatásához, felhőbeli tároláshoz és adatelkülönítéshez, valamint felügyelt tárolási hely megadása a Unity Catalogban.
• Olyan kapcsolatok, amelyek olyan hitelesítő adatokat jelentenek, amelyek írásvédett hozzáférést biztosítanak egy külső adatbázishoz egy adatbázisrendszerben, például a MySQL-hez a Lakehouse Federation használatával. Lásd : Mi az a Lakehouse Federation?.
• A szolgáltatás hitelesítő adatai, amelyek egy hosszú távú felhőalapú hitelesítő adatot foglalnak magában, amely hozzáférést biztosít egy külső szolgáltatáshoz. Lásd: Szolgáltatás hitelesítő adatainak létrehozása.

A Unity Catalog által a megosztott eszközökhöz való hozzáférés kezeléséhez használt biztonságos objektumok

A Unity Catalog a következő biztonságos objektumokat használja az adatok és az AI-eszközök megosztásának kezelésére a metaadattárak vagy a szervezeti határok között:

• Tiszta szobák, amelyek egy Databricks által felügyelt környezetet jelölnek, ahol több résztvevő együttműködhet a projekteken anélkül, hogy megosztaná az alapul szolgáló adatokat egymással. Lásd : Mi az Azure Databricks Clean Rooms?.
• Megosztások, amelyek Delta Sharing objektumok, és egy írásvédett adatgyűjteményt, valamint AI-eszközöket jelentenek, amelyeket az adatszolgáltató egy vagy több címzettel oszt meg.
• A címzettek, amelyek deltamegosztási objektumok, amelyek egy adatszolgáltatótól származó megosztásokat fogadó entitást képviselnek.
• Olyan szolgáltatók, amelyek deltamegosztási objektumok, amelyek egy olyan entitást képviselnek, amely adatokat oszt meg egy címzettel.

További információ a deltamegosztás biztonságos objektumairól: Mi az a Delta Sharing?.

Adminisztrátori szerepkörök

Az alábbi Azure Databricks-rendszergazdai szerepkörök alapértelmezés szerint számos Unity Catalog-jogosultsággal rendelkeznek:

• Fiókadminisztrátor: létrehozhat metaadattárakat, munkaterületeket csatolhat metaadattárakhoz, felhasználókat vehet fel, és jogosultságokat rendelhet a metaadattárakhoz.
• Munkaterület-rendszergazdák: hozzáadhatnak felhasználókat egy munkaterülethez, és számos munkaterület-specifikus objektumot, például feladatokat és jegyzetfüzeteket kezelhetnek. A munkaterülettől függően a munkaterület rendszergazdái számos jogosultsággal is rendelkezhetnek a munkaterülethez csatolt metaadattárban.
• Metaadattár-rendszergazdák: Erre az opcionális szerepkörre akkor van szükség, ha a tábla- és kötettárolást metaadattár szintjén szeretné kezelni. Az is kényelmes, ha egy régió több munkaterületén szeretné központilag kezelni az adatokat.

További információ: Rendszergazdai jogosultságok a Unity Katalógusban.

Biztonságos objektumokhoz való hozzáférés engedélyezése és visszavonása

A kiemelt felhasználók a hierarchia bármely szintjén biztosíthatnak és vonhatnak vissza hozzáférést a biztonságos objektumokhoz, beleértve magát a metaadattárat is. Az objektumhoz való hozzáférés implicit módon ugyanazt a hozzáférést biztosítja az objektum összes gyermekéhez, kivéve, ha a hozzáférés visszavonásra kerül.

Tipikus ANSI SQL-parancsokkal hozzáférést adhat és vonhat vissza az objektumokhoz a Unity Catalogban. Példa:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Az objektumengedélyek kezeléséhez használhatja a Catalog Explorert, a Databricks parancssori felületet és a REST API-kat is.

A metaadattár-rendszergazdák, az objektumok tulajdonosai és az MANAGE privilege objektumon lévő felhasználók hozzáférést adhatnak és vonhatnak vissza. A Jogosultságok kezelése a Unity Katalógusban című témakörből megtudhatja, hogyan kezelheti a jogosultságokat a Unity Catalogban.

Adatbázis-objektumok alapértelmezett elérése a Unity Katalógusban

A Unity Catalog a minimális jogosultság elvén működik, ahol a felhasználók minimális hozzáféréssel rendelkeznek a szükséges feladatok elvégzéséhez. Munkaterület létrehozásakor a nem rendszergazdai felhasználók csak az automatikusan kiosztott munkaterület-katalógushoz férhetnek hozzá, így ez a katalógus kényelmes hely a felhasználók számára, hogy kipróbálják az adatbázis-objektumok létrehozásának és elérésének folyamatát a Unity Katalógusban. Lásd Munkaterület-katalógus jogosultságai.

Adatbázis-objektumok használata a Unity Katalógusban

Az adatbázis-objektumokkal való munka a Unity Katalógusban nagyon hasonló a Hive-metaadattárban regisztrált adatbázis-objektumokhoz, azzal a kivétellel, hogy a Hive-metaadattárak nem tartalmaznak katalógusokat az objektumnévtérben. A jól ismert ANSI-szintaxissal adatbázis-objektumokat hozhat létre, adatbázis-objektumokat kezelhet, engedélyeket kezelhet, és adatokat használhat a Unity Katalógusban. Adatbázis-objektumokat is létrehozhat, adatbázis-objektumokat kezelhet, és a Katalóguskezelő felhasználói felületén kezelheti az adatbázis-objektumokra vonatkozó engedélyeket.

További információ: Adatbázis-objektumok az Azure Databricksben.

Felügyelt és külső táblák és kötetek

A táblák és kötetek kezelhetők vagy külsőleg tárolhatók.

• A felügyelt táblákat teljes mértékben a Unity Catalog felügyeli, ami azt jelenti, hogy a Unity Catalog az egyes felügyelt táblák irányítási és mögöttes adatfájljait is kezeli. A felügyelt táblák a unitykatalógus által felügyelt helyen vannak tárolva a felhőbeli tárolóban. A felügyelt táblák mindig a Delta Lake formátumot használják. A felügyelt táblákat a metaadattár, a katalógus vagy a séma szintjén tárolhatja.
• A külső táblák olyan táblák, amelyek hozzáférését az Azure Databricksből a Unity Catalog felügyeli, de az adatok életciklusa és a fájlelrendezés a felhőszolgáltató és más adatplatformok használatával történik. Általában külső táblák használatával regisztrál nagy mennyiségű meglévő adatot az Azure Databricksben, vagy ha írási hozzáférést is igényel az adatokhoz az Azure Databricksen kívüli eszközökkel. A külső táblák több adatformátumban is támogatottak. Miután regisztrált egy külső táblát egy Unity Catalog-metaadattárban, kezelheti és naplózhatja az Azure Databricks hozzáférését--- és dolgozhat vele--- ugyanúgy, mint a felügyelt táblák esetében.
• A felügyelt köteteket teljes mértékben a Unity Catalog felügyeli, ami azt jelenti, hogy a Unity Catalog felügyeli a kötet tárolási helyéhez való hozzáférést a felhőszolgáltató fiókjában. Felügyelt kötet létrehozásakor a rendszer automatikusan az azt tartalmazó sémához rendelt felügyelt tárolóhelyen tárolja.
• A külső kötetek az Azure Databricksen kívül felügyelt, de a Unity Katalógusban regisztrált, az Azure Databricksen belüli hozzáférés szabályozására és naplózására szolgáló tárolóhelyeken lévő meglévő adatokat jelölik. Amikor külső kötetet hoz létre az Azure Databricksben, meg kell adnia annak helyét, amelynek egy Unity Catalog külső helyen definiált elérési útján kell lennie.

A Databricks a legtöbb használati esethez ajánlott felügyelt táblákat és köteteket, mivel lehetővé teszik a Unity Catalog szabályozási képességeinek és teljesítményoptimalizálásának teljes kihasználását. A külső táblák és kötetek tipikus használati eseteiről további információt a Felügyelt és külső táblák , valamint a Felügyelt és külső kötetek című témakörben talál.

Lásd még:

• A Unity Catalog által felügyelt táblák a Delta Lake-hez és az Apache Iceberghez készült Azure Databricksben
• Dolgozzon külső táblákkal
• Felügyelt és külső kötetek.

Felhőbeli tárolás és adatelkülönítés

A Unity Catalog két elsődleges módon használja a felhőbeli tárolást:

• Felügyelt tárolás: az Azure Databricksben létrehozott felügyelt táblák és felügyelt kötetek (strukturálatlan, nem táblázatos adatok) alapértelmezett helyei. Ezek a felügyelt tárolóhelyek a metaadattár, a katalógus vagy a séma szintjén határozhatók meg. Felügyelt tárolóhelyeket hoz létre a felhőszolgáltatóban, de életciklusukat teljes mértékben a Unity Catalog felügyeli.
• Tárolási helyek, ahol külső táblákat és köteteket tárolnak. Ezek olyan táblák és kötetek, amelyek hozzáférését az Azure Databricksből a Unity Catalog kezeli, de az adatok életciklusa és a fájlelrendezés a felhőszolgáltató és más adatplatformok használatával történik. Általában külső táblák vagy kötetek használatával regisztrál nagy mennyiségű meglévő adatot az Azure Databricksben, vagy ha írási hozzáférést is igényel az adatokhoz az Azure Databricksen kívüli eszközökkel.

A felhőbeli tárolókhoz való hozzáférés szabályozása külső helyek használatával

A felügyelt tárolóhelyek és azok a tárolóhelyek, ahol külső táblákat és köteteket tárolnak, külső helyek biztosítandó objektumait használják az Azure Databricksből való hozzáférés kezeléséhez. A külső helyobjektumok egy felhőalapú tárolási útvonalra hivatkoznak, és a hozzáféréshez szükséges tárolási hitelesítő adatokra . A tárolási hitelesítő adatok maguk a Unity Catalog biztonságos objektumai, amelyek regisztrálják az adott tárolási útvonal eléréséhez szükséges hitelesítő adatokat. Ezek a biztonságos kulcsok együttesen biztosítják, hogy a Unity Catalog szabályozza és nyomon kövesse a tárolóhoz való hozzáférést.

Az alábbi ábra egyetlen felhőbeli tároló fájlrendszerhierarchiáját mutatja be, négy külső hellyel, amelyek egy tároló hitelesítő adatait osztják meg.

További információ: Hogyan szabályozza a Unity Katalógus a felhőbeli tárolókhoz való hozzáférést?

Felügyelt tárhelyhierarchia

A felügyelt tárolás Unity-katalógusban való definiálási szintje az előnyben részesített adatelkülönítési modelltől függ. A szervezet megkövetelheti bizonyos típusú adatok tárolását a felhőbérladó adott fiókjaiban vagy gyűjtőiben.

A Unity Catalog lehetővé teszi, hogy a metaadattár, katalógus vagy séma szintjén konfigurálja a felügyelt tárolóhelyeket az ilyen követelményeknek megfelelően.

Tegyük fel például, hogy a szervezete rendelkezik egy olyan vállalati megfelelőségi szabályzattal, amely megköveteli, hogy az emberi erőforrásokhoz kapcsolódó gyártási adatok a konténerben maradjanak, például abfss://mycompanyhr-prod@storage-account.dfs.core.windows.net. A Unity Catalogban ezt a követelményt úgy érheti el, hogy beállít egy helyet katalógusszinten, létrehoz egy úgynevezett katalógust, például hr_prod, és hozzárendeli a hely abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog-t hozzá. Ez azt jelenti, hogy a hr_prod katalógusban létrehozott felügyelt táblák vagy kötetek (például CREATE TABLE hr_prod.default.table …használatával) az adataikat abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-katalógusban tárolják. Igény szerint sémaszintű helyeket is megadhat az adatok hr_prod catalog részletesebb szintű rendszerezéséhez.

Ha egyes katalógusokhoz nincs szükség tárolóelkülönítésre, igény szerint beállíthat egy tárolóhelyet a metaadattár szintjén. Ez a hely alapértelmezett hely a katalógusokban és sémákban lévő felügyelt táblák és kötetek számára, amelyekhez nincs hozzárendelve tárterület. A Databricks azonban általában azt javasolja, hogy minden katalógushoz külön felügyelt tárolóhelyeket rendeljen hozzá.

A rendszer kiértékeli a tárolási helyek hierarchiáját a sémától a katalóguson át a metaadattárig.

Ha például létrehoz egy táblát myCatalog.mySchema.myTablemy-region-metastore, a tábla tárolási helyét a következő szabály határozza meg:

1. Ha mySchema számára megadásra került egy hely, az ott lesz tárolva.
2. Ha nem, és egy hely meg van adva myCatalog, akkor ott lesz tárolva.
3. Végül, ha nincs megadva hely a myCatalog-on, akkor a my-region-metastore-hez tartozó helyen lesz tárolva.

További információ: Felügyelt tárhely megadása a Unity Katalógusban.

Környezetelkülönítés munkaterület-katalógus kötéssel

Alapértelmezés szerint a katalógustulajdonosok (és a metaadattár rendszergazdái, ha a fiókhoz vannak definiálva) elérhetővé tehetnek egy katalógust az ugyanazon Unity Catalog-metaadattárhoz csatolt több munkaterület felhasználói számára.

A szervezeti és megfelelőségi követelmények gyakran meghatározzák, hogy bizonyos adatokat, például személyes adatokat csak bizonyos környezetekben tároljon. Elképzelhető, hogy el szeretné különíteni az éles adatokat a fejlesztési környezetektől, vagy biztosítani kell, hogy bizonyos adathalmazok és tartományok soha ne legyenek összekapcsolva.

Az Azure Databricksben a munkaterület az elsődleges adatfeldolgozási környezet, a katalógusok pedig az elsődleges adattartományok. A Unity Catalog lehetővé teszi, hogy a metaadattár-rendszergazdák, a katalógustulajdonosok és a MANAGE engedéllyel rendelkező felhasználók adott munkaterületekhez rendeljenek, vagy „kössenek” katalógusokat. Ezek a környezettudatos kötések lehetővé teszik annak biztosítását, hogy csak bizonyos katalógusok legyenek elérhetők egy munkaterületen belül, függetlenül attól, hogy a felhasználónak adott adatobjektumokra milyen jogosultságok vonatkoznak. Ha azonban munkaterületekkel elkülöníti a felhasználói adatokhoz való hozzáférést, érdemes lehet korlátoznia a katalógus hozzáférését a fiók adott munkaterületeihez, hogy bizonyos típusú adatok csak ezeken a munkaterületeken legyenek feldolgozva. Előfordulhat, hogy külön éles és fejlesztési munkaterületet szeretne, például egy külön munkaterületet a személyes adatok feldolgozásához. Ezt nevezik munkaterület-katalógus kötésnek. Lásd: Katalógushozzáférés korlátozása adott munkaterületekhez.

Feljegyzés

A nagyobb adatelkülönítés érdekében a felhőbeli tárterület-hozzáférést és a felhőszolgáltatás-hozzáférést adott munkaterületekhez is kötheti. Lásd : (Nem kötelező) Tároló hitelesítő adatainak hozzárendelése adott munkaterületekhez, (Nem kötelező) Külső hely hozzárendelése adott munkaterületekhez, és (Nem kötelező) Szolgáltatás hitelesítő adatainak hozzárendelése adott munkaterületekhez.

Hogyan állítsa be a Unity Katalógust a szervezetem számára?

A Unity Catalog használatához engedélyezni kell az Azure Databricks-munkaterületet a Unity Cataloghoz, ami azt jelenti, hogy a munkaterület egy Unity Catalog-metaadattárhoz van csatolva.

Hogyan kapcsolódik egy munkaterület egy metaadattárhoz? Ez a fióktól és a munkaterülettől függ:

• Amikor először hoz létre Azure Databricks-munkaterületet egy régióban, a metaadattár automatikusan létrejön, és a munkaterülethez van csatolva.
• Néhány régebbi fiók esetében a fiókadminisztrátornak létre kell hoznia a metaadattárat, és hozzá kell rendelnie a régióban lévő munkaterületeket a metaadattárhoz. Útmutatásért lásd : Unity Catalog-metaadattár létrehozása.
• Ha egy fiók már rendelkezik egy régióhoz hozzárendelt metaadattárval, a fiókadminisztrátor eldöntheti, hogy automatikusan csatolja-e a metaadattárat az adott régió összes új munkaterületéhez. Lásd: Metaadattár automatikus hozzárendelésének engedélyezése új munkaterületekhez.

Ha a munkaterület automatikusan engedélyezve lett-e a Unity Cataloghoz, a Unity Catalog használatának megkezdéséhez az alábbi lépésekre is szükség van:

• Katalógusokat és sémákat hozhat létre, amelyek adatbázis-objektumokat, például táblákat és köteteket tartalmaznak.
• Felügyelt tárolóhelyeket hozhat létre a felügyelt táblák és kötetek tárolásához ezekben a katalógusokban és sémákban.
• Hozzáférést biztosíthat a felhasználóknak a katalógusokhoz, sémákhoz és adatbázis-objektumokhoz.

A Unity Cataloghoz automatikusan engedélyezett munkaterületek olyan munkaterület-katalógust építenek ki, amely széles körű jogosultságokkal rendelkezik az összes munkaterület-felhasználó számára. Ez a katalógus kényelmes kiindulópont a Unity Catalog kipróbálásához.

A részletes beállítási utasításokért tekintse meg a Unity Catalog használatának első lépéseit.

Meglévő munkaterület frissítése Unity-katalógusra

Ha tudni szeretné, hogyan frissíthet egy nem Unity Catalog-munkaterületet Unity Catalogra, olvassa el az Azure Databricks-munkaterületek Unity Catalogra való frissítését ismertető témakört.

A Unity Catalog követelményei és korlátozásai

A Unity Cataloghoz az alábbiakban ismertetett számítási és fájlformátumok meghatározott típusai szükségesek. Az alábbiakban néhány Olyan Azure Databricks-funkciót is felsorolunk, amelyek nem támogatottak teljes mértékben a Unity Katalógusban az összes Databricks Runtime-verzióban.

Régiótámogatás

Minden régió támogatja a Unity Catalogot. További részletekért tekintse meg az Azure Databricks-régiókat.

Számítási követelmények

A Unity Catalog támogatott a Databricks Runtime 11.3 LTS vagy újabb verzióját futtató fürtökön. A Unity Catalog alapértelmezés szerint minden SQL Warehouse számítási verzióban támogatott.

A Databricks Runtime korábbi verzióiban futó fürtök nem támogatják a Unity Catalog GA összes funkcióját és szolgáltatását.

A Unity Catalogban az adatok eléréséhez a fürtöket a megfelelő hozzáférési móddal kell konfigurálni. A Unity Katalógus alapértelmezés szerint biztonságos. Ha egy fürt nincs szabványos vagy dedikált hozzáférési móddal konfigurálva, a fürt nem fér hozzá az adatokhoz a Unity Katalógusban. Lásd : Hozzáférési módok.

Az egyes Databricks Runtime-verziókban a Unity Catalog funkcióinak változásaival kapcsolatos részletes információkért tekintse meg a kibocsátási megjegyzéseket.

A Unity Catalog korlátozásai a hozzáférési módtól és a Databricks Runtime-verziótól függően változnak. Lásd a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásait.

Fájlformátum támogatása

A Unity Catalog a következő táblázatformátumokat támogatja:

• A felügyelt tábláknak a táblaformátumot delta kell használniuk.
• A külső táblák használhatják deltaa , CSV, JSON, avro, parquetvagy ORCtext.

Korlátozások

A Unity Catalogra az alábbi korlátozások vonatkoznak. Ezek némelyike a Régebbi Databricks Runtime-verziókra és a számítási hozzáférési módokra vonatkozik.

A strukturált streamelési számítási feladatok további korlátozásokkal rendelkeznek a Databricks futtatókörnyezetétől és a hozzáférési módtól függően. Lásd a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásait.

A Databricks olyan új funkciókat ad ki, amelyek rendszeresen zsugorítják ezt a listát.

• A korábban munkaterületen (azaz munkaterületszintű csoportokban) létrehozott csoportok nem használhatók a Unity Catalog-utasításokban GRANT . Ennek célja, hogy egységes nézetet biztosítson a munkaterületeken átnyúló csoportokról. A csoportok GRANT-utasításokban való használatához hozza létre csoportjait fiók szintjén, és frissítse az automatizálást a jogosulti vagy csoportkezeléshez (például SCIM, Okta és Microsoft Entra ID-összekötők, valamint Terraform) úgy, hogy fiókvégpontokra hivatkozzon a munkaterület végpontjai helyett. Lásd : Csoportforrások.
• Az R számítási feladatai nem támogatják a dinamikus nézetek használatát sorszintű vagy oszlopszintű biztonsághoz a Databricks Runtime 15.3-at és újabb verzióit futtató számítási feladatok esetében.

A Databricks Runtime 15.4 LTS-t vagy újabb verziót futtató dedikált számítási erőforrást használjon dinamikus nézeteket lekérdező R számítási feladatokhoz. Az ilyen számítási feladatokhoz olyan munkaterületre is szükség van, amely engedélyezve van a kiszolgáló nélküli számításhoz. További részletekért lásd a dedikált számítás részletes hozzáférés-vezérlését.

• A sekély klónok nem támogatottak a Unity Catalogban a Databricks Runtime 12.2 LTS-t vagy korábbi verziót futtató számítási környezetben. Sekély klónokat használva felügyelt táblákat hozhat létre a Databricks Runtime 13.3 LTS-en és az újabb verziókon. A Databricks Runtime verziójától függetlenül nem használhatja őket külső táblák létrehozására. Lásd a Unity Catalog-táblák sekélyes klónozását .

• A felosztás nem támogatott a Unity Catalog-táblák esetében. Ha olyan parancsokat futtat, amelyek egy gyűjtős táblát próbálnak létrehozni a Unity Catalogban, az kivételt okoz.

• Ha több régió munkaterületéről ugyanarra az útvonalra vagy Delta Lake-táblára ír, az megbízhatatlan teljesítményhez vezethet, ha egyes fürtök hozzáférnek a Unity Katalógushoz, míg mások nem.

• Külső táblák partícióinak manipulálása olyan parancsokkal, mint a ALTER TABLE ADD PARTITION, megköveteli a partíció metaadatainak naplózásának engedélyezését. A külső táblák partíciófelderítését lásd.

• Ha nem Delta formátumú táblák felülírási módját használja, a felhasználónak rendelkeznie kell a szülőséma CREATE TABLE jogosultságával, és a meglévő objektum tulajdonosának kell lennie, vagy rendelkeznie kell a MODIFY jogosultsággal az objektumon.

• A Python UDF-ek nem támogatottak a Databricks Runtime 12.2 LTS-ben és az alábbi verziókban. Ide tartoznak az UDAF-ek, az UDTF-ek és a Pandas a Sparkon (applyInPandas és mapInPandas). A Python skaláris UDF-eket a Databricks Runtime 13.3 LTS és újabb verziók támogatják.

• A Scala UDF-ek nem támogatottak a Databricks Runtime 14.1-ben és alatta standard hozzáférési módban történő számításkor. A Scala skaláris UDF-ek támogatottak a Databricks Runtime 14.2-ben és újabb verziókban standard hozzáférési módban történő számításkor.

• A standard Scala-szálkészletek nem támogatottak. Ehelyett használja a speciális szálkészleteket, például a org.apache.spark.util.ThreadUtils és org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Azonban a következő szálkészletek a ThreadUtils-ban nem támogatottak: ThreadUtils.newForkJoinPool és bármely ScheduledExecutorService szálkészlet.

• A Unity Catalog eseményeinek naplózása csak a munkaterület szintjén támogatott. A fiók szintjén, munkaterületre való hivatkozás nélkül zajló események, például metaadattár létrehozása, nem lesznek naplózva.

A Unity Katalógusban regisztrált modellekre további korlátozások vonatkoznak. Lásd: Korlátozások.

Erőforráskvóták

A Unity katalógus minden védendő objektumra erőforráskvótákat kényszerít rá. Ezek a kvóták az erőforráskorlátokban vannak felsorolva. Ha várhatóan túllépi ezeket az erőforráskorlátokat, forduljon az Azure Databricks-fiók csapatához.

A kvótahasználatot a Unity Catalog erőforráskvóta API-kkal figyelheti. Lásd : A Unity Catalog erőforráskvóták használatának monitorozása.

További erőforrások

• Adatszabályozás az Azure Databricks használatával
• Azure Databricks-munkaterületek frissítése Unity Catalogra
• A Unity Cataloggal kapcsolatos ajánlott eljárások