Kimeneti táblák létrehozása és használata a Databricks Tiszta szobákban

Ez a cikk olyan kimeneti táblákat mutat be, amelyek ideiglenes írásvédett táblák, amelyeket egy jegyzetfüzet futtatása generál, és amelyeket megosztanak a jegyzetfüzet futtatójának Unity Catalog adattárjával. Ez a cikk bemutatja, hogyan hozhat létre kimeneti táblákat egy jegyzetfüzettel, és hogyan olvashatják el a közreműködők ezeket a kimeneti táblákat a Unity Catalog metaadattárában.

Kimeneti táblák áttekintése

A kimeneti táblák segítségével ideiglenesen mentheti a tiszta helyiségben futtatott jegyzetfüzetek kimenetét egy kimeneti katalógusba a Unity Catalog metaadattárában, ahol elérhetővé teheti az adatokat a csapat azon tagjai számára, akik nem tudják maguk futtatni a jegyzetfüzeteket. Az Azure Databricks-feladatokkal jegyzetfüzeteket is futtathat, és feladatokat hajthat végre kimeneti táblákon. A Tiszta helyiség jegyzetfüzet tevékenységtípussal és a tevékenységértékek támogatásával kombinálva a kimeneti táblák lehetővé teszik a Tiszta helyiség jegyzetfüzeteitől függő összetett munkafolyamatok létrehozását.

A kimeneti táblák csak olvashatóak.

Csak a jegyzetfüzetet futtató adott tag (felhasználó, csoport vagy szolgáltatásnév) rendelkezik alapértelmezett olvasási hozzáféréssel a kimeneti táblához. Nincs írási hozzáférés. A metaadattár-rendszergazdák olvasási hozzáférést biztosíthatnak az Azure Databricks-fiókjuk többi tagjához standard Unity Catalog-jogosultságokkal.

A kimeneti táblák 30 napig vannak tárolva a központi tiszta helyiség alapértelmezett tárolási helyén, és meg vannak osztva a közreműködő metaadattárával a Delta Sharing használatával. Ha egy kimeneti táblát 30 napnál hosszabb ideig szeretne megőrizni, azt a helyi tárolóba kell másolnia.

Minden jegyzetfüzet-futtatás létrehoz egy új sémát a kimeneti katalógusban. Az új futtatások nem fűzhetők hozzá meglévő kimeneti táblához.

Fontos

A kimeneti táblák csak akkor támogatottak, ha a központi tiszta helyiség az AWS-ben vagy az Azure-ban van üzemeltetve. A Databricksben együttműködők azonban mindhárom felhőben (AWS, Azure és Google Cloud) megoszthatják a kimeneti táblákat létrehozó jegyzetfüzeteket, és olvashatják a megosztott jegyzetfüzetek futtatásakor létrehozott kimeneti táblákat. A Google Cloud-közreműködőknek részt kell vennie a Clean Rooms privát előzetes verziójában.

Kimeneti tábla létrehozása

Kimeneti tábla létrehozásához használja a paramétereket cr_output_catalog és cr_output_schema a háromrészes táblanévteret. A jegyzetfüzet minden futtatása új sémát hoz létre.

Az alábbi példában a jegyzetfüzetcella létrehoz egy kimeneti táblát overlapping_users , amely a collborator kimeneti katalógusában szerepel, amely felsorolja azokat a felhasználókat, akiknek az e-mail-címe mind a táblákban, mind a collaborator.advertiser.profilescreator.publisher.profiles táblákban megjelenik.

CREATE TABLE identifier(:cr_output_catalog || '.' || :cr_output_schema || '.overlapping_users') AS
SELECT collab_profiles.*
FROM collaborator.advertiser.profiles AS collab_profiles
JOIN creator.publisher.profiles AS creator_profiles
ON collab_profiles.email = creator_profiles.email

Egy kimeneti tábla olvasása

A kimeneti táblák a jegyzetfüzet lefuttatójának metastore-jában található megosztott katalógusban jelennek meg. A Katalóguskezelő katalógus paneljén megjelennek a Megosztott katalógusok listában.

A kimeneti tábla olvasása olyan, mint bármely más táblázat olvasása a Unity Catalogban. A táblán SELECT kell lennie, a megosztott kimeneti katalóguson USE CATALOG kell lennie, és az automatikusan létrehozott sémán USE SCHEMA kell lennie. A táblát létrehozó jegyzetfüzetet futtató felhasználó alapértelmezés szerint rendelkezik ezekkel az engedélyekkel.

Megjegyzés

A tiszta helyiség törlése eltávolítja az összes kimeneti táblát és előzményadatot a kimeneti katalógusból.

Előkészületek

Ez a szakasz a kimeneti táblák olvasásának felhőbeli, konfigurációs és számítási követelményeit ismerteti.

Felhőkövetelmények

Bár a központi tiszta helyiségnek AWS-en kell lennie a kimeneti táblák támogatásához, a közreműködő munkaterületek a három felhő bármelyikén lehetnek: AWS, Azure vagy Google Cloud. A Google Cloud-közreműködőknek részt kell vennie a Clean Rooms privát előzetes verziójában.

Megosztott kimeneti katalógusra vonatkozó követelmény

A kimeneti táblák olvasása előtt a felhasználónak létre kell hoznia azokat tartalmazó katalógust. Ezt tiszta helyiségenként csak egyszer kell megtennie. A tiszta helyiség tulajdonosa alapértelmezés szerint jogosult a kimeneti katalógus olvasására és kezelésére.

Szükséges engedélyek:EXECUTE_CLEAN_ROOM_TASK

1. Az Azure Databricks-munkaterületen kattintson a Katalógus elemre .
2. A Gyorselérési lapon kattintson a Tiszta szobák > gombra.
3. Válassza ki a tiszta helyiséget a listából.
4. A jobb oldali panel Kimenet csoportjában kattintson a Katalógus létrehozása elemre.
5. Adja meg a kimeneti katalógus nevét , vagy fogadja el az alapértelmezett értéket, amely a következő <clean-room-name>_output: .

A kimeneti katalógus megjelenik a Katalóguskezelő katalógus ablaktábláján a megosztott katalógusok listájában. Minden tiszta helyiség, amelyben részt vesz, rendelkezhet egy megosztott kimeneti katalógusval a metaadattárban.

Számítási követelmények

A kimeneti táblák lekérdezései kiszolgáló nélküli számítást igényelnek. Lásd: Csatlakozás kiszolgáló nélküli számításhoz.

Kimeneti tábla olvasásához szükséges engedélyek

A kimeneti táblát létrehozó jegyzetfüzetet futtató felhasználó és a tiszta helyiség tulajdonosa alapértelmezés szerint jogosult a kimeneti tábla olvasására és kezelésére. Minden más felhasználónak a következő engedélyekkel kell rendelkeznie:

• SELECT az asztalon
• USE CATALOG a kimeneti katalógusban
• USE SCHEMA a kimeneti sémán

A notebook futtatása

Ha megosztott kimeneti táblákat szeretne létrehozni a kimeneti katalógusban, a tiszta helyiséghez hozzáféréssel rendelkező felhasználónak futtatnia kell a jegyzetfüzetet. Lásd: Jegyzetfüzetek futtatása tisztaszobákban. Minden jegyzetfüzet-futtatás létrehoz egy új kimeneti sémát és táblázatot.

Tipp.

Az Azure Databricks-feladatok segítségével jegyzetfüzeteket futtathat, és feladatokat hajthat végre kimeneti táblákon, így összetett munkafolyamatokat tehet lehetővé. Lásd: Az Azure Databricks-munkafolyamatok használata tiszta helyiségbeli jegyzetfüzetek futtatásához.

Kimeneti tábla keresése és megtekintése

A kimeneti táblát létrehozó jegyzetfüzetet futtató felhasználó megtalálhatja a kimeneti táblára mutató hivatkozást a jegyzetfüzet futtatási előzményei között, és részletes lapokat futtathat a Tiszta szobák felhasználói felületén. Mindkét esetben a hivatkozás a Kimeneti séma mezőben található. Lásd: Tisztaszobai notebook futásainak követése.

Futtatási előzmények:

Futtatás részletei:

A kimeneti katalógust a Katalóguskezelő katalógus panel megosztott katalógusainak listájában is megtalálhatja.

Korlátozások

A kimeneti táblák áttekintésében és a kezdés előtt felsorolt követelmények mellett a kimeneti táblákra az alábbi korlátozások vonatkoznak:

• A kimeneti táblák csak akkor támogatottak, ha a központi tiszta helyiség az AWS-ben vagy az Azure-ban van üzemeltetve, és amikor a tiszta helyiség a kimeneti tábla funkció megjelenése után jött létre.
• Csak táblázatok vannak támogatva. A kötetek és a nézetek például nem tartoznak ebbe az esetbe.
• Jegyzetfüzetenként legfeljebb 100 kimeneti táblát hozhat létre.