Hive-táblák és nézetek frissítése Unity Catalogra

Ez a cikk bemutatja, hogyan frissítheti a meglévő munkaterület-helyi Hive metaadattárában regisztrált táblákat és nézeteket a Unity Catalogra. Egy Hive-táblát frissíthet felügyelt vagy külső táblára a Unity Catalogban.

• A felügyelt táblák az előnyben részesített módszer táblák létrehozására a Unity Catalogban. A Unity Catalog teljes mértékben kezeli az életciklusukat, a fájlelrendezésüket és a tárterületüket. A Unity Catalog emellett automatikusan optimalizálja a teljesítményüket. A felügyelt táblák mindig a Delta táblaformátumot használják.

  A felügyelt táblák egy felügyelt tárolóhelyen találhatók, amelyet a Unity-katalógushoz tart fenn. A tárolási követelmény miatt a CLONE vagy a CREATE TABLE AS Standard kiadás LECT (CTAS) függvényt kell használnia, ha a meglévő Hive-táblákat felügyelt táblákként szeretné átmásolni a Unity Katalógusba.

• A külső táblák olyan táblák, amelyek adatéletciklusát, fájlelrendezését és tárolási helyét nem a Unity Catalog kezeli. Külső táblák esetében több adatformátum is támogatott.

  Általában csak akkor használ külső táblákat, ha közvetlenül is hozzá kell férnie az adatokhoz nem Databricks-számítással (azaz nem Databricks-fürtöket vagy Databricks SQL-raktárakat használ). A külső táblák a migrálási forgatókönyvekben is kényelmesek, mivel a meglévő adatokat gyorsan regisztrálhatja a Unity Katalógusban anélkül, hogy az adatok másolására lenne szükség. Ez annak a ténynek köszönhető, hogy a külső táblák adatainak nem kell fenntartott felügyelt tárolóban tárolniuk.

A Unity Catalog felügyelt és külső tábláiról további információt a Táblák című témakörben talál.

Hive to Unity Catalog migrálási lehetőségek

Ha készen áll a Hive-táblák Unity Catalogba való migrálására, a használati esettől függően több lehetősége is van:

Migrálási eszköz	Leírás	A Hive táblakövetelményei	Unity Catalog-tábla létrehozva	Miért érdemes használni?
UCX	Parancssori segédprogramok és egyéb eszközök átfogó készlete, amelyek felmérik a munkaterület Unity Catalog-migrálásra való felkészültségét, és olyan munkafolyamatokat hajtanak végre, amelyek identitásokat, engedélyeket, tárolási helyeket és táblákat migrálnak a Unity Catalogba. Az UCX a GitHubon érhető el a databrickslabs/ucx webhelyen.	Felügyelt vagy külső Hive-táblák	Felügyelt vagy külső	Olyan átfogó munkaterület-frissítéstervező eszközt szeretne, amely túlmutat a Hive-táblák Unity Catalogra való frissítésén. Olyan munkaterületeket szeretne frissíteni, amelyek nagy mennyiségű adatot tartalmaznak a Hive metaadattárában. Kényelmesen futtathat szkripteket. Ha a Hive-táblák tömeges frissítését szeretné végrehajtani a Unity Catalog által felügyelt táblákra, ez az egyetlen lehetőség. Az UCX, mint minden Databricks Labs-projekt, egy nyilvános GitHub-adattár, amelyet a Databricks nem támogat közvetlenül.
Unity Catalog frissítési varázsló	Katalóguskezelő funkció, amely lehetővé teszi teljes sémák (adatbázisok) és több felügyelt és külső tábla tömeges másolását a Hive-metaadattárból a Unity Catalog metaadattárba külső táblákként. A frissítési varázsló végrehajtja a SYNC parancsot a kiválasztott táblákon, így az eredeti Hive-táblák érintetlenek maradnak. Lehetősége van a rendszeres frissítések ütemezésére a forrás Hive-táblák módosításainak felvételéhez.	Felügyelt vagy külső Hive-táblák	Csak külső	A Hive-táblákat gyorsan külső táblákra szeretné frissíteni a Unity Catalogban, és inkább egy vizuális felületet szeretne használni. A rendszeres szinkronizálások ütemezése a forrás Hive-tábla módosításakor hasznos eszköz a "hibrid" Hive- és Unity-katalógus-munkaterületek kezeléséhez a Unity Katalógusra való áttérés során.
SYNC SQL-parancs	SYNC Lehetővé teszi külső táblák és felügyelt táblák másolását (ha a felügyelt táblák a Databricks-munkaterület tárolóján kívül vannak tárolva, más néven DBFS-gyökér) a Hive-metaadattárban külső táblákba a Unity Catalogban. Az egyes táblákat vagy a teljes sémákat szinkronizálhatja. SYNC Úgy lett kialakítva, hogy ütemezés szerint fusson, hogy új módosításokat vegyen fel a Hive metaadattárban, és szinkronizálja őket a Unity Catalog-ba.	Felügyelt vagy külső Hive-táblák	Csak külső	Szeretné gyorsan frissíteni a Hive-táblákat külső táblákra a Unity Catalogban, és inkább SQL-parancsokat szeretne használni vizuális felület helyett. Rendszeres SYNC futtatások ütemezése a meglévő Unity Catalog-táblák frissítéséhez a forrás Hive-tábla módosításakor hasznos eszköz a "hibrid" Hive- és Unity-katalógus-munkaterületek kezeléséhez a Unity Catalogra való áttérés során. Mivel a Databricks-munkaterület tárolójában lévő felügyelt táblák frissítése nem lehetséges SYNC , használja a CREATE TABLE CLONE parancsot ezekhez a táblákhoz.
CREATE TABLE CLONE SQL command	CREATE TABLE CLONE Lehetővé teszi, hogy a Hive metaadattárában lévő felügyelt táblákat felügyelt táblákra frissítse a Unity Catalogban. Az egyes táblákat klónozhatja. A mély klónok előnyben részesítendők, mivel a forrástábla adatait a meglévő tábla metaadatai mellett a klónozási célra is átmásolják.	Felügyelt Hive-táblák, amelyek Delta, Parquet vagy Iceberg formátumúak. A Parquet- és Iceberg-forrástáblák klónozása bizonyos követelményekkel és korlátozásokkal rendelkezik: lásd a Parquet- és Iceberg-táblák klónozására vonatkozó követelményeket és korlátozásokat.	Csak felügyelt	A Felügyelt Hive-táblákat a Unity Catalog által felügyelt táblákba szeretné migrálni, hogy teljes mértékben kihasználhassa a Unity Catalog adatszabályozását, és a Hive-táblák megfelelnek a "Hive táblakövetelmények" cellában felsorolt feltételeknek. Ha a Hive-táblák nem felelnek meg a "Hive táblakövetelményeknek", a CREATE TABLE AS Standard kiadás LECT SQL paranccsal frissítheti a Hive-táblákat egy Unity Catalog által felügyelt táblára. Azonban CLONE szinte mindig előnyben részesített. A klónozás szintaxisa egyszerűbb, mint CREATE TABLE AS SELECT: nem kell particionálást, formátumot, invariánsokat, nullitást, streamet COPY INTOés egyéb metaadatokat megadnia, mert ezek a forrástáblából vannak klónozva.

Ez a cikk azt ismerteti, hogyan hajthatja végre az UCX-alapú frissítési folyamatot. A Databricks az UCX használatát javasolja a legtöbb munkaterület-frissítési forgatókönyvhöz. Egyszerűbb használati esetek esetén azonban az itt ismertetett eszközök közül egy vagy több is előnyben részesíthető.

Előkészületek

Ez a szakasz a migrálás néhány olyan hatását ismerteti, amelyekre fel kell készülnie, valamint az engedélyeket és a számítási követelményeket.

A hatás ismertetése

Vegye figyelembe, hogy amikor a számítási feladatokat az új Unity Catalog-táblák használatára módosítja, előfordulhat, hogy módosítania kell néhány viselkedést:

• A Unity Catalog a Hive-hez képest másképpen kezeli a partíciókat. A partíciókat közvetlenül módosító Hive-parancsok nem támogatottak a Unity Catalog által felügyelt táblákon.
• A rendszer nem migrálja a táblaelőzményeket a futtatáskor CREATE TABLE CLONE. A Unity-katalógusba klónozott Hive-metaadattárban lévő táblák új táblákként lesznek kezelve. Nem hajthat végre Delta Lake időutazást vagy más olyan műveletet, amely a migrálás előtti előzményekre támaszkodik.

További információ: A Unity-katalógus és az örökölt Hive-metaadattár használata.

Követelmények

A migrálás végrehajtásához a következőkkel kell rendelkeznie:

• Olyan munkaterület, amely unitykatalógus-metaadattárat és legalább egy Unity Catalog-katalógust is tartalmazó. Lásd a Unity-katalógus beállítását és kezelését.

• A Unity-katalógus azon jogosultságai, amelyekbe táblákat migrál. Ezeket a jogosultsági követelményeket a jelen cikkben tárgyalt eljárások elején soroljuk fel.

• A Unity Catalog külső tábláiba való migráláshoz: a Unity Katalógusban definiált tárolási hitelesítő adatok és külső helyek, valamint a CREATE EXTERNAL TABLE külső helyen található jogosultság.

• Hozzáférés az Azure Databricks-számításhoz, amely megfelel az alábbi követelményeknek:

  • Támogatja a Unity Katalógust (egyfelhasználós vagy megosztott hozzáférési módot használó SQL-raktárakat vagy számítási erőforrásokat).
  • Lehetővé teszi a Hive metaadattár tábláinak elérését.

  Mivel a megosztott hozzáférési módot használó számítási erőforrások alapértelmezés szerint engedélyezve vannak az örökölt táblahozzáférés-vezérléshez, ez azt jelenti, hogy ha ezt a hozzáférési módot használja, táblahozzáférés-vezérlési jogosultságokkal kell rendelkeznie a Hive-metaadattárban, ahonnan migrál. A következő SQL-paranccsal adhat hozzáférést magának:

  GRANT all_privileges ON catalog hive_metastore TO `<user>`
  

  Másik lehetőségként egy számítási erőforrást is használhat egyfelhasználós hozzáférési módban.

A Hive-metaadattárban lévő objektumokra vonatkozó jogosultságok kezeléséről további információt a Hive metaadattárbeli jogosultságok és a biztonságos objektumok (örökölt) című témakörben talál. A Unity Catalog metaadattárában lévő objektumok jogosultságainak kezelésével kapcsolatos további információkért lásd : Jogosultságok kezelése a Unity Katalógusban.

A Hive metaadattár által felügyelt táblák azonosítása

Annak megállapításához, hogy egy tábla jelenleg regisztrálva van-e a Unity Catalogban, ellenőrizze a katalógus nevét. A katalógus hive_metastore táblái a munkaterület helyi Hive metaadattárában vannak regisztrálva. A többi felsorolt katalógust a Unity Katalógus szabályozza.

A katalógus tábláinak megtekintése a hive_metastore Catalog Explorerrel:

1. Kattintson a Katalógus gombra az oldalsávon.
2. A katalógus panelen keresse meg a katalógust hive_metastore , és bontsa ki a sémacsomópontokat.

Egy adott táblát a Katalógus panel szűrőmezőjében is kereshet.

Séma vagy több tábla frissítése a Hive metaadattárból külső Unity Catalog-táblákra a frissítési varázslóval

Az Azure Databricks alapértelmezett Hive metaadattára teljes sémákat (adatbázisokat) és több külső vagy felügyelt táblát másolhat a Unity Catalog metaadattárába a Catalog Explorer frissítési varázslójának használatával. A frissített táblák külső táblák lesznek a Unity Katalógusban.

Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

• Lásd: Külső táblák.

Számítási követelmények:

• A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

• Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a táblák helyelérési útvonalának elérését.
• Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
• CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

A Hive tábla hozzáférési követelményei:

• Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

1. Kattintson az oldalsáv Katalógus gombjára a Katalóguskezelő megnyitásához.

2. Válassza ki hive_metastore katalógusként, és válassza ki a frissíteni kívánt sémát (adatbázist).

   

3. Kattintson a Sémarészlet nézet jobb felső sarkában található Frissítés gombra.

4. Jelölje ki az összes frissíteni kívánt táblát, és kattintson a Tovább gombra.

   A frissítési varázslóval csak a Unity Catalog által támogatott formátumú külső táblákfrissíthetők.

5. Állítsa be az egyes táblák célkatalógusát, sémáját (adatbázisát) és tulajdonosát.

   A felhasználók hozzáférhetnek az újonnan létrehozott táblához a katalógusban és a sémában lévő jogosultságaik kontextusában.

   A táblatulajdonosok minden jogosultsággal rendelkeznek a táblán, beleértve SELECT az és MODIFYa . Ha nem választ ki tulajdonost, a felügyelt táblák önnel jönnek létre tulajdonosként. A Databricks általában azt javasolja, hogy a táblák tulajdonjogát adja meg a csoportoknak. A Unity Catalog objektumtulajdonságairól további információt a Unity Catalog objektum tulajdonjogának kezelése című témakörben talál.

   Ha ugyanazt a katalógust és sémát több táblához szeretné hozzárendelni, jelölje ki a táblákat, és kattintson a Célhely beállítása gombra.

   Ha ugyanazt a tulajdonost több táblához szeretné hozzárendelni, jelölje ki a táblákat, és kattintson a Tulajdonos beállítása gombra.

6. Tekintse át a táblakonfigurációkat. A módosításukhoz kattintson az Előző gombra.

7. Kattintson a Lekérdezés létrehozása frissítéshez elemre.

   Megjelenik egy lekérdezésszerkesztő generált SQL-utasításokkal.

8. Futtassa a lekérdezést.

   Amikor a lekérdezés befejeződött, a rendszer minden tábla metaadatait átmásolta a Hive metaadattárából a Unity Katalógusba. Ezek a táblák frissítésként vannak megjelölve a frissítési varázslóban.

9. Definiáljon részletes hozzáférés-vezérlést az egyes új táblák Engedélyek lapján.

10. (Nem kötelező) Megjegyzéseket fűzhet minden frissített Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára vonta.

    Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához.

    Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.

    This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
    

    A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.

11. Módosítsa a számítási feladatokat az új táblák használatára.

    Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

Egyetlen Hive-tábla frissítése külső Unity Catalog-táblára a frissítési varázslóval

Egyetlen táblázatot másolhat az alapértelmezett Hive-metaadattárból a Unity Catalog metaadattárba a Catalog Explorer frissítési varázslójának használatával

Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

• Lásd: Külső táblák.

Számítási követelmények:

• A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

• Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a tábla helyelérési útvonalának elérését.
• Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
• CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

Frissítési folyamat

Külső tábla frissítése:

1. Kattintson az oldalsáv Katalógus gombjára a Katalóguskezelő megnyitásához.

2. Jelölje ki a frissíteni kívánt adatbázist, majd a táblát.

3. Kattintson a Frissítés gombra a táblázat részletes nézetének jobb felső sarkában.

4. Jelölje ki a frissíteni kívánt táblát, és kattintson a Tovább gombra.

5. Válassza ki a célkatalógust, sémát (adatbázist) és tulajdonosát.

   A felhasználók hozzáférhetnek az újonnan létrehozott táblához a katalógusban és a sémában lévő jogosultságaik kontextusában.

   A táblatulajdonosok minden jogosultsággal rendelkeznek a táblán, beleértve SELECT az és MODIFYa . Ha nem választ ki tulajdonost, a felügyelt tábla önnel jön létre tulajdonosként. A Databricks általában azt javasolja, hogy a táblák tulajdonjogát adja meg a csoportoknak. A Unity Catalog objektumtulajdonságairól további információt a Unity Catalog objektum tulajdonjogának kezelése című témakörben talál.

6. Kattintson a Frissítés gombra a táblázat részletes nézetének jobb felső sarkában.

7. Jelölje ki a frissíteni kívánt táblát, és kattintson a Tovább gombra.

   A rendszer a táblázat metaadatait átmásolja a Unity Katalógusba, és létrehoz egy új táblát. Mostantól az Engedélyek lapon definiálhatja a részletes hozzáférés-vezérlést.

8. Az Engedélyek lapon részletes hozzáférés-vezérlést határozhat meg.

9. (Nem kötelező) Adjon hozzá egy megjegyzést a Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára pontokat fűzi.

   Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához.

   Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.

   This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
   

   A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.

10. Módosítsa a meglévő számítási feladatokat az új tábla használatára.

    Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

    Feljegyzés

    Ha már nincs szüksége a régi táblára, elvetheti a Hive metaadattárból. Egy külső tábla elvetése nem módosítja a felhőbeli bérlő adatfájljait.

Hive-tábla frissítése külső Unity Catalog-táblára a SYNC használatával

Az SYNC SQL-paranccsal külső táblákat másolhat a Hive-metaadattárban a Unity Catalog külső tábláiba. Az egyes táblákat vagy a teljes sémákat szinkronizálhatja.

A Databricks-munkaterületen kívül tárolt Hive felügyelt táblákat (más néven DBFS-gyökér) a Unity Katalógus külső tábláiba is SYNC másolhatja. Nem használhatja a munkaterület-tárolóban tárolt Hive-felügyelt táblák másolására. A táblák másolásához használja a CREATE TABLE CLONE parancsot .

A SYNC parancs írási műveletet hajt végre minden frissített forrástáblán, hogy további táblázattulajdonságokat adjon hozzá a könyveléshez, beleértve a cél Unity Catalog külső tábla rekordját is.

SYNC A Meglévő Unity Catalog-táblák is frissíthetők a Hive-metaadattár forrástábláinak módosításakor. Ez jó eszköz a Unity Catalogra való fokozatos áttéréshez.

További részletekért lásd: SYNC. Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

• Lásd: Külső táblák.

Számítási követelmények:

• A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

• Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a táblák helyelérési útvonalának elérését.
• Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
• CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

A Hive tábla hozzáférési követelményei:

• Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

Ha a Hive-metaadattárban lévő táblákat a Unity Catalog külső tábláira szeretné frissíteni a következő használatával SYNC:

1. Egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben futtassa az alábbiak egyikét:

   Külső Hive-tábla szinkronizálása:

   SYNC TABLE <uc-catalog>.<uc-schema>.<new-table> FROM hive_metastore.<source-schema>.<source-table>
   SET OWNER <principal>;
   

   Külső Hive-séma és az összes tábla szinkronizálása:

   SYNC SCHEMA <uc-catalog>.<new-schema> FROM hive_metastore.<source-schema>
   SET OWNER <principal>;
   

   Szinkronizáljon egy felügyelt Hive-táblát, amely a Databricks-munkaterület tárolón kívül van tárolva:

   SYNC TABLE <uc-catalog>.<uc-schema>.<new-table> AS EXTERNAL FROM hive_metastore.<source-schema>.<source-table>
   SET OWNER <principal>;
   

   Szinkronizálja a Databricks-munkaterületen kívül tárolt felügyelt Hive-táblákat tartalmazó sémát:

   SYNC SCHEMA <uc-catalog>.<new-schema> AS EXTERNAL FROM hive_metastore.<source-schema>
   SET OWNER <principal>;
   

2. Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.

3. (Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

   Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázat megjegyzéseket a Catalog Explorerrel, olvassa el a Markdown-megjegyzések hozzáadása adatobjektumokhoz a Catalog Explorer használatával című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

   Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.

   This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
   

   A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.

4. A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

   Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

5. A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

   Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot. Hasonlóképpen ne dobja el a régi táblát, ha a tábla az eredeti szinkronizálás óta megváltozott: SYNC a meglévő Unity Catalog-táblákat frissítheti a forrás Hive-táblák módosításaival.

Felügyelt Hive-tábla frissítése unitykatalógus által felügyelt táblára a CLONE használatával

A Hive-metaadattár felügyelt tábláinak frissítésére használható CREATE TABLE CLONE felügyelt táblákra a Unity Catalogban. Az egyes táblákat klónozhatja. A mély klónok a meglévő tábla metaadatain kívül a klónozási célra másolják a forrástábla adatait. Használjon mély klónt, ha el szeretné dobni a Hive forrástáblát. A sekély klónok nem másolja az adatfájlokat a klónozási célba, hanem a forrásadatokra hivatkozva biztosítják számukra a hozzáférést: a tábla metaadatai egyenértékűek a forrással. A sekély klónok létrehozása olcsóbb, de megköveteli, hogy a klónozási célban adatokat lekérdező felhasználók is hozzáférhessenek a forrásadatokhoz.

Ha segítségre van szüksége a használat időpontjáról CLONE, tekintse meg a Hive to Unity Catalog migrálási lehetőségeit. A használni kívánt klóntípus kiválasztásához lásd : Tábla klónozása az Azure Databricksben.

Követelmények

Adatformátumra vonatkozó követelmények:

• Felügyelt Hive-táblák Delta, Parquet vagy Iceberg formátumban. A Parquet- és Iceberg-forrástáblák klónozása bizonyos követelményekkel és korlátozásokkal rendelkezik. Lásd a Parquet- és Iceberg-táblák klónozására vonatkozó követelményeket és korlátozásokat.

Számítási követelmények:

• A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

Engedélykövetelmények:

• A USE CATALOG katalógus és séma azon jogosultságai és USE SCHEMA jogosultságai, amelyekhez hozzáadja a táblát a sémával CREATE TABLE együtt, vagy a katalógus vagy séma tulajdonosának kell lennie. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.
• Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

Felügyelt táblák frissítése a Hive-metaadattárban felügyelt táblákra a Unity Katalógusban:

1. Egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben futtassa az alábbiak egyikét:

   Felügyelt tábla mély klónozása a Hive metaadattárban:

   CREATE OR REPLACE TABLE <uc-catalog>.<uc-schema>.<new-table>
   DEEP CLONE hive_metastore.<source-schema>.<source-table>;
   

   Felügyelt tábla sekély klónozása a Hive metaadattárban:

   CREATE OR REPLACE TABLE <uc-catalog>.<uc-schema>.<new-table>
   SHALLOW CLONE hive_metastore.<source-schema>.<source-table>;
   

   További paraméterekkel, például a táblatulajdonságokkal kapcsolatos információkért lásd a CREATE TABLE CLONE (TÁBLA KLÓNOZÁSA) című témakört.

2. Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.

3. (Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

   Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázat megjegyzéseket a Catalog Explorerrel, olvassa el a Markdown-megjegyzések hozzáadása adatobjektumokhoz a Catalog Explorer használatával című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

   Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.

   This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
   

   A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.

4. A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

   Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

5. A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

   Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot. Hasonlóképpen, ne dobja el a régi táblát, ha sekély klónt végzett. A sekély klónok a forrás Hive-táblából származó adatokra hivatkoznak.

Hive-tábla frissítése unitykatalógus által felügyelt táblára a CREATE TABLE AS Standard kiadás LECT használatával

Ha nem tudja használni, vagy nem szeretné, hogy CREATE TABLE CLONE a Hive-metaadattárban lévő táblát a Unity Catalog egy felügyelt táblába migrálja, létrehozhat egy új felügyelt táblát a Unity Katalógusban a Hive-tábla lekérdezésével CREATE TABLE AS SELECT. A különbségekről CREATE TABLE CLONECREATE TABLE AS SELECTtovábbi információt a Hive to Unity Catalog migrálási lehetőségei között talál.

Követelmények

Számítási követelmények:

• A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

Engedélykövetelmények:

• A USE CATALOG katalógus és séma azon jogosultságai és USE SCHEMA jogosultságai, amelyekhez hozzáadja a táblát a sémával CREATE TABLE együtt, vagy a katalógus vagy séma tulajdonosának kell lennie. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.
• Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

A Hive-metaadattárban lévő táblázat frissítése felügyelt táblára a Unity Catalogban a következő használatával CREATE TABLE AS SELECT:

1. Hozzon létre egy új Unity Catalog-táblát a meglévő tábla lekérdezésével. Cserélje le a helyőrző értékeket:

   • <uc-catalog>: Az új tábla Unity-katalógusa.
   • <uc-schema>: Az új tábla Unity Catalog-sémája.
   • <new-table>: A Unity Catalog tábla neve.
   • <source-schema>: A Hive-tábla sémája, például default.
   • <source-table>: A Hive-tábla neve.

   SQL

   CREATE TABLE <uc-catalog>.<new-schema>.<new-table>
   AS SELECT * FROM hive_metastore.<source-schema>.<source-table>;
   

   Python

   df = spark.table("hive_metastore.<source-schema>.<source-table>")
   
   df.write.saveAsTable(
     name = "<uc-catalog>.<uc-schema>.<new-table>"
   )
   

   R

   %r
   library(SparkR)
   
   df = tableToDF("hive_metastore.<source-schema>.<source-table>")
   
   saveAsTable(
     df = df,
     tableName = "<uc-catalog>.<uc-schema>.<new-table>"
   )
   

   Scala

   val df = spark.table("hive_metastore.<source-schema>.<source-table>")
   
   df.write.saveAsTable(
     tableName = "<uc-catalog>.<uc-schema>.<new-table>"
   )
   

   Ha csak néhány oszlopot vagy sort szeretne migrálni, módosítsa az utasítást SELECT .

   Feljegyzés

   Az itt bemutatott parancsok létrehoznak egy felügyelt táblát , amelyben az adatok egy dedikált felügyelt tárolóhelyre lesznek másolva. Ha ehelyett egy külső táblát szeretne létrehozni, amelyben a tábla regisztrálva van a Unity Katalógusban anélkül, hogy az adatokat a felhőbeli tárolóba helyezne át, olvassa el az Egyetlen Hive-tábla frissítése külső Unity Catalog-táblára a frissítési varázsló használatával című témakört. Lásd még : Felügyelt tárhely megadása a Unity Katalógusban.

2. Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.

3. (Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

   Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázat megjegyzéseket a Catalog Explorerrel, olvassa el a Markdown-megjegyzések hozzáadása adatobjektumokhoz a Catalog Explorer használatával című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

   Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.

   This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
   

   A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.

4. A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

   Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

5. A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

   Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot.

Nézet frissítése Unity-katalógusra

Miután egy nézet összes hivatkozott tábláját ugyanarra a Unity Catalog-metaadattárra frissítette, létrehozhat egy új nézetet, amely az új táblákra hivatkozik.

Megjegyzések hozzáadása, amelyek jelzik, hogy hive-tábla migrálva lett

Amikor hozzáad egy megjegyzést az elavult Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára nyitja meg, a jegyzetfüzetek és az elavult Hive-táblára hivatkozó SQL-lekérdezésszerkesztő lekérdezések áthúzott szöveg használatával megjelenítik az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és gyorsjavítási hivatkozást biztosítanak a Databricks Assistanthez, amely frissítheti a kódot az új táblára való hivatkozáshoz.

A megjegyzésnek a következő formátumot kell használnia:

This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.

Ha tudni szeretné, hogyan adhat hozzá táblázat megjegyzéseket a Catalog Explorerrel, olvassa el a Markdown-megjegyzések hozzáadása adatobjektumokhoz a Catalog Explorer használatával című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

Elavult táblahivatkozás frissítése a Databricks Assistant használatával

Ha áthúzott szöveg jelenik meg egy táblázatnéven egy jegyzetfüzetcellában vagy -utasításban az SQL-lekérdezésszerkesztőben, mutasson a tábla nevére, és jelenítsen meg egy figyelmeztetést. Ha a figyelmeztetés elavultként írja le a táblát, és megjeleníti az új táblanevet, kattintson a Gyorsjavítás, majd az Elavultság javítása elemre. Megnyílik a Databricks Assistant, amely felajánlja, hogy lecseréli az elavult táblanevet az új Unity Catalog-táblanévre. Kövesse az utasításokat a feladat elvégzéséhez.

Lásd még a Databricks Assistant használatát.