Hive-táblák és nézetek frissítése Unity Catalogra

Cikk
10/07/2024

Ez a cikk bemutatja, hogyan frissítheti a meglévő munkaterület-helyi Hive metaadattárában regisztrált táblákat és nézeteket a Unity Catalogra. Egy Hive-táblát frissíthet felügyelt vagy külső táblára a Unity Catalogban.

A felügyelt táblák az előnyben részesített módszer táblák létrehozására a Unity Catalogban. A Unity Catalog teljes mértékben kezeli az életciklusukat, a fájlelrendezésüket és a tárterületüket. A Unity Catalog emellett automatikusan optimalizálja a teljesítményüket. A felügyelt táblák mindig a Delta táblaformátumot használják.

A felügyelt táblák egy felügyelt tárolóhelyen találhatók, amelyet a Unity-katalógushoz tart fenn. A tárolási követelmény miatt a CLONE vagy a CREATE TABLE AS SELECT (CTAS) parancsot kell használnia, ha a meglévő Hive-táblákat felügyelt táblákként szeretné átmásolni a Unity Katalógusba.
A külső táblák olyan táblák, amelyek adatéletciklusát, fájlelrendezését és tárolási helyét nem a Unity Catalog kezeli. Külső táblák esetében több adatformátum is támogatott.

Általában csak akkor használ külső táblákat, ha közvetlenül is hozzá kell férnie az adatokhoz nem Databricks-számítással (azaz nem Databricks-fürtöket vagy Databricks SQL-raktárakat használ). A külső táblák a migrálási forgatókönyvekben is kényelmesek, mivel a meglévő adatokat gyorsan regisztrálhatja a Unity Katalógusban anélkül, hogy az adatok másolására lenne szükség. Ez annak a ténynek köszönhető, hogy a külső táblák adatainak nem kell fenntartott felügyelt tárolóban tárolniuk.

A Unity Catalog felügyelt és külső tábláiról további információt a Mik azok a táblák és nézetek? című témakörben talál.

Hive to Unity Catalog migrálási lehetőségek

Ha készen áll a Hive-táblák Unity Catalogba való migrálására, a használati esettől függően több lehetősége is van:

Migrálási eszköz	Leírás	A Hive táblakövetelményei	Unity Catalog-tábla létrehozva	Miért érdemes használni?
UCX	Parancssori segédprogramok és egyéb eszközök átfogó készlete, amelyek felmérik a munkaterület Unity Catalog-migrálásra való felkészültségét, és olyan munkafolyamatokat hajtanak végre, amelyek identitásokat, engedélyeket, tárolási helyeket és táblákat migrálnak a Unity Catalogba. Az UCX a GitHubon érhető el a databrickslabs/ucx webhelyen.	Felügyelt vagy külső Hive-táblák	Felügyelt vagy külső	Olyan átfogó munkaterület-frissítéstervező eszközt szeretne, amely túlmutat a Hive-táblák Unity Catalogra való frissítésén. Olyan munkaterületeket szeretne frissíteni, amelyek nagy mennyiségű adatot tartalmaznak a Hive metaadattárában. Kényelmesen futtathat szkripteket. Ha a Hive-táblák tömeges frissítését szeretné végrehajtani a Unity Catalog által felügyelt táblákra, ez az egyetlen lehetőség. Az UCX, mint minden Databricks Labs-projekt, egy nyilvános GitHub-adattár, amelyet a Databricks nem támogat közvetlenül.
Unity Catalog frissítési varázsló	Katalóguskezelő funkció, amely lehetővé teszi teljes sémák (adatbázisok) és több felügyelt és külső tábla tömeges másolását a Hive-metaadattárból a Unity Catalog metaadattárba külső táblákként. A frissítési varázsló végrehajtja a `SYNC` parancsot a kiválasztott táblákon, így az eredeti Hive-táblák érintetlenek maradnak. Lehetősége van a rendszeres frissítések ütemezésére a forrás Hive-táblák módosításainak felvételéhez.	Felügyelt vagy külső Hive-táblák	Csak külső	A Hive-táblákat gyorsan külső táblákra szeretné frissíteni a Unity Catalogban, és inkább egy vizuális felületet szeretne használni. A rendszeres szinkronizálások ütemezése a forrás Hive-tábla módosításakor hasznos eszköz a "hibrid" Hive- és Unity-katalógus-munkaterületek kezeléséhez a Unity Katalógusra való áttérés során.
SYNC SQL-parancs	`SYNC` Lehetővé teszi külső táblák és felügyelt táblák másolását (ha a felügyelt táblák a Databricks-munkaterület tárolóján kívül vannak tárolva, más néven DBFS-gyökér) a Hive-metaadattárban külső táblákba a Unity Catalogban. Az egyes táblákat vagy a teljes sémákat szinkronizálhatja. `SYNC` Úgy lett kialakítva, hogy ütemezés szerint fusson, hogy új módosításokat vegyen fel a Hive metaadattárban, és szinkronizálja őket a Unity Catalog-ba.	Felügyelt vagy külső Hive-táblák	Csak külső	Szeretné gyorsan frissíteni a Hive-táblákat külső táblákra a Unity Catalogban, és inkább SQL-parancsokat szeretne használni vizuális felület helyett. Rendszeres `SYNC` futtatások ütemezése a meglévő Unity Catalog-táblák frissítéséhez a forrás Hive-tábla módosításakor hasznos eszköz a "hibrid" Hive- és Unity-katalógus-munkaterületek kezeléséhez a Unity Catalogra való áttérés során. Mivel a Databricks-munkaterület tárolójában lévő felügyelt táblák frissítése nem lehetséges `SYNC` , használja a CREATE TABLE CLONE parancsot ezekhez a táblákhoz.
CREATE TABLE CLONE SQL command	`CREATE TABLE CLONE` Lehetővé teszi, hogy a Hive metaadattárában lévő felügyelt táblákat felügyelt táblákra frissítse a Unity Catalogban. Az egyes táblákat klónozhatja. A mély klónok a forrástábla adatait és metaadatait a klónozási célba másolják.	Delta formátumú felügyelt Hive-táblák.	Csak felügyelt	A Felügyelt Hive-táblákat a Unity Catalog által felügyelt táblákba szeretné migrálni, hogy teljes mértékben kihasználhassa a Unity Catalog adatszabályozását, és a Hive-táblák megfelelnek a "Hive táblakövetelmények" cellában felsorolt feltételeknek. Ha a Hive-táblák nem felelnek meg a "Hive táblakövetelményeknek", a CREATE TABLE AS SELECT SQL paranccsal frissítheti a Hive-táblát egy Unity Catalog által felügyelt táblára. Azonban `CLONE` szinte mindig előnyben részesített. A klónozás szintaxisa egyszerűbb, mint `CREATE TABLE AS SELECT`: nem kell particionálást, formátumot, invariánsokat, nullitást, streamet `COPY INTO`és egyéb metaadatokat megadnia, mert ezek a forrástáblából vannak klónozva.

Ez a cikk azt ismerteti, hogyan hajthatja végre az UCX-alapú frissítési folyamatot. A Databricks az UCX használatát javasolja a legtöbb munkaterület-frissítési forgatókönyvhöz. Egyszerűbb használati esetek esetén azonban az itt ismertetett eszközök közül egy vagy több is előnyben részesíthető.

Előkészületek

Ez a szakasz a migrálás néhány olyan hatását ismerteti, amelyekre fel kell készülnie, valamint az engedélyeket és a számítási követelményeket.

A hatás ismertetése

Vegye figyelembe, hogy amikor a számítási feladatokat az új Unity Catalog-táblák használatára módosítja, előfordulhat, hogy módosítania kell néhány viselkedést:

A Unity Catalog a Hive-hez képest másképpen kezeli a partíciókat. A partíciókat közvetlenül módosító Hive-parancsok nem támogatottak a Unity Catalog által felügyelt táblákon.
A rendszer nem migrálja a táblaelőzményeket a futtatáskor CREATE TABLE CLONE. A Unity-katalógusba klónozott Hive-metaadattárban lévő táblák új táblákként lesznek kezelve. Nem hajthat végre Delta Lake időutazást vagy más olyan műveletet, amely a migrálás előtti előzményekre támaszkodik.

További információ: A Unity-katalógus és az örökölt Hive-metaadattár használata.

Követelmények

A migrálás végrehajtásához a következőkkel kell rendelkeznie:

Olyan munkaterület, amely unitykatalógus-metaadattárat és legalább egy Unity Catalog-katalógust is tartalmazó. Lásd a Unity-katalógus beállítását és kezelését.
A Unity-katalógus azon jogosultságai, amelyekbe táblákat migrál. Ezeket a jogosultsági követelményeket a jelen cikkben tárgyalt eljárások elején soroljuk fel.
A Unity Catalog külső tábláiba való migráláshoz: a Unity Katalógusban definiált tárolási hitelesítő adatok és külső helyek, valamint a CREATE EXTERNAL TABLE külső helyen található jogosultság.
Hozzáférés az Azure Databricks-számításhoz, amely megfelel az alábbi követelményeknek:
- Támogatja a Unity Katalógust (egyfelhasználós vagy megosztott hozzáférési módot használó SQL-raktárakat vagy számítási erőforrásokat).
- Lehetővé teszi a Hive metaadattár tábláinak elérését.
Mivel a megosztott hozzáférési módot használó számítási erőforrások alapértelmezés szerint engedélyezve vannak az örökölt táblahozzáférés-vezérléshez, ez azt jelenti, hogy ha ezt a hozzáférési módot használja, táblahozzáférés-vezérlési jogosultságokkal kell rendelkeznie a Hive-metaadattárban, ahonnan migrál. A következő SQL-paranccsal adhat hozzáférést magának:
```
GRANT ALL PRIVILEGES ON catalog hive_metastore TO `<user>`
```
Másik lehetőségként egy számítási erőforrást is használhat egyfelhasználós hozzáférési módban.

A Hive-metaadattárban lévő objektumokra vonatkozó jogosultságok kezeléséről további információt a Hive metaadattárbeli jogosultságok és a biztonságos objektumok (örökölt) című témakörben talál. A Unity Catalog metaadattárában lévő objektumok jogosultságainak kezelésével kapcsolatos további információkért lásd : Jogosultságok kezelése a Unity Katalógusban.

A Hive metaadattár által felügyelt táblák azonosítása

Annak megállapításához, hogy egy tábla jelenleg regisztrálva van-e a Unity Catalogban, ellenőrizze a katalógus nevét. A katalógus hive_metastore táblái a munkaterület helyi Hive metaadattárában vannak regisztrálva. A többi felsorolt katalógust a Unity Katalógus szabályozza.

A katalógus tábláinak megtekintése a hive_metastore Catalog Explorerrel:

Kattintson a Katalógus gombra az oldalsávon.
A katalógus panelen keresse meg a katalógust hive_metastore , és bontsa ki a sémacsomópontokat.

Egy adott táblát a Katalógus panel szűrőmezőjében is kereshet.

Séma vagy több tábla frissítése a Hive metaadattárból külső Unity Catalog-táblákra a frissítési varázslóval

Az Azure Databricks alapértelmezett Hive metaadattára teljes sémákat (adatbázisokat) és több külső vagy felügyelt táblát másolhat a Unity Catalog metaadattárába a Catalog Explorer frissítési varázslójának használatával. A frissített táblák külső táblák lesznek a Unity Katalógusban.

Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

Lásd: Külső táblákkal végzett munka.

Számítási követelmények:

A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a táblák helyelérési útvonalának elérését.
Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

A Hive tábla hozzáférési követelményei:

Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

Kattintson az oldalsáv Katalógus gombjára a Katalóguskezelő megnyitásához.
Válassza ki hive_metastore katalógusként, és válassza ki a frissíteni kívánt sémát (adatbázist).
Kattintson a Sémarészlet nézet jobb felső sarkában található Frissítés gombra.
Jelölje ki az összes frissíteni kívánt táblát, és kattintson a Tovább gombra.

A frissítési varázslóval csak a Unity Catalog által támogatott formátumú külső táblák frissíthetők. Lásd: Külső táblákkal végzett munka.
Állítsa be az egyes táblák célkatalógusát, sémáját (adatbázisát) és tulajdonosát.

A felhasználók hozzáférhetnek az újonnan létrehozott táblához a katalógusban és a sémában lévő jogosultságaik kontextusában.

A táblatulajdonosok minden jogosultsággal rendelkeznek a táblán, beleértve SELECT az és MODIFYa . Ha nem választ ki tulajdonost, a felügyelt táblák önnel jönnek létre tulajdonosként. A Databricks általában azt javasolja, hogy a táblák tulajdonjogát adja meg a csoportoknak. A Unity Catalog objektumtulajdonságairól további információt a Unity Catalog objektum tulajdonjogának kezelése című témakörben talál.

Ha ugyanazt a katalógust és sémát több táblához szeretné hozzárendelni, jelölje ki a táblákat, és kattintson a Célhely beállítása gombra.

Ha ugyanazt a tulajdonost több táblához szeretné hozzárendelni, jelölje ki a táblákat, és kattintson a Tulajdonos beállítása gombra.
Tekintse át a táblakonfigurációkat. A módosításukhoz kattintson az Előző gombra.
Kattintson a Lekérdezés létrehozása frissítéshez elemre.

Megjelenik egy lekérdezésszerkesztő generált SQL-utasításokkal.
Futtassa a lekérdezést.

Amikor a lekérdezés befejeződött, a rendszer minden tábla metaadatait átmásolta a Hive metaadattárából a Unity Katalógusba. Ezek a táblák frissítésként vannak megjelölve a frissítési varázslóban.
Definiáljon részletes hozzáférés-vezérlést az egyes új táblák Engedélyek lapján.
(Nem kötelező) Megjegyzéseket fűzhet minden frissített Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára vonta.

Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához.

Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.
```
This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
```
A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.
Módosítsa a számítási feladatokat az új táblák használatára.

Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

Egyetlen Hive-tábla frissítése külső Unity Catalog-táblára a frissítési varázslóval

Egyetlen táblázatot másolhat az alapértelmezett Hive-metaadattárból a Unity Catalog metaadattárba a Catalog Explorer frissítési varázslójának használatával

Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

Lásd: Külső táblákkal végzett munka.

Számítási követelmények:

A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a tábla helyelérési útvonalának elérését.
Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

Frissítési folyamat

Külső tábla frissítése:

Kattintson az oldalsáv Katalógus gombjára a Katalóguskezelő megnyitásához.
Jelölje ki a frissíteni kívánt adatbázist, majd a táblát.
Kattintson a Frissítés gombra a táblázat részletes nézetének jobb felső sarkában.
Jelölje ki a frissíteni kívánt táblát, és kattintson a Tovább gombra.
Válassza ki a célkatalógust, sémát (adatbázist) és tulajdonosát.

A felhasználók hozzáférhetnek az újonnan létrehozott táblához a katalógusban és a sémában lévő jogosultságaik kontextusában.

A táblatulajdonosok minden jogosultsággal rendelkeznek a táblán, beleértve SELECT az és MODIFYa . Ha nem választ ki tulajdonost, a felügyelt tábla önnel jön létre tulajdonosként. A Databricks általában azt javasolja, hogy a táblák tulajdonjogát adja meg a csoportoknak. A Unity Catalog objektumtulajdonságairól további információt a Unity Catalog objektum tulajdonjogának kezelése című témakörben talál.
Kattintson a Frissítés gombra a táblázat részletes nézetének jobb felső sarkában.
Jelölje ki a frissíteni kívánt táblát, és kattintson a Tovább gombra.

A rendszer a táblázat metaadatait átmásolja a Unity Katalógusba, és létrehoz egy új táblát. Mostantól az Engedélyek lapon definiálhatja a részletes hozzáférés-vezérlést.
Az Engedélyek lapon részletes hozzáférés-vezérlést határozhat meg.
(Nem kötelező) Adjon hozzá egy megjegyzést a Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára pontokat fűzi.

Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához.

Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.
```
This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
```
A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.
Módosítsa a meglévő számítási feladatokat az új tábla használatára.

Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.

Feljegyzés

Ha már nincs szüksége a régi táblára, elvetheti a Hive metaadattárból. Egy külső tábla elvetése nem módosítja a felhőbeli bérlő adatfájljait.

Hive-tábla frissítése külső Unity Catalog-táblára a SYNC használatával

Az SYNC SQL-paranccsal külső táblákat másolhat a Hive-metaadattárban a Unity Catalog külső tábláiba. Az egyes táblákat vagy a teljes sémákat szinkronizálhatja.

A Databricks-munkaterületen kívül tárolt Hive felügyelt táblákat (más néven DBFS-gyökér) a Unity Katalógus külső tábláiba is SYNC másolhatja. Nem használhatja a munkaterület-tárolóban tárolt Hive-felügyelt táblák másolására. A táblák másolásához használja a CREATE TABLE CLONE parancsot .

A SYNC parancs írási műveletet hajt végre minden frissített forrástáblán, hogy további táblázattulajdonságokat adjon hozzá a könyveléshez, beleértve a cél Unity Catalog külső tábla rekordját is.

SYNC A Meglévő Unity Catalog-táblák is frissíthetők a Hive-metaadattár forrástábláinak módosításakor. Ez jó eszköz a Unity Catalogra való fokozatos áttéréshez.

További részletekért lásd: SYNC. Ha segítségre van szüksége a frissítési varázsló használatához, olvassa el a Hive to Unity Catalog migrálási lehetőségeit.

Követelmények

Adatformátumra vonatkozó követelmények:

Lásd: Külső táblákkal végzett munka.

Számítási követelmények:

A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

A Unity Catalog objektum- és engedélykövetelményei:

Egy azure-beli felügyelt identitás vagy szolgáltatásnév tárolási hitelesítő adatai, amely engedélyezi a Unity Catalog számára a táblák helyelérési útvonalának elérését.
Egy külső hely , amely az imént létrehozott tárolási hitelesítő adatokra és a felhőbeli bérlő adatainak elérési útjára hivatkozik.
CREATE EXTERNAL TABLE engedély a frissíteni kívánt táblák külső helyein.

A Hive tábla hozzáférési követelményei:

Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

Ha a Hive-metaadattárban lévő táblákat a Unity Catalog külső tábláira szeretné frissíteni a következő használatával SYNC:

Egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben futtassa az alábbiak egyikét:

Külső Hive-tábla szinkronizálása:

SYNC TABLE <uc-catalog>.<uc-schema>.<new-table> FROM hive_metastore.<source-schema>.<source-table>
SET OWNER <principal>;

Külső Hive-séma és az összes tábla szinkronizálása:

SYNC SCHEMA <uc-catalog>.<new-schema> FROM hive_metastore.<source-schema>
SET OWNER <principal>;

Szinkronizáljon egy felügyelt Hive-táblát, amely a Databricks-munkaterület tárolón kívül van tárolva:

SYNC TABLE <uc-catalog>.<uc-schema>.<new-table> AS EXTERNAL FROM hive_metastore.<source-schema>.<source-table>
SET OWNER <principal>;

Szinkronizálja a Databricks-munkaterületen kívül tárolt felügyelt Hive-táblákat tartalmazó sémát:

SYNC SCHEMA <uc-catalog>.<new-schema> AS EXTERNAL FROM hive_metastore.<source-schema>
SET OWNER <principal>;

Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.
(Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázatos megjegyzéseket a Catalog Explorerrel, olvassa el a Megjegyzések hozzáadása adatokhoz és AI-objektumokhoz című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.
```
This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
```
A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.
A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.
A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot. Hasonlóképpen ne dobja el a régi táblát, ha a tábla az eredeti szinkronizálás óta megváltozott: SYNC a meglévő Unity Catalog-táblákat frissítheti a forrás Hive-táblák módosításaival.

Felügyelt Hive-tábla frissítése unitykatalógus által felügyelt táblára a CLONE használatával

A Hive metaadattárban lévő felügyelt Delta-táblák a Unity Catalog felügyelt tábláira való frissítésére használhatók CREATE TABLE CLONE . Az egyes táblákat klónozhatja. Mély klónokat kell használnia, amikor az örökölt Hive metaadattárból a Unity Catalogba klónozza a táblákat.

Ha segítségre van szüksége a használat időpontjáról CLONE, tekintse meg a Hive to Unity Catalog migrálási lehetőségeit. További információ: CLONETábla klónozása az Azure Databricksben.

Követelmények

Adatformátumra vonatkozó követelmények:

Felügyelt Hive-táblák Delta formátumban.

Számítási követelmények:

A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

Engedélykövetelmények:

A USE CATALOG katalógus és séma azon jogosultságai és USE SCHEMA jogosultságai, amelyekhez hozzáadja a táblát a sémával CREATE TABLE együtt, vagy a katalógus vagy séma tulajdonosának kell lennie. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.
Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

Felügyelt táblák frissítése a Hive-metaadattárban felügyelt táblákra a Unity Katalógusban:

Egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben futtassa az alábbiak egyikét:

Felügyelt tábla mély klónozása a Hive metaadattárban:
```
CREATE OR REPLACE TABLE <uc-catalog>.<uc-schema>.<new-table>
DEEP CLONE hive_metastore.<source-schema>.<source-table>;
```
További paraméterekkel, például a táblatulajdonságokkal kapcsolatos információkért lásd a CREATE TABLE CLONE (TÁBLA KLÓNOZÁSA) című témakört.
Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.
(Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázatos megjegyzéseket a Catalog Explorerrel, olvassa el a Megjegyzések hozzáadása adatokhoz és AI-objektumokhoz című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.
```
This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
```
A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.
A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.
A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot. Hasonlóképpen, ne dobja el a régi táblát, ha sekély klónt végzett. A sekély klónok a forrás Hive-táblából származó adatokra hivatkoznak.

Hive-tábla frissítése unitykatalógus által felügyelt táblára a CREATE TABLE AS SELECT használatával

Ha nem tudja használni, vagy nem szeretné, hogy CREATE TABLE CLONE a Hive-metaadattárban lévő táblát a Unity Catalog egy felügyelt táblába migrálja, létrehozhat egy új felügyelt táblát a Unity Katalógusban a Hive-tábla lekérdezésével CREATE TABLE AS SELECT. A különbségekről CREATE TABLE CLONE CREATE TABLE AS SELECTtovábbi információt a Hive to Unity Catalog migrálási lehetőségei között talál.

Követelmények

Számítási követelmények:

A Unity Catalogot támogató számítási erőforrás. Lásd a kezdés előtt.

Engedélykövetelmények:

A USE CATALOG katalógus és séma azon jogosultságai és USE SCHEMA jogosultságai, amelyekhez hozzáadja a táblát a sémával CREATE TABLE együtt, vagy a katalógus vagy séma tulajdonosának kell lennie. Lásd: Unity Catalog-jogosultságok és biztonságos objektumok.
Ha a számítás megosztott hozzáférési módot használ, hozzáférésre van szüksége a Hive metaadattárban lévő táblákhoz, amelyek régebbi táblahozzáférés-vezérléssel érhetők el. Lásd a kezdés előtt.

Frissítési folyamat

A Hive-metaadattárban lévő táblázat frissítése felügyelt táblára a Unity Catalogban a következő használatával CREATE TABLE AS SELECT:

Hozzon létre egy új Unity Catalog-táblát a meglévő tábla lekérdezésével. Cserélje le a helyőrző értékeket:
- <uc-catalog>: Az új tábla Unity-katalógusa.
- <uc-schema>: Az új tábla Unity Catalog-sémája.
- <new-table>: A Unity Catalog tábla neve.
- <source-schema>: A Hive-tábla sémája, például default.
- <source-table>: A Hive-tábla neve.
SQL
```
CREATE TABLE <uc-catalog>.<new-schema>.<new-table>
AS SELECT * FROM hive_metastore.<source-schema>.<source-table>;
```
Python
```
df = spark.table("hive_metastore.<source-schema>.<source-table>")

df.write.saveAsTable(
  name = "<uc-catalog>.<uc-schema>.<new-table>"
)
```
R
```
%r
library(SparkR)

df = tableToDF("hive_metastore.<source-schema>.<source-table>")

saveAsTable(
  df = df,
  tableName = "<uc-catalog>.<uc-schema>.<new-table>"
)
```
Scala
```
val df = spark.table("hive_metastore.<source-schema>.<source-table>")

df.write.saveAsTable(
  tableName = "<uc-catalog>.<uc-schema>.<new-table>"
)
```
Ha csak néhány oszlopot vagy sort szeretne migrálni, módosítsa az utasítást SELECT .

Feljegyzés

Az itt bemutatott parancsok létrehoznak egy felügyelt táblát , amelyben az adatok egy dedikált felügyelt tárolóhelyre lesznek másolva. Ha ehelyett egy külső táblát szeretne létrehozni, amelyben a tábla regisztrálva van a Unity Katalógusban anélkül, hogy az adatokat a felhőbeli tárolóba helyezne át, olvassa el az Egyetlen Hive-tábla frissítése külső Unity Catalog-táblára a frissítési varázsló használatával című témakört. Lásd még : Felügyelt tárhely megadása a Unity Katalógusban.
Hozzáférés biztosítása fiókszintű felhasználóknak vagy csoportoknak az új táblához. Lásd: Jogosultságok kezelése a Unity Katalógusban.
(Nem kötelező) Adjon hozzá egy megjegyzést az eredeti Hive-táblához, amely a felhasználókat az új Unity Catalog táblára adhatja.

Térjen vissza a katalógus eredeti táblázatához a hive.metastore tábla megjegyzésének hozzáadásához. Ha tudni szeretné, hogyan adhat hozzá táblázatos megjegyzéseket a Catalog Explorerrel, olvassa el a Megjegyzések hozzáadása adatokhoz és AI-objektumokhoz című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

Ha a táblázat megjegyzésében az alábbi szintaxist használja, az elavult Hive-táblára hivatkozó jegyzetfüzetek és SQL-lekérdezésszerkesztő-lekérdezések áthúzott szöveg használatával jelenítik meg az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és a Databricks Assistant gyorsjavítási hivatkozását adják meg, amely frissítheti a kódot az új táblára való hivatkozáshoz.
```
This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.
```
A Hive-tábla migrálásához lásd a Megjegyzések hozzáadása című témakört.
A tábla migrálása után a felhasználóknak frissíteniük kell a meglévő lekérdezéseiket és számítási feladataikat az új tábla használatához.

Ha megjegyzést fűzött az eredeti Hive-táblához, például az előző lépésben felsorolthoz, a gyorsjavítási hivatkozás és a Databricks Assistant segítségével megkeresheti és módosíthatja a számítási feladatokat.
A régi tábla elvetése előtt tesztelje a függőségeket a hozzáférés visszavonásával és a kapcsolódó lekérdezések és számítási feladatok újrafuttatásával.

Ne dobja el a régi táblát, ha továbbra is elavult megjegyzésekre támaszkodik, hogy segítsen megtalálni és frissíteni a régi táblára hivatkozó meglévő kódot.

Nézet frissítése Unity-katalógusra

Miután egy nézet összes hivatkozott tábláját ugyanarra a Unity Catalog-metaadattárra frissítette, létrehozhat egy új nézetet, amely az új táblákra hivatkozik.

Megjegyzések hozzáadása, amelyek jelzik, hogy hive-tábla migrálva lett

Amikor hozzáad egy megjegyzést az elavult Hive-táblához, amely a felhasználókat az új Unity Catalog-táblára nyitja meg, a jegyzetfüzetek és az elavult Hive-táblára hivatkozó SQL-lekérdezésszerkesztő lekérdezések áthúzott szöveg használatával megjelenítik az elavult tábla nevét, figyelmeztetésként jelenítik meg a megjegyzést, és gyorsjavítási hivatkozást biztosítanak a Databricks Assistanthez, amely frissítheti a kódot az új táblára való hivatkozáshoz.

Hive-tábla elavulással kapcsolatos figyelmeztetés

A megjegyzésnek a következő formátumot kell használnia:

This table is deprecated. Please use catalog.default.table instead of hive_metastore.schema.table.

Ha tudni szeretné, hogyan adhat hozzá táblázatos megjegyzéseket a Catalog Explorerrel, olvassa el a Megjegyzések hozzáadása adatokhoz és AI-objektumokhoz című témakört. Ha meg szeretné tudni, hogyan adhat hozzá táblázatos megjegyzéseket SQL-utasítások használatával egy jegyzetfüzetben vagy az SQL-lekérdezésszerkesztőben, olvassa el a COMMENT ON című témakört.

Elavult táblahivatkozás frissítése a Databricks Assistant használatával

Ha áthúzott szöveg jelenik meg egy táblázatnéven egy jegyzetfüzetcellában vagy -utasításban az SQL-lekérdezésszerkesztőben, mutasson a tábla nevére, és jelenítsen meg egy figyelmeztetést. Ha a figyelmeztetés elavultként írja le a táblát, és megjeleníti az új táblanevet, kattintson a Gyorsjavítás, majd az Elavultság javítása elemre. Megnyílik a Databricks Assistant, amely felajánlja, hogy lecseréli az elavult táblanevet az új Unity Catalog-táblanévre. Kövesse az utasításokat a feladat elvégzéséhez.

A Hive táblafrissítését bemutató videó a Databricks Assistant használatával

Lásd még a Databricks Assistant használatát.

Megosztás a következőn keresztül:

Hive-táblák és nézetek frissítése Unity Catalogra

Hive to Unity Catalog migrálási lehetőségek

Előkészületek

A hatás ismertetése

Követelmények

A Hive metaadattár által felügyelt táblák azonosítása

Séma vagy több tábla frissítése a Hive metaadattárból külső Unity Catalog-táblákra a frissítési varázslóval

Követelmények

Frissítési folyamat

Egyetlen Hive-tábla frissítése külső Unity Catalog-táblára a frissítési varázslóval

Követelmények

Frissítési folyamat

Hive-tábla frissítése külső Unity Catalog-táblára a SYNC használatával

Követelmények

Frissítési folyamat

Felügyelt Hive-tábla frissítése unitykatalógus által felügyelt táblára a CLONE használatával

Követelmények

Frissítési folyamat

Hive-tábla frissítése unitykatalógus által felügyelt táblára a CREATE TABLE AS SELECT használatával

Követelmények

Frissítési folyamat

SQL

Python

R

Scala

Nézet frissítése Unity-katalógusra

Megjegyzések hozzáadása, amelyek jelzik, hogy hive-tábla migrálva lett

Elavult táblahivatkozás frissítése a Databricks Assistant használatával

Visszajelzés

További források