Adatforrások regisztrálása az Azure Data Catalogban

Fontos

Az Azure Data Catalog 2024. május 15-én megszűnt.

Az adatkatalógus funkcióihoz használja a Microsoft Purview szolgáltatást, amely egységes adatszabályozást biztosít a teljes adattulajdonhoz.

Bevezetés

Az Azure Data Catalog egy teljes körűen felügyelt felhőszolgáltatás, amely regisztrációs és felderítési rendszerként szolgál a vállalati adatforrásokhoz. Más szóval a Data Catalog segít a felhasználóknak az adatforrások felderítésében, megértésében és használatában, és segít a szervezeteknek abban, hogy több értéket szerezzenek a meglévő adataikból. Az adatforrás adatkatalóguson keresztüli felderítésének első lépése az adatforrás regisztrálása.

Adatforrások regisztrálása

A regisztráció a metaadatok adatforrásból való kinyerésének és az adatok adatkatalógus-szolgáltatásba való másolásának folyamata. Az adatok helye nem változik, ahogy az sem, hogy mely rendszergazdák felügyelik az adatokat, és milyen szabályzatok érvényesek rájuk.

Adatforrás regisztrálásához kövesse az alábbi lépéseket:

1. Az Azure Data Catalog portálon indítsa el a Data Catalog adatforrás-regisztrációs eszközét.
2. Jelentkezzen be munkahelyi vagy iskolai fiókjával ugyanazokkal a Microsoft Entra-hitelesítő adatokkal, amelyeket a portálra való bejelentkezéshez használ.
3. Válassza ki a regisztrálni kívánt adatforrást.

Miután regisztrálta az adatforrást, a katalógus nyomon követi a helyét, és indexeli a metaadatokat. A felhasználók kereshetnek, tallózhatnak és felderíthetik az adatforrást, majd a helyükkel csatlakozhatnak hozzá a választott alkalmazás vagy eszköz használatával.

Támogatott adatforrások

A jelenleg támogatott adatforrások listáját a Data Catalog DSR-ben találja.

Szerkezeti metaadatok

Adatforrás regisztrálásakor a regisztrációs eszköz információkat nyer ki a kiválasztott objektumok szerkezetéről. Ezeket az információkat szerkezeti metaadatoknak nevezzük.

Az összes objektum esetében ez a szerkezeti metaadatok tartalmazzák az objektum helyét, így az adatokat felderítő felhasználók az adatok segítségével csatlakozhatnak az objektumhoz a választott ügyféleszközökön. Más szerkezeti metaadatok közé tartozik az objektum neve és típusa, valamint az attribútum/oszlop neve és adattípusa.

Leíró metaadatok

Az adatforrásból kinyert alapvető szerkezeti metaadatok mellett az adatforrás-regisztrációs eszköz leíró metaadatokat is kinyer. Az SQL Server Analysis Services és az SQL Server Reporting Services esetében ez a metaadatok az ezen szolgáltatások által közzétett Leírás tulajdonságokból származnak. SQL Server esetén a ms_description kiterjesztett tulajdonság használatával megadott értékek lesznek kinyerve. Az Oracle Database esetében az adatforrás-regisztrációs eszköz kinyeri a MEGJEGYZÉSEK oszlopot a ALL_TAB_COMMENTS nézetből.

Az adatforrásból kinyert leíró metaadatok mellett a felhasználók leíró metaadatokat is megadhatnak az adatforrás-regisztrációs eszköz használatával. A felhasználók címkéket adhatnak hozzá, és azonosíthatják a regisztrált objektumok szakértőit. Ezt a leíró metaadatot a rendszer a szerkezeti metaadatokkal együtt a Data Catalog szolgáltatásba másolja.

Előnézetek belefoglalása

Alapértelmezés szerint csak a metaadatok lesznek kinyerve az adatforrásokból, és átmásolhatók a Data Catalog szolgáltatásba, de az adatforrások megértése gyakran egyszerűbbé teszi, ha megtekintheti a benne található adatok mintáját.

Az adatkatalógus adatforrásregisztrációs eszközével az egyes táblákban és nézetekben pillanatkép-előnézetet is megadhat az adatokról. Ha úgy dönt, hogy előzetes verziókat ad meg a regisztráció során, a regisztrációs eszköz legfeljebb 20 rekordot tartalmaz minden táblából és nézetből. Ezt a pillanatképet ezután a rendszer a szerkezeti és leíró metaadatokkal együtt a katalógusba másolja.

Feljegyzés

A nagy számú oszlopot tartalmazó széles táblákban kevesebb mint 20 rekord szerepelhet az előzetes verzióban.

Adatprofilok belefoglalása

Ahogyan az előzetes verziók is értékes környezetet biztosíthatnak a Data Catalogban adatforrásokat kereső felhasználók számára, az adatprofilok is megkönnyítik a felderített adatforrások megértését.

A Data Catalog adatforrás-regisztrációs eszközével minden regisztrált táblához és nézethez megadhat egy adatprofilt. Ha úgy dönt, hogy a regisztráció során adatprofilt is felvesz, a regisztrációs eszköz összesítő statisztikákat tartalmaz az egyes táblákban és nézetekben lévő adatokról, beleértve a következőket:

• Az objektumban lévő sorok száma és az adatok mérete.
• Az adatok és az objektumséma legutóbbi frissítésének dátuma.
• A null rekordok száma és az oszlopok eltérő értékei.
• Az oszlopok minimális, maximális, átlagos és szórási értékei.

Ezek a statisztikák ezután át lesznek másolva a katalógusba a szerkezeti és leíró metaadatokkal együtt.

Feljegyzés

A szöveg- és dátumoszlopok nem tartalmaznak átlag- vagy szórásstatisztikát az adatprofiljukban.

Regisztrációk frissítése

Az adatforrás regisztrálása a regisztráció során kinyert metaadatok és opcionális előzetes verzió használata esetén a Data Catalogban is felderíthető. Ha az adatforrást frissíteni kell a katalógusban (például ha egy objektum sémája módosult, a táblákat eredetileg ki kell zárni, vagy frissíteni szeretné az előzetes verziókban szereplő adatokat), az adatforrás-regisztrációs eszköz újra futtatható.

A már regisztrált adatforrás újbóli regisztrálása egyesítési "upsert" műveletet hajt végre: a meglévő objektumok frissülnek, és új objektumok jönnek létre. A felhasználók által az Adatkatalógus portálon keresztül biztosított metaadatok megmaradnak.

Összegzés

Mivel szerkezeti és leíró metaadatokat másol egy adatforrásból a katalógusszolgáltatásba, az adatforrás adatkatalógusban való regisztrálása megkönnyíti az adatok felderítését és megértését. Miután regisztrálta az adatforrást, az adatkatalógus portálján jegyzetelheti, kezelheti és felderítheti.