Rendellenesség észlelése

Fontos

Ez a funkció nyilvános előzetes verzióban van.

Ez a lap bemutatja, hogy mi az anomáliadetektálás, mit figyel, és hogyan használható.

Fontos

Az anomáliadetektálás az alapértelmezett tároló használatával tárolja a vizsgálati eredményeket a system.data_quality_monitoring.table_results rendszertáblában. A tárterületért nem kell fizetnie.

Mi az anomáliadetektálás?

Az anomáliadetektálás lehetővé teszi a séma összes táblájának adatminőségének monitorozását. Az előzményminták elemzésével Azure Databricks automatikusan kiértékeli az egyes táblák teljességét és frissességét. Az eredmények a Catalog Explorerben érhetők el.

Követelmények

• Unity Catalog-kompatibilis munkaterület.
• A kiszolgáló nélküli számításnak elérhetőnek kell lennie a munkaterületen (alapértelmezés szerint engedélyezve kell lennie a Unity Catalog-munkaterületeken).
• Az anomáliadetektálás egy sémán történő engedélyezéséhez rendelkeznie kell a sémára vagy a szülő katalógusra vonatkozó MANAGE jogosultsággal.
• A táblák állapotjelzőinek megtekintéséhez szüksége van SELECT vagy BÖNGÉSZÉS jogosultságokra.

Hogyan működik az anomáliadetektálás?

Azure Databricks létrehoz egy háttérfeladatot, amely figyeli az freshness és completeness tábláit.

Frissesség a tábla legutóbbi frissítésének módját jelenti. Az adatminőség-monitorozás elemzi a táblákhoz tartozó véglegesítések előzményeit, és táblázatonkénti modellt hoz létre a következő véglegesítés időpontjának előrejelzéséhez. Ha a véglegesítés szokatlanul késik, a tábla elavultként van megjelölve.

Teljesség az elmúlt 24 órában a táblába írandó sorok számát jelenti. Az adatminőség-monitorozás elemzi az előzménysorok számát, és ezen adatok alapján előrejelzi a sorok várható számát. Ha az elmúlt 24 órában lekötött sorok száma kisebb, mint a tartomány alsó határa, a tábla hiányosként van megjelölve.

Azure Databricks intelligens vizsgálati módszerekkel automatizálja a táblázatok vizsgálatának gyakoriságát. Az intelligens vizsgálat előnyben részesíti a nagy hatású táblákat a népszerűség és az alsóbb rétegbeli használat alapján, és csökkenti a kevésbé kritikus táblák gyakoriságát. A táblák manuális kizárásához használja a Monitor létrehozása vagy a Monitor API frissítése lehetőséget, és adja meg a kizárt táblákat a excluded_table_full_names paraméterben. További tájékoztatás az API-dokumentációban olvasható.

Az anomáliadetektálás nem módosítja a figyelt táblákat, és nem ad többletterhelést a táblákat feltöltő feladatokhoz.

Megjegyzés:

Az eseményidőoszlopokon és a betöltési késésen alapuló esemény frissessége csak az adatminőség-monitorozás bétaverziójának felhasználói számára volt elérhető. Az aktuális verzióban az esemény frissessége nem támogatott.

Null százalék a teljességhez

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Manage Azure Databricks előzetes verzió.

A százalékos null érték további minőségi részleteket ad hozzá a teljességhez. A null százalék azt mutatja meg, hogy az elmúlt 24 órában a táblába írt sorok közül hány százalékban található null érték egy adott oszlopban. Az adatminőség-monitorozás elemzi az egyes oszlopok előzmény trendjének alakulását, és ezen adatok alapján egy tartományt jelez előre. Ha egy oszlop null százalékos értéke az elmúlt 24 órában magasabb, mint a tartomány felső határa, a tábla hiányosként van megjelölve.

Teljesség szerinti felosztás

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Manage Azure Databricks előzetes verzió.

Teljesség szerinti szeletelésteljességi ellenőrzésekkel egészíti ki a táblán belüli csoportokat, a meglévő táblázatszintű ellenőrzés mellett. Az anomália-detektálás egy meghatározott oszlop szerint csoportosítja a táblát, és külön-külön értékeli a teljességet az oszlop egyes értékeihez. Például a(z) region oszlop szerinti szeletelés minden régióhoz külön teljességi eredményt eredményez, például AMER, APAC és EMEA esetében. Ha bármelyik szelet hiányos, a táblázatot egészségtelennek jelölik.

Egy séma legfeljebb három szeletelési oszlopot tartalmazhat, amelyek mindegyike egymástól függetlenül szeletelhető (nem egyetlen csoportosításba összevonva). A szeletelést akkor konfigurálod , amikor engedélyezed az anomália észlelését egy sémán, és ez minden táblázatra vonatkozik a sémában.

Megjegyzés:

Az anomáliafelismerés csak akkor értékeli a teljességet egy szeletoszlop esetében, ha az oszlopnak 50 vagy kevesebb eltérő értéke van. Ha egy oszlopnak több mint 50 különböző értéke van, vagy egy táblázat nem tartalmazza az oszlopot, akkor az egész táblázatot figyelik.

Cost

Az anomáliadetektálás kiszolgáló nélküli számításon fut, és a számlázási termék alatt DATA_QUALITY_MONITORING kiszolgáló nélküli adatbázisként van számlázva. Költségskálázás a sémában figyelt táblák számával és méretével. Az intelligens vizsgálat segít a költségek szabályozásában a fontos táblák rangsorolásával és az alacsony hatású táblák kihagyásával.

Az anomáliadetektálási költségek megtekintéséhez és nyomon követéséhez tekintse meg az anomáliadetektálási költségeket.

Anomáliadetektálás engedélyezése

Az anomáliadetektálás engedélyezhető egyetlen sémán vagy több sémán a katalógus szintjén.

Engedélyezze az anomáliadetektálást séma szerint

Az anomáliaészlelés engedélyezéséhez nyissa meg a sémát a Unity Catalogban.

1. A sémalapon kattintson a Részletek fülre.

2. Az adatminőség-monitorozáshoz kattintson az Engedélyezés gombra.

   

3. Az Adatminőség-figyelés párbeszédpanelen győződjön meg arról, hogy az anomáliadetektálás be van kapcsolva, majd kattintson a Mentés gombra.

4. A rendszer vizsgálatot indít. Azure Databricks automatikusan ellenőrzi az egyes táblákat a frissített gyakorisággal, és up-to-date elemzéseket biztosít anélkül, hogy manuális konfigurálásra lenne szükség az egyes táblákhoz.

5. A vizsgálat befejezése után az alábbi módokon tekintheti meg a táblák anomáliadetektálási eredményeit:

• Az állapotjelzők megjelennek a Katalóguskezelőben a sémán belüli táblákhoz. Lásd : Állapotjelzők.
• Az adatminőség-monitorozást engedélyező séma Részletek lapján kattintson az Eredmények megtekintése elemre, majd tekintse meg az eredményeket az Adatminőség-figyelés szolgáltatásban. Lásd: Adatminőség-figyelési eredmények megtekintése a felhasználói felületen.
• Az észlelt minőségi problémákat a rendszer naplózza a kimeneti rendszer táblájában. Lásd: Anomáliadetektálási naplózott eredmények áttekintése.

Anomáliadetektálás engedélyezése katalógusban

Az anomáliadetektálás egyszerre több sémán is engedélyezhető a katalógusból. Navigáljon a katalógushoz a Unity Catalogban.

1. A katalóguslapon kattintson a Részletek fülre .

2. Az adatminőség-monitorozáshoz kattintson az Engedélyezés gombra.

   

3. Az Adatminőség-figyelés párbeszédpanelen jelölje ki a figyelni kívánt sémákat, majd kattintson a Mentés gombra.

   

   Megjegyzés:

   Egyszerre legfeljebb 50 sémát engedélyezhet. Jelölje be a legfelső szintű jelölőnégyzetet az összes jelenleg figyelhető séma engedélyezéséhez. Ez nem teszi lehetővé a katalógushoz a jövőben hozzáadott sémákat.

   Csak azokat a sémákat láthatja a katalógusban, amelyeken Ön a tulajdonos, vagy rendelkezik jogosultsággal MANAGE .

4. Azure Databricks minden engedélyezett séma vizsgálatát kezdeményezi, automatikusan beolvassa az egyes táblákat a frissített gyakorisággal, anélkül, hogy manuális konfigurációt kellene igényelnie az egyes táblákhoz.

5. A vizsgálat befejezése után megtekintheti az anomáliadetektálási eredményeket a sémák anomáliadetektálásának engedélyezése című szakaszban ismertetett módszerek bármelyikével.

Anomáliadetektálás letiltása

Az anomáliadetektálás letiltása:

1. Kattintson a ceruza ikonra.

   

2. Az Adatminőség-figyelés párbeszédpanelen kattintson a kapcsolóra.

   Fontos

   Az anomáliadetektálás letiltásakor a rendszer törli az anomáliadetektálási feladatot, valamint az összes anomáliadetektálási táblát és információt. Ez a művelet nem vonható vissza.

   

3. Kattintson a Mentés lehetőségre.

Ha egyszerre több séma anomáliadetektálását szeretné letiltani, nyissa meg az Adatminőség-figyelés párbeszédpanelt a Katalógus Részletei lapján, törölje a már nem figyelni kívánt sémákat, majd kattintson a Mentés gombra.

További konfiguráció

Konfiguráld teljességi szeletelést

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Manage Azure Databricks előzetes verzió.

Konfiguráld a teljességi szeletelést az Adatminőség-monitoring párbeszédben egy séma esetén:

1. A Figyelés szeletek szerint alatt kattintson a Szeletek hozzáadása lehetőségre.

   

2. Az Szeletek hozzáadása panelen válasszon ki legfeljebb három oszlopot a szeleteléshez, majd kattintson a Szeletek mentése gombra.

   

3. Kattintson a Mentés lehetőségre. A kiválasztott oszlopok a Szeletenkénti monitorozás részben jelennek meg. Ha később módosítani szeretné őket, kattintson a Szerkesztés gombra.

   

Állapotjelzők

Miután engedélyezte az anomáliadetekciót egy sémán, az állapotjelzők megjelennek a Catalog Explorer séma- és táblázatáttekintő oldalain. Az állapotjelző az adatfelhasználók és az üzleti felhasználók táblaállapotának összegzését jeleníti meg anélkül, hogy az adatminőség-figyelési felhasználói felületre kellene navigálniuk. A felhasználóknak a SELECT vagy BROWSE engedélyre van szükségük az állapotjelző megtekintéséhez.

Az alábbi táblázat az állapotjelzők állapotát ismerteti:

Status	Leírás
Healthy	Minden anomáliadetektálási ellenőrzés a legutóbbi vizsgálat során történt.
Egészségtelen	Egy vagy több ellenőrzés rendellenességet észlelt, például frissességi vagy teljességi problémát.
Képzés	Az anomáliadetektálás alapmodellt hoz létre az előzményadatokból. Az újonnan figyelt táblák addig jelenítik meg ezt az állapotot, amíg a modellnek nincs elegendő adata a minőség kiértékeléséhez.
Hiba	Az anomáliadetektálás hibát észlelt a tábla figyelése során.
Kizárva	A tábla kifejezetten ki van zárva az anomáliadetektálásból.
Nincs engedélyezve	Az anomáliadetektálás nincs engedélyezve a táblát tartalmazó sémában.

Megjegyzés:

Az intelligens vizsgálat néhány tábla állapotjelzőinek populációját akár két héttel is késleltetheti, ha a táblázatot kihagyták a kezdeti vizsgálat során. Az állapotjelző a következő ütemezett újraelemzéskor lesz feltöltve.

Az egészségmutatók a vonal grafikon táblázatcsomópontjain is megjelennek, így a vonal felfedezése közben áttekintheted az előbb és lefelé irányuló táblázatok állapotát.

Az adatminőség monitorozási eredményeinek megtekintése a felhasználói felületen

Fontos

2025. október 7-én a Databricks kiadta az Adatminőség-figyelési felhasználói felület új verzióját. Az ezen a napon vagy azt követően engedélyezett adatminőség-monitorozáshoz engedélyezett sémák automatikusan használják ezt az új felhasználói felületet. Ez a szakasz a felhasználói felület legújabb verzióját ismerteti.

Az örökölt felhasználói felületről további információt az Adatminőségi irányítópult (örökölt) című témakörben talál.

A Databricks azt javasolja, hogy engedélyezze az új verziót az összes meglévő sémához.

Az új verzió engedélyezéséhez kattintson az Adatminőség-figyelés kapcsolóra a funkció kikapcsolásához, majd kattintson újra a funkció bekapcsolásához.

Miután engedélyezte az adatminőség-monitorozást egy sémán, a Találatok megtekintése gombra kattintva megnyithatja az eredményoldalt. Az összes olyan séma eredményeit is elérheti, amelyek figyelése engedélyezve van a Katalóguskezelőben.

Az eredmények felhasználói felülete katalógus- és séma legördülő listákat tartalmaz. Katalógus kiválasztásakor a séma legördülő listája olyan sémákkal lesz feltöltve a katalógusban, amelyeken engedélyezve van az adatminőség-figyelés.

• Ha rendelkezik MANAGE vagy SELECT jogosultságokkal a katalógusban, a katalógus szintjén tekintheti meg az incidenseket. A katalógus összes incidensének megtekintéséhez válassza a Séma legördülő menü Minden séma elemét.

  

• Egy adott sémához tartozó incidensek megtekintéséhez MANAGE, SELECT, vagy READ METADATA jogosultsággal is rendelkezned kell ezen a sémán. Ha kijelöl egy sémát, az csak az adott sémához tartozó incidenseket jeleníti meg.

Az eredményoldal tetején egy összefoglaló szakasz látható, amely a kiválasztott hatókör általános adatminőségét jeleníti meg, beleértve az kifogástalan táblák százalékos arányát és a jelenleg figyelt sémák/táblák százalékos arányát. Az alábbi szakasz egy táblázat, amely a kijelölt hatókör összes figyelt táblájában megjeleníti az incidenseket. A gombok segítségével egészségtelen, egészséges, vagy hibatáblákat jeleníthet meg.

Az alábbi táblázat azokat az oszlopokat ismerteti, amelyek kissé eltérnek attól függően, hogy a Nem megfelelő, az Állapot vagy a Hiba lehetőséget választja-e.

oszlop	Leírás
Status	Healthy, vagy UnhealthyTraining.
Első észlelés	Az első incidens észlelésekor. Csak az Egészségtelen lapon jelenik meg.
Utoljára beolvasva	Amikor a táblázatot utoljára beolvasták. Csak az Állapot lapon jelenik meg.
Jogcím	Legyen szó arról, hogy a tábla frissesség vagy teljesség miatt nem kifogástalan. Csak az Egészségtelen lapon jelenik meg.
Kiváltó ok	Információk a problémához hozzájáruló felsőbb rétegbeli feladatokról, folyamatokról vagy táblákról. Csak az Egészségtelen lapon jelenik meg.
Hatás	Az alsóbb rétegbeli hatások minőségi mértéke (Magas, Közepes vagy Alacsony), az érintett alsóbb rétegbeli táblák és lekérdezések száma alapján.
Vizsgálat gyakorisága	Milyen gyakran vizsgálták a táblázatot az elmúlt héten.
Results	A táblaminőségi lapra mutató hivatkozás, ahol megtekintheti az előzménytrendeket és a vizualizációkat, amely elmagyarázza, hogy miért észleltek rendellenességet.
Hibaállapot	Hibaüzenet. Csak a Hiba lapon jelenik meg.
Részletek	A hibaüzenet részletei. Csak a Hiba lapon jelenik meg.

Hibás táblával kapcsolatos incidensek kezelése

A Nem megfelelő állapot lapon kattintson a Véleményezés gombra az Eredmények oszlopban a tábla incidensadatainak megnyitásához. Ebben a nézetben két művelet érhető el:

• Rendeljen hozzám: Az incidens tulajdonjogát állítja be, hogy jelezze, hogy aktívan folyik a vizsgálat. A tábla továbbra is Nem megfelelő állapotban van. A hozzárendelés 7 napig megmarad.
• Nem probléma: Hamis pozitívként jelöli meg az incidenst, és elutasítja. A tábla állapota kifogástalan állapotról kifogástalan állapotra változik, a Legutóbb megoldott incidensek szakasz Megoldás oszlopában pedig a Nem probléma jelenik meg. A felmondás 7 napig tart.

Alapvető okok elemzése

Minden egészségtelen tábla esetében a rendellenesség-észlelés azonosítja a minőségi probléma legvalószínűbb forrását. Elemzi a figyelt eszközök közötti kapcsolatokat annak megállapításához, hogy a probléma maga a táblából vagy egy felsőbb rétegbeli függőségből származik-e. Ez az elemzés a Unity Catalog adatsorolását használja az objektumok közötti többszintű kapcsolatok okára.

Ha az anomáliadetektálás azonosít egy valószínű forrást, a forrás megjelenik az Adatminőség-monitorozás felhasználói felületén a Nem kifogástalan állapot lap Alapvető ok oszlopában. Az oszlop a probléma legvalószínűbb okát mutatja, például egy feladat meghiúsulását vagy a bemeneti tábla állapotával kapcsolatos problémát.

A kiváltó okokra vonatkozó információk az anomáliadetektálási riasztásokban is elérhetők. Lásd riasztások az anomáliadetektáláshoz.

A közelmúltban megoldott incidensek megtekintése

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Manage Azure Databricks előzetes verzió.

Az adatminőség-monitorozási irányítópult Nemrégiben megoldott incidensek szakasza olyan táblákat mutat be, amelyek korábban nem kifogástalan állapotban voltak, de azóta önállóan helyreálltak. A táblázat akkor jelenik meg ebben a szakaszban, ha állapota egészségtelenről automatikusan, manuális beavatkozás nélkül egészségesre változik.

A közelmúltban automatikusan megoldott incidensek monitorozása segít azonosítani az öngyógyító adatok minőségével kapcsolatos problémákat. Ezek a problémák általában átmeneti problémák, például a felsőbb rétegbeli késések vagy az elavult ablakok, amelyek a friss adatok érkezésekor megoldódnak. Az automatikusan megoldott incidensek áttekintése segít megkülönböztetni a pelyhes problémákat az állandó problémáktól, és biztosítja, hogy a táblák idővel kifogástalan állapotban maradjanak.

Az alábbi táblázat a szakasz oszlopait ismerteti:

oszlop	Leírás
Schema	A táblát tartalmazó séma.
Táblázat	A tábla neve.
Status	A tábla aktuális állapota. Az ebben a szakaszban szereplő táblázatok mindig kifogástalan állapotot mutatnak.
Resolution	Az incidens megoldása. Automatikusan megoldott állapotot jelenít meg, ha a tábla önállóan helyreállt, vagy nem probléma, ha egy felhasználó a Nem probléma művelettel elutasította az incidenst.
Megoldva	Az az idő, amikor a tábla állapota utoljára kifogástalan állapotúra változott.
Hatás	Az alsóbb rétegbeli hatások minőségi mértéke (Magas, Közepes vagy Alacsony), az érintett alsóbb rétegbeli táblák és lekérdezések száma alapján.
Results	A táblázatminőségi lapra mutató hivatkozás, ahol megtekintheti a táblázat előzménytrendjeit és vizualizációit.

Metaadattárszintű eredmények megtekintése

A teljes metaadattár adatminőségi eredményeinek megtekintéséhez használja az alábbiak egyikét:

• Adatminőség-figyelési irányítópult: Egy beépített irányítópult, amely a metaadattár összes katalógusában összegzi a tábla állapotát.
• Irányítópult-sablon: Az irányítópult eredménytáblából való létrehozásához importált sablon.

Adatminőség-figyelési irányítópult

Az Adatminőség-figyelési irányítópult a táblázat állapotát foglalja össze a metaadattárban. A megnyitáshoz kattintson az Katalógus a munkaterület oldalsávjában, majd válassza a Szabályozás>Adatminőség-monitorozás.

Bármely felhasználó megtekintheti az irányítópultot. Az eredmények hatóköre azokra a katalógusokra és táblákra terjed ki, amelyekhez a felhasználó hozzáféréssel rendelkezik.

Alapértelmezés szerint az irányítópult az Összes katalógus eredményeit jeleníti meg, és a következőket tartalmazza:

• Adatminőség: A metaadattár kifogástalan állapotú tábláinak százalékos aránya, valamint az egészséges és nem kifogástalan táblák teljes száma.
• Minden figyelt katalógus: A figyelt katalógusok listája, először a legegészségtelenebb katalógusokkal rendezve. Az egyes katalógusok esetében a lista a figyelt táblák számát, a nem megfelelő állapotú kritikus táblák számát, az kifogástalan állapotú táblák százalékos arányát és a katalógus tulajdonosát jeleníti meg.

Az eredmények egyetlen katalógusra való hatóköréhez válassza ki a Katalógus legördülő menüből.

Irányítópultsablon importálása

Sablont is importálhat a munkaterületre. Ez a sablon létrehoz egy irányítópultot, amely lehetővé teszi az összes minőségi eredmény megtekintését a metaadattárban.

A sablon használatához hozzá kell férnie a system.data_quality_monitoring.table_results táblához. Alapértelmezés szerint csak a fiókadminisztrátor rendelkezik hozzáféréssel ehhez a táblához. Igény szerint hozzáférést biztosíthatnak másoknak.

A sablon importálása és használata:

1. Töltse le a sablonfájlt: metastore-quality-dashboard.lvdash.json.
2. A munkaterület oldalsávján kattintson az irányítópultok elemre.
3. A jobb felső sarokban válassza az Irányítópult importálása fájlból lehetőséget az Irányítópult létrehozása legördülő menüből.
4. A párbeszédpanelen kattintson a Fájl kiválasztása elemre, keresse meg a sablonfájlt, és kattintson az Irányítópult importálása parancsra.

A rendszer importálja a fájlt, és megjelenik az irányítópult.

A táblázat minőségi részletei

A Táblaminőség részletei felhasználói felület lehetővé teszi a trendek mélyebb megismerését és annak megértését, hogy miért észleltek rendellenességeket a séma adott tábláihoz. Ezt a nézetet többféleképpen is elérheti:

• Az Eredmények felhasználói felületen (új felület) kattintson az incidensek listájában található felülvizsgálati hivatkozásra.
• A Figyelési irányítópulton (örökölt Lakeview-irányítópult) a Minőségáttekintés fülre kattintva a táblázat nevét elérheti.
• A UC Táblamegjelenítőben a táblalap Minőség fülére lépve.

Minden beállítás ugyanazt a Táblaminőség részletei nézetet jeleníti meg a kijelölt tábla esetében.

Egy táblázatot tekintve a felhasználói felület a tábla minden minőségellenőrzésének összegzéseit jeleníti meg, az egyes kiértékelési időbélyegek előrejelzett és megfigyelt értékeinek grafikonjaival. A grafikonok az adatok utolsó 1 hetének eredményeit ábrázolják.

Ha a tábla nem felel meg a minőségi ellenőrzéseknek, a felhasználói felület megjeleníti azokat a felsőbb rétegbeli feladatokat is, amelyeket a rendszer a kiváltó okként azonosított.

Riasztások beállítása

Ha olyan riasztásokat szeretnél beállítani, amelyek értesítenek, ha az anomália észlelése adatminőségi problémát azonosít, lásd: Értesítések anomália észlelésére.

Korlátozások

• Az anomáliadetektálás nem támogatja a nézeteket és a külső táblákat.
• A teljesség meghatározása nem veszi figyelembe az olyan metrikákat, mint a nullértékek törtrésze, a nulla értékek vagy a NaN.

Örökölt anomáliadetektálás

A következő szakaszok két régi funkciót fednek le: az adatminőségi irányítópultot és az anomáliadetektálási feladat konfigurációját. Az anomáliadetektálás jelenlegi verziója nem tartalmazza ezeket a funkciókat. Az irányítópultot az adatminőség-figyelési eredmények felhasználói felülete váltotta fel.

Adatminőségi irányítópult (örökölt)

Adatminőségi irányítópult (örökölt)

Megjegyzés:

Az adatminőség-monitorozási irányítópult csak a régi felhasználók számára volt elérhető. Az aktuális verzióban használja a felhasználói felületen az adatminőség-figyelési eredmények megtekintését.

Az első adatminőség-figyelő futtatása létrehoz egy irányítópultot a naplózási táblából származó eredmények és trendek összegzéséhez. Az irányítópult automatikusan ki lesz töltve a beolvasott séma elemzéseivel. Ezen az útvonalon munkaterületenként egyetlen irányítópult jön létre: /Shared/Databricks Quality Monitoring/Data Quality Monitoring.

Minőség áttekintése

A Minőség áttekintése lap a sémában lévő táblák legújabb minőségi állapotának összegzését jeleníti meg a legutóbbi értékelés alapján.

Első lépésként meg kell adnia annak a sémának a naplózási tábláját, amelyet elemezni szeretne az irányítópult feltöltéséhez.

Az irányítópult felső szakasza áttekintést nyújt a vizsgálat eredményeiről.

Az összegzés alatt egy táblázat látható, amely a minőségi incidenseket sorolja fel hatás alapján. Minden azonosított kiváltó ok megjelenik az root_cause_analysis oszlopban.

A minőségi incidenstáblázat alatt egy olyan azonosított statikus táblák táblázata látható, amelyek hosszú ideje nem frissültek.

A frissesség és a teljesség kiértékelési paramétereinek beállítása (örökölt)

A frissesség és teljesség kiértékelési paramétereinek beállítása (legacy)

Megjegyzés:

2025. július 21-től a feladatparaméterek konfigurálása nem támogatott az új ügyfelek számára. Ha konfigurálnia kell a feladatbeállításokat, forduljon a Databrickshez.

A feladatot vezérlő paraméterek ( például a feladat futási gyakorisága vagy a naplózott eredménytábla neve) szerkesztéséhez a feladatlap Feladatok lapján kell szerkesztenie a feladat paramétereit.

A következő szakaszok konkrét beállításokat ismertetnek. A tevékenységparaméterek beállításáról további információt Tevékenységparaméterek konfigurálásacímű témakörben talál.

Ütemezés és értesítések (régi rendszer)

A feladat ütemezésének testreszabásához vagy az értesítések beállításához használja az Ütemezések > Eseményindítók beállításokat a feladatok lapon. Lásd: Feladatok automatizálása ütemezésekkel és eseményindítókkal.

A naplózási tábla neve (örökölt)

Ha módosítani szeretné a naplózási tábla nevét, vagy egy másik sémába szeretné menteni a táblát, szerkessze a feladattevékenység paraméterét logging_table_name, és adja meg a kívánt nevet. Ha a naplózási táblát egy másik sémába szeretné menteni, adja meg a teljes 3 szintű nevet.

Szabja testre freshness és completeness örökölt értékeléseket

Az ebben a szakaszban szereplő összes paraméter megadása nem kötelező. Az anomáliadetektálás alapértelmezés szerint a tábla előzményeinek elemzése alapján határozza meg a küszöbértékeket.

Ezek a paraméterek a tevékenységparaméter metric_configsmezői. A metric_configs formátuma egy JSON-sztring, amely az alábbi alapértelmezett értékeket tartalmazza:

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]

A következő paraméterek használhatók freshness és completeness kiértékeléshez is.

Mezőnév	Leírás	Example
tables_to_scan	Csak a megadott táblák kerülnek beolvasásra.	["table_to_scan", "another_table_to_scan"]
tables_to_skip	A rendszer kihagyja a megadott táblákat a vizsgálat során.	["table_to_skip"]
disable_check	A vizsgálat nem indult el. Ezt a paramétert akkor használja, ha csak a freshness vagy csak a completeness szkennelést szeretné letiltani.	true, false

A következő paraméterek csak a freshness kiértékelésére vonatkoznak:

Mezőnév	Leírás	Example
event_timestamp_col_names	Azoknak az időbélyeg oszlopokat tartalmazó tábláknak a listája, amelyek az ön sémájában lehetnek. Ha egy tábla ezen oszlopok egyikével rendelkezik, akkor Unhealthy van megjelölve, ha túllépi az oszlop maximális értékét. A paraméter használata növelheti a kiértékelési időt és a költségeket.	["timestamp", "date"]
table_threshold_overrides	Táblázatnevekből és küszöbértékekből (másodpercekben) álló szótár, amely meghatározza a legutóbbi táblafrissítés óta eltelt maximális időközt, mielőtt a táblázatot Unhealthyként jelölnénk meg.	{"table_0": 86400}
table_latency_threshold_overrides	Táblázatnevekből és késési küszöbértékekből (másodpercben) álló szótár, amely meghatározza a tábla utolsó időbélyege óta eltelt maximális időközt, mielőtt a táblázatot Unhealthyként jelöli meg.	{"table_1": 3600}
static_table_threshold_override	Az az időtartam (másodpercben), amely eltelik, mielőtt egy táblát statikus táblának (tehát már nem frissítettnek) tekintünk.	2592000

A következő paraméter csak a completeness kiértékelésére vonatkozik:

Mezőnév	Leírás	Example
table_threshold_overrides	Szótár, amely táblázatnevekből és sormennyiség küszöbértékekből áll (egész számként megadva). Ha az előző 24 órában egy táblához hozzáadott sorok száma kisebb a megadott küszöbértéknél, a tábla Unhealthylesz megjelölve.	{"table_0": 1000}