Adatminőség-monitorozás

Az adatminőség-monitorozással biztosítható az összes adategység minősége a Unity Catalogban. Az adatminőség-monitorozás a következő képességeket foglalja magában:

• Anomáliadetektálás. Az anomáliadetektálás egyetlen kattintással teszi lehetővé a méretezhető adatminőség-monitorozást. A séma összes tábláját intelligens vizsgálattal figyeli, amely fontos táblákat rangsorol, és kihagyja az alacsony hatású táblákat. A Databricks automatikusan értékeli az adatminőséget az előzményadat-minták elemzésével, hogy kiértékelje az egyes táblák frissességét és teljességét. Lásd : Anomáliadetektálás.
• Adatprofilozás. Az adatprofilozás egy táblában lévő adatok összegzési statisztikáit tartalmazza. Az AI-alkalmazások, a gépi tanulási modellek és a modellkiszolgáló végpontok teljesítményének nyomon követésére is használható a modellbemeneteket és előrejelzéseket tartalmazó következtetési táblák monitorozásával. Lásd az adatprofilozást.

Az adatprofilozást korábban Lakehouse Monitoring néven ismerték.

A fiók- és metaadattár-rendszergazdák áttekinthetik az adatminőség állapotát, például az egészséges táblák százalékos arányát a Governance Hub Adat lapján .

Miért érdemes anomáliadetektálni?

Ahhoz, hogy hasznos megállapításokat nyerjen az adataiból, megbízhatónak kell lennie az adatok minőségében. Az anomáliadetektálás figyeli az engedélyezett táblákat a frissesség és teljesség szempontjából.

Frissesség a tábla legutóbbi frissítésének módját jelenti. Az anomáliadetektálás elemzi a tábla véglegesítéseinek előzményeit, és táblánkénti modellt hoz létre a következő véglegesítés időpontjának előrejelzéséhez. Ha a véglegesítés szokatlanul késik, a tábla elavultként van megjelölve.

Teljesség az elmúlt 24 órában a táblába írandó sorok számát jelenti. Az anomáliadetektálás elemzi az előzménysorok számát, és ezen adatok alapján előrejelzi a sorok várható számát. Ha az elmúlt 24 órában lekötött sorok száma kisebb, mint a tartomány alsó határa, a tábla hiányosként van megjelölve.

Miért érdemes adatprofilozást használni?

Az adatprofilozás mennyiségi mértékeket biztosít, amelyekkel nyomon követheti és megerősítheti az adatok minőségét és konzisztenciáját. Az adatprofilozás rögzíti a tábla adateloszlásának vagy a megfelelő modell teljesítményének előzménymetrikáit, amelyek gyors összefoglaló statisztikákhoz használhatók. Ezekkel a metrikákkal monitorozhat egy táblát, és riasztásokat küldhet a változásokról.

Az adatprofilozás az alábbihoz hasonló kérdések megválaszolásában segít:

• Hogyan néz ki az adatintegritás, és hogyan változik az idő múlásával? Mi például a null vagy nulla értékek aránya az aktuális adatokban, és növekedett?
• Hogyan néz ki az adatok statisztikai eloszlása, és hogyan változik az idő múlásával? Mi például egy numerikus oszlop 90. percentilise? Vagy mi az értékek eloszlása egy kategorikus oszlopban, és miben különbözik a tegnapitól?
• Van eltérés az aktuális adatok és az ismert alapkonfiguráció között, vagy az adatok egymást követő időablakai között?
• Hogyan néz ki az adatok egy részhalmazának vagy szeletének statisztikai eloszlása vagy sodródása?
• Hogyan változnak az ml-modell bemenetei és előrejelzései az idő függvényében?
• Hogyan növekszik a modell teljesítménye az idő függvényében? Az A modell jobban teljesít, mint a B verzió?

Az adatprofilozás emellett lehetővé teszi a megfigyelések időrészletességének szabályozását és egyéni metrikák beállítását.

Az adatminőség-figyelés nem módosítja a figyelt táblákat, és nem ad többletterhelést a táblákat feltöltő feladatokhoz.

Cost

Az adatminőség-monitorozás kiszolgáló nélküli számításon fut, és a számlázási termék alatt DATA_QUALITY_MONITORING kiszolgáló nélküli ADATBÁZIS-ként van számlázva. A költség a figyelt táblák számától és méretétől, valamint a kiértékelés gyakoriságától függ. Az anomáliadetektáláshoz az intelligens vizsgálat segít szabályozni a költségeket a fontos táblák rangsorolásával és az alacsony hatású táblák kihagyásával.

Az adatminőség-monitorozási költségek megtekintéséhez és nyomon követéséhez tekintse meg az adatminőség-monitorozás költségeit.