A data lakehouse működési kiválósága
Az üzemeltetési kiválósági pillér architekturális alapelvei kiterjednek minden olyan működési folyamatra, amely a tóház működését tartja. A működési kiválóság kezeli a tóház hatékony működtetésének képességét, és ismerteti a tóház üzemeltetésének, kezelésének és monitorozásának módját, hogy üzleti értéket teremtsen.
A működési kiválóság alapelvei
Buildelési és kiadási folyamatok optimalizálása
A teljes lakehouse-környezetben használjon szoftvermérnöki ajánlott eljárásokat. Folyamatos integrációs és folyamatos kézbesítési folyamatokat használó buildelés és kiadás a DevOpshoz és az MLOpshoz egyaránt.
Üzembe helyezések és számítási feladatok automatizálása
A lakehouse üzemelő példányainak és számítási feladatainak automatizálása segít szabványosítani ezeket a folyamatokat, kiküszöbölni az emberi hibákat, javítani a termelékenységet, és nagyobb ismételhetőséget biztosítani. Ez magában foglalja a "konfiguráció mint kód" használatát a konfigurációs eltérés elkerülése érdekében, valamint az "infrastruktúra mint kód" használatát az összes szükséges lakehouse- és felhőszolgáltatás kiépítésének automatizálásához.
A gépi tanulás esetében a folyamatoknak automatizálást kell eredményeznie: A folyamat nem minden lépése automatizálható vagy automatizálható. Kapcsolatok továbbra is meghatározzák az üzleti kérdéseket, és egyes modelleknek mindig emberi felügyeletre lesz szükségük az üzembe helyezés előtt. Ezért a fejlesztési folyamat elsődleges, és a folyamat minden moduljának szükség szerint automatizáltnak kell lennie. Ez lehetővé teszi az automatizálás és a testreszabás növekményes kiépítését.
Figyelés, riasztás és naplózás beállítása
A lakehouse számítási feladatai általában integrálják a Databricks platformszolgáltatásokat és a külső felhőszolgáltatásokat, például adatforrásként vagy célként. A sikeres végrehajtás csak akkor fordulhat elő, ha a végrehajtási lánc minden szolgáltatása megfelelően működik. Ha ez nem így van, a figyelés, a riasztás és a naplózás fontos a problémák észleléséhez és nyomon követéséhez, valamint a rendszer viselkedésének megértéséhez.
Kapacitás és kvóták kezelése
A felhőben indított szolgáltatások esetében vegye figyelembe a korlátokat, például a hozzáférési sebesség korlátait, a példányok számát, a felhasználók számát és a memóriakövetelményeket. A megoldás megtervezése előtt meg kell érteni ezeket a korlátokat.
Következő: Ajánlott eljárások a működési kiválósághoz
Tekintse meg a működési kiválóságra vonatkozó ajánlott eljárásokat.