Megosztás a következőn keresztül:

Data lakehouse architektúra: A Databricks jól tervezett keretrendszere

  • Cikk

Ez a Data Lakehouse architektúracikkek olyan alapelveket és ajánlott eljárásokat tartalmaz, amelyek a lakehouse Azure Databricks használatával történő implementálásához és üzemeltetéséhez nyújtanak segítséget.

A Databricks jól tervezett keretrendszere a lakehouse-hoz

Jól megrajzolt keretrendszer: data lakehouse diagram.

A jól felépítésű tóház 7 pillérből áll, amelyek a felhőben található data lakehouse megvalósításával kapcsolatos különböző területeket írják le:

  • Adatszabályozás

    Annak biztosítása, hogy az adatok értéket teremthessenek, és támogathassák az üzleti stratégiát.

  • Interoperabilitás és használhatóság

    A lakehouse képessége a felhasználókkal és más rendszerekkel való interakcióra.

  • Működésbeli kiválóság

    Minden olyan üzemeltetési folyamat, amely éles környezetben tartja a lakehouse-t.

  • Biztonság, adatvédelem és megfelelőség

    Az Azure Databricks-alkalmazás, az ügyfél számítási feladatai és az ügyféladatok védelme a fenyegetések ellen.

  • Megbízhatóság

    A rendszer azon képessége, hogy helyreálljon a hibák után, és folytassa a működést.

  • Teljesítményhatékonyság

    A rendszer terhelésváltozáshoz való alkalmazkodási képessége.

  • Költségoptimalizálás

    Költségek kezelése a nyújtott érték maximalizálásához

A jól megtervezett lakehouse kiterjeszti a Microsoft Azure Well-Architected Frameworkt a Databricks adatintelligencia-platformra, és megosztja az "Operatív kiválóság", a "Biztonság" (biztonság, adatvédelem és megfelelőség), a "Megbízhatóság", a "Teljesítményhatékonyság" és a "Költségoptimalizálás" pilléreket.

Ezen öt pillér esetében a felhőalapú keretrendszer alapelvei és ajánlott eljárásai továbbra is érvényesek a lakehouse-ra. A jól megépített tóház ezeket a lakehouse-ra jellemző alapelvekkel és ajánlott eljárásokkal egészíti ki, és fontos, hogy hatékony és hatékony tóházat építsen ki.

Data Governance and Interoperability & Usability in lakehouse architectures

Az "Adatszabályozás" és az "Interoperabilitás és használhatóság" pillérek a lakehouse-ra vonatkozó kérdéseket fedik le.

Az adatszabályozás magában foglalja azokat a szabályzatokat és eljárásokat, amelyeket a szervezet adategységeinek biztonságos kezelése érdekében hajtottak végre. A lakehouse egyik alapvető aspektusa a központosított adatszabályozás: A lakehouse egyesíti az adatraktározást, az AI pedig egyetlen platformon használja az eseteket. Ez leegyszerűsíti a modern adatvermet azáltal, hogy kiküszöböli az adatsilókat, amelyek hagyományosan elválasztják és bonyolítják az adatelemzést, az elemzést, a BI-t, az adatelemzést és a gépi tanulást. Az adatszabályozás egyszerűsítése érdekében a lakehouse egységes szabályozási megoldást kínál az adatokhoz, az elemzésekhez és az AI-hoz. Ha minimalizálja az adatok másolatát, és egyetlen adatfeldolgozási rétegbe kerül, ahol az összes adatszabályozási vezérlő együtt futtatható, javíthatja a megfelelőség és az adatszivárgás észlelésének esélyét.

A tóház egy másik fontos eleme, hogy nagyszerű felhasználói élményt nyújtson a vele dolgozó összes személynek, és hogy képes legyen a külső rendszerek széles ökoszisztémájával kommunikálni. Az Azure már számos olyan adateszközrel rendelkezik, amelyek a legtöbb olyan feladatot végrehajtják, amelyekre egy adatvezérelt vállalatnak szüksége lehet. Ezeket az eszközöket azonban megfelelően kell összeállítani az összes funkció biztosításához, és minden szolgáltatás más felhasználói élményt nyújt. Ez a megközelítés magas megvalósítási költségekhez vezethet, és általában nem ugyanazt a felhasználói élményt nyújtja, mint a natív Lakehouse-platform: A felhasználókat az eszközök közötti ellentmondások és az együttműködési képességek hiánya korlátozza, és gyakran összetett folyamatokat kell végigmenni a rendszerhez és így az adatokhoz való hozzáféréshez.

A másik oldalon található integrált tóház egységes felhasználói élményt biztosít az összes számítási feladathoz, így növeli a használhatóságot. Ez csökkenti a betanítási és előkészítési költségeket, és javítja a funkciók közötti együttműködést. Emellett az új funkciók idővel automatikusan hozzáadódnak – a felhasználói élmény további javítása érdekében – anélkül, hogy belső erőforrásokat és költségvetéseket kellene befektetni.

A többfelhős megközelítés lehet egy vállalat szándékos stratégiája, vagy a különböző felhőszolgáltatókat jelölő egyesülések és felvásárlások vagy független üzleti egységek eredménye. Ebben az esetben a többfelhős lakehouse használata egységes felhasználói élményt eredményez az összes felhőben. Ez csökkenti a rendszerek elterjedését a vállalaton belül, ami viszont csökkenti az adatvezérelt feladatokban részt vevő alkalmazottak képzettségi és képzési követelményeit.

Végül, egy vállalatközi üzleti folyamatokkal rendelkező hálózatos világban a rendszereknek a lehető leggördülékenyen kell együttműködniük. Az interoperabilitás foka kulcsfontosságú kritérium, és a legfrissebb adatoknak, mint minden üzlet alapvető eszközének, biztonságosan kell áramlani a belső és a külső partnerek rendszerei között.

Alapelvek és ajánlott eljárások