Mi az a Data Lake?

A data lake egy tárház, amely nagy mennyiségű adatot tárol natív, nyers formátumban. A data lakes hatékonyan méretezhető a terabájtos és petabájtos adatok kezeléséhez, ami alkalmassá teszi őket a nagy méretű és változatos adathalmazok kezelésére. Az adatok általában számos különböző forrásból származnak, és tartalmazhatnak strukturált adatokat, például relációs táblákat, részben strukturált adatokat, például JSON-, XML- vagy naplófájlokat, valamint strukturálatlan adatokat, például képeket, hangokat vagy videókat.

A data lake-ek az összes adattípust eredeti, nem transzformált állapotban tárolják, és csak akkor alkalmazzák az átalakítást, ha az adatokra szükség van. Ezt a megközelítést séma-on-read néven ismerjük. Ezzel szemben az adattárház kikényszeríti a struktúrát, és transzformációkat alkalmaz az adatok betöltésekor. Ezt a módszert írás közbeni séma nevezzük.

A Data Lake használati eseteit bemutató diagram.

A Data Lake gyakori használati esetei a következők:

  • Adatbetöltés és -áthelyezés: Gyűjtse össze és összesítse a felhőszolgáltatásokból, az eszközök internetes hálózatából (IoT)-eszközökből, a helyszíni rendszerekből és a streamelő forrásokból származó adatokat egyetlen adattárba.

  • Big Data-feldolgozás: Nagy mennyiségű, nagy sebességű adatok kezelése elosztott feldolgozási keretrendszerek használatával.

  • Elemzés és gépi tanulás: Támogatja a feltáró elemzéseket, a fejlett elemzéseket és az AI-modellek betanítását és finomhangolását a nagy, változatos adathalmazokon.

  • Üzleti intelligencia (BI) és jelentéskészítés: Irányítópultok és jelentések engedélyezése a tóadatok válogatott részhalmazainak raktárakba vagy BI-eszközökbe való integrálásával.

  • Adatok archiválása és megfelelősége: Előzmény- vagy nyers adatkészleteket tárolhat a hosszú távú megőrzés, az auditálás és a jogszabályi megfelelőség érdekében.

A data lake előnyei

  • Megőrzi a nyers adatokat a jövőbeni használatra: A Data Lakes nyers formátumban tárolja az adatokat, ami hosszú távú rendelkezésre állást biztosít a jövőbeni használatra. Ez a megközelítés különösen hasznos olyan big data-környezetekben, ahol az adatokból származó lehetséges megállapítások nem feltétlenül ismertek előre. Szükség szerint archiválhatja az adatokat anélkül, hogy elveszítené a nyers állapotát.

  • Önkiszolgáló feltárás: Az elemzők és az adattudósok közvetlenül is lekérdezhetik az adatokat a minták kísérletezéséhez és felderítéséhez.

  • Rugalmas adattámogatás: A strukturált formátumokat igénylő raktárakkal ellentétben az adattavak natív módon kezelik a strukturált, félig strukturált és strukturálatlan adatokat.

  • Méretezhető és teljesíthető: Elosztott architektúrákban a data lake-k nagy léptékben, párhuzamosan betöltik és feldolgozzák az adatokat. Gyakran felülmúlják a hagyományos kinyerési, átalakító és betöltési (ETL) folyamatokat a nagy mennyiségű számítási feladatokban. Az alábbi teljesítménybeli előnyöket a következők révén érheti el:

    • Párhuzamosság: Az elosztott számítási motorok, mint például az Apache Spark, az adatokat particionálják, és egyszerre több csomópontokon futtatnak átalakításokat. A hagyományos ETL-keretrendszerek gyakran egymás utáni vagy korlátozott többszálú feldolgozástól függenek.

    • Skálázhatóság: Az elosztott rendszerek horizontálisan skálázhatók a számítási és tárolási csomópontok igény szerinti rugalmas hozzáadásával. A hagyományos ETL-folyamatok általában attól függenek, hogy egyetlen kiszolgálót függőlegesen felskálázzák, ami gyorsan eléri az erőforráskorlátokat.

  • A hibrid architektúrák alapjai: A data lake-k gyakran együtt élnek a raktárakkal egy olyan lakehouse-megközelítésben, amely a nyers tárolást a strukturált lekérdezési teljesítménnyel kombinálja.

A modern data lake-megoldás két alapvető összetevőből áll:

  • Tároló: Tartósságot, hibatűrést, végtelen méretezhetőséget és sokrétű adattípusok nagy átviteli sebességet biztosít.

  • Feldolgozás: Az Azure Databricks és a Microsoft Fabric szolgáltatásokban a Sparkhoz hasonló motorok támogatják ezeket a megoldásokat. Ezek a motorok támogatják a nagy léptékű átalakításokat, elemzéseket és gépi tanulást.

A kiforrott megoldások metaadat-kezelést, biztonságot és szabályozást tartalmaznak az adatminőség, a felderíthetőség és a megfelelőség fenntartása érdekében.

Tipikus Data Lake-architektúra

Egy tipikus Azure Data Lake-architektúra több rétegből áll, amelyek rendszerezik az adatokat a betöltési, átalakítási és használati fázisok során.

Gyakori rétegek a következők:

  • Nyers (bronz) réteg: A betöltött adatokat az eredeti formátumában tárolja, minimális átalakítással.

  • Tisztított (ezüst) réteg: Az elemzési és gépi tanulási számítási feladatokhoz optimalizált ellenőrzött és átalakított adatokat tartalmazza.

  • Válogatott (arany) réteg: Összesített és üzleti használatra kész adathalmazokat tárol, amelyeket a csapatok jelentéskészítéshez, irányítópultokhoz és alsóbb rétegbeli adatalkalmazásokhoz használnak.

Ez a rétegzett kialakítás, az úgynevezett medál architektúra javítja az adatminőséget, a szabályozást és a teljesítményt.

Mikor érdemes data lake-t használni?

Javasoljuk, hogy a feltáró elemzésekhez, a fejlett adatelemzéshez és a gépi tanulási számítási feladatokhoz használjon data lake-t. A data lake-k nyers formában őrzik meg az adatokat, és támogatják az olvasható sémákat, így a csapatok különböző adattípusokkal kísérletezhetnek, és olyan megállapításokat fedezhetnek fel, amelyeket a hagyományos raktárak esetleg nem rögzítenek.

Data Lake mint adattárházak forrása

A data lake egy adattárház felsőbb rétegbeli forrásaként is működhet, ahol nyers adatokat tölthet le a forrásrendszerekből, és betöltheti őket a tóba. Az olyan modern raktárak, mint a Fabric Data Warehouse beépített, nagymértékben párhuzamos feldolgozási (MPP) SQL-motorokkal alakítják át a nyers adatokat strukturált formátumba extract, load, transform (ELT). Ez a megközelítés eltér a hagyományos ETL-folyamatoktól, ahol az ETL-motor kinyeri és átalakítja az adatokat, mielőtt betöltené az adatokat a raktárba. Mindkét megközelítés rugalmasságot biztosít a használati esettől függően. Kiegyensúlyozza az adatminőséget, a teljesítményt és az erőforrás-kihasználtságot, és gondoskodik arról, hogy a raktár elemzésre legyen optimalizálva.

Eseménystreamelési és IoT-forgatókönyvek

A data lake-k hatékonyak az eseménystreameléshez és az IoT-használati esetekhez, ahol a nagy sebességű adatoknak nagy léptékben, előzetes sémakorlátok nélkül kell megmaradniük. A data lake-k betölthetik és tárolhatják a relációs és nem kapcsolódó eseményfolyamokat, nagy mennyiségű kis írást kezelhetnek alacsony késéssel, és támogathatják a nagy párhuzamos átviteli sebességet. Ezekkel a képességekkel az adattavak jól használhatók olyan alkalmazásokhoz, mint a valós idejű monitorozás, a prediktív karbantartás és az anomáliadetektálás.

Az alábbi táblázat a data lake-eket és az adattárházakat hasonlítja össze.

Funkció Data lake (adatgyűjtő tároló) Adattárház
Adattípus Nyers, strukturálatlan, félig strukturált és strukturált Strukturált és válogatott adatok relációs sémákba rendezve
Lekérdezési teljesítmény A lekérdezési teljesítmény a feldolgozási motoroktól függ, és az átalakítás a lekérdezési időpontban (séma olvasáskor) fordulhat elő. Nagy teljesítményű elemző lekérdezésekhez optimalizálva strukturált adatokon (íráskor sémaalkalmazás).
Latency Nagyobb késés a lekérdezési időpontban történő feldolgozás miatt Alacsony késés előre feldolgozott, strukturált adatokkal
Adatátalakítás szakasza Az átalakítás lekérdezéskor történik, ami hatással van a teljes feldolgozási időre Az átalakítás az ETL- vagy ELT-folyamat során történik
Skálázhatóság Nagy mértékben méretezhető és költséghatékony a sokszínű adatok nagy mennyisége esetén Méretezhető, de drágább, különösen nagy méretekben
Cost Alacsonyabb tárolási költség a nyers adatok alacsony költségű tárolása miatt. A számítási költségek az adatok feldolgozásakor vagy lekérdezésekor merülnek fel. Magasabb költségek az elemzési számítási feladatok dedikált számítási és teljesítményoptimalizálásai miatt
Felhasználási eset illeszkedés A legjobb a big data, a gépi tanulás és a feltáró elemzésekhez. A medallion architektúrákban a csapatok az aranyréteget használják a jelentéskészítéshez. Ideális üzletiintelligáláshoz, jelentéskészítéshez és strukturált adatelemzéshez

A data lake-k kihívásai

  • Méretezhetőség és összetettség: A nyers, strukturálatlan és félig strukturált adatok petabájtjainak kezelése robusztus infrastruktúrát, elosztott feldolgozást és gondos költségkezelést igényel.

  • Szűk keresztmetszetek feldolgozása: Az adatmennyiség és a sokféleség növekedésével az átalakítás és a lekérdezési számítási feladatok késést okozhatnak, ami gondos folyamattervezést és számítási feladatok vezénylését igényli.

  • Adatintegritási kockázatok: Erős ellenőrzés és monitorozás nélkül a hibák vagy a hiányos betöltések veszélyeztethetik a tó tartalmának megbízhatóságát.

  • Adatminőség és -szabályozás: A különböző források és formátumok bonyolítják a szabványok érvényesítését. A metaadatok kezelése, a katalogizálás és a szabályozási keretrendszerek kritikus fontosságúak.

  • Teljesítmény nagy méretekben: A lekérdezési teljesítmény és a tárolási hatékonyság a tó növekedésével csökkenhet, ami olyan optimalizálási stratégiákat igényel, mint a particionálás, az indexelés és a gyorsítótárazás.

  • Biztonság és hozzáférés-vezérlés: A bizalmas adatokkal való visszaélés megakadályozása érdekében tervezést igényel a megfelelő engedélyek biztosítása és a különböző adathalmazok naplózása.

  • Felfedező: Megfelelő katalogizálás nélkül a tavak olyan adat mocsarakká alakulhatnak, ahol értékes információk találhatók, de elérhetetlenek vagy félreérthetők.

Technológiai lehetőségek

Ha átfogó Data Lake-megoldást hoz létre Azure, vegye figyelembe a következő technológiákat:

  • Azure Data Lake Storage egyesíti a Azure Blob Storage a Data Lake képességeivel, így Apache Hadoop-kompatibilis hozzáférést, hierarchikus névtér-képességeket és fokozott biztonságot biztosít a hatékony big data-elemzéshez. Nagy mennyiségű strukturált, részben strukturált és strukturálatlan adatot kezel.

  • Azure Databricks egy felhőalapú adatelemzési és gépi tanulási platform, amely a Spark legjobb funkcióit ötvözi a Azure ökoszisztémába való mély integrációval. Olyan együttműködési környezetet biztosít, amelyben az adatmérnökök, adattudósok és elemzők nagy mennyiségű adat betöltésére, feldolgozására, elemzésére és modellezésére képesek.

  • Azure Data Factory egy felhőalapú adatintegrálási és ETL-szolgáltatás. Használatával adat-munkafolyamatokat helyezhet át, alakíthat át és vezényelhet különböző források között, akár a felhőben, akár a helyszínen.

  • Fabric egy végpontok közötti adatelemzési platform, amely egyetlen szolgáltatásként (SaaS) egyesíti az adatáthelyezést, az adatelemzést, a valós idejű elemzést és a BI-t.

    Minden Fabric bérlő automatikusan ki van építve egyetlen logikai adattóval, amelyet OneLake néven ismerünk. A OneLake Data Lake Storage épül, és egységes tárolási réteget biztosít, amely képes strukturált és strukturálatlan adatok kezelésére.

Közreműködők

Microsoft fenntartja ezt a cikket. A következő közreműködők írták ezt a cikket.

Fő szerző:

Egyéb közreműködő:

A nem nyilvános LinkedIn profilok megtekintéséhez jelentkezzen be a LinkedIn.

Következő lépések

  • Last updated on