End-to-end životný cyklus dát v Microsoft Fabric

Organizácie sa zvyčajne spoliehajú na viacero oddelených služieb na prijímanie, ukladanie, transformáciu, analýzu a vizualizáciu dát. Táto fragmentácia vytvára dátové silo, zvyšuje režie integrácie a spomaľuje čas potrebný na analýzu. Microsoft Fabric rieši tieto výzvy tým, že zjednocuje každú fázu životného cyklu dát do jednej platformy postavenej na spoločnom základe.

V centre tejto architektúry je OneLake, jediné organizačné dátové jazero, ktoré uchováva všetky dáta v otvorenom formáte Delta Parquet. OneLake je automaticky nastavený s každým nájomcom Fabric. Keďže každá Fabric záťaž číta a zapisuje do OneLake, dáta sa medzi enginmi nepresúvajú. Dátová sada prijatá cez pipeline, upravená v notebooku a vizualizovaná v Power BI reporte zostáva na jednom mieste počas celej svojej cesty.

Životný cyklus dát pozostáva zo šiestich fáz a Fabric poskytuje špeciálne nástroje pre každú z nich:

  • Získajte dáta: Prenášajte dáta do OneLake zo stoviek zdrojov v reálnom čase, podľa harmonogramu, prostredníctvom kontinuálnej replikácie databázy alebo odkazovaním na externé úložisko priamo na mieste.

  • Ukladajte dáta: Uchovávajte dáta v úložných formátoch optimalizovaných pre vašu pracovnú záťaž, či už ide o flexibilnú analytiku veľkých dát, štruktúrované SQL dotazy, analýzu udalostí v reálnom čase, spracovanie transakcií alebo riadené obchodné reportovanie.

  • Pripravte sa a transformujte: Vyčistite, preformujte a obohatte dáta pomocou nízkokódových vizuálnych transformácií alebo zápisníkov zameraných na kód a opakovane použiteľných funkcií, bez toho, aby ste museli dáta presúvať z OneLake.

  • Analyzujte a trénujte: Budujte a prevádzkujte modely strojového učenia, spúšťajte pokročilú analytiku, programovo dotazujte dáta a skúmajte poznatky prostredníctvom AI agentov v prirodzenom jazyku.

  • Sledujte a vizualizujte: Zobrazujte poznatky prostredníctvom interaktívnych reportov, sledujte živé dátové toky na dashboardoch v reálnom čase a spúšťajte automatizované akcie, keď sú splnené podmienky.

  • Externá integrácia: Bezpečné pripojenie k externým službám pre automatizáciu, spoluprácu, správu, vývojárske nástroje a CI/CD.

Nasledujúci diagram ukazuje, ako sa tieto fázy prepájajú a ktoré predmety Fabric sa zúčastňujú jednotlivých fáz. Každá fáza je podrobne pokrytá v samostatnom článku. Použite odkazy v každej sekcii na preskúmanie možností a nástrojov dostupných v danej fáze.

Diagram zobrazujúci celý životný cyklus dát v Microsoft Fabric, od príjmu dát cez ukladanie, prípravu, analytiku až po vizualizáciu.

Získať údaje

Rôzne typy dátových súborov pochádzajú z rôznych zdrojov v rôznych dátových scenároch, vrátane replikácie dát, referencií na externé úložisko, dávkových dátových súborov a dátových tokov v reálnom čase. Tieto dátové súbory prijímate a transformujete prostredníctvom integračných nástrojov Fabric. Dáta sú uložené v OneLake, centralizovanom úložisku pre celý Fabric. Kľúčové metódy požitia zahŕňajú:

  • Eventstreamy na prijímanie a smerovanie udalostí v reálnom čase.
  • Dátové pipeline pre dávkový a plánovaný prenos dát s viac ako 200 konektormi.
  • Zrkadlenie pre kontinuálnu replikáciu z prevádzkových databáz bez budovania ETL pipeline.
  • Skratky pre virtualizáciu dát bez kopírovania z externého úložiska ako Azure Data Lake, Amazon S3 alebo Google Cloud Storage. Skratky môžu tiež odkazovať na dáta zdieľané z iných pracovných priestorov alebo tenantov Fabric.
  • Zdieľanie dát OneLake pre prístup medzi nájomcami k živým, spravovaným dátovým súborom bez kopírovania dát cez organizačné hranice.

Pre viac informácií pozri Získať dáta do Microsoft Fabric.

Ukladanie údajov

Po prijatí všetky dáta pristávajú v OneLake v otvorenom formáte Delta Parquet. OneLake poskytuje jedno dátové jazero pre celú vašu organizáciu bez potreby samostatného provisioningu. Keďže OneLake udržiava jednu kópiu dát, môžete spravované dátové súbory zdieľať medzi tenantmi pomocou zdieľania dát OneLake bez duplikácie úložiska. Fabric ponúka niekoľko úložných položiek optimalizovaných pre rôzne pracovné zaťaženia:

  • Lakehouse pre flexibilné úložisko veľkých dát, ktoré kombinuje súbory a spravované Delta tabuľky s automatickým SQL endpointom.
  • Sklad pre štruktúrovanú relačnú analytiku s plnou podporou T-SQL, uložených procedúr a ACID transakcií.
  • Eventhouse pre analytiku v reálnom čase na streamovanie a telemetriu pomocou Kusto Query Language (KQL).
  • SQL databáza pre transakčné pracovné záťaže a operačnú analytiku.
  • Sémantické modely pre kurátorskú obchodnú logiku, miery a hierarchie, ktoré poháňajú reporty a AI.

Pre viac informácií pozri Ukladanie dát v Microsoft Fabric.

Príprava a transformácia údajov

Keď ste v OneLake, môžete dáta ďalej transformovať pomocou enginov zameraných na kód alebo low-code nástrojov, všetko v rámci Fabric bez pohybu dát medzi enginmi:

  • Dataflow Gen2 poskytuje nízkokódové rozhranie Power Query na čistenie, transformáciu a obohacovanie dát.
  • Notebooky ponúkajú prostredie podobné Jupyteru pre dátové inžinierstvo založené na Pythone, T-SQL a Scale.
  • User Data Functions vám umožňujú vložiť opakovane použiteľnú vlastnú Python logiku, ktorú je možné volať z pipeline, notebookov a pravidiel Activatoru.

Pre viac informácií pozri Pripraviť a transformovať dáta.

Analyzovať dáta a trénovať modely

Využite pripravené dáta na trénovanie ML modelov a vykonávanie pokročilej analytiky. Pracovná záťaž Data Science vo Fabrice poskytuje prostredie na vytváranie, trénovanie a prevádzkovanie ML modelov:

  • Experimenty MLflow sledujú trénovacie behy modelov s automatickým zaznamenávaním hyperparametrov, metrík a položiek.
  • ML modely sú registrované v registri poháňanom MLflow pre verziovanie, sledovanie metadát a reprodukovateľnosť.
  • Dátoví agenti a prevádzkoví agenti vám umožňujú interagovať s dátami pomocou prirodzeného jazyka a reagovať na zistené podmienky a vzory.
  • API GraphQL poskytujú flexibilnú vrstvu prístupu k dátam, kde môžu vývojári dotazovať viaceré zdroje dát Fabric cez jeden koncový bod.
  • Copilot pre Power BI používa generatívnu AI na ad-hoc analýzu, generovanie DAX a prieskum dát v prirodzenom jazyku.

Pre viac informácií pozri Analyzovať a trénovať dáta v Microsoft Fabric.

Sledujte a vizualizujte dáta

Použite pripravené a modelované dáta na tvorbu reportov, dashboardov a upozornení v reálnom čase:

  • Power BI reporty poskytujú interaktívnu vizualizáciu dát založenú na sémantických modeloch, s distribúciou v Microsoft 365 aplikáciách ako Teams, SharePoint, PowerPoint a Excel.
  • Translytické taskflow umožňujú používateľom vykonávať akciu priamo z Power BI reportov volaním funkcií používateľských dát.
  • Real-Time Intelligence dashboardy monitorujú streamované dáta s menej ako sekundovou latenciou pomocou KQL dotazov a vizuálneho tvoru.
  • Activator detekuje podmienky v streamovaných dátach a spúšťa automatizované akcie, ako sú upozornenia Teams, e-maily alebo toky Power Automate.
  • Fabric IQ mapuje podnikové dáta na zdieľanú podnikovú ontológiu a umožňuje AI agentom uvažovať o vašich dátach v plnom obchodnom kontexte.

Pre viac informácií pozri Sledovať a vizualizovať dáta.

Externá integrácia

Fabric sa integruje s externými systémami pre prijímanie dát aj doručovanie poznatkov:

  • Power Automate a Data Activator umožňujú automatizáciu pracovných tokov v reálnom čase na základe dátových podmienok.
  • Integrácia s Microsoft 365 prináša poznatky v Teams, SharePointe, PowerPointe a Exceli.
  • REST API a klientské knižnice poskytujú programatický prístup k zdrojom Fabric.
  • Microsoft Entra ID spravuje autentifikáciu, podmienený prístup a podporu hlavných služieb služby.
  • Integrácia Gitu s Azure DevOps a GitHub umožňuje verzovanie a CI/CD pre Fabric položky.
  • Microsoft Purview poskytuje jednotnú správu dát, katalogizáciu a súlad naprieč Fabric dátovou infraštruktúrou, vrátane dát zdieľaných medzi nájomcami prostredníctvom zdieľania dát OneLake.

Viac informácií nájdete v článku Externá integrácia a konektivita platforiem.

Podpora prirodzeného jazyka a AI

Podpora prirodzeného jazyka prichádza vo forme Power BI Copilot, dátových agentov a prevádzkových agentov, ktoré dokážu analyzovať podnikové dáta v OneLake a vytvárať odpovede na základe údajov, ku ktorým majú používatelia prístup. Dátových agentov môžete integrovať do Microsoft 365 Copilot, Microsoft Foundry a Copilot Studio, aby používatelia získali prehľad z OneLake vo svojich existujúcich pracovných postupoch naprieč rôznymi aplikáciami.

Súvisiaci obsah

  • Last updated on