Co je agent Fabric pro datové inženýrství (Project Osmos)? (náhled)

Agent datového inženýrství pro Fabric (Project Osmos) je autonomní funkce pro datové inženýrství v Microsoft Fabric. Spouští trvalé úkoly, které plánují, vykonávají a ověřují datové inženýrství na základě Fabric zdrojů, ke kterým máte oprávnění přistupovat.

V podporovaném klientovi příkazového řádku zadáte výsledek projektu (popis kompletní komplexní úlohy datového inženýrství) a vyberete Fabric lakehouse, ve kterém je tato úloha hostována. Project Osmos dokáže prohlížet data, vytvářet a testovat Spark notebooky, transformovat data, psát tabulky Delta a ověřovat výsledky. Úlohy pokračují v běhu v Fabric i po odpojení lokálního klienta.

Důležitý

Agent pro datové inženýrství (Project Osmos) je ve verzi Preview. Ukázkové funkce jsou vydávány s omezenými možnostmi a podléhají samostatným doplňkovým podmínkám náhledu. Nejsou určeny pro produkční použití, nepodléhají smlouvám o úrovni služeb a mohou být dostupné pouze ve vybraných regionech. Další informace najdete v tématu Microsoft Fabric Preview.

Klíčové funkce

Agent datového inženýrství (Project Osmos) implementuje a spouští úlohy datového inženýrství ve spravované úloze Fabric. Používá SparkCore, persistentní stav, přístupové řízení, sledování pokroku a ověřování proti cílovým datům. Více koordinovaných agentů vytváří a vyhodnocuje různé možnosti implementace, aby dosáhlo produkčně kvalitního výstupu.

Project Osmos přidává funkce specifické pro Fabric:

  • Spouštění hostované ve Fabric: Operace s kódem a daty probíhají v prostředích Fabric Spark a OneLake, nikoli pouze v místním vývojovém prostředí.
  • Trvalý stav úlohy: Úkol pokračuje v běhu i po odpojení lokálního klienta a lze jej pokračovat bez nutnosti restartu.
  • Kontext objektu Lakehouse: Project Osmos určí pracovní prostor Fabric a výchozí objekt Lakehouse relace Spark z adresy URL objektu Lakehouse, kterou zadáte.
  • Provozní ochranná omezení: Před spuštěním zkontrolujete nastavení oprávnění, bezpečnosti zápisu, chování při opakovaném spuštění, vývoje schématu, artefaktů a míry uvažování.
  • Integrovaná validace: Úkol může spustit generovaný kód a kontrolovat počet řádků, nuly, schémata a další kritéria úspěchu v cílovém prostředí.
  • Sdílená viditelnost: Kdokoli, kdo má přístup k jezernímu domu, kde jste úkol spustili, může sledovat jeho průběh a případně poskytnout zpětnou vazbu.

Tyto schopnosti proměňují výsledek Project v řízenou jednotku datové inženýrské práce místo přechodné odpovědi na chat.

Jak funguje agent datového inženýrství (Project Osmos)

Project Osmos používá řízený životní cyklus pro každý datový inženýrský úkol:

  • Definujte: Výstup projektu identifikuje kompletní úlohu datového inženýrství od začátku do konce a adresa URL objektu lakehouse identifikuje lakehouse ve Fabricu, ve kterém je tato úloha hostována.
  • Plán: Project Osmos analyzuje dostupný kontext a doporučuje provozní nastavení k přezkoumání.
  • Spustit: Úkol běží ve Fabric a může vytvářet, testovat a upravovat artefakty datového inženýrství.
  • Validace: Úkol kontroluje své výstupy podle specifikovaných kritérií úspěchu a hlásí výsledky.
  • Monitor: Úkol je i nadále k dispozici v klientovi příkazového řádku a v prostředí úloh lakehouse.

Vybraný jezerní domek je výchozím jezerním domkem pro Spark session. Není to automaticky jediný zdroj nebo cíl. Výsledek vašeho Project, oprávnění Fabric a přezkoumaná provozní nastavení určují rozsah úkolu.

Pro kroky k vytvoření prvního úkolu viz Začněte s Project Osmos.

Vyberte vhodný případ použití

Project Osmos je navržen pro práci zaměřenou na výsledky v oblasti datového inženýrství, která těží z autonomního plánování, provádění a validace.

Případ použití Příklad výsledku
Příprava dat Vyčistit prodejní soubory, standardizovat typy, odstranit neplatné řádky a napsat ověřenou tabulku Delta.
Integrace tabulek Spojte objednávky, zákaznické a produktová data a poté vytvořte pečlivě vybranou tabulku pro analytiku v řetězci.
Modernizace jezerního domu Převést existující transformaci do Sparku, vytvořit otestovaný zápisník a ověřit nový výstup.
Medailonová architektura Postavte bronzové, stříbrné a zlaté transformace ze zdrojových souborů jako jeden kompletní úkol.
Náprava kvality dat Profilujte tabulku, identifikujte problémy s kvalitou, aplikujte schválené opravy a reportujte metriky před a po.
Zlepšení výkonu Prohlížejte tabulky Delta, doporučujte rozdělení nebo změny rozložení, implementujte schválené změny a měřte výsledky.
Pomoc s migrací Transformujte stávající extrakty na model připravený pro Fabric a zároveň zachovejte obchodní pravidla a ověřte součty.

Project Osmos je vytvořen k řešení výzev datového inženýrství. Není určen pro rychlé dotazy, změnu Power BI reportu ani jiné úkoly mimo datové inženýrství.

Pracujte v CLI i ve Fabric

Project Osmos využívá dvě propojené zkušenosti. Úkoly vytváříte a řídíte z příkazové řádky a sledujete průběh úkolů v aplikaci Fabric:

  • Zkušenost s příkazovou řádkou: Použijte GitHub Copilot CLI, Codex nebo Claude Code k vytvoření úkolu, zadání výsledku Project, zhodnocení provozních nastavení a odeslání následných pokynů.
  • Zkušenost s Fabric Lakehouse: Projděte úkoly lakehouse, zkontrolujte stav, otevřete úkol, zkontrolujte aktivitu a chyby a zkontrolujte výsledné výstupy.

Obě prostředí odkazují na stejnou úlohu hostovanou v systému Fabric a stejné ID úlohy.

Další kroky

  • Last updated on