Použijte kód Genie pro vývoj datových kanálů

Důležité

Tato funkce je ve verzi Public Preview.

Genie Code v režimu agenta je partner pro datové inženýrství založený na AI pro vývojáře v editoru Lakeflow Pipelines. Zkoumá data, generuje a spouští kód pipeline pro Lakeflow Spark Declarative Pipelines (SDP) a opravuje chyby na základě jediného zadání.

Co je vývojářský nástroj Genie Code pro tvorbu pipelines?

Genie Code v režimu agenta je autonomní partner, který dokáže automatizovat celé pracovní postupy přípravy dat ve více krocích v SDP a Editoru kanálů Lakeflow.

V porovnání s chatovým režimem Genie Code má režim agenta rozšířené možnosti: plánování řešení, načítání relevantních prostředků, spouštění kódu, použití výstupů kanálu ke zlepšení výsledků, oprava chyb automaticky a další.

Genie Code v režimu agenta může plánovat a generovat kompletní kanály od začátku nebo urychlit práci na existujícím kanálu. Agent s vámi spolupracuje na schválení svých plánů a před pokračováním potvrdí další kroky. S vaším schválením může Genie Code používat nástroje k provádění úloh, jako je prohledávání tabulek, úprava zdrojového souboru SQL nebo Python, spouštění aktualizací pipeline a čtení datových sad pipeline.

Přístup a akce Genie Code se řídí oprávněními uživatele. Může přistupovat pouze k datům, ke kterým máte přístup, a provádět operace, ke kterým máte oprávnění.

Poznámka:

Když v Genie Code zapnete režim agenta, Genie Code přizpůsobí jeho schopnosti na základě funkcí, které aktuálně používáte v Databricks. Například v Editoru kanálů Lakeflow se Genie Code zaměřuje na úpravy kanálů a úlohy přípravy dat. V poznámkových blocích a editoru SQL podporuje Genie Code zkoumání a analýzu dat. Další informace najdete v tématu Použití kódu Genie pro datové vědy .

Požadavky

Pokud chcete použít Genie Code pro přípravu dat, váš pracovní prostor potřebuje následující:

• Funkce umělé inteligence založené na partnerech jsou povolené pro účet i pracovní prostor. Podívejte se na funkce umělé inteligence založené na partnerech.
• Váš pracovní prostor musí být v podporované oblasti. Genie Code je určená služba, která ke správě umístění dat používá Geos. Podívejte se na geografickou dostupnost funkcí Genie Code.

Použijte kód Genie pro vývoj datových kanálů

Použití agentních schopností Genie Code pro vývoj pipeline:

1. V Editoru kanálů Lakeflow otevřete boční panel Genie Code kliknutím na Genie Code v pravém horním rohu pracovního prostoru.

2. V pravém dolním rohu vyberte Agent. Tímto se zapne režim agenta v Genie Code, který vám umožní využívat agentní funkce Genie Code pro datové inženýrství.

3. Zadejte výzvu k zadání kódu Genie. Můžete se například zeptat na svůj kanál, například "popsat tento kanál". Můžete ji také požádat o přidání nových datových sad, například "vytvořte silver_sales_data v novém souboru, který čte z bronze_sales_data a vyčistí data a přidá užitečná kvalitativní očekávání."

   Poznámka:

   Genie Code respektuje oprávnění uživatele v Unity Catalogu, takže má přístup pouze k datům a zdroji datového kanálu, ke kterým máte přístup.

4. Když Genie Code vygeneruje svou odpověď, často se pozastaví, aby získal váš vstup:

   • V případě složitějších úkolů může Genie Code vytvořit podrobný plán a položit si jasné otázky. Odpovězte na své objasňující otázky, které jí pomůžou vylepšit svůj plán.

   • Když Genie Code potřebuje spustit kód nebo aktualizovat kanál, před pokračováním požádá o schválení. Povolit nebo odmítnout žádost. Můžete také vybrat Možnost Povolit v tomto vlákně (odkazující na vlákno konverzace Genie Code) nebo Vždy povolit.

     Důležité

     Genie Code v režimu agenta umožňuje generování a spuštění kódu ve vašem procesním řetězci. I když má mantinely, aby se zabránilo nebezpečným akcím, stále existuje riziko. Měli byste ho používat jenom s daty, kterým důvěřujete, a před spuštěním byste měli zkontrolovat kód.

   • Vzhledem k tomu, že Genie Code pokračuje ve své práci, můžete být vyzváni k výběru možnosti Pokračovat nebo Odmítnout. Zkontrolujte stávající práci a pak vyberte Pokračovat , abyste mohli pokračovat v dalších krocích, nebo odmítnout a řekněte mu, aby zkusil něco jiného.

   • Pokud chcete zastavit Genie Code během práce, klikněte na červenou .

Genie Code může vytvářet nové soubory, generovat text, dotazy a kód, spouštět soubory nebo kanály a přistupovat k výstupním datovým sadám pro interpretaci výsledků.

Poznámka:

Aby mohl Genie Code pokračovat v práci a přijmout další kroky, je třeba zůstat na aktuální kartě, na které pracuje.

Návod

Ve většině odpovědí můžete přidat pokyny pro Genie Code. Pokud máte například konvence kódu, které chcete použít, nebo upřednostňované knihovny, které chcete použít, můžete tyto pokyny přidat do pokynů pro Genie Code. Můžete také vytvořit dovednosti pro rozšíření Genie Code se specializovanými možnostmi pro úlohy specifické pro vaši doménu. Další podrobnosti a další tipy najdete v tématu Tipy pro vylepšení odpovědí genie Code.

Možnosti režimu agenta

V režimu agenta může Genie Code pomoct s většinou úloh vývoje pipeline. Mezi klíčové funkce patří:

• Zjišťování dat: Genie Code může prohledávat tabulky v pracovním prostoru, aby vám pomohl najít požadovaná data pro úlohu.
• Úpravy kódu pipeline: Genie Code může současně vytvářet a upravovat více souborů. Bude vás informovat o tom, které soubory se mění, a zobrazí rozdíl kódu v jednotlivých souborech, takže změny můžete zkontrolovat jednotlivě nebo všechny společně na konci.
• Spuštění pipeline: Genie Code může spouštět jednotlivé soubory, testovací spuštění/spustit pipeline, nebo provést úplnou aktualizaci. Když chce Genie Code pokračovat, před tím se vás zeptá na potvrzení.
• Porozumění a zlepšení chování kanálu: Genie Code může zkoumat datové sady a výstupy kanálu, které vám pomůžou pochopit, co kanál dělá uceleně a proč. Může například shrnout transformace, sledovat tok dat do podřízených tabulek a zvýraznit neočekávané změny počtu řádků nebo schémat. Když se objeví potenciální problémy s kvalitou dat, může vám Genie Code pomoct zdůvodnit jejich příčinu a navrhnout, kde a jak je řešit v kanálu.

Tyto funkce podporují běžné případy použití, například:

• Vytvoření nového kanálu: Genie Code vám může pomoct se všemi kroky vytvoření nového kanálu architektury medallionu od ingestování dat až po standardizaci a čištění dat až po transformaci a analýzu dat.
• Vysvětlit potrubí: Genie Code dokáže analyzovat a vysvětlit stávající potrubí, aby vám pomohl rychle se seznámit s procesem.
• Řešení problémů: Pokud máte chyby, může Genie Code pomoct diagnostikovat a opravit problémy, iterace prostřednictvím více souborů, dokud se problém nevyřeší.

Migrace z jiných architektur ETL na deklarativní kanály Sparku Lakeflow

Důležité

Tato funkce je v beta verzi.

Genie Code může převést existující projekt pro transformaci dat do pipeline Lakeflow Spark Declarative Pipelines (SDP). Nasměrujete ho na nahraný projekt a naplánujete a spustíte kompletní migraci. Tato funkce migrace je součástí lakebridge a je dostupná také prostřednictvím transpilátoru Lakebridge Switch .

Poznámka:

Migrace aktuálně podporuje pouze projekty dbt a Informatica. Plánuje se podpora dalších zdrojů.

Migrace projektu

1. Nahrajte projekt do Databricks. Proveďte jednu z následujících akcí:

   • Katalog: otevřete svazek a pak nahrajte na tento svazek.
   • Pracovní prostor: otevřete adresář a klikněte na >Import.

2. Vytvořte prázdný kanál SDP. Přejděte do Jobs & Pipelines a vytvořte kanál ETL.

3. Požádejte Genie Code, aby to migroval. Otevřete Genie Code a vyzvete ho k cestě k nahranému projektu, například:

   Návod

   Migrujte projekt v /Volumes/my_catalog/my_schema/my_volume/my_project

Jak migrace funguje

Jakmile spustíte migraci, Genie Code vygeneruje plán a pak ho spustí:

1. Přečtěte si zdroj. Přečte zdrojový projekt, aby porozuměl svým modelům, transformacím a závislostem.
2. Shromážděte podklady. Pozastaví se a vyžádá si všechny potřebné vstupy, například zda se má vygenerovat zdrojový kód pipeline v jazyce SQL nebo Python.
3. Prozkoumejte a vygenerujte mezireprezentaci (IR). Analyzuje projekt a vytvoří zprostředkující reprezentaci, která zachycuje logiku kanálu nezávisle na zdrojovém nástroji.
4. Převeďte, ověřte a opravte. Převede prostředí IR na zdroj SDP, ověří výsledek a iteruje ve smyčce opravy, dokud kanál není správný.

Poznámka:

Zkontrolujte zdrojový kód migrované pipeline a spusťte ji, abyste potvrdili, že výsledky odpovídají původnímu projektu, než se na ni začnete spoléhat v produkci.

Examples

Vyzkoušejte následující výzvy, abyste mohli začít:

• Postavit a spustit rouru architektury Medallion pro detekci podvodů pomocí tabulek Transactions a Customers v my_catalog.my_schema.
• Vysvětlete každý krok tohoto procesu.
• "Oprava selhání v tomto kanálu."

Dodatečné zdroje

• Další informace o asistivních funkcích AI v Databricks
• Získejte tipy ke zlepšení odpovědí Genie Code
• Použití kódu Genie pro datové vědy, pro zjišťování a zkoumání dat
• Použití Genie Code pro vytváření řídicích panelů
• Prozkoumání editoru kanálů Lakeflow