Použijte zkušenosti s Pythonem v poznámkových blocích

Python notebook je nový zážitek postavený na notebookech ve Fabric. Je to všestranný a interaktivní nástroj navržený pro analýzu dat, vizualizaci a strojové učení. Poskytuje bezproblémové vývojové prostředí pro psaní a spouštění kódu Pythonu. Díky této funkci je nezbytný nástroj pro datové vědce, analytiky a vývojáře BI, zejména pro úlohy zkoumání, které nevyžadují velké objemy dat a distribuované výpočty.

Používáním Python notebooku získáte:

• Více vestavěných Python jader: Python notebooky nabízejí čisté Python programovací prostředí bez Sparku, se třemi vestavěnými verzemi Python jádra: Python 3.10, Python 3.11 a Python 3.12. Prostředí podporuje nativní funkce IPythonu, jako je iPyWidget a magické příkazy.

• Nákladově efektivní: Nový poznámkový blok Pythonu nabízí úsporné výhody spuštěním v clusteru s jedním uzlem, který má ve výchozím nastavení 2 virtuální jádra a 16 GB paměti. Toto nastavení zajišťuje efektivní využití zdrojů pro projekty zkoumání dat s menší velikostí dat.

• Lakehouse a zdroje jsou nativně dostupné: Fabric Lakehouse spolu s vestavěnými notebookovými zdroji a plnou funkčností jsou dostupné v Python notebooku. Tato funkce umožňuje uživatelům snadno přenést data do python notebooku, stačí zkusit přetáhnout a pustit a získat úryvek kódu.

• Kombinujte programování s T-SQL: Python notebook nabízí snadný způsob, jak komunikovat s Data Warehouse a SQL analytics endpointy v Exploreru. Použitím notebookutils data connector můžete snadno spustit T-SQL skripty v kontextu Python.

• Podpora populárních knihovn pro analýzu dat: Python notebooky obsahují předinstalované knihovny jako DuckDB, Polars a Scikit-learn, které poskytují komplexní sadu nástrojů pro manipulaci s daty, analýzu a strojové učení.

• Advanced IntelliSense: Python notebook využívá Pylance jako engine IntelliSense spolu s dalšími službami přizpůsobeného jazyka Fabric, s cílem poskytnout špičkové zkušenosti s programováním pro vývojáře notebooků.

• NotebookUtils a Semantic link: Výkonné API nástroje vám umožní snadno používat Fabric a Power BI s praxí zaměřenou na kód.

• Bohaté vizualizační možnosti: Kromě populární funkce 'Table' a 'Chart' pro náhled datových rámců podporuje také populární vizualizační knihovny jako Matplotlib, Seaborn a Plotly. PowerBIClient také podporuje tyto knihovny, které uživatelům pomáhají lépe porozumět vzorům dat a přehledům.

• Běžné schopnosti Fabric Notebooku: Všechny funkce na úrovni zápisníku jsou přirozeně použitelné pro Python notebook, jako jsou editační funkce, AutoSave, spolupráce, sdílení a správa oprávnění, integrace s Gitem, import/export a další.

• Kompletní stackové možnosti data science: Pokročilý nástroj s nízkým množstvím kódu Data Wrangler, rámec strojového učení MLFlow a výkonný Copilot jsou k dispozici v Python notebooku.

Jak získat přístup k Python notebooku

Po otevření notebooku ve Fabric můžete v rozbalovacím menu jazyka na záložce Home přepnout na Python a převést celé nastavení notebooku do Python.

Většina běžných funkcí je podporována na úrovni notebooku. Pro více informací viz Jak používat Fabric notebooky a Vyvíjet, spouštět a spravovat Fabric notebooky. Tento článek uvádí některé klíčové schopnosti specifické pro scénáře Python.

Spouštění poznámkových bloků Pythonu

Python notebooky podporují více metod provádění úloh:

• Interaktivní spuštění: Poznámkový blok Pythonu můžete spustit interaktivně jako nativní poznámkový blok Jupyter.
• Naplánování spuštění: Na stránce nastavení poznámkového bloku můžete pomocí zjednodušeného plánování spustit poznámkový blok Pythonu jako dávkovou úlohu.
• Pipeline run: Můžete orchestrovat Pythonové notebooky jako aktivity v pipeline. Proces generuje snapshot po dokončení práce.
• Referenční spuštění: Můžete použít notebookutils.notebook.run() nebo notebookutils.notebook.runMultiple() pro odkazování a spouštění poznámkových bloků Pythonu v jiném poznámkovém bloku Pythonu jako dávkovou úlohu. Proces vygeneruje snapshot po dokončení referenčního běhu.
• %run: Můžete použít %run k odkazování a spouštění dalších zápisníků ve stejném kontextu vykonávání, takže můžete přímo volat funkce a znovu používat proměnné definované v těchto zápisnících. Další podrobnosti najdete v dokumentaci, jak spustit poznámkový blok.
• Spuštění veřejného rozhraní API: Spuštění poznámkového bloku Pythonu můžete naplánovat spuštěním veřejného rozhraní API poznámkového bloku. Rozhraní API plánovače úloh podporuje parametrická spuštění a vrací ukončovací hodnoty z provádění poznámkových bloků. Výstupní hodnoty se dají použít k podmíněné orchestraci a signalizačním výsledkům při orchestraci poznámkových bloků Pythonu ve scénářích automatizace a CI/CD. Ujistěte se, že jsou správně nastavené vlastnosti jazyka a jádra v metadatech poznámkového bloku veřejné datové části rozhraní API. Hodnoty parametrů předávané prostřednictvím veřejného rozhraní API jsou k dispozici poznámkovému bloku Pythonu za běhu pomocí standardního vzoru přístupu k parametrům používaným v poznámkových blocích Fabric. Podrobnosti o tvaru požadavku pro parametry a načtení hodnoty ukončení naleznete ve správě a spuštění poznámkových bloků ve Fabric pomocí API rozhraní. Stav spuštění můžete monitorovat a rušit instance úloh prostřednictvím rozhraní API plánovače úloh a doplnit tak prostředí in-UI Zobrazit všechna spuštění .

Note

Ověřování služebního principu je podporováno pro rozhraní REST API položek (CRUD pro poznámkové bloky) a rozhraní API plánovače úloh (spouštění), což umožňuje zabezpečenou bezobslužnou automatizaci a CI/CD pro poznámkové bloky Pythonu. Přidejte servisní principál do pracovního prostoru s příslušnou rolí pro používání těchto rozhraní API.

Podrobnosti o běhu úlohy v poznámkovém bloku Pythonu můžete sledovat na záložce Spustit na pásu karet –>Zobrazit všechna spuštění.

Note

V současnosti %run podporuje pouze odkazování na položky poznámkového bloku v poznámkových blocích Pythonu, nikoli na moduly kódu (například soubory .py) ze složky prostředků poznámkového bloku.

Interakce s daty

Můžete pracovat s lakehouse, sklady, SQL analytickými endpointy a vestavěnými složkami s materiály v Python notebocích.

Note

Python notebook runtime je předinstalován knihovnami delta-rs a duckdb, které podporují jak čtení, tak zápis dat Delta Lake. Některé prvky jezera Delta však nemusí být plně podporovány. Pro více informací a nejnovější aktualizace viz dokumentace delta-rs a DuckDB .

Interakce s lakehouse systémem

Můžete nastavit jezerní domek jako výchozí, nebo také přidat více jezerních domů k prozkoumání a používání v sešitech.

Pokud neznáte čtení datových objektů jako Delta table, zkuste soubor a Delta tabulku přetáhnout a pustit na plátno notebooku, nebo použijte možnost Načíst data v rozbalovacím menu objektu. Notebook automaticky vloží úryvek kódu do buňky kódu a vygeneruje kód pro čtení cílového datového objektu.

Note

Pokud narazíte na OOM při načítání velkého objemu dat, zkuste místo pandas použít DuckDB, Polars nebo PyArrow dataframe.

Operaci write lakehouse najdete v Browse code snippet –>Write data do tabulky Delta.

Interakce se skladem a kombinace programování s T-SQL

Sklady nebo SQL analytics endpointy můžete přidat z Warehouse Explorer notebooku. Podobně můžete tabulky přetáhnout na plátno poznámkového bloku nebo použít zkratkové operace v rozevíracím seznamu tabulky. Notebook vám automaticky vygeneruje úryvek kódu. Pomocí nástrojů notebookutils.data můžete vytvořit spojení se sklady a dotazovat se na data pomocí příkazů T-SQL v kontextu Python.

Note

Koncové body analýzy SQL jsou jen pro čtení.

Složka zdrojů poznámkového bloku

Vestavěná složka resources Notebook je nativně dostupná v Python notebookech. S soubory ve vestavěné složce resources můžete snadno interagovat pomocí Python kódu, jako byste pracovali s lokálním souborovým systémem. V současnosti složka zdrojů Environment není podporována.

Operace jádra

Python notebooky podporují tři vestavěná jádra: Python 3.10, Python 3.11 a Python 3.12. Výchozím vybraným jádrem je Python 3.12. Mezi nimi můžete snadno přepínat.

Jádro můžete přerušit, restartovat nebo přepnout na záložce Home na pásce. Přerušení jádra v Python zápisnících je stejné jako zrušení buňky ve Spark notebooku.

Abnormální výstup jádra způsobí přerušení vykonávání kódu a ztrátu proměnných, ale nezastaví relaci notebooku.

Některé příkazy mohou vést k smrti jádra. Například quit() a exit().

Pro životní cyklus podpory každé verze Python jádra, včetně dat ukončení podpory a kroků migrace, viz Python notebook runtime a životní cyklus jádra ve Fabric.

Správa knihoven

Používejte příkazy %pip a %conda pro inline instalace. Tyto příkazy podporují jak veřejné knihovny, tak i přizpůsobené knihovny.

Pro přizpůsobené knihovny nahrajte knihovní soubory do složky Vestavěné zdroje . Platforma podporuje různé typy knihoven, včetně formátů jako Wheel (.whl), JAR (.jar), DLL (.dll) a Python (.py). Stačí přetáhnout soubor a úryvek kódu se automaticky vygeneruje.

Možná budete muset restartovat jádro, abyste mohli používat aktualizované balíčky.

Pro lepší pochopení a použití podobných příkazů se podívejte na následující tabulku.

Command/Syntax	Hlavní účel	Jak funguje v Poznámkovém bloku Jupyter	Typický případ použití	Notes
%pip install package	Instalace balíčků Pythonu	Spustí pip v jádru Python poznámkového bloku.	Doporučený způsob instalace balíčků	V Python zápisnících se stejně jako !pip; automaticky nerestartuje jádro
!pip install package	Instalujte balíčky Pythonu pomocí shellu	Spustí pip jako příkaz v příkazovém rozhraní.	Alternativní způsob instalace balíčků	V Python zápisnících se stejně jako %pip; automaticky nerestartuje jádro
import sys; sys.exit(0)	Restartování jádra poznámkového bloku	Okamžitě provede restart jádra.	Restartování jádra prostřednictvím kódu programu	Vymaže všechny proměnné a stavy; nedoporučujeme používat přímo
notebookutils.session.restartPython()	Restartování jádra poznámkového bloku	Volá sys.exit(0) interně	Doporučený způsob restartování jádra	Oficiální rozhraní API, bezpečnější a kompatibilní než přímé použití sys.exit(0)

Note

• V Python zápisnících mají %pip!pip: oba nainstalují balíčky do prostředí aktuálního jádra a ani jeden automaticky nerestartuje jádro po instalaci.
• Pokud potřebujete restartovat jádro (například po instalaci určitých balíčků), použijte notebookutils.session.restartPython() místo .import sys; sys.exit(0)
  • notebookutils.session.restartPython() je oficiální API, které wrapuje sys.exit(0) , a je bezpečnější a kompatibilnější v prostředí notebooků.
• Nepoužívejte sys.exit(0) přímo, pokud to není nutné.

Monitorování využití prostředků v poznámkovém bloku Pythonu v reálném čase

Důležité

Tato funkce je ve verzi Preview.

Použitím panelu monitorování zdrojů můžete sledovat kritické informace za běhu, jako je délka relace, typ výpočtu a metriky zdrojů v reálném čase, včetně spotřeby CPU a paměti, přímo ve svém notebooku. Tato funkce poskytuje okamžitý přehled vaší aktivní relace a používaných prostředků.

Monitorování prostředků zlepšuje přehled o tom, jak úlohy Pythonu využívají systémové prostředky. Pomáhá optimalizovat výkon, spravovat náklady a snižovat riziko chyb nedostatku paměti (OOM). Monitorováním metrik v reálném čase můžete identifikovat operace náročné na prostředky, analyzovat vzory využití a provádět informovaná rozhodnutí o škálování nebo úpravě kódu.

Pokud ho chcete začít používat, nastavte jazyk poznámkového bloku na Python a spusťte relaci. Pak můžete monitorování otevřít kliknutím na výpočetní prostředky na stavovém řádku poznámkového bloku nebo výběrem možnosti Zobrazit využití prostředků na panelu nástrojů. Panel monitoru zdrojů se zobrazí automaticky, což poskytuje integrovaný zážitek z monitorování Python kódu v Fabric notebookech.

Magický příkaz konfigurace relace

Podobně jako při personalizaci konfigurace Spark session v notebooku můžete %%configure použít i v Python notebooku. Python notebooky podporují přizpůsobení velikosti výpočetního uzlu, bodů pro připojení a výchozího jezera pro relaci notebooku. Tato nastavení můžete použít jak v interaktivních zápisnících, tak v aktivitách v pipeline zápisníku. Použijte %%configure příkaz na začátku zápisníku, jinak musíte restartovat sezení zápisníku, aby se nastavení aktivovala.

Tady jsou podporované vlastnosti poznámkového bloku Pythonu%%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Aktualizaci výpočetních zdrojů můžete sledovat na stavovém panelu notebooku a sledovat využití CPU a paměti výpočetního uzlu v reálném čase.

Note

Spuštění aktivovaná rozhraním API dodržují konfiguraci relace, jako jsou výpočetní virtuální jádra a defaultLakehouse zadaná prostřednictvím metadat poznámkového bloku nebo %%configure. API Job Scheduler také podporuje výběr cílového jezera a prostředí za běhu. Podrobnosti o polích datové části najdete v tématu Správa a provádění notebooků v prostředí Fabric pomocí rozhraní API.

NotebookUtils

Notebook Utilities (NotebookUtils) je vestavěný balíček, který vám pomůže snadno provádět běžné úkoly v Fabric notebooku. Je předinstalovaný přímo v Python runtime. Používejte NotebookUtils k práci se souborovými systémy, získávání proměnných prostředí, propojování poznámkových bloků, přístupu k externímu úložišti a práci s tajnými kódy.

Použijte notebookutils.help() k vyjmenování dostupných API a získání pomoci s metodami. Pro více informací viz dokumentaci NotebookUtils.

Datové nástroje

Note

V současné době je tato funkce ve verzi Preview.

Použijte notebookutils.data utility k připojení ke zdroji dat. Poté můžete data číst a dotazovat pomocí příkazu T-SQL.

Spuštěním následujícího příkazu získejte přehled dostupných metod:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Dotazování dat z Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazování dat ze skladu

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazování dat z databáze SQL

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Datové nástroje v NotebookUtils jsou zatím dostupné pouze na Python notebookech.

Procházení fragmentů kódu

Užitečné úryvky Python kódu najdete na záložce Editovat výběrem Browse code snippet. Nové ukázky Python jsou nyní k dispozici. Chcete-li začít prozkoumávat poznámkový blok, seznamte se s ukázkami kódu v Pythonu.

Sémantický odkaz

Sémantická linka je funkce, kterou můžete použít k propojení sémantických modelů a Synapse Data Science. Python zápisníky tuto funkci nativně podporují. BI inženýři a vývojáři Power BI mohou pomocí sémantických odkazů snadno propojovat a spravovat sémantické modely. Pro více informací navštivte veřejný dokument.

Visualization

Kromě vykreslování grafů pomocí knihoven umožňuje integrovaná vizualizační funkce převést DataFrames do vizualizací s bohatým formátem dat. Použijte funkci display() na dataframech k vytvoření bohatého dataframe tabulkového a grafového pohledu.

Note

Python notebook uchovává konfigurace grafů. Po opětovném spuštění kódové buňky, pokud se schéma cílového dataframe nezmění, uložené grafy zůstávají.

Code IntelliSense

Python notebooky také používají Pylance jako jazykový server. Pro více informací viz Vylepšit vývoj Python pomocí Pylance.

Možnosti datových věd

Chcete-li se dozvědět více o datové vědě a zkušenostech s AI ve Fabric, viz dokumentace Data Science ve Fabric. Tento článek uvádí několik klíčových funkcí datové vědy, které Python notebooky nativně podporují.

• Data Wrangler: Data Wrangler je nástroj založený na notebooku, který poskytuje pohlcující rozhraní pro průzkumnou analýzu dat. Tato funkce kombinuje zobrazení dat podobných mřížce s dynamickými souhrnnými statistikami, integrovanými vizualizacemi a knihovnou běžných operací čištění dat. Poskytuje čištění dat, jejich transformaci a integraci, což urychluje přípravu dat pomocí Data Wrangler.

• MLflow: Experiment strojového učení je primární jednotkou organizace a řízení všech souvisejících spuštění strojového učení. Spuštění odpovídá jedinému spuštění kódu modelu.

• Fabric Auto Logging: Synapse Data Science zahrnuje autologování, které výrazně snižuje množství kódu potřebného k automatickému zaznamenání parametrů, metrik a položek modelu strojového učení během tréninku.

  Automatické přihlašování rozšiřuje možnosti sledování MLflow. Automatické přihlašování může zaznamenávat různé metriky, včetně přesnosti, ztráty, skóre F1 a vlastních metrik, které definujete. Díky automatickému přihlašování můžou vývojáři a datoví vědci snadno sledovat a porovnávat výkon různých modelů a experimentů bez ručního sledování.

• Copilot pro datové inženýrství a datové vědecké poznámkové bloky je asistent umělé inteligence, který vám pomůže analyzovat a vizualizovat data. Copilot je okamžitě kontextově uvědomělý, aniž by bylo nutné zahájit relaci. Rozumí pracovnímu prostoru, připojeným schématům Lakehouse, tabulkám a souborům, struktuře poznámkového bloku a stavu modulu runtime a může pracovat s celým pracovním postupem poznámkového bloku.

  Copilot podporuje vícekrokové schopnosti v celém notebooku: dokáže generovat, refaktorovat, shrnovat a ověřovat kód napříč více buňkami a kroky v Python zápisnících. Můžete použít panel chatu Copilot a příkazy chatu, například /fix v poznámkovém bloku.

  Když buňka selže, funkce Fix with Copilot zobrazí souhrn chyb, analýzu původní příčiny a doporučené opravy s možností automatického použití změn kódu po zobrazení rozdílu schválení. Příkaz můžete použít také v chatu /fix Copilot pro cílovou diagnostiku konkrétní buňky nebo celého poznámkového bloku.

Známá omezení

• Prostředí live poolu není zaručeno při každém spuštění notebooku v Pythonu. Spuštění relace může trvat až tři minuty, pokud spuštění notebooku nevyužije live pool. S rostoucím využitím Python notebooků inteligentní poolingové metody postupně zvyšují alokaci živého poolu, aby uspokojily poptávku.

• Integrace prostředí není dostupná v Python notebotech.

• Možnost nastavit časový limit relace není k dispozici.

• Funkce Copilot zlepšila povědomí o kontextu a pomoc s poznámkovými bloky Pythonu, ale někdy může navrhnout kód Sparku, který není v poznámkovém bloku Pythonu přímo spustitelný. Oprava pomocí Copilotu platí pro neúspěšné buňky v Pythonu; diagnostika úloh Spark je mimo rozsah pro čisté spuštění Pythonu.

• V současnosti není Copilot na Python notebookech plně podporován v několika regionech. Proces nasazení stále probíhá. Sledujte novinky, jak se podpora objeví v dalších regionech.

Související obsah

• Jak používat Fabric zápisníky
• Vyvíjete, spouštějte a spravujte Fabric notebooky
• Úvod k nástrojům Fabric NotebookUtils