Používajte skúsenosti s Python v zápisníkoch

Python notebook je nový zážitok postavený na notebookoch v Fabric. Je to všestranný a interaktívny nástroj navrhnutý na analýzu dát, vizualizáciu a strojové učenie. Poskytuje bezproblémové vývojové prostredie na písanie a spúšťanie kódu jazyka Python. Vďaka tejto funkcii je to základný nástroj pre dátových vedcov, analytikov a vývojárov v oblasti BI, a to najmä na skúmanie úloh, ktoré nevyžadujú veľké objemy údajov a distribuované výpočty.

Používaním Python notebooku získate:

• Viacero vstavaných Python jadier: Python notebooky ponúkajú čisté Python programovacie prostredie bez Sparku, s tromi zabudovanými verziami Python jadra: Python 3.10, Python 3.11 a Python 3.12. Prostredie podporuje natívne IPython funkcie ako iPyWidget a magické príkazy.

• Nákladovo efektívne: Nový notebook v jazyku Python ponúka výhody úspory nákladov tým, že v predvolenom nastavení beží na klastri s jedným uzlom s 2 virtuálnymi jadrami/16 GB pamäte. Toto nastavenie zabezpečuje efektívne využitie zdrojov pre projekty skúmania údajov s menšou veľkosťou údajov.

• Lakehouse a zdroje sú natívne dostupné: Fabric Lakehouse spolu s vstavanými zdrojmi notebooku a plnou funkčnosťou sú dostupné v Python notebooku. Táto funkcia umožňuje používateľom jednoducho preniesť dáta do python notebooku, stačí skúsiť pretiahnuť a pustiť a získať úryvok kódu.

• Kombinujte programovanie s T-SQL: Python notebook ponúka jednoduchý spôsob interakcie s Data Warehouse a SQL analytics endpointmi v Exploreri. Použitím notebookutils data connector môžete jednoducho vykonávať T-SQL skripty v kontexte Python.

• Podpora populárnych knižníc na analýzu dát: Python notebooky obsahujú predinštalované knižnice ako DuckDB, Polars a Scikit-learn, ktoré poskytujú komplexnú sadu nástrojov na manipuláciu s dátami, analýzu a strojové učenie.

• Advanced IntelliSense: Python notebook využíva Pylance ako engine IntelliSense spolu s ďalšími prispôsobenými jazykovými službami Fabric, s cieľom poskytnúť špičkový zážitok z programovania pre vývojárov notebookov.

• NotebookUtils a Semantic link: Výkonné API nástroje vám umožňujú jednoducho používať Fabric a Power BI schopnosti s praxou zameranou na kód.

• Bohaté vizualizačné možnosti: Okrem populárnej funkcie 'Table' a 'Chart' pre náhľad dátových rámcov podporuje aj populárne vizualizačné knižnice ako Matplotlib, Seaborn a Plotly. PowerBIClient tiež podporuje tieto knižnice, ktoré používateľom pomáhajú lepšie pochopiť vzory údajov a prehľady.

• Bežné schopnosti Fabric Notebooku: Všetky funkcie na úrovni zápisníka sú prirodzene použiteľné pre Python notebook, ako sú editačné funkcie, AutoSave, spolupráca, zdieľanie a správa oprávnení, integrácia s Gitom, import/export a ďalšie.

• full stack Data Science Capabilities: Advanced low-code toolkit Data Wrangler, MLFlow architektúry strojového učenia a výkonný nástroj Copilot sú k dispozícii v poznámkovom bloku jazyka Python.

Ako získať prístup k Python notebooku

Po otvorení zápisníka vo Fabric môžete v rozbaľovacom menu jazyka na karte Home prepnúť na Python a previesť celé nastavenie notebooku do Python.

Väčšina bežných funkcií je podporovaná na úrovni notebooku. Viac informácií nájdete v časti Ako používať Fabric notebooky a Vyvíjať, vykonávať a spravovať Fabric notebooky. Tento článok uvádza niektoré kľúčové schopnosti špecifické pre Python scenáre.

Spustenie poznámkových blokov v jazyku Python

Python notebooky podporujú viacero metód vykonávania úloh:

• Interaktívne spustenie: Poznámkový blok jazyka Python môžete spustiť interaktívne ako natívny poznámkový blok Jupyter.
• Schedule run: Na stránke nastavení notebooku môžete použiť ľahký scheduler na spustenie Python notebooku ako dávkovej úlohy.
• Spustenie kanála: Poznámkové bloky jazyka Python môžete orchestrovať ako aktivity poznámkového bloku v kanáli. Proces generuje snímku po vykonaní úlohy.
• Spustenie odkazu: Poznámkové bloky jazyka Python môžete použiť notebookutils.notebook.run() alebo notebookutils.notebook.runMultiple() na ne odkazovať v inom poznámkovom bloku jazyka Python ako dávkovú úlohu. Proces generuje snapshot po dokončení referenčného behu.
• %run: Môžete použiť %run na odkazovanie a vykonávanie iných zápisníkov v rámci rovnakého kontextu vykonávania, takže môžete priamo volať funkcie a znovu používať premenné definované v týchto zápisníkoch. Viac informácií nájdete v dokumentácii o tom, ako spúšťať zápisník na odkaz.
• Spustenie verejného API: Môžete naplánovať spustenie svojho Python notebooku pomocou verejného API notebooku. API Job Scheduler podporuje parametrizované behy a vracanie výstupných hodnôt z vykonávania notebooku. Výstupné hodnoty môžu byť použité na podmienenú orchestráciu a signalizačné výsledky pri orchestrácii Python zápisníkov v automatizácii a CI/CD scenároch. Uistite sa, že jazyk a vlastnosti jadra v metadátach notebooku verejného API payloadu sú správne nastavené. Hodnoty parametrov prenášané cez verejné API sú k dispozícii Python notebooku počas behu pomocou štandardného prístupového vzoru parametrov používaného v Fabric notebookoch. Podrobnosti o tvare požiadavky na parametre a vyhľadávaní výstupnej hodnoty nájdete v článku Spravovať a spúšťať zápisníky v Fabric pomocou API. Môžete sledovať stav behu a rušiť inštancie úloh cez API Job Scheduler, čo dopĺňa zážitok in-UI Zobraziť všetky behy .

Note

Autentifikácia princípu služby je podporovaná pre Items REST API (CRUD pre notebooky) a Job Scheduler API (vykonávanie), čo umožňuje bezpečnú neobsluhovanú automatizáciu a CI/CD pre Python notebooky. Pridajte servisný princíp do pracovného priestoru s vhodnou rolou na používanie týchto API.

Podrobnosti o spustení úlohy poznámkového bloku jazyka Python môžete monitorovať na karte pása s nástrojmi Spustiť –>Zobraziť všetky spustenia.

Note

Momentálne podporuje %run odkazovanie na položky zápisníka len na Python zápisníkoch, nie na kódové moduly (napríklad .py súbory) z priečinka zdrojov zápisníka.

Interakcia s údajmi

Môžete interagovať s lakehouse, skladmi, SQL analytickými endpointmi a vstavanými priečinkami s zdrojmi v Python notebookoch.

Note

Python notebook runtime je predinštalovaný s delta-rs a duckdb knižnicami, ktoré podporujú čítanie aj zápis dát z Delta Lake. Niektoré funkcie Delta Lake však nemusia byť plne podporované. Pre viac detailov a najnovšie aktualizácie si pozrite dokumentáciu delta-rs a DuckDB .

Interakcia s jazerným domom

Môžete nastaviť jazerný dom ako predvolený, alebo pridať viacero jazerných domov na preskúmanie a používanie v zápisníkoch.

Ak nie ste oboznámený s čítaním dátových objektov ako Delta table, skúste súbor a Delta tabuľku potiahnuť a pustiť na plátno notebooku, alebo použite možnosť Načítať dáta v rozbaľovacom menu objektu. Zápisník automaticky vloží úryvok kódu do kódovej bunky a generuje kód na čítanie cieľového dátového objektu.

Note

Ak narazíte na OOM pri načítavaní veľkého objemu dát, skúste použiť DuckDB, Polars alebo PyArrow dataframe namiesto pandas.

Funkciu write lakehouse nájdete v Browse code snippet ->Write data to Delta table.

Interakcia so skladom a mix programovanie s T-SQL

Sklady alebo SQL analytické endpointy môžete pridať z Warehouse Explorer notebooku. Podobne môžete tabuľky presunúť myšou na plátno poznámkového bloku alebo použiť operácie odkazu v rozbaľovacej ponuke tabuľky. Zápisník vám automaticky vygeneruje úryvok kódu. Môžete použiť nástroje notebookutils.data na nadviazanie spojenia so skladmi a dotazovanie dát pomocou T-SQL príkazov v kontexte Python.

Note

SQL analytické endpointy sú len na čítanie.

Priečinok prostriedkov poznámkového bloku

Vstavaný priečinok zdrojov v zápisníku je natívne dostupný v Python notebookoch. So súbormi vo vstavanom priečinku resources môžete jednoducho interagovať pomocou Python kódu, akoby ste pracovali so svojím lokálnym súborovým systémom. Momentálne nie je podporovaný priečinok Environment resource (Zdroj prostredia).

Operácie jadra

Python notebooky podporujú tri zabudované jadrá: Python 3.10, Python 3.11 a Python 3.12. Predvolene vybrané jadro je Python 3.12. Medzi nimi sa dá ľahko prepínať.

Jadro môžete prerušiť, reštartovať alebo prepnúť na karte Home na páske. Prerušenie jadra v Python notebookoch je to isté ako zrušenie bunky v Spark notebooku.

Abnormálny výstup jadra spôsobí prerušenie vykonávania kódu a stratu premenných, ale nezastaví reláciu notebooku.

Niektoré príkazy môžu spôsobiť smrť jadra. Napríklad quit() a exit().

Pre životný cyklus podpory každej verzie Python jadra, vrátane dátumov ukončenia podpory a krokov migrácie, pozri Python notebook runtime a životný cyklus jadra v Fabric.

Správa knižnice

Používajte príkazy %pip a %conda pre inline inštalácie. Tieto príkazy podporujú verejné knižnice aj prispôsobené knižnice.

Pre prispôsobené knižnice nahrajte knižničné súbory do priečinka Vstavané zdroje . Platforma podporuje viacero typov knižníc, vrátane formátov ako Wheel (.whl), JAR (.jar), DLL (.dll) a Python (.py). Stačí súbor pretiahnuť a kódový úryvok sa vygeneruje automaticky.

Možno budeš musieť reštartovať jadro, aby si mohol použiť aktualizované balíky.

Pre lepšie pochopenie a používanie podobných príkazov si pozrite nasledujúcu tabuľku.

Command/Syntax	Hlavný účel	Ako to funguje v notebooku Jupyter	Typický prípad použitia	Notes
%pip install package	Inštalácia balíkov jazyka Python	Spustí pip v Python jadre notebooku	Odporúčaný spôsob inštalácie balíkov	V Python notebookoch, rovnako ako !pip; automaticky nereštartuje jadro
!pip install package	Inštalácia balíkov jazyka Python pomocou prostredia Shell	Spustí PIP ako príkaz shellu	Alternatívny spôsob inštalácie balíkov	V Python notebookoch, rovnako ako %pip; automaticky nereštartuje jadro
import sys; sys.exit(0)	Reštartovanie jadra poznámkového priestoru	Okamžite reštartuje jadro	Programovo reštartovať jadro	Vymaže všetky premenné a stavy; neodporúča sa používať priamo
notebookutils.session.restartPython()	Reštartovanie jadra poznámkového priestoru	Volania sys.exit(0) interne	Odporúčaný spôsob reštartovania jadra	Oficiálne rozhranie API, bezpečnejšie a kompatibilnejšie ako priame používanie sys.exit(0)

Note

• V Python zápisníkoch majú %pip!pip: oba inštalujú balíky do prostredia aktuálneho jadra a ani jeden automaticky nereštartuje jadro po inštalácii.
• Ak potrebujete reštartovať jadro (napríklad po inštalácii určitých balíkov), použite notebookutils.session.restartPython() namiesto .import sys; sys.exit(0)
  • notebookutils.session.restartPython() je oficiálne API, ktoré wrapuje sys.exit(0) , a je bezpečnejšie a kompatibilnejšie v prostredí notebookov.
• Nepoužívajte sys.exit(0) priamo, pokiaľ to nie je nevyhnutné.

Monitorovanie využitia zdrojov poznámkového bloku v jazyku Python v reálnom čase

Dôležité

Táto funkcia je vo verzii Preview.

Použitím panelu monitorovania zdrojov môžete sledovať kritické informácie počas behu, ako je trvanie relácie, typ výpočtu a metriky zdrojov v reálnom čase, vrátane spotreby CPU a pamäte, priamo vo vašom notebooku. Táto funkcia poskytuje okamžitý prehľad o vašej aktívnej relácii a používaných zdrojoch.

Monitor zdrojov zlepšuje prehľad o tom, ako pracovné zaťaženie Pythonu využíva systémové prostriedky. Pomáha optimalizovať výkon, riadiť náklady a znižovať riziko chýb nedostatku pamäte (OOM). Monitorovaním metrík v reálnom čase môžete identifikovať operácie náročné na zdroje, analyzovať vzorce používania a robiť informované rozhodnutia o škálovaní alebo úprave kódu.

Ak ho chcete začať používať, nastavte jazyk poznámkového bloku na Python a spustite reláciu. Monitor potom môžete otvoriť buď kliknutím na výpočtové zdroje v stavovom riadku poznámkového bloku, alebo výberom položky Zobraziť využitie zdrojov na paneli s nástrojmi. Panel monitorovania zdrojov sa zobrazí automaticky, poskytujúc integrovaný monitorovací zážitok pre Python kód v Fabric notebookoch.

Príkaz konfigurácie relácie

Podobne ako pri personalizácii Spark session konfigurácie v notebooku, môžete %%configure použiť aj v Python notebooku. Python notebooky podporujú prispôsobenie veľkosti výpočtového uzla, bodov pripojenia a predvoleného lakehouse relácie notebooku. Tieto nastavenia môžete použiť v interaktívnych zápisníkoch aj v aktivitách v pipeline notebookoch. Použi %%configure príkaz na začiatku zápisníka, inak musíš reštartovať reláciu zápisníka, aby sa nastavenia prejavili.

Tu sú podporované vlastnosti v poznámkovom bloku Pythonu%%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Aktualizáciu výpočtových zdrojov môžete sledovať na stavovom paneli notebooku a monitorovať využitie CPU a pamäte výpočtového uzla v reálnom čase.

Note

API spúšťané bežia s konfiguráciou relácie, ako je výpočtové vCore, a špecifikované defaultLakehouse pomocou metadát zápisníka alebo %%configure. API Job Scheduler tiež podporuje výber cieľového lakehouse a prostredia počas behu. Podrobnosti o poliach užitočného zaťaženia nájdete v článku Spravovať a spúšťať zápisníky vo Fabric pomocou API.

NotebookUtils

Notebook Utilities (NotebookUtils) je zabudovaný balík, ktorý vám pomôže jednoducho vykonávať bežné úlohy v Fabric notebooku. Je predinštalovaný v Python runtime. Používajte NotebookUtils na prácu so súborovými systémami, získavanie environmentálnych premenných, spájanie zápisníkov, prístup k externému úložisku a prácu s tajomstvami.

Použite notebookutils.help() na zoznam dostupných API a získajte pomoc s metódami. Viac informácií nájdete v dokumentácii NotebookUtils.

Dátové pomôcky

Note

V súčasnosti je funkcia vo verzii Preview.

Použite notebookutils.data nástroje na pripojenie k dátovému zdroju. Potom môžete čítať a dotazovať dáta pomocou príkazu T-SQL.

Spustením nasledujúceho príkazu získate prehľad dostupných metód:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Dotazovanie údajov z lokality Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazovanie údajov zo skladu

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotaz na dáta z SQL databázy

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Dátové nástroje v NotebookUtils sú zatiaľ dostupné len na Python notebookoch.

Prehľadávanie úryvkov kódu

Užitočné kúsky Python kódu nájdete na karte Upraviť výberom kúsku kódu Prehliadať. Nové ukážky Python sú teraz dostupné. Ak chcete začať skúmať zápisník, učte sa z úryvkov Python kódu.

Sémantické prepojenie

Použite funkciu sémantického prepojenia na prepojenie sémantických modelov a Fabric Data Science. Python notebook túto funkciu natívne podporuje. BI inžinieri a vývojári Power BI môžu pomocou sémantického prepojenia jednoducho prepájať a spravovať sémantické modely. Ak sa chcete dozvedieť viac, pozrite si Čo je sémantický odkaz.

Visualization

Okrem kreslenia grafov s knižnicami vám vstavaná funkcia vizualizácie umožňuje premeniť dátové rámce na vizualizácie údajov v bohatom formáte. Použite funkciu display() na dataframes na vytvorenie bohatého dataframe tabuľkového a grafového zobrazenia.

Note

Python notebook zachováva konfigurácie grafov. Po opätovnom spustení kódovej bunky, ak sa schéma cieľového dataframe nezmení, uložené grafy zostanú.

Code IntelliSense

Python notebooky tiež používajú Pylance ako jazykový server. Pre viac informácií pozri Vylepšiť vývoj v Python pomocou Pylance.

Možnosti dátovej vedy

Ak sa chcete dozvedieť viac o dátovej vede a skúsenostiach s AI v Fabric, pozrite si dokumentáciu Fabric Data Science. Tento článok uvádza niekoľko kľúčových funkcií dátovej vedy, ktoré Python notebooky natívne podporujú.

• Data Wrangler: Data Wrangler je nástroj založený na notebookoch, ktorý poskytuje pohlcujúce rozhranie pre prieskumnú analýzu dát. Táto funkcia kombinuje zobrazenie údajov mriežky s dynamickými súhrnnými štatistikami, vstavanými vizualizáciami a knižnicou bežných operácií čistenia údajov. Poskytuje čistenie dát, ich transformáciu a integráciu, čo urýchľuje prípravu dát pomocou Data Wrangler.

• MLflow: Experiment strojového učenia je primárnou jednotkou organizácie a riadenia pre všetky súvisiace spustenia strojového učenia. Spustenie zodpovedá jednému vykonaniu kódu modelu.

• Fabric Auto Logging: Fabric Data Science zahŕňa autologovanie, ktoré výrazne znižuje množstvo kódu potrebného na automatické zaznamenávanie parametrov, metrík a položiek strojového učenia počas trénovania.

  Automatické označovanie rozširuje možnosti sledovania tokov MLflow. Automatické označovanie umožňuje zaznamenávať rôzne metriky vrátane presnosti, straty, skóre F1 a vlastných metrík, ktoré definujete. Pomocou automatického označovania môžu vývojári a dátoví vedci jednoducho sledovať a porovnávať výkon rôznych modelov a experimentov bez manuálneho sledovania.

• Copilot: Copilot pre dátové inžinierstvo a dátovú vedu je AI asistent, ktorý vám pomáha analyzovať a vizualizovať dáta. Copilot je okamžite kontextovo vnímavý bez toho, aby ste museli začať sedenie. Rozumie pracovnému priestoru, pripojeným schémam Lakehouse, tabuľkám a súborom, štruktúre zápisníka a stavu behu a dokáže pracovať naprieč celým pracovným procesom notebooku.

  Copilot podporuje viackrokové schopnosti v celom notebooku: dokáže generovať, refaktorovať, zhrňovať a validovať kód naprieč viacerými bunkami a krokmi v Python zápisníkoch. Môžete použiť panel Copilot a chatovacie príkazy, napríklad /fix v zápisníku.

  Keď bunka zlyhá, Fix with Copilot zobrazí zhrnutie chýb, analýzu príčiny a odporúčané opravy, s možnosťou automatického aplikovania zmien kódu po zobrazení rozdielu schválenia. Môžete tiež použiť /fix príkaz v Copilot chate na cielenú diagnostiku konkrétnej bunky alebo celého notebooku.

Známe obmedzenia

• Live pool zážitok nie je zaručený pre každý beh Python notebooku. Začiatok relácie môže trvať až tri minúty, ak beh zápisníka neprejde do živého poolu. S rastúcim používaním Python notebookov inteligentné metódy poolingu postupne zvyšujú alokáciu živého poolu, aby uspokojili dopyt.

• Integrácia prostredia nie je dostupná v Python notebookoch.

• Nastavený časový limit sedenia nie je dostupný.

• Copilot zlepšil kontextové povedomie a pomoc pre Python notebooky, ale občas môže navrhnúť Spark kód, ktorý nie je priamo spustiteľný v Python notebooku. Skúsenosti s Opravou s Copilotom platia aj pre neúspešné Python bunky; Diagnostika úloh Spark je mimo rozsahu čisto Python behov.

• V súčasnosti nie je Copilot na Python notebookoch plne podporovaný v niekoľkých regiónoch. Proces nasadenia stále prebieha. Zostaňte naladení, ako sa podpora objaví v ďalších regiónoch.

Súvisiaci obsah

• Ako používať Fabric zápisníky
• Vyvíjajte, spúšťajte a spravujte Fabric notebooky
• Zavedenie pomôcok pre poznámkové bloky služby Fabric