Používanie prostredia jazyka Python v poznámkovom bloku

Poznámkový blok v jazyku Python je novým prostredím, ktoré je postavené na notebooku služby Fabric. Je všestranným a interaktívnym nástrojom určeným na analýzu údajov, vizualizáciu a strojové učenie. Poskytuje bezproblémové vývojové prostredie na písanie a spúšťanie kódu jazyka Python. Vďaka tejto funkcii je to základný nástroj pre dátových vedcov, analytikov a vývojárov v oblasti BI, a to najmä na skúmanie úloh, ktoré nevyžadujú veľké objemy údajov a distribuované výpočty.

Poznámkový blok jazyka Python môžete získať:

• Viac vstavaných jadier jazyka Python: Notebooky jazyka Python ponúkajú čisté prostredie kódovania jazyka Python bez Spark, s dvoma verziami jadra jazyka Python - Python 3.10 a 3.11 je predvolene k dispozícii a natívne funkcie ipython podporované, ako je napríklad iPyWidget, magické príkazy.

• Nákladovo efektívne: Nový notebook v jazyku Python ponúka výhody úspory nákladov tým, že v predvolenom nastavení beží na klastri s jedným uzlom s 2 virtuálnymi jadrami/16 GB pamäte. Toto nastavenie zabezpečuje efektívne využitie zdrojov pre projekty skúmania údajov s menšou veľkosťou údajov.

• Lakehouse & zdroje sú natívne k dispozícii: Fabric Lakehouse spolu s Notebook vstavaný zdroje všetky funkcie sú k dispozícii v notebooku Python. Táto funkcia umožňuje používateľom jednoducho preniesť údaje do poznámkového bloku jazyka Python. Stačí skúsiť presunúť myšou & na získať úryvok kódu.

• Mix programovania s T-SQL: Notebook jazyka Python ponúka jednoduchý spôsob interakcie s koncovými bodmi Data Warehouse a SQL v prieskumníkovi. Pomocou konektora údajov notebookutils môžete jednoducho spúšťať skripty T-SQL v kontexte jazyka python.

• podpora pre obľúbené knižnice Data Analytic: Poznámkové bloky jazyka Python obsahujú predinštalované knižnice, ako napríklad DuckDB, Polars a Scikit-learn, a poskytujú komplexnú sadu nástrojov na manipuláciu s údajmi, analýzu a strojové učenie.

• Pokročilý IntelliSense: Notebook v jazyku Python využíva Pylance ako nástroj IntelliSense spolu s ďalšími prispôsobenými jazykovými službami Fabric s cieľom poskytnúť vývojárom notebookov najmodernejšie možnosti kódovania.

• NotebookUtils & sémantickým prepojením: Výkonné súpravy nástrojov rozhrania API vám umožňujú jednoducho používať služby Fabric a možnosti služby Power BI s prvým používaním kódu.

• funkcie rozšírenej vizualizácie: Okrem obľúbenej funkcie bohatého údajového rámca ukážky tabuľky a funkcie Graf podporujeme aj populárne knižnice vizualizácií, ako napríklad Matplotlib, Seaborn a Plotly. PowerBIClient tiež podporuje tieto knižnice, ktoré používateľom pomáhajú lepšie pochopiť vzory údajov a prehľady.

• common capabilities for Fabric Notebook: Všetky funkcie na úrovni notebooku sú prirodzene použiteľné pre poznámkový blok jazyka Python, ako sú napríklad funkcie na úpravu, automatické ukladanie, spolupráca, zdieľanie a správa povolení, integrácia Git, import a export atď.

• full stack Data Science Capabilities: Advanced low-code toolkit Data Wrangler, MLFlow architektúry strojového učenia a výkonný nástroj Copilot sú k dispozícii v poznámkovom bloku jazyka Python.

Ako získať prístup k poznámkovým blokom v jazyku Python

Po otvorení poznámkového bloku s textovou štruktúrou môžete prepnúť na jazyk Python v rozbaľovacej ponuke jazyka na karte Domov a previesť celé nastavenie poznámkového bloku do jazyka Python.

Väčšina bežných funkcií je podporovaná ako poznámkový blok, môžete si prečítať Ako používať poznámkové bloky služby Microsoft Fabric a vyvíjať, spúšťať a spravovať poznámkové bloky služby Microsoft Fabric, spoznáte podrobné informácie o používaní. Tu uvádzame niekoľko kľúčových funkcií, ktoré sú špecifické pre scenáre jazyka Python.

Spustenie poznámkových blokov v jazyku Python

Poznámkový blok v jazyku Python podporuje viacero spôsobov vykonávania úloh:

• Interaktívne spustenie: Poznámkový blok jazyka Python môžete spustiť interaktívne ako natívny poznámkový blok Jupyter.
• Naplánovať spustenie: Na spustenie poznámkového bloku v jazyku Python ako dávkovej úlohy môžete použiť zjednodušené prostredie plánovača na stránke nastavení poznámkového bloku.
• Spustenie kanála: Poznámkové bloky jazyka Python môžete orchestrovať ako aktivity poznámkového bloku v kanáli. Snímka sa vygeneruje po vykonaní úlohy.
• Spustenie odkazu: Poznámkové bloky jazyka Python môžete použiť notebookutils.notebook.run() alebo notebookutils.notebook.runMultiple() na ne odkazovať v inom poznámkovom bloku jazyka Python ako dávkovú úlohu. Snímka sa vygeneruje po dokončení spustenia odkazu.
• spustenie verejného rozhrania API: Môžete naplánovať spustenie notebooku v jazyku python pomocou notebooku, ktorý bude spúšťať verejnérozhrania API, uistite sa, že vlastnosti jazyka a jadra v metaúdajoch notebooku s verejnou údajovou časťou rozhrania API sú nastavené správne.

Podrobnosti o spustení úlohy poznámkového bloku jazyka Python môžete monitorovať na karte pása s nástrojmi Spustiť –>Zobraziť všetky spustenia.

Interakcia s údajmi

S priečinkami Lakehouse, Warehouse, SQL a vstavanými priečinkami zdrojov môžete pracovať v poznámkovom bloku jazyka Python.

Note

• Modul runtime Python Notebook je predinštalovaný s knižnicami delta-rs a duckdb na podporu čítania aj zápisu údajov Delta Lake. Upozorňujeme však, že niektoré funkcie Delta Lake nemusia byť v súčasnosti plne podporované. Ďalšie podrobnosti a najnovšie aktualizácie nájdete na oficiálnych webových stránkach delta-rs a duckdb .
• Momentálne nepodporujeme deltalake(delta-rs) verzie 1.0.0 alebo novšej. Zostaňte naladení.

Interakcia s jazerným domom

Môžete nastaviť Lakehouse ako predvolený, alebo môžete tiež pridať viac Lakehouses preskúmať a používať ich v notebookoch.

Ak nie ste oboznámení s čítaním údajových objektov, ako je napríklad tabuľka delta, skúste presunúť súbor a tabuľku delta na plátno poznámkového bloku alebo použite položku Načítať údaje v rozbaľovacej ponuke objektu. Notebook automaticky vloží úryvok kódu do bunky kódu a generovanie kódu na prečítanie cieľového údajového objektu.

Note

Ak narazíte na OOM pri načítavaní veľkého objemu údajov, skúste namiesto pandas použiť údajový rámec DuckDB, Polars alebo PyArrow.

Operáciu na písanie služby Lakehouse nájdete v Úryvok kódu prehľadávania –>zapisovanie údajov do delta tabuľky.

Interakcia so skladom a mix programovanie s T-SQL

Do prieskumníka skladov poznámkových blokov môžete pridať sklady údajov alebo koncové body SQL. Podobne môžete tabuľky presunúť myšou na plátno poznámkového bloku alebo použiť operácie odkazu v rozbaľovacej ponuke tabuľky. Notebook automaticky vygeneruje úryvok kódu. Pomocou pomôcok notebookutils.data môžete vytvoriť pripojenie s warehouses a dotazovať údaje pomocou príkazu T-SQL v kontexte jazyka Python.

Note

Koncové body SQL sú tu určené iba na čítanie.

Priečinok prostriedkov poznámkového bloku

Priečinok vstavaných zdrojov Zdroje poznámkového bloku je natívne k dispozícii v poznámkovom bloku jazyka Python. So súbormi môžete jednoducho pracovať do vstavaného priečinka zdrojov pomocou kódu jazyka Python tak, ako keby ste pracovali s lokálnym súborovým systémom. Priečinok prostriedkov prostredia nie je momentálne podporovaný.

Operácie jadra

Notebook Python momentálne podporuje dve vstavané jadrá, sú to Python 3.10 a Python 3.11, predvolene vybrané jadro je Python 3.11. môžete medzi nimi jednoducho prepínať.

Jadro môžete prerušiť, reštartovať alebo prepnúť na karte Domov na páse s nástrojmi. Prerušenie jadra v poznámkových blokoch jazyka Python je rovnaké ako zrušenie bunky v notebooku Spark.

Abnormálny výstup jadra spôsobuje, že spustenie kódu sa preruší a stratí premenné, ale to nekončí notebook session.

Existujú príkazy, ktoré môžu viesť k jadru jadra zomrel. Napríklad quit(), exit().

Správa knižnice

Príkazy %pip a %conda môžete použiť pre vložené inštalácie, príkazy podporujú verejné knižnice aj prispôsobené knižnice.

V prípade prispôsobených knižníc môžete nahrať súbory lib do priečinka Vstavané zdroje . Podporujeme viacero typov knižníc vrátane formátov ako Wheel (.whl), JAR (.jar), DLL (.dll) a Python (.py). Stačí skúsiť presunúť myšou do súboru a útržok kódu sa vygeneruje automaticky.

Možno budete musieť reštartovať jadro na používanie aktualizovaných balíkov.

Ak chcete lepšie pochopiť a jasne používať podobné príkazy, pozrite si tabuľku nižšie.

Command/Syntax	Hlavný účel	Ako to funguje v notebooku Jupyter	Typický prípad použitia	Notes
%pip install package	Inštalácia balíkov jazyka Python	Beží pip v jadre notebooku Python	Odporúčaný spôsob inštalácie balíkov	V poznámkovom bloku jazyka Python to isté ako !pip; nereštartuje jadro automaticky
!pip install package	Inštalácia balíkov jazyka Python pomocou prostredia Shell	Spustí PIP ako príkaz shellu	Alternatívny spôsob inštalácie balíkov	V poznámkovom bloku jazyka Python to isté ako %pip; nereštartuje jadro automaticky
import sys; sys.exit(0)	Reštartovanie jadra poznámkového priestoru	Okamžite reštartuje jadro	Programovo reštartovať jadro	Vymaže všetky premenné a stavy; neodporúča sa používať priamo
notebookutils.session.restartPython()	Reštartovanie jadra poznámkového priestoru	Volania sys.exit(0) interne	Odporúčaný spôsob reštartovania jadra	Oficiálne rozhranie API, bezpečnejšie a kompatibilnejšie ako priame používanie sys.exit(0)

Note

• V poznámkovom bloku %pip Pythonu a !pip majú rovnaké správanie: obe inštalujú balíky do prostredia aktuálneho jadra a ani jeden po inštalácii automaticky nereštartuje jadro.
• Ak potrebujete reštartovať jadro (napríklad po inštalácii určitých balíkov), odporúča sa použiť notebookutils.session.restartPython() namiesto import sys; sys.exit(0).
  • notebookutils.session.restartPython() je oficiálne rozhranie API, ktoré zalamuje sys.exit(0) knižnicu , a je bezpečnejšie a kompatibilnejšie v notebookových prostrediach.
• Neodporúča sa používať sys.exit(0) priamo, pokiaľ to nie je potrebné.

Monitorovanie využitia zdrojov poznámkového bloku v jazyku Python v reálnom čase

Dôležité

Táto funkcia je vo verzii Preview.

Pomocou tably Monitorovanie zdrojov môžete sledovať dôležité informácie o prostredí runtime, ako je trvanie relácie, typ výpočtov a metriky zdrojov v reálnom čase vrátane spotreby procesora a pamäte, priamo v poznámkovom bloku. Táto funkcia poskytuje okamžitý prehľad o vašej aktívnej relácii a používaných zdrojoch.

Monitor zdrojov zlepšuje prehľad o tom, ako pracovné zaťaženie Pythonu využíva systémové prostriedky. Pomáha optimalizovať výkon, riadiť náklady a znižovať riziko chýb nedostatku pamäte (OOM). Monitorovaním metrík v reálnom čase môžete identifikovať operácie náročné na zdroje, analyzovať vzorce používania a robiť informované rozhodnutia o škálovaní alebo úprave kódu.

Ak ho chcete začať používať, nastavte jazyk poznámkového bloku na Python a spustite reláciu. Monitor potom môžete otvoriť buď kliknutím na výpočtové zdroje v stavovom riadku poznámkového bloku, alebo výberom položky Zobraziť využitie zdrojov na paneli s nástrojmi. Tabla monitorovania zdrojov sa zobrazí automaticky a poskytuje integrované prostredie monitorovania kódu jazyka Python v poznámkových blokoch služby Fabric.

Príkaz konfigurácie relácie

Podobne ako pri prispôsobení konfigurácie relácie služby Spark v notebooku, môžete %%configure použiť aj v poznámkovom bloku v jazyku Python. Poznámkový blok v jazyku Python podporuje prispôsobenie veľkosti výpočtového uzla, bodu pripojenia a predvolenej lokality lakehouse relácie poznámkového bloku. Môžu byť použité v interaktívnych aktivitách poznámkového bloku aj poznámkového bloku kanála. Odporúčame použiť príkaz %%configure na začiatku poznámkového bloku, alebo musíte reštartovať reláciu poznámkového bloku, aby sa nastavenie prejavilo.

Tu sú podporované vlastnosti v poznámkovom bloku Pythonu%%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Aktualizáciu výpočtových prostriedkov môžete zobraziť v stavovom riadku poznámkového bloku a monitorovať využitie procesora a pamäte výpočtovým uzlom v reálnom čase.

NotebookUtils

Notebook Utilities (NotebookUtils) je vstavaný balík, ktorý vám pomôže jednoducho vykonávať bežné úlohy v notebooku fabric. Tento modul je predinštalovaný v režime runtime jazyka Python. NotebookUtils môžete používať na prácu so systémami súborov, na načítanie premenných prostredia, na reťazové poznámkové bloky, prístup k externému úložisku a prácu s tajné kódy.

Môžete použiť notebookutils.help() na zoznam dostupných rozhraní API a tiež získať pomoc s metódami alebo odkazovať na dokument NotebookUtils.

Dátové pomôcky

Note

V súčasnosti je funkcia vo verzii Preview.

Pomocou pomôcok notebookutils.data môžete vytvoriť pripojenie s poskytnutým zdrojom údajov a potom čítať a dotazovať údaje pomocou príkazu T-SQL.

Spustením nasledujúceho príkazu získate prehľad dostupných metód:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Dotazovanie údajov z lokality Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazovanie údajov zo skladu

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Note

Pomôcky údajov v notebookuUtils sú zatiaľ k dispozícii iba v poznámkovom bloku jazyka Python.

Prehľadávanie úryvkov kódu

Užitočné úryvky kódu Pythonu nájdete na karte Upraviť ->Prehľadávať úryvok kódu, teraz sú k dispozícii nové ukážky Pythonu. Ak chcete začať skúmať poznámkový blok, môžete sa naučiť z úryvku kódu jazyka Python.

Sémantické prepojenie

Sémantické prepojenie je funkcia, ktorá umožňuje vytvoriť spojenie medzi sémantickými modelmi a Synapse Data Science v službe Microsoft Fabric. Natívne je podporovaný v poznámkovom bloku v jazyku Python. Inžinieri BI a vývojári služby Power BI môžu jednoducho používať sémantické prepojenie na pripojenie a spravovanie sémantického modelu. Prečítajte si verejný dokument a dozviete sa viac o sémantickom prepojení.

Visualization

Okrem kreslenia grafov s knižnicami vám vstavaná funkcia vizualizácie umožňuje premeniť dátové rámce na vizualizácie údajov v bohatom formáte. Funkciu display() môžete použiť v údajových rámcoch na vytvorenie bohatého zobrazenia tabuľky údajových rámcov a zobrazenia grafu.

Note

Konfigurácie grafu budú trvalé v poznámkovom bloku jazyka Python, čo znamená, že po opätovnom spustení bunky kódu sa v prípade, že sa cieľová schéma údajového rámca nezmenila, uložené grafy sú stále trvalé.

Code intelliSense

Poznámkový blok v jazyku Python používa ako jazykový server aj Pylance. Ďalšie informácie nájdete vylepšenie vývoja v jazyku Python pomocouPylance.

Možnosti dátovej vedy

Ak sa chcete dozvedieť viac o vede o údajoch a skúsenostiach s umelou inteligenciou v službe Fabric, pozrite si dokumentáciu k dátovým vedám v službe Microsoft Fabric. Tu uvádzame niekoľko kľúčových funkcií dátovej vedy, ktoré sú natívne podporované v poznámkovom bloke jazyka Python.

• Data Wrangler: Data Wrangler je nástroj založený na notebooku, ktorý poskytuje pohlcujúce rozhranie na analýzu prieskumných údajov. Táto funkcia kombinuje zobrazenie údajov mriežky s dynamickými súhrnnými štatistikami, vstavanými vizualizáciami a knižnicou bežných operácií čistenia údajov. Poskytuje čistenie údajov, transformáciu údajov a integráciu, ktorá urýchľuje prípravu údajov pomocou Wrangleru údajov.

• MLflow: Experiment strojového učenia je primárnou jednotkou organizácie a riadenia pre všetky súvisiace spustenia strojového učenia. Spustenie zodpovedá jednému vykonaniu kódu modelu.

• Fabric Auto Logging: Synapse Data Science v službe Microsoft Fabric zahŕňa automatické označovanie, čo výrazne znižuje množstvo kódu potrebného na automatické zapisovanie parametrov, metrík a položiek modelu strojového učenia počas trénovania.

  Automatické označovanie rozširuje možnosti sledovania tokov MLflow. Automatické označovanie umožňuje zaznamenávať rôzne metriky vrátane presnosti, straty, skóre F1 a vlastných metrík, ktoré definujete. Pomocou automatického označovania môžu vývojári a dátoví vedci jednoducho sledovať a porovnávať výkon rôznych modelov a experimentov bez manuálneho sledovania.

• Copilot: Copilot pre poznámkové bloky Data Science a Data Engineering je asistent AI, ktorý vám pomôže analyzovať a vizualizovať údaje. Funguje s tabuľkami lakehouse, množinami údajov služby Power BI a údajovými prvkami pandas/spark, pričom poskytuje odpovede a úryvky kódu priamo v poznámkovom bloku. Môžete použiť panel chatu Copilot a char-mágie v notebooku, a AI poskytuje odpovede alebo kód na kopírovanie do poznámkového bloku.

Známe obmedzenia verzie Public Preview

• Nie je zaručené, že prostredie dynamického fondu je pre každé spustenie notebooku v jazyku Python zaručené. Čas spustenia relácie môže trvať až 3 minúty, ak spustenie notebooku nezachytí živý bazén. S rastom používania notebooku v jazyku Python naše inteligentné metódy združovania postupne zvyšujú alokovanie dynamického fondu na uspokojenie dopytu.

• Integrácia prostredia nie je v poznámkovom bloke jazyka Python dostupná vo verzii Public Preview.

• Nastavenie časového limitu relácie zatiaľ nie je k dispozícii.

• Program Copilot môže generovať príkaz Spark, ktorý nemusí byť spustiteľný v poznámkovom bloku v jazyku Python.

• V súčasnosti nie je kopilot v poznámkovom bloku jazyka Python plne podporovaný vo viacerých oblastiach. Proces nasadenia stále prebieha, pretože stále zavádzame podporu vo viacerých oblastiach.

Súvisiaci obsah

• Ako používať poznámkové bloky služby Microsoft Fabric
• vývoj, spúšťanie a spravovanie poznámkových blokov služby Microsoft Fabric
• Zavedenie pomôcok pre poznámkové bloky služby Fabric