Využijte zkušenosti s Pythonem v notebooku

Poznámkový blok Pythonu je nový zážitek založený na poznámkovém bloku Fabric. Jedná se o univerzální a interaktivní nástroj navržený pro analýzu dat, vizualizaci a strojové učení. Poskytuje bezproblémové vývojové prostředí pro psaní a spouštění kódu Pythonu. Díky této funkci je nezbytný nástroj pro datové vědce, analytiky a vývojáře BI, zejména pro úlohy zkoumání, které nevyžadují velké objemy dat a distribuované výpočty.

S poznámkovým blokem Pythonu můžete získat:

• několik integrovaných jader Pythonu: Poznámkové bloky Pythonu nabízejí čisté prostředí pro kódování přímo v Pythonu, bez použití Sparku, přičemž ve výchozím nastavení jsou dostupné dvě verze jádra Pythonu – Python 3.10 a 3.11. Jsou podporovány nativní funkce ipythonu, jako například iPyWidget a magické příkazy.

• Nákladově efektivní: Nový poznámkový blok Pythonu nabízí úsporné výhody spuštěním v clusteru s jedním uzlem, který má ve výchozím nastavení 2 virtuální jádra a 16 GB paměti. Toto nastavení zajišťuje efektivní využití zdrojů pro projekty zkoumání dat s menší velikostí dat.

• Prostředky & Lakehouse jsou nativně dostupné: Služba Fabric Lakehouse společně s integrovanými prostředky poznámkového bloku jsou plně dostupné v prostředí poznámkového bloku Pythonu. Tato funkce umožňuje uživatelům snadno přenést data do poznámkového bloku Pythonu. Stačí zkusit přetáhnout & a získat fragment kódu.

• Propojení programování s T-SQL: Python notebook nabízí snadný způsob interakce s koncovými body datového skladu a SQL v Exploreru. Díky datovému konektoru notebookutils můžete snadno spouštět skripty T-SQL v prostředí Pythonu.

• Podpora oblíbených knihoven pro analýzu dat: Notebooky v Pythonu mají předinstalované knihovny, jako jsou DuckDB, Polars a Scikit-learn, a poskytují kompletní sadu nástrojů pro práci s daty, jejich analýzu a strojové učení.

• Pokročilá technologie IntelliSense: Poznámkový blok Pythonu přijímá Pylance jako stroj intellisense spolu s dalšími jazykovými službami speciálně přizpůsobenými pro Fabric, s cílem zajistit špičkový zážitek z programování pro vývojáře poznámkových bloků.

• NotebookUtils & sémantický odkaz: Výkonné API sady nástrojů umožňují snadno využívat funkce Fabric a Power BI s přístupem zaměřeným na kód.

• Pokročilé možnosti vizualizace: Kromě oblíbených funkcí pro náhled "Table" a "Chart" podporujeme také populární knihovny vizualizací, jako jsou Matplotlib, Seaborn a Plotly. PowerBIClient také podporuje tyto knihovny, které uživatelům pomáhají lépe porozumět vzorům dat a přehledům.

• obecné vlastnosti propoznámkový blok Fabric: Všechny vlastnosti na úrovni poznámkového bloku jsou přirozeně použitelné pro poznámkový blok Pythonu, jako jsou funkce úprav, automatické ukládání, spolupráce, sdílení a správa oprávnění, integrace s Gitem, import/export atd.

• Kompletní stackové možnosti data science: Pokročilý nástroj s nízkým množstvím kódu Data Wrangler, rámec strojového učení MLFlow a výkonný Copilot jsou k dispozici v Python notebooku.

Přístup k poznámkovému bloku Pythonu

Po otevření poznámkového bloku Fabric můžete v rozevírací nabídce jazyka na kartě Domů přepnout jazyk na Python a převést celé nastavení poznámkového bloku na Python.

Většina běžných funkcí je podporovaná jako úroveň poznámkového bloku. Můžete se podívat na Jak používat poznámkové bloky Microsoft Fabric a Vyvíjet, spouštět a spravovat poznámkové bloky Microsoft Fabric, získat podrobné informace o využití. Tady uvádíme některé klíčové funkce specifické pro scénáře Pythonu.

Spouštění poznámkových bloků Pythonu

Poznámkový blok Pythonu podporuje několik způsobů provádění úloh:

• Interaktivní spuštění: Poznámkový blok Pythonu můžete spustit interaktivně jako nativní poznámkový blok Jupyter.
• Spuštění plánu: Ke spuštění poznámkového bloku jako dávkové úlohy můžete použít prostředí s lehkým plánovačem na stránce nastavení poznámkového bloku.
• Pipeline run: Můžete orchestrovat Pythonové notebooky jako aktivity v pipeline. Snímek se vygeneruje po spuštění úlohy.
• Referenční spuštění: Můžete použít notebookutils.notebook.run() nebo notebookutils.notebook.runMultiple() pro odkazování a spouštění poznámkových bloků Pythonu v jiném poznámkovém bloku Pythonu jako dávkovou úlohu. Po dokončení referenčního spuštění se vygeneruje snímek.
• Veřejné rozhraní API spuštění: Pomocí veřejného rozhraní API pro spuštění poznámkového bloku můžete naplánovat běh svého python notebooku, ujistěte se, že vlastnosti jazyka a jádra v metadata v datové části veřejného rozhraní API jsou správně nastavené.

Podrobnosti o běhu úlohy v poznámkovém bloku Pythonu můžete sledovat na záložce Spustit na pásu karet –>Zobrazit všechna spuštění.

Interakce s daty

V poznámkovém bloku Pythonu můžete pracovat s Lakehouse, Warehouses, SQL koncovými body a již zabudovanými složkami prostředků.

Note

• Modul runtime poznámkového bloku Pythonu je předinstalovaný s knihovnami delta-rs a duckdb , které podporují čtení i zápis dat Delta Lake. Upozorňujeme ale, že některé funkce Delta Lake nemusí být v tuto chvíli plně podporované. Další podrobnosti a nejnovější aktualizace najdete na oficiálních webech delta-rs a duckdb .
• V současné době nepodporujeme deltalake(delta-rs) verze 1.0.0 nebo vyšší. Zůstaňte v obraze.

Interakce s lakehouse systémem

Lakehouse můžete nastavit jako výchozí nebo můžete přidat více objektů Lakehouse, abyste je mohli prozkoumat a používat v poznámkových blocích.

Pokud nejste obeznámeni s čtením datových objektů, jako například rozdílová tabulka, zkuste přetáhnout soubor a rozdílovou tabulku na plátno poznámkového bloku nebo použít možnost Načíst data v rozbalovací nabídce u objektu. Poznámkový blok automaticky vloží úryvek kódu do buňky s kódem a vygeneruje kód pro čtení cílového datového objektu.

Note

Pokud při načítání velkého objemu dat narazíte na OOM, zkuste místo pandas použít DuckDB, Polars nebo PyArrow.

Operaci write Lakehouse najdete v procházení fragmentu kódu –>Zápis dat do tabulky Delta.

Interakce se skladem a kombinace programování s T-SQL

Datové sklady nebo koncové body SQL můžete přidat pomocí nástroje pro správu datových skladů v rámci Noteboooku. Podobně můžete tabulky přetáhnout na plátno poznámkového bloku nebo použít zkratkové operace v rozevíracím seznamu tabulky. Notebook automaticky vygeneruje fragment kódu za vás. Pomocí nástrojů notebookutils.data můžete navázat spojení se sklady a dotazovat se na data pomocí příkazu T-SQL v kontextu Pythonu.

Note

Tady jsou koncové body SQL jen pro čtení.

Složka zdrojů poznámkového bloku

Integrovaná složka prostředků poznámkového bloku je nativně dostupná v poznámkovém bloku Pythonu. Můžete snadno pracovat se soubory ve vestavěné složce prostředků pomocí kódu Pythonu, jako kdybyste pracovali s místním systémem souborů. Složka prostředků pro prostředí není v současné době podporována.

Operace jádra

Poznámkový blok Pythonu teď podporuje dvě integrovaná jádra, jsou to Python 3.10 a Python 3.11, výchozí vybrané jádro je Python 3.11. můžete mezi nimi snadno přepínat.

Na kartě Domů na pásu karet můžete přerušit, restartovat nebo přepnout jádro. Přerušení jádra v poznámkových blocích Pythonu je stejné jako zrušení buňky v poznámkovém bloku Sparku.

Neobvyklé ukončení jádra způsobí přerušení provádění kódu a ztrátu hodnot proměnných, ale nezastaví relaci poznámkového bloku.

Existují příkazy, které můžou vést k tomu, že jádro zemřelo. Například quit(), exit().

Správa knihoven

Pro vložené instalace můžete použít příkazy %pip a %conda, příkazy podporují jak veřejné knihovny, tak i přizpůsobené knihovny.

U přizpůsobených knihoven můžete soubory lib nahrát do složky Předdefinované prostředky . Podporujeme více typů knihoven, včetně formátů, jako jsou Wheel (.whl), JAR (.jar), DLL (.dll) a Python (.py). Stačí zkusit přetáhnout do souboru a fragment kódu se vygeneruje automaticky.

Možná budete muset restartovat jádro, aby bylo možné používat aktualizované balíčky.

Pokud chcete lépe pochopit a používat podobné příkazy jasně, projděte si následující tabulku.

Command/Syntax	Hlavní účel	Jak funguje v Poznámkovém bloku Jupyter	Typický případ použití	Notes
%pip install package	Instalace balíčků Pythonu	Spustí pip v Pythonovém jádru notebooku.	Doporučený způsob instalace balíčků	V poznámkovém bloku Pythonu se jádro !pip stejně jako .
!pip install package	Instalujte balíčky Pythonu pomocí shellu	Spustí pip jako příkaz v příkazovém rozhraní.	Alternativní způsob instalace balíčků	V poznámkovém bloku Pythonu se jádro %pip stejně jako .
import sys; sys.exit(0)	Restartování jádra poznámkového bloku	Okamžitě provede restart jádra.	Restartování jádra prostřednictvím kódu programu	Vymaže všechny proměnné a stavy; nedoporučujeme používat přímo
notebookutils.session.restartPython()	Restartování jádra poznámkového bloku	Volá sys.exit(0) interně	Doporučený způsob restartování jádra	Oficiální rozhraní API, bezpečnější a kompatibilní než přímé použití sys.exit(0)

Note

• V poznámkovém bloku Pythonu %pip a !pip mají stejné chování: oba balíčky se instalují do prostředí aktuálního jádra a ani jeden z nich po instalaci automaticky nerestartuje jádro.
• Pokud potřebujete restartovat jádro (například po instalaci určitých balíčků), doporučuje se místo něj použít notebookutils.session.restartPython()import sys; sys.exit(0).
  • notebookutils.session.restartPython() je oficiální rozhraní API, které obaluje sys.exit(0), a je bezpečnější a lépe kompatibilní v prostředí poznámkového bloku.
• Nedoporučuje se používat přímo, pokud sys.exit(0) nutné.

Monitorování využití prostředků v poznámkovém bloku Pythonu v reálném čase

Důležité

Tato funkce je ve verzi Preview.

V podokně monitorování prostředků můžete sledovat důležité informace o modulu runtime, jako je doba trvání relace, typ výpočetních prostředků a metriky prostředků v reálném čase, včetně využití procesoru a paměti přímo v poznámkovém bloku. Tato funkce poskytuje okamžitý přehled vaší aktivní relace a používaných prostředků.

Monitorování prostředků zlepšuje přehled o tom, jak úlohy Pythonu využívají systémové prostředky. Pomáhá optimalizovat výkon, spravovat náklady a snižovat riziko chyb nedostatku paměti (OOM). Monitorováním metrik v reálném čase můžete identifikovat operace náročné na prostředky, analyzovat vzory využití a provádět informovaná rozhodnutí o škálování nebo úpravě kódu.

Pokud ho chcete začít používat, nastavte jazyk poznámkového bloku na Python a spusťte relaci. Pak můžete monitorování otevřít kliknutím na výpočetní prostředky na stavovém řádku poznámkového bloku nebo výběrem možnosti Zobrazit využití prostředků na panelu nástrojů. Podokno monitorování prostředků se zobrazí automaticky a poskytuje integrované prostředí pro monitorování kódu Pythonu v poznámkových blocích Fabric.

Magický příkaz konfigurace relace

Podobně jako při přizpůsobení konfigurace relace Sparku v poznámkovém bloku, můžete v Pythonovém poznámkovém bloku rovněž použít %%configure. Poznámkový blok Pythonu podporuje přizpůsobení velikosti výpočetního uzlu, přípojných bodů a výchozího lakehouse pro relaci poznámkového bloku. Dají se použít v interaktivních poznámkových blocích i v aktivitách poznámkových blocích typu pipeline. Doporučujeme použít příkaz %%configure na začátku poznámkového bloku nebo musíte relaci poznámkového bloku restartovat, aby se nastavení projevilo.

Tady jsou podporované vlastnosti poznámkového bloku Pythonu%%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Aktualizace výpočetních prostředků můžete zobrazit na stavovém řádku poznámkového bloku a monitorovat využití procesoru a paměti výpočetního uzlu v reálném čase.

NotebookUtils

Notebook Utilities (NotebookUtils) je integrovaný balíček, který vám pomůže snadno provádět běžné úlohy v poznámkovém bloku Fabric. Je předinstalovaný v modulu runtime Pythonu. Můžete použít NotebookUtils k práci se systémy souborů, získávání proměnných prostředí, zřetězení poznámkových bloků, přístupu k externímu úložišti a práci s tajnostmi.

Můžete použít notebookutils.help() k výpisu dostupných API a také získat nápovědu k metodám nebo nahlédnout do dokumentace NotebookUtils.

Datové nástroje

Note

V současné době je tato funkce ve verzi Preview.

Pomocí nástrojů notebookutils.data můžete vytvořit připojení k zadanému zdroji dat a pak číst a dotazovat data pomocí příkazu T-SQL.

Spuštěním následujícího příkazu získejte přehled dostupných metod:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Dotazování dat z Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazování dat ze skladu

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Dotazování dat z databáze SQL

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Datové nástroje v NotebookUtils jsou momentálně dostupné pouze v poznámkovém bloku Pythonu.

Procházení fragmentů kódu

Užitečné fragmenty kódu Pythonu najdete na kartě Upravit>procházení fragmentů kódu, a nyní jsou k dispozici nové ukázky Pythonu. Z fragmentu kódu Pythonu se můžete naučit začít zkoumat poznámkový blok.

Sémantický odkaz

Sémantický odkaz je funkce, která umožňuje navázat spojení mezi sémantické modely a Synapse Data Science v Microsoft Fabric. Je nativně podporován v Python notebooku. Technici BI a vývojáři Power BI můžou snadno používat sémantické propojení a spravovat sémantický model. Další informace o sémantickém odkazu najdete ve veřejném dokumentu .

Visualization

Kromě vykreslování grafů pomocí knihoven umožňuje integrovaná vizualizační funkce převést DataFrames do vizualizací s bohatým formátem dat. Pomocí funkce display() v datových rámcích můžete vytvořit zobrazení tabulky s bohatým datovým rámcem a zobrazením grafu.

Note

Konfigurace grafu se zachovají v poznámkovém bloku Pythonu, což znamená, že po opětovném spuštění buňky kódu se schéma cílového datového rámce nezmění, uložené grafy zůstanou zachovány.

IntelliSense kódu

Poznámkový blok Pythonu používá jako jazykový server také Pylance. Další informace najdete v tématu vylepšení vývoje Pythonu pomocí Pylance.

Možnosti datových věd

Navštivte dokumentaci pro datové vědy v Microsoft Fabric a dozvězte se více o zkušenostech s datovými vědami a AI ve Fabric. Tady uvádíme několik klíčových funkcí datových věd, které jsou nativně podporovány v poznámkovém bloku Pythonu.

• Data Wrangler: Data Wrangler je nástroj založený na poznámkovém bloku, který poskytuje imerzivní rozhraní pro zkoumání analýzy dat. Tato funkce kombinuje zobrazení dat podobných mřížce s dynamickými souhrnnými statistikami, integrovanými vizualizacemi a knihovnou běžných operací čištění dat. Poskytuje čištění dat, transformaci a integraci dat, což urychluje přípravu dat pomocí služby Data Wrangler.

• MLflow: Experiment strojového učení je primární jednotkou organizace a řízení všech souvisejících spuštění strojového učení. Spuštění odpovídá jedinému spuštění kódu modelu.

• Automatické protokolování ve službě Fabric: Datová věda Synapse v prostředí Microsoft Fabric zahrnuje automatické protokolování, což způsobem výrazně snižuje množství kódu potřebného k automatickému protokolování parametrů, metrik a položek modelu strojového učení během trénování.

  Automatické přihlašování rozšiřuje možnosti sledování MLflow. Automatické přihlašování může zaznamenávat různé metriky, včetně přesnosti, ztráty, skóre F1 a vlastních metrik, které definujete. Díky automatickému přihlašování můžou vývojáři a datoví vědci snadno sledovat a porovnávat výkon různých modelů a experimentů bez ručního sledování.

• Copilot: Copilot pro poznámkové bloky pro datové vědy a datové inženýrství je asistent umělé inteligence, který pomáhá analyzovat a vizualizovat data. Funguje s tabulkami Lakehouse, datovými rámcemi Power BI a pandas/spark a poskytuje odpovědi a fragmenty kódu přímo v poznámkovém bloku. V poznámkovém bloku můžete použít panel chatu Copilot a Char-magics, přičemž AI poskytuje odpovědi nebo kód, který můžete zkopírovat do svého poznámkového bloku.

Známá omezení verze Public Preview

• Není zaručeno, že při každém spuštění poznámkového bloku v Pythonu bude k dispozici živé připojení. Čas spuštění relace může trvat až 3 minuty, pokud se spuštění poznámkového bloku nedotkne živého fondu. S rostoucím využitím notebooků Pythonu naše inteligentní sdružovací metody postupně zvyšují alokaci živého fondu, aby splňovaly poptávku.

• Integrace prostředí není dostupná v poznámkovém bloku Pythonu v režimu Public Preview.

• Nastavení časového limitu relace není pro tuto chvíli dostupné.

• Copilot může generovat příkaz Sparku, který se nemusí spustit v poznámkovém bloku Pythonu.

• V současné době není Copilot v poznámkovém bloku Pythonu plně podporovaný v několika regionech. Proces nasazení stále probíhá, zůstaňte s námi, protože pokračujeme v zavádění podpory v dalších oblastech.

Související obsah

• Jak používat poznámkové bloky Microsoft Fabric
• vývoj, spouštění a správa poznámkových bloků Microsoft Fabric
• Úvod k nástrojům Fabric NotebookUtils