Freigeben über

Verwenden von Python in Notebook

Das Python-Notizbuch ist ein neues Erlebnis, das auf dem Fabric-Notizbuch aufgebaut ist. Es ist ein vielseitiges und interaktives Tool für die Datenanalyse, Visualisierung und maschinelles Lernen. Es bietet eine nahtlose Entwicklungsumgebung zum Schreiben und Ausführen von Python-Code. Diese Funktion macht es zu einem wesentlichen Tool für Data Scientists, Analysten und BI-Entwickler, insbesondere für Erkundungsaufgaben, die keine Big Data und verteilte Computing erfordern.

Ein Python-Notebook ermöglicht Ihnen Folgendes:

  • Mehrere integrierte Python-Kernel: Python-Notebooks bieten eine reine Python-Programmierumgebung ohne Spark, mit zwei Versionen des Python-Kernels – Python 3.10 und 3.11 sind standardmäßig verfügbar, und die nativen IPython-Features wie iPyWidget und Magic-Befehle werden unterstützt.

  • Kostenwirksam: Das neue Python-Notizbuch bietet kostensparende Vorteile, indem es standardmäßig auf einem einzelnen Knotencluster mit 2vCores/16 GB Arbeitsspeicher ausgeführt wird. Durch diese Einrichtung wird eine effiziente Ressourcenauslastung für Datenexplorationsprojekte mit geringerer Datengröße sichergestellt.

  • Lakehouse und Ressourcen sind nativ verfügbar: Das Fabric Lakehouse zusammen mit der vollständigen Funktionalität der integrierten Notebook-Ressourcen sind im Python-Notebook verfügbar. Mit diesem Feature können Benutzer die Daten auf einfache Weise in das Python-Notizbuch übertragen. Versuchen Sie einfach, & Drop zu ziehen, um den Codeausschnitt abzurufen.

  • Programmierung mit T-SQL verbinden: Das Python-Notebook bietet eine einfache Möglichkeit, mit Data Warehouse- und SQL-Endpunkten im Explorer zu interagieren. Durch die Verwendung des NotebookUtils-Datenconnectors können Sie die T-SQL-Skripts ganz einfach im Kontext von Python ausführen.

  • Unterstützung beliebter Datenanalysebibliotheken: Python-Notebooks verfügen über vorinstallierte Bibliotheken wie DuckDB, Polars und Scikit-learn und bieten ein umfassendes Toolkit für die Datenmanipulation, Datenanalyse und maschinelles Lernen.

  • Advanced IntelliSense: Das Python-Notizbuch verwendet Pylance als IntelliSense-Modul zusammen mit anderen benutzerdefinierten Fabric-Sprachdiensten, um eine Codierungserfahrung auf dem neuesten Stand der Technik für Notizbuchentwickler bereitzustellen.

  • NotebookUtils und Semantic Link: Leistungsstarke API-Toolkits ermöglichen Ihnen die einfache Verwendung von Fabric- und Power BI-Funktionen mit Code First.

  • Umfassende Visualisierungsfunktionen: Außer der beliebten umfassenden Dataframe-Previewfunktion „Tabelle“ und der „Diagramm“-Funktion werden auch beliebte Visualisierungsbibliotheken wie Matplotlib, Seaborn und Plotly unterstützt. Der PowerBIClient unterstützt diese Bibliotheken auch, um Benutzern das Verständnis von Datenmustern und Erkenntnissen zu erleichtern.

  • Allgemeine Funktionen für Fabric Notebook: Alle Features auf Notebook-Ebene gelten natürlich für Python-Notebooks, z. B. Bearbeitungsfeatures, AutoSpeichern, Zusammenarbeit, Freigabe- und Berechtigungsverwaltung, Git-Integration, Import/Export usw.

  • Vollständige Data-Science-Fähigkeiten: Das erweiterte Low-Code-Toolkit Data Wrangler, das Machine-Learning-Framework MLFlow und der leistungsstarke Copilot sind alle im Python-Notebook verfügbar.

So greifen Sie auf Python-Notebooks zu

Nach dem Öffnen eines Fabric-Notizbuchs können Sie im Dropdownmenü "Sprache" auf der Registerkarte "Start" zu Python wechseln und das gesamte Notizbuch in Python konvertieren.

Screenshot mit dem Wechsel zu Python über das Menü für die Notebook-Sprache.

Die meisten gängigen Features werden auf Notebook-Ebene unterstützt. Detaillierte Informationen zur Verwendung erhalten Sie unter Verwenden von Microsoft Fabric-Notebooks und Entwickeln, Ausführen und Verwalten von Microsoft Fabric-Notebooks. Hier sind einige wichtige Funktionen aufgeführt, die für Python-Szenarien spezifisch sind.

Ausführen von Python-Notebooks

Python-Notebook unterstützt mehrere Ausführungsarten für Jobs:

  • Interaktive Ausführung: Sie können ein Python-Notizbuch interaktiv wie ein systemeigenes Jupyter-Notizbuch ausführen.
  • Zeitplanausführung: Sie können die leicht gewichtete Planererfahrung auf der Seite mit den Notizbucheinstellungen verwenden, um Python-Notizbuch als Batchauftrag auszuführen.
  • Pipelineausführung: Sie können Python-Notizbücher als Notizbuchaktivitäten in Pipeline orchestrieren. Die Momentaufnahme wird nach der Jobausführung erstellt.
  • Referenzlauf: Sie können notebookutils.notebook.run() oder notebookutils.notebook.runMultiple() verwenden, um Python-Notizbücher in einem anderen Python-Notizbuch als Batchauftrag zu referenzieren. Die Momentaufnahme wird erstellt, nachdem die Referenzausführung abgeschlossen wurde.
  • Ausführung mit öffentlicher API: Sie können die Ausführung Ihres Python-Notebook mit der öffentlichen API für Notebook-Ausführungen planen. Stellen Sie sicher, dass die Sprach- und Kerneleigenschaften in den Notebook-Metadaten der Nutzlast der öffentlichen API ordnungsgemäß festgelegt sind.

Sie können die Details des Python-Notizbuchauftrags auf der Registerkarte Start ->Alle Ausführungen anzeigen« überwachen.

Dateninteraktion

Sie können mit Lakehouse, Warehouses, SQL-Endpunkten und integrierten Ressourcenordnern in einem Python-Notebook interagieren.

Note

  • Die Python-Notizbuchlaufzeit ist mit Delta-rs - und Duckdb-Bibliotheken vorinstalliert, um das Lesen und Schreiben von Delta Lake-Daten zu unterstützen. Beachten Sie jedoch, dass einige Delta Lake-Features derzeit möglicherweise nicht vollständig unterstützt werden. Weitere Details und die neuesten Updates finden Sie auf den offiziellen Delta-rs - und duckdb-Websites .
  • Deltalake(delta-rs) Version 1.0.0 oder höher wird derzeit nicht unterstützt. Bleiben Sie auf dem Laufenden.

Lakehouse-Interaktion

Sie können ein Lakehouse als Standard festlegen, oder Sie können auch mehrere Lakehouses hinzufügen, um diese zu erkunden und in Notebooks zu verwenden.

Wenn Sie mit dem Lesen der Datenobjekte wie Delta-Tabelle nicht vertraut sind, ziehen Sie die Datei und die Delta-Tabelle auf die Zeichenfläche des Notizbuchs, oder verwenden Sie die Option Daten laden im Dropdown-Menü des Objekts. Notebook fügt automatisch einen Codeschnipsel in die Codezelle ein und generiert Code, um das Zieldatenobjekt zu lesen.

Note

Wenn beim Laden großer Datenmengen OOM auftritt, versuchen Sie, DuckDB, Polars oder PyArrow-DataFrame anstelle von Pandas zu verwenden.

Sie finden den Lakehouse-Schreibvorgang in Durchsuchen von Codeschnipseln –>Schreiben von Daten in Delta-Tabelle.

Screenshot mit Lakehouse-Schreibvorgang.

Warehouse-Interaktion und gemischte Programmierung mit T-SQL

Sie können Data Warehouses oder SQL-Endpunkte aus dem Warehouse-Explorer von Notebook hinzufügen. Ebenso können Sie die Tabellen in den Notebook-Bereich ziehen und ablegen oder die Verknüpfungsoperationen im Dropdownmenü der Tabelle verwenden. Notebook generiert automatisch Codeschnipsel für Sie. Sie können die notebookutils.data Hilfsprogramme verwenden, um eine Verbindung mit Datenlagern herzustellen und die Daten im Python-Kontext mithilfe von T-SQL-Anweisungen abzufragen.

Screenshot mit Verknüpfungen für Warehousetabellen.

Note

SQL-Endpunkte sind hier schreibgeschützt.

Ordner „Notebookressourcen“

Der integrierte Ressourcenordner "Notebook-Ressourcen" ist standardmäßig im Python-Notizbuch verfügbar. Sie können ganz einfach mit den Dateien im integrierten Ressourcenordner interagieren, indem Sie Python-Code verwenden, als ob Sie mit Ihrem lokalen Dateisystem arbeiten. Derzeit wird der Ressourcenordner „Umgebung“ nicht unterstützt.

Kernelvorgänge

Python-Notizbuch unterstützt derzeit zwei integrierte Kernel, sie sind Python 3.10 und Python 3.11, der standardmäßig ausgewählte Kernel ist Python 3.11. Sie können ganz einfach zwischen diesen wechseln.

Sie können den Kernel auf der Registerkarte " Start " des Menübands unterbrechen, neu starten oder wechseln. Das Unterbrechen des Kernels in Python-Notebooks entspricht dem Abbrechen von Zellen im Spark-Notebook.

Der Screenshot zeigt Kernelvorgänge.

Ein abnormer Kernelausgang bewirkt, dass die Codeausführung unterbrochen wird und Variablen verloren gehen, aber die Notebooksitzung wird nicht beendet.

Es gibt Befehle, die dazu führen können, dass der Kernel abbricht. Beispiel: "quit()", "exit()".

Bibliotheksverwaltung

Sie können %pip und %conda Befehle für Inlineinstallationen verwenden, die Befehle unterstützen sowohl öffentliche Bibliotheken als auch angepasste Bibliotheken.

Für angepasste Bibliotheken können Sie die Lib-Dateien in den Ordner "Integrierte Ressourcen" hochladen. Wir unterstützen mehrere Arten von Bibliotheken, einschließlich Formate wie Wheel (.whl), JAR (.jar), DLL (.dll) und Python (.py). Probieren Sie einfach, die Datei per Drag & Drop zu ziehen, und der Codeausschnitt wird automatisch generiert.

Möglicherweise müssen Sie den Kernel neu starten, um die aktualisierten Pakete zu verwenden.

Wenn Sie ähnliche Befehle besser verstehen und verwenden möchten, lesen Sie die nachstehende Tabelle.

Command/Syntax Hauptzweck Funktionsweise im Jupyter-Notizbuch Typisches Anwendungsbeispiel Notes
%pip install package Installieren von Python-Paketen Führt pip im Python-Kernel des Notizbuchs aus. Empfohlene Methode zum Installieren von Paketen In Python-Notizbuch, identisch mit !pip; startet kernel nicht automatisch neu
!pip install package Installieren von Python-Paketen über Shell Führt pip als Shellbefehl aus. Alternative Möglichkeit zum Installieren von Paketen In Python-Notizbuch, identisch mit %pip; startet kernel nicht automatisch neu
import sys; sys.exit(0) Starten Sie den Notizbuchkern neu Startet den Kernel sofort neu. Programmgesteuerter Neustart des Kernels Löscht alle Variablen und Zustände; nicht empfohlen , direkt zu verwenden
notebookutils.session.restartPython() Starten Sie den Notizbuchkern neu Interne Anrufe sys.exit(0) Empfohlene Methode zum Neustarten des Kernels Offizielle API, sicherer und kompatibler als die direkte Verwendung sys.exit(0)

Note

  • Im Python-Notizbuch: %pip und !pip haben dasselbe Verhalten: Beide installieren Pakete in der Umgebung des aktuellen Kernels, und keiner wird den Kernel nach der Installation automatisch neu starten.
  • Wenn Sie den Kernel neu starten müssen (beispielsweise nach der Installation bestimmter Pakete), ist es empfehlenswerter, notebookutils.session.restartPython() anstelle von import sys; sys.exit(0) zu benutzen.
    • notebookutils.session.restartPython() ist eine offizielle API, die sys.exit(0) umschließt und in Notebook-Umgebungen sicherer und kompatibler ist.
  • Es wird nicht empfohlen , direkt zu verwenden sys.exit(0) , es sei denn, dies ist notwendig.

Überwachung der Ressourcennutzung in Python-Notizbuch in Echtzeit

Von Bedeutung

Dieses Feature befindet sich in der Vorschauphase.

Im Bereich "Ressourcenüberwachung" können Sie wichtige Laufzeitinformationen wie Sitzungsdauer, Berechnungstyp und Echtzeitressourcenmetriken, einschließlich CPU- und Arbeitsspeicherverbrauch, direkt in Ihrem Notizbuch nachverfolgen. Dieses Feature bietet eine sofortige Übersicht über Ihre aktive Sitzung und die verwendeten Ressourcen.

Der Ressourcenmonitor verbessert die Transparenz darüber, wie Python-Workloads Systemressourcen nutzen. Es hilft Ihnen, die Leistung zu optimieren, Kosten zu verwalten und das Risiko von Fehlern außerhalb des Arbeitsspeichers (Out-of-Memory, OOM) zu verringern. Durch die Überwachung von Metriken in Echtzeit können Sie ressourcenintensive Vorgänge identifizieren, Nutzungsmuster analysieren und fundierte Entscheidungen zum Skalieren oder Ändern von Code treffen.

Um mit der Verwendung zu beginnen, legen Sie Ihre Notizbuchsprache auf Python fest, und starten Sie eine Sitzung. Anschließend können Sie den Monitor öffnen, indem Sie entweder auf die Rechnerressourcen in der Statusleiste des Notizbuchs klicken oder Ressourcennutzung auf der Symbolleiste auswählen. Der Ressourcenüberwachungsbereich wird automatisch angezeigt und bietet eine integrierte Überwachungsoberfläche für Python-Code in Fabric-Notizbüchern.

Screenshot von der Überwachung der Ressourcennutzung in Echtzeit im Python-Notizbuch.

Magic-Befehl für Sitzungskonfiguration

Ähnlich wie beim Personalisieren einer Spark-Sitzungskonfiguration in Notebook können Sie %%configure ebenfalls in Python-Notebook verwenden. Python-Notebook unterstützt das Anpassen der Größe von Serverknoten, der Bereitstellungspunkte und des Standard-Lakehouse in der Notebooksitzung. Sie können sowohl in interaktiven Notebook- als auch in Pipeline-Notebook-Aktivitäten verwendet werden. Es wird empfohlen, den Befehl %%configure am Anfang Ihres Notizbuchs zu verwenden, oder Sie müssen die Notizbuchsitzung neu starten, damit die Einstellungen übernommen werden.

Hier sind die unterstützten Eigenschaften im Python-Notizbuch %%configure:

%%configure -f
{
    "vCores": 4, // Recommended values: [4, 8, 16, 32, 64], Fabric will allocate matched memory according to the specified vCores.
    "defaultLakehouse": {  
        // Will overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<(optional) lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
}

Sie können die Aktualisierung der Berechnungsressourcen auf der Notebook-Statusleiste anzeigen und die CPU- und Speicherauslastung des Serverknotens in Echtzeit überwachen.

Screenshot mit Aktualisierung von Rechenressourcen.

NotebookUtils

Notebook Utilities (NotebookUtils) ist ein integriertes Paket, mit dem Sie allgemeine Aufgaben in Fabric Notebook problemlos ausführen können. Es ist auf Python-Runtime vorinstalliert. Sie können NotebookUtils verwenden, um mit Dateisystemen zu arbeiten, Umgebungsvariablen zu erhalten, Notebooks miteinander zu verketten, auf externe Speicher zuzugreifen und Geheimnisse zu verwenden.

Sie können mit notebookutils.help() die verfügbaren APIs auflisten und auch Methodenhilfe abrufen oder auf die Dokumentation NotebookUtils referenzieren.

Datenhilfsprogramme

Note

Derzeit befindet sich die Funktion in der Vorschauphase.

Sie können notebookutils.data Hilfsprogramme verwenden, um eine Verbindung mit der bereitgestellten Datenquelle herzustellen und dann Daten mithilfe der T-SQL-Anweisung zu lesen und abzufragen.

Führen Sie den folgenden Befehl aus, um eine Übersicht über die verfügbaren Methoden zu erhalten:

notebookutils.data.help()

Output:

Help on module notebookutils.data in notebookutils:

NAME
    notebookutils.data - Utility for read/query data from connected data sources in Fabric

FUNCTIONS
    connect_to_artifact(artifact: str, workspace: str = '', artifact_type: str = '', **kwargs)
        Establishes and returns an ODBC connection to a specified artifact within a workspace 
        for subsequent data queries using T-SQL.
        
        :param artifact: The name or ID of the artifact to connect to.
        :param workspace:  Optional; The workspace in which the provided artifact is located, if not provided,
                             use the workspace where the current notebook is located.
        :param artifactType: Optional; The type of the artifact, Currently supported type are Lakehouse, Warehouse and MirroredDatabase. 
                                If not provided, the method will try to determine the type automatically.
        :param **kwargs Optional: Additional optional configuration. Supported keys include:
            - tds_endpoint : Allow user to specify a custom TDS endpoint to use for connection.
        :return: A connection object to the specified artifact.
        
        :raises UnsupportedArtifactException: If the specified artifact type is not supported to connect.
        :raises ArtifactNotFoundException: If the specified artifact is not found within the workspace.
        
        Examples:
            sql_query = "SELECT DB_NAME()"
            with notebookutils.data.connect_to_artifact("ARTIFACT_NAME_OR_ID", "WORKSPACE_ID", "ARTIFACT_TYPE") as conn:
                df = conn.query(sql_query)
                display(df)
    
    help(method_name: str = '') -> None
        Provides help for the notebookutils.data module or the specified method.
        
        Examples:
        notebookutils.data.help()
        notebookutils.data.help("connect_to_artifact")
        :param method_name: The name of the method to get help with.

DATA
    __all__ = ['help', 'connect_to_artifact']

FILE
    /home/trusted-service-user/jupyter-env/python3.10/lib/python3.10/site-packages/notebookutils/data.py

Abfragen von Daten aus Lakehouse

conn = notebookutils.data.connect_to_artifact("lakehouse_name_or_id", "optional_workspace_id", "optional_lakehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Abfragen von Daten aus Warehouse

conn = notebookutils.data.connect_to_artifact("warehouse_name_or_id", "optional_workspace_id", "optional_warehouse_type")
df = conn.query("SELECT * FROM sys.schemas;")

Abfragen von Daten aus sql-Datenbank

conn = notebookutils.data.connect_to_artifact("sqldb_name_or_id", "optional_workspace_id", "optional_sqldatabase_type") 
df = conn.query("SELECT * FROM sys.schemas;")

Note

Die Datendienstprogramme in NotebookUtils sind derzeit nur im Python-Notebook verfügbar.

Durchsuchen von Codeschnipseln

Nützliche Python-Codeausschnitte finden Sie auf der Registerkarte Bearbeiten - >Codeausschnitt durchsuchen, neue Python-Beispiele sind jetzt verfügbar. Sie können anhand der Python-Codeschnipsel lernen, um mit der Erkundung des Notebooks zu beginnen.

Screenshot, der zeigt, wo Python-Codeschnipsel durchsucht werden.

Die semantische Verknüpfung ist ein Feature, mit dem Sie eine Verbindung zwischen semantischen Modellen und Synapse Data Science in Microsoft Fabric herstellen können. Es wird nativ im Python-Notebook unterstützt. BI-Ingenieure und Power BI-Entwickler können Semantic link connect verwenden, um das semantische Modell einfach zu verwalten. Lesen Sie das öffentliche Dokument , um mehr über den semantischen Link zu erfahren.

Visualization

Zusätzlich zum Zeichnen von Diagrammen mit Bibliotheken können Sie mit der integrierten Visualisierungsfunktion DataFrames in umfangreiche Datenvisualisierungen umwandeln. Sie können die Display()- Funktion in Datenframes verwenden, um die umfangreiche Datenframetabellenansicht und die Diagrammansicht zu erzeugen.

Screenshot mit Visualisierung im Python-Notebook.

Note

Die Diagrammkonfigurationen werden im Python-Notebook beibehalten, was bedeutet, dass nach dem erneuten Ausführen der Codezelle, wenn sich das DataFrame-Zielschema nicht ändert, die gespeicherten Diagramme weiterhin beibehalten werden.

Code IntelliSense

Das Python-Notebook verwendet auch Pylance als Sprachserver. Weitere Informationen finden Sie unter Verbessern der Python-Entwicklung mit Pylance.

Data Science-Fähigkeiten

Besuchen Sie Data Science-Dokumentationen in Microsoft Fabric, um mehr über Datenwissenschaft und KI in Fabric zu erfahren. Hier werden einige wichtige Data Science-Features aufgeführt, die nativ im Python-Notebook unterstützt werden.

  • Data Wrangler: Data Wrangler ist ein Notizbuchbasiertes Tool, das eine immersive Schnittstelle für die Explorative Datenanalyse bereitstellt. Dieses Feature kombiniert eine rasterähnliche Datenanzeige mit dynamischen Zusammenfassungsstatistiken, integrierten Visualisierungen und einer Bibliothek mit allgemeinen Datenbereinigungsvorgängen. Es ermöglicht die Datenbereinigung, Datentransformation und Integration, wodurch die Datenaufbereitung mit Data Wrangler beschleunigt wird.

  • MLflow: Ein Machine Learning-Experiment ist die primäre Einheit der Organisation und Kontrolle für alle zugehörigen Machine Learning-Ausführungen. Ein Lauf entspricht einer einzelnen Ausführung von Modellcode.

  • Fabric Auto Logging: Synapse Data Science in Microsoft Fabric enthält eine automatische Protokollierung, wodurch die Menge an erforderlichem Code erheblich reduziert wird, um die Parameter, Metriken und Elemente eines Machine Learning-Modells während des Trainings automatisch zu protokollieren.

    Die automatische Protokollierung erweitert die MLflow-Tracking-Funktionen. Die automatische Protokollierung kann verschiedene Metriken aufzeichnen, einschließlich Genauigkeit, Fehler, F1-Score und benutzerdefinierte Metriken, die Sie festlegen. Mit Autologging können Entwickler und Data Scientists die Leistung verschiedener Modelle und Experimente ganz einfach verfolgen und vergleichen, ohne sie manuell nachzuverfolgen.

  • Copilot: Copilot für Data Science- und Data Engineering-Notizbücher ist ein KI-Assistent, der Ihnen hilft, Daten zu analysieren und zu visualisieren. Er funktioniert mit Lakehouse-Tabellen, Power BI-Datasets und Pandas/Spark-DataFrames, die Antworten und Codeschnipsel direkt im Notebook bereitstellen. Sie können den Copilot-Chatbereich und Char-Magics in Notebook verwenden, und die KI stellt Antworten oder Code bereit, den Sie in Ihr Notebook kopieren können.

Bekannte Einschränkungen der Public Preview

  • Livepool ist nicht bei jeder Ausführung eines Python-Notebooks garantiert. Das Starten der Sitzung kann bis zu 3 Minuten dauern, wenn die Ausführung des Notebooks nicht auf den Livepool trifft. Da die Nutzung von Python-Notebooks ansteigt, erhöhen unsere intelligenten Poolmethoden allmählich die Livepool-Zuweisung, um die Nachfrage zu bedienen.

  • Die Umgebungsintegration ist im Python-Notebook nicht über die Public Preview verfügbar.

  • Das Festlegen des Sitzungstimeouts ist zurzeit nicht verfügbar.

  • Copilot könnte eine Spark-Anweisung erzeugen, die möglicherweise nicht in einem Python-Notizbuch ausführbar ist.

  • Derzeit wird Copilot in Python-Notebooks in mehreren Regionen nicht vollständig unterstützt. Der Bereitstellungsprozess läuft noch, also bleiben Sie dran, während wir weiterhin Unterstützung in weiteren Regionen einführen.

Verwandte Inhalte

  • Last updated on