Führe eine Datei auf einem Cluster oder eine Datei oder ein Notizbuch als Job in Azure Databricks mit der Databricks IDE-Erweiterung aus

Die IDE-Erweiterung Databricks ermöglicht es dir, deinen Python-Code auf einem Cluster oder in deinem Python-, R-, Scala- oder SQL-Code oder Notebook als Job in Azure Databricks auszuführen.

Diese Informationen gehen davon aus, dass Sie die IDE-Erweiterung Databricks bereits installiert und eingerichtet haben. Siehe Installieren der Databricks IDE-Erweiterung.

Hinweis

Verwenden Sie Databricks Connect zum Debuggen von Code oder Notebooks direkt in Visual Studio Code. Siehe Code mit Databricks Connect für die Databricks IDE-Erweiterung debuggen und Notebookzellen mit Databricks Connect mit der Databricks IDE-Erweiterung ausführen und debuggen.

Führen Sie eine Python-Datei auf einem Cluster aus

Hinweis

Dieses Feature ist nicht verfügbar, wenn serverlose Berechnungen verwendet werden.

Um eine Python-Datei auf einem Azure Databricks-Cluster mit der Databricks-IDE-Erweiterung auszuführen, wobei die Erweiterung und dein Projekt geöffnet sind:

  1. Öffnen Sie die Python-Datei, die Sie im Cluster ausführen möchten.
  2. Führen Sie eines der folgenden Verfahren aus:
    • Klicken Sie in der Titelleiste des Datei-Editors auf das Symbol " Auf Databricks ausführen ", und klicken Sie dann auf "Datei hochladen" und "Datei ausführen".

      Datei vom Symbol hochladen und ausführen

    • Klicken Sie in der Ansicht Explorer (Ansicht > Explorer) mit der rechten Maustaste auf die Datei und wählen Sie dann im Kontextmenü Datei in Databricks ausführen>Datei hochladen und ausführen aus.

      Datei aus dem Kontextmenü hochladen und ausführen

Die Datei wird im Cluster ausgeführt, und die Ausgabe ist in der Debugging-Konsole (Ansicht > Debugging-Konsole) verfügbar.

Eine Python-Datei als Job ausführen

Um eine Python-Datei mit der Databricks-IDE-Erweiterung als Azure Databricks-Job auszuführen, wenn die Erweiterung und dein Projekt geöffnet sind:

  1. Öffnen Sie die Python-Datei, die Sie als Auftrag ausführen möchten.
  2. Führen Sie eines der folgenden Verfahren aus:
    • Klicken Sie in der Titelleiste des Datei-Editors auf das Symbol Auf Databricks ausführen und dann auf „Datei als Workflow ausführen“.

      Datei als Workflow aus dem Symbol ausführen

    • Klicken Sie in der Ansicht Explorer (Ansicht > Explorer) mit der rechten Maustaste auf die Datei und wählen Sie dann im Kontextmenü In Databricks ausführen>Datei als Workflow ausführen aus.

      Datei als Workflow aus dem Kontextmenü ausführen

Eine neue Editor-Registerkarte mit dem Titel Databricks-Auftragsausführung wird angezeigt. Die Datei wird als Aufgabe im Arbeitsbereich ausgeführt, und jede Ausgabe wird im Ausgabe-Bereich der neuen Editorregisterkarte angezeigt.

Um Informationen zur Ausführung des Jobs anzuzeigen, klicken Sie auf den Link "Taskausführungs-ID" in der neuen Registerkarte "Databricks Jobausführungs-Editor". Ihr Arbeitsbereich wird geöffnet und die Details der Jobausführung werden im Arbeitsbereich angezeigt.

Führen Sie ein Python-, R-, Scala- oder SQL-Notizbuch als Job aus

Um ein Notebook als Azure Databricks-Job mit der Databricks-IDE-Erweiterung auszuführen, wobei die Erweiterung und Ihr Projekt geöffnet sind:

  1. Öffnen Sie das Notebook, das Sie als Auftrag ausführen möchten.

    Tipp

    Um eine Python-, R-, Scala- oder SQL-Datei in ein Azure Databricks-Notebook umzuwandeln, fügen Sie den Kommentar # Databricks notebook source am Anfang der Datei und den Kommentar # COMMAND ---------- vor jeder Zelle hinzu. Weitere Informationen finden Sie unter Konvertieren einer Datei in ein Notizbuch.

    Eine Python-Codedatei, formatiert als Databricks-Notebook1

  2. Führen Sie eines der folgenden Verfahren aus:

    • Klicken Sie in der Titelleiste des Notizbuchdatei-Editors auf das Symbol "Auf Databricks ausführen" und dann auf "Datei als Workflow ausführen".

      Hinweis

      Wenn In Databricks als Workflow ausführen nicht verfügbar ist, finden Sie weitere Informationen unter Erstellen einer benutzerdefinierten Ausführungskonfiguration.

    • Klicken Sie in der Ansicht Explorer (Ansicht > Explorer) mit der rechten Maustaste auf die Notebookdatei und wählen Sie dann im Kontextmenü In Databricks ausführen>Datei als Workflow ausführen aus.

Eine neue Editor-Registerkarte mit dem Titel Databricks-Auftragsausführung wird angezeigt. Das Notebook wird im Arbeitsbereich als Job ausgeführt. Das Notizbuch und seine Ausgabe werden im Ausgabebereich des neuen Editor-Tabs angezeigt.

Zum Anzeigen von Informationen zum Jobdurchlauf klicken Sie auf der Registerkarte Databricks-Auftragseditor auf den Link Task-Ausführungs-ID. Ihr Arbeitsbereich wird geöffnet, und die Details des Jobdurchlaufs werden im Arbeitsbereich angezeigt.

Eine benutzerdefinierte Ausführungskonfiguration erstellen

Eine benutzerdefinierte Run-Konfiguration für die IDE-Erweiterung Databricks erlaubt es, benutzerdefinierte Argumente an einen Job oder ein Notizbuch zu senden oder verschiedene Run-Einstellungen für verschiedene Dateien zu erstellen. Weitere Informationen finden Sie unter Starten von Konfigurationen in der Visual Studio Code-Dokumentation.

Klicken Sie zum Erstellen einer benutzerdefinierten Ausführungskonfiguration im Hauptmenü in Visual Studio Code auf Ausführen > Konfiguration hinzufügen. Wählen Sie dann Databricks für eine clusterbasierte Ausführungskonfiguration oder Databricks: Workflow für eine auftragsbasierte Ausführungskonfiguration aus.

Die folgende benutzerdefinierte Ausführungskonfiguration ändert z. B. den Startbefehl Datei als Workflow ausführen so, dass das Argument --prod an den Auftrag übergeben wird:

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Tipp

Fügen Sie "databricks": true Ihrer "type": "python" Konfiguration hinzu, wenn Sie die Python-Konfiguration verwenden möchten, und nutzen Sie die Databricks Connect-Authentifizierung, die Teil des Erweiterungssetups ist.