Verwalten der Apache Spark-Konfiguration

Artikel
04/25/2023

In diesem Tutorial erfahren Sie, wie Sie eine Apache Spark-Konfiguration für Synapse Studio erstellen. Die erstellte Apache Spark-Konfiguration kann auf standardisierte Weise verwaltet werden, und wenn Sie Auftragsdefinitionen für Notebooks oder Apache Spark erstellen, können Sie die Apache Spark-Konfiguration auswählen, die Sie mit Ihrem Apache Spark-Pool verwenden möchten. Bei Auswahl der Definition werden die Konfigurationsdetails angezeigt.

Erstellen einer Apache Spark-Konfiguration

Sie können benutzerdefinierte Konfigurationen aus verschiedenen Einstiegspunkten erstellen, z. B. auf der Apache Spark-Konfigurationsseite eines bestehenden Spark-Pools.

Erstellen benutzerdefinierter Konfigurationen in Apache Spark-Konfigurationen

Führen Sie die folgenden Schritte aus, um eine Apache Spark-Konfiguration in Synapse Studio zu erstellen.

Klicken Sie auf Verwalten>Apache Spark-Konfigurationen.
Klicken Sie auf Neu, um eine neue Apache Spark-Konfiguration zu erstellen, oder klicken Sie auf Importieren, um eine lokale JSON-Datei in Ihren Arbeitsbereich zu importieren.
Die Seite Neue Apache Spark-Konfiguration wird geöffnet, nachdem Sie auf die Schaltfläche Neu geklickt haben.
Bei Name können Sie Ihren bevorzugten und gültigen Namen eingeben.
Bei Beschreibung können Sie eine Beschreibung eingeben.
Bei Anmerkungen können Sie Anmerkungen hinzufügen, indem Sie auf Neu klicken. Sie können auch vorhandene Anmerkungen löschen, indem Sie auf Löschen klicken.
Unter Konfigurationseigenschaften können Sie die Konfiguration anpassen, indem Sie auf Hinzufügen klicken, um Eigenschaften hinzuzufügen. Wenn Sie keine Eigenschaft hinzufügen, verwendet Azure Synapse ggf. den entsprechenden Standardwert.
Klicken Sie auf Weiter.
Klicken Sie auf Erstellen, wenn die Überprüfung erfolgreich war.
Alle veröffentlichen

Hinweis

Das Feature Apache Spark-Konfiguration hochladen wurde entfernt. Ihre bereits hochgeladene Konfiguration wird in Synapse Studio jedoch beibehalten.

Erstellen einer Apache Spark-Konfiguration in einem bestehenden Apache Spark-Pool

Führen Sie die folgenden Schritte aus, um eine Apache Spark-Konfiguration in einem bestehenden Apache Spark-Pool zu erstellen.

Wählen Sie einen bestehenden Apache Spark-Pool aus, und klicken Sie auf die Aktionsschaltfläche „...“.
Wählen Sie Apache Spark-Konfiguration aus der Inhaltsliste aus.
Für die Apache Spark-Konfiguration können Sie eine bereits erstellte Konfiguration aus der Dropdownliste auswählen oder auf +Neu klicken, um eine neue Konfiguration zu erstellen.
- Wenn Sie auf +Neu klicken, wird die Apache Spark-Konfigurationsseite geöffnet, und Sie können eine neue Konfiguration erstellen, indem Sie die Schritte unter Erstellen benutzerdefinierter Konfigurationen in Apache Spark-Konfigurationen ausführen.
- Wenn Sie eine bestehende Konfiguration auswählen, werden die Konfigurationsdetails unten auf der Seite angezeigt. Sie können auch auf Bearbeiten klicken, um die bestehende Konfiguration zu bearbeiten.
Klicken Sie auf Konfigurationen anzeigen, um die Seite Eine Konfiguration auswählen zu öffnen. Auf dieser Seite werden alle Konfigurationen angezeigt. Sie können eine Konfiguration auswählen, die Sie in diesem Apache Spark-Pool verwenden möchten.
Klicken Sie auf Übernehmen , um Ihre Änderungen zu speichern.

Erstellen einer Apache Spark-Konfiguration in der Konfigurationssitzung des Notebooks

Wenn Sie beim Erstellen eines Notebooks eine benutzerdefinierte Apache Spark-Konfiguration verwenden müssen, können Sie sie in der Konfigurationssitzung erstellen und konfigurieren, indem Sie die folgenden Schritte ausführen.

Erstellen Sie ein neues Notebook, oder öffnen Sie ein bestehendes.
Öffnen Sie die Eigenschaften dieses Notebooks.
Klicken Sie auf Configure session (Sitzung konfigurieren), um die Seite „Sitzung konfigurieren“ zu öffnen.
Scrollen Sie auf der Konfigurationsseite für Apache Spark nach unten, und erweitern Sie das Dropdownmenü. Sie können auf „Neu“ klicken, um eine neue Konfiguration zu erstellen. Stattdessen können Sie eine bestehende Konfiguration auswählen, wenn Sie eine bestehende Konfiguration auswählen, klicken Sie auf das Symbol Bearbeiten, um zur Seite „Apache Spark-Konfiguration bearbeiten“ zu wechseln und die Konfiguration zu bearbeiten.
Klicken Sie auf Konfigurationen anzeigen, um die Seite Eine Konfiguration auswählen zu öffnen. Auf dieser Seite werden alle Konfigurationen angezeigt. Sie können eine Konfiguration auswählen, die Sie verwenden möchten.

Erstellen einer Apache Spark-Konfiguration in Apache Spark-Auftragsdefinitionen

Wenn Sie eine Spark-Auftragsdefinition erstellen, müssen Sie die Apache Spark-Konfiguration verwenden, die mithilfe der folgenden Schritte erstellt werden kann:

Erstellen Sie eine neue Apache Spark-Auftragsdefinition, oder öffnen Sie eine bestehende.
Für die Apache Spark-Konfiguration können Sie auf „Neu“ klicken, um eine neue Konfiguration zu erstellen. Stattdessen können Sie eine bestehende Konfiguration aus dem Dropdownmenü auswählen, wenn Sie eine bestehende Konfiguration auswählen, klicken Sie auf das Symbol Bearbeiten, um zur Seite „Apache Spark-Konfiguration bearbeiten“ zu wechseln und die Konfiguration zu bearbeiten.
Klicken Sie auf Konfigurationen anzeigen, um die Seite Eine Konfiguration auswählen zu öffnen. Auf dieser Seite werden alle Konfigurationen angezeigt. Sie können eine Konfiguration auswählen, die Sie verwenden möchten.

Hinweis

Wenn die Apache Spark-Konfiguration in der Notebook- und Apache Spark-Auftragsdefinition keinen besonderen Zweck erfüllt, wird die Standardkonfiguration beim Ausführen des Auftrags verwendet.

Importieren und Exportieren einer Apache Spark-Konfiguration

Sie können TXT-, CONFIG- und JSON-Konfigurationen in drei Formaten importieren und anschließend in Artefakte konvertieren und veröffentlichen. Der Export in eins dieser drei Formate ist ebenfalls möglich.

Importieren Sie die TXT-, CONFIG- oder JSON-Konfiguration vom lokalen Computer:
Exportieren Sie die TXT-, CONFIG- oder JSON-Konfiguration auf den lokalen Computer:

Informationen zur TXT- und CONFIG-Konfigurationsdatei finden Sie in den folgenden Beispielen:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Informationen zur JSON-Konfigurationsdatei finden Sie in den folgenden Beispielen:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}