Hantera Apache Spark-konfiguration

I den här självstudien får du lära dig hur du skapar en Apache Spark-konfiguration för synapse Studio. Den skapade Apache Spark-konfigurationen kan hanteras på ett standardiserat sätt och när du skapar notebook- eller Apache Spark-jobbdefinitioner kan du välja den Apache Spark-konfiguration som du vill använda med Apache Spark-poolen. När du väljer den visas information om konfigurationen.

Skapa en Apache Spark-konfiguration

Du kan skapa anpassade konfigurationer från olika startpunkter, till exempel från Apache Spark-konfigurationssidan för en befintlig Spark-pool.

Skapa anpassade konfigurationer i Apache Spark-konfigurationer

Följ stegen nedan för att skapa en Apache Spark-konfiguration i Synapse Studio.

  1. Välj Hantera>Apache Spark-konfigurationer.

  2. Klicka på knappen Nytt för att skapa en ny Apache Spark-konfiguration eller klicka på Importera en lokal .json-fil till din arbetsyta.

  3. Den nya konfigurationssidan för Apache Spark öppnas när du klickar på knappen Ny .

  4. Som Namn kan du ange önskat och giltigt namn.

  5. För Beskrivning kan du ange en beskrivning i den.

  6. För Anteckningar kan du lägga till anteckningar genom att klicka på knappen Nytt , och du kan även ta bort befintliga anteckningar genom att välja och klicka på knappen Ta bort .

  7. För Konfigurationsegenskaper anpassar du konfigurationen genom att klicka på knappen Lägg till för att lägga till egenskaper. Om du inte lägger till en egenskap använder Azure Synapse standardvärdet när det är tillämpligt.

    Skärmbild som skapar Spark-konfiguration.

  8. Klicka på knappen Fortsätt .

  9. Klicka på knappen Skapa när verifieringen lyckades.

  10. Publicera alla

Anteckning

Ladda upp Apache Spark-konfigurationsfunktionen har tagits bort, men Synapse Studio behåller din tidigare uppladdade konfiguration.

Skapa en Apache Spark-konfiguration i en redan befintlig Apache Spark-pool

Följ stegen nedan för att skapa en Apache Spark-konfiguration i en befintlig Apache Spark-pool.

  1. Välj en befintlig Apache Spark-pool och klicka på åtgärden "..." Knappen.

  2. Välj Apache Spark-konfigurationen i innehållslistan.

    Skärmbild av apache spark-konfigurationen.

  3. För Apache Spark-konfiguration kan du välja en konfiguration som redan har skapats i listrutan eller klicka på +Ny för att skapa en ny konfiguration.

    • Om du klickar på +Nytt öppnas sidan Apache Spark-konfiguration och du kan skapa en ny konfiguration genom att följa stegen i Skapa anpassade konfigurationer i Apache Spark-konfigurationer.

    • Om du väljer en befintlig konfiguration visas konfigurationsinformationen längst ned på sidan. Du kan också klicka på knappen Redigera för att redigera den befintliga konfigurationen.

      Skärmbild som redigerar Spark-konfiguration.

  4. Klicka på Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda i den här Apache Spark-poolen.

    Skärmbild som väljer en konfiguration.

  5. Klicka på knappen Använd för att spara åtgärden.

Skapa en Apache Spark-konfiguration i notebook-filens konfigurerade session

Om du behöver använda en anpassad Apache Spark-konfiguration när du skapar en notebook-fil kan du skapa och konfigurera den i konfigurationssessionen genom att följa stegen nedan.

  1. Skapa en ny/Öppna en befintlig anteckningsbok.

  2. Öppna egenskaper för den här anteckningsboken.

  3. Klicka på Konfigurera session för att öppna sidan Konfigurera session.

  4. Rulla ned på sidan konfigurera session, för Apache Spark-konfiguration, expandera den nedrullningsbara menyn kan du klicka på knappen Ny för att skapa en ny konfiguration. Eller välj en befintlig konfiguration. Om du väljer en befintlig konfiguration klickar du på ikonen Redigera för att gå till sidan Redigera Apache Spark-konfiguration för att redigera konfigurationen.

  5. Klicka på Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda.

    Skärmbild som skapar konfiguration i konfigurationssessionen.

Skapa en Apache Spark-konfiguration i Apache Spark-jobbdefinitioner

När du skapar en spark-jobbdefinition måste du använda Apache Spark-konfigurationen, som kan skapas genom att följa stegen nedan:

  1. Skapa en ny/Öppna en befintlig Apache Spark-jobbdefinition.

  2. För Apache Spark-konfiguration kan du klicka på knappen Nytt för att skapa en ny konfiguration. Eller välj en befintlig konfiguration i den nedrullningsbara menyn. Om du väljer en befintlig konfiguration klickar du på ikonen Redigera för att gå till sidan Redigera Apache Spark-konfiguration för att redigera konfigurationen.

  3. Klicka på Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda.

    Skärmbild som skapar konfiguration i Spark-jobbdefinitioner.

Anteckning

Om Apache Spark-konfigurationen i notebook- och Apache Spark-jobbdefinitionen inte gör något speciellt används standardkonfigurationen när jobbet körs.

Importera och exportera en Apache Spark-konfiguration

Du kan importera .txt/.conf/.json-konfiguration i tre format och sedan konvertera den till artefakt och publicera den. Och kan också exportera till något av dessa tre format.

  • Importera .txt/.conf/.json-konfiguration från lokalt.

    Skärmbild som importerar konfigurationen.

  • Exportera .txt/.conf/.json-konfiguration till lokal.

    Skärmbild som exporterar konfigurationen.

För .txt konfigurationsfil och .conf-konfigurationsfil kan du läsa följande exempel:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

För .json-konfigurationsfilen kan du läsa följande exempel:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Nästa steg