Migrera Spark-konfigurationer från Azure Synapse Analytics till Fabric

Apache Spark innehåller flera konfigurationer som kan anpassas för att förbättra upplevelsen i olika scenarier. I Azure Synapse Spark och Fabric Dataingenjör ing har du flexibiliteten att införliva dessa konfigurationer eller egenskaper för att skräddarsy din upplevelse. I Infrastruktur kan du lägga till Spark-konfigurationer i en miljö och använda infogade Spark-egenskaper direkt i dina Spark-jobb. Om du vill flytta Konfigurationer av Azure Synapse Spark-pooler till Infrastruktur använder du en miljö.

Information om Spark-konfiguration finns i skillnader mellan Azure Synapse Spark och Fabric.

Förutsättningar

  • Om du inte redan har en skapar du en Infrastruktur-arbetsyta i klientorganisationen.
  • Om du inte redan har en skapar du en miljö på din arbetsyta.

Alternativ 1: Lägga till Spark-konfigurationer i en anpassad miljö

I en miljö kan du ange Spark-egenskaper och dessa konfigurationer tillämpas på den valda miljöpoolen.

  1. Öppna Synapse Studio: Logga in i Azure. Gå till din Azure Synapse-arbetsyta och öppna Synapse Studio.
  2. Leta upp Spark-konfigurationer:
    • Gå till Hantera område och välj i Apache Spark-pooler.
    • Leta upp Apache Spark-poolen, välj Apache Spark-konfiguration och leta reda på Spark-konfigurationsnamnet för poolen.
  3. Hämta Spark-konfigurationer: Du kan antingen hämta dessa egenskaper genom att välja Visa konfigurationer eller exportera konfiguration (.txt/.conf/.json format) från Konfigurationer + bibliotek>Apache Spark-konfigurationer.
  4. När du har Spark-konfigurationer lägger du till anpassade Spark-egenskaper i din miljö i Infrastruktur:
    • I miljön går du till Spark Compute>Spark-egenskaper.
    • Lägg till Spark-konfigurationer. Du kan antingen lägga till var och en manuellt eller importera från .yml.
  5. Klicka på Spara och publicera ändringar.

Skärmbild som visar Spark-konfigurationer.

Läs mer om att lägga till Spark-konfigurationer i en miljö.