Freigeben über

Konfigurieren von Ressourcenprofilkonfigurationen in Microsoft Fabric

  • Artikel

Microsoft Fabric unterstützt jetzt vordefinierte Spark-Ressourcenprofile– eine einfache und leistungsstarke Möglichkeit für Datentechniker, Spark-Konfigurationen basierend auf Workloadanforderungen zu optimieren. Mit diesen Profilen können Benutzer schnell bewährte Methoden für allgemeine Muster wie leseintensive, schreibintensive oder hybride Workloads mithilfe eines auf Eigenschaftenbehältern basierenden Ansatzes anwenden.

Ganz gleich, ob Sie Terabyte Streamingdaten aufnehmen oder Hochleistungsanalyseabfragen ausführen, Ressourcenprofile bieten einen schnellen Weg zur Leistung, ohne dass eine manuelle Spark-Optimierung erforderlich ist.

Vorteile von Ressourcenprofilen

  • ✅Leistung als Standard – Wenden Sie bewährte, workloadoptimierte Spark-Einstellungen von Anfang an an.
  • ✅Flexibilität – Auswählen oder Anpassen von Profilen basierend auf Ihren Erfassungs- und Abfragemustern.
  • ✅Fein abgestimmte Spark-Konfigurationen – Vermeiden Sie Versuche und Irrtümer bei der Optimierung und reduzieren Sie den Betriebsaufwand.

Hinweis

Alle neuen Fabric-Arbeitsbereiche werden jetzt standardmäßig auf das writeHeavy-Profil festgelegt, um eine optimale Erfassungsleistung zu erzielen. Dazu gehören Standardkonfigurationen, die auf ETL- und Streamingdatenworkflows im großen Maßstab zugeschnitten sind.

Verfügbare Ressourcenprofile

Die folgenden Profile werden derzeit in Microsoft Fabric unterstützt:

Profil Anwendungsfall Konfigurationseigenschaft
readHeavyForSpark Optimiert für Spark-Workloads mit häufigen Lesevorgängen spark.fabric.resourceProfile = readHeavyForSpark
readHeavyForPBI Optimiert für Power BI-Abfragen in Delta-Tabellen spark.fabric.resourceProfile = readHeavyForPBI
writeHeavy Optimiert für sehr häufige Erfassungs- und Schreibvorgänge spark.fabric.resourceProfile = writeHeavy
custom Vollständig benutzerdefinierte Konfiguration spark.fabric.resourceProfile = custom

Standardkonfigurationswerte für jedes Profil

Ressourcenprofil Konfigurationen
writeHeavy {"spark.sql.parquet.vorder.default": "false", "spark.databricks.delta.optimizeWrite.enabled": "false", "spark.databricks.delta.optimizeWrite.binSize": "128", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.stats.collect": "false"}
readHeavyForPBI {"spark.sql.parquet.vorder.default": "true", "spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "1g"}
readHeavyForSpark {"spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "128"}
custom (z. B. fastIngestProfile) Vollständig benutzerdefinierte Einstellungen. Beispiel: {"spark.sql.shuffle.partitions": "800", "spark.sql.adaptive.enabled": "true", "spark.serializer": "org.apache.spark.serializer.KryoSerializer"}

Tipp

Sie können Ihr benutzerdefiniertes Profil mit einem aussagekräftigen Namen benennen, der Ihr Workloadmuster widerspiegelt, z. B. fastIngestProfile oder lowLatencyAnalytics.

Konfigurieren von Ressourcenprofilen

Sie können Ressourcenprofile in Microsoft Fabric mit zwei verschiedenen Methoden konfigurieren:

1. Konfigurieren von Ressourcenprofilen mithilfe von Umgebungen

Sie können das Standardmäßige Spark-Ressourcenprofil auf Umgebungsebenedefinieren. Bei Anwendung wird das ausgewählte Profil automatisch für alle Spark-Aufträge innerhalb der Umgebung verwendet, es sei denn, es wird außer Kraft gesetzt.

Schritte:

  1. Navigieren Sie zu Ihrem Fabric-Arbeitsbereich.
  2. Bearbeiten oder eine neue Umgebung erstellen.
  3. Legen Sie unter Spark-Konfigurationendie folgende Eigenschaft fest.
  4. spark.fabric.resourceProfile = writeHeavy oder readHeavyForPBI oder readHeavyForSpark, oder Sie können Ihren eigenen Profilnamen auswählen und mit Konfigurationen basierend auf Ihren Anforderungen anpassen.
  5. Sie können ein vorhandenes Profil auswählen und auch die Standardwerte ändern, z. B. "readHeavyForSpark" auswählen und die Binsize von 128 auf 256 erhöhen.

2. Konfigurieren von Ressourcenprofilen zur Laufzeit mit spark.conf.set

Sie können das Standardressourcenprofil auch bei der Ausführung des Notizbuchs oder von Spark-Aufträgen außer Kraft setzen, indem Sie:

spark.conf.set("spark.fabric.resourceProfile", "readHeavyForSpark")

Dieser Ansatz bietet die Laufzeitflexibilität, um das Verhalten basierend auf Auftragslogik, Zeitplanung oder Workloadtyp zu ändern, sodass unterschiedliche Profile für verschiedene Teile eines Notebooks möglich sind.

Hinweis

Wenn sowohl Umgebungs- als auch Laufzeitkonfigurationen festgelegt sind, haben Laufzeiteinstellungen Vorrang.

Was geschieht standardmäßig?

Alle neu erstellten Arbeitsbereiche in Microsoft Fabric werden standardmäßig auf das writeHeavy-Profil festgelegt. Dadurch wird Folgendes sichergestellt:

  • Effiziente Verarbeitung von Datenerfassungspipelines
  • Optimierter Durchsatz für Batch- und Streamingaufträge
  • Bessere sofort einsatzbereite Leistung für gängige ETL-Workloads

Wenn sich Ihre Workload unterscheidet (z. B. interaktive Abfragen, Dashboard-Bereitstellung), können Sie die Standardeinstellungen auf Umgebungsebene aktualisieren oder während der Ausführung dynamisch außer Kraft setzen.

Verwandte Inhalte