Microsoft Fabric'te kaynak profillerini yapılandırma

Şunlar için geçerlidir:✅ Doku Veri Mühendisliği ve Veri Bilimi

Doku Veri Mühendisliği'ndeki kaynak profilleri, el ile ayarlama yapmadan en iyi duruma getirilmiş Spark işlem yapılandırmalarını almanıza yardımcı olur. Bir birincil kullanım örneği, veri hacmi ve diğer birkaç üst düzey girişi seçerek iş yükünüzü açıklarsınız. Ardından Fabric, kanıtlanmış en iyi uygulamalar ve iç performans verilerine dayalı olarak düğüm boyutları, otomatik ölçeklendirme ayarları ve çalışma zamanı sürümü dahil önerilen bir yapılandırma oluşturur.

Kaynak profillerini neden kullanmalısınız?

Kaynak profilleri şu bilgileri sağlar:

Baştan iyileştirilmiş: İlk Spark oturumunuz, iş yükünüz için ayarlanmış işlem üzerinde çalışır; yinelemeli karşılaştırma gerekmez.
Tutarlılık: Çalışma alanı içindeki tüm Spark işleri aynı performans ayarlı yapılandırmayı paylaşır.
Daha iyi fiyat performansı: Doğru boyuttaki kaynaklar israfı azaltır ve aktarım hızını artırır.
Daha düşük işlem yükü: Daha az ayar döngüsü ve daha az destek yükseltmesi.

Önkoşullar

Kaynak profillerini yapılandırmak için çalışma alanının Yönetici rolüne sahip olmanız gerekir.

Kaynak profilini yapılandırma

Çalışma alanınız için bir kaynak profili yapılandırmak için:

Çalışma alanınıza gidin ve Çalışma alanı ayarları'nı seçin.
Sol bölmede Veri Mühendisliği/Bilim'i genişletin ve Spark ayarları'nı seçin.
Kaynak kullanımınızı optimize etmek için önerilen bir bilgisayar yapılandırması almak amacıyla, Kullanım örneğiniz için optimize et altında Başlarken'i seçin.
Kullanım örneğiniz için en iyi duruma getir sayfasında aşağıdaki girişleri sağlayın:
- Birincil kullanım örneği: Madalyon katmanını veya Görev tabanlı'yı seçin, ardından açılan listeden belirli bir seçeneği belirleyin. Madalyon katman seçenekleri Bronz, Gümüş veya Altın'dır. Görev tabanlı seçenekler Okuma için iyileştirilmiş veya Yazma için iyileştirilmiştir. Kullanım örneği seçme konusunda rehberlik için bkz . Birincil kullanım örneği başvurusu.
- Tipik veri birimi: Açılan listeden bir birim seçin: En fazla 1 GB, 10GB, 100 GB, 1 TB veya 1 TB'ınüzerinde.
- Maksimum kapasite birimi (CU): Spark havuzu için en yüksek CU sınırını ayarlamak için kaydırıcıyı kullanın.
Öneri al'ı seçin.

Fabric, belirttiğiniz girdilere göre optimize edilmiş bir yapılandırma oluşturur.
Öneriyi gözden geçirin. Öneri iki kategori için değerler içerir:
- Spark havuzu: Havuz türü, düğüm ailesi, düğüm boyutu, otomatik ölçeklendirme ve dinamik yürütücü ayırma.
- Ortam: Çalışma zamanı sürümü, Spark sürücü çekirdekleri ve bellek, Spark yürütücü çekirdekleri, bellek ve örnekler.
Girişlerinizi ayarlamak istiyorsanız, önceki sayfaya dönmek için geri oku seçin, seçimlerinizi güncelleştirin ve sonra öneri al'ı yeniden seçin.
Yapılandırma için bir Spark havuzu adı ve Ortam girin, ardından uygula'yı seçerek çalışma alanına kaydedin.

Kaynak profili uyguladıktan sonra Fabric, önerilen ayarlarla özel bir Spark havuzu oluşturur.

Uyarı

Çalışma alanınızda özel havuz yoksa, yeni havuz otomatik olarak çalışma alanı için varsayılan havuz olarak ayarlanır. Çalışma alanınız zaten bir varsayılan havuza sahipse Spark çalışma alanı ayarlarınızda yeni havuza el ile geçiş yapmanız gerekir. Etkin oturumlar yeniden başlatılana kadar etkilenmez.

Temel kullanım örneği rehberi

Kaynak profilini yapılandırırken doğru Birincil kullanım örneği girişini seçmek için aşağıdaki kılavuzu kullanın:

Madalyon katmanı

Veri işlem hattınız, verilerin Bronz (ham), Gümüş (temizlenmiş) ve Altın (seçilmiş) aşamalarında ilerlediği madalyon mimari desenini izlerse , Madalyon katmanı'nı seçin. Her seçenek, bu aşamaya özgü okuma/yazma özelliklerine göre hesaplamayı ayarlar.

Kullanım örneği	Ne zaman kullanılır?
Bronz	Ham veri alımı, yüksek yazma aktarım hızı, çeşitli biçimler
Gümüş	Temizleme ve zenginleştirme, dengeli okuma/yazma ve orta düzeyde join işlemleri
Altın	Analiz ve Power BI için okuma işlemleri optimize edilmiş toplama ve raporlama.

Görev tabanlı

İş yükünüz madalyon desenini izlemiyorsa veya tek bir erişim deseninin hakimiyetindeyse Görev tabanlı'yı seçin. Örneğin, tek başına ETL işleri, etkileşimli analiz not defterleri veya akış işlem hatları için bu seçeneği kullanın.

Kullanım örneği	Ne zaman kullanılır?
Okuma için iyileştirilmiş	Sık okuma ve sorgular, etkileşimli notebooklar
Yazma için optimize edilmiş	Yüksek hacimli alım, ETL veri işleme hatları, akış işlemleri

Kaynak profillerini otomatik güncelleştirme

Kaynak profilleri, Spark işlem yapılandırmanızı Fabric en son iyileştirmelerle uyumlu tutan bir otomatik güncelleştirme özelliğini destekler. Otomatik güncelleştirme etkinleştirildiğinde, Fabric iş yüküne özgü Spark özelliklerini kaynak profili türünüz temelinde el ile ayarlamaya gerek kalmadan uygular.

Yapılandırmaları otomatik güncelleştirme

Fabric, her biri belirli bir iş yükü deseni için ayarlanmış üç otomatik güncelleştirme profili sağlar:

Spark iş yükleri için okuma ağırlıklı

spark.fabric.resourceProfile.readHeavyForSparkAutoUpdate üzerinden ayarla

{
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "128"
}

İş yükünüzde Spark okuma işlemleri baskınsa ve orta düzeyde yazma optimizasyonu gereksinimleri varsa, bu profili kullanın.

Power BI iş yükleri için okuma ağırlıklı

spark.fabric.resourceProfile.readHeavyForPBIAutoUpdate üzerinden ayarla

{
    "spark.sql.parquet.vorder.default": "true",
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "1g"
}

Verileriniz öncelikli olarak Power BI tarafından tüketildiğinde bu profili kullanın. V-order, optimal Direct Lake performansı için etkinleştirilmiş ve daha büyük bir bin boyutu, analitik okumalara uygun daha az ve daha büyük dosya üretir.

Yoğun yazma iş yükleri

spark.fabric.resourceProfile.writeHeavyAutoUpdate üzerinden ayarla

{
    "spark.sql.parquet.vorder.default": "false",
    "spark.databricks.delta.optimizeWrite.binSize": "128",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"
}

İş yükünüz yazma yoğunluklu olduğunda (örneğin, yüksek hacimli alım veya ETL) bu profili kullanın. V-order devre dışı bırakılır ve yazma yükünü azaltmak için optimize edilmiş yazma ve bölümleme ile etkinleştirilir.

Otomatik güncelleştirme nasıl çalışır?

Otomatik güncelleştirme içeren bir kaynak profili uygulandığında:

Fabric, birincil kullanım örneğiniz ve iş yükü türünüz temelinde uygun otomatik güncelleştirme yapılandırmasını seçer.
Spark özellikleri çalışma alanında yeni oturumlara otomatik olarak uygulanır.
Etkin oturumlar yeniden başlatılmadıkça etkilenmez.