Fabric ortamlarında Spark işlem yapılandırma ayarları

Microsoft Fabric Veri Mühendisliği ve Veri Bilimi deneyimleri, tam olarak yönetilen bir Spark işlem platformu üzerinde çalışır. Varsayılan olarak, çalışma alanı içindeki tüm Spark işleri aynı havuzu ve kaynak ayarlarını paylaşır, ancak farklı iş yüklerinin genellikle farklı gereksinimleri vardır. Basit bir veri dönüşümü için büyük ölçekli makine öğrenmesi işiyle aynı sürücü belleği gerekmez.

Doku ortamları Spark işlem yapılandırmasını iş yükü başına uyarlamanıza olanak tanır; böylece her not defteri veya Spark iş tanımı çalışma alanı genelindeki varsayılanları değiştirmeden doğru çalışma zamanı sürümü, havuzu ve sürücü/yürütücü boyutlandırmasıyla çalışabilir.

Çalışma alanı düzeyinde işlem ayarlarını yapılandırma

Çalışma alanı yöneticileri, ortam öğelerinin çalışma alanı varsayılan işlem yapılandırmasını geçersiz kılıp geçersiz kılamayacağını denetler. Öğe düzeyinde özelleştirmenin devre dışı bırakılması, çalışma alanı genelinde tutarlı kaynak kullanımı sağlar. Bu özelliğin etkinleştirilmesi, üyelere ve katkıda bulunanlara tek tek iş yükleri için işlem ayarlama esnekliği sağlar.

  1. Tarayıcınızda, Fabric portalında Fabric çalışma alanınıza gidin.

  2. Çalışma alanı ayarları'nı seçin.

  3. Veri Mühendisliği/Bilim'i ve ardından Spark ayarları'nı seçin.

  4. Havuz sekmesini seçin.

  5. Öğeler için işlem yapılandırmalarını özelleştir anahtarını Açık duruma getirin.

    Çalışma alanı ayarlarında öğe düzeyinde işlem özelleştirme seçeneğini gösteren ekran görüntüsü.

    Bu geçiş açıkken, üyeler ve katkıda bulunanlar Bir Doku ortamında oturum düzeyi işlem yapılandırmalarını değiştirebilir. Kapalı olduğunda, ortam öğelerindeki İşlem bölümü devre dışı bırakılır ve tüm Spark işleri çalışma alanı varsayılan havuzunu kullanır.

  6. Kaydetseçeneğini seçin.

Bir ortamda hesaplama yapılandırın

Çalışma alanı yöneticisi öğe düzeyinde özelleştirmeyi etkinleştirdikten sonra, bir ortam öğesi içinde işlem ayarlarını yapılandırabilirsiniz. Buna Spark çalışma zamanı seçme, havuz seçme ve sürücü ile yürütücü kaynaklarını ayarlama dahildir.

Spark çalışma zamanı seçme

  1. Ortam öğenizi açın.

  2. Giriş sekmesinde Çalışma Zamanı açılan listesini seçin ve bir çalışma zamanı sürümü seçin.

    Ortam için çalışma zamanı sürümünü seçmeyi gösteren ekran görüntüsü.

Her Spark çalışma zamanının kendi varsayılan ayarları ve önceden yüklenmiş paketleri vardır.

Önemli

  • Çalışma zamanı değişiklikleri, ortamı kaydedip yayımlamadığınız sürece geçerli olmaz.
  • Mevcut kitaplıklar veya işlem ayarları seçili çalışma zamanıyla uyumlu değilse yayımlama başarısız olur. Uyumsuz ayarları kaldırın veya güncelleştirin ve sonra yeniden yayımlayın.
  • Adım adım yayımlama yönergeleri için bkz. Değişiklikleri kaydetme ve yayımlama.

Havuz seçme ve işlem özelliklerini ayarlama

  1. Ortamı açın ve İşlem bölümüne gidin.

  2. Ortam havuzu altında, çalışma alanı yöneticiniz tarafından oluşturulan başlangıç havuzunu veya özel havuzu seçin.

    Ortam İşlem bölümünde havuzların nerede seçildiğini gösteren ekran görüntüsü.

  3. Seçili havuz için oturum düzeyinde Spark özelliklerini yapılandırmak için İşlem sayfasındaki açılan menüleri kullanın. Kullanılabilir değerler havuzun düğüm boyutuna bağlıdır.

    Ortam İşlem bölümündeki hesaplama özellikleri açılır listelerini gösteren ekran görüntüsü.

    Özellikler şunlardır:

    • Spark sürücü çekirdekleri – Spark sürücüsüne ayrılan çekirdek sayısı.
    • Spark sürücüsü belleği – Spark sürücüsüne ayrılan bellek miktarı.
    • Spark yürütücü çekirdekleri – Her yürütücüye ayrılan çekirdek sayısı.
    • Spark yürütücü belleği – Her yürütücüye ayrılan bellek miktarı.

Kullanılabilir havuz boyutları ve kaynak sınırları hakkında ayrıntılı bilgi için bkz. Yapıda Spark işlemesi.

Uyarı

Denetim uygulama düzeyi parametreleri aracılığıyla spark.conf.set ayarlanan Spark özellikleri, burada açıklanan ortam işlem ayarlarıyla ilgili değildir.

İlgili içerik

  • Last updated on