Microsoft Fabric'da özel Spark havuzları oluşturma

İş yüklerinize uygun işlem kaynakları için Fabric'de özel Spark havuzlarını kullanın. Düğüm boyutunu seçebilir, otomatik ölçeklendirme davranışını yapılandırabilir ve dinamik yürütücü tahsisini etkinleştirebilirsiniz.

Özel havuzlar, iş yükü talebiyle eşleşen ölçeklendirme sınırları ayarlamanıza izin vererek performansı ve maliyeti dengelemenize yardımcı olur.

Uyarı

Özel Spark havuzları, kitaplık yayımlama için Tam modu kullanan bir ortamla özel bir canlı havuz olarak yapılandırıldığında yaklaşık 5 saniyelik bir oturum başlatılabilir. Canlı havuz yapılandırması olmadan özel Spark havuzlarının başlatılması yaklaşık üç dakika sürer.

Başlangıç havuzlarını zaten kullanıyorsanız, belirli iş yükleri için boyutlandırma ve ölçeklendirme davranışı üzerinde daha fazla denetime ihtiyacınız olduğunda özel havuzlar tamamlayıcı bir seçenektir. Hızlı başlangıç ve varsayılan ayarlar için başlangıç havuzlarını kullanın ve iş yüküne özgü işlem ayarlaması gerektiğinde özel havuzlara geçin. Başlangıç havuzları hakkında daha fazla bilgi edinmek için bakınız Fabric'de başlangıç havuzlarını yapılandırma.

Önkoşullar

Özel spark havuzu oluşturmak için:

  • Çalışma alanında Yönetici rolüne ihtiyacınız vardır.
  • Kapasite yöneticisinin, kapasite için Spark İşlem ayarlarında Özelleştirilmiş çalışma alanı havuzlarını etkinleştirmesi gerekir.

Daha fazla bilgi için bkz. Doku kapasiteleri için veri mühendisliği ve veri bilimi ayarlarını yapılandırma ve yönetme.

Özel Spark havuzları oluşturma

Çalışma alanınızla ilişkili Spark havuzunu oluşturmak veya yönetmek için:

  1. Çalışma alanınıza gidin ve Çalışma alanı ayarları'nı seçin.

    Çalışma alanı ayarları menüsünde Veri Mühendisliği nereden seçileceğini gösteren ekran görüntüsü.

  2. Menüyü genişletmek için Veri Mühendisliği/Bilim seçeneğini belirleyin ve ardından spark ayarlarınıseçin.

    Spark Ayarları ayrıntı görünümünü gösteren ekran görüntüsü.

  3. Yeni bir özel Spark havuzu oluşturmak için çalışma alanı için varsayılan havuz açılır listesinden Yeni Havuz'u seçin. Birden çok özel havuz oluşturabilir ve bunlardan herhangi birini çalışma alanınız için varsayılan havuz olarak seçebilirsiniz.

  4. Yeni havuz oluştur sayfasında bir havuz adı girin. İş yükü gereksinimlerine göre bir Düğüm ailesi ( bellek için iyileştirilmiş gibi) ve Düğüm boyutu seçin. Düğüm boyutları hakkında daha fazla bilgi için aşağıdaki Düğüm boyutu seçenekleri bölümüne bakın.

    Tavsiye

    Düğüm boyutu, her düğüme atanan işlem kapasitesini temsil eden Kapasite Birimleri (CU) tarafından belirlenir.

    Özel havuz oluşturma seçeneklerini gösteren ekran görüntüsü.

  5. Düzenleme görünümünde Otomatik Ölçeklendirme'yi yapılandırın ve yürütücüleri dinamik olarak ayırın.

    Otomatik ölçeklendirme ve dinamik ayırma için özel havuz oluşturma seçeneklerini gösteren ekran görüntüsü.

    İş yükü gereksinimlerinize göre her ayarı artırmak veya azaltmak için kaydırıcıları kullanın.

    • Otomatik Ölçeklendirme etkinleştirilirse havuz, etkinliğe göre yapılandırılan en düşük ve en yüksek düğüm değerleri arasında ölçeklendirilir.

    • Dinamik olarak ayrılan yürütücüler etkinleştirilirse Doku, yapılandırılan sınırlar içindeki iş yükü talebine göre yürütücü ayırmayı ayarlar.

  6. Oluştur'i seçin.

Tavsiye

Özel bir Spark havuzu oluşturduktan sonra, kitaplık dağıtım zamanlaması ekli ortamdaki yayımlama moduna bağlıdır. Hızlı mod yaklaşık 5 saniye içinde yayımlar ve oturum başlangıcında kitaplıkları yükler. Tam modun yayımlanması 3-6 dakika sürer ve oturum başlatma işlemi kapsamında kitaplıkları dağıtır (1-3 dakika). En hızlı deneyim için, yaklaşık 5 saniyelik oturum başlangıçlarına ulaşmak için havuzu Tam mod ile özel bir canlı havuz olarak yapılandırın.

Özel havuzların varsayılan otomatik duraklatma süresi, etkin olmadığında 2 dakikadır. Otomatik duraklatma işlemine ulaşıldığında oturum sona erer ve kümenin dağıtımı kaldırılır. Faturalama yalnızca işlem etkin olarak kullanıldığında geçerlidir. Fabric'teki özel Spark havuzları şu anda maksimum 200 düğüm sınırını destekliyor, bu yüzden minimum ve maksimum otomatik ölçeklendirme değerlerinin bu sınır içinde kaldığından emin olun.

Düğüm boyutu seçenekleri

Özel bir Spark havuzu ayarlarken aşağıdaki düğüm boyutları arasından seçim yaparsınız:

Ağ düğümü boyutu vCores Bellek (GB) Açıklama
Küçük 4 32 Basit geliştirme ve test işleri için.
Orta 8 64 Genel iş yükleri ve tipik işlemler için.
Büyük 16 128 Yoğun bellek kullanan görevler veya büyük veri işleme işleri için.
X-Large 32 256 Önemli kaynaklara ihtiyaç duyan en zorlu Spark iş yükleri için.
XX-Büyük 64 512 Düğüm başına en yüksek işlem ve bellek gerektiren en büyük Spark iş yükleri için.