Microsoft Fabric'te özel Spark havuzları oluşturma

Bu makalede, analiz iş yükleriniz için Microsoft Fabric'te özel Apache Spark havuzlarının nasıl oluşturulacağı gösterilmektedir. Apache Spark havuzları gereksinimlerinize göre uyarlanmış işlem ortamları oluşturmanıza olanak tanır, böylece en iyi performansı ve kaynak kullanımını elde edersiniz.

Otomatik ölçeklendirme için en düşük ve en yüksek düğümleri belirtin. İşinizin işlem gereksinimleri değiştikçe sistem düğümleri alır ve devre dışı bırakdığından ölçeklendirme verimlidir ve performans artar. Spark havuzları yürütücü sayısını otomatik olarak ayarlar, böylece bunları el ile ayarlamanız gerekmez. Sistem, performans ayarlama ve kaynak yönetimi yerine iş yüklerinize odaklanabilmeniz için veri hacmine ve iş işlem gereksinimlerine göre yürütücü sayılarını değiştirir.

Tavsiye

Spark havuzlarını yapılandırdığınızda düğüm boyutu, her düğüme atanan işlem kapasitesini temsil eden Kapasite Birimleri (CU) tarafından belirlenir. Düğüm boyutları ve CU hakkında daha fazla bilgi için bu kılavuzdaki Düğüm boyutu seçenekleri bölümüne bakın.

Önkoşullar

Özel spark havuzu oluşturmak için çalışma alanına yönetici erişimine sahip olduğunuzdan emin olun. Kapasite yöneticisi, Kapasite Yöneticisi ayarlarınınSpark İşlem bölümünde Özelleştirilmiş çalışma alanı havuzları seçeneğini etkinleştirir. Daha fazla bilgi için bkz. Doku Kapasiteleri için Spark İşlem Ayarları.

Özel Spark havuzları oluşturma

Çalışma alanınızla ilişkili Spark havuzunu oluşturmak veya yönetmek için:

1. Çalışma alanınıza gidin ve çalışma alanı ayarlarıseçin.

2. Menüyü genişletmek için Veri Mühendisliği/Bilim seçeneğini belirleyin ve ardından spark ayarlarınıseçin.

   spark ayarları ayrıntı görünümünü gösteren ekran görüntüsü

3. Yeni Havuz seçeneğini belirleyin. Havuz Oluştur ekranında Spark havuzunuzu adlandırın. Ayrıca Node ailesiseçin ve iş yüklerinizin işlem gereksinimlerine göre kullanılabilir boyutlardan (Küçük,Orta, Büyük, X Büyükve XX-Large) Düğüm boyutu seçin.

   

4. Özel havuzlarınız için en düşük düğüm yapılandırmasını 1olarak ayarlayabilirsiniz. Fabric Spark tek düğümlü kümeler için geri yüklenebilen kullanılabilirlik sağladığından, iş hataları, başarısızlıklar nedeniyle oturum kaybı veya daha küçük Spark işleri için hesaplama kaynaklarına aşırı ödeme yapma konusunda endişelenmeniz gerekmez.

5. Özel Spark havuzlarınız için otomatik ölçeklendirmeyi etkinleştirebilir veya devre dışı bırakabilirsiniz. Otomatik ölçeklendirme etkinleştirildiğinde havuz, kullanıcı tarafından belirtilen en yüksek düğüm sınırına kadar dinamik olarak yeni düğümler alır ve iş yürütmeden sonra bunları devre dışı bırakacaktır. Bu özellik, kaynakları iş gereksinimlerine göre ayarlayarak daha iyi performans sağlar. Fabric kapasite SKU'sunun bir parçası olarak satın alınan kapasite birimlerine sığan düğümleri boyutlandırmanıza izin verilir.

   

6. Yürütücü sayısını bir kaydırıcı kullanarak ayarlayabilirsiniz. Her yürütücü, görevleri çalıştıran ve verileri bellekte tutan bir Spark işlemidir. Yürütücülerin artırılması paralelliği geliştirebilir, ancak kümenin boyutunu ve başlangıç süresini de artırır. Spark havuzunuz için dinamik yürütücü ayırmayı etkinleştirmeyi de seçebilirsiniz. Bu, kullanıcı tarafından belirtilen en fazla sınır içindeki en uygun yürütücü sayısını otomatik olarak belirler. Bu özellik, yürütücü sayısını veri hacmine göre ayarlayarak performansı ve kaynak kullanımını artırır.

Bu özel havuzlar, işlem yapılmadığında süre dolduktan sonra 2 dakika olan varsayılan otomatik duraklama süresine sahiptir. Otopause süresine ulaşıldıktan sonra oturumun süresi dolar ve kümeler serbest bırakılır. Düğüm sayısına ve özel Spark havuzlarının kullanıldığı süreye göre ücretlendirilirsiniz.

Not

Microsoft Fabric'teki özel Spark havuzları şu anda en fazla 200 düğüm sınırını destekler. Otomatik ölçeklendirmeyi yapılandırırken veya el ile düğüm sayısını ayarlarken, en düşük ve en yüksek değerlerinizin bu sınır içinde kaldığından emin olun. Bu sınırın aşılması, havuz oluşturma veya güncelleştirme sırasında doğrulama hatalarıyla sonuçlanır.

Düğüm boyutu seçenekleri

Özel bir Spark havuzu ayarlarken aşağıdaki düğüm boyutları arasından seçim yaparsınız:

Ağ düğümü boyutu	vCores	Bellek (GB)	Açıklama
Küçük	4	32	Basit geliştirme ve test işleri için.
Orta	8	64	Genel iş yükleri ve tipik işlemler için.
Büyük	16	128	Yoğun bellek kullanan görevler veya büyük veri işleme işleri için.
X-Large	32	256	Önemli kaynaklara ihtiyaç duyan en zorlu Spark iş yükleri için.

İlgili içerik

• Apache Spark kamu belgelerinden daha fazla bilgi edinin.
• Microsoft FabricSpark çalışma alanı yönetim ayarlarını kullanmaya başlayın.