Microsoft Fabric'da Spark için Faturalamayı Otomatik Ölçeklendirme

Spark için Autoscale Faturalama, Microsoft Fabric üzerindeki Apache Spark iş yükleri için kullandıkça öde faturalama modelidir. Etkinleştirildiğinde, Spark işleri artık Fabric kapasitesinden hesaplama gücü tüketmez. Bunun yerine, iş yükleri, bağımsız olarak faturalandırılan ayrılmış sunucusuz kaynakları kullanır.

Bu model standart kapasite modelini tamamlar, böylece iş yükü başına en iyi seçeneği belirleyebilirsiniz.

Otomatik ölçeklendirme veya kapasite modeli arasında seçim yapın.

Özellik	Kapasite modeli	Spark için Otomatik Ölçekli Faturalama
Faturalandırma	Kapasite katmanı başına sabit maliyet	Spark işleri için kullan-öde modeli
Ölçeklendirme	İş yükleri arasında paylaşılan kapasite	Spark kendi kendine ölçeklenir
Kaynak çekişmesi	İş yükleri arasında mümkün	Spark için ayrılmış işlem sınırları
En iyi kullanım örneği	Tahmin edilebilir iş yükleri	Dinamik veya patlamalı Spark işleri

Maliyet ve performansı dengelemek için her iki modeli de birleştirebilirsiniz. Örneğin, kapasitede kararlı yinelenen iş yükleri çalıştırın ve ani veya geçici Spark iş yüklerini otomatik ölçeklendirmeye taşıyın.

Önemli avantajlar

• Maliyet verimliliği: Yalnızca Spark işi çalışma süresi için ödeme yapın.
• Bağımsız ölçeklendirme: Spark iş yükleri diğer kapasite tabanlı işlemleri etkilemeden çalışır.
• Enterprise-ready: Ölçeklendirme esnekliği için Azure Kota Yönetimi ile tümleşir.

Otomatik ölçeklendirme faturalama sistemi nasıl çalışır?

Faturalama için otomatik ölçeklendirme etkinleştirildiğinde:

• Spark işleri Fabric kapasitesinden kaldırılır ve bu kapasiteden CU kullanmaz.
• Spark iş yükleri için en yüksek CU sınırını (kota benzeri bir sınır) ayarlarsınız.
• Faturalama Spark kullanım oranına (0.5 CU hour) göre kalır ve yalnızca etkin iş işlemi için geçerlidir.
• CU sınırına ulaşıldığında etkileşimli işler kısıtlanır ve toplu işler kuyruğa alınır.
• Kıvılcım kullanımı ve maliyet, Microsoft Fabric Capacity Metrics uygulaması ve Azure Maliyet Analizi'nde ayrı olarak gösterilmiştir.

Önemli

Otomatik ölçeklendirme faturalaması kapasite başına isteğe bağlıdır ve Fabric kapasitesinden genişlemez veya gerilemez. Ayrı bir sunucusuz ve kullandıkça öde modelidir.

İş eşzamanlılığı ve kuyruğa alma davranışı

Otomatik ölçeklendirme faturalaması etkinleştirildiğinde Spark eşzamanlılığı, Yapı kapasitesi yöneticisi tarafından yapılandırılan maksimum Kapasite Birimi (CU) sınırına tabidir. Standart kapasiteden farklı olarak, otomatik ölçeklendirme faturalaması ani artış veya düzeltme kullanmaz.

• Kullanılabilir CU'lar tam olarak kullanıldığında etkileşimli Spark işleri (örneğin Lakehouse işlemleri, tablo önizlemesi, Tabloya Yükle veya etkileşimli not defteri sorguları) kısıtlanmıştır.
• Arka plan Spark işleri (boru hatları, zamanlayıcı, API yürütmeleri, Spark iş tanımları veya tablo bakımı tarafından tetiklenir) sıraya alınır.

Kuyruk boyutu CU sınırına bağlıdır.

Uyarı

En yüksek CU sınırı 2048 ise Spark kuyruğu en fazla 2048 iş tutabilir.

Bu davranış, yüksek hacimli Spark iş yüklerini desteklerken ayırmayı tahmin edilebilir ve denetlenebilir tutar.

Ek kota isteme

Veri Mühendisliği veya Veri Bilimi iş yükleriniz geçerli en yüksek CU sınırınızdan daha yüksek bir kota gerektiriyorsa Azure Kotalarında artış isteyin:

1. Azure portalına gidin ve oturum açın.
2. Arama çubuğuna Azure Kotalar yazın ve seçin.
3. Kullanılabilir hizmetler listesinden Microsoft Fabric seçin.
4. Fabric kapasitenizle ilişkili aboneliği seçin.
5. Almayı planladığınız yeni CU sınırını girerek kota sınırını düzenleyin.
6. Kota isteğinizi gönderin.

Onaydan sonra güncellenmiş CU limiti Fabric kapasitenize uygulanır.

İlgili içerik

• Spark için Otomatik Ölçeklendirme Faturalama Yapılandırma