Gelişmiş otomatik ölçeklendirme ile Delta Live Tables işlem hatlarının küme kullanımını iyileştirme

Bu makalede, Azure Databricks'te Delta Live Tables işlem hatlarınızı iyileştirmek için gelişmiş otomatik ölçeklendirmenin nasıl kullanılacağı açıklanır.

Gelişmiş otomatik ölçeklendirme tüm yeni işlem hatları için varsayılan olarak etkindir.

Sunucusuz işlem hatları için gelişmiş otomatik ölçeklendirme her zaman açık olur ve devre dışı bırakılamaz. Bkz . Sunucusuz Delta Live Tables işlem hattını yapılandırma.

Gelişmiş otomatik ölçeklendirme nedir?

Databricks gelişmiş otomatik ölçeklendirme, iş yükü hacmine göre küme kaynaklarını otomatik olarak ayırarak küme kullanımını en iyi duruma getirerek işlem hatlarınızın veri işleme gecikme süresini en düşük düzeyde etkiler.

Gelişmiş otomatik ölçeklendirme, aşağıdaki özelliklerle Azure Databricks kümesi otomatik ölçeklendirme işlevselliğini geliştirir:

• Gelişmiş otomatik ölçeklendirme, akış iş yüklerinin iyileştirmesini uygular ve toplu iş yüklerinin performansını iyileştirmeye yönelik iyileştirmeler ekler. İyileştirilmiş otomatik ölçeklendirme, iş yükü değiştikçe makineleri ekleyerek veya kaldırarak maliyetleri iyileştirir.
• Gelişmiş otomatik ölçeklendirme, düşük kullanılan düğümleri proaktif olarak kapatır ve kapatma sırasında başarısız görev olmamasını garanti eder. Mevcut küme otomatik ölçeklendirme özelliği yalnızca düğüm boşta olduğunda düğümlerin ölçeğini küçültür.

Delta Live Tables kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda, gelişmiş otomatik ölçeklendirme varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. Delta Live Tables API'siyle işlem hatları oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.

Gelişmiş otomatik ölçeklendirme hangi ölçümleri kullanarak ölçeği artırma veya azaltma kararı oluşturur?

Gelişmiş otomatik ölçeklendirme, ölçeği artırmaya veya azaltmaya karar vermek için iki ölçüm kullanır:

• Görev yuvası kullanımı: Bu, meşgul görev yuvalarının sayısının kümedeki toplam görev yuvalarına ortalama oranıdır.
• Görev kuyruğu boyutu: Bu, görev yuvalarında yürütülmeyi bekleyen görev sayısıdır.

Delta Live Tables işlem hattı için gelişmiş otomatik ölçeklendirmeyi etkinleştirme

Delta Live Tables kullanıcı arabiriminde yeni bir işlem hattı oluşturduğunuzda, gelişmiş otomatik ölçeklendirme varsayılan otomatik ölçeklendirme modudur. Kullanıcı arabirimindeki işlem hattı ayarlarını düzenleyerek mevcut işlem hatları için gelişmiş otomatik ölçeklendirmeyi etkinleştirebilirsiniz. Delta Live Tables API'siyle işlem hattı oluştururken veya düzenlerken gelişmiş otomatik ölçeklendirmeyi de etkinleştirebilirsiniz.

Gelişmiş otomatik ölçeklendirmeyi kullanmak için aşağıdakilerden birini yapın:

• Delta Live Tables kullanıcı arabiriminde işlem hattı oluştururken veya düzenlerken Küme modunu Gelişmiş otomatik ölçeklendirme olarak ayarlayın.
• autoscale İşlem hattı kümesi yapılandırmasına ayarını ekleyin ve alanını olarak ENHANCEDayarlayınmode. Bkz . Delta Live Tables işlem hattı için işlem yapılandırma.

Üretim işlem hatları için gelişmiş otomatik ölçeklendirmeyi yapılandırırken aşağıdaki yönergeleri kullanın:

• Min workers Ayarı varsayılan olarak bırakın.
• Max workers Ayarı bütçe ve işlem hattı önceliğine göre bir değer olarak ayarlayın.

Aşağıdaki örnekte, en az 5 çalışan ve en fazla 10 çalışan ile gelişmiş bir otomatik ölçeklendirme kümesi yapılandırılır. max_workers değerinden büyük veya eşit min_workersolmalıdır.

Not

• Gelişmiş otomatik ölçeklendirme yalnızca kümeler için updates kullanılabilir. Eski otomatik ölçeklendirme, kümeler için maintenance kullanılır.
• Yapılandırmanın autoscale iki modu vardır:
  • LEGACY: Küme otomatik ölçeklendirmesini kullanın.
  • ENHANCED: Gelişmiş otomatik ölçeklendirmeyi kullanın.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

İşlem hattı sürekli yürütme için yapılandırılmışsa, otomatik ölçeklendirme yapılandırması değiştikten sonra otomatik olarak yeniden başlatılır. Yeniden başlatmadan sonra, kısa bir süre artan gecikme süresi bekleyebilirsiniz. Bu kısa gecikme süresinin ardından küme boyutu yapılandırmanıza autoscale göre güncelleştirilmeli ve işlem hattı gecikme süresi önceki gecikme süresi özelliklerine geri dönmelidir.

Gelişmiş otomatik ölçeklendirme kullanan işlem hatları için maliyetleri sınırlama

Not

Sunucusuz işlem hatları için çalışanları yapılandıramazsınız.

İşlem hatları İşlem bölmesindeKim çalışanlar parametresinin ayarlanması, otomatik ölçeklendirme için bir üst sınır ayarlar. Kullanılabilir çalışan sayısının azaltılması bazı iş yüklerinde gecikme süresini artırabilir, ancak yoğun işlem gerektiren işlemler sırasında işlem kaynağı maliyetlerinin artmasını önler.

Databricks, belirli gereksinimleriniz için maliyet gecikme süresi dengelemesi için Maksimum çalışan ayarlarının ayarlanmasını önerir.

Gelişmiş otomatik ölçeklendirme özellikli klasik işlem hatlarını izleme

Klasik işlem hatları için gelişmiş otomatik ölçeklendirme ölçümlerini izlemek için Delta Live Tables kullanıcı arabirimindeki olay günlüğünü kullanabilirsiniz. Gelişmiş otomatik ölçeklendirme olayları olay türüne autoscale sahiptir. Örnek olaylar şunlardır:

Etkinlik	İleti
Küme yeniden boyutlandırma isteği başlatıldı	Scaling [up or down] to <y> executors from current cluster size of <x>
Küme yeniden boyutlandırma isteği başarılı oldu	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
Küme yeniden boyutlandırma isteği kısmen başarılı oldu	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
Küme yeniden boyutlandırma isteği başarısız oldu	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

Ayrıca, olay günlüğünü doğrudan sorgulayarak gelişmiş otomatik ölçeklendirme olaylarını da görüntüleyebilirsiniz:

• Kapsam ölçümlerinin olay günlüğünü sorgulamak için bkz . Olay günlüğünü sorgulayarak veri kapsamlarını izleme.
• Gelişmiş otomatik ölçeklendirme işlemleri sırasında küme yeniden boyutlandırma isteklerini ve yanıtlarını izlemek için bkz . Sunucusuz etkinleştirilmeden işlem hatları için olay günlüğünden gelişmiş otomatik ölçeklendirme olaylarını izleme.