SQL ambarının boyutlandırma, ölçeklendirme ve kuyruğa alma davranışı

Bu makalede, performansı ve maliyeti iyileştirmek amacıyla Databricks SQL ambarları için sorgu kuyruklarını boyutlandırma, ölçeklendirme ve yönetme işlemleri açıklanmaktadır. Databricks, çoğu iş yükü için sunucusuz SQL ambarı kullanılmasını önerir. Sunucusuz SQL ambarları, sorgularınız için kaynakları dinamik olarak yöneterek en iyi performansı ve verimliliği sağlar.

Sunucusuz SQL ambarı yönetimi

Sunucusuz SQL ambarları, sorgu iş yüklerini otomatik olarak yönetmek için Akıllı İş Yükü Yönetimi'ni (IWM) kullanır. IWM, altyapıyı yönetmenize gerek kalmadan sorguları hızlı ve uygun maliyetli bir şekilde işleyen bir dizi yapay zeka destekli özelliktir.

Akıllı İş Yükü Yönetimi ve otomatik ölçeklendirme

IWM, işlem kaynaklarını dinamik olarak yönetmek için makine öğrenmesi modellerini kullanır:

• Yeni bir sorgu geldiğinde, IWM kaynak gereksinimlerini tahmin eder ve kullanılabilir kapasiteyi denetler.
  • Kapasite varsa sorgu hemen başlar.
  • Aksi takdirde sorgu bir kuyruğa yerleştirilir.
• IWM kuyruğu sürekli izler. Bekleme süreleri artarsa, otomatik ölçeklendirici kuyruğa alınan sorguları işlemek için hızla daha fazla küme sağlar.
• Talep düştüğünde, IWM maliyetleri azaltmak için kaynakların ölçeğini azaltır ve son en yoğun yükleri işlemek için yeterli kapasiteyi tutar.

Bu yaklaşım şunu sağlar:

• Düşük sorgu gecikme süresini korumak için hızlı ölçekleme.
• Donanım kullanılabilir olduğunda sorguları kabul ederek yüksek veri aktarımı sağlanır.
• Düşük talep sırasında maliyet tasarrufu yapmak için hızlı küçültme.

Sunucusuz SQL ambarını boyutlandırma

Küme boyutu (örneğin, X-Küçük, Orta, Büyük), tek bir küme için kullanılabilir işlem kaynaklarını belirler. Otomatik ölçeklendirici gerektiğinde bu boyuttaki kümeleri ekler veya kaldırır.

Doğru boyutu seçmenize yardımcı olması için aşağıdaki yönergeleri kullanın:

• Tek bir büyük ambarla başlayın ve sunucusuz özelliklerin eşzamanlılığı ve performansı yönetmesine izin verin. Gerekirse küçültmek genellikle küçük bir başlangıç yapmak ve ölçeği genişletmekten daha verimlidir.
• Sorgular diske dökülüyorsa küme boyutunu artırın. Sorgu profilinde taşma olup olmadığını denetleyin.
• Çok sayıda eşzamanlı sorgu içeren iş yükleri için, en yüksek yükleri işlemek için yeterli sayıda küme yapılandırın. Depo izleme sayfasında Maksimum Kuyruklanmış Sorgular metriğini izleyin.

Not

Sunucusuz SQL ambarları için küme boyutları, bazı durumlarda eşdeğer küme boyutu için pro ve klasik SQL ambarları belgelerinde listelenenlerden farklı örnek türleri kullanabilir. Genel olarak sunucusuz SQL ambarları için küme boyutlarının fiyat/performans oranı, profesyonel ve klasik SQL ambarlarına benzer.

Deyim zaman aşımı

Önemli

Ambar düzeyi deyim zaman aşımları Beta sürümündedir. Bir çalışma alanı yöneticisinin Warehouse Statement Timeout önizlemesini Previews sayfasından etkinleştirmesi gerekir. Bkz. Azure Databricks önizlemelerini yönetme.

Tek bir SQL veri ambarı için ifade zaman aşımı ayarlayabilirsiniz; böylece bu veri ambarındaki uzun süre çalışan sorgular, belirttiğiniz sürenin ardından zaman aşımına uğrar. Farklı ambarlar beklenen farklı çalışma sürelerine sahip iş yüklerini çalıştırdığında ambar düzeyinde zaman aşımı kullanın.

Zaman aşımını, Oluştur veya Güncelle ambar API'lerindeki statement_timeout alanıyla ayarlayın. Değer aralığı, zaman aşımının nasıl kaldırılacağı ve yeniden başlatma davranışı gibi ayrıntılar için bkz. Ambar düzeyi zaman aşımı.

Zaman aşımı birden çok kapsam olarak ayarlandığında oturum, çalışma alanından öncelikli olan ambardan önceliklidir. Ayrıntılar için bkz. Öncelik.

Depo performansını izleme

Bu araçları kullanarak tüm SQL ambarlarını izleyebilir ve doğru boyutlandırabilirsiniz. Tüm ambar türleri için bir kuyruktaki sorgu sayısı üst sınırı 1.000'dir.

• İzleme sayfası: SQL ambarı izleme sekmesinde Yoğun Kuyruğa Alınan Sorgular'ı işaretleyin. 0'ın üzerindeki tutarlı bir değer, daha büyük bir küme boyutuna veya daha fazla kümeye ihtiyacınız olabileceğini gösterir.
• Sorgu geçmişi: Performans sorunlarını belirlemek için geçmiş sorgu performansını gözden geçirin.
• Sorgu profili: Ambar boyutunun çok küçük olabileceğini gösteren Diske dökülen baytlar gibi ölçümler için yürütme planlarını inceleyin.

Klasik ve profesyonel SQL ambarları

Klasik ve profesyonel ambarlar, küme sayısını yapılandırdığınız el ile ölçeklendirme modelini kullanır.

Boyutlandırma ve küme hazırlama

Önemli

5X-Large küme boyutu, tüm bölgelerdeki profesyonel ve sunucusuz SQL ambarları için Genel Önizleme aşamasındadır. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Klasik veya profesyonel bir ambar oluştururken bir küme boyutu seçin ve en az ve en fazla küme sayısını ayarlayın. Bu SKU'lar her 10 eşzamanlı sorgu için sabit bir küme sınırına sahiptir.

Küme boyutu	Sürücü örneği türü	Çalışan sayısı
2X-Çok Küçük	Standard_E8ds_v4	1 adet Standard_E8ds_v4
X-Küçük	Standard_E8ds_v4	2 adet Standard_E8ds_v4
Küçük	Standard_E16ds_v4	4 adet Standard_E8ds_v4
Orta	Standard_E32ds_v4	8 x Standard_E8ds_v4
Büyük	Standard_E32ds_v4	16 x Standard_E8ds_v4
X-Large	Standard_E64ds_v4	32 x Standard_E8ds_v4
2X Büyük Beden	Standard_E64ds_v4	64 x Standard_E8ds_v4
3X Büyük	Standard_E64ds_v4	128 x Standard_E8ds_v4
4X Büyük	Standard_E64ds_v4	256 x Standard_E8ds_v4
5X Büyük	Standard_E64ds_v4	512 x Standard_E8ds_v4

Tüm çalışanların örnek boyutu Standard_E8ds_v4.

Her bir sürücü ve çalışana birer 256 GB Premium SSD LRS yönetilen disk eklenmiştir. Eklenen diskler saatlik olarak ücretlendirilir.

Klasik ve profesyonel SQL ambarları için gerekli Azure vCPU kotası

Klasik veya profesyonel bir SQL ambarı başlatmak için Azure hesabınızdaki Standard_E8ds_v4 örnekleri için yeterli Azure vCPU kotasına sahip olmanız gerekir. Gerekli vCPU kotasını belirlemek için aşağıdaki yönergeleri kullanın:

Yalnızca bir veya iki SQL ambarı varsa kümedeki her çekirdek için 8 Azure vCPU'nuz olduğunu doğrulayın. Bu, yaklaşık 24 saatte bir gerçekleşen ambarınızın yeniden sağlanmasına izin vermek için yeterli Azure vCPU'nuz olmasını sağlar. SQL ambarlarınız otomatik ölçeklendirme veya çok kümeli yük dengeleme kullanıyorsa çarpanı artırmanız gerekebilir.

• SQL ambarlarının sayısı arttıkça kümedeki her çekirdek için 4 ile 8 arasında Azure vCPU'ya izin verin. Databricks, daha büyük bir sayı ile başlamanızı ve kararlılığı izlemenizi önerir.
• SQL ambarları tarafından kullanılan Azure vCPU'ları, Veri Bilimi & Mühendislik veya Databricks dışı iş yükleri tarafından kullanılan kümeler tarafından kullanılan Azure vCPU'larına ek olarak sağlanır.

Ek Azure vCPU kotası istemek için Azure belgelerindeki Standart kota: VM serisine göre sınırları artırma konusuna bakın.

Not

Bu tablodaki bilgiler ürün veya bölge kullanılabilirliğine ve çalışma alanı türüne göre farklılık gösterebilir.

Kuyruğa alma ve otomatik ölçeklendirme mantığı

Klasik ve profesyonel ambarlar için otomatik ölçeklendirme, çalışan ve kuyruğa alınan tüm sorguları işlemek için tahmini süreye göre kümeler ekler:

• 2-6 dakikalık sorgu yükü: 1 küme ekleyin.
• 6-12 dakika: 2 küme ekleyin.
• 12-22 dakika: 3 küme ekleyin.
• 22 dakikadan fazla: Önce 3 küme ekleyin, ardından her ek 15 dakikalık yükleme süresi için bir küme daha ekleyin.

Ek kurallar:

• Sorgu kuyrukta 5 dakika beklerse, veri ambarı kapasitesini artırır.
• Yük art arda 15 dakika boyunca düşük kalırsa, ambar ölçeği o dönemdeki en yüksek yükü işlemek için gereken en düşük değere kadar daraltır.