SQL ambarının boyutlandırma, ölçeklendirme ve kuyruğa alma davranışı

Makale
05/03/2024

Bu makalede SQL ambarlarının küme boyutlandırma, kuyruğa alma ve otomatik ölçeklendirme davranışı açıklanmaktadır.

Sunucusuz SQL ambarını boyutlandırma

Sunucusuz SQL ambarınız için her zaman ihtiyacınız olacağını düşündüğünüzden daha büyük bir tişört boyutuyla başlayın ve test ettikçe boyutu küçültün. Sunucusuz SQL ambarınız için küçük bir tişört boyutuyla başlayıp yukarı gitmeyin. Genel olarak, tek bir sunucusuz SQL ambarı ile başlayın ve Sunucusuz kümelerle doğru boyutlandırma, iş yüklerine öncelik verme ve hızlı veri okuma işlemleri için Azure Databricks'i kullanın. Bkz. Sunucusuz otomatik ölçeklendirme ve sorgu kuyruğa alma.

Belirli bir sunucusuz SQL ambarı için sorgu gecikme süresini azaltmak için:
- Sorgular diske dökülüyorsa tişörtün boyutunu artırın.
- Sorgular yüksek oranda paralelleştirilebilirse tişört boyutunu artırın.
- Aynı anda birden çok sorgu çalıştırıyorsanız otomatik ölçeklendirme için daha fazla küme ekleyin.
Maliyetleri azaltmak için, diske taşmadan veya gecikme süresini önemli ölçüde artırmadan tişört boyutunda geri adım atmayı deneyin.
Sunucusuz SQL ambarınızı doğru boyutlandırmaya yardımcı olmak için aşağıdaki araçları kullanın:
- İzleme sayfası: En yüksek sorgu sayısına bakın. Kuyruğa alınan tepe genellikle birinin üzerindeyse kümeler ekleyin. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir. Bkz. SQL ambarı izleme.
- Sorgu geçmişi. Bkz. Sorgu geçmişi.
- Sorgu profilleri (1'in üzerinde diske taşan baytlar'ı arayın). Bkz. Sorgu profili.

Not

Sunucusuz SQL ambarlarında, küme boyutları bazı durumlarda eşdeğer bir küme boyutu için pro ve klasik SQL ambarları belgelerinde listelenenlerden farklı örnek türleri kullanabilir. Genel olarak sunucusuz SQL ambarları için küme boyutlarının fiyat/performans oranı, profesyonel ve klasik SQL ambarlarına benzer.

Sunucusuz otomatik ölçeklendirme ve sorgu kuyruğa alma

Akıllı İş Yükü Yönetimi (IWM), sunucusuz SQL ambarlarının çok sayıda sorguyu hızlı ve uygun maliyetli bir şekilde işleme becerisini geliştiren bir özellik kümesidir. Gelen sorguları analiz etmek ve en hızlı ve daha verimli (Tahmine dayalı GÇ) belirlemek için yapay zeka destekli tahmin özelliklerini kullanan IWM, iş yüklerinin hızla doğru miktarda kaynağa sahip olmasını sağlamak için çalışır. Temel fark, Databricks SQL'deki yapay zeka özelliklerinin statik eşikler kullanmak yerine iş yükü taleplerine dinamik olarak yanıt vermesidir.

Bu yanıt süresi şu şekildedir:

Düşük gecikme süresini korumak için gerektiğinde daha fazla işlem elde etmek için hızlı artırma.
Donanımın sınırlamasına daha yakın sorgu kabulleri.
Talebin düşük olduğu durumlarda maliyetleri en aza indirmek için hızlı azaltma, iyileştirilmiş maliyetler ve kaynaklarla tutarlı performans sağlar.

Sorgu ambara ulaştığında, IWM sorgunun maliyetini tahmin eder. Aynı zamanda IWM, ambarın kullanılabilir işlem kapasitesini gerçek zamanlı olarak izler. Ardından IWM, makine öğrenmesi modellerini kullanarak gelen sorgunun mevcut işlemde kullanılabilir gerekli işleme sahip olup olmadığını tahmin eder. Gereken işlem yoksa sorgu kuyruğa eklenir. Gerekli işlem varsa sorgu hemen yürütülür.

IWM, kuyruğun yaklaşık 10 saniyede bir izlendiğini izler. Kuyruk yeterince hızlı bir şekilde azalmıyorsa, otomatik ölçeklendirme daha fazla işlem sağlamak için devreye giriyor. Yeni kapasite eklendikten sonra kuyruğa alınan sorgular yeni kümelere kabul edilir. Sunucusuz SQL ambarlarında yeni kümeler hızla eklenebilir ve aynı anda birden fazla küme oluşturulabilir. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir.

Profesyonel ve klasik SQL ambarları için küme boyutları

Bu bölümdeki tablo, SQL ambarı küme boyutlarını Azure Databricks kümesi sürücü boyutu ve çalışan sayılarıyla eşler. Sürücü boyutu yalnızca profesyonel ve klasik SQL ambarları için geçerlidir.

Küme boyutu	Sürücü için örnek türü (yalnızca profesyonel ve klasik SQL ambarları için geçerlidir)	Çalışan sayısı
2X Küçük	Standard_E8ds_v4	1 x Standard_E8ds_v4
X-Küçük	Standard_E8ds_v4	2 x Standard_E8ds_v4
Küçük	Standard_E16ds_v4	4 x Standard_E8ds_v4
Orta	Standard_E32ds_v4	8 x Standard_E8ds_v4
Büyük	Standard_E32ds_v4	16 x Standard_E8ds_v4
X-Large	Standard_E64ds_v4	32 x Standard_E8ds_v4
2X Büyük	Standard_E64ds_v4	64 x Standard_E8ds_v4
3X Büyük	Standard_E64ds_v4	128 x Standard_E8ds_v4
4X Büyük	Standard_E64ds_v4	256 x Standard_E8ds_v4

Tüm çalışanların örnek boyutu Standard_E8ds_v4.

Her sürücü ve çalışanın sekiz adet 128 GB Standart LRS yönetilen diski eklenmiştir. Ekli diskler saatlik olarak ücretlendirilir.

Klasik ve profesyonel SQL ambarları için gerekli Azure vCPU kotası

Klasik veya profesyonel bir SQL ambarı başlatmak için Azure hesabınızdaki Standard_E8ds_v4 örnekleri için yeterli Azure vCPU kotasına sahip olmanız gerekir. Gerekli vCPU kotasını belirlemek için aşağıdaki yönergeleri kullanın:

Yalnızca bir veya iki SQL ambarı varsa kümedeki her çekirdek için 8 Azure vCPU'nuz olduğundan emin olun. Bu, kabaca her 24 saatte bir gerçekleşen ambarınızın yeniden sağlanmasını hesaba eklemek için yeterli Azure vCPU'sunun olmasını sağlar. SQL ambarlarınız otomatik ölçeklendirme veya çok kümeli yük dengeleme kullanıyorsa çarpanı artırmanız gerekebilir.
SQL ambarlarının sayısı arttıkça kümedeki her çekirdek için 4 ile 8 arasında Azure vCPU'ya izin verin. Databricks, daha büyük bir sayı ile başlamanızı ve kararlılığı izlemenizi önerir.
SQL ambarları tarafından kullanılan Azure vCPU'ları, Veri Bilimi ve Mühendislik tarafından veya Databricks dışı iş yükleri tarafından kullanılan kümeler tarafından kullanılan Azure vCPU'larına ek olarak kullanılır.

Ek Azure vCPU kotası istemek için Azure belgelerindeki Standart kota: VM serisine göre sınırları artırma konusuna bakın.

Not

Bu tablodaki bilgiler ürün veya bölge kullanılabilirliğine ve çalışma alanı türüne göre farklılık gösterebilir.

Profesyonel ve klasik SQL ambarları için kuyruğa alma ve otomatik ölçeklendirme

Azure Databricks, sql ambarı için atanan kümedeki sorgu sayısını sonuçlarını hesaplama maliyetine göre sınırlar. Ambar başına kümelerin artırılması sorgu aktarım hızına, gelen sorguların hızına ve kuyruk boyutuna bağlıdır. Azure Databricks, her 10 eşzamanlı sorgu için bir küme önerir. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir.

Azure Databricks, şu anda çalışan tüm sorguları, kuyruğa alınan sorguları ve sonraki iki dakika içinde beklenen gelen sorguları işlemek için gereken süreye göre kümeler ekler.

2 dakikadan kısaysa ölçeği artırmayın.
2 ile 6 dakika arasındadır, 1 küme ekleyin.
6 ile 12 dakika arasındadır, 2 küme ekleyin.
12 ile 22 dakika arasındadır, 3 küme ekleyin.

Aksi takdirde Azure Databricks, beklenen her 15 dakikalık sorgu yükü için 3 kümeye ek olarak 1 küme ekler.

Ayrıca, sorgu kuyrukta 5 dakika beklerse ambar her zaman ölçeklendirilir.

Yük 15 dakika boyunca düşükse, Azure Databricks SQL ambarını küçültür. Son 15 dakikadaki en yoğun yükü işlemek için yeterli küme tutar. Örneğin, en yüksek yük 25 eşzamanlı sorguysa Azure Databricks 3 küme tutar.

Profesyonel ve klasik SQL ambarları için sorgu kuyruğa alma

Azure Databricks, ambara atanan tüm kümeler tam kapasitede veya ambar durumundayken sorgular yürütürken sorguları kuyruğa STARTING alır. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir.

Meta veri sorguları (örneğin, DESCRIBE <table>) ve durum değiştirme sorguları (örneğin SET), ambar STARTING durumunda olmadığı sürece hiçbir zaman kuyruğa alınmazsa.