BI iş yükleri için SQL ambarı ayarları

İş zekası iş yükleri, belirli SQL ambarı yapılandırmasında dikkat edilmesi gereken farklı özelliklere sahiptir. Bu sayfada IŞ ZEKAsı iş yükü gereksinimlerinizi analiz etme ve sql ambarlarını en iyi performans, maliyet verimliliği ve güvenilirlik sağlayacak şekilde yapılandırma konusunda rehberlik sağlanır.

İş yükü analizi ve SLA gereksinimleri

Her BI iş yükü benzersizdir ve yapılandırmadan önce dikkatli analiz gerektirir. Gereksinimlerinizi değerlendirirken aşağıdaki soruları göz önünde bulundurun:

• Geçiş veya yeni uygulama: Bu iş yükü farklı bir platformdan mı geçiriliyor yoksa yeni bir uygulama mı? Geçirilen iş yüklerinde SLA'lar ve performans temelleri oluşturulmuş olabilir.
• Hizmet düzeyi sözleşmeleri (SLA): Gecikme süresi, aktarım hızı ve kullanılabilirlik gereksinimleriniz nelerdir? Hem teknik hem de iş SLA'larını belgele.
• Erişim desenleri: Kullanıcılar verilerle nasıl etkileşim kurar? Tipik sorgu desenlerini anlamak, ambar yapılandırmanızı doğru boyutlandırmanıza ve veri katmanını belirli bir iş yükü için iyileştirmenize yardımcı olur.

Tipik BI erişim desenleri

BI iş yükleri genellikle her biri farklı SQL ambarı yapılandırmaları gerektiren iki ayrı erişim düzeni kategorisine ayrılır.

DirectQuery / LiveQuery kalıbı

DirectQuery desenleri, etkileşimli analiz için düşük gecikme süreli yanıtlar gerektiren verileri gerçek zamanlı olarak sorgular:

Özellikler:

• Çok sayıda sorgu
• Sorgular genellikle küçük sonuç kümeleri döndürür (1.000'den az kayıt)
• Genellikle iş saatlerinde yürütülür
• Düşük gecikme süresi beklentilerine sahip katı SLA gereksinimleri
• Tahmin edilemeyen sorgu desenleri (panolar, raporlar)
• Sorgu başına erişilen veriler genellikle 5 GB'tan azdır
• Ani dalgalanmaları karşılayacak şekilde yüksek oranda ölçeklenebilir hesaplama gerektirir.

Performans beklentileri:

• Sorgu yanıt süresi: saniye (etkileşimli panolar için genellikle 5 saniyeden az)
• Veri güncelliği: Güncel, en son verileri yansıtan

İş yükü profili:

• İş saatlerinde sık sık ani artışlar
• Öngörülemeyen yük varyasyonları (kullanıcı odaklı)
• Küresel kuruluşlar için 7/24'e kadar uzatılabilir

İçeri Aktarma / Ayıklama şablonu

İçeri aktarma desenleri aşağı akış sistemleri için verileri ayıklayarak aktarım hızını gecikme süresine göre öncelik sırasına göre düzenler:

Özellikler:

• Düşük sorgu sayısı (zamanlanmış yenilemeler)
• Genellikle büyük sonuç kümeleri (1.000.000'den fazla kayıt)
• Genellikle yoğun olmayan saatlerde zamanlanır
• Tahmin edilebilir sorgu desenleri (genellikle detaya gitme temelli)
• Sorgu başına erişilen veriler: onlarca GB'a kadar

Performans beklentileri:

• Sorgu yanıt süresi: dakika-saat (toplu iş odaklı)
• Veri tazeliği: Gün anlık görüntüsü veya önceki gün

İş yükü profili:

• Zamanlanmış, öngörülebilir yürütme pencereleri
• Bilinen iş yükü özellikleri ve kaynak gereksinimleri
• Toplu veri odaklı işleme

DirectQuery iş yüklerinde sorgu karışımı

Yıldız şeması veri modeliyle DirectQuery desenlerini kullanırken aşağıdaki sorgu dağılımını bekleyebilirsiniz:

• Boyut sorguları: Boyut tablolarını tarayan birçok küçük sorgu (müşteri, ürün, zaman)
• Olgu sorguları: Birleştirmeler ve toplamalarla olgu tablolarını taraan birçok büyük sorgu
• Sorguları ayıklama: Büyük veri ayıklamaları için bazı basit ancak uzun süre çalışan sorgular

Bu çeşitli sorgu karışımı, hem küçük hem de sık kullanılan sorguları ve büyük analitik sorguları aynı anda verimli bir şekilde işleyebilen SQL ambarları gerektirir.

İş yüklerinin izolasyonu için çok depolu strateji

Databricks, aşağıdakilere ulaşmak için birden çok SQL ambarı sağlamayı önerir:

Doğru boyutlandırma ve en uygun maliyetler

• Her ambarı belirli iş yükü deseni için uygun şekilde boyutlandırma
• Farklı kaynak gereksinimlerine sahip iş yüklerini ayırarak aşırı sağlamadan kaçının
• Geliştirme ve test için daha küçük ambarlar kullanın, üretim için daha büyük
• Performans ve maliyet arasındaki ideal dengeyi bulmak için ambar ölçeklenebilirliğini kullanma

Daha iyi genel performans

• DirectQuery ile İçeri Aktarma/Ayıklama desenleri arasında kaynak çekişmesini önleme
• Etkileşimli panoları toplu yenileme işlemlerinden yalıtma
• İş yükü taleplerine göre bağımsız ölçeklendirmeyi etkinleştirme

Çapraz ücretlendirme ve maliyet ayırma

• İş birimine, projeye veya takıma göre kullanımı ve maliyetleri izleme
• Doğru geri ödeme modellerini etkinleştirme
• Maliyet görünürlüğünü ve sorumluluk düzeyini geliştirme

Daha verimli idare ve yönetim

• Takıma veya projeye göre yönetim ve sahiplik sorumlulukları atama
• Kullanım desenlerine göre farklı otomatik durdurma ilkeleri uygulama
• Ayrı erişim denetimleri ve izleme yapılandırma

Önerilen ambar yapılandırmaları

DirectQuery / LiveQuery iş yükleri için

• Otomatik kaynak yönetimi için sunucusuz SQL ambarlarını kullanma
• Maliyet iyileştirme için agresif otomatik durdurmayı (15-30 dakika) yapılandırma
• Sorgu karmaşıklığı ve veri hacmine göre küme boyutunu ayarlama (Orta ile başlayın, gerekirse ölçeği artırma)
• Beklenen iş yüküne göre en az ve en fazla küme sayısını ayarlama
• Yoğun Kuyruğa Alınan Sorgular ölçümünü izleyin ve maksimum kümeyi buna göre ayarlayın.

İçeri Aktarma /İş yüklerini ayıklama için

• Tahmin edilebilir, zamanlanmış işler için Pro veya Klasik SQL ambarlarını kullanma
• Birden çok iş sırayla çalıştırılıyorsa daha uzun otomatik durdurma sürelerini (1-2 saat) yapılandırın
• Karmaşık toplamalar için daha büyük küme boyutlarını (Büyük, Ekstra Büyük) kullanın
• Toplu iş pencereleriyle hizalamak için sabit zamanlamayı göz önünde bulundurun
• Sorgu süresini izleme ve boyutlandırmayı SLA gereksinimlerine göre ayarlama

SQL ambarı boyutlandırma ve ölçeklendirme davranışı hakkında daha fazla bilgi için bkz. SQL ambarı boyutlandırma, ölçeklendirme ve kuyruğa alma davranışı.

BI hizmet sunma en iyi yöntemlerine hızlı bir başvuru için bkz. BI hizmet sunma özet kılavuzu.