Veri kümesi iyileştirme ve önbelleğe alma

AI/BI panoları, yükleme sürelerini iyileştirmek için sorgu sonuçlarını önbelleğe alır. Bu sayfa, gösterge paneli önbelleklemesinin ve veri kümesi iyileştirmelerinin nasıl çalıştığını, gösterge panellerinin hangi durumlarda önbelleğe alınmış sonuçları kullandığını ve hangi durumlarda sorguları bir SQL ambarına karşı yeniden çalıştırdığını açıklar.

Sorgu performansı

Çalışma alanı sorgu geçmişinde sorguları ve bunların performansını inceleyebilirsiniz. Sorgu geçmişi, SQL ambarları kullanılarak gerçekleştirilen SQL sorgularını gösterir. Geçmiş simgesine tıklayın. Sorgu geçmişini görüntülemek için kenar çubuğundaki Sorgu Geçmişi. Bkz. Sorgu geçmişi.

Pano veri kümeleri için Azure Databricks, veri kümesinin sonuç boyutuna bağlı olarak performans iyileştirmeleri uygular. Veri kümesi performans eşikleri hakkında bilgi için bkz. Veri kümesi performans eşikleri.

Veri kümesi iyileştirmeleri

Panolarınız, mümkün olduğunda doğrudan tarayıcınızda filtreler veya görselleştirme ayarları tarafından tetiklenerek filtreleme ve toplama işlemleri yapılarak hız için optimize edilir. Bu performans iyileştirmeleri aşağıdaki sınırlara sahiptir:

Veri Kümesi Boyutu İşleme Davranışı
Küçük (≤ 100.000 satır ve ≤ 100 MB) İlk veri kümesi yüklendikten sonra, tarayıcınızda en iyi pano hızı için filtreleme ve birleştirme işlemleri çalıştırılır. Bu işlemler yerel olarak işlendiğinden, veri ambarı ile daha fazla etkileşimden kaçınırlar ve sorgu geçmişinde görünmezler.
Büyük (> 100.000 satır veya > 100 MB) Filtreleme ve toplama işlemleri tarayıcınız yerine arka uç sunucusunda işlenir. İlk veri kümesi sorgusu bir SQL WITH yan tümcesine sarmalanır ve sonuçta elde edilen sorgu sorgu geçmişinde görünür.
Birleştirilmiş sorgular (büyük veri kümeleri) Arka uçta gönderilen görselleştirme sorguları için, aynı yan tümceleri ve filtre koşullarını paylaşan aynı GROUP BY veri kümesine karşı ayrı görselleştirme sorguları, işlenmek üzere tek bir sorguda birleştirilir. Bu durumda, kullanıcılar sorgu geçmişinde birden çok görselleştirme veya filtre için sonuçları getiren birleştirilmiş sorgu görebilir.

Uyarı

Parametreler, değerleri çalışma zamanında doğrudan bir sorguyla değiştirerek bu işlemlerin her zaman sorgu geçmişinde görünmesini sağlar.

Uyarı

Kesilmiş bir tablo indirildiğinde bir sorgu çalıştırılır. Veri kümesi 100.000 satırı aştığı için bir tabloda kesilmiş sonuçlar görüntülendiğinde, CSV olarak veri indirildiğinde SQL ambarı üzerinde bir sorgu çalıştırılır. Bu sorgu sorgu geçmişinde görünür.

Önbelleğe alma ve veri güncelliği

Panolar, ilk yükleme sürelerini iyileştirmek için en iyi çaba temelinde çalışan 24 saatlik bir sonuç önbelleği tutar. Başka bir deyişle, sistem performansı artırmak için pano kimlik bilgilerine bağlı geçmiş sorgu sonuçlarını her zaman kullanmaya çalışsa da, önbelleğe alınan sonuçların oluşturulamadığı veya korunamadığı bazı durumlar vardır. Önbelleğe alınan verilerin belirli bir bellek sınırı veya sabit sorgu sayısı yoktur.

Yükleme sürelerini iyileştirmek için panolar önce pano önbelleğini denetler. Kullanılabilir önbellek sonucu yoksa, genel sorgu sonucu önbelleğini denetler. Bu iki önbellek farklı şekilde geçersiz kılınır. Temel alınan verilerde yapılan bir değişiklik tüm girdilerini geçersiz kıldığından sorgu sonucu önbelleği hiçbir zaman eski verileri döndürmez. Gösterge paneli önbelleğinin geçersiz kılma davranışı farklıdır. Pano önbelleği, temel alınan veriler değiştiğinde bile 24 saate kadar olan sonuçları döndürebilir ve temel alınan verilerde yapılan bir değişiklik pano önbelleğini otomatik olarak geçersiz kılmaz veya yenilemez.

Pano önbelleğini güvenilir bir şekilde yenilemek için bir pano zamanlaması yapılandırın. Temel alınan verilerde yapılan bir değişiklik pano önbelleğini kendi başına yenilemez ve verileri işlem hattı adımının bir parçası olarak yenilemek pano önbelleğini yenilemez. Zamanlanmış yenileme dışında, gösterge paneli önbelleği yalnızca bir gösterge paneli önbelleğin karşılayamadığı bir sorgu çalıştırdığında güncellenir.

Uyarı

Sonuçların pano önbelleğinden sunulması SQL ambarını başlatmaz. Bir pano önbelleğe alınmış sonuçları döndürdüğünde, Azure Databricks sorgu çalıştırmadan önbellekten okur, bu nedenle temel sql ambarının çalışıyor olması gerekmez. Veri ambarı yalnızca bir pano, önbelleğin karşılayamadığı bir sorgu çalıştırdığında çalışmaya başlar.

Çok sayfalı panolar için aşağıdakiler geçerlidir:

  • Taslak panoyu düzenlemek tüm veri kümelerini yükler ve önbelleğe alır.
  • Görüntüleyiciler yayımlanmış bir panoyu açtığında, yalnızca etkin sayfayı destekleyen veri kümeleri çalıştırılır ve önbelleğe alınır.
  • Bir zamanlama ayarlanırsa, tüm veri kümeleri zamanlamaya göre yenilenir ve bu sonuçlar önbelleğe alınır.

Aşağıdaki tabloda önbelleğe almanın pano durumuna ve kimlik bilgilerine göre nasıl değiştiği açıklanmaktadır:

Pano türü Önbelleğe alma türü
Paylaşılan veri izinleriyle pano yayımlandı Paylaşılan önbellek. Tüm izleyiciler aynı sonuçları görür.
Bireysel veri izinleriyle yayımlanan taslak pano veya yayımlanmış pano Kullanıcı başına önbellek. İzleyiciler sonuçları veri izinlerine göre görür.

Son sorgudan sonra temel alınan veriler değişse bile, sonuçlar 24 saatten kısa bir süre önce alındıysa panolar otomatik olarak önbelleğe alınmış sorgu sonuçlarını kullanır. Eski sonuçlar varsa ve parametreler panoya uygulanırsa, son 24 saat içinde aynı parametreler kullanılmadığı sürece sorgular yeniden çalıştırılır. Benzer şekilde, 100.000 satırı aşan veri kümelerine filtre uygulamak, son 24 saat içinde aynı filtreler uygulanmadığı sürece sorguların yeniden çalıştırılmasını ister.

Geçerli zaman damgası işlevleri ve önbellek geçersizliği

SQL sorgusunda current_timestamp() gibi işlevleri kullanmak, panonun düzeyindeki önbelleği geçersiz kılmaz. Ancak, bu işlevler SORGU sonuç önbelleğini geçersiz kılarak SQL sorgusunu inceler ve önbellek yenilemesini tetikler.

Zamanlanmış sorgular

Paylaşılan veri izinleriyle yayımlanan bir panoya zamanlama eklemek, tüm pano görüntüleyicileri için ilk yükleme işlemini önemli ölçüde hızlandırabilir.

Zamanlanan her pano güncelleştirmesi için aşağıdakiler gerçekleşir:

  • Veri kümelerini tanımlayan tüm SQL mantığı belirlenen zaman aralığında çalışır.
  • Sonuçlar sorgu sonucu önbelleğini doldurur ve ilk pano yükleme süresini geliştirmeye yardımcı olur.