Veri kümesi iyileştirme ve önbelleğe alma

Yapay zeka/BI panoları değerli veri analizi ve karar alma araçlarıdır ve verimli yükleme süreleri kullanıcı deneyimini önemli ölçüde geliştirebilir. Bu makalede, önbelleğe alma ve veri kümesi iyileştirmelerinin panoları nasıl daha performanslı ve verimli hale getirmesi açıklanmaktadır.

Sorgu performansı

Çalışma alanı sorgu geçmişinde sorguları ve bunların performansını inceleyebilirsiniz. Sorgu geçmişi, SQL ambarları kullanılarak gerçekleştirilen SQL sorgularını gösterir. Sorgu geçmişini görüntülemek için kenar çubuğundaki Sorgu Geçmişi. Bkz. Sorgu geçmişi.

Pano veri kümeleri için Azure Databricks, veri kümesinin sonuç boyutuna bağlı olarak performans iyileştirmeleri uygular. Veri kümesi performans eşikleri hakkında bilgi için bkz. Veri kümesi performans eşikleri.

Veri kümesi iyileştirmeleri

Panolarınız, mümkün olduğunda doğrudan tarayıcınızda filtreler veya görselleştirme ayarları tarafından tetiklenerek filtreleme ve toplama işlemleri yapılarak hız için optimize edilir. Bu performans iyileştirmeleri aşağıdaki sınırlara sahiptir:

Veri Kümesi Boyutu	İşleme Davranışı
Küçük (≤ 100.000 satır ve ≤ 100 MB)	İlk veri kümesi yüklendikten sonra, tarayıcınızda en iyi pano hızı için filtreleme ve birleştirme işlemleri çalıştırılır. Bu işlemler yerel olarak işlendiğinden, veri ambarı ile daha fazla etkileşimden kaçınırlar ve sorgu geçmişinde görünmezler.
Büyük (> 100.000 satır veya > 100 MB)	Filtreleme ve toplama işlemleri tarayıcınız yerine arka uç sunucusunda işlenir. İlk veri kümesi sorgusu bir SQL WITH yan tümcesine sarmalanır ve sonuçta elde edilen sorgu sorgu geçmişinde görünür.
Birleştirilmiş sorgular (büyük veri kümeleri)	Arka uçta gönderilen görselleştirme sorguları için, aynı yan tümceleri ve filtre koşullarını paylaşan aynı GROUP BY veri kümesine karşı ayrı görselleştirme sorguları, işlenmek üzere tek bir sorguda birleştirilir. Bu durumda, kullanıcılar sorgu geçmişinde birden çok görselleştirme veya filtre için sonuçları getiren birleştirilmiş sorgu görebilir.

Uyarı

Parametreler, değerleri çalışma zamanında doğrudan bir sorguyla değiştirerek bu işlemlerin her zaman sorgu geçmişinde görünmesini sağlar.

Önbelleğe alma ve veri güncelliği

Panolar, ilk yükleme sürelerini iyileştirmek için en iyi çaba temelinde çalışan 24 saatlik bir sonuç önbelleği tutar. Başka bir deyişle, sistem performansı artırmak için pano kimlik bilgilerine bağlı geçmiş sorgu sonuçlarını her zaman kullanmaya çalışsa da, önbelleğe alınan sonuçların oluşturulamadığı veya korunamadığı bazı durumlar vardır. Önbelleğe alınan verilerin belirli bir bellek sınırı veya sabit sorgu sayısı yoktur.

Yükleme sürelerini iyileştirmek için panolar önce pano önbelleğini denetler. Kullanılabilir önbellek sonucu yoksa, genel sorgu sonucu önbelleğini denetler. Pano önbelleği 24 saate kadar eski sonuçlar döndürebilir ancak sorgu sonucu önbelleği hiçbir zaman eski verileri döndürmez. Temel alınan veriler değiştiğinde, tüm sorgu sonucu önbellek girişleri geçersiz kılınır.

Çok sayfalı panolar için aşağıdakiler geçerlidir:

• Taslak panoyu düzenlemek tüm veri kümelerini yükler ve önbelleğe alır.
• Görüntüleyiciler yayımlanmış bir panoyu açtığında, yalnızca etkin sayfayı destekleyen veri kümeleri çalıştırılır ve önbelleğe alınır.
• Bir zamanlama ayarlanırsa, tüm veri kümeleri zamanlamaya göre yenilenir ve bu sonuçlar önbelleğe alınır.

Aşağıdaki tabloda önbelleğe almanın pano durumuna ve kimlik bilgilerine göre nasıl değiştiği açıklanmaktadır:

Pano türü	Önbelleğe alma türü
Paylaşılan veri izinleriyle pano yayımlandı	Paylaşılan önbellek. Tüm izleyiciler aynı sonuçları görür.
Bireysel veri izinleriyle yayımlanan taslak pano veya yayımlanmış pano	Kullanıcı başına önbellek. İzleyiciler sonuçları veri izinlerine göre görür.

Panolar, temel alınan veriler son sorgudan sonra değişmeden kalırsa veya sonuçların 24 saatten kısa bir süre önce alınması durumunda otomatik olarak önbelleğe alınmış sorgu sonuçlarını kullanır. Eski sonuçlar varsa ve parametreler panoya uygulanırsa, son 24 saat içinde aynı parametreler kullanılmadığı sürece sorgular yeniden çalıştırılır. Benzer şekilde, 100.000 satırı aşan veri kümelerine filtre uygulamak, son 24 saat içinde aynı filtreler uygulanmadığı sürece sorguların yeniden çalıştırılmasını ister.

Geçerli zaman damgası işlevleri ve önbellek geçersizliği

SQL sorgusunda current_timestamp() gibi işlevleri kullanmak, panonun düzeyindeki önbelleği geçersiz kılmaz. Ancak, bu işlevler SORGU sonuç önbelleğini geçersiz kılarak SQL sorgusunu inceler ve önbellek yenilemesini tetikler.

Zamanlanmış sorgular

Paylaşılan veri izinleriyle yayımlanan bir panoya zamanlama eklemek, tüm pano görüntüleyicileri için ilk yükleme işlemini önemli ölçüde hızlandırabilir.

Zamanlanan her pano güncelleştirmesi için aşağıdakiler gerçekleşir:

• Veri kümelerini tanımlayan tüm SQL mantığı belirlenen zaman aralığında çalışır.
• Sonuçlar sorgu sonucu önbelleğini doldurur ve ilk pano yükleme süresini geliştirmeye yardımcı olur.