AI/BI panolarında veri kümesi somutlaştırma

Important

Bu özellik Beta sürümündedir. Bunu kullanmak için bir çalışma alanı yöneticisinin Önizlemeler sayfasından AI/BI Dashboard Materialization'ı açması gerekir. Bkz. Azure Databricks önizlemelerini yönetme.

AI/BI panoları, panoya özgü veri kümelerini temel alır. Varsayılan olarak, her veri seti canlı olarak değerlendirilir, bu yüzden bir gösterge paneli yüklendiğinde veya bir görüntüleyici onunla etkileşime girdiğinde, altta yatan sorgular, katılımlar ve kaynak taramaları SQL deponuzda tekrar çalışır. Pahalı kaynak sorgular veya birçok katılım üzerine kurulu dashboardlar için, bu sorguları her etkileşimde tekrar çalıştırmak yavaş ve maliyetlidir.

Veri seti materyalizasyonu, bir veri setinin temelindeki sonuçları önceden hesaplayıp depolar; böylece yüksek işlem yükü, her gösterge paneli yüklemesinde veya etkileşimde değil, bir zamanlamaya göre yalnızca bir kez gerçekleşir. Etkileşimler daha sonra depolanan sonuçlardan render edilir ve bu da yayınlanan dashboardları hızlandırır.

Materyalizasyon, Unity Catalog metrik görünümü maddeleştirme teknolojisini kullanır. Bkz. Metrik görünümleri için somutlaştırma.

Neler somutlaştırılır

Materyalizasyon, veri seti verilerini önceden hesaplar ve depolar. Depolananlar, iki veri seti türü arasında farklılık gösterir:

  • SQL veri setleri için tam sorgu sonucu önceden hesaplanmış ve saklanmıştır.
  • Yerel metrik görünümler için, satır düzeyindeki veri modeli (kaynak veri, birleşmeler ve filtre alanları) saklanırken, ölçümler sorgu zamanında önceden hesaplanmış tabana karşı hesaplanır.

Benefits

Veri seti maddeleştirmesi aşağıdaki faydaları sağlar:

  • Yeniden modellemeden daha hızlı gösterge panelleri. Maliyetli birleştirmeler ve kaynak taramaları, her yüklemede değil zamanlanmış olarak bir kez çalıştırılır; böylece bir pano büyük tabloları yeniden sorguladığında kullanıcıların yaşadığı bekleme ortadan kalkar.
  • Okumada daha düşük depo maliyeti. Temel veri modelinin ön hesaplaması, her görüntüleyici ve her sayfa yüklemesi için aynı ağır sorguyu tekrarlamaktan kaçınır, bu da depo kullanımını azaltır.
  • Operasyonel ek yük yok. Azure Databricks, sizin için maddi hale gelen verileri oluşturur, depolar ve yeniler. Yönetilecek bir boru hattı, şema veya depolama yok.

Costs

Veri seti maddeleştirmesi depolama ve hesaplama maliyetleri getirir:

Bu maliyetleri, tekrar tekrar kaynak taramaları ve birleştirmelerden kaçınmanın getirdiği tasarruflarla karşılaştırın. Veri tazeliğini hesaplama maliyetleriyle dengeleyen bir yenileme takvimi seçin.

Ne zaman maddeleştirme kullanılır

Materyalizasyon, performans için her zaman doğru araç değildir. Fayda, bir veri setinin tekrarlanan, tam yeniden hesaplamasını (tarama ve birleştirme) önceden hesaplanmış bir tabloya karşı okumalarla değiştirmekten gelir. Aşağıdakilerden biri veya birkaçı geçerliyse veri kümesini somutlaştırın:

  • Yoğun etkileşimli gösterge panelleri. Gösterge panelinde birçok filtre, çapraz filtreleme veya detaylandırma sistemi bulunur. Somutlaştırma olmadan, her etkileşim veri kümesi sorgusunu yeniden çalıştırır; bu nedenle bu veri kümelerini önceden hesaplamak, bir oturum boyunca tekrar tekrar fayda sağlar.
  • Pahalı veri setleri. Veri seti, çoklu tablo birleştirmeleri, yoğun görünümler veya ortak tablo ifadeleri (CTE'ler), pencere fonksiyonları veya birçok tablo boyunca birleşmeler üzerine kuruludur.
  • Büyük tablolarda seçici filtreler. Veri seti, milyarlarca satır arasından bir bölge veya son 7 gün gibi küçük bir alt kümeyi seçer. Maddeleşme sadece küçük alt kümeyi saklar.
  • Zamanlanmış güncellik toleransı. Verilerin gerçek zamanlı olması gerekmez; yalnızca gösterge panelinin yenileme sıklığına uygun şekilde, örneğin saatlik veya günlük olarak güncel olması yeterlidir.

Nadiren yüklenen küçük veri setleri veya dashboardlar için canlı sorgulama genellikle yeterince hızlıdır ve materyalizasyon maliyetine değmeyebilir. Maddeleştirme yayın başına ve veri seti başına isteğe bağlı olduğundan, bunu sadece karşılığını aldığı yerlerde uygulayabilirsiniz.

Gereksinimler

  • AI/BI panosuna erişim.
  • Dashboard, Veri İzinlerini Paylaş seçeneğiyle yayınlanır. Bireysel veri izinleriyle yayınlanan dashboardlar için materyalizasyon desteklenmemektedir. Bkz. Paylaşılan veri izinleri nelerdir?.
  • Çalışma alanında sunucusuz hesaplama etkinleştirildi. İlk oluşturma ve yenilemeler sunucusuz Lakeflow pipelines üzerinde çalışır. Bkz. Sunucusuz SQL ambarlarını ayarlama.
  • Databricks Runtime 17.3 ve üzerini çalıştıran bir SQL ambarında CAN USE izni.

Veri seti materyalizasyonunu etkinleştirin

Veri setleri varsayılan olarak materyalizasyon için seçilir, ancak yayınlama sırasında Materialize Veri Setleri seçeneğini açana kadar panelde materyalizasyon kapalıdır.

Hangi veri setlerinin gerçekleşeceğini seçin

Veri sekmesinde, veri setinin yanındaki maddeleştirme simgesine tıklayarak onu dahil edebilir veya hariç tutabilirsiniz.

Veri sekmesi, bir veri setinde yeşil bir maddeleştirme simgesi ve diğerinde seçilmemiş bir simge gösteriyor.

Bir veri setini maddeleştirmeden hariç tuttuğunuzda, o veri setimine karşı yapılan sorgular canlı sonuç getirirken, maddeleştirilmiş veri setlerine karşı sorgular en son maddeleştirme çalışmasını yansıtır. Tüm veri setleri aynı maddeleştirme takvimini kullandığında, widget'lar tutarlı veri tazeliğine sahiptir.

Materyalizasyon ile yayın

  1. Taslak panelinde Yayınla'na tıklayın.
  2. Yayınlama diyalogunda Veri Paylaş izinlerini seçin.
  3. Veri sekmesinde seçili veri kümelerini somutlaştırmak için Veri kümelerini somutlaştır seçeneğini açın.
  4. Yayımla'ya tıklayın.

Paylaşılan veri izinlerinin seçili olduğu yayımlama iletişim kutusu ve Materialize veri kümeleri seçeneği.

Her yayımlamada Veri kümelerini somutlaştır seçeneğini açın.

Bir yenileme takvimi belirleyin

Materyalize edilmiş veriler, dashboard'un yenileme takviminde yenilenir. Yenileme frekansını ayarlamak için dashboard programını kullanın.

Gösterge panelinde bir zamanlama yoksa, materyalizasyon etkinleştirilerek yayımlandığında günlük bir yenileme zamanlaması eklenir. Mevcut programlar korunmuştur. Aktif bir zaman çizelgesi olmadan, maddeleşmiş veri oluşturulduktan sonra otomatik olarak yenilenmez.

Panonun Zamanlamalar panelinde, yenileme zamanlaması için Veri kümeleri somutlaştırıldı rozeti gösteriliyor.

Maddeleştirme durumunu görüntüle

Yayınlanan gösterge panelinde, Kebab menü simgesini açın. menüsünü açın ve Bilgi'yi seçin. Yan panel, her maddeleştirilmiş veri setinin durumunu ve yenileme bilgilerini gösterir.

Yayınlanan kontrol panelinin kebap menüsünü ve maddeleşme durumunu görüntülemek için Bilgi seçeneği var.

Her maddeleştirilmiş veri setinin durumunu ve yenileme bilgilerini listeleyen Bilgi yan çubuğu.

Yeniden kullanım ve temizlik

Azure Databricks, maddeleştirilmiş verilerinizin yaşam döngüsünü yönetir:

  • Revizyonlar arasında yeniden kullanım. Aynı kullanıcı tarafından bir gösterge paneli yeniden yayınlanırsa ve veri seti değişmemişse, mevcut maddeleştirme yeniden kullanılır ve boşa harcanan hesaplama önlenir.
  • Otomatik temizlik. Azure Databricks, yayınlanmış bir dashboard'un artık referans vermediği maddeleri kaldırır; örneğin tanım değişikliği veya yayından kaldırıldıktan sonra.

Yeniden yayınlama mutlaka maddi veriyi yenilemek anlamına gelmez.

Limitations

Veri seti maddeleştirmesinin aşağıdaki sınırlamaları vardır:

  • Sadece yayınlanan dashboardlar. Maddeleştirme, yayımlanan dashboard'lar için geçerlidir. Taslaklar canlı veri sorgulamaya devam ediyor.
  • Parametrizlenmiş veri setleri yok. Parametre tanımlayan veri setleri maddileştirilemez. Parametreli bir veri kümesini somutlaştırma için etkinleştirirseniz, Azure Databricks bunu somutlaştırmak yerine başarısız olarak raporlar.
  • Yenileme yalnızca gösterge paneli zamanlamasına uyar. Veri seti başına ayrı bir yenileme takvimi yoktur. Somutlaştırma, gösterge panelinizin zamanlanmış yenileme sıklığına göre yenilenir.
  • Sunucusuz şart. İlk oluşturma ve yenilemeler sunucusuz Lakeflow boru hatlarında çalışır, bu yüzden çalışma alanında sunucusuz hesaplama etkin olmalıdır.
  • Korunan veriler, materyalizasyonlardan sunulmaz. Satır düzeyinde güvenlik, sütun maskeleri veya öznitelik tabanlı erişim kontrol (ABAC) politikalarıyla korunan kaynak veriler için materyalizasyon oluşturulamaz. Eğer satır düzeyinde güvenlik, materyalizasyon oluşturulduktan sonra kaynak tabloya eklenirse, metrik görünümüne yapılan sonraki sorgular materyalizasyonu atlar ve doğrudan kaynak veriler üzerinde çalıştırılır.
  • Veri paylaşımı izinleri gereklidir. Yalnızca paylaşılan veri izinleriyle yayınladığınızda materyalizasyonu etkinleştirebilirsiniz. Bireysel veri izinleriyle yayınladığınızda bunu etkinleştiremezsiniz.

Sık sorulan sorular

Aşağıdaki sorular veri seti maddeleştirme davranışı, yenilemeler ve izinleri kapsar.

Maddeleşme metriklerimi veya sonuçlarımı değiştirir mi?

Maddeleştirme, veri setinin sorgu mantığını korur, ancak veri en son başarılı yenilemeyi yansıtır. Yerel metrik görünümler için, ölçümler sorgu zamanında maddeleşmiş verilere karşı hesaplanır. Ne gerçekleştiğine bak.

Bir maddeleşme hazır değilse veya mevcut değilse ne olur?

Eğer bir maddeleştirme sorgulama zamanında hazır değilse veya mevcut değilse, sorgu canlı veri sorgulamak yerine hata döndürür. Maddeleştirmenin bitmesini bekle, sonra sorguyu tekrar çalıştır.

Maddeleşmiş veri nerede saklanıyor?

Azure Databricks, maddeleştirilmiş verileri yayınlanan kontrol panelinize göre yönetilen, dahili depolamada saklar. Unity Catalog'da yayınlayacak hiçbir şeyiniz yok, yönetmeniz gereken şema veya depolama alanı da yok. Erişim, gösterge panelinizi ve temel veri izinlerini takip etmeye devam eder.

Maddeleşmiş veri ne sıklıkla yenilenir?

Materyalize edilmiş veriler, dashboard'un yenileme takviminde yenilenir. Bkz. Yenileme takvimi belirleyin.

Maddeleştirme hangi hesaplama yöntemini kullanıyor?

İlk oluşturma ve yenilemeler her ikisi de Azure Databricks tarafından yönetilen serverless Lakeflow pipelines üzerinde çalışır. Bu yüzden sunucusuz hesaplama çalışma alanında etkin olmalıdır.

Maddeleştirme izinleri etkiler mi?

No. Maddeleştirme, veriye ek erişim sağlamaz. Erişim hâlâ gösterge panelinin paylaşım yapılandırmasını ve yayınlamak için kullanılan izinleri takip ediyor.

Yeniden yayımladığımda ne olur?

Mevcut materyalizasyonlar, aynı kullanıcı değişmemiş bir veri setini yeniden yayımladığında yeniden kullanılabilir. Yeniden Kullanım ve Temizleme bölümlerine bakınız. Her yayımlamada Veri kümelerini somutlaştır seçeneğini açın.

Ek kaynaklar

  • Last updated on