İçe Aktarma modellemesi için veri azaltma teknikleri

  • Makale

Bu makalede İçeri aktarma modelleri geliştiren Power BI Desktop veri modelleyicileri hedef alınıyor. İçeri aktarma modellerine yüklenen verileri azaltmaya yardımcı olmak için farklı teknikler açıklanmaktadır.

İçeri aktarma modelleri sıkıştırılmış ve iyileştirilmiş verilerle yüklenir ve ardından VertiPaq depolama altyapısı tarafından diske depolanır. Kaynak veriler belleğe yüklendiğinde 10 kat sıkıştırma görmek mümkündür ve bu nedenle 10 GB kaynak verinin yaklaşık 1 GB boyutuna kadar sıkıştırabilmesini beklemek mantıklıdır. Ayrıca, diskte kalıcı olduğunda fazladan %20 azaltma elde edilebilir.

VertiPaq depolama altyapısı tarafından elde edilen verimliliklere rağmen, modellerinize yüklenecek verileri en aza indirmeye çalışmanız önemlidir. Bu durum özellikle büyük modeller veya zamanla büyüyeceğini tahmin ettiğiniz modeller için geçerlidir. Dört cazip neden şunlardır:

  • Daha büyük model boyutları kapasiteniz tarafından desteklenmeyebilir. Paylaşılan kapasite boyutu 1 GB'a kadar olan modelleri barındırabilirken Premium kapasiteler SKU'ya bağlı olarak daha büyük modelleri barındırabilir. Daha fazla bilgi için büyük anlam modelleri için Power BI Premium desteği makalesini okuyun. (Anlam modelleri daha önce veri kümeleri olarak biliniyordu.)
  • Daha küçük model boyutları, özellikle bellekte kapasite kaynaklarının çekişmesini azaltır. Daha uzun süreler boyunca daha fazla modelin eşzamanlı olarak yüklenmesine olanak tanır ve bu da çıkarma oranlarının düşmesine neden olur.
  • Daha küçük modeller daha hızlı veri yenilemesi elde ederek daha düşük gecikme süresi raporlaması, daha yüksek anlamsal model yenileme aktarım hızı ve kaynak sistem ile kapasite kaynakları üzerinde daha az baskı sağlar.
  • Daha küçük tablo satırı sayıları, daha hızlı hesaplama değerlendirmelerine neden olabilir ve bu da genel olarak daha iyi bir sorgu performansı sağlayabilir.

Önemli

Bazen bu makale Power BI Premium'a veya kapasite aboneliklerine (P SKU'ları) başvurur. Microsoft'un şu anda satın alma seçeneklerini birleştirdiğini ve kapasite başına Power BI Premium SKU'larını kullanımdan kaldırdığını unutmayın. Yeni ve mevcut müşteriler bunun yerine Doku kapasitesi abonelikleri (F SKU'ları) satın almayı düşünmelidir.

Daha fazla bilgi için bkz . Power BI Premium lisansına gelen önemli güncelleştirmeler ve Power BI Premium hakkında SSS.

Bu makalede ele alınan sekiz farklı veri azaltma tekniği vardır. Bu teknikler şunlardır:

Gereksiz sütunları kaldırma

Model tablosu sütunları iki ana amaca hizmet eder:

  • Raporlama, model verilerini uygun filtreleyen, gruplandıran ve özetleyen rapor tasarımları elde etmek için
  • Model yapısı, model ilişkilerini, model hesaplamalarını, güvenlik rollerini ve hatta veri rengi biçimlendirmesini destekleyerek

Bu amaçlara hizmet eden sütunlar büyük olasılıkla kaldırılabilir. Sütunların kaldırılması dikey filtreleme olarak adlandırılır.

Bilinen raporlama gereksinimlerine göre tam olarak doğru sayıda sütuna sahip modeller tasarlamanızı öneririz. Gereksinimleriniz zaman içinde değişebilir, ancak sütunları daha sonra eklemenin daha sonra kaldırmaktan daha kolay olduğunu unutmayın. Sütunların kaldırılması raporları veya model yapısını bozabilir.

Gereksiz satırları kaldırma

Model tabloları mümkün olduğunca az satırla yüklenmelidir. Bu, filtrelenmiş satır kümelerini model tablolarına iki farklı nedenden dolayı yükleyerek elde edilebilir: varlığa veya zamana göre filtreleme. Satırların kaldırılması yatay filtreleme olarak adlandırılır.

Varlığa göre filtreleme, kaynak verilerin bir alt kümesinin modele yüklenmesini içerir. Örneğin, tüm satış bölgeleri için satış olgularını yüklemek yerine yalnızca tek bir bölge için olguları yükleyin. Bu tasarım yaklaşımı birçok daha küçük modele neden olur ve satır düzeyi güvenlik tanımlama gereksinimini de ortadan kaldırabilir (ancak Power BI hizmeti belirli anlam modeli izinleri verilmesini ve her anlam modeline bağlanan "yinelenen" raporlar oluşturulmasını gerektirir). Yönetimi ve yayını basitleştirmek için Power Query parametrelerinin ve Power BI Şablon dosyalarının kullanımından yararlanabilirsiniz. Daha fazla bilgi için Sorgu Parametrelerine ve Power BI Şablonlarına Ayrıntılı Bakış blog girdisini okuyun

Zamana göre filtreleme, olgu türündeki tablolara yüklenen veri geçmişi miktarını sınırlamayı (ve model tarih tablolarına yüklenen tarih satırlarını sınırlamayı) içerir. Bilinen bir raporlama gereksinimi olmadığı sürece tüm kullanılabilir geçmişi otomatik olarak yüklemenizi öneririz. Zaman tabanlı Power Query filtrelerinin parametrelendirilebileceğini ve hatta göreli zaman aralıklarını (örneğin, son beş yıldaki yenileme tarihine göre) kullanacak şekilde ayarlanabileceğini anlamak yararlı olur. Ayrıca, zaman filtrelerindeki geçmişe dönük değişikliklerin raporları bozmayacağını unutmayın; yalnızca raporlarda daha az (veya daha fazla) veri geçmişine neden olur.

Gruplandırma ölçütü ve özetleme

Model boyutunu küçültmek için belki de en etkili teknik önceden özetlenmiş verileri yüklemektir. Bu teknik olgu türündeki tabloların dilimini yükseltmek için kullanılabilir. Ancak ayrı bir denge sağlanma söz konusu olduğundan ayrıntı kaybı yaşanıyor.

Örneğin, bir kaynak satış olgu tablosu sipariş satırı başına bir satır depolar. Tüm satış ölçümleri özetlenerek, tarihe, müşteriye ve ürüne göre gruplandırılarak önemli ölçüde veri azaltma elde edilebilir. Bu durumda, ay düzeyinde tarihe göre gruplandırma yaparak daha da önemli bir veri azaltma elde edilebileceğini düşünün. Model boyutunda olası %99 azalmaya ulaşabilir, ancak gün düzeyinde (veya tek tek sipariş düzeyinde) raporlama artık mümkün değildir. Olgu türündeki verileri özetlemek için her zaman dengeler gerekir. Karma model tasarımıyla dengelenebilir ve bu seçenek Karma moda geçiş tekniğinde açıklanmıştır.

Sütun veri türlerini iyileştirme

VertiPaq depolama altyapısı her sütun için ayrı veri yapıları kullanır. Tasarım gereği bu veri yapıları, değer kodlaması kullanan sayısal sütun verileri için en yüksek iyileştirmeleri elde eder. Ancak metin ve diğer sayısal olmayan veriler karma kodlama kullanır. Depolama altyapısının sütunda yer alan her benzersiz metin değerine sayısal bir tanımlayıcı atamasını gerektirir. Daha sonra veri yapısında depolanan ve depolama ve sorgulama sırasında karma arama gerektiren sayısal tanımlayıcıdır.

Bazı belirli örneklerde, kaynak metin verilerini sayısal değerlere dönüştürebilirsiniz. Örneğin, bir satış siparişi numarasına sürekli olarak bir metin değeri (örneğin ,"SO123456") ön eki eklenebilir. Ön ek kaldırılabilir ve sipariş numarası değeri tamsayıya dönüştürülebilir. Büyük tablolarda, özellikle sütun benzersiz veya yüksek kardinalite değerleri içerdiğinde önemli ölçüde veri azaltmaya neden olabilir.

Bu örnekte, Varsayılan Özetleme özelliğini "Özetleme" olarak ayarlamanızı öneririz. Sipariş numarası değerlerinin uygun olmayan özetlemesi en aza indirilmesine yardımcı olur.

Özel sütunlar için tercih

VertiPaq depolama altyapısı, model hesaplanmış sütunlarını (DAX'ta tanımlanır) normal Power Query kaynaklı sütunlar gibi depolar. Ancak, veri yapıları biraz farklı depolanır ve genellikle daha az verimli sıkıştırma elde eder. Ayrıca, tüm Power Query tabloları yüklendikten sonra oluşturulurlar ve bu da veri yenileme sürelerinin uzatılmış olarak sonuçlanabilmesini sağlar. Bu nedenle, tablo sütunlarını hesaplanmış sütun olarak eklemek, Power Query hesaplanan sütunlarından (M ile tanımlanır) daha az verimlidir.

Tercih, Power Query'de özel sütunlar oluşturmalıdır. Kaynak bir veritabanı olduğunda, iki yolla daha fazla yük verimliliği elde edebilirsiniz. Hesaplama SQL deyiminde tanımlanabilir (sağlayıcının yerel sorgu dili kullanılarak) veya veri kaynağında bir sütun olarak gerçekleştirilebilir.

Ancak bazı durumlarda model hesaplanmış sütunları daha iyi bir seçim olabilir. Formül ölçüleri değerlendirmeyi içerdiğinde veya yalnızca DAX işlevlerinde desteklenen belirli modelleme işlevselliği gerektirdiğinde bu durum söz konusu olabilir. Bu tür bir örnek hakkında bilgi için DAX'ta üst-alt hiyerarşileri için işlevleri anlama makalesine bakın.

Power Query sorgu yüklemesini devre dışı bırakma

Hedeflenen Power Query sorgularının diğer sorgularla veri tümleştirmesini desteklemesi modele yüklenmemelidir. Sorgunun modele yüklenmesini önlemek için bu örneklerde sorgu yükünü devre dışı bırakmanıza dikkat edin.

Otomatik tarih/saati devre dışı bırakma

Power BI Desktop'ta Otomatik tarih/saat adlı bir seçenek bulunur. Etkinleştirildiğinde, takvim zaman aralıkları için filtreleri, gruplandırma ve detaya gitme eylemlerini yapılandırırken rapor yazarlarını desteklemek üzere tarih sütunları için gizli bir otomatik tarih/saat tablosu oluşturur. Gizli tablolar aslında modelin boyutunu artıracak hesaplanan tablolardır. Bu seçeneği kullanma hakkında yönergeler için Power BI Desktop'ta Otomatik tarih/saat kılavuzu makalesine bakın.

Karma moda geçme

Power BI Desktop'ta Karma mod tasarımı bileşik bir model oluşturur. Temelde, her tablo için depolama modunu belirlemenize olanak tanır. Bu nedenle, her tablonun Depolama Modu özelliği İçeri Aktar veya DirectQuery olarak ayarlanabilir (İkili başka bir seçenektir).

Model boyutunu azaltmaya yönelik etkili bir teknik, daha büyük olgu türünde tablolar için Depolama Modu özelliğini DirectQuery olarak ayarlamaktır. Bu tasarım yaklaşımının daha önce tanıtılan Gruplandırma ve özetleme tekniğiyle birlikte iyi çalışabileceğini düşünün. Örneğin, yüksek performanslı "özet" raporlama elde etmek için özetlenmiş satış verileri kullanılabilir. Detaylandırma sayfası, belirli (ve dar) filtre bağlamı için ayrıntılı satışları görüntüleyebilir ve tüm bağlam içi satış siparişlerini görüntüleyebilir. Bu örnekte detaylandırma sayfası, satış siparişi verilerini almak için DirectQuery tablosunu temel alan görseller içerir.

Ancak Bileşik modellerle ilgili birçok güvenlik ve performans etkisi vardır. Daha fazla bilgi için Power BI Desktop'ta bileşik modelleri kullanma makalesini okuyun.

İlgili içerik

Power BI İçeri Aktarma modeli tasarımı hakkında daha fazla bilgi için aşağıdaki makalelere bakın: