Veri akışlarını kullanarak boyutsal model oluşturmaya yönelik en iyi yöntemler

Boyutsal model tasarlamak, veri akışıyla gerçekleştirebileceğiniz en yaygın görevlerden biridir. Bu makalede, veri akışı kullanarak boyutsal model oluşturmaya yönelik en iyi uygulamalardan bazıları vurgulanır.

Hazırlama veri akışları

Veri tümleştirme sistemindeki önemli noktalardan biri, kaynak işletim sisteminden okuma sayısını azaltmaktır. Geleneksel veri tümleştirme mimarisinde bu azaltma, hazırlama veritabanı olarak adlandırılan yeni bir veritabanı oluşturularak gerçekleştirilir. Hazırlama veritabanının amacı, verileri normal bir zamanlamaya göre hazırlama veritabanına veri kaynağından olduğu gibi yüklemektir.

Daha sonra veri tümleştirmesinin geri kalanı, hazırlama veritabanını daha fazla dönüştürme için kaynak olarak kullanır ve boyutsal model yapısına dönüştürür.

Veri akışlarını kullanarak aynı yaklaşımı izlemenizi öneririz. Yalnızca kaynak sistemden olduğu gibi (ve yalnızca ihtiyacınız olan tablolar için) verileri yüklemekten sorumlu bir veri akışları kümesi oluşturun. Sonuç daha sonra veri akışının depolama yapısında depolanır (Azure Data Lake Depolama veya Dataverse). Bu değişiklik, kaynak sistemden okuma işleminin en düşük düzeyde olmasını sağlar.

Ardından, verilerini hazırlama veri akışlarından kaynaklayan başka veri akışları oluşturabilirsiniz. Bu yaklaşımın avantajları şunlardır:

• Kaynak sistemdeki okuma işlemlerinin sayısını azaltma ve sonuç olarak kaynak sistemdeki yükü azaltma.
• Şirket içi veri kaynağı kullanılıyorsa veri ağ geçitlerindeki yükü azaltma.
• Kaynak sistem verilerinin değişmesi durumunda mutabakat amacıyla verilerin ara kopyasına sahip olma.
• Dönüştürme veri akışlarını kaynaklardan bağımsız hale getirme.

Hazırlama veri akışlarını ve hazırlama depolama alanını vurgulayan ve hazırlama veri akışı tarafından veri kaynağından erişilen verileri ve Kadavralar veya Azure Data Lake Depolama depolanan tabloları gösteren görüntü. Tablolar daha sonra diğer veri akışlarıyla birlikte dönüştürülerek sorgu olarak gönderilir.

Veri akışlarını dönüştürme

Dönüştürme veri akışlarınızı hazırlama veri akışlarından ayırdığınızda, dönüştürme kaynaktan bağımsız olur. Bu ayrım, kaynak sistemi yeni bir sisteme geçiriyorsanız yardımcı olur. Bu durumda yapmanız gereken tek şey hazırlama veri akışlarını değiştirmektir. Dönüştürme veri akışları, yalnızca hazırlama veri akışlarından kaynaklandığından sorunsuz çalışır.

Bu ayırma, kaynak sistem bağlantısının yavaş olması durumunda da yardımcı olur. Dönüştürme veri akışının kaynak sistemden yavaş bir bağlantı üzerinden gelen kayıtları almak için uzun süre beklemesi gerekmez. Hazırlama veri akışı bu bölümü zaten yapmıştır ve veriler dönüştürme katmanı için hazır olacaktır.

Katmanlı Mimari

Katmanlı mimari, eylemleri ayrı katmanlar halinde gerçekleştirdiğiniz bir mimaridir. Hazırlama ve dönüştürme veri akışları, çok katmanlı bir veri akışı mimarisinin iki katmanı olabilir. Katmanlar halinde eylem yapmaya çalışmak, gereken en düşük bakımı sağlar. Bir şeyi değiştirmek istediğinizde, yalnızca bulunduğu katmanda değiştirmeniz yeterlidir. Diğer katmanların tümü sorunsuz çalışmaya devam etmelidir.

Aşağıdaki görüntüde, tablolarının Power BI anlam modellerinde kullanıldığı veri akışları için çok katmanlı bir mimari gösterilmektedir.

Hesaplanan tabloyu mümkün olduğunca kullanma

Bir veri akışının sonucunu başka bir veri akışında kullandığınızda, hesaplanan tablo kavramını kullanırsınız; bu da "zaten işlenmiş ve depolanmış" bir tablodan veri alma anlamına gelir. Aynı şey bir veri akışı içinde de gerçekleşebilir. Başka bir tablodan bir tabloya başvurarak hesaplanan tabloyu kullanabilirsiniz. Bu, yaygın dönüştürmeler olarak adlandırılan birden çok tabloda yapılması gereken bir dizi dönüştürmeniz olduğunda yararlıdır.

Önceki görüntüde hesaplanan tablo verileri doğrudan kaynaktan alır. Ancak, hazırlama ve dönüştürme veri akışlarının mimarisinde, hesaplanan tabloların hazırlama veri akışlarından kaynaklanma olasılığı yüksektir.

Yıldız şeması oluşturma

En iyi boyutlu model, modelden verileri sorgulama süresini en aza indirmek ve veri görselleştiricisi için anlaşılmasını kolaylaştırmak amacıyla tasarlanmış boyutlara ve olgu tablolarına sahip bir yıldız şeması modelidir.

İşletim sisteminin aynı düzenindeki verileri bir BI sistemine getirmek ideal değildir. Veri tabloları yeniden modellenmelidir. Tablolardan bazıları, açıklayıcı bilgileri tutan bir boyut tablosu biçiminde olmalıdır. Tablolardan bazıları, toplayıcı verileri tutmak için olgu tablosu biçiminde olmalıdır. Olgu tablolarının ve boyut tablolarının oluşturulacağı en iyi düzen bir yıldız şemasıdır. Daha fazla bilgi: Yıldız şemasını ve Power BI'ın önemini anlama

Boyutlar için benzersiz bir anahtar değeri kullanma

Boyut tabloları oluştururken her biri için bir anahtarınız olduğundan emin olun. Bu anahtar, boyutlar arasında çoka çok (veya başka bir deyişle "zayıf") ilişki olmamasını sağlar. Bir sütunun veya sütun birleşiminin boyutta benzersiz satırlar döndürdiğinden emin olmak için bazı dönüştürmeler uygulayarak anahtarı oluşturabilirsiniz. Ardından bu sütun birleşimi, veri akışındaki tabloda anahtar olarak işaretlenebilir.

Büyük olgu tabloları için artımlı yenileme yapma

Olgu tabloları her zaman boyutsal modeldeki en büyük tablolardır. Bu tablolar için aktarılan satır sayısını azaltmanızı öneririz. Çok büyük bir olgu tablonuz varsa, bu tablo için artımlı yenileme kullandığınızdan emin olun. Artımlı yenileme, Power BI anlam modelinde ve veri akışı tablolarında da yapılabilir.

Artımlı yenilemeyi kullanarak verilerin yalnızca bir bölümünü( değiştirilen bölümü) yenileyebilirsiniz. Verilerin hangi bölümünün yenileneceklerini ve hangi bölümünün kalıcı olacağını belirlemek için birden çok seçenek vardır. Daha fazla bilgi: Power BI veri akışlarıyla artımlı yenileme kullanma

Boyutlar ve olgu tabloları oluşturmak için başvuruda bulunmak

Kaynak sistemde genellikle veri ambarında hem olgu hem de boyut tabloları oluşturmak için kullandığınız bir tablonuz vardır. Bu tablolar, hesaplanan tablolar ve ayrıca ara veri akışları için iyi adaylardır. İşlemin veri temizleme ve ek satır ve sütunları kaldırma gibi ortak bölümü bir kez yapılabilir. Bu eylemlerin çıkışından bir başvuru kullanarak boyut ve olgu tablolarını oluşturabilirsiniz. Bu yaklaşım, ortak dönüşümler için hesaplanan tabloyu kullanır.