Lakehouse uçtan uca senaryo: genel bakış ve mimari

Microsoft Fabric, veri taşımadan veri bilimine, gerçek zamanlı analize ve iş zekasına kadar her şeyi kapsayan kuruluşlar için hepsi bir arada analiz çözümüdür. Veri gölü, veri mühendisliği ve veri tümleştirmesi gibi kapsamlı bir hizmet paketini tek bir yerde sunar. Daha fazla bilgi için bkz. Microsoft Fabric nedir?

Bu öğreticide, veri alımından veri tüketimine kadar uçtan uca senaryolarda size yol gösterilir. Farklı deneyimler ve bunların nasıl tümleştirildiğinin yanı sıra bu platformda çalışmayla birlikte gelen profesyonel ve vatandaş geliştirici deneyimleri de dahil olmak üzere Doku hakkında temel bir anlayış oluşturmanıza yardımcı olur. Bu öğretici bir başvuru mimarisi, kapsamlı bir özellik ve işlevsellik listesi veya belirli en iyi yöntemler önerisi olarak tasarlanmamıştır.

Lakehouse uçtan uca senaryo

Kuruluşlar geleneksel olarak işlemsel ve yapılandırılmış veri analizi ihtiyaçları için modern veri ambarları oluşturuyordu. Büyük veri (yarı/yapılandırılmamış) veri analizi ihtiyaçları için data lakehouses. Bu iki sistem paralel olarak çalıştırılarak silolar, veri yineleme ve toplam sahip olma maliyetinin artırılmasını sağlar.

Delta Lake biçiminde veri deposunun birleştirilmesi ve standartlaştırılması ile doku siloları ortadan kaldırmanıza, veri yinelemesini kaldırmanıza ve toplam sahip olma maliyetini önemli ölçüde azaltmanıza olanak tanır.

Fabric'in sunduğu esneklik sayesinde lakehouse veya veri ambarı mimarilerini uygulayabilir ya da basit uygulamayla her ikisini de en iyi şekilde elde etmek için bunları bir araya getirebilirsiniz. Bu öğreticide bir perakende kuruluşuna örnek olacak ve baştan sona lakehouse'unu oluşturacaksınız. Bronz katmanının ham verilere sahip olduğu, gümüş katmanının doğrulanmış ve yinelenenleri kaldırılmış verilere sahip olduğu ve altın katmanının yüksek oranda geliştirilmiş verilere sahip olduğu madalyon mimarisini kullanır. Herhangi bir sektörden herhangi bir kuruluş için göl evi uygulamak için aynı yaklaşımı benimsebilirsiniz.

Bu öğreticide, perakende etki alanından kurgusal Wide World Importers şirketinde bir geliştiricinin aşağıdaki adımları nasıl tamamladığı açıklanmaktadır:

1. Power BI hesabınızda oturum açın ve ücretsiz Microsoft Fabric deneme sürümüne kaydolun. Power BI lisansınız yoksa Power BI ücretsiz lisansına kaydolun ve ardından Doku deneme sürümünü başlatabilirsiniz.

2. Kuruluşunuz için uçtan uca bir göl evi oluşturun ve uygulayın:

   • Doku çalışma alanı oluşturun.
   • Bir göl evi oluşturun.
   • Verileri alın, dönüştürün ve lakehouse'a yükleyin. Ayrıca verilerinizin bir kopyası olan OneLake'i göl evi modu ve SQL analiz uç noktası modu arasında inceleyebilirsiniz.
   • SQL analytics uç noktasını kullanarak lakehouse'unuza Bağlan ve Farklı boyutlardaki satış verilerini analiz etmek için DirectLake kullanarak bir Power BI raporu oluşturun.
   • İsteğe bağlı olarak, bir işlem hattıyla veri alımı ve dönüştürme akışını düzenleyebilir ve zamanlayabilirsiniz.

3. Çalışma alanını ve diğer öğeleri silerek kaynakları temizleyin.

Mimari

Aşağıdaki görüntüde lakehouse uçtan uca mimari gösterilmektedir. İlgili bileşenler aşağıdaki listede açıklanmıştır.

• Veri kaynakları: Doku, kolaylaştırılmış veri alımı için Azure Veri Hizmetleri'nin yanı sıra diğer bulut tabanlı platformlara ve şirket içi veri kaynaklarına bağlanmayı hızlı ve kolay hale getirir.

• Alım: 200'den fazla yerel bağlayıcı kullanarak kuruluşunuz için hızla içgörüler oluşturabilirsiniz. Bu bağlayıcılar Doku işlem hattıyla tümleştirilir ve veri akışıyla kullanıcı dostu sürükle ve bırak veri dönüştürmesini kullanır. Ayrıca, Doku'daki Kısayol özelliğiyle var olan verilere kopyalamak veya taşımak zorunda kalmadan bağlanabilirsiniz.

• Dönüştürme ve depolama: Doku, Delta Lake biçiminde standart hale getirir. Bu, tüm Doku altyapılarının verileri yinelemeden OneLake'te depolanan aynı veri kümesine erişebileceği ve bunları işleyebileceği anlamına gelir. Bu depolama sistemi, kurumsal gereksinimlerinize bağlı olarak madalyon mimarisi veya veri ağı kullanarak lakehouse oluşturma esnekliği sağlar. Kod öncelikli bir deneyim için işlem hatlarını/veri akışlarını veya not defterini/Spark'ı kullanarak veri dönüştürme için düşük kodlu veya kod içermeyen bir deneyim arasından seçim yapabilirsiniz.

• Kullanma: Power BI, raporlama ve görselleştirme için Lakehouse'daki verileri kullanabilir. Her Lakehouse,diğer raporlama araçlarından Lakehouse tablolarındaki verilerin kolay bağlantı ve sorgulanması için SQL analiz uç noktası olarak adlandırılan yerleşik bir TDS uç noktasına sahiptir. SQL analizi uç noktası, kullanıcılara SQL bağlantısı işlevselliği sağlar.

Örnek veri kümesi

Bu öğreticide Wide World Importers (WWI) örnek veritabanı kullanılmaktadır. Lakehouse uçtan uca senaryo için Doku platformunun ölçek ve performans özelliklerini keşfetmek için yeterli veri oluşturduk.

Wide World Importers (WWI), San Francisco Körfezi bölgesinden faaliyet gösteren bir toptan yenilik ürünleri ithalatçısı ve distribütörüdür. Bir toptancı olarak, WWI müşterileri çoğunlukla bireylere yeniden satış yapan şirketleri içerir. WWI, özel mağazalar, süpermarketler, bilgi işlem mağazaları, turistik mağazalar ve bazı bireyler dahil olmak üzere Birleşik Devletler genelinde perakende müşterilerine satış yapmaktadır. WWI ayrıca ürünleri WWI adına tanıtan bir temsilci ağı aracılığıyla diğer toptancılara satış da sağlar. Şirket profilleri ve işlemleri hakkında daha fazla bilgi edinmek için bkz . Microsoft SQL için Wide World Importers örnek veritabanları.

Genel olarak, veriler işlem sistemlerinden veya iş kolu uygulamalarından bir göl binasına getirilir. Ancak bu öğreticide kolaylık sağlamak için WWI tarafından sağlanan boyutsal modeli ilk veri kaynağımız olarak kullanacağız. Verileri bir lakehouse'a almak ve madalyon mimarinin farklı aşamaları (Bronz, Gümüş ve Altın) aracılığıyla dönüştürmek için kaynak olarak kullanırız.

Veri modeli

WWI boyut modeli çok sayıda olgu tablosu içerse de, bu öğretici için Satış olgu tablosunu ve ilişkili boyutlarını kullanırız. Aşağıdaki örnekte WWI veri modeli gösterilmektedir:

Veri ve dönüştürme akışı

Daha önce açıklandığı gibi, bu uçtan uca lakehouse'u oluşturmak için Wide World Importers (WWI) örnek verilerini kullanıyoruz. Bu uygulamada örnek veriler, tüm tablolar için Parquet dosya biçiminde bir Azure Veri depolama hesabında depolanır. Ancak gerçek dünya senaryolarında veriler genellikle çeşitli kaynaklardan ve çeşitli biçimlerden kaynaklanır.

Aşağıdaki görüntüde kaynak, hedef ve veri dönüşümü gösterilmektedir:

• Veri Kaynağı: Kaynak veriler Parquet dosya biçiminde ve bölümlenmemiş bir yapıdadır. Her tablo için bir klasörde depolanır. Bu öğreticide, tüm geçmiş veya tek seferlik verileri lakehouse'a almak için bir işlem hattı ayarlayacağız.

  Bu öğreticide, 11 ay boyunca geçmiş verileri içeren bir üst klasörü (her ay için bir alt klasörle) ve üç ay boyunca artımlı veri içeren başka bir klasörü (her ay için bir alt klasör) içeren Satış olgu tablosunu kullanacağız. İlk veri alımı sırasında lakehouse tablosuna 11 aylık veriler alınır. Ancak artımlı veriler geldiğinde, Ekim ve Kas için güncelleştirilmiş veriler ve Aralık için yeni veriler içerir. Oct ve Nov verileri mevcut verilerle birleştirilir ve yeni Dec verileri aşağıdaki görüntüde gösterildiği gibi lakehouse tablosuna yazılır:

  

• Lakehouse: Bu öğreticide bir lakehouse oluşturacak, lakehouse'un dosyalar bölümüne veri alıcağız ve ardından lakehouse'un Tablolar bölümünde delta lake tabloları oluşturacaksınız.

• Dönüştürme: Veri hazırlama ve dönüştürme için iki farklı yaklaşım görürsünüz. Kod öncelikli bir deneyimi tercih eden kullanıcılar için Not Defterleri/Spark kullanımını ve düşük kodlu veya kod içermeyen bir deneyimi tercih eden kullanıcılar için işlem hatlarını/veri akışını kullanmayı gösteriyoruz.

• Kullanım: Veri tüketimini göstermek için Power BI'ın DirectLake özelliğini kullanarak raporlar, panolar ve doğrudan lakehouse'dan veri sorgulama özelliğini nasıl kullanabileceğinizi görürsünüz. Ayrıca, TDS/SQL analiz uç noktasını kullanarak verilerinizi üçüncü taraf raporlama araçlarının kullanımına nasıl sunabileceğinizi gösteriyoruz. Bu uç nokta, ambara bağlanmanızı ve analiz için SQL sorguları çalıştırmanızı sağlar.

Sonraki adım

Göl evi oluşturma