Data Factory uçtan uca senaryo: giriş ve mimari

Bu öğretici, bir saat içinde tam veri tümleştirme senaryosu için adım adım yönergeler sağlayarak Microsoft Fabric'te Data Factory için değerlendirme sürecini hızlandırmanıza yardımcı olur. Bu öğreticinin sonunda Data Factory'nin değerini ve önemli özelliklerini anlar ve ortak bir uçtan uca veri tümleştirme senaryosunu nasıl tamamlayacağınızı bilirsiniz.

Genel Bakış: Neden Microsoft Fabric'te Data Factory?

Bu bölüm, Doku'nun rolünü ve Data Factory'nin içinde oynadığı rolü anlamanıza yardımcı olur.

Microsoft Fabric'in değerini anlama

Microsoft Fabric, her kuruluş için tüm analiz ihtiyaçları için tek noktadan bir mağaza sağlar. Veri taşıma, veri gölü, veri mühendisliği, veri tümleştirmesi ve veri bilimi, gerçek zamanlı analiz ve iş zekası gibi eksiksiz bir hizmet yelpazesini kapsar. Fabric ile, birden çok satıcıdan farklı hizmetleri birleştirmeye gerek yoktur. Bunun yerine kullanıcılarınız anlaşılması, eklemesi, oluşturması ve çalıştırması kolay uçtan uca, yüksek oranda tümleşik, tek ve kapsamlı bir ürünün keyfini çıkarır.

Microsoft Fabric'te Data Factory değerini anlama

Dokudaki Data Factory, Power Query'nin kullanım kolaylığını Azure Data Factory'nin ölçeği ve gücüyle birleştirir. Her iki ürünün de en iyilerini birleşik bir deneyimde bir araya getirir. Amaç, Fabrika'daki Veri Entegrasyonu hem vatandaş hem de profesyonel veri geliştiricileri için iyi çalıştığından emin olmaktır. Düşük kodlu, yapay zeka özellikli veri hazırlama ve dönüştürme deneyimleri, petabayt ölçeğinde dönüşüm, karma, çoklu bulut bağlantısına sahip yüzlerce bağlayıcı sağlar. Purview idare sağlar ve hizmet kurumsal ölçekli Veri/İşlem taahhütleri, CI/CD, uygulama yaşam döngüsü yönetimi ve izleme özellikleri sunar.

Giriş - Data Factory'nin üç temel özelliğini anlama

• Veri alımı: İşlem hatlarındaki Kopyalama etkinliği, yüzlerce veri kaynağındaki petabayt ölçeğindeki verileri daha fazla işlem için data Lakehouse'unuza taşımanıza olanak tanır.
• Veri dönüştürme ve hazırlama: Dataflow 2. Nesil, 300'den fazla veri dönüştürmesi kullanarak verilerinizi dönüştürmek için düşük kodlu bir arabirim sağlar ve dönüştürülen sonuçları Azure SQL veritabanları, Lakehouse ve daha fazlası gibi birden çok hedefe yükleme olanağı sağlar.
• Uçtan uca tümleştirme akışı otomasyonu: İşlem hatları Kopyalama, Veri Akışı ve Not Defteri etkinliklerini içeren etkinliklerin ve daha fazlasının düzenlemesini sağlar. Bu sayede etkinlikleri tek bir yerden yönetebilirsiniz. İşlem hattındaki etkinlikler sıralı olarak çalışmak için birlikte zincirlenebilir veya paralel olarak bağımsız olarak çalışabilir.

Bu uçtan uca veri tümleştirme kullanım örneğinde şunları öğrenirsiniz:

• İşlem hattında kopyalama yardımcısını kullanarak veri alma
• Kod içermeyen bir deneyimle veri akışı kullanarak veya betik veya Not Defteri etkinliğiyle verileri işlemek için kendi kodunuzu yazarak verileri dönüştürme
• Tetikleyiciler ve esnek denetim akışı etkinlikleri içeren bir işlem hattı kullanarak uçtan uca veri tümleştirme akışının tamamını otomatikleştirme.

Mimari

Sonraki 50 dakika içinde uçtan uca veri tümleştirme senaryolarını tamamlamakla görevlendirildiniz. Bu, bir kaynak depodaki ham verileri Lakehouse'un Bronz tablosuna almayı, tüm verileri işlemeyi, data Lakehouse'un Gold tablosuna taşımayı, tüm işler tamamlandıktan sonra size bildirim göndermek için bir e-posta göndermeyi ve son olarak akışın tamamını zamanlanmış bir şekilde çalışacak şekilde ayarlamayı içerir.

Senaryo üç modüle ayrılmıştır:

• Modül 1: Blob depolamadan data Lakehouse'daki bronz bir tabloya ham verileri almak için Data Factory ile bir işlem hattı oluşturun.
• Modül 2: Bronz tablonuzdaki ham verileri işlemek ve data Lakehouse'daki bir Gold tablosuna taşımak için Data Factory'deki bir veri akışıyla verileri dönüştürün.
• Modül 3: Tüm işler tamamlandıktan sonra size bildirim göndermek üzere ilk veri tümleştirme yolculuğunuzu tamamlayın ve son olarak akışın tamamını zamanlanmış olarak çalışacak şekilde ayarlayın.

Öğreticinin veri kaynağı olarak örnek veri kümesini NYC-Taxi kullanırsınız. bitirdikten sonra, Microsoft Fabric'teki Data Factory'yi kullanarak belirli bir süre için taksi ücretlerinde günlük indirimler hakkında içgörü elde edebileceksiniz.

İlgili içerik

Microsoft Fabric'te Data Factory kullanarak ilk veri tümleştirmenize yönelik uçtan uca öğreticimizin bu girişinde şunları öğrendiniz:

• Microsoft Fabric'in değeri ve rolü
• Dokuda Data Factory değeri ve rolü
• Data Factory'nin temel özellikleri
• Bu öğreticide öğrenecekler

Veri işlem hattınızı oluşturmak için sonraki bölüme geçin.

Modül 1: Data Factory ile işlem hattı oluşturma