Data Factory uçtan uca senaryo: giriş ve mimari
Bu öğretici, bir saat içinde tam veri tümleştirme senaryosu için adım adım yönergeler sağlayarak Microsoft Fabric'te Data Factory değerlendirme sürecini hızlandırmanıza yardımcı olur. Bu öğreticinin sonunda Data Factory'nin değerini ve önemli özelliklerini anlar ve ortak bir uçtan uca veri tümleştirme senaryosunu nasıl tamamlayacağınızı bilirsiniz.
Önemli
Microsoft Fabric şu anda ÖNİzLEME aşamasındadır. Bu bilgiler, yayımlanmadan önce önemli ölçüde değiştirilebilen bir yayın öncesi ürünle ilgilidir. Microsoft, burada sağlanan bilgilerle ilgili olarak açık veya zımni hiçbir garanti vermez. Azure'da hizmetin Azure Data Factory belgelerine bakın.
Genel Bakış: Neden Microsoft Fabric'te Data Factory?
Bu bölüm, Doku'nun genel olarak rolünü ve Data Factory'nin içinde oynadığı rolü anlamanıza yardımcı olur.
Microsoft Fabric'in değerini anlama
Microsoft Fabric, her kuruluş için tüm analiz gereksinimleri için tek noktadan bir mağaza sağlar. Veri taşıma, veri gölü, veri mühendisliği, veri tümleştirmesi ve veri bilimi, gerçek zamanlı analiz ve iş zekası gibi eksiksiz bir hizmet yelpazesini kapsar. Doku ile birden çok satıcıdan farklı hizmetleri birleştirmeye gerek yoktur. Bunun yerine kullanıcılarınız anlaşılması, eklemesi, oluşturması ve çalışması kolay uçtan uca, yüksek oranda tümleşik, tek ve kapsamlı bir ürünün keyfini çıkarır.
Microsoft Fabric'te Data Factory değerini anlama
Dokudaki Data Factory, Power Query kullanım kolaylığını Azure Data Factory ölçeği ve gücüyle birleştirir. Her iki ürünün de en iyilerini birleşik bir deneyimde bir araya getirir. Amaç, Fabrika'da Veri Entegrasyonu hem vatandaş hem de profesyonel veri geliştiricileri için iyi çalıştığından emin olmaktır. Düşük kodlu, yapay zeka özellikli veri hazırlama ve dönüştürme deneyimleri, petabayt ölçeğinde dönüşüm, hibrit, çoklu bulut bağlantısına sahip yüzlerce bağlayıcı sağlar. Purview idare sağlar ve hizmet kurumsal ölçekli Veri/İşlem taahhütleri, CI/CD, uygulama yaşam döngüsü yönetimi ve izleme özellikleri sunar.
Giriş - Data Factory'nin üç önemli bileşenini anlama
- Veri alımı: İşlem hatlarındaki Kopyalama etkinliği, yüzlerce veri kaynağındaki petabayt ölçeğindeki verileri daha fazla işlem için data Lakehouse'unuza taşımanıza olanak tanır.
- Veri dönüştürme ve hazırlama: Veri akışları 2. Nesil, 300'den fazla veri dönüşümünü kullanarak verilerinizi dönüştürmek için düşük kodlu bir arabirim sağlar ve dönüştürülen sonuçları Azure SQL veritabanları, Lakehouse ve daha fazlası gibi birden çok hedefe yükleyebilir.
- Uçtan uca tümleştirme akışı otomasyonu: İşlem hatları Kopyalama, Veri Akışı ve Not Defteri etkinliklerini içeren etkinliklerin ve daha fazlasının düzenlemesini sağlar. Bu, etkinliklerin tümünü tek bir yerde yönetmenize olanak tanır. İşlem hattındaki etkinlikler sırayla çalışmak için birbirine zincirlenebilir veya paralel olarak bağımsız olarak çalışabilir.
Bu uçtan uca veri tümleştirmesi kullanım örneğinde şunları öğrenirsiniz:
- İşlem hattında Kopyalama Etkinliği kullanarak veri alma
- Kod içermeyen bir deneyimle veri akışı kullanarak veya betik veya Not Defteri etkinliğiyle verileri işlemek için kendi kodunuzu yazarak verileri dönüştürme
- Tetikleyiciler ve esnek denetim akışı etkinlikleri içeren bir işlem hattı kullanarak uçtan uca veri tümleştirme akışının tamamını otomatikleştirme.
Mimari
Sonraki 50 dakika içinde uçtan uca veri tümleştirme senaryolarını tamamlama göreviniz vardır. Bu, bir kaynak depodaki ham verileri Lakehouse'un Bronz tablosuna almayı, tüm verileri işlemeyi, data Lakehouse'un Gold tablosuna taşımayı, tüm işler tamamlandıktan sonra size bildirim göndermek için bir e-posta göndermeyi ve son olarak akışın tamamını zamanlanmış bir şekilde çalışacak şekilde ayarlamayı içerir.
Senaryo üç modüle ayrılmıştır:
- Modül 1: Blob depolamadan data Lakehouse'daki bronz tabloya ham verileri almak için Data Factory ile işlem hattı oluşturun.
- Modül 2: Bronz tablonuzdaki ham verileri işlemek ve data Lakehouse'daki bir Gold tablosuna taşımak için Data Factory'de bir veri akışıyla verileri dönüştürün.
- Modül 3: Tüm işler tamamlandıktan sonra size bildirim göndermek için ilk veri tümleştirme yolculuğunuzu tamamlayın ve son olarak akışın tamamını zamanlanmış bir şekilde çalışacak şekilde ayarlayın.
Öğreticinin veri kaynağı olarak örnek veri kümesini NYC-Taxi kullanırsınız. bitirdikten sonra, Microsoft Fabric'teki Data Factory'yi kullanarak belirli bir süre için taksi ücretlerinde günlük indirimler hakkında içgörü elde edebileceksiniz.
Sonraki adımlar
Microsoft Fabric'te Data Factory kullanarak ilk veri tümleştirmenize yönelik uçtan uca öğreticimizin bu giriş bölümünde şunları öğrendiniz:
- Microsoft Fabric'in değeri ve rolü
- Dokuda Data Factory değeri ve rolü
- Data Factory'nin temel bileşenleri
- Bu öğreticide öğrenecekler
Veri işlem hattınızı oluşturmak için şimdi sonraki bölüme geçin.