Azure Data Factory Fabric Data Factory'ye geçiş planlaması

Microsoft Fabric, Microsoft analiz araçlarını tek bir SaaS platformunda bir araya getirir. İş akışı düzenleme, veri taşıma, çoğaltma ve büyük ölçekte dönüştürme için güçlü özellikler sunar. Fabric Data Factory, kullanım kolaylığı iyileştirmeleri ve ek işlevler sayesinde Azure Data Factory (ADF) PaaS'ı kullanan bir SaaS ortamı sağlayarak Data Factory'Fabric mevcut veri tümleştirme çözümlerinizin mükemmel modernleştirilmesini sağlar.

Bu kılavuzda, Azure Data Factory'den Fabric Data Factory'ye geçmenize yardımcı olacak geçiş stratejileri, önemli noktalar ve yaklaşımlar gösterilmektedir.

Neden geçiş yapmalı?

ADF ve Synapse işlem hatlarından Fabric Data Factory'ye geçiş, lift-and-shift'ten daha fazlasıdır: Bu, veri tümleştirme stratejinizi geliştirmek için idareyi basitleştirme, desenleri standartlaştırma ve Fabric Data Factory'nin gelişmiş özelliklerini kullanma fırsatıdır.

Fabric aşağıdakiler dahil olmak üzere birçok yeni özellik sunar:

  • İleti yönlendirme için e-posta ve Teams gibi tümleşik işlem hattı etkinlikleri
  • Harici Git bağımlılıkları olmadan yerleşik CI/CD (dağıtım işlem hatları)
  • Birleştirilmiş analiz için OneLake, Warehouse ve Lakehouse ile sorunsuz çalışma alanı tümleştirmesi
  • Hem self servis hem de kurumsal veri gereksinimlerini karşılayacak şekilde ölçeklendirilen kolaylaştırılmış anlamsal veri modeli yenilemeleri
  • İşlem hatlarını oluşturmanıza ve yönetmenize yardımcı olmak için Copilot ile yerleşik yapay zeka özellikleri

Ayrıntılı karşılaştırma için bkz. Azure Data Factory ve Fabric Data Factory karşılaştırma kılavuzu.

Kritik mimari farklılıkları

Azure Data Factory'den Fabric Data Factory'ye geçmeden önce, geçiş planlaması üzerinde en büyük etkiye sahip olma eğiliminde olan bu kritik mimari farklılıkları göz önünde bulundurun:

Kategori Azure Data Factory Fabric Data Factory Geçiş Etkisi
Özel kod Özel Etkinlik Azure Batch etkinliği Etkinlik adı farklıdır, ancak aynı işlevselliği destekler.
Dataflows Veri Akışlarını Eşleme (Spark tabanlı) Dataflow 2. Nesil (Power Query altyapısı) ile hızlı kopyalama ve birden fazla hedef Farklı dönüştürme altyapıları ve özellikleri. Daha fazla bilgi için Eşleme Veri Akışı kullanıcıları için veri akışı kılavuzumuza bakın.
Veri kümeleri Ayrı, yeniden kullanılabilir veri kümesi nesneleri Özellikler, etkinlikler içinde satır içi olarak tanımlanır. ADF'den Fabric dönüştürdüğünüzde, 'veri kümesi' bilgileri her etkinliğin içinde olur.
Dinamik bağlantılar Bağlı hizmet özellikleri parametreler kullanılarak dinamik olabilir Bağlantı özellikleri dinamik özellikleri desteklemez, ancak işlem hattı etkinlikleri bağlantı nesneleri için dinamik içerik kullanabilir Parametreli bağlantıları kullanan Meta Veri Temelli Mimari tabanlı çözümler için, Fabric'de bağlantı nesnesini parametreleştirin.
Genel Parametreler Global Parametreler Fabric Değişken Kütüphanesi Geçiş kılavuzumuz olsa da farklı uygulama desenleri ve veri türleri.
HDInsight etkinlikleri Beş ayrı etkinlik (Hive, Pig, MapReduce, Spark, Streaming) Tek HDInsight etkinliği Dönüştürürken yalnızca bir etkinlik türüne ihtiyacınız vardır, ancak tüm işlevler desteklenir.
Identity Yönetimli Kimlik Fabric Çalışma Alanı Kimliği Farklı kimlik modelleri; bazı planlamaların değişmesi gerekir.
Key Vault (şifreleme hizmeti) Tüm kimlik doğrulama türleriyle olgun bir entegrasyon Fabric Key Vault Reference aracılığıyla sınırlı tümleştirme geçerli olarak desteklenen Key Vault kaynakları ve kimlik doğrulaması mevcut yapılandırmalarınızla karşılaştırın.
İşlem hattı çalıştırma Boru hattı etkinliğini yürüt. FabricDataPipeline bağlantı türüyle İşlem Hattı etkinliğini çağırma Dönüştürme sırasında etkinlik adı ve bağlantı gereksinimleri değişir.
Scheduling Merkezi yönetimle birçok işlem hattı için bir tetikleyici veya işlem hattı başına çok sayıda tetikleyici İşlem hattı başına bir zamanlama veya yeniden zamanlama veya merkezi merkez olmadan işlem hattı başına çok sayıda zamanlama Fabric şu anda işlem hattı başına zamanlama yönetimi gerektirir.

Geçiş yolları

Geçiş yolları, ADF varlıklarınıza ve bunların özellik eşliklerine bağlıdır. Seçenekler şunlardır:

  • Fabric'te süreklilik için Azure Data Factory öğeleri. - Fabric içindeki mevcut Azure Data Factory örneğinizin canlı görünümü, aşamalı geçiş ve test olanağı sağlar. Bu, dönüştürme araçlarını veya yeniden platform oluşturmayı kullanmadan önce de iyi bir ilk adımdır.
  • Azure Data Factory işlem hatları için yerleşik yükseltme deneyimini kullanın - doğrudan Azure Data Factory işlem hattı hazırlığını değerlendirin, uyumluluk sonuçlarını gözden geçirin ve destekli bir UX kullanarak desteklenen işlem hatlarını Fabric çalışma alanına geçirin.
  • Karmaşık ortamlar için genel geçiş - Yeni özelliklerden yararlanmak ve performansı iyileştirmek için Fabric'da işlem hatlarını yeniden oluşturun. Bu, düşük eşlikli veya özel mantığı olan işlem hatları için gereklidir, ancak mimarinizi modernleştirmek için de bir fırsattır.

Azure Data Factory öğeleri Fabric çalışma alanınızda

Mevcut bir ADF'yi Fabric çalışma alanınıza eklemek, kademeli olarak geçiş yaparken size anında görünürlük ve yönetim sağlar. Eklerin işlem hatlarını görebildiği, bunları Fabric çalışma alanları altında düzenleyebildiği ve her etki alanı için geçişleri planlayabildiği için keşif, sahiplik ataması ve yan yana testler için idealdir. Azure Data Factory öğeleri kullanarak mevcut öğeleri kataloglayın, önce en yüksek değerli/en düşük riskli işlem hatlarının önceliğini belirleyin ve dönüştürme betiklerinizin ve iş ortağı araçlarınızın tutarlı bir şekilde izleyebilecekleri kurallar (adlandırma, klasörler, bağlantı yeniden kullanımı) oluşturun.

Fabric'e montaj işlemi, Azure Data Factory öğe türü kullanılarak gerçekleştirilir: Azure Data Factory'nizi Fabric'e getirin.

Yerleşik geçiş deneyimini kullanarak Azure Data Factory işlem hatlarını yükseltme

Fabric, komut dosyaları veya özel araçlar olmadan Azure Data Factory işlem hatlarını doğrudan Azure Data Factory ve Fabric kullanıcı deneyimleri aracılığıyla değerlendirmenize ve taşımanıza olanak sağlayan yerleşik, değerlendirme öncelikli bir yükseltme özelliği sunar. Bu deneyim size şu konularda yardımcı olur:

  • İşlem hattı ve etkinlik hazırlığını doğrudan Azure Data Factory'de değerlendirin.
  • Geçiş öncesinde uyumluluk boşluklarını anlayın.
  • Azure Data Factory'yi yan yana inceleme için bir Fabric çalışma alanına monte edin.
  • Desteklenen işlem hatlarını monte edilmiş veri fabrikanızdan kademeli olarak Fabric'e geçirin.
  • Güncelleştirme gerektiren veya yakında kullanıma sunulacak öğeler için düzeltmeyi veya yeniden tasarlamayı planlayın.

Her işlem hattı ve etkinlik açıkça kategorilere ayrılmıştır (Hazır, gözden geçirme gerekiyor, Çok yakında veya Uyumlu değil), ekiplerin üretim iş yüklerini değiştirmeden önce geçişleri kasıtlı olarak planlamalarına ve sonuçları doğrulamalarına yardımcı olur. Bu yaklaşım, destekli, düşük riskli ve artımlı geçiş yolu isteyen müşteriler için uygundur ve desteklenmeyen özelliklere ve sonraki adımlara görünürlük sağlar. Adım adım yönergeler için bkz. Azure Data Factory işlem hatlarınızı Fabric

El ile geçiş

Düşük eşlikli karmaşık işlem hatları için el ile geçiş gereklidir, ancak mimarinizi modernleştirme ve Fabric tümleşik özelliklerini benimseme şansı da sunar. Bu yol daha önceden planlama ve geliştirme gerektirir, ancak bakım, performans ve maliyet açısından uzun vadeli avantajlar sağlayabilir.

Etkili bir şekilde geçiş yapmak için şu adımları izleyin:

  1. Değerlendirme ve envanter: İşlem hatları, veri kümeleri, bağlı hizmetler ve tümleştirme çalışma zamanları dahil olmak üzere tüm ADF varlıklarını kataloglayın. Bağımlılıkları ve kullanım desenlerini tanımlama.
  2. Yinelenenleri ve kullanılmayan öğeleri tanımlama: Geçişi ve veri tümleştirme ortamınızı kolaylaştırmak için ADF'de kullanılmayan veya yedekli öğeleri temizleyin.
  3. Boşlukları belirleme: geçiş değerlendirme aracını kullanın ve bağlayıcı eşliği ile etkinlik eşliğini gözden geçirerek ADF işlem hatlarınız ile Fabric işlem hatları arasındaki boşlukları belirleyin ve alternatifleri planlayın.
  4. Yeni özellikleri inceleyin: hangi Fabric araçlarının ihtiyaçlarınıza en uygun olacağını belirlemek için veri taşıma karar kılavuzumuzu ve veri tümleştirme karar kılavuzu kullanın.
  5. Plan: Öğelerinizin her biri için dikkat edilmesi gerekenleri değerlendirmek üzere taşıma en iyi uygulamalarını gözden geçirin ve Fabric'in geliştirilmiş özelliklerinden en iyi şekilde yararlanmanız için yönergeleri izleyin.
  6. ADF'de genel parametreler kullanıyorsanız bunları Fabric değişken kitaplıklarına geçirmeyi planlayın. Ayrıntılı adımlar için bkz. Convert ADF Global Parameters to Fabric Variable Libraries.
  7. ADF geçişi: Microsoft Fabric'de Azure Data Factory'de bir öğe eklemeyi ilk adım olarak düşünüp, tek bir platformda aşamalı geçişe olanak tanıyın.
  8. Öncelik belirleme: İşlem hatlarınızı iş etkisine, karmaşıklığı ve geçiş kolaylığına göre sıralayın.
  9. Yapabileceğiniz yerlerde otomatikleştirin: Üretim iş yüklerini taşımadan önce işlem hatlarını kademeli olarak değerlendirmek, taşımak ve doğrulamak için yerleşik yükseltme deneyimini kullanın. Daha fazla bilgi için bkz. Yükseltme aracı.
  10. Araçları göz önünde bulundurun: Rekreasyonu kolaylaştırmak için bu araçları kullanın:
  11. Manual migration: Diğer geçiş yöntemleri tarafından desteklenmeyen senaryolar için bunları Fabric içinde yeniden oluşturun:
    1. Bağlantı oluştur: ADF'deki Bağlı Hizmetleri değiştirmek için Fabric'da Connections ayarlama
    2. Etkinlikleri Yeniden Oluştur: İşlem hatlarınızda etkinliklerinizi ayarlayın, desteklenmeyen etkinlikler yerine Fabric alternatifleri veya Invoke işlem hattı etkinliğini kullanın.
    3. Tetikleyicileri zamanlama ve ayarlama: ADF zamanlamalarınızla eşleşecek şekilde zamanlamaları ve olay tetikleyicilerini Fabric içinde oluşturma
  12. Kapsamlı test: Geçirilen işlem hatlarını beklenen çıkışlara, performans karşılaştırmalarına ve uyumluluk gereksinimlerine karşı doğrulayın.

Örnek geçiş senaryoları

ADF'den Fabric geçiş, kullanım örneğinize bağlı olarak farklı stratejiler içerebilir. Bu bölümde, etkili bir şekilde planlamanıza yardımcı olacak yaygın geçiş yolları ve dikkat edilmesi gerekenler özetlenmiştir.

Senaryo 1: ADF işlem hatları ve veri akışları

İşlem hatlarını ve veri akışlarını Fabric taşıyarak ETL ortamınızı modernleştirin. Şu öğeler için planlayın:

  • Bağlı Hizmetleri Bağlantı Olarak Yeniden Oluşturma
  • Küresel parametreleri değişken kütüphaneleri olarak yeniden oluşturun
  • İşlem hattı etkinliklerinde satır içi veri kümesi özelliklerini tanımlama
  • SHIR'leri (şirket içinde barındırılan tümleştirme çalışma zamanları) OPDG'lerle (şirket içi veri ağ geçitleri) ve VNet IR'lerini Sanal Ağ Veri Ağ Geçitleriyle değiştirme
  • Fabric alternatiflerini veya Çağırma boru hattı etkinliğini kullanarak desteklenmeyen ADF etkinliklerini yeniden oluşturun. Desteklenmeyen etkinlikler şunlardır:
    • Data Lake Analytics (U-SQL), kullanım dışı bırakılmış bir Azure hizmeti
    • Meta Verileri Al, işlem hattı döngüleri ve If etkinlikleri kullanılarak yeniden oluşturulabilen doğrulama etkinliği
    • Power Query, Fabric'e veri akışları olarak ve M kodunun yeniden kullanılabileceği şekilde tam olarak tümleştirilmiştir.
    • Not defteri, Jar ve Python etkinlikleri, Fabric'daki Databricks etkinliğiyle değiştirilebilir
    • Hive, Pig, MapReduce, Spark ve Streaming etkinlikleri, Fabric'daki HDInsight etkinliğiyle değiştirilebilir

Örnek olarak, dosya yolu ve sıkıştırma ayarlarını içeren ADF veri kümesi yapılandırma sayfası aşağıda verilmiştir:

ADF veri kümesi yapılandırma sayfasının ekran görüntüsü.

Fabric'da Data Factory için sıkıştırma ve dosya yolunun etkinlik içerisinde yer aldığı bir Kopyalama etkinliği aşağıdadır:

Fabric Copy etkinliğinin sıkıştırma yapılandırmasının ekran görüntüsü.

Senaryo 2: CDC, SSIS ve Airflow ile ADF

Copy job öğeleri olarak CDC'yi yeniden oluşturun. Airflow için DAG'lerinizi Fabric apache Airflow teklifine kopyalayın. ADF işlem hatlarını kullanarak SSIS paketlerini yürütür ve bunları Fabric'dan çağırır.

Senaryo 3: Yerleşik geçiş deneyimini kullanarak Pipeline yükseltmesi

Bu kılavuzlu, değerlendirme odaklı deneyim, hazır olmanızı değerlendirmenize, uyumluluk boşluklarını belirlemenize ve desteklenen işlem hatlarını kademeli olarak betik kullanmadan bir Fabric çalışma alanına taşımanıza olanak tanır. Daha fazla bilgi için bkz. Azure Data Factory işlem hatlarınızı Fabric'e yükseltme.

Senaryo 4: Fabric çalışma alanında ADF öğeleri

bir Fabric çalışma alanına ADF fabrikasının tamamını yerel öğe olarak ekleyebilirsiniz. Bu, ADF fabrikalarını aynı arabirimdeki Fabric yapıtlarla birlikte yönetmenize olanak tanır. ADF kullanıcı arabirimi tamamen erişilebilir olmaya devam eder ve ADF fabrika öğelerinizi doğrudan Fabric çalışma alanından izlemenize, yönetmenize ve düzenlemenize olanak sağlar. Ancak işlem hatlarının, etkinliklerin ve tümleştirme çalışma zamanlarının yürütülmesi Azure kaynaklarınız içinde yine de gerçekleşir.

Bu özellik, hem ADF hem de Fabric kaynaklarının birleşik bir görünümünü sağlayarak yönetimi ve geçişi planlamayı basitleştirerek Fabric geçişini sağlayan kuruluşlar için kullanışlıdır.

Daha fazla bilgi için bkz. Azure Data Factory'yi Fabric'e Taşıma.

İlgili içerik

  • Last updated on