Aracılığıyla paylaş

Azure Data Factory'den Fabric Data Factory'ye geçiş planlaması

Microsoft Fabric, Microsoft'un analiz araçlarını tek bir SaaS platformunda bir araya getirir. İş akışı düzenleme, veri taşıma, çoğaltma ve büyük ölçekte dönüştürme için güçlü özellikler sunar. Fabric Data Factory, kullanım kolaylığı iyileştirmeleri ve ek işlevler sayesinde Azure Data Factory (ADF) PaaS'ı kullanan bir SaaS ortamı sağlayarak Fabric Data Factory'yi mevcut veri tümleştirme çözümlerinizin mükemmel modernleştirmesi haline getirir.

Bu kılavuzda, Azure Data Factory'den Fabric Data Factory'ye geçmenize yardımcı olacak geçiş stratejileri, önemli noktalar ve yaklaşımlar gösterilmektedir.

Neden geçiş yapmalı?

ADF ve Synapse işlem hatlarından Fabric Data Factory'ye geçiş, lift-and-shift'ten daha fazlasıdır: bu, idareyi basitleştirme, desenleri standartlaştırma ve veri tümleştirme stratejinizi geliştirmek için Doku Data Factory'nin gelişmiş özelliklerini kullanma fırsatıdır.

Doku, aşağıdakiler dahil olmak üzere birçok yeni özellik sunar:

  • İleti yönlendirme için e-posta ve Teams gibi tümleşik işlem hattı etkinlikleri
  • Harici Git bağımlılıkları olmadan yerleşik CI/CD (dağıtım işlem hatları)
  • Birleştirilmiş analiz için OneLake, Warehouse ve Lakehouse ile sorunsuz çalışma alanı tümleştirmesi
  • Hem self servis hem de kurumsal veri gereksinimlerini karşılayacak şekilde ölçeklendirilen kolaylaştırılmış anlamsal veri modeli yenilemeleri
  • Yerleşik yapay zeka özellikleriyle Copilot, pipeline'ler oluşturmanıza ve yönetmenize yardımcı olur.

Ayrıntılı karşılaştırma için bkz. Azure Data Factory ve Fabric Data Factory karşılaştırma kılavuzu.

Geçiş öncesinde dikkat edilmesi gerekenler

Azure Data Factory'den (ADF) Doku Data Factory'ye geçiş için dikkat edilmesi gereken birkaç önemli nokta vardır. Aklınızda bulundurmak gerekenler şunlardır:

  • Karmaşık işlem hatları ve özel bağlayıcılar: Bunlar, yeni ortamda çalışmak için el ile ayarlamalar gerektirebilir.
  • Tümleştirme çalışma zamanları: Eski çalışma zamanlarının Fabric mimarisiyle uyumlu hale getirilmesi için yeniden yapılandırılması gerekebilir.
  • Veri akışı farklılıkları: ADF Eşleme Veri Akışları Spark tabanlı dönüştürmeleri kullanırken, Doku Veri Akışı 2. Nesil farklı çalışır ve yeniden çalışma gerekebilir.
  • Güvenlik ve ağ: Yönetilen kimlik, özel uç noktalar ve ağ geçidi yapılandırmalarını gözden geçirin. Bu ayarları yeniden test edin ve izinleri gerektiği gibi güncelleştirin.
  • Test ve doğrulama: Geçirilen işlem hatlarının doğru çıkışlar ürettiğini, SLA'ları karşıladığından ve gereksinimlere uydığından emin olun. Objektif karşılaştırmalar için güçlü test çerçevelerini kullanın.

Bu zorlukları gidermek için şu en iyi yöntemleri izleyin:

  1. Kapsamlı bir varlık envanteri yürütme. Yinelenenleri, kullanılmayan öğeleri ve bağımlılıkları tanımlayın.
  2. Geçiş değerlendirme aracını kullanın ve özellik boşluklarını erken tanımlamak ve eşlemek için bağlayıcı eşlik ve etkinlik eşliklerini gözden geçirin.
  3. Toplu geçiş için otomatik komut dosyalarını ve iş ortağı araçlarını kullanmayı göz önünde bulundurun.
  4. Ayrıntılı belgeleri ve geri alma planlarını koruyun.
  5. Süreç boyunca paydaşlarla etkileşime geçin.
  6. Riski en aza indirmek için artımlı geçişleri çalıştırın.
  7. Sorun çözümünü hızlandırmak için yapay zeka destekli doğrulama betiklerini kullanın.

Geçiş yolları

Geçiş yolları, ADF varlıklarınıza ve bunların özellik eşliklerine bağlıdır. Seçenekler şunlardır:

Fabric ortamınızdaki Azure Data Factory öğeleri

Fabric çalışma alanınıza mevcut bir ADF'yi eklemek, kademeli geçiş yaparken size anında görünürlük ve yönetim sağlar. Ekiplerin işlem hatlarını görebildiği, bunları Yapılandırma çalışma alanları altında organize edebildiği ve alan bazında aşamalı geçişler planlayabildiği için keşif, sahiplik ataması ve yan yana test için idealdir. Azure Data Factory öğelerini kullanarak mevcut öğeleri kataloglayın, önce en yüksek değer/en düşük riskli işlem hatlarının önceliğini belirleyin ve dönüştürme betiklerinizin ve iş ortağı araçlarınızın tutarlı bir şekilde izleyebilecekleri kurallar (adlandırma, klasörler, bağlantı yeniden kullanımı) oluşturun.

Fabric’e montaj, Azure Data Factory öğe türü aracılığıyla sağlanır: Azure Data Factory'nizi Fabric'e Getirin.

PowerShell yükseltme aracını kullanma

Microsoft, Azure PowerShell modülünde bir ADF-Doku geçiş yardımcı programı sunar. Modülü kullandığınızda, ADF JSON'un büyük bir alt kümesini (işlem hatları, etkinlikler, parametreler) Doku yerel tanımlarına çevirerek hızlı bir başlangıç noktası sağlayabilirsiniz. Kopyalama/Arama/Saklı Yordam desenleri ve kontrol akışı için beklenen güçlü kapsam ile istisnai vakalar (özel bağlayıcılar, karmaşık ifadeler, belirli veri akışı yapıları) için el ile izleme yapabilirsiniz. Betik çıktısını bir yapı iskelesi olarak değerlendirin: parça parça çalıştırın, kod stili/lint denetimleri uygulayın, ardından bağlantıları ekleyin ve özellik uyumsuzluklarını giderin. Her işlem hattını el ile düzenlemek yerine, öğrenirken yineleme yapmak için bunu tekrarlanabilir bir CI çalıştırması olarak oluşturun.

Tam kılavuz için bkz. PowerShell geçişi. Örnekler içeren ayrıntılı bir öğretici için bkz. PowerShell geçiş öğreticisi.

El ile geçiş

Düşük benzerlik oranına sahip karmaşık işlem hatları için manuel geçiş gereklidir, ancak mimarinizi modernleştirmek ve Fabric'in tümleşik özelliklerini benimsemek için de bir fırsattır. Bu yol daha önceden planlama ve geliştirme gerektirir, ancak bakım, performans ve maliyet açısından uzun vadeli avantajlar sağlayabilir.

Etkili bir şekilde geçiş yapmak için şu adımları göz önünde bulundurun:

  1. Değerlendirme ve envanter: İşlem hatları, veri kümeleri, bağlı hizmetler ve tümleştirme çalışma zamanları dahil olmak üzere tüm ADF varlıklarını kataloglayın. Bağımlılıkları ve kullanım desenlerini tanımlama.
  2. Yinelenenleri ve kullanılmayan öğeleri tanımlama: Geçişi ve veri tümleştirme ortamınızı kolaylaştırmak için ADF'de kullanılmayan veya yedekli öğeleri temizleyin.
  3. Boşlukları tanımlama: geçiş değerlendirme aracını kullanın ve bağlayıcı eşdeğerliliği ve etkinlik eşdeğerliliğini gözden geçirerek ADF işlem hatlarınızla Fabric işlem hatları arasındaki boşlukları belirleyin ve alternatifleri planlayın.
  4. Yeni özellikleri gözden geçirin: Hangi Doku araçlarının ihtiyaçlarınıza en uygun şekilde çalışacağına karar vermek için veri taşıma karar kılavuzumuzu ve veri tümleştirme karar kılavuzumuzu kullanın.
  5. Plan: Öğelerinizin her biri için dikkate alınacak hususlar ve Fabric'in geliştirilmiş özelliklerinden en iyi şekilde yararlanmak için geçiş en iyi uygulamalarını gözden geçirin.
  6. ADF geçişi: Geçişte ilk adım olarak Microsoft Fabric'te bir Azure Data Factory öğesi ekleyerek tek bir platformda aşamalı geçiş yapmayı göz önünde bulundurun.
  7. Öncelik belirleme: İşlem hatlarınızı iş etkisine, karmaşıklığı ve geçiş kolaylığına göre sıralayın.
  8. Yapabildiğiniz yerleri otomatikleştirin: Tüm düşük karmaşıklıkta işlem hatlarında, bazı geçişleri otomatikleştirmek için PowerShell yükseltme aracını kullanmayı göz önünde bulundurun.
  9. Araçları göz önünde bulundurun: Rekreasyonu kolaylaştırmak için bu araçları kullanın:
  10. El ile geçiş: Diğer geçiş yöntemleri tarafından desteklenmeyen senaryolar için bunları Doku'da yeniden derleyin:
    1. Bağlantıları yeniden oluşturma: ADF'de Bağlı Hizmetleri değiştirmek için Dokuda Bağlantıları ayarlama
    2. Etkinlikleri yeniden oluşturma: İşlem hatlarınızdaki etkinliklerinizi ayarlayın, desteklenmeyen etkinlikleri Doku alternatifleriyle veya İşlem hattı çağırma etkinliğini kullanarak değiştirme
    3. Tetikleyicileri zamanlama ve ayarlama: ADF zamanlamalarınızla eşleşecek şekilde Doku'da zamanlamaları ve olay tetikleyicilerini yeniden oluşturma
  11. Kapsamlı test: Geçirilen işlem hatlarını beklenen çıkışlara, performans karşılaştırmalarına ve uyumluluk gereksinimlerine karşı doğrulayın.

Örnek geçiş senaryoları

ADF'den Doku'ya geçiş, kullanım örneğinize bağlı olarak farklı stratejiler içerebilir. Bu bölümde, etkili bir şekilde planlamanıza yardımcı olacak yaygın geçiş yolları ve dikkat edilmesi gerekenler özetlenmiştir.

Senaryo 1: ADF işlem hatları ve veri akışları

İşlem hatlarını ve veri akışlarını Doku'ya taşıyarak ETL ortamınızı modernleştirin. Şu öğeler için planlayın:

  • Bağlı Hizmetleri Bağlantı Olarak Yeniden Oluşturma
  • İşlem hattı etkinliklerinde satır içi veri kümesi özelliklerini tanımlama
  • SHIR'leri (şirket içinde barındırılan tümleştirme çalışma zamanları) OPDG'lerle (şirket içi veri ağ geçitleri) ve Sanal Ağ IR'lerini Sanal Ağ Veri Ağ Geçitleriyle değiştirme
  • Doku alternatiflerini veya İşlem hattı çağırma etkinliğini kullanarak desteklenmeyen ADF etkinliklerini yeniden oluşturun. Desteklenmeyen etkinlikler şunlardır:
    • Data Lake Analytics (U-SQL), kullanım dışı bırakılmış bir Azure hizmeti
    • Meta Verileri Al, işlem hattı döngüleri ve If etkinlikleri kullanılarak yeniden oluşturulabilen doğrulama etkinliği
    • M kodunun yeniden kullanılabildiği veri akışları olarak Fabric'e tamamen tümleştirilmiş Power Query
    • Not defteri, Jar ve Python etkinlikleri, Doku'daki Databricks etkinliğiyle değiştirilebilir
    • Hive, Pig, MapReduce, Spark ve Streaming etkinlikleri Fabric'teki HDInsight etkinliğiyle değiştirilebilir

Örnek olarak, dosya yolu ve sıkıştırma ayarlarını içeren ADF veri kümesi yapılandırma sayfası aşağıda verilmiştir:

ADF veri kümesi yapılandırma sayfasının ekran görüntüsü.

Data Factory kullanımında Fabric için, sıkıştırmanın ve dosya yolunun etkinlikte doğrudan belirtildiği bir kopyalama etkinliği burada yer almaktadır.

Fabric Kopyalama işlemi sıkıştırma yapılandırmasının ekran görüntüsü.

Senaryo 2: CDC, SSIS ve Airflow ile ADF

CDC'yi İş öğelerini kopyala olarak yeniden oluşturun. Airflow için DAG'lerinizi Fabric'in Apache Airflow teklifine kopyalayın. ADF işlem hatlarını kullanarak SSIS paketlerini yürütür ve bunları Fabric'ten çağırır.

Senaryo 3: PowerShell geçişi

Azure Data Factory işlem hatlarınızı Fabric'e geçirmek için Microsoft.FabricPipelineUpgrade PowerShell modülünü kullanın. Bu yaklaşım, işlem hatlarının, etkinliklerin ve parametrelerin büyük ölçekte geçişini otomatikleştirmek için iyi çalışır. PowerShell modülü, ADF JSON'un büyük bir alt kümesini Doku yerel tanımlarına çevirerek geçiş için hızlı bir başlangıç noktası sağlar.

Ayrıntılı yönergeler için bkz. PowerShell geçiş öğreticisi.

Senaryo 4: Fabric çalışma alanında ADF öğeleri

Fabric çalışma alanında ADF fabrikasının tamamını yerel birim/öğe olarak ekleyebilirsiniz. Bu, ADF fabrikalarını aynı arabirimdeki Doku yapıtlarıyla birlikte yönetmenize olanak tanır. ADF kullanıcı arabirimi tamamen erişilebilir olmaya devam eder ve ADF fabrika öğelerinizi doğrudan Doku çalışma alanından izlemenize, yönetmenize ve düzenlemenize olanak tanır. Ancak azure kaynaklarınızda işlem hatlarının, etkinliklerin ve tümleştirme çalışma zamanlarının yürütülmesi devam eder.

Bu özellik, hem ADF hem de Doku kaynaklarının birleşik bir görünümünü sağlayarak yönetimi ve geçişi planlamayı basitleştirdiğinden, Doku'ya geçiş yapılan kuruluşlar için kullanışlıdır.

Daha fazla bilgi için bkz: Azure Data Factory'nizi Fabric'e Taşıma.

İlgili içerik

  • Last updated on