Azure Data Factory'den Fabric Data Factory'ye yükseltme planlaması

Bu rehber, Azure Data Factory (ADF) boru hatlarının Fabric Data Factory'ye taşınması için yükseltme stratejilerini, karar kriterlerini ve adım adım yaklaşımları kapsar. Her yükseltme bileşeni için uygulama düzeyinde en iyi uygulamalar için bkz. En iyi uygulamalar güncellemesi.

Neden yükseltin?

ADF ve Synapse pipelines'tan Fabric Data Factory'ye yükseltmek, sadece bir yükseltme ve değişim olmaktan fazlasıdır: yönetişimi basitleştirmek, kalıpları standartlaştırmak ve veri entegrasyon stratejinizi geliştirmek için yeni yetenekler kullanmak için bir fırsattır.

Fabric aşağıdakiler dahil olmak üzere birçok yeni özellik sunar:

  • İleti yönlendirme için e-posta ve Teams gibi tümleşik işlem hattı etkinlikleri
  • Harici Git bağımlılıkları olmadan yerleşik CI/CD (dağıtım işlem hatları)
  • Birleştirilmiş analiz için OneLake, Warehouse ve Lakehouse ile sorunsuz çalışma alanı tümleştirmesi
  • Hem self servis hem de kurumsal veri gereksinimlerini karşılayacak şekilde ölçeklendirilen kolaylaştırılmış anlamsal veri modeli yenilemeleri
  • Yerleşik yapay zeka özellikleriyle Copilot, pipeline'ler oluşturmanıza ve yönetmenize yardımcı olur.

Ayrıntılı karşılaştırma için bkz. Azure Data Factory ve Fabric Data Factory karşılaştırma kılavuzu.

Kritik mimari farklılıkları

Azure Data Factory'den Fabric Data Factory'ye yükseltme yapmadan önce, yükseltme planlamasında en büyük etkiye sahip olan şu kritik mimari farklılıkları göz önünde bulundurun:

Category Azure Data Factory Fabric Veri Fabrikası Yükseltme Etkisi
Özel kod Özel Etkinlik Azure Batch etkinliği Etkinlik adı farklıdır, ancak aynı işlevselliği destekler.
Dataflows Spark tabanlı yürütme ile Veri Akışlarını Eşleme Dataflow Gen2, Spark tabanlı yürütme ile Mapping Veri Akışı (MDF) dönüşümlerini destekler. MDF dönüşümleri şu anda önizleme sürümündedir. Uygun Azure Data Factory ve Azure Synapse Analytics Mapping Data Flows, yerleşik geçiş deneyimi kullanılarak Dataflow Gen2’deki MDF dönüşümlerine geçirilebilir. Taşınmadan önce desteklenen bağlayıcıları, dönüşümleri, kimlik doğrulama yöntemlerini ve önizleme sınırlamalarını gözden geçirin. Desteklenmeyen senaryolar için, Dataflow Gen2'de Power Query, Fabric Warehouse SQL, notebooklar veya başka bir Fabric yeteneği kullanarak dönüşümü yeniden tasarlayın.
Veri kümeleri Ayrı, yeniden kullanılabilir veri kümesi nesneleri Özellikler, etkinlikler içinde satır içi olarak tanımlanır. ADF'den Fabric dönüştürdüğünüzde, 'veri kümesi' bilgileri her etkinliğin içinde olur.
Dinamik bağlantılar Bağlı hizmet özellikleri parametreler kullanılarak dinamik olabilir Bağlantı özellikleri dinamik özellikleri desteklemez, ancak işlem hattı etkinlikleri bağlantı nesneleri için dinamik içerik kullanabilir Parametreli bağlantıları kullanan Meta Veri Temelli Mimari tabanlı çözümler için, Fabric'de bağlantı nesnesini parametreleştirin.
Genel Parametreler Global Parametreler Fabric Değişken Kütüphanesi Farklı uygulama kalıpları ve veri türleri var, ancak bir yükseltme rehberimiz var.
HDInsight etkinlikleri Beş ayrı etkinlik (Hive, Pig, MapReduce, Spark, Streaming) Tek HDInsight etkinliği Dönüştürürken yalnızca bir etkinlik türüne ihtiyacınız vardır, ancak tüm işlevler desteklenir.
Kimlik Yönetimli Kimlik Fabric Çalışma Alanı Kimliği Farklı kimlik modelleri; bazı planlamaların değişmesi gerekir.
Key Vault (şifreleme hizmeti) Tüm kimlik doğrulama türleriyle olgun bir entegrasyon Fabric Key Vault Reference aracılığıyla sınırlı tümleştirme Şu anda desteklenen Key Vault kaynaklarını ve kimlik doğrulamayı mevcut yapılandırmalarınızla karşılaştırın.
İşlem hattı çalıştırma Boru hattı etkinliğini yürüt. FabricDataPipeline bağlantı türüyle İşlem Hattı etkinliğini çağırma Dönüştürme sırasında etkinlik adı ve bağlantı gereksinimleri değişir.
Scheduling Merkezi yönetimle birçok işlem hattı için bir tetikleyici veya işlem hattı başına çok sayıda tetikleyici İşlem hattı başına bir zamanlama veya yeniden zamanlama veya merkezi merkez olmadan işlem hattı başına çok sayıda zamanlama Fabric şu anda işlem hattı başına zamanlama yönetimi gerektirir.

Yükseltme yöntemleri

Yükseltme yolları ADF varlıklarınıza ve özellik paritesine bağlıdır. Seçenekler şunlardır:

  • Fabric'te süreklilik için Azure Data Factory öğeleri. - Fabric içinde mevcut Azure Data Factory örneğinizin canlı görünümü, kademeli yükseltme ve test imkanı sağlar. Bu deneyim, dönüşüm araçlarını kullanmadan veya yeniden platform kullanmadan önce iyi bir ilk adımdır.
  • Azure Data Factory pipelines için yerleşik yükseltme deneyimini kullanın - Azure Data Factory'de pipeline hazırlığını doğrudan değerlendirin, uyumluluk sonuçlarını inceleyin ve desteklenen pipeline'ları rehberli bir UX kullanarak bir Fabric workspace'e yükseltin.
  • Karmaşık ortamlar için manuel yükseltme - Fabric'te yeni özelliklerden yararlanmak ve performansı optimize etmek için boru hatlarını yeniden inşa edin. Bu yaklaşım, düşük pariteli veya özel mantıklı boru hatları için gereklidir, ancak aynı zamanda mimarinizi modernize etmek için bir fırsattır.

Fabric ortamınızdaki Azure Data Factory öğeleri

Mevcut bir ADF'yi Fabric çalışma alanınıza ekleyin; böylece kademeli olarak yükseltme yaparken anında görünürlük ve yönetişim elde edin. Bu yaklaşım, ekiplerin işlem hatlarını görebilmesi, bunları Fabric çalışma alanları altında düzenleyebilmesi ve etki alanı bazında geçişleri planlayabilmesi nedeniyle keşif, sahiplik ataması ve paralel test için idealdir. Azure Data Factory öğelerini kullanarak mevcut öğeleri kataloglayın, önce en yüksek değer/en düşük riskli işlem hatlarının önceliğini belirleyin ve dönüştürme betiklerinizin ve iş ortağı araçlarınızın tutarlı bir şekilde izleyebilecekleri kurallar (adlandırma, klasörler, bağlantı yeniden kullanımı) oluşturun.

Fabric'e Azure Data Factory öğe türü ile monte ediyorsunuz: Bring your Azure Data Factory to Fabric.

Azure Data Factory işlem hatlarını yerleşik deneyimi kullanarak yükseltin

Fabric, Azure Data Factory işlem hatlarını doğrudan Azure Data Factory ve Fabric kullanıcı deneyimleri aracılığıyla, betikler veya özel araçlar olmadan değerlendirip yükseltmek için kullanabileceğiniz, yerleşik ve önce değerlendirmeye dayalı bir yükseltme deneyimi sunar. Bu deneyim size şu konularda yardımcı olur:

  • İşlem hattı ve etkinlik hazırlığını doğrudan Azure Data Factory'de değerlendirin.
  • Yükseltmeden önce uyumluluk boşluklarını anlayın.
  • Yan yana incelemek için Azure Data Factory’nizi bir Fabric çalışma alanına ekleyin.
  • Desteklenen boru hatlarını monte veri fabrikanızdan Fabric'e kademeli olarak yükseltin.
  • Güncelleştirme gerektiren veya yakında kullanıma sunulacak öğeler için düzeltmeyi veya yeniden tasarlamayı planlayın.

Her boru hattı ve faaliyet açıkça kategorize edilmiştir (Hazır, İncelemeye Gerek Var, Yakında Geliyor veya Uyumlu değil), bu da ekiplerin yükseltmeleri kasıtlı planlamasına ve üretim iş yükünü değiştirmeden önce sonuçları doğrulamasına yardımcı olur. Bu yaklaşım, desteklenmeyen özelliklere ve sonraki adımlara görünürlüğü koruyarak rehberli, düşük riskli ve kademeli bir yükseltme yolu isteyen müşteriler için oldukça uygundur. Adım adım yönergeler için bkz. Azure Data Factory işlem hatlarınızı Fabric’e yükseltin.

Manuel yükseltme

Düşük pariteli karmaşık boru hatları için manuel yükseltme gereklidir, ancak aynı zamanda mimarinizi modernize etmek ve Fabric'in entegre özelliklerini benimsemek için bir fırsattır. Bu yol daha önceden planlama ve geliştirme gerektirir, ancak bakım, performans ve maliyet açısından uzun vadeli avantajlar sağlayabilir.

Etkili bir yükseltme yapmak için şu adımları izleyin:

  1. Değerlendirme ve envanter: İşlem hatları, veri kümeleri, bağlı hizmetler ve tümleştirme çalışma zamanları dahil olmak üzere tüm ADF varlıklarını kataloglayın. Bağımlılıkları ve kullanım desenlerini tanımlama.
  2. Kopyaları ve kullanılmayan öğeleri tespit edin: ADF'deki kullanılmayan veya gereksiz öğeleri temizleyerek yükseltmeyi ve veri entegrasyon ortamınızı kolaylaştırın.
  3. Boşlukları belirleyin: Boru hattı değerlendirme aracını kullanın ve ADF boru hatlarınız ile Fabric boru hatlarınız arasındaki boşlukları belirlemek için bağlantı paritesi ve etkinlik paritesini gözden geçirin ve alternatifler planlayın.
  4. Yeni özellikleri inceleyin: hangi Fabric araçlarının ihtiyaçlarınıza en uygun olacağını belirlemek için veri taşıma karar kılavuzumuzu ve veri tümleştirme karar kılavuzu kullanın.
  5. Plan: Her bir ürününüz için dikkate alınabilecek en iyi yükseltme uygulamalarını ve Fabric'in geliştirilmiş yeteneklerinden en iyi şekilde yararlanmak için yönergeleri gözden geçirin.
  6. ADF'de küresel parametreler kullanıyorsanız, onları Fabric değişken kütüphanelerine yükseltmeyi planlayın. Ayrıntılı adımlar için bkz. ADF Genel Parametrelerini Doku Değişken Kitaplıklarına Dönüştürme .
  7. ADF geçişi: Microsoft Fabric'e bir Azure Data Factory öğesi eklemeyi düşünebilirsiniz; böylece tek bir platformda kademeli geçiş sağlanabilir.
  8. Önceliklendirin: İş etkisi, karmaşıklık ve yükseltme kolaylığına göre boru hatlarınızı sıralayın.
  9. Mümkün olan yere otomasyon yapın: Dahili yükseltme deneyimini kullanarak üretim iş yüklerini taşımadan önce pipeline'ları kademeli olarak değerlendirin, yükseltin ve doğrulayın. Daha fazla bilgi için bkz. Yükseltme aracı.
  10. Araçları göz önünde bulundurun: Rekreasyonu kolaylaştırmak için bu araçları kullanın:
  11. Manuel yükseltme: Diğer yükseltme yöntemleriyle desteklenmeyen senaryolar için Fabric'te yeniden inşa edin:
    1. Bağlantı oluştur: ADF'deki Bağlı Hizmetleri değiştirmek için Fabric'da Connections ayarlama
    2. Etkinlikleri Yeniden Oluştur: İşlem hatlarınızda etkinliklerinizi ayarlayın, desteklenmeyen etkinlikler yerine Fabric alternatifleri veya Invoke işlem hattı etkinliğini kullanın.
    3. Tetikleyicileri zamanlama ve ayarlama: ADF zamanlamalarınızla eşleşecek şekilde zamanlamaları ve olay tetikleyicilerini Fabric içinde oluşturma
  12. Detaylı test yapın: Yükseltilmiş boru hatlarını beklenen çıktılar, performans kıyaslamaları ve uyum gereksinimlerine göre doğrulayın.

Örnek yükseltme senaryoları

ADF'den Fabric geçiş, kullanım örneğinize bağlı olarak farklı stratejiler içerebilir. Bu bölüm, etkili planlamanıza yardımcı olacak yaygın yükseltme yollarını ve dikkate alınabilecek hususları belirtir.

Senaryo 1: ADF işlem hatları ve veri akışları

İşlem hatlarını ve veri akışlarını Fabric taşıyarak ETL ortamınızı modernleştirin. Şu öğeler için planlayın:

  • Bağlı Hizmetleri Bağlantı Olarak Yeniden Oluşturma
  • Küresel parametreleri değişken kütüphaneleri olarak yeniden oluşturun
  • İşlem hattı etkinliklerinde satır içi veri kümesi özelliklerini tanımlama
  • SHIR'leri (kendi kendine barındırılan entegrasyon çalışma zamanları) OPDG'lerle (yerel veri ağ geçitleri) ve VNet IR'leri sanal ağ veri geçitleriyle değiştirin.
  • Fabric alternatiflerini veya Invoke işlem hattı etkinliğini kullanarak desteklenmeyen ADF etkinliklerini yeniden oluşturun. Desteklenmeyen etkinlikler şunlardır:
    • Data Lake Analytics (U-SQL), kullanım dışı bırakılmış bir Azure hizmeti
    • Meta Verileri Al, işlem hattı döngüleri ve If etkinlikleri kullanılarak yeniden oluşturulabilen doğrulama etkinliği
    • Power Query, Fabric'e veri akışları olarak ve M kodunun yeniden kullanılabileceği şekilde tam olarak tümleştirilmiştir.
    • Not defteri, Jar ve Python etkinlikleri, Fabric'daki Databricks etkinliğiyle değiştirilebilir
    • Hive, Pig, MapReduce, Spark ve Streaming etkinlikleri Fabric'teki HDInsight etkinliğiyle değiştirilebilir

Örnek olarak, dosya yolu ve sıkıştırma ayarlarını içeren ADF veri kümesi yapılandırma sayfası aşağıda verilmiştir:

ADF veri kümesi yapılandırma sayfasının ekran görüntüsü.

Fabric'da Data Factory için sıkıştırma ve dosya yolunun etkinlik içerisinde yer aldığı bir Kopyalama etkinliği aşağıdadır:

Fabric Copy etkinliğinin sıkıştırma yapılandırmasının ekran görüntüsü.

Senaryo 2: CDC, SSIS ve Airflow ile ADF

Copy job öğeleri olarak CDC'yi yeniden oluşturun. Airflow için DAG'lerinizi Fabric'in Apache Airflow teklifine kopyalayın. ADF işlem hatlarını kullanarak SSIS paketlerini yürütür ve bunları Fabric'ten çağırır.

Senaryo 3: Yerleşik deneyimi kullanarak boru hattı yükseltmesi

Bu rehberli, önce değerlendirmeye dayalı deneyim; hazır olup olmadığınızı değerlendirmenize, uyumluluk eksiklerini belirlemenize ve desteklenen iş hatlarını aşamalı olarak Fabric çalışma alanına yükseltmenize yardımcı olur; hem de tüm bunları betik kullanmadan. Daha fazla bilgi için bkz. Azure Data Factory işlem hatlarınızı Fabric'e yükseltme.

Senaryo 4: Fabric çalışma alanında ADF öğeleri

bir Fabric çalışma alanına ADF fabrikasının tamamını yerel öğe olarak ekleyebilirsiniz. Bu, ADF fabrikalarını aynı arabirimde Fabric artefaktlarıyla birlikte yönetmenize olanak tanır. ADF kullanıcı arabirimi tamamen erişilebilir olmaya devam eder ve ADF fabrika öğelerinizi doğrudan Fabric çalışma alanından izlemenize, yönetmenize ve düzenlemenize olanak sağlar. Ancak işlem hatlarının, etkinliklerin ve tümleştirme çalışma zamanlarının yürütülmesi Azure kaynaklarınız içinde yine de gerçekleşir.

Bu özellik, Fabric'e geçiş yapan kuruluşlar için faydalıdır; çünkü hem ADF hem de Fabric kaynaklarının birleşik bir görünümünü sunar ve yükseltme için yönetim ve planlamayı basitleştirir.

Daha fazla bilgi için bkz: Azure Data Factory'nizi Fabric'e Taşıma.

İlgili içerik

  • Last updated on