Veri Akışı Gen2'deki eşleme veri akışı dönüşümleri (Önizleme)

Important

2. nesil veri akışındaki eşleme veri akışı dönüşümleri şu anda genel önizleme aşamasındadır ve değiştirilebilir.

Veri akışı 2. nesildeki eşleme veri akışı (MDF) dönüşümleri, Spark tabanlı veri dönüşümlerini doğrudan Microsoft Fabric'da Data Factory'de yazmanıza, yürütmenize ve izlemenize olanak tanır.

MDF dönüşümleri, dataflow gen2 ile tümleşik alışıldık düşük kodlu görsel geliştirme deneyimi aracılığıyla Azure Data Factory ve Azure Synapse Analytics Mapping Data Flows’un yeteneklerini Microsoft Fabric’e taşır.

MDF dönüşümleri ile şunları yapabilirsiniz:

• Mevcut Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışları işlem hatlarını Fabric'e taşıyın.
• Doğrudan Fabric'de yeni Spark tabanlı dönüşümler oluşturun.
• Fabric veri işlem hatlarını kullanarak MDF dönüşümlerini yürütebilirsiniz.
• Tümleşik izleme deneyimlerini kullanarak dönüştürme yürütmesini izleme.
• Fabric içinde alışık olduğunuz Mapping Veri Akışı dönüşüm kalıplarını kullanmaya devam edin.

Veri akışı eşleme dönüşümleri nelerdir?

MDF dönüşümleri, büyük ölçekli veri hazırlama ve dönüştürme iş yükleri için Spark destekli dönüştürme özellikleriyle veri akışı 2. nesil'i genişletir.

MDF dönüşümleri şu bilgileri sağlar:

• Düşük kodlu görsel yazma deneyimi
• Spark tabanlı yürütme
• Fabric işlem hatları aracılığıyla entegre orkestrasyon
• Fabric'te doğrudan izleme ve yürütme içgörüleri

MDF dönüşümlerini kullanarak:

• Mevcut Azure Data Factory veya Azure Synapse Analytics Eşleme Veri Akışları işlem hatlarını Fabric'e taşıyın.
• Fabric'da yerel olarak yeni Spark tabanlı dönüştürme işlem hatları oluşturun.

MDF dönüşümleri, veri akışı 2. nesil ile tamamen tümleştirilir ve Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışlarına benzer tanıdık bir yazma deneyimi sağlar.

Desteklenen senaryolar

MDF dönüşümleri şu anda aşağıdaki senaryoları desteklemektedir.

Mevcut Eşleme Veri Akışlarını taşıma

Azure Data Factory/Synapse Analytics’in yerleşik geçiş deneyimini kullanarak mevcut Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışlarını Fabric’e geçirebilirsiniz.

Geçiş sırasında:

1. Eşleme Veri Akışları, 2. nesil veri akışında MDF dönüşümlerine dönüştürülür.
2. Veri işlem hatları ve dönüştürme mantığı birlikte taşınır.
3. MDF dönüşümleri, Dataflow Gen2’deki gömülü dönüşüm tuvali içinde açılır.
4. Mevcut dönüştürme mantığı Fabric'da yazılmaya, doğrulenmeye, yürütülmeye ve izlemeye devam edebilir.

Fabric'de yeni eşleme veri akışı dönüşümleri oluşturma

Yeni MDF dönüşümlerini doğrudan veri akışı 2. nesilde de oluşturabilirsiniz. Bu deneyim şunları kullanmanıza olanak tanır:

• Görsel arabirim kullanarak Spark tabanlı dönüşümler oluşturun.
• Alışık olduğunuz Mapping Veri Akışı dönüşüm özelliklerini kullanın.
• Fabric veri işlem hatlarını kullanarak dönüştürmeleri yürütme.
• Tümleşik izleme deneyimleri aracılığıyla yürütmeyi izleyin.

Bu video, Microsoft Fabric Dataflow Gen2'de Mapping Veri Akışı dönüşümlerinin nasıl oluşturulacağını, önizlemeyi, çalıştırılacağını ve izleneceğini gösteriyor.

Prerequisites

2. nesil veri akışında MDF dönüşümlerini kullanmadan önce aşağıdaki önkoşulların karşılandığından emin olun:

• Fabric kapasitesi.
• Fabric çalışma alanında katkıda bulunan veya daha yüksek izinler.
• Desteklenen veri kaynakları için mevcut Fabric bağlantıları.
• (İsteğe bağlı) Geçiş senaryoları kullanıyorsanız mevcut bir Azure Data Factory veya Azure Synapse Analytics çalışma alanı.

Sınırlamalar

Aşağıdaki özellikler şu anda genel önizlemede desteklenmemektedir:

Alan	Sınırlama
Flowlets	Desteklenmiyor.
Veri Akışı Kitaplığı	Desteklenmiyor.
Kullanıcı tanımlı işlevler (UDF' ler)	Desteklenmiyor.
Veri akışı yürütme	MDF dönüşümleri yalnızca işlem hattı Veri Akışı etkinliği aracılığıyla yürütülebilir. 2. nesil veri akışından doğrudan yürütme şu anda desteklenmiyor. Kaydet ve çalıştır menüsünde yalnızca Kaydet eylemi kullanılabilir.
Yönetilen Sanal Ağ	Yönetilen Sanal Ağ (Yönetilen VNet) desteği bu önizlemede kullanılamaz.
Çalışma zamanı yürütme	MDF dönüşüm yürütmesi şu anda, Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışlarında olduğu gibi, temelindeki Synapse Spark çalışma zamanını kullanır.
Özellik eşliği	Bu önizlemede tüm Eşleme Veri Akışı özellikleri sağlanmaz.

Desteklenen bağlayıcılar

MDF dönüşümleri, Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışları'nda en yaygın kullanılan kaynak ve havuz bağlayıcılarını destekler.

Şu anda aşağıdaki bağlayıcılar desteklenmektedir:

Kategori	Veri deposu	2. nesil veri akışında MDF dönüşümleri (kaynak/havuz)	Desteklenen Kimlik Doğrulama Türleri
Azure	Azure Blob Depolama (Microsoft'un bulut depolama hizmeti)	✓/✓	Temel, Yönetilen Kimlik / Çalışma Alanı Kimliği, Hizmet Sorumlusu
	NoSQL için Azure Cosmos DB	✓/✓	Temel
	Azure Veri Araştırıcısı	✓/✓	Yönetilen Kimlik / Çalışma Alanı Kimliği
	1. Nesil Azure Data Lake Storage	✓/✓	Temel, Yönetilen Kimlik / Çalışma Alanı Kimliği, Hizmet Sorumlusu
	Azure Data Lake Storage (İkinci Nesil)	✓/✓	Temel, Yönetilen Kimlik / Çalışma Alanı Kimliği, Hizmet Sorumlusu
	MySQL için Azure Veritabanı	✓/✓	Temel
	PostgreSQL için Azure Veritabanı	✓/✓	Temel
	delta gölü Azure Databricks	✓/✓ Delta biçimini kullan	Temel
	Azure SQL Veritabanı	✓/✓	Temel, Yönetilen Kimlik / Çalışma Alanı Kimliği, Hizmet Sorumlusu
	Azure SQL Yönetilen Varlık	✓/✓	Temel, Yönetilen Kimlik / Çalışma Alanı Kimliği, Hizmet Sorumlusu
	Azure Synapse Analytics	✓/✓	Temel
Veritabanı	Snowflake	✓/✓	Temel
Dosya	Amazon S3	✓/✓	Temel
	SFTP	✓/✓	Temel
	Genel Amaçlı REST	✓/✓	Temel, Hizmet Sorumlusu

Yazma sırasında:

• Mevcut Fabric bağlantıları yeniden kullanılabilir.
• Veri Al deneyimi aracılığıyla, doğrudan içerik oluşturma deneyiminden yeni bağlantılar oluşturulabilir.
• Kaynak ve hedef yapılandırması, bilinen Mapping Veri Akışı desenlerini takip eder.

Desteklenen dönüştürmeler

MDF dönüşümleri, Fabric ölçeklenebilir Spark tabanlı veri dönüştürme işlem hatları oluşturmaya yönelik tanıdık bir düşük kodlu görsel dönüştürme deneyimi sağlar.

Şu anda aşağıdaki dönüştürmeler desteklenmektedir:

Name	Kategori	Description
Aggregate	Şema değiştirici	Sum, MIN, MAX ve COUNT gibi toplamaları var olan veya hesaplanan sütunlara göre gruplandırarak tanımlayın.
Satırı değiştirme	Satır değiştirici	Satırlarda ekleme, silme, güncelleştirme ve upsert ilkeleri ayarlayın.
Assert	Satır değiştirici	Veri akışındaki satırlar için onay kuralları tanımlayın.
Cast	Şema değiştirici	Tür denetimiyle sütun veri türlerini değiştirin.
Koşullu ayırma	Birden çok giriş/çıkış	Eşleşen koşullara göre satırları farklı akışlara yönlendirin.
Türetilmiş sütun	Şema değiştirici	İfadeleri kullanarak yeni sütunlar oluşturun veya var olan alanları değiştirin.
Dış arama	Şema değiştirici	Her bir satır için harici uç noktaları satır içinde çağır.
Exists	Birden çok giriş/çıkış	Verilerin başka bir kaynakta mı yoksa akışta mı var olduğunu denetleyin.
Filter	Satır değiştirici	Satırları koşullara göre filtreleyin.
Flatten	Biçimlendiriciler	JSON dizileri gibi hiyerarşik yapıları satırlara düzleştirme.
Join	Birden çok giriş/çıkış	İki kaynaktan veya akıştan verileri birleştirin.
Lookup	Birden çok giriş/çıkış	Başka bir kaynaktan veya akıştan alınan başvuru verileri.
Yeni dal	Birden çok giriş/çıkış	Aynı akışa birden çok dönüştürme yolu uygulayın.
Parse	Biçimlendiriciler	JSON, sınırlandırılmış metin veya XML biçimli dizeleri ayrıştırma.
Pivot	Şema değiştirici	Ayrı satır değerlerini sütunlara dönüştürün.
Rank	Şema değiştirici	Sıralama koşullarına göre sıralı derecelendirmeler oluşturun.
Select	Şema değiştirici	Sütunları yeniden adlandırın, yeniden sıralayabilir veya kaldırabilirsiniz.
Sink	-	Dönüştürülen veriler için hedefi tanımlayın.
Sort	Satır değiştirici	Geçerli veri akışındaki satırları sıralayın.
Source	-	Veri akışının kaynağını tanımlayın.
Stringify	Biçimlendiriciler	Karmaşık türleri dize değerlerine dönüştürün.
Vekil anahtar	Şema değiştirici	Artan vekil anahtar değerleri oluşturun.
Union	Birden çok giriş/çıkış	Birden çok veri akışını dikey olarak birleştirin.
Unpivot	Şema değiştirici	Sütunları satır değerlerine dönüştürün.
Window	Şema değiştirici	Veri akışları üzerinde pencere tabanlı toplamalar tanımlayın.

Dataflow Gen2'de eşleme veri akışı dönüşümü oluşturma

Fabric'de yeni bir MDF dönüşümü oluşturmak için:

1. Fabric çalışma alanınızı açın.

2. Yeni öğe seçin.

3. Veri Akışı 2. Nesil'i seçin.

4. Veri akışı 2. nesil öğesi için bir ad girin ve Oluştur'u seçin.

5. Veri akışı 2. nesil tuvalinde aşağıdaki seçeneklerden birini kullanın:

   • Dataflow Gen2 giriş şeridinde, Yeni eylem grubundan Eşleme veri akışı dönüşümlerini çalıştır seçeneğini belirleyin.
   • Tuval üzerindeki Eşleme veri akışı dönüşümlerini çalıştır (ADF Eşleme Veri Akışları) kutucuğunu seçin.

   

   

Dataflow Gen2 tuvalinde yeni bir MDF dönüştürme eylemi görünür ve gömülü MDF dönüştürme oluşturma deneyimini açar.

Tavsiye

MDF dönüştürme yazma deneyimi, Azure Data Factory ve Azure Synapse Analytics Eşleme Veri Akışlarına benzer tanıdık bir görsel arabirim kullanır.

Yazar eşlemesi veri akışı dönüşümleri

MDF dönüşümü oluşturduktan sonra dönüştürme mantığı yazmaya başlayabilirsiniz.

Hata ayıklama modunu etkinleştirme

Etkileşimli yazma ve veri önizleme için:

1. Kayan araç çubuğundaki Veri akışı hata ayıklama anahtarını etkinleştirin.
2. Hata ayıklama oturumunun başlatılmasını bekleyin.
3. Etkinleştirildikten sonra, yazma sırasında kaynak ve dönüştürme verilerinin önizlemesini görebilirsiniz.

Note

Veri akışı hata ayıklama oturumu başlatmadan önce, Dataflow Gen2 öğesiyle aynı çalışma alanında en az bir boru hattının bulunduğundan emin olun. Aksi takdirde, hata ayıklama oturumu başlamaz. Spark çalışma zamanı kullanılabilirliğine bağlı olarak hata ayıklama oturumlarının başlatılması birkaç dakika sürebilir.

Kaynak ekleme

Bir kaynağı yapılandırmak için:

1. Kaynak ekle'yi seçin.
2. Bağlantı türünü seçin.
3. Mevcut bir Fabric bağlantısını seçin veya gerekirse doğrudan Veri Al deneyimi aracılığıyla yeni bağlantılar oluşturun.
4. Kaynak dosyaya, tabloya veya veri kümesine göz atın ve seçin.

Kaynak bağlantıyı ve veri kümesini yapılandırdıktan sonra, etkileşimli yazma sırasında kaynak verileri doğrulamak ve önizlemek için Veri önizleme sekmesini kullanın.

Dönüşüm ekleme

Dönüşüm eklemek için:

1. Kaynak veya dönüştürmenin + yanındaki simgeyi seçin.
2. Dönüştürme türünü seçin.
3. Dönüştürme ayarlarını yapılandırın.

Görsel dönüştürme tuvalini kullanarak dönüştürme mantığı oluşturmaya devam edebilirsiniz.

Havuz yapılandırma

Dönüştürme mantığı tamamlandıktan sonra:

1. Havuz dönüşümü ekleyin.
2. Hedef bağlantıyı yapılandırın.
3. Yazma ayarlarını yapılandırın.

Doğrulama ve kaydetme

Yürütmeden önce:

1. MDF dönüştürme araç çubuğundan Doğrula'yı seçin.

   

2. Bildirilirse doğrulama sorunlarını çözün.

3. Kaydet ve çalıştır menüsünden Kaydet'i seçin.

   

Note

Genel önizlemede MDF dönüşümlerine sahip veri akışı 2. nesil için şu anda yalnızca Kaydet eylemi desteklenmektedir.

Fabric işlem hatlarını kullanarak eşleme veri akışı dönüşümlerini yürütme

Veri akışı etkinliğini kullanarak Fabric veri işlem hatları aracılığıyla MDF dönüşümlerini yürütürsiniz.

MDF dönüşümünü yürütmek için:

1. Yeni bir Fabric işlem hattı oluşturun.
2. İşlem hattına bir Veri Akışı etkinliği ekleyin.
3. Etkinlik Ayarları'nda MDF dönüşümünü içeren veri akışı 2. nesil öğesini seçin.
4. Çalıştırılacak MDF dönüşüm sorgusunu seçin.
5. Spark çalışma zamanı ayarlarını gerektiği gibi yapılandırın.
6. İşlem hattını doğrulayın ve yayımlayın.
7. İşlem hattını el ile çalıştırın veya bir zamanlama veya tetikleyici yapılandırın.

Spark çalışma zamanı ayarlarını yapılandırma

MDF dönüşümleri, Microsoft Fabric'da Data Factory ile tümleştirilmiş yönetilen Spark çalışma zamanı kullanılarak yürütülür. İşlem hattı yürütmesi sırasında Spark çalışma zamanı ayarlarını yapılandırabilirsiniz, örneğin:

• Hesaplama boyutlandırma
• Havuz özellikleri

Eşleme veri akışlarının dönüştürme yürütmelerini izleme

MDF dönüşümünün yürütülmesini şunlar aracılığıyla izleyebilirsiniz:

• İşlem hattı çıkış bölmesi

  

• İzleme Merkezi

  

İzleme ayrıntılarını görüntülemek için:

1. İşlem hattının çalıştırma ayrıntılarını açın.
2. Etkinlik Çalıştırmaları'ndan Veri Akışı etkinliğini seçin.
3. Yürütme durumunu ve çalışma zamanı ayrıntılarını gözden geçirin.

İlgili içerik

• Veri akışı 2. nesil nedir?
• Azure Data Factory eşleme veri akışı işlem hatlarını Fabric’e yükseltin
• Azure Data Factory Mapping Veri Akışı kullanıcıları için Fabric veri akışları kılavuzu
• İşlem hattında veri akışı kullanma
• Veri akışlarınızı izleme