Aracılığıyla paylaş

Veri yakalama kaynağına genel bakış

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Karmaşık veri tümleştirmesi ve ETL işlem hatları oluşturmakla sorumlu olan veri mühendisleri için bulut öncelikli büyük veri dünyasına uyum sağlamak inanılmaz derecede zor olabilir.

Azure Data Factory, veri mühendisinin ömrünü kolaylaştırmak için yeni bir mekanizma kullanıma sunar.

Karmaşık tasarım veya kodlama gerektirmeden kaynakta veri değişikliklerini otomatik olarak algılayan ADF, bu işlemleri ölçeklendirmeyi kolaylaştırıyor. Değişiklik Veri Yakalama artık Azure Data Factory studio'da yeni bir yerel üst düzey kaynak olarak mevcut olacak ve burada veri mühendisleri büyük verileri yüksek verimlilikle büyük ölçekte işlemek için sürekli çalışan işleri hızla yapılandırabilir.

ADF'deki yeni Değişiklik Verileri Yakalama kaynağı, kılavuzlu bir yapılandırma deneyimi aracılığıyla neredeyse gerçek zamanlıya yakın bir şekilde sürekli çalışan tam uygunlukta değişiklik verisi yakalama olanağı sağlar.

Screenshot of new top-level resource in Factory Resources panel.

Desteklenen veri kaynakları

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Veritabanı
  • Azure SQL Yönetilen Örnek
  • Sınırlandırılmış Metin
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Desteklenen hedefler

  • Avro
  • Azure SQL Veritabanı
  • SQL Yönetilen Örneği
  • Sınırlandırılmış Metin
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Bilinen sınırlamalar

  • Şu anda kaynak/hedef eşlemeleri oluştururken her kaynak ve hedefin yalnızca bir kez kullanılmasına izin verilir.
  • Karmaşık türler şu anda desteklenmiyor.
  • Şirket içinde barındırılan tümleştirme çalışma zamanı (SHIR) şu anda desteklenmiyor.

Bilinen sınırlamalar ve sorun giderme yardımı hakkında daha fazla bilgi için lütfen bu sorun giderme kılavuzuna başvurun.

Hedef Olarak Azure Synapse Analytics

Azure Synapse Analytics'i hedef olarak kullanırken, hazırlama Ayarlar ana tablo tuvalinde kullanılabilir. Hedef olarak Azure Synapse Analytics seçilirken hazırlamanın etkinleştirilmesi zorunludur. Bu, COPY INTO komutu gibi yüksek performanslı toplu yükleme özelliğini kullanarak yazma performansını önemli ölçüde artırır. Hazırlama Ayarlar iki şekilde yapılandırılabilir: Fabrika ayarlarını kullanma veya Özel ayarları seçme. Fabrika ayarları fabrika düzeyinde geçerlidir. İlk kez, bu ayarlar yapılandırılmadıysa yapılandırma için genel hazırlama ayarı bölümüne yönlendirilirsiniz. Ayarlandıktan sonra, tüm CDC üst düzey kaynakları bu yapılandırmayı benimseyecektir. Özel ayarların kapsamı yalnızca yapılandırıldığı CDC kaynağı için belirlenmiştir ve Fabrika ayarlarını geçersiz kılar.

Dekont

Hazırlama konumundan Azure Synapse Analytics'e veri aktarmak için COPY INTO komutunu kullandığımızdan, tüm gerekli izinlerin Azure Synapse Analytics içinde önceden yapılandırıldığından emin olmak önerilir.

Dekont

CDC'yi başlatırken her zaman son yayımlanan yapılandırmayı kullanırız. CDC'leri çalıştırmak için verileriniz işlenirken Genel Amaçlı Veri Akışı 4 sanal çekirdeği faturalandırılırsınız.

İlgili içerik