Veri gölünüzden veya veri ambarınızdan Azure'a veri geçirmek için Azure Data Factory'yi kullanma
UYGULANANLAR:
Azure Data Factory 
Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Veri gölünüzü veya kurumsal veri ambarınızı (EDW) Microsoft Azure'a geçirmek istiyorsanız Azure Data Factory'yi kullanmayı göz önünde bulundurun. Azure Data Factory aşağıdaki senaryolar için çok uygundur:
- Amazon Simple Depolama Service'ten (Amazon S3) veya şirket içi Hadoop Dağıtılmış Dosya Sistemi'nden (HDFS) Azure'a büyük veri iş yükü geçişi
- Oracle Exadata, Netezza, Teradata veya Amazon Redshift'ten Azure'a EDW geçişi
Azure Data Factory, data lake geçişi için petabayt (PB) ve veri ambarı geçişi için onlarca terabayt (TB) veri taşıyabilir.
Azure Data Factory veri geçişi için neden kullanılabilir?
- Azure Data Factory, yüksek performans, dayanıklılık ve ölçeklenebilirlikle verileri sunucusuz bir şekilde taşımak için işlem gücünün ölçeğini kolayca artırabilir. Ve yalnızca kullandığınız kadar ödersiniz. Ayrıca aşağıdakilere de dikkat edin:
- Azure Data Factory'nin veri hacmi veya dosya sayısıyla ilgili bir sınırlaması yoktur.
- Azure Data Factory, ortamınızdaki en yüksek hacimli veri taşıma aktarım hızına ulaşmak için ağ ve depolama bant genişliğinizi tam olarak kullanabilir.
- Azure Data Factory kullandıkça öde yöntemini kullanır, böylece yalnızca Azure'a veri geçişini çalıştırmak için kullandığınız süre için ödeme yapın.
- Azure Data Factory hem tek seferlik geçmiş yükü hem de zamanlanmış artımlı yükleri gerçekleştirebilir.
- Azure Data Factory, verileri genel olarak erişilebilen veri gölü ve ambar uç noktaları arasında taşımak için Azure tümleştirme çalışma zamanını (IR) kullanır. Azure Sanal Ağ (VNet) içindeki veya güvenlik duvarının arkasındaki veri gölü ve ambar uç noktaları için verileri taşımak için şirket içinde barındırılan IR de kullanabilir.
- Azure Data Factory'de kurumsal düzeyde güvenlik vardır: Güvenli hizmet-hizmet tümleştirmesi için Windows Installer (MSI) veya Hizmet Kimliği kullanabilir veya kimlik bilgileri yönetimi için Azure Key Vault'ı kullanabilirsiniz.
- Azure Data Factory, kodsuz yazma deneyimi ve zengin, yerleşik bir izleme panosu sağlar.
Çevrimiçi ve çevrimdışı veri geçişi karşılaştırması
Azure Data Factory, bir ağ (İnternet, ER veya VPN) üzerinden veri aktarmak için standart bir çevrimiçi veri geçiş aracıdır. Çevrimdışı veri geçişiyle birlikte kullanıcılar, kuruluşlarından Azure Veri Merkezi'ne fiziksel olarak veri aktarımı cihazları gönderir.
Çevrimiçi ve çevrimdışı geçiş yaklaşımı arasında seçim yaparken dikkat edilmesi gereken üç önemli nokta vardır:
- Geçirilecek verilerin boyutu
- Ağ bant genişliği
- Geçiş penceresi
Örneğin, veri geçişinizi iki hafta içinde (geçiş pencereniz) tamamlamak için Azure Data Factory kullanmayı planladığınızı varsayalım. Aşağıdaki tabloda pembe/mavi kesim çizgisine dikkat edin. Herhangi bir sütun için en düşük pembe hücre, geçiş penceresi en yakın ancak iki haftadan kısa olan veri boyutu/ağ bant genişliği eşleştirmesini gösterir. (Mavi hücredeki herhangi bir boyut/bant genişliği eşleştirmesinin iki haftadan uzun bir çevrimiçi geçiş penceresi vardır.)
Bu tablo, verilerinizin boyutuna ve kullanılabilir ağ bant genişliğinize göre çevrimiçi geçiş (Azure Data Factory) aracılığıyla hedeflenen geçiş pencerenizi karşılayıp karşılamayabileceğinizi belirlemenize yardımcı olur. Çevrimiçi geçiş penceresi iki haftadan uzunsa çevrimdışı geçişi kullanmak istersiniz.
Dekont
Çevrimiçi geçişi kullanarak, tek bir araçla hem geçmiş veri yükleme hem de artımlı akışları uçtan uca elde edebilirsiniz. Bu yaklaşım sayesinde verileriniz, tüm geçiş penceresi boyunca mevcut depo ile yeni mağaza arasında eşitlenebilir. Bu, etl mantığınızı yeni depoda yenilenen verilerle yeniden oluşturabileceğiniz anlamına gelir.