Azure Data Factory ile verileri Azure Data Lake Storage Gen2 yükleme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Azure Data Lake Storage Gen2, Azure Blob depolama yerleşik olarak büyük veri analizine ayrılmış bir özellik kümesidir. Hem dosya sistemi hem de nesne depolama paradigmalarını kullanarak verilerinizle arabirim oluşturmanızı sağlar.

Azure Data Factory (ADF), tam olarak yönetilen bir bulut tabanlı veri tümleştirme hizmetidir. Hizmeti kullanarak gölü zengin bir şirket içi ve bulut tabanlı veri depolarından alınan verilerle doldurabilir ve analiz çözümlerinizi oluştururken zaman kazanabilirsiniz. Desteklenen bağlayıcıların ayrıntılı listesi için Desteklenen veri depoları tablosuna bakın.

Azure Data Factory ölçeği genişletme, yönetilen veri taşıma çözümü sunar. ADF'nin ölçeklenebilirlik mimarisi nedeniyle verileri yüksek aktarım hızıyla alabilir. Ayrıntılar için bkz. Copy activity performance.

Bu makalede, Data Factory Veri Kopyalama aracını kullanarak Amazon Web Services S3 hizmetindenAzure Data Lake Storage Gen2'a veri yükleme işleminin nasıl yapılacağını öğreneceksiniz. Diğer veri depolarından veri kopyalamak için benzer adımları izleyebilirsiniz.

İpucu

Azure Data Lake Storage Gen1'den 2. Nesil'e veri kopyalamak için bkz. bu özel kılavuz.

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce free hesabı oluşturun.
• Azure Storage hesabı, Data Lake Storage Gen2 etkinleştirilmiş: Depolama hesabınız yoksa hesap oluşturun.
• Veri içeren bir S3 demetine sahip AWS hesabı: Bu makalede Amazon S3'ten veri kopyalama gösterilmektedir. Benzer adımları izleyerek diğer veri depolarını kullanabilirsiniz.

Veri fabrikası oluşturma

1. Veri fabrikanızı henüz oluşturmadıysanız Quickstart: Azure portalını kullanarak veri fabrikası oluşturma ve Azure Data Factory Studio içindeki adımları izleyin. Oluşturduktan sonra Azure portalındaki veri fabrikasına göz atın.

   Azure Data Factory için Ana Sayfa, Açık Azure Data Factory Studio karosu ile birlikte.

2. Veri Tümleştirme uygulamasını ayrı bir sekmede başlatmak için Open Azure Data Factory Studio kutucuğunda Open öğesini seçin.

Azure Data Lake Storage Gen2'a veri yükleme

1. veri kopyalama aracını başlatmak için Azure Data Factory giriş sayfasında Ingest kutucuğunu seçin.

2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı ve ardından İleri'yi seçin.

   

3. Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

   1. + Yeni bağlantı'yı seçin. Bağlayıcı galerisinden Amazon S3'i ve ardından Devam'ı seçin.

      

   2. Yeni bağlantı (Amazon S3) sayfasında aşağıdaki adımları uygulayın:

      1. Erişim Anahtarı Kimliği değerini belirtin.
      2. Gizli Erişim Anahtarı değerini belirtin.
      3. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.

      

   3. Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan Amazon S3 bağlantısının seçili olduğundan emin olun.

   4. Dosya veya klasör bölümünde, üzerine kopyalamak istediğiniz klasöre ve dosyaya göz atın. Klasörü/dosyayı ve ardından Tamam'ı seçin.

   5. Yinelemeli ve İkili kopyalama seçeneklerini işaretleyerek kopyalama davranışını belirtin. İleri'yi seçin.

   

4. Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın.

   1. + Yeni bağlantı'ı seçin ve ardından Azure Data Lake Storage Gen2 öğesini seçin ve Continue'yi seçin.

      

   2. Yeni bağlantı (Azure Data Lake Storage Gen2) sayfasında, "Depolama hesabı adı" açılan listesinden Data Lake Storage Gen2 özellikli hesabınızı seçin ve bağlantıyı oluşturmak için Create öğesini seçin.

      

   3. Hedef veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin. Ardından Klasör yolu altında çıkış klasörü adı olarak copyfroms3 yazın ve İleri'yi seçin. ADF, mevcut değilse kopya sırasında ilgili ADLS 2. Nesil dosya sistemini ve alt klasörleri oluşturur.

      

5. Ayarlar sayfasında, Görev adı alanı için CopyFromAmazonS3ToADLS öğesini belirtin ve varsayılan ayarları kullanmak için İleri'yi seçin.

   

6. Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.

   

7. Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.

8. İşlem hattı çalıştırması başarıyla tamamlandığında, el ile tetiklenen bir işlem hattı çalıştırması görürsünüz. İşlem hattı adı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

   

9. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütununun altındaki CopyFromAmazonS3ToADLS bağlantısını seçin. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik adı sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, ilgili süreye sahip yürütme adımları ve kullanılan yapılandırma gibi ayrıntıları izleyebilirsiniz.

   

   

10. Görünümü yenilemek için Yenile’yi seçin. "Üst kısımdaki Tüm işlem hattı çalıştırmaları seçeneğini seçerek 'İşlem hattı çalıştırmaları' görünümüne geri dönün."

11. Verilerin Data Lake Storage Gen2 hesabınıza kopyalandığını doğrulayın.

İlgili içerik

• Kopyalama etkinliği genel bakış
• Azure Data Lake Storage Gen2 bağlayıcı