Verileri Kopyala aracını kullanarak LastModifiedDate temelinde yeni ve değiştirilmiş dosyaları artımlı olarak kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu öğreticide, veri fabrikası oluşturmak için Azure portalını kullanacaksınız. Ardından Verileri Kopyala aracını kullanarak yalnızca yeni ve değiştirilmiş dosyaları Azure Blob depolamadan Azure Blob depolamaya artımlı olarak kopyalayan bir işlem hattı oluşturacaksınız. Kopyalanacak dosyaları belirlemek için kullanır LastModifiedDate .

Buradaki adımları tamamladıktan sonra, Azure Data Factory kaynak depodaki tüm dosyaları tarar, dosya filtresini LastModifiedDate uygular ve hedef depoya yalnızca yeni veya son zamandan beri güncelleştirilmiş olan dosyaları kopyalar. Data Factory çok sayıda dosyayı tararsa, yine de uzun süreler beklemeniz gerektiğini unutmayın. Kopyalanan veri miktarı azalsa bile dosya tarama zaman alır.

Not

Data Factory'yi yeni kullanıyorsanız bkz. Azure Data Factory'a giriş.

Bu öğreticide şu görevleri tamamlayacaksınız:

• Veri fabrikası oluşturma.
• Veri Kopyalama aracını kullanarak bir veri hattı oluşturun.
• İşlem hattını ve etkinlik çalıştırmalarını izleyin.

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce free hesabı oluşturun.
• Azure Depolama account: Kaynak ve havuz veri depoları için Blob depolama kullanın. Azure Depolama hesabınız yoksa Depolama hesabı oluşturma başlığındaki yönergeleri izleyin.

Blob depolamada iki kapsayıcı oluşturma

Aşağıdaki adımları tamamlayarak Blob depolama alanınızı öğreticiye hazırlayın:

1. source adlı bir kapsayıcı oluşturun. Bu görevi gerçekleştirmek için Azure Depolama Gezgini gibi çeşitli araçları kullanabilirsiniz.

2. destination adlı bir kapsayıcı oluşturun.

Veri fabrikası oluşturma

1. Üstteki menüde Kaynak> oluşturAnalytics>Data Factory öğesini seçin:

   

2. Yeni veri fabrikası sayfasındaki Ad alanına ADFTutorialDataFactory girin.

   Veri fabrikanızın adı genel olarak benzersiz olmalıdır. Şu hata iletisini alabilirsiniz:

   

   Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınızADFTutorialDataFactory adını kullanın. Data Factory yapıtlarının adlandırma kuralları için bkz. Data Factory adlandırma kuralları.

3. Ubscription altında yeni veri fabrikasını oluşturacağınız Azure aboneliğini seçin.

4. Kaynak Grubu'nun altında şu adımlardan birini uygulayın:

   • Var olanı kullan'ı ve ardından listeden var olan bir kaynak grubunu seçin.

   • Yeni oluştur'u seçin ve kaynak grubu için bir ad girin.

   Kaynak grupları hakkında bilgi edinmek için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

5. Sürüm altında V2'yi seçin.

6. Konum'un altında veri fabrikasının konumunu seçin. Listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikanızın kullandığı veri depoları (örneğin, Azure Depolama ve Azure SQL Veritabanı) ve hesaplamalar (örneğin, Azure HDInsight) diğer konumlarda ve bölgelerde olabilir.

7. Oluştur'u seçin.

8. Veri fabrikası oluşturulduktan sonra veri fabrikası giriş sayfası görüntülenir.

9. Azure Data Factory kullanıcı arabirimini (UI) ayrı bir sekmede açmak için Open Azure Data Factory Studio kutucunun Open öğesini seçin:

   Azure Data Factory için Ana Sayfa, Açık Azure Data Factory Studio karosu ile birlikte.

Veri Kopyalama aracını kullanarak bir işlem hattı oluşturun

1. Azure Data Factory giriş sayfasında veri kopyalama aracını açmak için Ingest kutucuğunu seçin:

   

2. Özellikler sayfasında aşağıdaki adımları izleyin:

   1. Görev türü'ninaltında Yerleşik kopyalama görevi'ne tıklayın.

   2. Görev temposu veya görev zamanlaması altında Duran pencere'yi seçin.

   3. Yinelenme'nin altına 15 Dakika girin.

   4. İleri'yi seçin.

   

3. Kaynak veri deposu sayfasında şu adımları tamamlayın:

   1. Bağlantı eklemek için + Yeni bağlantı'ya tıklayın.

   2. Galeriden Azure Blob Depolama seçin ve ardından Continue öğesini seçin:

      

   3. Yeni bağlantı (Azure Blob Depolama) sayfasında, Azure aboneliği listesinden Azure aboneliğinizi ve Storage hesap adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin ve oluştur'u seçin.

   4. Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin.

   5. Dosya veya klasör bölümünde Gözat'ı seçin, kaynak klasörü seçin ve ardından Tamam'ı seçin.

   6. Dosya yükleme davranışı'nın altında Artımlı yük: LastModifiedDate seçeneğini belirleyin ve İkili kopya'yı seçin.

   7. İleri'yi seçin.

   

4. Hedef veri deposu sayfasında şu adımları tamamlayın:

   1. Oluşturduğunuz AzureBlobStorage bağlantısını seçin. Bu, kaynak veri deposuyla aynı depolama hesabıdır.

   2. Klasör yolu bölümünde hedef klasöre göz atın ve seçin ve ardından Tamam'ı seçin.

   3. İleri'yi seçin.

   

5. Ayarlar sayfasında, Görev adı'nın altında DeltaCopyFromBlobPipeline yazın ve İleri'yi seçin. Data Factory, belirtilen görev adına sahip bir işlem hattı oluşturur.

   

6. Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.

   

7. Dağıtım sayfasında, işlem hattını (görevi) izlemek için İzleyici'yi seçin.

   

8. Soldaki İzleyici sekmesinin otomatik olarak seçili olduğuna dikkat edin. Uygulama İzleyici sekmesine geçer. İşlem hattının durumunu görürsünüz. Listeyi yenilemek için Yenile'yi seçin. Etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için İşlem hattı adı altındaki bağlantıyı seçin.

   

9. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan yalnızca bir giriş görürsünüz. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik çalıştırmaları sayfasında Etkinlik adısütunundaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Özellikler hakkında ayrıntılı bilgi için bkz. Kopyalama etkinliği genel bakış.

   

   Blob depolama hesabınızda kaynak kapsayıcıda dosya olmadığından, hesapta hedef kapsayıcıya kopyalanmış hiçbir dosya görmezsiniz:

   

10. Boş bir metin dosyası oluşturun ve file1.txtolarak adlandırlayın. Bu metin dosyasını depolama hesabınızdaki kaynak kapsayıcıya yükleyin. Bu görevleri gerçekleştirmek için Azure Depolama Gezgini gibi çeşitli araçları kullanabilirsiniz.

    

11. İşlem hattı çalıştırmaları görünümüne geri dönmek için Etkinlik çalıştırmaları sayfasındaki içerik haritası menüsünde Tüm işlem hattı çalıştırmaları bağlantısını seçin ve aynı işlem hattının otomatik olarak yeniden tetiklenmesini bekleyin.

12. İkinci işlem hattı çalışması tamamlandığında, etkinlik çalışması ayrıntılarını gözden geçirmek için önce belirtilen adımları izleyin.

    Bir dosyanın (file1.txt) kaynak kapsayıcıdan Blob depolama hesabınızın hedef kapsayıcısına kopyalandığını görürsünüz:

    

13. Başka bir boş metin dosyası oluşturun ve file2.txtolarak adlandırlayın. Bu metin dosyasını Blob depolama hesabınızdaki kaynak kapsayıcıya yükleyin.

14. İkinci metin dosyası için 11. ve 12. adımları yineleyin. Bu işlem hattı çalıştırması sırasında kaynak kapsayıcıdan depolama hesabınızın hedef kapsayıcısına yalnızca yeni dosyanın (file2.txt) kopyalandığını göreceksiniz.

    Dosyaları taramak için Azure Depolama Gezgini kullanarak yalnızca bir dosyanın kopyalandığını da doğrulayabilirsiniz:

    

İlgili içerik

Azure bir Apache Spark kümesi kullanarak verileri dönüştürmeyi öğrenmek için aşağıdaki öğreticiye gidin:

Apache Spark kümesi kullanarak buluttaki verileri dönüştürme