Öğretici: Eşleme veri akışlarını kullanarak verileri dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UX) kullanarak eşleme veri akışını kullanarak bir Azure Data Lake Storage (ADLS) 2. Nesil kaynağından ADLS 2. Nesil havuzuna veri kopyalayan ve dönüştüren bir işlem hattı oluşturursunuz. Bu öğreticideki yapılandırma düzeni, eşleme veri akışı kullanılarak veriler dönüştürülürken genişletilebilir

Bu eğitim, genel olarak veri akışlarını eşlemeye yöneliktir. Veri akışları hem Azure Data Factory hem de Synapse İşlem Hatlarında kullanılabilir. Azure Synapse İşlem Hatlarında veri akışlarıyla ilgili yeniyseniz Azure Synapse Pipelines kullanarak Veri Akışını takip edin.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

• Veri fabrikası oluşturma.
• Data Flow etkinliği olan bir işlem hattı oluşturun.
• Dört dönüştürme ile bir eşleme veri akışı oluşturun.
• İşlem hattında test çalıştırması yapma.
• Data Flow etkinliğini izleme

Önkoşullar

• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce free Azure hesabı oluşturun.
• Azure Data Lake Storage Gen2 account. ADLS depolama alanını kaynak ve havuz veri depoları olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma.
• MoviesDB.csv buradan indirin. GitHub'dan dosyayı almak için içeriği istediğiniz bir metin düzenleyicisine kopyalayın ve ardından yerel olarak .csv dosyası olarak kaydedin. Dosyayı 'sample-data' adlı bir kapsayıcıda depolama hesabınıza yükleyin.

Veri fabrikası oluşturma

Bu adımda bir veri fabrikası oluşturacak ve Data Factory UX'yi açarak veri fabrikasında işlem hattı oluşturacaksınız.

1. Microsoft Edge veya Google Chrome açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.

2. Üstteki menüde Kaynak> oluşturAnalytics>Data Factory öğesini seçin:

   

3. Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

   Azure veri fabrikasının adı globally unique olmalıdır. Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

   

4. Veri fabrikasını oluşturmak istediğiniz Azure subscription seçin.

5. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

   1. Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.

   2. Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

   Kaynak grupları hakkında bilgi edinmek için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

6. Sürüm bölümünde V2'yi seçin.

7. Bölge'nin altında veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Storage ve SQL Veritabanı) ve işlem (örneğin, Azure HDInsight) diğer bölgelerde olabilir.

8. Gözden Geçir + Oluştur'u ve ardından Oluştur'u seçin.

9. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezi'nde bildirimi görürsünüz. Veri fabrikası sayfasına gitmek için Kaynağa git'i seçin.

10. Studio'yu çalıştır seçeneğini seçerek Data Factory stüdyosunu ayrı bir sekmede açın.

Data Flow etkinliğiyle işlem hattı oluşturma

Bu adımda, Data Flow etkinliği içeren bir işlem hattı oluşturursunuz.

1. Azure Data Factory giriş sayfasında Orchestrate öğesini seçin.

   

2. Yeni bir boru hattı için artık bir pencere açılmış durumda. İşlem hattı özelliklerinin Genel sekmesinde, işlem hattının Adı için TransformMovies girin.

3. Etkinlikler bölmesinde Taşı ve Dönüştür akordeonunu genişletin. bölmeden Data Flow etkinliğini sürükleyip işlem hattı tuvaline bırakın.

   Ekran görüntüsü, Data Flow aktivitesini bırakabileceğiniz işlem hattı tuvalini göstermektedir.

4. Veri akışı etkinliğinize DataFlow1 adını verin.

5. İşlem hattı tuvalinin üst çubuğunda Data Flow debug kaydırıcısını açın. Hata ayıklama modu, dinamik bir Spark kümesinde dönüştürme mantığının etkileşimli olarak test edilmesini sağlar. Data Flow kümelerin ısınması 5-7 dakika sürer ve kullanıcıların Data Flow geliştirme yapmayı planlıyorlarsa önce hata ayıklamayı açmaları önerilir. Daha fazla bilgi için bkz . Hata Ayıklama Modu.

   

Veri akışı tuvalinde dönüştürme mantığı oluşturma

Bu adımda, ADLS depolama alanında moviesDB.csv alan ve 1910 ile 2000 arasında komedilerin ortalama derecelendirmesini toplayan bir veri akışı oluşturursunuz. Ardından bu dosyayı ADLS depolama alanına geri yazarsınız.

1. Tuvalin altındaki panelde Veri akışı etkinliğinizin Ayarları'na gidin ve Veri akışı alanının yanında bulunan Yeni'yi seçin. Bu, veri akışı tuvalini açar.

   

2. Özellikler bölmesinde genel'in altında veri akışınızı adlandırın: TransformMovies.

3. Veri akışı tuvalinde Kaynak Ekle kutusunu seçerek bir kaynak ekleyin .

   

4. Kaynağınıza MoviesDB adını verin. Yeni bir kaynak veri kümesi oluşturmak için Yeni'yi seçin.

   

5. Azure Data Lake Storage Gen2 öğesini seçin. Devam'ı seçin.

   

6. Sınırlandırılmış Metin'i seçin. Devam'ı seçin.

   

7. Veri kümenize MoviesDB adını verin. Bağlı hizmet açılan listesinde Yeni'yi seçin.

   

8. Bağlı hizmet oluşturma ekranında ADLS 2. nesil bağlı hizmetinizi ADLSGen2 olarak adlandırın ve kimlik doğrulama yönteminizi belirtin. Ardından bağlantı kimlik bilgilerinizi girin. Bu öğreticide, depolama hesabımıza bağlanmak için Hesap anahtarını kullanıyoruz. Kimlik bilgilerinizin doğru girildiğini doğrulamak için Bağlantıyı Test Et seçeneğini seçebilirsiniz. İşiniz bittiğinde Oluştur'u seçin.

   Azure Data Lake Storage için yeni bir bağlı hizmet oluşturmak üzere panelin ekran görüntüsü.

9. Veri kümesi oluşturma ekranına döndüğünüzde Dosya yolu alanının altında dosyanızın bulunduğu yeri girin. Bu öğreticide, dosya moviesDB.csv kapsayıcı sample-data içinde bulunur. Dosyada üst bilgiler olduğundan İlk satır üst bilgi olarak seçeneğini işaretleyin. Üst bilgi şemasını doğrudan depolamadaki dosyadan içeri aktarmak için Bağlantıdan/depodan'ı seçin. İşiniz bittiğinde Tamam'ı seçin.

   

10. Hata ayıklama kümeniz başlatıldıysa, kaynak dönüştürmenin Veri Önizleme sekmesine gidin ve verilerin anlık görüntüsünü almak için Yenile'yi seçin. Dönüştürmenizin doğru yapılandırıldığını doğrulamak için veri önizlemesini kullanabilirsiniz.

    

11. Veri akışı tuvalinde kaynak düğümünüzün yanındaki artı simgesini seçerek yeni bir dönüşüm ekleyin. Eklediğiniz ilk dönüştürme bir Filtredir.

    

12. Filtre dönüştürmenize FilterYears adını verin. Filtre uygula'nın yanındaki ifade kutusunu ve ardından İfade oluşturucusunu aç'ı seçin. Burada filtreleme koşulunuzu belirtirsiniz.

    

13. Veri akışı ifade oluşturucusu, çeşitli dönüşümlerde kullanmak üzere etkileşimli olarak ifadeler oluşturmanıza olanak tanır. İfadeler yerleşik işlevleri, giriş şemasındaki sütunları ve kullanıcı tanımlı parametreleri içerebilir. İfade oluşturma hakkında daha fazla bilgi için bkz. Data Flow ifade oluşturucu.

    Bu öğreticide, 1910 ve 2000 yılları arasında çıkan tür komedi filmlerini filtrelemek istiyorsunuz. Yıl şu anda bir dize olduğundan, toInteger() işlevini kullanarak onu bir tamsayıya dönüştürmeniz gerekir. 1910 ve 2000 gibi yıl değerlerine karşılaştırma yapmak için büyük veya eşit (>=) ve küçük veya eşit (<=) işleçlerini kullanın. Bu ifadeleri "ve" (&&) işleciyle birleştirin. İfade şu şekilde ortaya çıkar:

    toInteger(year) >= 1910 && toInteger(year) <= 2000

    Hangi filmlerin rlike() komedi olduğunu bulmak için işlevini kullanarak sütun türlerinde 'Comedy' desenini bulabilirsiniz. İfadeyi rlike yıl karşılaştırmasıyla birleştirerek elde etmek için:

    toInteger(year) >= 1910 && toInteger(year) <= 2000 && rlike(genres, 'Comedy')

    Etkin bir hata ayıklama kümeniz varsa, kullanılan girişlerle karşılaştırıldığında ifade çıkışını görmek için Yenile'yi seçerek mantığınızı doğrulayabilirsiniz. Veri akışı ifade dilini kullanarak bu mantığı nasıl gerçekleştirebileceğinize ilişkin birden fazla doğru yanıt vardır.

    

    İfadenizi tamamladığınızda Kaydet ve Bitir seçeneğine tıklayın.

14. Filtrenin düzgün çalıştığını doğrulamak için bir Veri Önizlemesi getirin.

    

15. Ekleyeceğiniz bir sonraki dönüşüm, Şema değiştiricisi altında bir Toplama dönüşümüdür.

    

16. Toplama dönüştürmenize AggregateComedyRatings adını verin. Gruplama sekmesinde, toplamaları filmin çıktığı yıla göre gruplandırmak için açılır listeden yıl seçeneğini seçin.

    

17. Toplamalar sekmesine gidin. Sol metin kutusunda AverageComedyRating toplama sütununu adlandırın. İfade oluşturucusu aracılığıyla toplama ifadesini girmek için doğru ifade kutusunu seçin.

    

18. Derecelendirme sütununun ortalamasını almak için toplama işlevini kullanınavg(). Derecelendirme bir dize olduğundan ve avg() sayısal bir giriş aldığından, işlevi aracılığıyla değeri sayıya toInteger() dönüştürmemiz gerekir. Bu ifade şöyle görünür:

    avg(toInteger(Rating))

    İşiniz bittiğinde Kaydet ve Son'u seçin.

    

19. Dönüştürme çıkışını görüntülemek için Veri Önizleme sekmesine gidin. yalnızca iki sütun olduğuna dikkat edin: year ve AverageComedyRating.

    

20. Ardından, Hedef altında bir Sink dönüşümü eklemek istiyorsunuz.

    

21. Lavabona Lavabo adını verin. Havuz veri kümenizi oluşturmak için Yeni'yi seçin.

    

22. Azure Data Lake Storage Gen2 öğesini seçin. Devam'ı seçin.

    

23. Sınırlandırılmış Metin'i seçin. Devam'ı seçin.

    

24. Havuz veri kümenize MoviesSink adını verin. Bağlı hizmet için 6. adımda oluşturduğunuz ADLS 2. nesil bağlı hizmeti seçin. Verilerinizi yazmak için bir çıkış klasörü girin. Bu öğreticide, 'sample-data' içindeki 'output' klasörüne yazıyoruz. Klasörün önceden var olması gerekmez ve dinamik olarak oluşturulabilir. İlk satırı üst bilgi olarak ayarla ve İçeri aktarma şeması için Yok seçeneğini belirle. Bitir'i seçin.

    

Artık veri akışınızı derlemeyi tamamladınız. Artık işlem hattınızda çalıştırmaya hazırsınız.

Veri Akışını Çalıştırma ve İzleme

Bir işlem hattını yayımlamadan önce hata ayıklayabilirsiniz. Bu adımda, veri akışı işlem hattının hata ayıklama çalıştırmasını tetikleyeceksiniz. Veri önizlemesi veri yazmaz, ancak hata ayıklama çalışması aktarma hedefinize veri yazar.

1. İşlem hattı tuvaline gidin. Hata ayıklama çalıştırmasını tetikleme için Hata Ayıkla'ya tıklayın.

   

2. Veri Akışı etkinliklerinin işlem hattı hata ayıklaması, aktif hata ayıklama kümesini kullanır ancak başlatılması yine de en az bir dakika sürer. İlerleme durumunu Çıkış sekmesi aracılığıyla izleyebilirsiniz. Çalıştırma başarılı olduktan sonra çalıştırmanın üzerine gelin ve izleme bölmesini açmak için gözlük simgesini seçin.

   

3. İzleme bölmesinde Aşamalar düğmesini seçerek her dönüştürme adımında harcanan satır sayısını ve süreyi görebilirsiniz.

   

   

4. Sütunlar ve verilerin bölümlenmesi hakkında ayrıntılı bilgi almak için bir dönüştürme seçin.

   

Bu öğreticiyi doğru bir şekilde izlediyseniz havuz klasörünüzde 83 satır ve 2 sütun yazmış olmanız gerekir. Blob depolama alanınızı denetleyerek verilerin doğru olduğunu doğrulayabilirsiniz.

İlgili içerik

Bu öğreticideki işlem hattı, 1910 ile 2000 arasında ortalama komedi derecelendirmesini toplayan ve verileri ADLS'ye yazan bir veri akışı çalıştırır. Şunları öğrendiniz:

• Veri fabrikası oluşturma.
• Data Flow etkinliği olan bir işlem hattı oluşturun.
• Dört dönüştürme ile bir eşleme veri akışı oluşturun.
• İşlem hattında test çalıştırması yapma.
• Data Flow etkinliğini izleme

Veri akışı ifade dili hakkında daha fazla bilgi edinin.