Eşleme veri akışlarını kullanarak verileri dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Factory kullanmaya yeni başlıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide Azure Data Factory kullanıcı arabirimini (UX) kullanarak, eşleme veri akışını kullanarak bir Azure Data Lake Storage (ADLS) 2. Nesil kaynağındaki verileri ADLS 2. Nesil havuzuna kopyalayan ve dönüştüren bir işlem hattı oluşturacaksınız. Bu öğreticideki yapılandırma düzeni, eşleme veri akışı kullanılarak veriler dönüştürülürken genişletilebilir

Not

Bu öğretici, genel olarak veri akışlarını eşlemeye yöneliktir. Veri akışları hem Azure Data Factory'de hem de Synapse Pipelines'da kullanılabilir. Azure Synapse Pipelines'da veri akışlarını kullanmaya yeniyseniz lütfen Azure Synapse Pipelines'ı kullanarak Veri Akışı izleyin

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

• Veri fabrikası oluşturma.
• Veri Akışı etkinliği olan bir işlem hattı oluşturun.
• Dört dönüştürme ile bir eşleme veri akışı oluşturun.
• İşlem hattında test çalıştırması yapma.
• Veri Akışı etkinliğini izleme

Önkoşullar

• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
• Azure depolama hesabı. ADLS depolama alanını kaynak ve havuz veri depoları olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma.

Bu öğreticide dönüştürdüğümiz dosya MoviesDB.csv ve burada bulunabilir. GitHub'dan dosyayı almak için içeriği istediğiniz bir metin düzenleyicisine kopyalayarak yerel olarak .csv dosyası olarak kaydedin. Dosyayı depolama hesabınıza yüklemek için bkz . Azure portalı ile blobları karşıya yükleme. Örnekler , 'sample-data' adlı bir kapsayıcıya başvuruda bulunacaktır.

Veri fabrikası oluşturma

Bu adımda bir veri fabrikası oluşturacak ve Data Factory UX'yi açarak veri fabrikasında işlem hattı oluşturacaksınız.

1. Microsoft Edge veya Google Chrome'u açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.

2. Sol menüde Kaynak>oluştur Integration>Data Factory'yi seçin:

   

3. Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

   Azure data factory adı küresel olarak benzersiz olmalıdır. Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

   

4. Veri fabrikasını oluşturmak istediğiniz Azure aboneliğinizi seçin.

5. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

   a. Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.

   b. Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

   Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

6. Sürüm bölümünde V2'yi seçin.

7. Konum bölümünden veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlem (örneğin, Azure HDInsight) diğer bölgelerde olabilir.

8. Oluştur'u belirleyin.

9. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezi'nde bildirimi görürsünüz. Data factory sayfasına gitmek için Kaynağa git'i seçin.

10. Data Factory Kullanıcı Arabirimini (UI) ayrı bir sekmede başlatmak için Geliştir ve İzle’yi seçin.

Veri Akışı etkinliğiyle işlem hattı oluşturma

Bu adımda, Veri Akışı etkinliği içeren bir işlem hattı oluşturacaksınız.

1. Azure Data Factory'nin giriş sayfasında Düzenle'yi seçin.

   

2. İşlem hattının Genel sekmesinde, işlem hattının Adı için TransformMovies girin.

3. Etkinlikler bölmesinde Taşı ve Dönüştür akordeonunu genişletin. bölmeden Veri Akışı etkinliğini sürükleyip işlem hattı tuvaline bırakın.

   

4. Ekleme Veri Akışı açılır penceresinde Yeni Veri Akışı oluştur'u seçin ve veri akışınıza TransformMovies adını verin. İşiniz bittiğinde Son'a tıklayın.

   

5. İşlem hattı tuvalinin üst çubuğunda hata ayıklama kaydırıcısını Veri Akışı kaydırın. Hata ayıklama modu, dinamik bir Spark kümesinde dönüştürme mantığının etkileşimli olarak test edilmesini sağlar. Veri Akışı kümelerin ısınması 5-7 dakika sürer ve kullanıcıların Veri Akışı geliştirme yapmayı planlıyorlarsa önce hata ayıklamayı açmaları önerilir. Daha fazla bilgi için bkz . Hata Ayıklama Modu.

   

Veri akışı tuvalinde dönüştürme mantığı oluşturma

Veri Akışı oluşturduktan sonra otomatik olarak veri akışı tuvaline gönderilirsiniz. Veri akışı tuvaline yönlendirilmediyseniz, tuvalin altındaki panelde Ayarlar'a gidin ve Veri akışı alanının yanında bulunan Aç'ı seçin. Bu işlem veri akışı tuvalini açar.

Bu adımda, ADLS depolama alanında moviesDB.csv alan ve 1910 ile 2000 arasında ortalama komedi derecelendirmesini toplayan bir veri akışı oluşturacaksınız. Ardından bu dosyayı ADLS depolama alanına geri yazacaksınız.

1. Veri akışı tuvalinde, Kaynak Ekle kutusuna tıklayarak bir kaynak ekleyin.

   

2. Kaynağınıza MoviesDB adını verin. Yeni bir kaynak veri kümesi oluşturmak için Yeni'ye tıklayın.

   

3. Azure Data Lake Storage 2. Nesil'ı seçin. Continue (Devam) düğmesine tıklayın.

   

4. Sınırlandırılmış Metin'i seçin. Continue (Devam) düğmesine tıklayın.

   

5. Veri kümenize MoviesDB adını verin. Bağlı hizmet açılan listesinde Yeni'yi seçin.

   

6. Bağlı hizmet oluşturma ekranında ADLS 2. nesil bağlı hizmetinizi ADLSGen2 olarak adlandırın ve kimlik doğrulama yönteminizi belirtin. Ardından bağlantı kimlik bilgilerinizi girin. Bu öğreticide, depolama hesabımıza bağlanmak için Hesap anahtarını kullanıyoruz. Kimlik bilgilerinizin doğru girildiğini doğrulamak için Bağlantıyı sına'ya tıklayabilirsiniz. Bitirdiğinizde Oluştur'a tıklayın.

   

7. Veri kümesi oluşturma ekranına döndüğünüzde Dosya yolu alanının altında dosyanızın bulunduğu yeri girin. Bu öğreticide, dosya moviesDB.csv kapsayıcı sample-data içinde bulunur. Dosyada üst bilgiler olduğundan İlk satır üst bilgi olarak seçeneğini işaretleyin. Üst bilgi şemasını doğrudan depolamadaki dosyadan içeri aktarmak için Bağlantıdan/depodan'ı seçin. İşiniz bittiğinde Tamam'a tıklayın.

   

8. Hata ayıklama kümeniz başlatıldıysa, kaynak dönüştürmenin Veri Önizleme sekmesine gidin ve verilerin anlık görüntüsünü almak için Yenile'ye tıklayın. Dönüştürmenizin doğru yapılandırıldığını doğrulamak için veri önizlemesini kullanabilirsiniz.

   

9. Veri akışı tuvalinde kaynak düğümünüzün yanındaki artı simgesine tıklayarak yeni bir dönüşüm ekleyin. Eklediğiniz ilk dönüştürme bir Filtredir.

   

10. Filtre dönüştürmenize FilterYears adını verin. İfade oluşturucusunu açmak için Filtre uygula'nın yanındaki ifade kutusuna tıklayın. Burada filtreleme koşulunuzu belirteceksiniz.

    

11. Veri akışı ifade oluşturucusu, çeşitli dönüşümlerde kullanmak üzere etkileşimli olarak ifadeler oluşturmanıza olanak tanır. İfadeler yerleşik işlevleri, giriş şemasındaki sütunları ve kullanıcı tanımlı parametreleri içerebilir. İfade oluşturma hakkında daha fazla bilgi için bkz. Veri Akışı ifade oluşturucusu.

    Bu öğreticide, 1910 ve 2000 yılları arasında çıkan tür komedi filmlerini filtrelemek istiyorsunuz. Year şu anda bir dize olduğundan, işlevini kullanarak bir tamsayıya toInteger() dönüştürmeniz gerekir. 1910 ve 2000 değişmez yıl değerleriyle karşılaştırmak için büyüktür veya eşittir (>=) ve küçüktür veya eşittir (<=) işleçlerini kullanın. Bu ifadeleri ve (&) işleciyle birleştirin. İfade şu şekilde ortaya çıkar:

    toInteger(year) >= 1910 && toInteger(year) <= 2000

    Hangi filmlerin rlike() komedi olduğunu bulmak için işlevini kullanarak sütun türlerinde 'Comedy' desenini bulabilirsiniz. İfadeyi rlike , elde etmek için yıl karşılaştırmasıyla ilişkilendirin:

    toInteger(year) >= 1910 && toInteger(year) <= 2000 && rlike(genres, 'Comedy')

    Etkin bir hata ayıklama kümeniz varsa, kullanılan girişlerle karşılaştırıldığında ifade çıkışını görmek için Yenile'ye tıklayarak mantığınızı doğrulayabilirsiniz. Veri akışı ifade dilini kullanarak bu mantığı nasıl gerçekleştirebileceğinize ilişkin birden fazla doğru yanıt vardır.

    

    İfadenizle işiniz bittiğinde Kaydet ve Son'a tıklayın.

12. Filtrenin düzgün çalıştığını doğrulamak için bir Veri Önizlemesi getirin.

    

13. Ekleyeceğiniz bir sonraki dönüşüm, Şema değiştiricisi altında bir Toplama dönüşümüdür.

    

14. Toplama dönüştürmenize AggregateComedyRatings adını verin. Gruplandırma ölçütü sekmesinde, toplamaları filmin çıktığı yıla göre gruplandırmak için açılan listeden yılı seçin.

    

15. Toplamalar sekmesine gidin. Sol metin kutusunda AverageComedyRating toplama sütununu adlandırın. İfade oluşturucusu aracılığıyla toplama ifadesini girmek için sağ ifade kutusuna tıklayın.

    

16. Derecelendirme sütununun ortalamasını almak için toplama işlevini kullanınavg(). Derecelendirme bir dize olduğundan ve avg() sayısal bir giriş aldığından, işlevi aracılığıyla değeri sayıya toInteger() dönüştürmemiz gerekir. Bu ifade şöyle görünür:

    avg(toInteger(Rating))

    bitirdiğinizde Kaydet ve Son'a tıklayın.

    

17. Dönüştürme çıkışını görüntülemek için Veri Önizleme sekmesine gidin. yalnızca iki sütun olduğuna dikkat edin: year ve AverageComedyRating.

    

18. Ardından, Hedef'in altına havuz dönüşümü eklemek istiyorsunuz.

    

19. Havuza Havuz adını verin. Havuz veri kümenizi oluşturmak için Yeni'ye tıklayın.

    

20. Azure Data Lake Storage 2. Nesil'ı seçin. Continue (Devam) düğmesine tıklayın.

    

21. Sınırlandırılmış Metin'i seçin. Continue (Devam) düğmesine tıklayın.

    

22. Havuz veri kümenize MoviesSink adını verin. Bağlı hizmet için 6. adımda oluşturduğunuz ADLS 2. nesil bağlı hizmeti seçin. Verilerinizi yazmak için bir çıkış klasörü girin. Bu öğreticide, 'sample-data' kapsayıcısında 'output' klasörüne yazıyoruz. Klasörün önceden var olması gerekmez ve dinamik olarak oluşturulabilir. İlk satırı üst bilgi olarak true olarak ayarlayın ve şemayı içeri aktarma için Yok'a tıklayın. Son'a tıklayın.

    

Artık veri akışınızı derlemeyi tamamladınız. İşlem hattınızda çalıştırmaya hazırsınız.

Veri Akışı çalıştırma ve izleme

Bir işlem hattını yayımlamadan önce hata ayıklayabilirsiniz. Bu adımda, veri akışı işlem hattının hata ayıklama çalıştırmasını tetikleyeceksiniz. Veri önizlemesi veri yazmasa da hata ayıklama çalıştırması havuz hedefinize veri yazar.

1. İşlem hattı tuvaline gidin. Hata ayıklama çalıştırmasını tetikleme için Hata Ayıkla'ya tıklayın.

   

2. Veri Akışı etkinliklerinin işlem hattı hata ayıklaması etkin hata ayıklama kümesini kullanır ancak başlatılması en az bir dakika sürer. İlerleme durumunu Çıkış sekmesi aracılığıyla izleyebilirsiniz. Çalıştırma başarılı olduktan sonra, izleme bölmesini açmak için gözlük simgesine tıklayın.

   

3. İzleme bölmesinde, her dönüştürme adımında harcanan satır ve zaman sayısını görebilirsiniz.

   

4. Verilerin sütunları ve bölümlenmesi hakkında ayrıntılı bilgi almak için bir dönüştürmeye tıklayın.

   

Bu öğreticiyi doğru bir şekilde izlediyseniz havuz klasörünüzde 83 satır ve 2 sütun yazmış olmanız gerekir. Blob depolama alanınızı denetleyerek verilerin doğru olduğunu doğrulayabilirsiniz.

İlgili içerik

Bu öğreticideki işlem hattı, 1910 ile 2000 arasında ortalama komedi derecelendirmesini toplayan ve verileri ADLS'ye yazan bir veri akışı çalıştırır. Şunları öğrendiniz:

• Veri fabrikası oluşturma.
• Veri Akışı etkinliği olan bir işlem hattı oluşturun.
• Dört dönüştürme ile bir eşleme veri akışı oluşturun.
• İşlem hattında test çalıştırması yapma.
• Veri Akışı etkinliğini izleme

Veri akışı ifade dili hakkında daha fazla bilgi edinin.