Hızlı Başlangıç: Veri akışları ve veri işlem hatları ile verileri taşıma ve dönüştürme

  • Makale

Bu öğreticide, veri akışı ve veri işlem hattı deneyiminin güçlü ve kapsamlı bir Data Factory çözümü nasıl oluşturabileceğini keşfedeceksiniz.

Önkoşullar

Başlamak için aşağıdaki önkoşullara sahip olmanız gerekir:

İşlem hatlarıyla karşılaştırıldığında veri akışları

Veri akışları 2. Nesil, düşük kodlu bir arabirimden ve 300'den fazla veriden ve yapay zeka tabanlı dönüşümden yararlanarak verileri diğer araçlardan daha fazla esneklikle kolayca temizlemenizi, hazırlamanızı ve dönüştürmenizi sağlar. Veri İşlem Hatları, kurumsal gereksinimlerinizi karşılayan esnek veri iş akışları oluşturmak için kullanıma uygun zengin veri düzenleme özellikleri sağlar. İşlem hattında, bir görevi gerçekleştiren etkinliklerin mantıksal gruplandırmalarını oluşturabilirsiniz. Bu, verilerinizi temizlemek ve hazırlamak için Veri Akışı çağırmayı içerebilir. İkisi arasında bazı işlevler çakışması olsa da, belirli bir senaryo için hangi seçeneğin kullanılacağı, işlem hatlarının tam zenginliğine mi ihtiyacınız olduğuna veya veri akışlarının daha basit ama daha sınırlı özelliklerini mi kullanabileceğinize bağlıdır. Daha fazla ayrıntı için Doku karar kılavuzuna bakın

Veri akışlarıyla verileri dönüştürme

Veri akışınızı ayarlamak için bu adımları izleyin.

1. Adım: Veri akışı oluşturma

  1. Doku etkin çalışma alanınızı ve ardından Yeni'yi seçin. Ardından Veri Akışı 2. Nesil'i seçin.

    Screenshot showing where to start creating a dataflow gen2.

  2. Veri akışı düzenleyicisi penceresi görüntülenir. SQL Server'dan içeri aktar kartını seçin.

    Screenshot showing the dataflow editor window.

2. Adım: Veri alma

  1. Daha sonra sunulan veri kaynağına Bağlan iletişim kutusunda, Azure SQL veritabanınıza bağlanmak için ayrıntıları girin ve İleri'yi seçin. Bu örnekte, önkoşullarda Azure SQL veritabanını ayarlarken yapılandırılan AdventureWorksLT örnek veritabanını kullanırsınız.

    Screenshot showing how to connect to an Azure SQL database.

  2. Dönüştürmek istediğiniz verileri seçin ve ardından Oluştur'u seçin. Bu hızlı başlangıç için, Azure SQL DB için sağlanan AdventureWorksLT örnek verilerinden SalesLT.Customer öğesini seçin ve ardından diğer iki ilişkili tabloyu otomatik olarak eklemek için İlişkili tabloları seç düğmesini seçin.

    Screenshot showing where to choose from the available data.

3. Adım: Verilerinizi dönüştürme

  1. Seçili değilse, sayfanın alt kısmındaki durum çubuğu boyunca Diyagram görünümü düğmesini seçin veya Power Query düzenleyicisinin üst kısmındaki Görünüm menüsünün altında Diyagram görünümü'nü seçin. Bu seçeneklerden biri diyagram görünümünü değiştirebilir.

    Screenshot showing where to select diagram view.

  2. SalesLT Müşteri sorgunuza sağ tıklayın veya sorgunun sağ tarafındaki dikey üç noktayı seçin ve ardından Sorguları birleştir'i seçin.

    Screenshot showing where to find the Merge queries option.

  3. Birleştirme için sağ tablo olarak SalesLTOrderHeader tablosunu, birleştirme sütunu olarak her tablodan CustomerID sütununu ve birleştirme türü olarak Sol dış sütununu seçerek birleştirmeyi yapılandırın. Ardından, birleştirme sorgusunu eklemek için Tamam'ı seçin.

    Screenshot of the Merge configuration screen.

  4. Yeni oluşturduğunuz birleştirme sorgusundan, üzerinde ok bulunan bir veritabanı simgesine benzeyen Veri hedefi ekle düğmesini seçin. Ardından hedef türü olarak Azure SQL veritabanı'nı seçin.

    Screenshot highlighting the Add data destination button on the newly created merge query.

  5. Birleştirme sorgusunun yayımlandığı Azure SQL veritabanı bağlantınızın ayrıntılarını sağlayın. Bu örnekte, hedef için veri kaynağı olarak kullandığımız AdventureWorksLT veritabanını da kullanabilirsiniz.

    Screenshot showing the Connect to data destination dialog with sample values populated.

  6. Verileri depolamak için bir veritabanı seçin ve bir tablo adı sağlayın, ardından İleri'yi seçin.

    Screenshot showing the Choose destination target window.

  7. Varsayılan ayarları Hedef ayarları seç iletişim kutusunda bırakabilir ve burada herhangi bir değişiklik yapmadan Ayarları kaydet'i seçmeniz gerekir.

    Screenshot showing the Choose destination settings dialog.

  8. Veri akışını yayımlamak için veri akışı düzenleyicisi sayfasında Yayımla'yı seçin.

    Screenshot highlighting the Publish button on the dataflow gen2 editor.

Veri işlem hatları ile verileri taşıma

Artık bir Veri Akışı 2. Nesil oluşturduğunuza göre, işlem hattında bu veri akışı üzerinde çalışabilirsiniz. Bu örnekte, veri akışından oluşturulan verileri bir Azure Blob Depolama hesabındaki metin biçimine kopyalarsınız.

1. Adım: Yeni veri işlem hattı oluşturma

  1. Çalışma alanınızdan Yeni'yi ve ardından Veri işlem hattı'yı seçin.

    Screenshot showing where to start a new data pipeline.

  2. İşlem hattınızı adlandırarak Oluştur'u seçin.

    Screenshot showing the new pipeline creation prompt with a sample pipeline name.

2. Adım: Veri akışınızı yapılandırma

  1. Etkinlikler sekmesinde Veri akışı'nı seçerek veri işlem hattınıza yeni bir veri akışıetkinliği ekleyin.

    Screenshot showing where to select the Dataflow option.

  2. İşlem hattı tuvalinde veri akışını ve ardından Ayarlar sekmesini seçin. Açılan listeden daha önce oluşturduğunuz veri akışını seçin.

    Screenshot showing how to choose the dataflow you created.

  3. Önceki adımda tasarladığınız birleştirilmiş sorgu tablosunu ilk olarak doldurmak üzere veri akışını çalıştırmak için Kaydet'i ve ardından Çalıştır'ı seçin.

    Screenshot showing where to select Run.

3. Adım: Kopyalama etkinliği eklemek için kopyalama yardımcısını kullanma

  1. Başlamak için Kopya Yardımcısı aracını açmak için Tuvalde veri kopyala'yı seçin. İsterseniz, şeritteki Etkinlikler sekmesinin altındaki Verileri kopyala açılan listesinden Kopyalama yardımcısı kullan'ı da seçebilirsiniz.

    Screenshot showing the two ways to access the copy assistant.

  2. Veri kaynağı türünü seçerek veri kaynağınızı seçin. Bu öğreticide, yeni bir birleştirme sorgusu oluşturmak için veri akışını oluştururken daha önce kullanılan Azure SQL Veritabanı kullanacaksınız. Örnek veri tekliflerinin altına kadar aşağı kaydırın ve Azure sekmesini seçin ve Azure SQL Veritabanı. Ardından devam etmek için İleri'yi seçin.

    Screenshot showing where to choose a data source.

  3. Yeni bağlantı oluştur'u seçerek veri kaynağınıza bağlantı oluşturun. Panelde gerekli bağlantı bilgilerini doldurun ve veri akışında birleştirme sorgusunu oluşturduğumuz veritabanı için AdventureWorksLT girin. Sonra İleri'yi seçin.

    Screenshot showing where to create a new connection.

  4. Daha önceki veri akışı adımında oluşturduğunuz tabloyu seçin ve ardından İleri'yi seçin.

    Screenshot showing how to select from available tables.

  5. Hedefiniz için Azure Blob Depolama ve ardından İleri'yi seçin.

    Screenshot showing the Azure Blob Storage data destination.

  6. Yeni bağlantı oluştur'u seçerek hedefinize bağlantı oluşturun. Bağlantınızın ayrıntılarını sağlayın ve İleri'yi seçin.

    Screenshot showing how to create a connection.

  7. Klasör yolunuzu seçin ve bir Dosya adı girin, ardından İleri'yi seçin.

    Screenshot showing how to select folder path and file name.

  8. Varsayılan dosya biçimini, sütun sınırlayıcısını, satır sınırlayıcısını ve sıkıştırma türünü (isteğe bağlı olarak bir üst bilgi dahil) kabul etmek için İleri'yi yeniden seçin.

    Screenshot showing the configuration options for the file in Azure Blob Storage.

  9. Ayarlarınızı sonlandırabilirsiniz. Ardından işlemi tamamlamak için gözden geçirin ve Kaydet + Çalıştır'ı seçin.

    Screenshot showing how to review copy data settings.

5. Adım: Veri işlem hattınızı tasarlama ve verileri çalıştırmak ve yüklemek için kaydetme

  1. Veri Akışı etkinliğinden sonra Kopyalama etkinliğini çalıştırmak için, Veri Akışı etkinliğinde Başarılı'dan Kopyalama etkinliğine sürükleyin. Kopyalama etkinliği yalnızca Veri Akışı etkinliği başarılı olduktan sonra çalışır.

    Screenshot showing how to make the dataflow run take place after the copy activity.

  2. Veri işlem hattınızı kaydetmek için Kaydet'i seçin. Ardından çalıştır'ı seçerek veri işlem hattınızı çalıştırın ve verilerinizi yükleyin.

    Screenshot showing where to select Save and Run.

İşlem hattı yürütmeyi zamanlama

İşlem hattınızı geliştirmeyi ve test etme işlemini tamamladıktan sonra otomatik olarak yürütülecek şekilde zamanlayabilirsiniz.

  1. İşlem hattı düzenleyicisi penceresinin Giriş sekmesinde Zamanla'yı seçin.

    A screenshot of the Schedule button on the menu of the Home tab in the pipeline editor.

  2. Zamanlamayı gerektiği gibi yapılandırın. Buradaki örnek, işlem hattını yıl sonuna kadar her gün saat 20:00'de yürütülecek şekilde zamanlar.

    Screenshot showing the schedule configuration for a pipeline to run daily at 8:00 PM until the end of the year.

İlgili içerik

Bu örnek, birleştirme sorgusu oluşturmak ve bir Azure SQL veritabanında depolamak ve ardından veritabanındaki verileri Azure Blob Depolama'deki bir metin dosyasına kopyalamak için Dataflow 2. Nesil'i nasıl oluşturup yapılandırabileceğinizi gösterir. Şunları öğrendiniz:

  • Veri akışı oluşturma.
  • Veri akışıyla verileri dönüştürme.
  • Veri akışını kullanarak bir veri işlem hattı oluşturun.
  • İşlem hattında adımların yürütülmesini sıralayın.
  • Kopyalama Yardımcısı ile verileri kopyalama.
  • Veri işlem hattınızı çalıştırın ve zamanlayın.

Ardından işlem hattı çalıştırmalarınızı izleme hakkında daha fazla bilgi edinmek için ilerleyin.

Microsoft Fabric'te işlem hattı çalıştırmalarını izleme