Azure Veri Gezgini yönetim komutlarını çalıştırmak için Azure Data Factory komut etkinliğini kullanma

Azure Data Factory (ADF), verilerde etkinliklerin bir birleşimini gerçekleştirmek için kullanabileceğiniz bulut tabanlı bir veri tümleştirme hizmetidir. Veri taşımayı ve veri dönüştürmeyi düzenlemeye ve otomatikleştirmeye yönelik veri odaklı iş akışları oluşturmak için ADF kullanın. Azure Data Factory'deki Azure Veri Gezgini Komutu etkinliği, ADF iş akışında Azure Veri Gezgini yönetim komutlarını çalıştırmanıza olanak tanır. Bu makalede, arama etkinliği ve Azure Veri Gezgini komut etkinliği içeren ForEach etkinliğiyle işlem hattı oluşturma işlemi gösterilmektedir.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Veri kaynağı.
• Bir veri fabrikası. Veri fabrikası oluşturma.

Yeni işlem hattı oluşturma

1. Yazar kalem aracını seçin.

2. + seçerek ve ardından açılan listeden İşlem Hattı'nı seçerek yeni bir işlem hattı oluşturun.

   

Arama etkinliği oluşturma

Arama etkinliği, Azure Data Factory tarafından desteklenen herhangi bir veri kaynağından veri kümesi alabilir. ForEach veya başka bir etkinlikte Arama etkinliğinin çıkışını kullanabilirsiniz.

1. Etkinlikler bölmesindeki Genel'in altında Arama etkinliğini seçin. Sağdaki ana tuvale sürükleyip bırakın.

   

2. Tuvalde artık oluşturduğunuz Arama etkinliği yer alır. İlgili parametreleri değiştirmek için tuvalin altındaki sekmeleri kullanın. Genel'de etkinliği yeniden adlandırın.

   

   İpucu

   İşlem hattı özelliklerini görüntülemek için boş tuval alanını seçin. İşlem hattını yeniden adlandırmak için Genel sekmesini kullanın. İşlem hattı pipeline-4-docs olarak adlandırılır.

Arama etkinliğinde Azure Veri Gezgini veri kümesi oluşturma

1. Ayarlar'da önceden oluşturulmuş Azure Veri Gezgini Kaynak veri kümenizi seçin veya + Yeni'yi seçerek yeni bir veri kümesi oluşturun.

   

2. Yeni Veri Kümesi penceresinden Azure Veri Gezgini (Kusto) veri kümesini seçin. Yeni veri kümesini eklemek için Devam'ı seçin.

   

3. Yeni Azure Veri Gezgini veri kümesi parametreleri Ayarlar'da görünür. Parametreleri güncelleştirmek için Düzenle'yi seçin.

   

4. Ana tuvalde AzureDataExplorerTable yeni sekmesi açılır.

   • Genel'i seçin ve veri kümesi adını düzenleyin.
   • Veri kümesi özelliklerini düzenlemek için Bağlantı'ya tıklayın.
   • Açılan listeden Bağlı hizmeti seçin veya yeni bir bağlı hizmet oluşturmak için + Yeni'yi seçin.

   

5. Yeni bir bağlı hizmet oluştururken Yeni Bağlı Hizmet (Azure Veri Gezgini) sayfası açılır:

   

   • Azure Veri Gezgini bağlı hizmeti için Ad'ı seçin. Gerekirse Açıklama ekleyin.
   • Tümleştirme çalışma zamanı aracılığıyla bağlan bölümünde, gerekirse geçerli ayarları değiştirin.
   • Hesap seçim yöntemi bölümünde iki yöntemden birini kullanarak kümenizi seçin:
     • Azure aboneliğinden radyo düğmesini seçin ve Azure abonelik hesabınızı seçin. Ardından Kümenizi seçin. Açılan listede yalnızca size ait olan kümeler listelenir.
     • Bunun yerine El ile gir radyo düğmesini seçin ve Uç Noktanızı (küme URL'si) girin.
   • Kiracıyı belirtin.
   • Hizmet sorumlusu kimliğini girin. Bu değeri Azure portalındaUygulama Kayıtlarına>Genel Bakış>Uygulaması (istemci) Kimliği altında bulabilirsiniz. Sorumlu, kullanılan komutun gerektirdiği izin düzeyine göre yeterli izinlere sahip olmalıdır.
   • Hizmet sorumlusu tuşu düğmesini seçin ve Hizmet Sorumlusu Anahtarı girin.
   • Açılan menüden Veritabanınızı seçin. Alternatif olarak Düzenle onay kutusunu seçin ve veritabanınızın adını girin.
   • Oluşturduğunuz bağlı hizmet bağlantısını test etmek için Bağlantıyı Test Et'i seçin. Kurulumunuza bağlanabiliyorsanız Bağlantı başarılı onay işareti görünür.
   • Bağlı hizmet oluşturmayı tamamlamak için Son'u seçin.

6. Bağlı hizmeti ayarladıktan sonra AzureDataExplorerTable>Bağlantısı'ndaTablo adı'nı ekleyin. Verilerin düzgün bir şekilde sunulduğundan emin olmak için Verileri önizleme'yi seçin.

   Veri kümeniz hazır ve işlem hattınızı düzenlemeye devam edebilirsiniz.

Arama etkinliğinize sorgu ekleme

1. pipeline-4-docs>Ayarları'ndaSorgu metin kutusuna bir sorgu ekleyin, örneğin:

   ClusterQueries
   | where Database !in ("KustoMonitoringPersistentDatabase", "$systemdb")
   | summarize count() by Database
   

2. Sorgu zaman aşımı veya Kesme yok ve Yalnızca ilk satır özelliklerini gerektiği gibi değiştirin. Bu akışta, varsayılan Sorgu zaman aşımını koruyun ve onay kutularının işaretini kaldırın.

   

Her bir etkinlik için oluşturma

Bir koleksiyon üzerinde yineleme yapmak ve bir döngüde belirtilen etkinlikleri yürütmek için For-Each etkinliğini kullanın.

1. İşlem hattına bir For-Each etkinliği ekleyin. Bu etkinlik, Arama etkinliğinden döndürülen verileri işler.

   • Etkinlikler bölmesinde, Yineleme ve Koşullular'ın altında ForEach etkinliğini seçin. Tuvale sürükleyip bırakın.

   • Arama etkinliğinin çıktısı ile bunları bağlamak için tuvaldeki ForEach etkinliğinin girişi arasında bir çizgi çizin.

     

2. Tuvalde ForEach etkinliğini seçin. Ayarlar sekmesinde:

   • Arama sonuçlarının sıralı işlenmesi için Sıralı onay kutusunu işaretleyin veya paralel işleme oluşturmak için işaretsiz bırakın.

   • Toplu iş sayısını ayarlayın.

   • Öğeler 'de çıkış değerine şu referansı verin: @activity('Lookup1').output.value

     

ForEach etkinliğinde Azure Veri Gezgini Komutu etkinliği oluşturma

1. Yeni bir tuvalde açmak için tuvaldeki ForEach etkinliğine çift tıklayın. ForEach içindeki etkinlikleri belirtin.

2. Etkinlikler bölmesindeki Azure Veri Gezgini altında Azure Veri Gezgini Komutu etkinliğini seçin ve tuvale sürükleyip bırakın.

   

3. Bağlantı sekmesinde, daha önce oluşturduğunuz Bağlı Hizmeti seçin.

   

4. Komut sekmesinde aşağıdaki komutu sağlayın:

   .export
   async compressed
   into csv h"http://<storageName>.blob.core.windows.net/data/ClusterQueries;<storageKey>" with (
   sizeLimit=100000,
   namePrefix=export
   )
   <| ClusterQueries | where Database == "@{item().Database}"
   

   Komut, Azure Veri Gezgini'a belirli bir sorgunun sonuçlarını sıkıştırılmış biçimde bir blob depolama alanına aktarmasını sağlar. Zaman uyumsuz olarak çalışır (async değiştiricisini kullanarak). Sorgu, Arama etkinliği sonucundaki her satırın veritabanı sütununu ele alır. Komut zaman aşımını değiştirmeden bırakabilirsiniz.

   

   Not

   Komut etkinliğinin sınırları şunlardır:

   • Boyut sınırı: 1 MB yanıt boyutu
   • Süre sınırı: 20 dakika (varsayılan), 1 saat (maksimum).
   • Gerekirse, sonuçta elde edilen boyutu veya süreyi azaltmak için AdminThenQuery kullanarak sonuce bir sorgu ekleyebilirsiniz.

5. Şimdi işlem hattı hazır. İşlem hattı adını seçerek ana işlem hattı görünümüne geri dönebilirsiniz.

   

6. İşlem hattını yayımlamadan önce Hata Ayıkla seçeneğini seçin. çıkış sekmesinde işlem hattı ilerleme durumunu izleyebilirsiniz.

   

7. İşlem hattını çalıştırmak için Tümünü Yayımla'yı ve ardından Tetikleyici ekle'yi seçin.

Yönetim komutu çıkışları

Aşağıdaki bölümde komut etkinliği çıkışının yapısı açıklanmaktadır. İşlem hattındaki sonraki etkinlik bu çıkışı kullanabilir.

Eşzamansız bir yönetim komutunun döndürülen değeri

Zaman uyumsuz bir yönetim komutunda, döndürülen değerin yapısı Arama etkinliği sonucunun yapısına benzer. alanında count döndürülen kayıtların sayısı gösterilir. Sabit dizi alanı value kayıtların listesini içerir.

{ 
    "count": "2", 
    "value": [ 
        { 
            "ExtentId": "1b9977fe-e6cf-4cda-84f3-4a7c61f28ecd", 
            "ExtentSize": 1214.0, 
            "CompressedSize": 520.0 
        }, 
        { 
            "ExtentId": "b897f5a3-62b0-441d-95ca-bf7a88952974", 
            "ExtentSize": 1114.0, 
            "CompressedSize": 504.0 
        } 
    ] 
} 

Zaman uyumsuz yönetim komutunun döndürülen değeri

Zaman uyumsuz bir yönetim komutunda etkinlik, zaman uyumsuz işlem tamamlanana veya zaman aşımına uğradıysa, arka planda işlem tablosunu yoklar. Bu nedenle, döndürülen değer verilen .show operations OperationId özelliğinin sonucunu içerir. İşlemin başarıyla tamamlanıp tamamlanmadığını doğrulamak için Durum ve Durum özelliklerinin değerlerini denetleyin.

{ 
    "count": "1", 
    "value": [ 
        { 
            "OperationId": "910deeae-dd79-44a4-a3a2-087a90d4bb42", 
            "Operation": "TableSetOrAppend", 
            "NodeId": "", 
            "StartedOn": "2019-06-23T10:12:44.0371419Z", 
            "LastUpdatedOn": "2019-06-23T10:12:46.7871468Z", 
            "Duration": "00:00:02.7500049", 
            "State": "Completed", 
            "Status": "", 
            "RootActivityId": "f7c5aaaf-197b-4593-8ba0-e864c94c3c6f", 
            "ShouldRetry": false, 
            "Database": "MyDatabase", 
            "Principal": "<some principal id>", 
            "User": "<some User id>" 
        } 
    ] 
}

İlgili içerik

• Azure Data Factory'yi kullanarak Verileri Azure Veri Gezgini'a kopyalayın.
• Veritabanından Azure Veri Gezgini toplu kopyalama için Azure Data Factory şablonu.